DL∕T 1729-2017 電力信息系統(tǒng)功能及非功能性測(cè)試規(guī)范

電力信息系統(tǒng)功能及非功能性測(cè)試規(guī)范國(guó)家能源局發(fā)布I Ⅱ 12規(guī)范性引用文件 1 1 24.1測(cè)試目的 2 2 3 3 44.6測(cè)試文檔 6 6 7 7 85.1適合性 8 85.3互操作性 8 96非功能性 96.1可靠性 9 96.3效率 7測(cè)試階段 7.4驗(yàn)收測(cè)試 7.5運(yùn)行測(cè)試 附錄A(資料性附錄)軟件測(cè)試方法 20附錄B(規(guī)范性附錄)電力信息系統(tǒng)非功能性測(cè)試指標(biāo)表 Ⅱ1本標(biāo)準(zhǔn)不涉及信息系統(tǒng)安全性測(cè)試要求，安全性測(cè)試要求見GB/T18336信息技術(shù)安全技術(shù)GB/T8566信息技術(shù)軟件生存周期過程(GB/T8566—2007,ISO/IEC12207:1995,MOD)GB/T11457信息技術(shù)軟件工程術(shù)語GB/T18336信息技術(shù)安全技術(shù)信息技術(shù)安全性評(píng)估準(zhǔn)則(ISO/IEC15408:2005,IDT)GB/T20158信息技術(shù)軟件生存周期過程配置管理(GB/T20158—2006,ISO/IECTR24總則3c)對(duì)測(cè)試過程的正確或異常終止情況進(jìn)行a)描述測(cè)試狀態(tài)。如實(shí)際測(cè)試與測(cè)試計(jì)劃和測(cè)試說明的差異、測(cè)試用例合理性、測(cè)試充分性分依據(jù)測(cè)試總結(jié)，出具相應(yīng)的測(cè)試報(bào)告。測(cè)試報(bào)告應(yīng)至少包括產(chǎn)品名稱、版本號(hào)、委托單位、樣品編號(hào)、測(cè)試資源(硬件測(cè)試環(huán)境、軟件測(cè)試環(huán)境和測(cè)試工具)、測(cè)試項(xiàng)目(功能性測(cè)試和非功能性測(cè)試)和測(cè)試結(jié)論。4.3測(cè)試方法41)每個(gè)測(cè)試輸入的具體內(nèi)容(如確定的數(shù)值、狀態(tài)或信號(hào)等)及其性質(zhì)(如有效值、無效3)每一步的評(píng)價(jià)準(zhǔn)則；5具體職責(zé)測(cè)試分析員測(cè)試設(shè)計(jì)員測(cè)試程序員測(cè)試執(zhí)行員測(cè)試系統(tǒng)管理員對(duì)測(cè)試環(huán)境和資產(chǎn)進(jìn)行管理和維護(hù)配置管理員設(shè)置、管理和維護(hù)測(cè)試配置管理數(shù)據(jù)庫，測(cè)注2:一個(gè)人可以承擔(dān)多個(gè)角色的工作，一個(gè)角色可由多1)具有測(cè)試合同(或項(xiàng)目計(jì)劃);應(yīng)按照信息系統(tǒng)配置管理的要求，將測(cè)試過程中產(chǎn)生的各種工作產(chǎn)品納入配置管理。由開發(fā)組織實(shí)施的信息系統(tǒng)測(cè)試，應(yīng)將測(cè)試工作產(chǎn)品納入項(xiàng)目的配置管理；由獨(dú)立測(cè)試組織實(shí)施的信息系統(tǒng)測(cè)試，應(yīng)建立配置管理庫，將被測(cè)對(duì)象和測(cè)試工作產(chǎn)品納入配置管理。配置管理要求見6在測(cè)試執(zhí)行前，對(duì)測(cè)試計(jì)劃和測(cè)試說明等進(jìn)行評(píng)審，評(píng)審測(cè)試計(jì)劃的合理性、測(cè)試用例的正確性、完整性和覆蓋充分性，以及測(cè)試組織、測(cè)試環(huán)境和設(shè)備工具是否齊全并符合技術(shù)要求等。審查的b)通過比較測(cè)試環(huán)境與信息系統(tǒng)真實(shí)運(yùn)行的軟件、硬件在測(cè)試完成后，評(píng)審測(cè)試過程和測(cè)試結(jié)果的有效性，確定是否達(dá)到測(cè)試目的，主要對(duì)測(cè)試記錄、h)評(píng)審對(duì)測(cè)試過程中出現(xiàn)的異常進(jìn)行處理的正確性。信息系統(tǒng)測(cè)試文檔一般包括測(cè)試計(jì)劃、測(cè)試說明(需要時(shí)進(jìn)一步細(xì)分為測(cè)試設(shè)計(jì)說明、測(cè)試用例的基本內(nèi)容和要求見GB/T9386,根據(jù)軟件的完整性級(jí)別和軟件規(guī)模等級(jí)可對(duì)信息系統(tǒng)測(cè)試文檔進(jìn)行合工具類型功能和特征說明舉例設(shè)計(jì)和代碼進(jìn)行評(píng)審、走查細(xì)設(shè)計(jì)的靜態(tài)分析工具很少7表2(續(xù))工具類型功能和特征說明舉例選擇測(cè)試用例、設(shè)置環(huán)境、有效性評(píng)價(jià)等管理等工具活動(dòng)的其他工具的測(cè)試設(shè)計(jì)、測(cè)試數(shù)據(jù)生理工具復(fù)雜度分析可用于測(cè)試計(jì)劃的制定、捕獲和回放、1)易用性；2)互操作性；3)穩(wěn)定性；4)經(jīng)濟(jì)實(shí)用性；5)可維護(hù)性。 85功能性從易學(xué)性方面考慮，可測(cè)試信息系統(tǒng)的在線幫助，確認(rèn)在線幫助是否容易定位，是否有效，還可c)要求具有還原能力(數(shù)據(jù)庫的事務(wù)回滾能力)的功能，確認(rèn)它們能否在動(dòng)作完成之后被撤銷；從時(shí)間特性方面考慮，可測(cè)試信息系統(tǒng)的響應(yīng)時(shí)間、平均響應(yīng)時(shí)間、響應(yīng)極限時(shí)間；信息系統(tǒng)的在測(cè)試時(shí)，應(yīng)標(biāo)識(shí)和定義適合于信息系統(tǒng)應(yīng)用的任務(wù)，并對(duì)多項(xiàng)任務(wù)進(jìn)行測(cè)試，而不是僅測(cè)試一當(dāng)替換整個(gè)不同的信息系統(tǒng)和用同一系列的高版本替換低版本時(shí)，在易替換性方面，可考慮單元測(cè)試的對(duì)象是由開發(fā)人員對(duì)信息系統(tǒng)中的最小可測(cè)試單元(最小功能模塊)進(jìn)行檢查和驗(yàn)e)語句覆蓋率應(yīng)達(dá)到100%;f)分支覆蓋率應(yīng)達(dá)到100%;測(cè)試環(huán)境包括測(cè)試的運(yùn)行環(huán)境和測(cè)試工具環(huán)境。測(cè)試的運(yùn)行環(huán)境一般應(yīng)b)系統(tǒng)性能測(cè)試1)時(shí)間特性。i)應(yīng)測(cè)試運(yùn)行條件(如數(shù)據(jù)結(jié)構(gòu)、輸入/輸出通道容量、內(nèi)存空間、調(diào)用頻率等)在邊界狀態(tài)3)默認(rèn)使用的寄存器的值正確嗎?1)嵌套的IF是否已正確的縮進(jìn)?2)注釋準(zhǔn)確并有意義嗎?3)是否使用了有意義的標(biāo)號(hào)?5)是否遵循全套的編程標(biāo)準(zhǔn)?1)初始入口的最終出口正確嗎?2)規(guī)定的域正確嗎?4)存儲(chǔ)器重復(fù)使用嗎?可能產(chǎn)生沖突嗎?1)是否進(jìn)行了浮點(diǎn)相等比較?2)測(cè)試條件正確嗎?3)用于測(cè)試的變量正確嗎?5)三種情況(大于0,小于0,等于0)是否已全部測(cè)試?1)邏輯是否被最佳地編碼?1)全部設(shè)計(jì)是否均已實(shí)現(xiàn)?1)是否有不可能執(zhí)行到的代碼?4)是否有多余的程序單元?3)標(biāo)識(shí)符的使用方式；4)過程的調(diào)用層次；5)違背編碼規(guī)則；a)分析成規(guī)格說明，引出原因(輸入條件)和結(jié)果(輸出結(jié)果),并給每個(gè)原因和結(jié)果賦予一個(gè)A.2.2.7猜錯(cuò)法一級(jí)二級(jí)指標(biāo)目的指標(biāo)等級(jí)指標(biāo)時(shí)長(zhǎng)說明1(性響應(yīng)時(shí)間響應(yīng)時(shí)間在正常情況下處在一個(gè)特定系統(tǒng)負(fù)載中，從發(fā)出請(qǐng)求到請(qǐng)求完成用戶經(jīng)歷的平均等待時(shí)間平均響應(yīng)時(shí)間=測(cè)試的總時(shí)間/界面打開類：通過對(duì)用戶信息系統(tǒng)最基本典型面打開涉及的用戶端界面顯示響應(yīng)時(shí)長(zhǎng)發(fā)現(xiàn)問題，提升信息系統(tǒng)性能強(qiáng)制型2圖片/視頻界1.僅限打開圖片/視頻操作。始加載或自動(dòng)加載開始至在界面上打開并呈現(xiàn)的時(shí)長(zhǎng)說明書中要求，如需求規(guī)格說明書未作要求，則圖片/視頻界面過10s強(qiáng)制型31.非打開圖片完成并呈現(xiàn)的時(shí)長(zhǎng)滿足需求規(guī)格說明書中要求，如需求規(guī)格說明書未作要求，則普通界面打開時(shí)長(zhǎng)不得超過5s強(qiáng)制型寫表B.1(續(xù))一級(jí)二級(jí)指標(biāo)目的指標(biāo)等級(jí)指標(biāo)時(shí)長(zhǎng)說明4(性響應(yīng)時(shí)間響應(yīng)時(shí)間理請(qǐng)求的速度在一個(gè)特定系統(tǒng)負(fù)載中，從發(fā)出請(qǐng)求到請(qǐng)求完成用戶經(jīng)歷的平均等待時(shí)間平均響應(yīng)時(shí)間數(shù)據(jù)處理類：型操作細(xì)化分問題，提升系統(tǒng)性能標(biāo)準(zhǔn)查詢用戶系統(tǒng)缺省設(shè)置查詢開始到界面呈現(xiàn)查詢結(jié)果的操作說明書中要求如需求規(guī)格說明書過5s強(qiáng)制型5個(gè)性查詢準(zhǔn)或高級(jí)查詢點(diǎn)呈現(xiàn)查詢結(jié)果的操作說明書中要求如需求規(guī)格說明書過8s強(qiáng)制型6向系統(tǒng)進(jìn)行添有數(shù)據(jù)操作到系加、修改和刪除的提示界面的時(shí)長(zhǎng)說明書中要求如需求規(guī)格說明書長(zhǎng)不超過5s強(qiáng)制型7(性響應(yīng)時(shí)間響應(yīng)時(shí)間理請(qǐng)求的速度在一個(gè)特定系統(tǒng)負(fù)載中，從發(fā)出請(qǐng)求到請(qǐng)求完成用戶經(jīng)歷的平均等待時(shí)間平均響應(yīng)時(shí)間統(tǒng)計(jì)分析類：析，從表格類、等相關(guān)操作響應(yīng)時(shí)長(zhǎng)分析系統(tǒng)性能點(diǎn)擊展示到展示說明書中要求如需求規(guī)格說明書長(zhǎng)不應(yīng)超過20s強(qiáng)制型8圖形式報(bào)表處理圖形式報(bào)表從點(diǎn)擊展示到展示說明書中要求如需求規(guī)格說明書未作要求，則圖長(zhǎng)不應(yīng)超過30s強(qiáng)制型表B.1(續(xù))一級(jí)二級(jí)指標(biāo)目的指標(biāo)等級(jí)指標(biāo)時(shí)長(zhǎng)說明9(性響應(yīng)時(shí)間響應(yīng)時(shí)間在正常情況下處在一個(gè)特定系統(tǒng)負(fù)載中，從發(fā)出請(qǐng)求到請(qǐng)求完成用戶經(jīng)歷的平均等待時(shí)間平均響應(yīng)時(shí)間測(cè)試的總次數(shù)不存在動(dòng)態(tài)數(shù)據(jù)示的時(shí)長(zhǎng)說明書中要求如需求規(guī)格說明書時(shí)長(zhǎng)不應(yīng)超過強(qiáng)制型(性響應(yīng)時(shí)間響應(yīng)時(shí)間在正常情況下處在一個(gè)特定系統(tǒng)負(fù)載中，從發(fā)出請(qǐng)求到請(qǐng)求完成用戶經(jīng)歷的平均等待時(shí)間平均響應(yīng)時(shí)間=測(cè)試的總時(shí)間/其他交互類：指除上述類別的所有功能系統(tǒng)登錄/注銷開頁面到頁面響應(yīng)打開加上用戶時(shí)長(zhǎng)說明書中要求如需求規(guī)格說明書未作要求，銷時(shí)長(zhǎng)不應(yīng)超過5s強(qiáng)制型(性響應(yīng)時(shí)間響應(yīng)時(shí)間在最壞情況下處出請(qǐng)求到請(qǐng)求完成為止用戶經(jīng)歷的平均等待時(shí)間最大響應(yīng)時(shí)間長(zhǎng)的響應(yīng)時(shí)間滿足需求規(guī)格說明書中要求，如需求規(guī)格說息系統(tǒng)界面打開類不應(yīng)超過30s;數(shù)據(jù)處理類不應(yīng)超過20s;統(tǒng)計(jì)分析類不應(yīng)超過60s;數(shù)據(jù)轉(zhuǎn)換和傳輸類不應(yīng)超過5s;系統(tǒng)登錄/注銷不應(yīng)超過12s強(qiáng)制型(性資源利用率當(dāng)系統(tǒng)并發(fā)用戶數(shù)在設(shè)計(jì)要求范圍內(nèi)時(shí)，評(píng)估系統(tǒng)應(yīng)用服務(wù)器和數(shù)據(jù)庫服務(wù)器的CPU利用情況一個(gè)特定的系占用的CPU資源時(shí)間一程序占用的總CPU時(shí)間×滿足需求規(guī)格說明書中要求，如需求規(guī)格說用服務(wù)器和數(shù)據(jù)庫服務(wù)器的CPU平均利用率不得強(qiáng)制型(性資源內(nèi)存利用率當(dāng)系統(tǒng)并發(fā)用的內(nèi)存利用情況一個(gè)特定的系統(tǒng)負(fù)載下，服務(wù)器中運(yùn)行的進(jìn)程內(nèi)存利用率=(服務(wù)器總內(nèi)存一存)/服務(wù)器總內(nèi)滿足需求規(guī)格說明書中要求，如需求規(guī)格說用服務(wù)器的內(nèi)存平均使用率不得超過80%,強(qiáng)制型表B.1(續(xù))一級(jí)二級(jí)指標(biāo)目的指標(biāo)等級(jí)指標(biāo)時(shí)長(zhǎng)說明效率(性成功率定壓力下事務(wù)處理的能力一個(gè)特定的系統(tǒng)負(fù)載下，系統(tǒng)得到了服務(wù)器正確響應(yīng)事務(wù)數(shù)在相應(yīng)的總事務(wù)數(shù)中的占比事務(wù)數(shù)/相應(yīng)的總事務(wù)數(shù)強(qiáng)制型效率(性在線用戶數(shù)最大在線用戶數(shù)=系統(tǒng)能夠處理的最大在線用效率(性并發(fā)訪問數(shù)同時(shí)訪問系統(tǒng)的最大用戶數(shù)最大并發(fā)訪問數(shù)=系統(tǒng)能處理的最大用戶同時(shí)性的適護(hù)者能否容易地使信息系統(tǒng)適應(yīng)環(huán)境、信息系統(tǒng)是否有足夠的能力使它自身適應(yīng)件適應(yīng)運(yùn)行環(huán)境時(shí)的用戶或維護(hù)境進(jìn)行運(yùn)行測(cè)試時(shí)能完成任務(wù)且使任務(wù)滿足適當(dāng)級(jí)別的運(yùn)行的功能數(shù)/進(jìn)行測(cè)試的功能總數(shù)性的適護(hù)者能否容易地使軟件適應(yīng)環(huán)境、信息系統(tǒng)是否有足夠的能力使它自身適應(yīng)運(yùn)件適應(yīng)運(yùn)行環(huán)境時(shí)的用戶或維護(hù)統(tǒng)軟件或并行應(yīng)數(shù)/進(jìn)行測(cè)試的功能總數(shù)表B.1(續(xù))一級(jí)二級(jí)指標(biāo)目的指標(biāo)等級(jí)指標(biāo)時(shí)長(zhǎng)說明易安的易安裝性能否容易地把軟件安裝在運(yùn)行環(huán)境中行環(huán)境中安裝軟件時(shí)用戶或維護(hù)性=用戶為自己的方便成功地更改安裝操作的次方便企圖更改安裝操作的總次數(shù)滿足需求規(guī)格說明書要求，如需求規(guī)格說明易安的易性環(huán)境中卸載軟件件時(shí)用戶或維護(hù)性=用戶為自己的方便成功地更改卸載操作的次方便企圖更改卸載操作的總次數(shù)滿足需求規(guī)格說明書要求，如需求規(guī)格說明性的共共同運(yùn)行時(shí)，用戶遇到限制或意外失效的頻繁程評(píng)價(jià)的軟件與用戶經(jīng)常使用的其他軟件并存時(shí)，評(píng)價(jià)其有效其他軟件共同運(yùn)行時(shí)，用戶遇到的限制或意外失效的時(shí)間/與其他軟件共同運(yùn)行的時(shí)間滿足需求規(guī)格說明書要求，如需求規(guī)格說明書未易替數(shù)據(jù)的連評(píng)估在更換原先的軟件之后觀能否繼續(xù)使用同是否成功的轉(zhuǎn)移當(dāng)更換軟件后觀察能否連續(xù)使用原軟件的數(shù)據(jù)用性=(在其他更換的軟件中使用并證實(shí)能繼續(xù)更換的軟件中使用并計(jì)劃能繼續(xù)重新使用的數(shù)據(jù)個(gè)數(shù))滿足需求規(guī)格說明書要求，如需求規(guī)格說明出表B.1(續(xù))一級(jí)二級(jí)指標(biāo)目的指標(biāo)等級(jí)指標(biāo)時(shí)長(zhǎng)說明易替功能的內(nèi)評(píng)估在更換原先的軟件之后觀察用戶或維護(hù)者能否繼續(xù)容易地使用類似的功能、信息系統(tǒng)是否成功的轉(zhuǎn)移當(dāng)更換軟件時(shí)觀察信息系統(tǒng)的=(在新版本軟件中產(chǎn)生類似結(jié)果而無需變更的功能數(shù))/(由要更換的其他軟件提供的類似功能并已測(cè)試過的功能數(shù))易用性易理的完的幫助程度信息系統(tǒng)描述后(或功能的類型)比例=[被理解的功能(或功能的類型)數(shù)]/(測(cè)試功能[或功能的類型)總數(shù)]于90%易用性易理功能的易性息系統(tǒng)功能正確理解的程度階段及完成階段軟件功能被用戶正確理解的比例解能正確描述出的功能數(shù)/測(cè)試功能總數(shù)易用性易理輸出的易性息系統(tǒng)輸入數(shù)據(jù)及輸出數(shù)據(jù)的理指用戶在使用信息系統(tǒng)時(shí)能正確理解輸入輸出數(shù)據(jù)的比例輸入輸出的易功理解的輸入和輸出數(shù)據(jù)項(xiàng)的數(shù)到的輸入和輸出數(shù)據(jù)項(xiàng)的總數(shù)于90%易用性易理界面的明潔文字或提供了界面元素的明的界面元素?cái)?shù)/難以理解的界面元素總數(shù)表B.1(續(xù))出一級(jí)二級(jí)指標(biāo)目的指標(biāo)等級(jí)指標(biāo)時(shí)長(zhǎng)說明易用性易學(xué)習(xí)性幫助的完評(píng)估用戶文檔和/或幫助機(jī)制中進(jìn)行幫助描述的完整程度幫助機(jī)制或文所占的比例=(幫助機(jī)制或文檔描述過的功能數(shù))/功能總數(shù)易用性易操用中的一性程度用戶在使用信息系統(tǒng)時(shí)各種操作模式保持一致的比例一測(cè)試發(fā)現(xiàn)操作模式不一致用例易用性易操的有性檢查的程度入項(xiàng)提供了對(duì)有效性數(shù)據(jù)進(jìn)行檢查的比例檢查=對(duì)有效數(shù)據(jù)進(jìn)行檢查的輸據(jù)可能進(jìn)行檢查的輸入項(xiàng)數(shù)于95%易用性吸引性界面外觀的易定制性的易定制性界面元素能定制為用戶滿意的外觀的比例界面外觀的易定制性=能定制為用戶滿意的外用戶希望定制的界面元素總數(shù)性成熟性失效率測(cè)的能力周期內(nèi)檢測(cè)出失效的多少100%一試驗(yàn)周期測(cè)試用例的個(gè)數(shù)于98%性成熟性率評(píng)估測(cè)試期間信息系統(tǒng)執(zhí)行測(cè)要求的測(cè)試用例的比例測(cè)試期間實(shí)際執(zhí)按照覆蓋需求要求執(zhí)行的測(cè)試用例數(shù)強(qiáng)制型表B.1(續(xù))一級(jí)二級(jí)指標(biāo)目的指標(biāo)等級(jí)指標(biāo)時(shí)長(zhǎng)說明性成熟性度評(píng)估測(cè)試計(jì)劃的充分程度要求的測(cè)試用例的比例并在評(píng)審中證實(shí)的測(cè)試用例數(shù)/要求的測(cè)試用例數(shù)強(qiáng)制型性性失效評(píng)估能控制多少種故障模式以避免關(guān)鍵性的或?qū)σ呀?jīng)避免的故障模式的個(gè)數(shù)進(jìn)行計(jì)算，并與考慮到的故障模應(yīng)故障模式的測(cè)試用例，避免關(guān)鍵和嚴(yán)重失效發(fā)中執(zhí)行的故障模(幾乎會(huì)引起失強(qiáng)制型性性作評(píng)估實(shí)現(xiàn)了名少種抵御誤操作能力的功能鍵或嚴(yán)重失效的誤操作的測(cè)試用例個(gè)數(shù)進(jìn)行計(jì)數(shù)，并與執(zhí)行的考慮誤操作模式的測(cè)試用例個(gè)數(shù)相比較避免關(guān)鍵失效和嚴(yán)重失效發(fā)生的行的(幾乎引起失效的)誤操作模式的測(cè)試用例的個(gè)數(shù)強(qiáng)制型性易恢復(fù)性易修常情況下或需要時(shí)自身的修復(fù)能力時(shí)在目標(biāo)時(shí)間內(nèi)成功自動(dòng)修復(fù)的比例易修復(fù)性=在評(píng)審中證實(shí)已實(shí)現(xiàn)的具有復(fù)原功說明中的需要具有復(fù)原功能的需求數(shù)強(qiáng)制型性易恢復(fù)性時(shí)間目標(biāo)的業(yè)務(wù)恢復(fù)能力難狀態(tài)恢復(fù)到可運(yùn)行狀態(tài)所需的時(shí)間時(shí)間恢復(fù)目標(biāo)