測(cè)試度量指標(biāo)介紹.doc

測(cè)試度量指標(biāo)介紹在CMMI4體系的測(cè)試過(guò)程中定義了四個(gè)度量指標(biāo)：測(cè)試覆蓋率、測(cè)試執(zhí)行率、測(cè)試執(zhí)行通過(guò)率、測(cè)試缺陷解決率。為了使專/兼職測(cè)試人員理解這四個(gè)度量指標(biāo)，了解如何利用現(xiàn)有資源收集度量數(shù)據(jù)，本文介紹這四個(gè)指標(biāo)的含義及數(shù)據(jù)收集方法。1測(cè)試覆蓋率測(cè)試覆蓋率是指測(cè)試用例對(duì)需求的覆蓋情況。計(jì)算公式：已設(shè)計(jì)測(cè)試用例的需求數(shù)/需求總數(shù)。測(cè)試覆蓋率從緯度上說(shuō)包括廣度覆蓋和深度覆蓋；從內(nèi)容上說(shuō)包括用戶場(chǎng)景覆蓋、功能覆蓋、功能組合覆蓋、系統(tǒng)場(chǎng)景覆蓋。首先說(shuō)廣度，是否需求規(guī)格說(shuō)明書(shū)中的每個(gè)需求項(xiàng)都在測(cè)試用例中得到設(shè)計(jì)。其次說(shuō)深度，通俗的說(shuō)，是不使我們的測(cè)試設(shè)計(jì)流于表面，是否能夠透過(guò)客戶需求文檔，挖掘出可能存在問(wèn)題的地方。例如：重復(fù)點(diǎn)擊某個(gè)按鈕10次，或者依次執(zhí)行新增、刪除、新增同一數(shù)據(jù)的記錄、再次刪除該記錄操作。在筆者的實(shí)際工作中碰到過(guò)這么一個(gè)例子，一個(gè)使用PL/SQL編寫的系統(tǒng)，在某個(gè)查詢界面，重復(fù)點(diǎn)擊查詢按鈕6次后，系統(tǒng)就會(huì)出現(xiàn)查詢功能失效的問(wèn)題。經(jīng)調(diào)試，開(kāi)發(fā)人員發(fā)現(xiàn)是由于gdi資源未完全釋放的緣故。在設(shè)計(jì)測(cè)試用例時(shí)，我們很少單獨(dú)設(shè)計(jì)廣度或深度方面的測(cè)試用例，而一般是結(jié)合在一起設(shè)計(jì)。為了從廣度和深度上覆蓋測(cè)試用例，我們需要考慮設(shè)計(jì)各種測(cè)試用例，如：用戶場(chǎng)景（識(shí)別最常用的20%的操作）、功能點(diǎn)、功能組合、系統(tǒng)場(chǎng)景、性能、語(yǔ)句、分支等。在執(zhí)行時(shí)，需要根據(jù)測(cè)試時(shí)間的充裕程度按照一定的順序執(zhí)行。通常是先執(zhí)行用戶場(chǎng)景的測(cè)試用例，然后再執(zhí)行具體功能點(diǎn)、功能組合的測(cè)試。測(cè)試覆蓋率數(shù)據(jù)的收集，我們可以通過(guò)需求跟蹤矩陣RTM來(lái)實(shí)現(xiàn)。在需求跟蹤矩陣，測(cè)試人員填寫的“系統(tǒng)測(cè)試用例”列的數(shù)據(jù)，如圖一所示。測(cè)試人員通過(guò)計(jì)算RTM列出的需求數(shù)量，和已設(shè)計(jì)測(cè)試用例的需求數(shù)量，可以快速的計(jì)算出測(cè)試覆蓋率。通過(guò)RTM，測(cè)試人員，包括項(xiàng)目組成員都可以很清楚的、快速的知道當(dāng)前這個(gè)項(xiàng)目測(cè)試的測(cè)試覆蓋情況。圖一 需求跟蹤矩陣?yán)幼ⅲ罕綬TM例子中，筆者將“概要設(shè)計(jì)”、“詳細(xì)設(shè)計(jì)”、“編碼”等列隱藏，只顯示與測(cè)試覆蓋率計(jì)算有關(guān)的內(nèi)容。 2測(cè)試執(zhí)行率執(zhí)行率，顧名思義，就是指實(shí)際執(zhí)行過(guò)程中確定已經(jīng)執(zhí)行的測(cè)試用例比率。計(jì)算公式：已執(zhí)行的測(cè)試用例數(shù)/設(shè)計(jì)的總測(cè)試用例數(shù)。讀者肯定覺(jué)得很奇怪了，我們?cè)O(shè)計(jì)的測(cè)試用例肯定都是要執(zhí)行的，即使是按模塊來(lái)執(zhí)行測(cè)試，那該模塊的測(cè)試執(zhí)行率肯定是100%，為什么還要設(shè)置這個(gè)指標(biāo)？其實(shí)不然。在實(shí)際測(cè)試過(guò)程中，經(jīng)常有如下這種情況發(fā)生。一種情況是，因?yàn)橄到y(tǒng)采用迭代方式開(kāi)發(fā)，每次Build時(shí)都有不同的重點(diǎn)，包含不同的內(nèi)容；第二種情況是，由于測(cè)試資源的有限，不可能每次將所有設(shè)計(jì)的測(cè)試內(nèi)容都全部測(cè)試完畢。由于這兩種情況的存在，所以在每次執(zhí)行測(cè)試時(shí)，我們會(huì)按照不同的測(cè)試重點(diǎn)和測(cè)試內(nèi)容來(lái)安排測(cè)試活動(dòng)，所以就存在了“測(cè)試執(zhí)行率”這個(gè)指標(biāo)。通常，我們的測(cè)試目標(biāo)是確保100%的測(cè)試用例都得到執(zhí)行，即執(zhí)行率為100%。但是，如前面所提到的，實(shí)際中可能存在非100%的執(zhí)行率。如果不能達(dá)到100%的測(cè)試執(zhí)行率，那么我們需要根據(jù)不同的情況制定不同的測(cè)試執(zhí)行率標(biāo)準(zhǔn)主要考慮風(fēng)險(xiǎn)、重要性、可接受的測(cè)試執(zhí)行率。在考慮可接受的測(cè)試執(zhí)行率時(shí)，就涉及到了測(cè)試用例執(zhí)行順序的問(wèn)題。在設(shè)計(jì)測(cè)試用例時(shí)，我們需要從廣度和深度上盡可能的覆蓋需求，所以我們就需要設(shè)計(jì)各種測(cè)試用例，如正常的測(cè)試用例、異常的測(cè)試用例、界面的測(cè)試用例等。但是在執(zhí)行時(shí)，測(cè)試人員需要根據(jù)項(xiàng)目進(jìn)度和測(cè)試時(shí)間的充裕程度，參考測(cè)試執(zhí)行率標(biāo)準(zhǔn)，將測(cè)試用例按照一定的順序執(zhí)行。通常是先執(zhí)行用戶場(chǎng)景對(duì)應(yīng)的測(cè)試用例，然后再執(zhí)行具體功能點(diǎn)、功能組合的測(cè)試，完成這些測(cè)試后，再進(jìn)行其它測(cè)試，如系統(tǒng)場(chǎng)景、性能、語(yǔ)句等測(cè)試。例如，某項(xiàng)目共設(shè)計(jì)了280個(gè)測(cè)試用例。該項(xiàng)目某一階段的測(cè)試共分四個(gè)版本，其中有一個(gè)版本執(zhí)行了134個(gè)測(cè)試用例，那么該版本的測(cè)試執(zhí)行率為47.9%。3測(cè)試執(zhí)行通過(guò)率在介紹“測(cè)試執(zhí)行通過(guò)率”之前，需要說(shuō)明測(cè)試用例的執(zhí)行結(jié)果定義。測(cè)試用例的執(zhí)行結(jié)果有以下四種定義：介紹了執(zhí)行結(jié)果定義后，我們來(lái)看測(cè)試執(zhí)行通過(guò)率。測(cè)試執(zhí)行通過(guò)率，指在實(shí)際執(zhí)行的測(cè)試用例中，執(zhí)行結(jié)果為“通過(guò)”的測(cè)試用例比率。計(jì)算公式：執(zhí)行結(jié)果為“通過(guò)”的測(cè)試用例數(shù)/實(shí)際執(zhí)行的測(cè)試用例總數(shù)。我們可以針對(duì)所有計(jì)劃執(zhí)行的測(cè)試用例進(jìn)行衡量，可以細(xì)化到具體模塊，用于對(duì)比各個(gè)模塊的測(cè)試用例執(zhí)行情況。為了得到測(cè)試執(zhí)行通過(guò)率數(shù)據(jù)，我們?cè)跍y(cè)試執(zhí)行時(shí)，需要在測(cè)試用例副本中記錄下每個(gè)測(cè)試用例的執(zhí)行結(jié)果，然后在當(dāng)前版本執(zhí)行完畢，或者定期（如每周）統(tǒng)計(jì)當(dāng)前測(cè)試執(zhí)行數(shù)據(jù)。通過(guò)原始數(shù)據(jù)的記錄與統(tǒng)計(jì)，我們可以快速的得到當(dāng)前版本或當(dāng)前階段的測(cè)試執(zhí)行通過(guò)率。下表是某項(xiàng)目某一測(cè)試版本使用測(cè)試用例執(zhí)行測(cè)試的統(tǒng)計(jì)數(shù)據(jù)：模塊測(cè)試執(zhí)行結(jié)果系統(tǒng)用例通過(guò)失敗阻塞忽略會(huì)員管理報(bào)名參賽（UC1）12004賽事查詢（UC2）5000比賽資格查詢（UC3）4003加入戰(zhàn)隊(duì)（UC4）18000組織我的戰(zhàn)隊(duì)（UC5）29000查詢我的戰(zhàn)隊(duì)（UC10）5000會(huì)員注冊(cè)11000修改會(huì)員資料9000基本信息管理比賽項(xiàng)目管理（UC6）12201賽區(qū)運(yùn)營(yíng)商（UC10）8100賽場(chǎng)管理（包括支持項(xiàng)目）（UC8）16000賽事管理賽事管理（UC9）22600戰(zhàn)隊(duì)管理（UC12）40000統(tǒng)計(jì)管理報(bào)名統(tǒng)計(jì)（UC13）9100系統(tǒng)參數(shù)管理系統(tǒng)參數(shù)配置（UC11）4000權(quán)限管理登錄系統(tǒng)5000操作員管理12000用戶組管理18100用戶密碼修改2000Session同步4000合計(jì)2451108通過(guò)計(jì)算可知，該測(cè)試版本的測(cè)試測(cè)試執(zhí)行通過(guò)率為92.8%。 4 缺陷解決率缺陷解決率，指某個(gè)階段已關(guān)閉缺陷占缺陷總數(shù)的比率。缺陷關(guān)閉操作包括以下兩種情況：正常關(guān)閉：缺陷已修復(fù)，且經(jīng)過(guò)測(cè)試人員驗(yàn)證通過(guò)；強(qiáng)制關(guān)閉：重復(fù)的缺陷；由于外部原因造成的缺陷；暫時(shí)不處理的缺陷；無(wú)效的缺陷。這類缺陷經(jīng)過(guò)確認(rèn)后，可以強(qiáng)制關(guān)閉。計(jì)算公式：已關(guān)閉的缺陷/缺陷總數(shù)在項(xiàng)目過(guò)程中，在開(kāi)始時(shí)缺陷解決率上升很緩慢，隨著測(cè)試工作的開(kāi)展，缺陷解決率逐步上升，在版本發(fā)布前，缺陷解決率將趨于100%，如圖二所示。一般來(lái)說(shuō)，在每個(gè)版本對(duì)外發(fā)布時(shí)，缺陷解決率都應(yīng)該達(dá)到100%。也就是說(shuō)，除了已修復(fù)的缺陷需要進(jìn)行驗(yàn)證外，其他需要強(qiáng)制關(guān)閉的缺陷必須經(jīng)過(guò)確認(rèn)，且有對(duì)應(yīng)的應(yīng)對(duì)措施?？梢詫⑷毕萁鉀Q率作為測(cè)試結(jié)束和版本發(fā)布的一個(gè)標(biāo)準(zhǔn)。如果有部分缺陷仍處于打開(kāi)或已處理狀態(tài)，那么原則上來(lái)說(shuō)，該版本是不允許發(fā)布的。 圖二 缺陷解決率缺陷關(guān)閉數(shù)據(jù)，可以通過(guò)缺陷跟蹤工具定期（如每周）收集當(dāng)前系統(tǒng)的缺陷數(shù)、已關(guān)閉缺陷數(shù)，通過(guò)這兩個(gè)數(shù)據(jù)，即可繪制出整