第06章測(cè)試報(bào)告及測(cè)試評(píng)測(cè)

第6章測(cè)試報(bào)告與測(cè)試評(píng)測(cè)

一個(gè)軟件項(xiàng)目的測(cè)試工作，根據(jù)測(cè)試情況撰寫測(cè)試報(bào)告和測(cè)試評(píng)測(cè)，對(duì)測(cè)試進(jìn)行評(píng)估和質(zhì)量分析，同樣是一項(xiàng)關(guān)鍵的工作。本章主要介紹如何報(bào)告發(fā)現(xiàn)的軟件缺陷，以及有關(guān)測(cè)試評(píng)估的相關(guān)知識(shí)。

軟件測(cè)試是在軟件開發(fā)的過程中，對(duì)軟件產(chǎn)品進(jìn)行質(zhì)量控制，目的是保證軟件產(chǎn)品的最終質(zhì)量。一般來說軟件測(cè)試應(yīng)嚴(yán)格按照軟件測(cè)試流程，制定測(cè)試計(jì)劃、測(cè)試方案、測(cè)試規(guī)范，實(shí)施測(cè)試，對(duì)測(cè)試數(shù)據(jù)進(jìn)行記錄，并根據(jù)測(cè)試情況撰寫測(cè)試報(bào)告。測(cè)試報(bào)告主要是報(bào)告發(fā)現(xiàn)的軟件缺陷。

測(cè)試評(píng)價(jià)主要包括覆蓋評(píng)價(jià)以及質(zhì)量和性能評(píng)價(jià)。覆蓋評(píng)價(jià)是對(duì)測(cè)試完全程度的評(píng)測(cè)；質(zhì)量和性能評(píng)價(jià)是對(duì)測(cè)試的軟件對(duì)象的性能、穩(wěn)定性以及可靠性的評(píng)測(cè)。6.1軟件缺陷和軟件缺陷種類6.1.1軟件缺陷的定義和描述軟件缺陷簡單說就是存在于軟件（文檔、數(shù)據(jù)、程序）之中的那些不希望，或不可接受的偏差，而導(dǎo)致軟件產(chǎn)生的質(zhì)量問題。按照一般的定義，只要符合下面5個(gè)規(guī)則中的一個(gè)，就叫做軟件缺陷。

軟件未達(dá)到軟件規(guī)格說明書中規(guī)定的功能；

軟件超出軟件規(guī)格說明書中指明的范圍；

軟件未達(dá)到軟件規(guī)格說明書中指出的應(yīng)達(dá)到的目標(biāo)；

軟件運(yùn)行出現(xiàn)錯(cuò)誤；

軟件測(cè)試人員認(rèn)為軟件難于理解，不易使用，運(yùn)行速度慢，或者最終用戶認(rèn)為軟件使用效果不好。軟件缺陷的有效描述規(guī)則單一準(zhǔn)確可以再現(xiàn)完整統(tǒng)一短小簡練特定條件補(bǔ)充完善不作評(píng)價(jià)6.1.2軟件缺陷的種類（1）功能不正常（2）軟件在使用上不方便（3）軟件的結(jié)構(gòu)未做良好規(guī)劃（4）功能不充分（5）與軟件操作者的互動(dòng)不良（6）使用性能不佳（7）未做好錯(cuò)誤處理（8）邊界錯(cuò)誤（9）計(jì)算錯(cuò)誤（10）使用一段時(shí)間所產(chǎn)生的錯(cuò)誤（11）控制流程的錯(cuò)誤（12）在大數(shù)據(jù)量壓力之下所產(chǎn)生的錯(cuò)誤（13）在不同硬件環(huán)境下產(chǎn)生的錯(cuò)誤（14）版本控制不良所產(chǎn)生的錯(cuò)誤（15）軟件文檔的錯(cuò)誤6.1.3軟件缺陷的屬性（1）缺陷標(biāo)識(shí)（2）缺陷描述與缺陷注釋（3）缺陷類型（4）缺陷嚴(yán)重程度（5）缺陷產(chǎn)生可能性（6）缺陷的優(yōu)先級(jí)（7）缺陷狀態(tài)（8）軟件缺陷的起源（9）軟件缺陷的來源（10）缺陷根源6.2軟件缺陷的生命周期

軟件缺陷從被測(cè)試人員發(fā)現(xiàn)一直到被修復(fù)，也經(jīng)歷了一個(gè)特有的生命周期的階段。下面是一個(gè)最簡單的軟件缺陷生命周期的例子，系統(tǒng)地表示軟件缺陷從被發(fā)現(xiàn)起經(jīng)歷的各個(gè)階段：

（1）測(cè)試人員找到并登記軟件缺陷，軟件缺陷被移交到程序修復(fù)人員。（2）程序修復(fù)人員修復(fù)軟件中的軟件缺陷，然后移交到測(cè)試人員。（3）測(cè)試人員確認(rèn)軟件缺陷被修復(fù)，關(guān)閉軟件缺陷。

當(dāng)軟件缺陷首先被軟件測(cè)試人員發(fā)現(xiàn)時(shí)。在許多情況下，軟件缺陷生命周期的復(fù)雜程度僅為軟件缺陷被打開、解決和關(guān)閉。然而，在有些情況下，生命周期變得更復(fù)雜一些，如圖6-1所示。圖6-1復(fù)雜的軟件缺陷生命周期通常，軟件缺陷生命周期有兩個(gè)附加狀態(tài):

（1）審查狀態(tài)：指項(xiàng)目管理員或者委員會(huì)（有時(shí)稱為變動(dòng)控制委員會(huì)）決定軟件缺陷是否應(yīng)該修復(fù)。（2）推遲狀態(tài)：審查可能認(rèn)定軟件缺陷應(yīng)該在將來的同一時(shí)間考慮修復(fù)，但是在該版本軟件中不修復(fù)。6.3分離和再現(xiàn)軟件缺陷

測(cè)試人員要想有效報(bào)告軟件缺陷，就要對(duì)軟件缺陷以明顯、通用和再現(xiàn)的形式進(jìn)行描述。分離和再現(xiàn)軟件缺陷是考驗(yàn)軟件測(cè)試人員專業(yè)技能的地方，測(cè)試人員應(yīng)該設(shè)法找出縮小問題范圍的具體步驟。對(duì)測(cè)試人員有利的情況是，若建立起絕對(duì)相同的輸入條件時(shí)，軟件缺陷就會(huì)再次出現(xiàn)，不存在隨機(jī)的軟件缺陷。

如果找到的軟件缺陷要采取繁雜的步驟才能再現(xiàn)，或者根本無法再現(xiàn)，碰到這種情況，可采取如下的方法來分離和再現(xiàn)軟件缺陷。實(shí)踐證明這些方法對(duì)測(cè)試人員是有所幫助的。（1）確保所有的步驟都被記錄（2）注意時(shí)間和運(yùn)行條件上的因素（3）注意軟件的邊界條件、內(nèi)存容量和數(shù)據(jù)溢出的問題（4）注意事件發(fā)生次序?qū)е碌能浖毕荩?）考慮資源依賴性和內(nèi)存、網(wǎng)絡(luò)、硬件共享的相互作用（6）不要忽視硬件6.4軟件測(cè)試人員需正確面對(duì)軟件缺陷

在軟件測(cè)試過程中，軟件測(cè)試人員必須確保測(cè)試過程發(fā)現(xiàn)的軟件缺陷得以關(guān)閉。軟件測(cè)試人員需要從綜合的角度考慮軟件的質(zhì)量問題，對(duì)找出的軟件缺陷保持一種平常心態(tài)。1.并不是測(cè)試人員辛苦找出的每個(gè)軟件缺陷都是必須修復(fù)的測(cè)試是為了證明程序有錯(cuò)，而不是證明程序沒錯(cuò)。不管測(cè)試計(jì)劃多么完善和執(zhí)行測(cè)試多么努力，也不能保證所有軟件缺陷發(fā)現(xiàn)了就能修復(fù)。有些軟件缺陷可能會(huì)完全被忽略，還有一些可能推遲到軟件后續(xù)版本中修復(fù)。有些軟件缺陷不被修復(fù)的原因如下。（1）沒有足夠的時(shí)間（2）不算真正的軟件缺陷（3）修復(fù)的風(fēng)險(xiǎn)太大（4）不值得修復(fù)2.發(fā)現(xiàn)的缺陷的數(shù)量說明不了軟件的質(zhì)量

3.不要指望找出軟件中所有的缺陷6.5報(bào)告軟件缺陷6.5.1報(bào)告軟件缺陷的基本原則在軟件測(cè)試過程中，對(duì)于發(fā)現(xiàn)的大多數(shù)軟件缺陷，要求測(cè)試人員簡捷、清晰地把發(fā)現(xiàn)的問題報(bào)告給判斷是否進(jìn)行修復(fù)的小組，使其得到所需要的全部信息，然后才能決定怎么做。報(bào)告軟件缺陷的基本原則如下。1．盡快報(bào)告軟件缺陷2．有效地描述軟件缺陷有效的軟件缺陷描述要求如下。（1）簡單與短?。?）明確指明錯(cuò)誤類型（3）單一（4）使用IT業(yè)界慣用的表達(dá)術(shù)語和表達(dá)方法3．在報(bào)告軟件缺陷時(shí)不做任何評(píng)價(jià)4．補(bǔ)充和完善軟件缺陷報(bào)告

以上概括了報(bào)告測(cè)試錯(cuò)誤的規(guī)范要求，測(cè)試人員應(yīng)該牢記上面這些關(guān)于報(bào)告軟件缺陷的原則。這些原則幾乎可以運(yùn)用到任何交流活動(dòng)中，盡管有時(shí)難以做到，然而，如果希望有效地報(bào)告軟件缺陷，并使其得以修復(fù)，這些是測(cè)試人員要遵循的基本原則。隨著軟件的測(cè)試要求不同，測(cè)試者積累了相應(yīng)的測(cè)試經(jīng)驗(yàn)會(huì)，將會(huì)逐漸養(yǎng)成良好的專業(yè)習(xí)慣，不斷補(bǔ)充新的規(guī)范書寫要求。此外，經(jīng)常閱讀、學(xué)習(xí)高級(jí)測(cè)試工程師的測(cè)試錯(cuò)誤報(bào)告，結(jié)合自己以前的測(cè)試錯(cuò)誤報(bào)告進(jìn)行對(duì)比和思考，可以不斷提高技巧。6.5.2IEEE軟件缺陷報(bào)告模板ANS/IEEE829—1998標(biāo)準(zhǔn)定義了一個(gè)稱為軟件缺陷報(bào)告的文檔，用于報(bào)告“在測(cè)試期間發(fā)生的任何異常事件”。簡言之，就是用于登記軟件缺陷。模板標(biāo)準(zhǔn)如圖6-3所示。圖6-3IEEE軟件缺陷報(bào)告模板6.6軟件缺陷的跟蹤管理6.6.1軟件缺陷跟蹤管理系統(tǒng)軟件缺陷跟蹤管理系統(tǒng)（DefectTrackingSystem）是用于集中管理軟件測(cè)試過程中所發(fā)現(xiàn)缺陷的數(shù)據(jù)庫程序，可以通過添加、修改、排序、查尋、存儲(chǔ)操作來管理軟件缺陷。在測(cè)試工作中應(yīng)用軟件缺陷管理系統(tǒng)具有以下優(yōu)點(diǎn)：1.保持高效率的測(cè)試過程2.提高軟件缺陷報(bào)告的質(zhì)量3.實(shí)施實(shí)時(shí)管理，安全控制4.利用該系統(tǒng)還有利于項(xiàng)目組成員間協(xié)同工作

軟件缺陷跟蹤管理系統(tǒng)可以通過添加、修改、排序、查尋、存儲(chǔ)操作來管理軟件缺陷。缺陷跟蹤管理系統(tǒng)在實(shí)現(xiàn)技術(shù)層面上來看是一個(gè)數(shù)據(jù)庫應(yīng)用程序。它包括前臺(tái)用戶界面、后臺(tái)缺陷數(shù)據(jù)庫以及中間數(shù)據(jù)處理層。圖6-4所示的是一個(gè)軟件缺陷數(shù)據(jù)庫跟蹤系統(tǒng)。圖6-4軟件缺陷數(shù)據(jù)庫跟蹤系統(tǒng)

軟件缺陷跟蹤數(shù)據(jù)庫最常用的功能，除了輸入軟件缺陷之外，就是通過執(zhí)行查詢來獲得需要的軟件缺陷清單。

通過使用軟件缺陷跟蹤數(shù)據(jù)庫，不但可以進(jìn)行查詢，還可以找出發(fā)現(xiàn)的軟件缺陷類型，發(fā)現(xiàn)軟件缺陷的速度，以及多少軟件缺陷已經(jīng)得到了修復(fù)，能夠提取各種實(shí)用和關(guān)心的數(shù)據(jù)，可以顯示測(cè)試工作的成效和項(xiàng)目的進(jìn)展情況。測(cè)試人員或者項(xiàng)目管理員可以看出數(shù)據(jù)中是否有趨勢(shì)顯示需要增加測(cè)試的區(qū)域，或者測(cè)試工作是否符合預(yù)先所制定的測(cè)試計(jì)劃的進(jìn)程等。6.6.2手工報(bào)告和跟蹤軟件缺陷顯然，在軟件測(cè)試工作中，每個(gè)測(cè)試用例的結(jié)果都必須進(jìn)行記錄。如果使用軟件缺陷數(shù)據(jù)庫跟蹤系統(tǒng)，那么測(cè)試工具將自動(dòng)記錄軟件缺陷的相關(guān)信息。如果測(cè)試是采用手工記錄和跟蹤軟件缺陷，那么有關(guān)軟件缺陷的信息可以直接記錄在相應(yīng)的文檔中。圖6-5所示的是根據(jù)ANS/IEEE829—1998標(biāo)準(zhǔn)設(shè)計(jì)的軟件缺陷報(bào)告文檔。圖6-5軟件缺陷報(bào)告文檔6.7軟件測(cè)試的評(píng)測(cè)

測(cè)試的評(píng)測(cè)主要方法包括覆蓋評(píng)測(cè)和質(zhì)量評(píng)測(cè)。測(cè)試覆蓋評(píng)測(cè)是對(duì)測(cè)試完全程度的評(píng)測(cè)，它建立在測(cè)試覆蓋基礎(chǔ)上，測(cè)試覆蓋是由測(cè)試需求和測(cè)試用例的覆蓋或已執(zhí)行代碼的覆蓋表示的。質(zhì)量評(píng)測(cè)是對(duì)測(cè)試對(duì)象的可靠性、穩(wěn)定性以及性能的評(píng)測(cè)。質(zhì)量建立在對(duì)測(cè)試結(jié)果的評(píng)估和對(duì)測(cè)試過程中確定的缺陷及缺陷修復(fù)的分析基礎(chǔ)上。6.7.1覆蓋評(píng)測(cè)覆蓋評(píng)測(cè)指標(biāo)是用來度量軟件測(cè)試的完全程度的，所以可以將覆蓋用做測(cè)試有效性的一個(gè)度量。最常用的覆蓋評(píng)測(cè)是基于需求的測(cè)試覆蓋和基于代碼的測(cè)試覆蓋，它們分別是指針對(duì)需求（基于需求的）或代碼的設(shè)計(jì)/實(shí)施標(biāo)準(zhǔn)（基于代碼的）而言的完全程度評(píng)測(cè)。1．基于需求的測(cè)試覆蓋基于需求的測(cè)試覆蓋在測(cè)試過程中要評(píng)測(cè)多次，并在測(cè)試過程中，每一個(gè)測(cè)試階段結(jié)束時(shí)給出測(cè)試覆蓋的度量。例如，計(jì)劃的測(cè)試覆蓋、已實(shí)施的測(cè)試覆蓋、已執(zhí)行成功的測(cè)試覆蓋等?；谛枨蟮臏y(cè)試覆蓋率通過以下公式計(jì)算：

測(cè)試覆蓋率=T(p,i,x,s)/RfT%

在制定測(cè)試計(jì)劃活動(dòng)中，將計(jì)算計(jì)劃的測(cè)試覆蓋，其計(jì)算方法如下：計(jì)劃的測(cè)試覆蓋率=Tp/RfT%其中：Tp是用測(cè)試過程或測(cè)試用例表示的計(jì)劃測(cè)試需求數(shù)。Rf?T是測(cè)試需求的總數(shù)。

在實(shí)施測(cè)試過程中，計(jì)算測(cè)試覆蓋時(shí)使用以下公式：已執(zhí)行的測(cè)試覆蓋率=Ti/RfT%

其中：Ti是用測(cè)試過程或測(cè)試用例表示的已執(zhí)行的測(cè)試需求數(shù)。RfT是測(cè)試需求的總數(shù)。

在執(zhí)行測(cè)試活動(dòng)中，確定成功的測(cè)試覆蓋率（即執(zhí)行時(shí)未出現(xiàn)失敗的測(cè)試，如沒有出現(xiàn)缺陷或意外結(jié)果的測(cè)試）評(píng)測(cè)通過以下公式計(jì)算：成功的測(cè)試覆蓋率=Ts/RfT%

其中：Ts是用完全成功、沒有缺陷的測(cè)試過程或測(cè)試用例表示的已執(zhí)行測(cè)試需求數(shù)。RfT是測(cè)試需求的總數(shù)。

在執(zhí)行測(cè)試過程中，經(jīng)常使用兩個(gè)測(cè)試覆蓋度量指標(biāo)，一個(gè)是確定已執(zhí)行的測(cè)試覆蓋率，另一個(gè)是確定成功的測(cè)試覆蓋率，即執(zhí)行時(shí)未出現(xiàn)失敗的測(cè)試覆蓋率。2．基于代碼的測(cè)試覆蓋基于代碼的測(cè)試覆蓋評(píng)測(cè)是測(cè)試過程中已經(jīng)執(zhí)行的代碼的多少，與之相對(duì)應(yīng)的是將要執(zhí)行測(cè)試的剩余代碼的多少。

許多測(cè)試專家認(rèn)為，一個(gè)測(cè)試小組在測(cè)試工作中所要做的最為重要的事情之一就是度量代碼的覆蓋情況?；诖a的測(cè)試覆蓋率通過以下公式計(jì)算：基于代碼的測(cè)試覆蓋率=Ie/TIic%

其中：Ie是用代碼語句、代碼分支、代碼路徑、數(shù)據(jù)狀態(tài)判定點(diǎn)或數(shù)據(jù)元素名表示的已執(zhí)行代碼數(shù)。TIic是代碼的總數(shù)。

很明顯，在軟件測(cè)試工作中，進(jìn)行基于代碼的測(cè)試覆蓋評(píng)測(cè)這項(xiàng)工作極有意義，因?yàn)槿魏挝唇?jīng)測(cè)試的代碼都是一個(gè)潛在的不利因素。在一般情況下，代碼覆蓋運(yùn)用于較低的測(cè)試等級(jí)（例如單元和集成級(jí)）時(shí)最為有效。

但是，僅僅憑借執(zhí)行了所有的代碼，并不能為軟件質(zhì)量提供保證。也就是說，即使所有的代碼都在測(cè)試中得到執(zhí)行，并不能擔(dān)保代碼是按照客戶需求和設(shè)計(jì)的要求去做了。6.7.2質(zhì)量評(píng)測(cè)測(cè)試覆蓋的評(píng)測(cè)提供了對(duì)測(cè)試完全程度的評(píng)價(jià)，而在測(cè)試過程中對(duì)已發(fā)現(xiàn)缺陷的評(píng)測(cè)提供了最佳的軟件質(zhì)量指標(biāo)。

常用的測(cè)試有效性度量是圍繞缺陷分析來構(gòu)造的。缺陷分析就是分析缺陷在與缺陷相關(guān)聯(lián)的一個(gè)或者多個(gè)參數(shù)值上的分布。缺陷分析提供了一個(gè)軟件可靠性指標(biāo)，這些分析為揭示軟件可靠性的缺陷趨勢(shì)或缺陷分布提供了判斷依據(jù)。

對(duì)于缺陷分析，常用的主要缺陷參數(shù)有以下4個(gè)。

狀態(tài)：缺陷的當(dāng)前狀態(tài)（打開的、正在修復(fù)的或關(guān)閉的等）。

優(yōu)先級(jí)：表示修復(fù)缺陷的重要程度和應(yīng)該何時(shí)修復(fù)。

嚴(yán)重性：表示軟件缺陷的惡劣程度，反映其對(duì)產(chǎn)品和用戶的影響等。

起源：導(dǎo)致缺陷的原因及其位置，或排除該缺陷需要修復(fù)的構(gòu)件。

缺陷分析通常用以下4類形式的度量提供缺陷評(píng)測(cè)：

缺陷發(fā)現(xiàn)率；

缺陷潛伏期；

缺陷密度。

整體軟件缺陷清除率1．缺陷發(fā)現(xiàn)率缺陷發(fā)現(xiàn)率是將發(fā)現(xiàn)的缺陷數(shù)量作為時(shí)間的函數(shù)來評(píng)測(cè)，即創(chuàng)建缺陷趨勢(shì)圖，如圖6-6所示。圖6-6缺陷發(fā)現(xiàn)率2．缺陷潛伏期測(cè)試有效性的另外一個(gè)有用的度量是缺陷潛伏期，通常也稱為階段潛伏期。缺陷潛伏期是一種特殊類型的缺陷分布度量。在實(shí)際測(cè)試工作中，發(fā)現(xiàn)缺陷的時(shí)間越晚，這個(gè)缺陷所帶來的損害就越大，修復(fù)這個(gè)缺陷所耗費(fèi)的成本就越多。表6-1顯示了一個(gè)項(xiàng)目的缺陷潛伏期的度量。

表6-2顯示了一個(gè)項(xiàng)目的缺陷分布情況（按缺陷造成階段和缺陷發(fā)現(xiàn)階段）。

按照缺陷產(chǎn)生階段和缺陷發(fā)現(xiàn)階段統(tǒng)計(jì)了一個(gè)項(xiàng)目的缺陷分布情況后，根據(jù)軟件開發(fā)生命周期的各個(gè)階段缺陷潛伏期度量的加權(quán)值，可以對(duì)缺陷的發(fā)現(xiàn)過程有效性和修復(fù)軟件缺陷所耗費(fèi)的成本等進(jìn)行評(píng)測(cè)。這里采用了一個(gè)缺陷損耗的概念，缺陷損耗是使用階段潛伏期和缺陷分布來度量缺陷消除活動(dòng)的有效性的一種度量。

缺陷消耗可使用下面公式計(jì)算：表6-3顯示了一個(gè)項(xiàng)目的各個(gè)缺陷損耗值，它們依據(jù)的是經(jīng)過缺陷潛伏期加權(quán)的已發(fā)現(xiàn)的缺陷數(shù)。這樣，在驗(yàn)收測(cè)試期間發(fā)現(xiàn)的需求缺陷的加權(quán)數(shù)值為42（即6×7=42）。

一般而言，缺陷損耗的數(shù)值越低，說明缺陷的發(fā)現(xiàn)過程越有效（最理想的數(shù)值應(yīng)該為1）。作為一個(gè)絕對(duì)值，缺陷損耗幾乎沒有任何意義，但是當(dāng)用缺陷損耗來度量測(cè)試有效性的長期趨勢(shì)時(shí)，它就會(huì)顯示出自己的價(jià)值。3．缺陷密度軟件缺陷密度是一種以平均值估算法來計(jì)算出軟件缺陷分布的密度值。程序代碼通常是以千行為單位的，軟件缺陷密度是用下面公式計(jì)算的：

圖6-7顯示了一個(gè)項(xiàng)目的各個(gè)模塊中每千行代碼的缺陷密度。圖6-7各個(gè)模塊中每千行代碼的缺陷密度

但是，在實(shí)際評(píng)測(cè)中，缺陷密度這種度量方法是極不完善的，度量本身是不充分的。這里邊存在的主要問題是：所有的缺陷并不都是均等構(gòu)造的。各個(gè)軟件缺陷的惡