軟件檢測實(shí)驗(yàn)室能力驗(yàn)證方案研究

Word版本，下載可自由編輯軟件檢測實(shí)驗(yàn)室能力驗(yàn)證方案研究軟件檢測實(shí)驗(yàn)室能力驗(yàn)證方案研究

王欣

中國電子技術(shù)標(biāo)準(zhǔn)化研究所

1.引言

近年來，各地建立了大批第三方軟件產(chǎn)品檢測實(shí)驗(yàn)室，到目前為止已超過50家。這些機(jī)構(gòu)承擔(dān)了國內(nèi)幾乎全部軟件產(chǎn)品的外部測試工作，其中很多實(shí)驗(yàn)室的業(yè)務(wù)還介入到了企業(yè)的開發(fā)過程中。這些實(shí)驗(yàn)室檢測能力的高低，將直接影響某個(gè)地區(qū)軟件行業(yè)的發(fā)展。不同于傳統(tǒng)檢測實(shí)驗(yàn)室，軟件產(chǎn)品檢測實(shí)驗(yàn)室的能力往往無法通過傳統(tǒng)的方法得到。例如，針對傳統(tǒng)的檢測與校準(zhǔn)實(shí)驗(yàn)室，可以采取不同實(shí)驗(yàn)室對同一標(biāo)準(zhǔn)物質(zhì)進(jìn)行測量，然后對測量結(jié)果進(jìn)行比對的手段。而對于軟件產(chǎn)品檢測實(shí)驗(yàn)室，這種方法的意義就顯得并不明顯。因此，需要一種針對軟件產(chǎn)品檢測實(shí)驗(yàn)室的新的能力驗(yàn)證方案。這種方案目前在國內(nèi)和國際上都還沒有形成。

本報(bào)告通過對軟件檢測實(shí)驗(yàn)室能力驗(yàn)證方案的現(xiàn)狀、需求和技術(shù)發(fā)展趨勢的分析，結(jié)合曾經(jīng)舉辦過的一些能力驗(yàn)證活動(dòng)的實(shí)際數(shù)據(jù)，列舉出了建立一整套嚴(yán)密驗(yàn)證方案所面臨的幾大重點(diǎn)課題，并嘗試著就這些課題給出了某種可行的解決方案。最終，本報(bào)告試圖通過以上分析，給出一條理論上可行的解決途徑，作為建立第三方軟件檢測實(shí)驗(yàn)室能力驗(yàn)證方案的一種參考，供相關(guān)人員研究。

2.正文

2.1.現(xiàn)狀分析

軟件產(chǎn)業(yè)的飛速發(fā)展極大地提高了生產(chǎn)力，促進(jìn)了社會發(fā)展。隨之而來的問題就是如何來有效地規(guī)范市場上眾多的軟件產(chǎn)品，如何有效地鑒別軟件產(chǎn)品質(zhì)量的優(yōu)劣，從而保護(hù)消費(fèi)者利益，引導(dǎo)軟件產(chǎn)業(yè)健康發(fā)展。無疑，最直接和最有效的手段就是對軟件產(chǎn)品實(shí)施檢測。正是基于這個(gè)原因，近年來國內(nèi)成立了很多從事軟件檢測業(yè)務(wù)的機(jī)構(gòu)。但是如何來驗(yàn)證這些檢測機(jī)構(gòu)是否真的具備從事相應(yīng)檢測業(yè)務(wù)的能力呢?如何來驗(yàn)證這些檢測機(jī)構(gòu)出具的檢測結(jié)果是否準(zhǔn)確有效呢?這顯然是企業(yè)、用戶以及管理部門共同關(guān)心的關(guān)鍵問題。

目前，為了保證檢測結(jié)果的公正、科學(xué)，軟件產(chǎn)品的檢測任務(wù)通常由中立的第三方軟件檢測機(jī)構(gòu)來承擔(dān)。這些檢測機(jī)構(gòu)在開展檢測業(yè)務(wù)之前須經(jīng)過國家實(shí)驗(yàn)室認(rèn)可委員會的認(rèn)可。認(rèn)可后的各個(gè)實(shí)驗(yàn)室之間，相同業(yè)務(wù)范圍內(nèi)的檢測結(jié)果應(yīng)是互相認(rèn)可并一致的。然而，由于軟件實(shí)驗(yàn)室相對于傳統(tǒng)實(shí)驗(yàn)室的特殊性，很多檢測實(shí)驗(yàn)室通過認(rèn)可之后，在同樣業(yè)務(wù)范圍內(nèi)的檢測能力仍然相差很多，往往造成彼此間的檢測數(shù)據(jù)不一致。截止到20**年，國內(nèi)各類第三方軟件檢測實(shí)驗(yàn)室已經(jīng)達(dá)到了一定數(shù)量

(超過50家)，覆蓋了我國大部分的行政區(qū)域，在軟件產(chǎn)業(yè)比較發(fā)達(dá)的地區(qū)，實(shí)驗(yàn)室的數(shù)量更加集中，例如北京地區(qū)，各種檢測實(shí)驗(yàn)室達(dá)到7、8家。上海、廣州等地區(qū)也有多家實(shí)驗(yàn)室同時(shí)開展工作。這些實(shí)驗(yàn)室中，絕大部分是由于"雙軟認(rèn)證'任務(wù)的需要建立起來的，所以實(shí)驗(yàn)室的檢測業(yè)務(wù)能力范圍多數(shù)均為GB/T17544和GB/T16260。但由于這兩個(gè)標(biāo)準(zhǔn)本身的一些原因?qū)е碌母鱾€(gè)實(shí)驗(yàn)室理解上的差異，以及實(shí)際檢測能力上的差別，經(jīng)常出現(xiàn)某一產(chǎn)品在某地區(qū)通過檢測后，在另外一個(gè)地區(qū)無法通過當(dāng)?shù)貙?shí)驗(yàn)室檢測的情況。為解決這種狀況，除了繼續(xù)加強(qiáng)標(biāo)準(zhǔn)化工作以外，急需出臺專門面向軟件檢測實(shí)驗(yàn)室的能力驗(yàn)證制度。軟件檢測實(shí)驗(yàn)室能力驗(yàn)證方案的最終用戶雖然是各個(gè)第三方軟件檢測實(shí)驗(yàn)室，但這一方案發(fā)揮的效果對國內(nèi)軟件市場的影響力是不可估量的。

在國外，軟件檢測實(shí)驗(yàn)室主要通過市場機(jī)制進(jìn)行約束和調(diào)控，有關(guān)能力驗(yàn)證方面的資料非常少。而國內(nèi)的檢測實(shí)驗(yàn)室統(tǒng)一受國家認(rèn)證認(rèn)可監(jiān)督管理委員會監(jiān)督管理。國家認(rèn)證認(rèn)可監(jiān)督管理委員會于20**年月13日發(fā)布了《實(shí)驗(yàn)室能力驗(yàn)證實(shí)施辦法》，于20**年5月1日起施行。這標(biāo)志著國家對于各類檢測實(shí)驗(yàn)室能力驗(yàn)證的重視已經(jīng)達(dá)到了新的高度。

而到目前為止，有關(guān)軟件檢測實(shí)驗(yàn)室能力驗(yàn)證的方法、工具還是空白，所以研制專門面向軟件檢測實(shí)驗(yàn)室的能力驗(yàn)證工具是管理部門的迫切需求。只有掌控了檢測機(jī)構(gòu)的實(shí)際能力，才能規(guī)范整個(gè)軟件檢測行業(yè)，進(jìn)而促進(jìn)軟件產(chǎn)業(yè)的健康發(fā)展。

這一辦法既表明了國家加強(qiáng)實(shí)驗(yàn)室管理的態(tài)度，也對軟件檢測實(shí)驗(yàn)室的能力驗(yàn)證問題提出了嚴(yán)峻的挑戰(zhàn)。另一方面，軟件檢測實(shí)驗(yàn)室和其他檢測、校準(zhǔn)實(shí)驗(yàn)室有很大差別，無法運(yùn)用傳統(tǒng)手段進(jìn)行能力驗(yàn)證。作為實(shí)驗(yàn)室管理機(jī)構(gòu)的中國實(shí)驗(yàn)室國家認(rèn)可委員會，目前對軟件檢測實(shí)驗(yàn)室的認(rèn)可工作基本上仍然以對其他領(lǐng)域?qū)嶒?yàn)室的認(rèn)可準(zhǔn)

則為依據(jù)，這本身在很大程度上并不適合于軟件檢測實(shí)驗(yàn)室。為了解決這個(gè)問題，國際標(biāo)準(zhǔn)化組織專門發(fā)布了技術(shù)文件，國家認(rèn)可委正在將該技術(shù)文件轉(zhuǎn)化為《檢測和校準(zhǔn)實(shí)驗(yàn)室認(rèn)可準(zhǔn)則(CNAL/AC01)在軟件檢測實(shí)驗(yàn)室的應(yīng)用附加指南》。該文件在一定程度上針對軟件檢測實(shí)驗(yàn)室進(jìn)行了調(diào)整，并提出了部分合乎軟件檢測實(shí)驗(yàn)室實(shí)際需求的要求條款。但是一直到目前為止，有關(guān)軟件檢測實(shí)驗(yàn)室能力驗(yàn)證方案的問題，國內(nèi)外都沒有可借鑒的參考方案。

2.2.總體方案

根據(jù)《實(shí)驗(yàn)室能力驗(yàn)證實(shí)施辦法》中第二條的規(guī)定，"本辦法所稱的能力驗(yàn)證，是指利用實(shí)驗(yàn)室間指定檢測數(shù)據(jù)的比對，確定實(shí)驗(yàn)室從事特定測試活動(dòng)的技術(shù)能力。'參考傳統(tǒng)實(shí)驗(yàn)室的這種比對活動(dòng)，都是采取標(biāo)準(zhǔn)物質(zhì)作為測試對象，對各個(gè)參加能力驗(yàn)證的實(shí)驗(yàn)室的實(shí)際測量結(jié)果進(jìn)行比較分析，最終得出結(jié)論。作為軟件檢測實(shí)驗(yàn)室，其能力驗(yàn)證的原理也是如此，只是在某些具體問題上與其他實(shí)驗(yàn)室差別較大。這些問題在下面的章節(jié)中會詳細(xì)討論，這里先給出能力驗(yàn)證的總體設(shè)想方案和其中的幾個(gè)主要環(huán)節(jié)(這些方案和環(huán)節(jié)中并沒有考慮組織管理上的諸多因素，那部分內(nèi)容不在本報(bào)告的討論范圍之內(nèi))：

設(shè)想方案：

建立一套《軟件檢測實(shí)驗(yàn)室能力驗(yàn)證用測試對象庫》，也就是一個(gè)可以任意組裝和拆卸的軟件模塊庫，這些模塊或大或小對應(yīng)著GB/T16260中規(guī)定的質(zhì)量特性、子特性或是度量元，當(dāng)我們要開始一次能力驗(yàn)證時(shí)，確定了要使用的質(zhì)量模型之后，就從庫中抽取合適的模塊，組裝成測試對象。

主要環(huán)節(jié)：

(1)設(shè)定能力驗(yàn)證范圍

(2)制備測試對象

.-物業(yè)經(jīng)理人

(3)分發(fā)并實(shí)施測試

(4)收集測試結(jié)果并進(jìn)行統(tǒng)計(jì)分析針對上面列出的個(gè)主要環(huán)節(jié)，我們一一討論其解決方案及可行性。

2.3.主要課題

(1)設(shè)定能力驗(yàn)證范圍

在這個(gè)環(huán)節(jié)中，我們的任務(wù)主要是以下幾個(gè)方面：

a.確定檢測依據(jù)和范圍

目前的軟件檢測實(shí)驗(yàn)室，其業(yè)務(wù)范圍主要是GB/T17544和GB/T16260。其中GB/T16260已經(jīng)修訂，而與之配套使用的GB/T17544的修訂工作還沒有結(jié)束。這兩個(gè)標(biāo)準(zhǔn)是針對所有軟件產(chǎn)品的通用標(biāo)準(zhǔn)，覆蓋了軟件產(chǎn)品的全部質(zhì)量特性。但是一般來說，一個(gè)軟件產(chǎn)品并不會涉及到全部這些質(zhì)量特性。那么哪些質(zhì)量特性在驗(yàn)證范圍內(nèi)，哪些不在驗(yàn)證范圍內(nèi)，要給出明確的說明。這些質(zhì)量特性在GB/T16260中又被分為了子特性和度量元，因此，在確定了檢測依據(jù)和范圍之后，應(yīng)給出本次能力驗(yàn)證使用的質(zhì)量模型。

b.確定結(jié)果數(shù)據(jù)的要求

定義了質(zhì)量特性范圍之后，要對測試結(jié)果數(shù)據(jù)有明確要求。如果測試的依據(jù)只是GB/T17544，那么由于該標(biāo)準(zhǔn)并未對測試后產(chǎn)生何種數(shù)據(jù)進(jìn)行規(guī)定，因此必須在這一環(huán)節(jié)中給出明確要求。例如，要求給出Buglist，統(tǒng)計(jì)錯(cuò)誤和失效的數(shù)量，進(jìn)行錯(cuò)誤分布分析等等。同時(shí)，由于這些錯(cuò)誤與失效的嚴(yán)重性級別是不同的，因此，還有必要對錯(cuò)誤的分級進(jìn)行統(tǒng)一的定義，并要求結(jié)果數(shù)據(jù)中給出相應(yīng)的級別描述。

如果測試的依據(jù)中包括了

GB/T16260，那么由于該標(biāo)準(zhǔn)中將各個(gè)質(zhì)量特性劃分為子特性，并進(jìn)一步細(xì)分為度量元，且給出了將各個(gè)度量元測試結(jié)果歸結(jié)為數(shù)值的方法，因此在這一環(huán)節(jié)中應(yīng)給出進(jìn)行比對測試時(shí)使用的質(zhì)量模型。也就是說，應(yīng)列出需要各個(gè)實(shí)驗(yàn)室提供結(jié)果數(shù)據(jù)的那些度量元的列表。

(2)制備測試對象

這個(gè)環(huán)節(jié)是整個(gè)能力驗(yàn)證方案中最為艱難的一個(gè)環(huán)節(jié)。其主要問題集中在以下幾個(gè)方面：

a.標(biāo)準(zhǔn)結(jié)果數(shù)據(jù)的問題

其他實(shí)驗(yàn)室使用的測試對象是標(biāo)準(zhǔn)物質(zhì)，其標(biāo)準(zhǔn)的結(jié)果數(shù)據(jù)是已知的;而軟件由于其自身的特殊性，標(biāo)準(zhǔn)的結(jié)果數(shù)據(jù)幾乎是無法獲得的。要解決這一問題，方法有兩個(gè)。一是向測試對象植入錯(cuò)誤，并在結(jié)果分析時(shí)只考慮這些植入的錯(cuò)誤。

這種方法針對功能性比較有效，但是對于其他質(zhì)量特性，效果不明顯。二是對測試對象進(jìn)行反復(fù)測試，使結(jié)果數(shù)據(jù)盡量逼近真實(shí)數(shù)據(jù)。這種方法理論上是可以實(shí)現(xiàn)的，但是由誰來進(jìn)行測試是個(gè)問題。單獨(dú)選取一家檢測機(jī)構(gòu)進(jìn)行測試很難達(dá)到效果;而如果選取多家反復(fù)進(jìn)行測試，測試對象就變得公開。

b.測試對象對標(biāo)準(zhǔn)的覆蓋程度問題

除了結(jié)果數(shù)據(jù)的問題，整套的能力驗(yàn)證方案必須覆蓋GB/T中規(guī)定的所有質(zhì)量特性，依靠一個(gè)單一的測試對象很難達(dá)到這一標(biāo)準(zhǔn)，因此，應(yīng)該采取測試對象庫的方式。也就是說，設(shè)計(jì)一套可以任意組裝和拆卸的軟件模塊庫，這些模塊或大或小對應(yīng)著GB/T16260中規(guī)定的質(zhì)量特性、子特性或是度量元，當(dāng)我們要開始一次能力驗(yàn)證時(shí)，確定了要使用的質(zhì)量模型之后，就從庫中抽取合適的模塊，組裝成測試對象，分發(fā)給實(shí)驗(yàn)室進(jìn)行比對測試。這部分工作的工作量極其龐大，而且涉及了軟件開發(fā)、軟件測試、軟件標(biāo)準(zhǔn)化等不同領(lǐng)域，需要大量的投入。鑒于目前軟件檢測市場上的需求，可以先從功能性方面的模塊入手。

(3)分發(fā)并實(shí)施測試

這個(gè)環(huán)節(jié)和傳統(tǒng)實(shí)驗(yàn)室的能力驗(yàn)證沒什么重大區(qū)別，可以按照以往經(jīng)驗(yàn)進(jìn)行操作。

(4)收集測試結(jié)果并進(jìn)行統(tǒng)計(jì)分析

如果要求結(jié)果數(shù)據(jù)是針對度量元的數(shù)值，那么就要給出每個(gè)度量元可以接受的結(jié)果數(shù)值范圍。這個(gè)結(jié)果數(shù)值范圍的確定，應(yīng)通過嚴(yán)密的數(shù)學(xué)分析，借助統(tǒng)計(jì)學(xué)的某些概念和公式最終導(dǎo)出。這需要協(xié)同其他行業(yè)的專家一起來完成。

如果要求的結(jié)果數(shù)據(jù)是Buglist形式，不能只考慮最終發(fā)現(xiàn)缺陷的個(gè)數(shù)，而應(yīng)對應(yīng)標(biāo)準(zhǔn)的缺陷列表，為每個(gè)缺陷分配權(quán)值，再依據(jù)加權(quán)