Ch4-軟件測(cè)試流程和規(guī)范

軟件測(cè)試方法和技術(shù)第4章軟件測(cè)試流程與規(guī)范第3章回顧基于直覺(jué)和經(jīng)驗(yàn)的方法基于輸入域的方法等價(jià)類劃分、邊界值分析基于組合及其優(yōu)化的技術(shù)判定表、因果圖、兩兩組合、正交實(shí)驗(yàn)基于邏輯覆蓋的方法

判定覆蓋、條件覆蓋、判定/條件覆蓋、條件組合覆蓋、基本路徑覆蓋基于故障模式的測(cè)試方法基于模型的測(cè)試方法形式化方法軟件測(cè)試究竟如何管理？DisciplineoverRhetoric？Process

over

People？第4章軟件測(cè)試依據(jù)和規(guī)范4.1傳統(tǒng)的軟件測(cè)試過(guò)程4.2敏捷測(cè)試過(guò)程4.3軟件測(cè)試學(xué)派4.4基于風(fēng)險(xiǎn)的測(cè)試策略4.5測(cè)試過(guò)程改進(jìn)4.6軟件測(cè)試規(guī)范4.1傳統(tǒng)的軟件測(cè)試過(guò)程

4.1.1W模型4.1.2Tmap

Next傳統(tǒng)的軟件測(cè)試過(guò)程6單元與集成測(cè)試需求評(píng)審設(shè)計(jì)評(píng)審系統(tǒng)測(cè)試驗(yàn)收測(cè)試開(kāi)發(fā)計(jì)劃設(shè)計(jì)執(zhí)行評(píng)估報(bào)告測(cè)試階段（SDLC)軟件測(cè)試各個(gè)階段I/O階段輸入輸出需求評(píng)審需求定義,市場(chǎng)分析文檔,相關(guān)技術(shù)文檔市場(chǎng)需求分析會(huì)議記要,功能設(shè)計(jì),技術(shù)設(shè)計(jì)設(shè)計(jì)審查市場(chǎng)需求文檔,技術(shù)設(shè)計(jì)文檔

測(cè)試計(jì)劃,測(cè)試用例單元測(cè)試集成測(cè)試代碼完成文件包,功能詳細(xì)設(shè)計(jì)說(shuō)明書最終技術(shù)文檔完整測(cè)試用例,完備的測(cè)試計(jì)劃,缺陷報(bào)告,功能驗(yàn)證測(cè)試報(bào)告系統(tǒng)測(cè)試代碼修改后的文件包完整測(cè)試用例,完備的測(cè)試計(jì)劃

缺陷報(bào)告缺陷狀態(tài)報(bào)告項(xiàng)目階段報(bào)告確認(rèn)測(cè)試代碼凍結(jié)文件包確認(rèn)測(cè)試用例缺陷狀態(tài)報(bào)告缺陷報(bào)告審查版本審查版本發(fā)布代碼發(fā)布文件包測(cè)試計(jì)劃?rùn)z查清單當(dāng)前版本已知問(wèn)題的清單版本發(fā)布報(bào)告進(jìn)一步彰顯全過(guò)程測(cè)試4.1.3W模型4.1.2TMapTMap(TestManagementApproach，測(cè)試管理方法)是一種結(jié)構(gòu)化的、基于風(fēng)險(xiǎn)策略的測(cè)試方法體系,目的能更早地發(fā)現(xiàn)缺陷，以最小的成本、有效地、徹底地完成測(cè)試任務(wù)，以減少軟件發(fā)布后的支持成本。TMap所定義的測(cè)試生命周期由計(jì)劃和控制、準(zhǔn)備、說(shuō)明、執(zhí)行和完成等階段組成參考：/Home/TMap描述的生命周期模型TMap基本內(nèi)容一個(gè)基于風(fēng)險(xiǎn)的測(cè)試方法基于風(fēng)險(xiǎn)的測(cè)試策略，來(lái)有效的分配測(cè)試投入在測(cè)試規(guī)劃的各個(gè)時(shí)間點(diǎn)進(jìn)行商業(yè)投入TMap三大基石與軟件開(kāi)發(fā)生命周期一致的測(cè)試活動(dòng)生命周期（L）；堅(jiān)實(shí)的組織融合（O）正確的基礎(chǔ)設(shè)施和工具（I）可用的技術(shù)（T）流程人/項(xiàng)目測(cè)試環(huán)境技術(shù)TMapNEXT之背景測(cè)試的獨(dú)立性和開(kāi)發(fā)更緊密的融合更多種類的測(cè)試組織，包括測(cè)試工廠BDTM,BusinessDrivenTestManagement新的測(cè)試方法、技術(shù)，特別測(cè)試設(shè)計(jì)方法測(cè)試的基礎(chǔ)設(shè)施、支持流程測(cè)試估算、風(fēng)險(xiǎn)分析增加測(cè)試類型TMapNEXT/en/tmap-next業(yè)務(wù)驅(qū)動(dòng)測(cè)試管理方法BDTM結(jié)構(gòu)化的測(cè)試流程完整的工具包自適應(yīng)的測(cè)試方法TestLifecycleBDTM客戶4.1敏捷測(cè)試過(guò)程

有什么開(kāi)發(fā)就有什么測(cè)試深入敏捷宣言背后的原則（1）盡早和持續(xù)地交付有價(jià)值的軟件來(lái)滿足客戶歡迎需求變更——即使是在項(xiàng)目開(kāi)發(fā)后期。要善于利用需求變更，幫助客戶獲得競(jìng)爭(zhēng)優(yōu)勢(shì)要不斷交付可用的軟件，周期從幾周到幾個(gè)月不等，且越短越好項(xiàng)目過(guò)程中，業(yè)務(wù)人員與開(kāi)發(fā)人員必須在一起工作深入敏捷宣言背后的原則（2）要善于激勵(lì)項(xiàng)目人員，給他們以所需要的環(huán)境和支持，并相信他們能夠完成任務(wù)無(wú)論是團(tuán)隊(duì)內(nèi)還是團(tuán)隊(duì)間，最有效的溝通方法是面對(duì)面的交談可用的軟件是衡量進(jìn)度的主要指標(biāo)敏捷過(guò)程提倡可持續(xù)的開(kāi)發(fā)。項(xiàng)目方、開(kāi)發(fā)人員和用戶應(yīng)該能夠保持長(zhǎng)期穩(wěn)定的開(kāi)發(fā)速度對(duì)技術(shù)的精益求精、對(duì)設(shè)計(jì)的不斷完善將提升敏捷性簡(jiǎn)單——盡最大可能減少不必要的工作——一門藝術(shù)最佳的架構(gòu)、需求和設(shè)計(jì)出自于自組織的團(tuán)隊(duì)團(tuán)隊(duì)要定期反省如何能夠做到更有效，并相應(yīng)地調(diào)整團(tuán)隊(duì)的行為深入敏捷宣言背后的原則（3）4.2.1敏捷測(cè)試的特征盡早和持續(xù)地開(kāi)展測(cè)試能及時(shí)完成對(duì)軟件質(zhì)量全面評(píng)估軟件本身是測(cè)試研究和分析最主要的對(duì)象在滿足所要求的質(zhì)量，測(cè)試進(jìn)行得越快越好測(cè)試人員必須和項(xiàng)目干系人保持密切協(xié)作對(duì)測(cè)試人員足夠信任和尊重測(cè)試計(jì)劃、設(shè)計(jì)和執(zhí)行力求簡(jiǎn)單對(duì)測(cè)試技術(shù)精益求精不斷反思，持續(xù)優(yōu)化測(cè)試設(shè)計(jì)驗(yàn)收測(cè)試驅(qū)動(dòng)開(kāi)發(fā)：ATDD敏捷測(cè)試=持續(xù)的質(zhì)量反饋需求設(shè)計(jì)代碼功能非功能特性產(chǎn)品經(jīng)理開(kāi)發(fā)人員敏捷測(cè)試質(zhì)量問(wèn)題持續(xù)反饋質(zhì)量問(wèn)題持續(xù)反饋敏捷測(cè)試4.2.2敏捷測(cè)試流程敏捷Scrum測(cè)試流程全過(guò)程持續(xù)的單元/系統(tǒng)測(cè)試Daily產(chǎn)品Backlog(確定優(yōu)先級(jí))測(cè)試需求測(cè)試任務(wù)測(cè)試計(jì)劃可發(fā)布的產(chǎn)品階段性成果回歸測(cè)試+BVT驗(yàn)收測(cè)試測(cè)試用例284.2.3基于腳本測(cè)試和探索式測(cè)試傳統(tǒng)現(xiàn)代以人為本流程決定結(jié)果基于腳本的測(cè)試

ScriptedTesting(ST)先設(shè)計(jì)后執(zhí)行

Script:手工測(cè)試

的Testcase/自動(dòng)化的TestScript

階段性明顯，屬于較傳統(tǒng)的測(cè)試方式分析設(shè)計(jì)執(zhí)行報(bào)告30探索式測(cè)試定義Exploratorytestingmindmap為什么引人探索式測(cè)試？開(kāi)發(fā)人員多、測(cè)試人員少，測(cè)試更關(guān)注效率整個(gè)開(kāi)發(fā)節(jié)奏很快，測(cè)試要跟上這個(gè)節(jié)奏測(cè)試時(shí)間很少，需要快速完成測(cè)試對(duì)產(chǎn)品或業(yè)務(wù)不夠熟悉，需要操作或使用它來(lái)熟悉產(chǎn)品某些部分復(fù)雜，需要不斷探索，才能很好地完成測(cè)試32ST系統(tǒng)性強(qiáng)容易管理（可視性強(qiáng)）設(shè)計(jì)在先、執(zhí)行在后驗(yàn)證自己的思路可預(yù)見(jiàn)性ET（個(gè)人能力強(qiáng)）高效率適應(yīng)性強(qiáng)執(zhí)行和思考并行不斷問(wèn)系統(tǒng)學(xué)習(xí)的過(guò)程STvs.ET34ETvs.ST

-2ScriptedTesting先設(shè)計(jì)、后執(zhí)行強(qiáng)調(diào)邏輯分析關(guān)注需求和測(cè)試文檔有明確的測(cè)試標(biāo)準(zhǔn)強(qiáng)調(diào)評(píng)審、可控嚴(yán)謹(jǐn)、規(guī)范ExploratoryTesting學(xué)習(xí)、設(shè)計(jì)和執(zhí)行并行上下文驅(qū)動(dòng)強(qiáng)調(diào)個(gè)人能力TestOracle關(guān)注與產(chǎn)品的交互擁抱變化、樂(lè)趣4.3軟件測(cè)試流派各測(cè)試流派的特征37上下文驅(qū)動(dòng)測(cè)試方法CDT:Context-drivenTesting任何實(shí)踐活動(dòng)的價(jià)值依賴于它所處的上下文在某個(gè)上下文中只有好的實(shí)踐，沒(méi)有最佳實(shí)踐一起工作的人，才是項(xiàng)目的最重要組成部分項(xiàng)目的發(fā)展往往難以預(yù)料產(chǎn)品是問(wèn)題的解決方案，如果問(wèn)題沒(méi)得到解決，產(chǎn)品是無(wú)用的好的軟件測(cè)試時(shí)一個(gè)富有挑戰(zhàn)性的智力過(guò)程。只有通過(guò)判斷和技能，并在整個(gè)項(xiàng)目過(guò)程中協(xié)同練習(xí)它們，我們才能在正確的時(shí)間做正確的事，以有效地測(cè)試我們的產(chǎn)品4.4基于風(fēng)險(xiǎn)的測(cè)試策略基于風(fēng)險(xiǎn)的測(cè)試策略是指評(píng)估測(cè)試的優(yōu)先級(jí)，先做高優(yōu)先級(jí)的測(cè)試，如果時(shí)間或精力不夠，低優(yōu)先級(jí)的測(cè)試可以暫時(shí)先不做軟件測(cè)試總是有風(fēng)險(xiǎn)的，基于風(fēng)險(xiǎn)的測(cè)試策略是最常用的策略在敏捷開(kāi)發(fā)模式中，這種策略更能發(fā)揮價(jià)值基于風(fēng)險(xiǎn)的測(cè)試策略分析軟件產(chǎn)品的風(fēng)險(xiǎn)度可以通過(guò)出錯(cuò)的影響程度和出現(xiàn)的概率來(lái)計(jì)算風(fēng)險(xiǎn)測(cè)試步驟列出軟件的所有功能和特性；確定每個(gè)功能出錯(cuò)的可能性；如果某個(gè)功能出錯(cuò)或欠缺某個(gè)特征，需要評(píng)估對(duì)用戶使用軟件產(chǎn)品的影響程度；根據(jù)上面兩個(gè)步驟，計(jì)算風(fēng)險(xiǎn)度；根據(jù)可能出錯(cuò)的跡象，來(lái)修改風(fēng)險(xiǎn)度；決定測(cè)試的范圍，編寫測(cè)試方案4.5

測(cè)試過(guò)程改進(jìn)

4.5.1TMMi(TestingMaturityModel

integration)4.5.2TPI(TestProcessImprovement)4.5.3CTP(CriticalTestProcess)4.5.4STEP(SystematicTest&EvaluationProcess)4.5.1TMMi

過(guò)程能力描述了遵循一個(gè)軟件測(cè)試過(guò)程可能達(dá)到的預(yù)期結(jié)果的范圍。TMMi的建立，得益于以下3點(diǎn)：充分吸收、CMM/CMMi的精華；基于歷史演化的測(cè)試過(guò)程；業(yè)界的最佳實(shí)踐。5個(gè)別級(jí)的一系列測(cè)試能力成熟度的定義，每個(gè)級(jí)別的組成包括到期目標(biāo)、到期子目標(biāo)活動(dòng)、任務(wù)和職責(zé)等。一套評(píng)價(jià)模型，包括一個(gè)成熟度問(wèn)卷、評(píng)估程序和團(tuán)隊(duì)選拔培訓(xùn)指南。TMM的5個(gè)級(jí)別簡(jiǎn)要描述TMMi的4個(gè)級(jí)別內(nèi)容描述特征目標(biāo)TMMi結(jié)構(gòu)

TMMi4.5.2TPINEXT

TPI（TestProcessImprovement）是基于連續(xù)性表示法的測(cè)試過(guò)程改進(jìn)的參考模型，是在軟件控制、測(cè)試知識(shí)以及過(guò)往經(jīng)驗(yàn)的基礎(chǔ)上開(kāi)發(fā)出來(lái)的TPI20個(gè)關(guān)鍵域測(cè)試策略生命周期模型介入時(shí)間估計(jì)和計(jì)劃測(cè)試規(guī)格技術(shù)靜態(tài)測(cè)試技術(shù)度量測(cè)試自動(dòng)化測(cè)試環(huán)境辦公環(huán)境承諾與動(dòng)力測(cè)試功能與培訓(xùn)方法的范圍溝通報(bào)告缺陷管理測(cè)試件管理測(cè)試過(guò)程管理評(píng)估底層測(cè)試TPI級(jí)別為了了解過(guò)程在每個(gè)關(guān)鍵域所處的狀態(tài)，即對(duì)關(guān)鍵域的評(píng)估結(jié)果，通過(guò)級(jí)別是來(lái)體現(xiàn)。模型提供了4個(gè)級(jí)別，由A到D，A是最低級(jí)。根據(jù)測(cè)試過(guò)程的可視性改善、測(cè)試效率的提高、或成本的降低以及質(zhì)量的提高，級(jí)別會(huì)有所上升。詳見(jiàn)表4-3TPI檢查點(diǎn)和建議為了能客觀地決定各個(gè)關(guān)鍵域的級(jí)別，TPI模型提供了一種度量工具——檢查點(diǎn)。每個(gè)級(jí)別都有若干個(gè)檢查點(diǎn)，測(cè)試過(guò)程只有在滿足了這些檢查點(diǎn)的要求之后，才意味著它達(dá)到了特定的級(jí)別檢查點(diǎn)幫助我們發(fā)現(xiàn)測(cè)試過(guò)程中的問(wèn)題，而建議會(huì)幫助我們解決問(wèn)題，最終改進(jìn)測(cè)試過(guò)程。建議不僅包含對(duì)如何達(dá)到下個(gè)級(jí)別的指導(dǎo)，而且還包括一些具體的操作技巧、注意事項(xiàng)等。TPI成熟度矩陣TPINEXT商業(yè)驅(qū)動(dòng)作為測(cè)試過(guò)程提升的基礎(chǔ)為改進(jìn)目標(biāo)和度量設(shè)定優(yōu)先級(jí)確保商業(yè)可以引導(dǎo)和控制改進(jìn)的過(guò)程TPINext（關(guān)鍵域）TPIvs.TPINext4.5.3CTP關(guān)鍵測(cè)試過(guò)程（CriticalTestProcess，CTP）:內(nèi)容參考模型、上下文相關(guān)的方法，并能對(duì)模型進(jìn)行裁剪使用CTP的過(guò)程改進(jìn)，始于對(duì)現(xiàn)有測(cè)試過(guò)程的評(píng)估，通過(guò)評(píng)估以識(shí)別過(guò)程的強(qiáng)弱，并結(jié)合組織的需要提供改進(jìn)的意見(jiàn)計(jì)劃（Plan）、準(zhǔn)備（Prepare）、執(zhí)行（Perform）和完善(Perfect)；計(jì)劃和完善主要是管理工作，準(zhǔn)備和執(zhí)行是實(shí)踐工作CTP12個(gè)關(guān)鍵過(guò)程

測(cè)試建立上下文關(guān)系和測(cè)試環(huán)境質(zhì)量風(fēng)險(xiǎn)評(píng)估測(cè)試估算測(cè)試計(jì)劃測(cè)試團(tuán)隊(duì)開(kāi)發(fā)測(cè)試（管理）系統(tǒng)開(kāi)發(fā)測(cè)試發(fā)布管理測(cè)試執(zhí)行缺陷報(bào)告測(cè)試結(jié)果報(bào)告變更管理測(cè)試策略生命周期模型介入時(shí)間估計(jì)和計(jì)劃測(cè)試規(guī)格技術(shù)靜態(tài)測(cè)試技術(shù)度量測(cè)試自動(dòng)化測(cè)試環(huán)境辦公環(huán)境承諾與動(dòng)力測(cè)試功能與培訓(xùn)方法的范圍溝通報(bào)告缺陷管理測(cè)試件管理測(cè)試過(guò)程管理評(píng)估底層測(cè)試4.5.4STEP

STEP（SystematicTestandEvaluationProcess，系統(tǒng)化測(cè)試和評(píng)估過(guò)程）是一個(gè)內(nèi)容參考模型基于需求的測(cè)試策略在生命周期初始開(kāi)始進(jìn)行測(cè)試測(cè)試用作需求和使用模型由測(cè)試件設(shè)計(jì)導(dǎo)出軟件設(shè)計(jì)（測(cè)試驅(qū)動(dòng)開(kāi)發(fā)）及早發(fā)現(xiàn)缺陷或完全的缺陷預(yù)防對(duì)缺陷進(jìn)行系統(tǒng)分析測(cè)試人員和開(kāi)發(fā)人員一起工作STEP強(qiáng)調(diào)度量不同時(shí)期的測(cè)試狀態(tài)測(cè)試需求和風(fēng)險(xiǎn)覆蓋缺陷趨勢(shì)，包括發(fā)現(xiàn)、等級(jí)和分類分項(xiàng)數(shù)據(jù)缺陷密度、缺陷移除效率、缺陷發(fā)現(xiàn)率缺陷引進(jìn)、發(fā)現(xiàn)和移除等階段測(cè)試成本，包括時(shí)間、工作量和資金

已定義的測(cè)試過(guò)程使用

客戶滿意度STEP比較STEP與CTP比較類似，而不像TMMI和TPI，并不要求改進(jìn)需要遵循特定的順序。某些情況下，STEP評(píng)估模型可以與TPI成熟度模型結(jié)合起來(lái)使用4.6軟件測(cè)試規(guī)范4.3.1概述4.3.2ISO/GB軟件質(zhì)量體系標(biāo)準(zhǔn)4.3.3軟件測(cè)試規(guī)范概述國(guó)際標(biāo)準(zhǔn)國(guó)家標(biāo)準(zhǔn)行業(yè)標(biāo)準(zhǔn)企業(yè)(機(jī)構(gòu))規(guī)范項(xiàng)目規(guī)范ISO9000-3QualitymanagementandqualityassurancestandardsISO/IEC12119Informationtechnology-Softwarepackages-QualityrequirementsandtestingGBT15532-2008《計(jì)算機(jī)軟件測(cè)試規(guī)范》IEEEStd1008單元測(cè)試標(biāo)準(zhǔn)IBM程序設(shè)計(jì)開(kāi)發(fā)指南標(biāo)準(zhǔn)和質(zhì)量體系認(rèn)證SC7

Standard

Collection主要軟件質(zhì)量標(biāo)準(zhǔn)GB/T11457-2006信息技術(shù)軟件工程術(shù)語(yǔ)GB/T8567-2006計(jì)算機(jī)軟件文檔編制規(guī)范GB/T

12504-90計(jì)算機(jī)軟件質(zhì)量保證計(jì)劃規(guī)范

GB/T18905軟件工程產(chǎn)品評(píng)價(jià)……GB/T16260.1-2006軟件工程產(chǎn)品質(zhì)量第1部分：質(zhì)量模型GB/T16260.2-2006軟件工程產(chǎn)品質(zhì)量第2部分：外部度量

GB/T16260.3-2006軟件工程產(chǎn)品質(zhì)量第3部分：內(nèi)部度量GB/T16260.4-2006軟件工程產(chǎn)品質(zhì)量第4部分：使用質(zhì)量的度量GBT15532-2008《計(jì)算機(jī)軟件測(cè)試規(guī)范》

GB/T

25000.51-2010《軟件工程

軟件產(chǎn)品質(zhì)量要求與評(píng)價(jià)

SQuaRE指南》,替換舊標(biāo)準(zhǔn)《GB/T17544-1998

信息技術(shù)軟件包質(zhì)量要求和測(cè)試》軟件測(cè)試規(guī)范

對(duì)軟件測(cè)試的流程過(guò)程化并對(duì)每一過(guò)程元素進(jìn)行明確的界定，形成完整的規(guī)范體系。66ISO

29119

OverviewPart1Concepts&VocabularyPart2Strategy&ProcessPart3DocumentationPart4TechniquesISO25051:6ISO25051:7IEEE1008BSI7925-2IEEE829:2007BSI7925-1Normative(Generic)Appendicese.g.Unit….e.g.Integration…e.g.System…e.g.Acceptance…e.g.Maintenance..Normative(Generic)AppendicesLevelTechnique1e.g.technique1Unite.g.technique1Integratione.g.technique1Systeme.g.technique1Acceptancee.g.technique1MaintenanceTechnique2……Part1：Concepts&VocabularySoftwaretestingconceptsIntroductiontosoftwaretestingRelationshipbetweentesting,development&maintenanceImplicationsoflifecyclemodelsTypesoftestingTestingvocabulary…etcPart2：

TestingProcessTestmanagementprocessTeststrategyTestprocessmonitoringTestprojectcompletionTestprocessTestplanning，Testdesign，TestexecutionAnomalyreportingTestcompletionReporting：Status、ProjectTestenvironmentsupportAppendices:Examplesoftheseprocesses,ateachleveloftesting&forvariouslifecyclemodelsMappingstoexistingstandardsPart3：

DocumentationTestmanagementdocumentationTeststrategyTestprojectcompletionreportTestdocumentationTestplanTestspecificationTestresultsAnomalyreportsTestlevelcompletionreportInterimstatusreporting：test/testlevel

statusTestenvironmentreportAppendices–examplesofeachreport,ateachleveloftestingPart4:

TechniquesTestcasedesigntechniquesStatictestingtechniquesInspections&walkthroughs,etc.DynamictestingtechniquesBlack-box,white-box,etcNon-functionaltestingtechniquesSecurity,performance,etc.TestmeasurementtechniquesAppendicesExamplesofeachtechnique,ateachleveloftestingTesttechniqueeffectivenessMappingstoexistingstandardsISO29119

Process

overview72TestingManagement

ProcessesTestProjectCompletionReport[Testcompletioncriterionnotmet]TestLevelCompletionReportTestPlanning(TP1)TestExecution(TP3)AnomalyReporting(TP4)TestPlanTestSpecTestResults[Issuenoticed][Noissuesnoticed]AnomalyReport[Test

completioncriterion

met]Design&BuildTest(s)(TP2)Write/Update&InitiateTestStrategy(TMP1)Monitor/UpdateTestProcess(TMP2)TestCompletion(TMP3)TestProcessTestStrategyInterimTestStatusReportsTestStrategyUpdatesProjectManagementPlan,RegulatoryStandards,SystemRequirements,Specifications&DocumentationTest