全程軟件測(cè)試之軟件測(cè)試自動(dòng)化

全程軟件測(cè)試

-Ch.5軟件測(cè)試自動(dòng)化第5章軟件測(cè)試自動(dòng)化5.1測(cè)試自動(dòng)化的內(nèi)涵5.2測(cè)試工具的分類和選擇5.3測(cè)試工具的主流產(chǎn)品介紹5.4IBM-Rational產(chǎn)品的整體解決方案5.5MercuryInteractive產(chǎn)品的整體解決方案5.6Compuware產(chǎn)品的整體解決方案5.1測(cè)試自動(dòng)化的內(nèi)涵5.1.1為什么要軟件測(cè)試自動(dòng)化5.1.2自動(dòng)化測(cè)試的引入和應(yīng)用5.1.3測(cè)試自動(dòng)化的基本結(jié)構(gòu)5.1.4測(cè)試自動(dòng)化的原理和方法5.1.5測(cè)試自動(dòng)化普遍存在的問(wèn)題手工測(cè)試的局限性通過(guò)手工測(cè)試無(wú)法做到覆蓋所有代碼路徑;許多與時(shí)序、死鎖、資源沖突、多線程等有關(guān)的錯(cuò)誤通過(guò)手工測(cè)試很難捕捉到在系統(tǒng)負(fù)載、性能測(cè)試時(shí)，需要模擬大量數(shù)據(jù)、或大量并發(fā)用戶等各種應(yīng)用場(chǎng)合時(shí)，也很難通過(guò)手工測(cè)試來(lái)進(jìn)行在進(jìn)行系統(tǒng)可靠性時(shí)，需要模擬系統(tǒng)運(yùn)行十年、幾十年，以驗(yàn)證系統(tǒng)能否穩(wěn)定運(yùn)行，也是手工測(cè)試無(wú)法模擬的。如果有大量（幾千）的測(cè)試用例，需要在短時(shí)間內(nèi)完成，手工測(cè)試又怎么辦呢？測(cè)試可以發(fā)現(xiàn)錯(cuò)誤，并不能表明程序的正確性。

自動(dòng)測(cè)試定義軟件系統(tǒng)功能規(guī)格書(Spec)只是從書面上的一套軟件產(chǎn)品是由一套完整的可運(yùn)行的測(cè)試來(lái)定義的測(cè)試所有可能情況將遭遇“組合爆炸”問(wèn)題Win98,WinME,WinNT,Win2k,WinXP,WinXPTablePCEd,WinXPMediaCenterEd,Longhorn,etcEnglish,German,Japanese,Chinese,Arabic,Thai…Office97,Office2000,OfficeXP,Office2003…X8632-bit,Intel64-bit,AMD64-bit,Alpha,MIPS…SQLServer6.5,SQLServer7.0,SQLServer2000…VisualStudio6,VS.NET,VS.NET2003,Whidbey…手工測(cè)試的局限性

（2）代碼全部CodePath測(cè)試覆蓋也幾乎不可能每一個(gè)if…else…或switch語(yǔ)句就會(huì)把情況增加一倍許多異常處理代碼在正常使用中不會(huì)碰到許多與時(shí)序，死鎖，資源沖突，多線程有關(guān)的錯(cuò)誤很難捕捉到每一個(gè)產(chǎn)品都會(huì)有不同的版本外加各自的SP與QFE(QuickFixEngineering,又稱Hotfix)NT4,VS6SP1~SP5,Windows2000SP1-SP4VS.NET,SQLServerSP1–SP3可重復(fù)使用的自動(dòng)測(cè)試對(duì)產(chǎn)品未來(lái)版本與ServicePack的測(cè)試將有事半功倍的效果手工測(cè)試的局限性（2）自動(dòng)化測(cè)試帶來(lái)的好處1.縮短周期Testingcycle-RegressionTesting2.AttributesofTA,Speed速度Efficiency效率AccuracyandPrecise準(zhǔn)確、精確

Relentlessness無(wú)情3.容易實(shí)施、結(jié)果可靠4.做手工不能做測(cè)試自動(dòng)化項(xiàng)目的本質(zhì)定義：利用GUI自動(dòng)化測(cè)試工具來(lái)開發(fā)和執(zhí)行測(cè)試腳本，從而驗(yàn)證是否滿足需求本質(zhì)：測(cè)試自動(dòng)化項(xiàng)目本質(zhì)上是軟件開發(fā)項(xiàng)目一個(gè)測(cè)試自動(dòng)化項(xiàng)目必須具有：清晰定義并嚴(yán)格實(shí)施的過(guò)程來(lái)自組織各級(jí)的支持周密的計(jì)劃具體的設(shè)計(jì)和架構(gòu)測(cè)試自動(dòng)化成本/收益分析結(jié)構(gòu)成本收益凈收益NoAutomation000RecordingandPlayback8.3112.7Data-drivenstructureusingdatapools8.4189.6Frameworkstructure9.8155.2Framework/data-driven(hybrid)structurefocusingonviewsoftheapplicationandusingdatapools11.6197.4各自特點(diǎn)軟件測(cè)試自動(dòng)化(TA)雖然具有很多優(yōu)點(diǎn)，但只是對(duì)手工測(cè)試的一種補(bǔ)充，TA絕不能代替手工測(cè)試，有各自的特點(diǎn)：

在系統(tǒng)功能邏輯測(cè)試、驗(yàn)收測(cè)試、適用性測(cè)試、涉及物理交互性測(cè)試時(shí)，多采用黑盒測(cè)試的手工測(cè)試方法；單元測(cè)試、集成測(cè)試、系統(tǒng)負(fù)載或性能、穩(wěn)定性、可靠性測(cè)試等比較適合采用TA；對(duì)那種不穩(wěn)定軟件的測(cè)試、開發(fā)周期很短的軟件、一次性的軟件等不適合測(cè)試自動(dòng)化工具本身并沒(méi)有想象力和靈活性，根據(jù)經(jīng)驗(yàn)報(bào)道，自動(dòng)測(cè)試只能發(fā)現(xiàn)15%的缺陷，而手工測(cè)試可以發(fā)現(xiàn)85%的缺陷；TA工具在進(jìn)行功能測(cè)試時(shí)，其準(zhǔn)確的含義是回歸測(cè)試工具，因?yàn)楣ぞ卟荒馨l(fā)現(xiàn)更多的新問(wèn)題，但可以保證對(duì)已經(jīng)測(cè)試過(guò)部分進(jìn)行測(cè)試的準(zhǔn)確性和客觀性

正確認(rèn)識(shí)測(cè)試自動(dòng)化不現(xiàn)實(shí)的期望注定測(cè)試自動(dòng)化的失敗測(cè)試自動(dòng)化能：顯著降低重復(fù)手工測(cè)試的時(shí)間建立可靠、重復(fù)的測(cè)試，減少認(rèn)為錯(cuò)誤增強(qiáng)測(cè)試質(zhì)量和覆蓋率測(cè)試自動(dòng)化不能：完全替代手工測(cè)試和手工測(cè)試工程師保證100%的測(cè)試覆蓋率彌補(bǔ)測(cè)試實(shí)踐的不足自動(dòng)化測(cè)試的引入和應(yīng)用找準(zhǔn)測(cè)試自動(dòng)化的切入點(diǎn)把測(cè)試開發(fā)納入整個(gè)軟件開發(fā)體系測(cè)試自動(dòng)化依賴測(cè)試流程和測(cè)試用例軟件測(cè)試自動(dòng)化的投入較大進(jìn)行資源的合理調(diào)度測(cè)試自動(dòng)化的基本結(jié)構(gòu)機(jī)房辦公室文件服務(wù)器SQLServerWeb服務(wù)器控制程序拷貝測(cè)試文件拷貝測(cè)試結(jié)果分派工作分派工作查詢結(jié)果Build系統(tǒng)編譯尋找工作項(xiàng)目更新顯示DevBuild,TestBuild測(cè)試自動(dòng)化的原理和方法代碼分析:類似于高級(jí)編譯系統(tǒng)，在工具中定義類/對(duì)象/函數(shù)/變量等定義規(guī)則、語(yǔ)法規(guī)則等，在分析時(shí)對(duì)代碼進(jìn)行語(yǔ)法掃描，找出不符合編碼規(guī)范的地方。

捕獲和回放:代碼分析是一種白盒測(cè)試的自動(dòng)化方法，捕獲和回放則是一種黑盒測(cè)試的自動(dòng)化方法。腳本技術(shù)

線性腳本，是錄制手工執(zhí)行的測(cè)試用例得到的腳本，這種腳本包含所有的擊鍵、移動(dòng)、輸入數(shù)據(jù)等，所有錄制的測(cè)試用例都可以得到完整的回放。

結(jié)構(gòu)化腳本，類似于結(jié)構(gòu)化程序設(shè)計(jì)，具有各種邏輯結(jié)構(gòu)、函數(shù)調(diào)用功能。

共享腳本，是指某個(gè)腳本可以被多個(gè)測(cè)試用例使用。

數(shù)據(jù)驅(qū)動(dòng)腳本，將測(cè)試輸入存儲(chǔ)在獨(dú)立的（數(shù)據(jù)）文件中，而不是存儲(chǔ)在腳本中。

關(guān)鍵字驅(qū)動(dòng)腳本，是數(shù)據(jù)驅(qū)動(dòng)腳本的邏輯擴(kuò)張

自動(dòng)比較

靜態(tài)比較和動(dòng)態(tài)比較，簡(jiǎn)單比較和復(fù)雜比較，敏感性測(cè)試比較和健壯性測(cè)試比較，。比較過(guò)濾器

測(cè)試自動(dòng)化普遍存在的問(wèn)題

不正確的觀念或不現(xiàn)實(shí)的期望缺乏具有良好素質(zhì)、經(jīng)驗(yàn)的測(cè)試人才

測(cè)試工具本身的問(wèn)題影響測(cè)試的質(zhì)量

沒(méi)有進(jìn)行有效的、充分的培訓(xùn)

沒(méi)有考慮到公司的實(shí)際情況，盲目引入測(cè)試工具沒(méi)有形成一個(gè)良好的使用測(cè)試工具的環(huán)境

其它技術(shù)問(wèn)題和組織問(wèn)題5.2測(cè)試工具的分類和選擇5.2.1測(cè)試工具的分類5.2.2測(cè)試工具的選擇測(cè)試工具是測(cè)試自動(dòng)化的表現(xiàn)測(cè)試工具的研究 軟件測(cè)試的過(guò)程是一項(xiàng)很復(fù)雜而費(fèi)時(shí)的工作，它不僅執(zhí)行每一個(gè)測(cè)試用例，還要設(shè)置運(yùn)行環(huán)境、記錄輸出、運(yùn)行后清理并記錄失敗信息。僅僅依靠測(cè)試人員手工完成是很困難的。所以必須研究測(cè)試工具以幫助測(cè)試人員自動(dòng)或半自動(dòng)的完成測(cè)試。 在資金和人力、時(shí)間的供給一定的條件下面，擁有好的測(cè)試工具能夠提高測(cè)試效率從而降低測(cè)試成本，則能夠選擇更高的測(cè)試充分性標(biāo)準(zhǔn)進(jìn)行測(cè)試，從而提高軟件質(zhì)量。測(cè)試工具的例子測(cè)試工具的分類CodeanalysisTools -Staticanalysis -DynamicanalysisTestExecutionTool -CaptureandReplay(Record&Playback) -MonitorTool -StubsandDrivers -AutomatedTestingEnvironmentTestcasegenerators測(cè)試工具的選擇5.3測(cè)試工具的主流產(chǎn)品介紹

5.3.1面向開發(fā)的單元測(cè)試工具5.3.2負(fù)載和性能測(cè)試工具5.3.3GUI功能測(cè)試工具5.3.4基于Web應(yīng)用的測(cè)試工具5.3.5軟件測(cè)試管理和其他工具面向開發(fā)的單元測(cè)試工具根據(jù)不同的語(yǔ)言進(jìn)行分類:C/C++單元級(jí)測(cè)試工具PanoramaC++，C++Test，NumegaJUnit是一個(gè)開發(fā)源代碼的Java測(cè)試框架根據(jù)工具的功能特點(diǎn)進(jìn)行分類：內(nèi)存資源泄漏檢查工具：Numega中的BounceChecker,Rational的Purify等代碼覆蓋率檢查工具：Numega的TrueCoverage,Rational的PureCoverage，TeleLogic公司的Logiscope代碼性能檢查工具：Logiscope和Macabe等。軟件糾錯(cuò)工具RationalPurl等。負(fù)載和性能測(cè)試工具屬性LoadRunner/MIQALoad/CompuwareWebLoad/Radview價(jià)格昂貴較貴一般安裝配置簡(jiǎn)單簡(jiǎn)單一般操作性較復(fù)雜簡(jiǎn)單簡(jiǎn)單支持測(cè)試對(duì)象各種中間件/數(shù)據(jù)庫(kù)/應(yīng)用服務(wù)器的性能監(jiān)控/企業(yè)架構(gòu)(j2ee和.net)的測(cè)試客戶/服務(wù)器系統(tǒng)、企業(yè)資源配置(ERP)和電子商務(wù)應(yīng)用WebApplication支持平臺(tái)windows,unix或linuxHP-UX,IBMAIX,SunSolaris,Linux,NT/2kUnixWindows支持?jǐn)?shù)據(jù)庫(kù)DB2,SQLserver,Orcale,SybaseADO,DB2,Oracle,Sybase,SQLserver,OdbcADO,DB2,Oracle,Sybase,SQLserver,Odbc支持協(xié)議web,http(s),soap,streaming,wap,winsock,xmlhttp,ssl,oap,xml,streaming,mediaxml,java,ejb,activex,wap,http,snmp,real/m$streaming腳本語(yǔ)言類似C++C/C++和VC++Javascript自動(dòng)數(shù)據(jù)生成YYY腳本調(diào)試YYY報(bào)表定制功能YYYGUI功能測(cè)試工具將操作應(yīng)用程序的各種動(dòng)作和輸入記錄下來(lái)，包括鍵盤操作、鼠標(biāo)點(diǎn)擊等捕捉(Record)下來(lái)，生成一個(gè)腳本文件，這個(gè)腳本以后可以被“回放（playback）”。在實(shí)際測(cè)試過(guò)程中，要根據(jù)測(cè)試需求對(duì)錄制的腳本進(jìn)行一些必要的修改或加入一些參數(shù)，如選擇不同的測(cè)試數(shù)據(jù)、腳本中插入檢查點(diǎn)（CheckPoint）進(jìn)行跟蹤調(diào)試等。基于GUI功能測(cè)試工具主要適合回歸測(cè)試階段。當(dāng)一個(gè)應(yīng)用開發(fā)基本完成后，程序界面基本定型，雖然業(yè)務(wù)的需求會(huì)很頻繁變化，但測(cè)試腳本結(jié)構(gòu)基本不需要改動(dòng)，只需要做些小調(diào)整，就可以自動(dòng)運(yùn)行，則可大大提高了測(cè)試的效率和測(cè)試的準(zhǔn)確性。目前主要產(chǎn)品有MI公司的WinRunner，Compuware的QARun，Rational的SQARobot，MSVisualTestSuite等GUI自動(dòng)化測(cè)試設(shè)計(jì)測(cè)試用例，并手工進(jìn)行測(cè)試。如果測(cè)試未通過(guò)，則先改正缺陷，再次執(zhí)行測(cè)試。如果測(cè)試通過(guò)，利用測(cè)試工具運(yùn)行該測(cè)試過(guò)程，捕獲運(yùn)行過(guò)程需要檢測(cè)的屏幕對(duì)象，并保存。在進(jìn)行回歸測(cè)試測(cè)試，自動(dòng)利用測(cè)試工具運(yùn)行測(cè)試，并比較運(yùn)行過(guò)程的屏幕對(duì)象與保存的屏幕對(duì)象比較，從而判斷測(cè)試用例是否通過(guò)。基于Web應(yīng)用的測(cè)試工具基于Web應(yīng)用的測(cè)試工具主要進(jìn)行鏈接檢查、HTML檢查、Web功能和Web站點(diǎn)安全性等各個(gè)方面的測(cè)試。主要Web測(cè)試工具有MI公司的Astra

系列（如Astra

QuickTest

）、RSW公司的E-TestSuite等；Web系統(tǒng)測(cè)試工具:WorkBench、WebApplicationStressTool（WAS）、頁(yè)面鏈接測(cè)試LinkSleuth等。

Website性能測(cè)試測(cè)什么？各種操作的響應(yīng)速度最大并發(fā)用戶數(shù)最大數(shù)據(jù)容量ACT(ApplicationCenterTest)ACT測(cè)試中的常見術(shù)語(yǔ)RPS(RequestPerSecond)并發(fā)連接數(shù)(SimultaneousBrowserConnections)思考時(shí)間(ThinkingTime)RPS+SBC+ThinkingTime=Concurrentusers?ACT測(cè)試的步驟創(chuàng)建測(cè)試腳本手工編寫VBScript錄音并修改運(yùn)行測(cè)試腳本設(shè)定并發(fā)用戶數(shù)設(shè)定用戶身份運(yùn)行、觀察、獲取主觀體驗(yàn)理解結(jié)果報(bào)告圖表各項(xiàng)性能統(tǒng)計(jì)數(shù)字日志文件解讀ACT測(cè)試結(jié)果TTFB,TTLBHTTP錯(cuò)誤的含義401403404500常見的ACT結(jié)果圖線其他Web負(fù)載發(fā)生工具M(jìn)icrosoft'sWebApplicationStressToolCyrano'sOpenSTAQuestSoftware'sBenchmarkFactoryEmpirix'sE-TestSuite6.0RadView'sWebLoad5.0RationalSoftware'sRationalRobotMercuryInterctive'sAstraLoadRunner7.5Compuware'sQALoad4.7SegueSoftware'sSilePerformer5.011.4Rational產(chǎn)品的整體解決方案11.4.1Rational測(cè)試產(chǎn)品結(jié)構(gòu)11.4.2Rational全套測(cè)試解決方案的特點(diǎn)

TestManager：集中、可伸縮的測(cè)試管理平臺(tái)Robot：傳統(tǒng)應(yīng)用自動(dòng)化測(cè)試工具RobotJ：Web/Java自動(dòng)測(cè)試工具ClearQuest：缺陷跟蹤工具Rational系統(tǒng)測(cè)試方案CoverageQuantifyPurifyPlanTestTestManagerDesignTestTestManagerImplementTestRobotRobotJTestManagerExecuteTestRobotRobotJTestManagerEvaluateTestClearQuestTestManagerChangeRequestandConfigurationManagement-ClearQuestandClearCaseLTRationalUnifiedProcessTestManager:控制中心ViewResultsPassFailCoverage

reports

Generate

change

requestsTestDesignOS/VerMemDiskTestIterationsTestConfigurationsTestPlanTestCasesTestInputsAdaptersInputRobotGUI

and

VUScriptsVBor

Java

scriptsExternal

Scripts

onother

OS’sExecutionAdaptersRationalTestManagerTestManager和ClearQuest集成TestManager:跨越整個(gè)測(cè)試周期

ü自動(dòng)實(shí)現(xiàn)缺陷與需求之間的關(guān)聯(lián)測(cè)試度量:覆蓋,趨勢(shì)等Robot

GUI的自動(dòng)功能測(cè)試2.執(zhí)行測(cè)試腳本OKFind執(zhí)行腳本檢驗(yàn)結(jié)果報(bào)告錯(cuò)誤迭代1.創(chuàng)建測(cè)試腳本選擇測(cè)試需求錄制操作過(guò)程（面向?qū)ο箐浿?）插入驗(yàn)證點(diǎn)編輯生成的腳本（可選）

和白盒工具集成RobotJ：測(cè)試Java和Web應(yīng)用ScriptAssureDynamicData

Validation技術(shù)保證了即使對(duì)象名稱發(fā)生改變，測(cè)試腳本也能正常回放驗(yàn)證動(dòng)態(tài)內(nèi)容利用Eclipse這一標(biāo)準(zhǔn)的IDE環(huán)境，同時(shí)提供與版本控制工具的集成Professional

Language

andIDENEW

Technologyfor

JavaandWebBased

ApplicationsScriptAssure:

降低了測(cè)試腳本的維護(hù)成本Version1.0Version

2.0DeterminesMatch

??Tester

seesTool

sees動(dòng)態(tài)數(shù)據(jù)驗(yàn)證：可伸縮的測(cè)試腳本OrderIDchangeswitheachorderplacedTestFailswhencomparingstaticbaselinetodynamicdataTestPasseswhencomparingpatternbaselinetodynamicdata動(dòng)態(tài)內(nèi)容匹配利用模式匹配技術(shù)來(lái)驗(yàn)證數(shù)據(jù)如不是驗(yàn)證“OrderID230”,而是“OrderID###”當(dāng)驗(yàn)證應(yīng)用的行為時(shí)，考慮了各種不同的合法響應(yīng)業(yè)界標(biāo)準(zhǔn)的IDE和測(cè)試腳本語(yǔ)言Eclipse集成環(huán)境調(diào)試器、代碼編輯器使用標(biāo)準(zhǔn)的Java語(yǔ)言作為測(cè)試腳本語(yǔ)言11.5.1MI產(chǎn)品結(jié)構(gòu)11.5.2MI三個(gè)重量級(jí)產(chǎn)品的介紹11.5MI產(chǎn)品的整體解決方案MI產(chǎn)品結(jié)構(gòu)

LoadRunnerWinRunnerTestDirectorAstraQuickTestAstraLoadTest

TopazPrism

ActiveTest

ActiveWatch測(cè)試監(jiān)控軟件MSP被測(cè)系統(tǒng)LoadRunner的解決方案Web服務(wù)器數(shù)據(jù)庫(kù)服務(wù)器壓力產(chǎn)生虛擬用戶壓力測(cè)試機(jī)解決測(cè)試資源的限制利用圖表工具分析測(cè)試結(jié)果利用錄制的腳本進(jìn)行回歸測(cè)試AnalysisController運(yùn)行大量的“VirtualUsers”在不同的機(jī)器上利用“VirtualUsers”代替實(shí)際測(cè)試人員通過(guò)“Controller”管理“Vusers”49LoadRunner的解決方案支持多種協(xié)議和API50LoadRunner的解決方案能夠?qū)Χ喾NServer和資源進(jìn)行監(jiān)控Web服務(wù)器Web應(yīng)用服務(wù)器數(shù)據(jù)庫(kù)服務(wù)器系統(tǒng)資源51LoadRunner的解決方案VirtualUserGenerator產(chǎn)生壓力和搜集測(cè)試結(jié)果生成用于“Controller”部署的“Vusers”通過(guò)圖表分析工具來(lái)編譯和顯示測(cè)試結(jié)果LoadRunnerControllerLoadRunnerAnalysis52系統(tǒng)性能調(diào)優(yōu)LoadRunner工作流程分析測(cè)試結(jié)果階段5LoadRunnerVUGENLoadRunnerCONTROLLER&

ANALYSIS執(zhí)行場(chǎng)景階段4設(shè)計(jì)測(cè)試場(chǎng)景階段3創(chuàng)建WebVirtualUsers階段2階段1制定壓力測(cè)試方案NOTE:

這是LR的一個(gè)典型工作流程。為便于理解這個(gè)流程，在本教程中有些步驟將按照不同的順序來(lái)介紹。11.6Compuware產(chǎn)品的整體解決方案11.6.1Compuware產(chǎn)品結(jié)構(gòu)11.6.2Compuware分階段解決方案Compuware產(chǎn)品結(jié)構(gòu)1．黑盒測(cè)試工具QACenter

2．白盒測(cè)試工具—Numega系列產(chǎn)品

3．Vantage應(yīng)用級(jí)網(wǎng)絡(luò)性能監(jiān)控管理軟件編碼實(shí)現(xiàn)階段運(yùn)行期錯(cuò)誤檢測(cè)和診斷工具ErrorDetection、代碼覆蓋率分析工具CoverageAnalysis、性能分析和優(yōu)化工具PerformanceAnalysis、設(shè)備驅(qū)動(dòng)開發(fā)套件NuMegaDriverStudio、JAVA可視線程和事件分析工具JC