自動化測試可行性分析報(bào)告

WORD格式專業(yè)資料整理XXXX客戶自動化測試可行性報(bào)告客戶網(wǎng)銀資金管理系統(tǒng)引入自動化測試的可行性分析報(bào)告版本：1.01/11XXXX客戶自動化測試可行性報(bào)告概述1.1.目的本文檔對 XXXX客戶網(wǎng)銀資金管理系統(tǒng)項(xiàng)目引入自動化測試工具的可行性進(jìn)行評估， 為項(xiàng)目經(jīng)理提供決策參考。1.1范圍本文檔描述了 XXXX客戶項(xiàng)目情況、現(xiàn)有測試工作流程、自動化測試本身的一些情況，對測試工作量進(jìn)行了估算，最后對估算結(jié)果進(jìn)行了分析，并依此提出了一些建議。本文檔中討論的自動化測試工具主要是功能測試工具。1.2術(shù)語定義本文檔涉及了幾款自動化測試工具：TestManager：IBM公司的測試管理工具，屬于 Rational系列產(chǎn)品之一。Robot：IBM公司的性能測試工具，屬于 Rational系列產(chǎn)品之一。RFT：RationalFunctionT ester，IBM公司的功能測試工具，屬于 Rational系列產(chǎn)品之一。TestDirector：Mercury公司生產(chǎn)的測試管理工具。Loadrunner：Mercury 公司生產(chǎn)的性能測試工具。QTP：QuickTestProfessional ，Mercury公司生產(chǎn)的功能測試工具。1.3參考文檔2/11XXXX客戶自動化測試可行性報(bào)告項(xiàng)目介紹2.1.項(xiàng)目背景客戶網(wǎng)銀資金管理系統(tǒng)，是XXXX客戶為了加強(qiáng)銀行賬戶管理，提高資金利用效率而開發(fā)的一套資金管理系統(tǒng)。2.2.項(xiàng)目開發(fā)、運(yùn)行環(huán)境XXXX客戶網(wǎng)銀資金管理系統(tǒng)遵循的開發(fā)規(guī)范如下：操作系統(tǒng)：Windows2003 或者HPUnix或者SCOUnix 或者AIX或者Solaris數(shù)據(jù)庫平臺：Informix9.0J2EE應(yīng)用服務(wù)器：Weblogic8.1.4開發(fā)平臺：Eclipse（3.1以上版本）2.3.項(xiàng)目進(jìn)度項(xiàng)目的預(yù)定計(jì)劃如下：序號階段名稱工期開始時(shí)間結(jié)束日期1需求階段34工作日2006-5-102006-06-262開發(fā)階段64工作日2006-6-122006-9-73測試執(zhí)行階段48工作日2006-7-42006-9-72.4.項(xiàng)目特點(diǎn)分析根據(jù)業(yè)務(wù)需求分析，業(yè)務(wù)量主要集中在銀行業(yè)務(wù)數(shù)據(jù)操作，包括銀行數(shù)據(jù)查詢，銀行業(yè)務(wù)數(shù)據(jù)變更，因?yàn)楹豌y行的交互集中在前置機(jī)上， 且銀行數(shù)據(jù)量大， 操作復(fù)雜，耗費(fèi)時(shí)間長，所以系統(tǒng)在多用戶并發(fā)操作時(shí)， 可能存在性能瓶頸。 另外，由于XXXX客戶的分支機(jī)構(gòu)眾多，操作人員多，數(shù)據(jù)量大，在多用戶并發(fā)操作時(shí)，性能和效率會有較大影響?，F(xiàn)有測試流程現(xiàn)有的測試流程按照階段劃分為測試設(shè)計(jì)階段和測試執(zhí)行階段。測試設(shè)計(jì)階段的主要工作是根據(jù)業(yè)務(wù)需求說明書和系統(tǒng)需求說明書來設(shè)計(jì)和編寫測試用例。根據(jù)以往的經(jīng)驗(yàn)，將測試用例劃分成三個(gè)部分：測試需求分析；測試方案；數(shù)據(jù)執(zhí)行步驟。3/11XXXX客戶自動化測試可行性報(bào)告測試執(zhí)行階段的主要手段是手工測試，如果項(xiàng)目有性能方面的需求，再通過Mercury公司的性能測試工具LoadRunner來進(jìn)行性能方面的測試。手工測試時(shí)，要完成以下工作：根據(jù)測試需求分析了解業(yè)務(wù)；根據(jù)測試方案來執(zhí)行測試；根據(jù)數(shù)據(jù)庫和詳細(xì)設(shè)計(jì)來驗(yàn)證系統(tǒng)的具體實(shí)現(xiàn)；根據(jù)測試結(jié)果補(bǔ)充、修正測試用例中的分析、測試方案部分。系統(tǒng)上線部署之前兩到三天，要進(jìn)行內(nèi)部的驗(yàn)收測試，其目的有兩個(gè)：確認(rèn)系統(tǒng)已經(jīng)準(zhǔn)備就緒，預(yù)定功能已經(jīng)實(shí)現(xiàn)；即將上線部署的軟件是正確的版本。主要通過重新搭建系統(tǒng)環(huán)境，重建數(shù)據(jù)庫表的形式來開始驗(yàn)收測試?，F(xiàn)有測試流程輸入文檔測試過程詳細(xì)說明1.劃分測試用例粒度，功能分解；業(yè)務(wù)需求2.分析被測系統(tǒng)；測試需求分析分析測試重點(diǎn)；說明書3.4.驗(yàn)證可測性。系統(tǒng)需求1.確定測試設(shè)計(jì)方法和思想；測試方案2.為手工測試提供測試參考；測試用例說明書段1.詳細(xì)的操作數(shù)據(jù)；階指導(dǎo)測試步驟2.詳細(xì)的操作步驟；計(jì)3.預(yù)計(jì)輸出結(jié)果。設(shè)試測反饋數(shù)據(jù)庫設(shè)計(jì)文檔

1.根據(jù)測試需求分析了解業(yè)務(wù)；2.根據(jù)測試方案來執(zhí)行測試；3.根據(jù)數(shù)據(jù)庫和詳細(xì)設(shè)計(jì)來驗(yàn)證系統(tǒng)的具體實(shí)現(xiàn)。詳細(xì)設(shè)計(jì)文檔

手工測試

1.根據(jù)測試結(jié)果補(bǔ)充、修正測試用例中的分析、測試方案部分；段階 驗(yàn)收測試行執(zhí)試測

確認(rèn)系統(tǒng)已經(jīng)準(zhǔn)備就緒，預(yù)定功能已經(jīng)實(shí)現(xiàn)；即將上線部署的軟件是正確的版本。4/11XXXX客戶自動化測試可行性報(bào)告自動化測試簡介隨著軟件開發(fā)技術(shù)和工具的提高，軟件工程和軟件過程實(shí)踐的推廣， 軟件測試日益得到重視和專業(yè)化。自動化測試更成為熱門話題。測試自動化就是充分利用市場已有的或自行開發(fā)的測試工具，全部或部分替代手工測試、完成手工測試無法完成的測試任務(wù)，以及相關(guān)的測試數(shù)據(jù)的記錄和測試報(bào)告的生成等。相對于手工測試而言，測試自動化通常具有速度快、執(zhí)行效率高、執(zhí)行過程受外界因素干擾小、測試結(jié)果準(zhǔn)確等優(yōu)點(diǎn)，缺點(diǎn)是前期投入較大，所以在采用測試自動化之前應(yīng)當(dāng)做好相應(yīng)的評估工作。4.1.自動化測試的目的自動化測試的目的是通過自動執(zhí)行測試腳本，使測試人員在更短的時(shí)間內(nèi)能夠更快地完成更多的軟件測試，并提供以更高的頻率執(zhí)行測試的能力，從而有效降低測試成本、提高測試效率。4.2.自動化測試的前提自動化測試有幾個(gè)前提：測試人員的編程能力；重用測試腳本的設(shè)計(jì)；人機(jī)交互界面的早期凍結(jié)；測試腳本開發(fā)的投入；測試人員對測試工具的熟練程度。[1,2]4.3.自動化測試的優(yōu)勢和局限自動化測試的優(yōu)勢：對新版本執(zhí)行回歸測試對于產(chǎn)品型的軟件， 每發(fā)布一個(gè)新的版本， 其中大部分功能和界面都和上一個(gè)版本相似或完全相同，這部分功能特別適合于自動化測試， 從而可以讓測試達(dá)到測試每個(gè)特征的目的。更多更頻繁的測試在回歸測試階段，如果是每天 /每2天都要發(fā)布一個(gè)版本供測試人員測試，一個(gè)系統(tǒng)的功能點(diǎn)有幾千個(gè)上萬個(gè)，手工測試將是非常的耗時(shí)和繁瑣，而且非常的枯燥，這樣必然會使測試效率低下。完善的自動化測試可以替代測試人員的手工測試。一致性和可重復(fù)性由于每次自動化測試運(yùn)行的腳本是相同的，所以每次執(zhí)行的測試具有一致性，人是很難做到的。由于自動化測試的一致性，很容易發(fā)現(xiàn)被測軟件的任何改變。5/11XXXX客戶自動化測試可行性報(bào)告自動化測試替代手工測試的困難：自動化測試的目的在于發(fā)現(xiàn)舊有缺陷，而手工測試的目的在于發(fā)現(xiàn)新缺陷。事實(shí)證明新缺陷越多，自動化測試失敗的幾率就越大。發(fā)現(xiàn)更多的新缺陷應(yīng)該是手工測試的主要目的。測試專家 JamesBach 總結(jié)得出， 85% 的缺陷靠手工發(fā)現(xiàn)，而自動化測試只能發(fā)現(xiàn) 15％的缺陷。技術(shù)問題、組織問題、腳本維護(hù)自動化測試的推行，有很多阻力，比如組織是否重視， 是否成立這樣的測試團(tuán)隊(duì)，是否有這樣的技術(shù)水平，對于測試腳本的維護(hù)工作量也挺大的，是否值得維護(hù)等等問題都必須考慮。[3,4]4.4.自動化測試工具對比目前比較主流的自動化功能測試工具主要是Mercury公司的QTP、Winrunner，以及IBM公司的RationalFunctionTester。下面對QTP和RationalFunctionTester的功能來進(jìn)行對比：功能指標(biāo)RationalFunctionTesterQTP用戶界面與Eclipse集成獨(dú)立的GUI腳本語言JavaVBScript測試Web系統(tǒng)支持支持?jǐn)?shù)據(jù)驅(qū)動內(nèi)建數(shù)據(jù)池從Excel中獲得數(shù)據(jù)檢查點(diǎn)支持支持腳本管理工具TestManagerTestDirector其它支持BusinessProcessTesting（BPT）目前，我們測試人員對QTP比較熟悉，沒有使用過RationalFunctionTester。就功能上來說，RationalFunctionTester和QTP差別不大。測試工作量估算5.1.手工測試工作量估算手工測試工作量的估算原則：根據(jù)業(yè)務(wù)和功能的復(fù)雜程度，以及以往項(xiàng)目的實(shí)際數(shù)據(jù)做參考，得出測試完成一遍的工作量。在整個(gè)項(xiàng)目測試周期中，測試小組會對整個(gè)系統(tǒng)進(jìn)行兩到三輪的測試（一般是必須的） 。根據(jù)以往項(xiàng)目的統(tǒng)計(jì)數(shù)據(jù)： 每一輪手工測試的工作量是上一輪工作量的 50％，直到達(dá)到6/11XXXX客戶自動化測試可行性報(bào)告臨界值，即完成一輪手工測試的最小時(shí)間后，工作量不會再減小。項(xiàng)目統(tǒng)計(jì)數(shù)據(jù)還表明：手工測試中，后期的測試工作占到全部測試工作的40％～50％。業(yè)務(wù)功能點(diǎn)測試完成的工作量（人日）一級功能二級功能第一輪第二輪第三輪系統(tǒng)管理職責(zé)管理2.01.00.5用戶管理3.01.50.8基礎(chǔ)設(shè)置機(jī)構(gòu)類型設(shè)置1.00.50.3機(jī)構(gòu)設(shè)置1.00.50.3幣種設(shè)置1.00.50.3銀行類型設(shè)置1.00.50.3賬戶用途設(shè)置1.50.80.4賬戶擴(kuò)展屬性設(shè)置1.00.50.3業(yè)務(wù)類型設(shè)置3.01.50.8賬戶管理開戶處理4.02.01.0銷戶處理4.02.01.0變更處理4.02.01.0賬號升級申請3.01.50.8凍結(jié)與解凍3.01.50.8賬戶信息查詢2.01.00.5資金清算支出資金申請5.02.51.3歸集資金申請5.02.51.3資金劃撥5.02.51.3資金計(jì)劃行項(xiàng)目設(shè)置2.01.00.5編制計(jì)劃2.01.00.5審批計(jì)劃2.01.00.5資金監(jiān)控賬戶當(dāng)日余額查詢2.01.00.5賬戶歷史余額查詢2.01.00.5賬戶歷史流水查詢2.01.00.5監(jiān)控項(xiàng)設(shè)置5.02.51.3監(jiān)控報(bào)表和提醒3.01.50.8銀企接口銀行指令查詢5.02.51.3銀行指令維護(hù)5.02.51.3自動歸集策略設(shè)置5.02.51.3交易核對5.02.51.3審批流審批設(shè)置4.02.01.0權(quán)限轉(zhuǎn)移4.02.01.0每輪合計(jì)工作量（人日）：97.548.824.4用戶手冊5.0驗(yàn)收測試12.07/11XXXX客戶自動化測試可行性報(bào)告手工測試合計(jì)工作量：187.6人日按照4個(gè)測試資源計(jì)算，手工測試完成共需消耗187.6/4＝46.9個(gè)工作日。與預(yù)定計(jì)劃的48個(gè)工作日的測試周期接近。后期的測試工作占測試工作的45％左右。指標(biāo)數(shù)值估算測試工作量187.6人日測試資源4人估算測試工作日187.6/4＝46.9日計(jì)劃測試工作日48日后期測試工作量比例(48.8+24.4+12)/187.6=45％對手工測試的工作量估算沒有考慮開發(fā)進(jìn)度delay的因素。一旦開發(fā)進(jìn)度delay，則第3輪手工測試將無法完成，只能把優(yōu)先級別較高的功能測試完成。開發(fā)進(jìn)度delay的原因很大一部分來自需求變更。5.2.引入自動化測試后工作量估算引入自動化測試工具后，手工測試的主要工作量將主要集中在第一輪測試，而自動化測試腳本也根據(jù)被測試功能和業(yè)務(wù)的復(fù)雜程度不同而不同。根據(jù)下表的統(tǒng)計(jì)數(shù)據(jù)，在自動化測試中采用數(shù)據(jù)驅(qū)動的方式，投入產(chǎn)出比比較合適。結(jié)構(gòu) 成本 收益 凈收益NoAutomation000RecordingandPlayback8.3112.7Data-drivenstructureusing8.4189.6datapoolsFrameworkstructure9.8155.2Framework/data-driven11.6197.4(hybrid)structurefocusingonviewsoftheapplicationandusingdatapools根據(jù)業(yè)內(nèi)的統(tǒng)計(jì)數(shù)據(jù)，手工測試與自動化測試腳本編寫的工作量比例約為 3:7，在不考慮需求變更的情況下，測試腳本的維護(hù)工作量為建立腳本工作量的 10～20％，在估算時(shí)，取中間值15％。引入自動化測試后工作量估算為：業(yè)務(wù)功能點(diǎn)測試完成的工作量（人日）一級功能二級功能手工測試自動化腳本腳本維護(hù)系統(tǒng)管理職責(zé)管理2.04.70.7用戶管理3.07.01.1基礎(chǔ)設(shè)置機(jī)構(gòu)類型設(shè)置1.02.30.4機(jī)構(gòu)設(shè)置1.02.30.48/11XXXX客戶自動化測試可行性報(bào)告幣種設(shè)置1.02.30.4銀行類型設(shè)置1.02.30.4賬戶用途設(shè)置1.53.50.5賬戶擴(kuò)展屬性設(shè)置1.02.30.4業(yè)務(wù)類型設(shè)置3.07.01.1賬戶管理開戶處理4.09.31.4銷戶處理4.09.31.4變更處理4.09.31.4賬號升級申請3.07.01.1凍結(jié)與解凍3.07.01.1賬戶信息查詢2.04.70.7資金清算支出資金申請5.011.71.8歸集資金申請5.011.71.8資金劃撥5.011.71.8資金計(jì)劃行項(xiàng)目設(shè)置2.04.70.7編制計(jì)劃2.04.70.7審批計(jì)劃2.04.70.7資金監(jiān)控賬戶當(dāng)日余額查詢2.04.70.7賬戶歷史余額查詢2.04.70.7賬戶歷史流水查詢2.04.70.7監(jiān)控項(xiàng)設(shè)置5.011.71.8監(jiān)控報(bào)表和提醒3.07.01.1銀企接口銀行指令查詢5.011.71.8銀行指令維護(hù)5.011.71.8自動歸集策略設(shè)置5.011.71.8交易核對5.011.71.8審批流審批設(shè)置4.09.31.4權(quán)限轉(zhuǎn)移4.09.31.4每項(xiàng)合計(jì)工作量（人日）：97.5227.534.1用戶手冊5.0驗(yàn)收測試4.0合計(jì)工作量：368.1人日在使用了自動化測試工具以后，驗(yàn)收測試只需要搭建環(huán)境和數(shù)據(jù)初始化，效率提高了，測試工作量減小到 4人日。計(jì)劃的測試資源為 4個(gè)，計(jì)劃的測試工作日為 48日，故計(jì)劃工作量為 192人日。在未引入自動化測試工具以前，第二輪和第三輪及驗(yàn)收測試的工作量合計(jì)為(48.8+24.4+12)=85.2 人日，引入自動化測試以后，后期的測試工作量為(227.5+34.1+4)=256.6 人日。指標(biāo) 公式 數(shù)值9/11XXXX客戶自動化測試可行性報(bào)告計(jì)劃測試工作日48日計(jì)劃測試資源4人計(jì)劃測試工作總量48*4192人日替代的手工測試工作量48.8+24.4+1285.2人日估算自動化測試工作量227.5+34.1+4265.6人日估算測試工作總量368.1人日估算測試工作日368.1/492日估算測試周期2006年7月4日－2006年11月8日上表的數(shù)據(jù)表明，實(shí)施自動化測試，在最好的情況下（不考慮學(xué)習(xí)曲線和需求變更），估算測試周期為2006年7月4日～2006年11月8日，比預(yù)定計(jì)劃的項(xiàng)目開發(fā)完成時(shí)間晚2個(gè)月。5.3.學(xué)習(xí)曲線、需求變更對工作量的影響根據(jù)項(xiàng)目管理的相關(guān)理論，學(xué)習(xí)曲線和需求變更將分別會增加30％的工作量，考慮到對測試工具的了解程度，QTP的學(xué)習(xí)成本會少一些，估計(jì)為10％，F(xiàn)unctionTester的學(xué)習(xí)成本將為30％。估算測試工作量為：指標(biāo)沒有需求變更有需求變更公式數(shù)值公式數(shù)值手工測試估算工作187.6人日187.6*(1+30%)243.9人日量使用自動化QTP97.5+265.6*394.7人日97.5*1.3+265.6502.6人日工具估算測(1+10%)+5*1.4+4試工作量RFT97.5+265.6*447.8日97.5*1.3+265.6556.7人日(1+30%)+5*1.6+5估算測試工QTP384.8/498.7日490/4125.6日作日RFT436.1/4111.9日542.3/4139.2日估算測試周QTP2006年7月4日～2006年7月4日～期2006年11月17日2006年12月26日RFT2006年7月4日～2006年7月4日～2006年12月6日 2007年1月15日上表的估算數(shù)據(jù)表明，實(shí)施自動化測試，在最壞情況下（考慮學(xué)習(xí)