系統(tǒng)測試流程

1、系統(tǒng)測試控制程序1目的本程序描述了產(chǎn)品的系統(tǒng)測試流程。2適用范圍本程序適用于公司立項產(chǎn)品的系統(tǒng)測試過程的控制。3職責(zé)產(chǎn)品市場部：下達(dá)任務(wù)項目書。產(chǎn)品研發(fā)部：完成項目的研發(fā)和集成，修改軟件問題。系統(tǒng)測試部：系統(tǒng)測試包括設(shè)計的驗證測試和模擬客戶環(huán)境進(jìn)行的產(chǎn)品確認(rèn)測試。了 解產(chǎn)品需求，制定測試計劃，編寫測試用例，完成測試，記錄測試結(jié)果，提交測試報告； 提交產(chǎn)品問題，跟蹤問題直至問題關(guān)閉；為發(fā)布后的產(chǎn)品提供后續(xù)測試服務(wù)。技術(shù)支持部：在產(chǎn)品的維護(hù)階段，反饋客戶對產(chǎn)品的測試新需求。Bugzilla維護(hù)人員：負(fù)責(zé)管理公司的 bugzilla服務(wù)器。4工作程序?qū)τ谟上到y(tǒng)測試部執(zhí)行驗收測試的項目，執(zhí)行后面的工作

2、程序。4.1 收到項目任務(wù)書4.1.1 指派項目測試組成員系統(tǒng)測試部經(jīng)理收到產(chǎn)品市場部發(fā)出的項目任務(wù)書后，指派項目測試組成員。項目測 試組由leader和成員組成。系統(tǒng)測試部經(jīng)理將項目系統(tǒng)測試leader及其職責(zé)/權(quán)限用電子郵件的形式通知，被通知人包括：項目的產(chǎn)品經(jīng)理、項目的研發(fā)組leader、項目研發(fā)組成員、項目組測試成員、項目組其他成員、技術(shù)支持部經(jīng)理，并抄送給開發(fā)部經(jīng)理，產(chǎn)品市 場部經(jīng)理。項目系統(tǒng)測試leader的職責(zé)如下：a.根據(jù)本測試流程的描述，組織項目測試組成員完成測試；b.制定測試計劃，組織編寫測試用例，執(zhí)行項目測試；c.負(fù)責(zé)維護(hù)項目系統(tǒng)測試任務(wù)計劃；d.監(jiān)督和控制項目的測試質(zhì)量

3、；組織成員完成維護(hù)階段的產(chǎn)品測試任務(wù)。4.1.2 建立項目測試目錄項目測試組leader收到項目測試職責(zé)的指派后，馬上為該項目建立測試目錄，并參考 項目測試目錄結(jié)構(gòu)和文件命名規(guī)范創(chuàng)建目錄結(jié)構(gòu)，并搜集相關(guān)文件。所有與該 項目測試相關(guān)的文檔要求保存到該目錄下。4.1.3 Bug跟蹤計劃項目測試組leader收到項目測試職責(zé)的指派后，開始編寫B(tài)ug跟蹤計劃。Bug跟蹤計劃的編寫和批準(zhǔn)應(yīng)該在項目測試計劃完成前完成。項目產(chǎn)品經(jīng)理把參與本項目的相關(guān)人員及其郵件帳號提供給項目測試組leader。項目研發(fā)組leader把本項目研發(fā)組成員及其郵件帳號提供給項目測試組leader,包括項目子模塊名和研發(fā)人員的對應(yīng)

4、關(guān)系。技術(shù)支持部經(jīng)理把參與本項目的技術(shù)支持成員及其郵件帳號提供給項目測試組 leader。項目測試組leader根據(jù)模板Bug跟蹤計劃模板編寫 bug跟蹤計劃。如果需要，可 以重新定義模板中bug嚴(yán)重等級和優(yōu)先級的定義。項目測試組leader將編寫完的Bug跟蹤計劃發(fā)給本項目的產(chǎn)品、研發(fā)、測試、技術(shù)支 持成員確認(rèn)，并將確認(rèn)后的最終版本抄送各自部門經(jīng)理和bugzilla管理人員。Bugzilla管理人員根據(jù)“ Bug跟蹤計劃”在 bugzilla服務(wù)器上建立本項目，并將 Bug 跟蹤計劃中描述的角色和人員加入該項目。4.2 制定測試計劃4.2.1 編寫測試計劃項目測試組leader參考系統(tǒng)測試計

5、劃模板編寫測試計劃。測試計劃用于描述測試 目的、質(zhì)量目標(biāo)即測試通過的準(zhǔn)則、人員構(gòu)成、測試資源、測試范圍、測試活動及其進(jìn) 度。項目測試組leader應(yīng)該在項目策劃階段完成測試計劃的編寫。項目系統(tǒng)測試組根據(jù)項目任務(wù)書中的原始需求、產(chǎn)品的主要應(yīng)用目的和SRS,確定本項目系統(tǒng)測試的范圍，并識別項目的測試重點；項目中將進(jìn)行功能重建/加強(qiáng)/改善的地方要作為測試重點。有關(guān)功能重建等信息可以從項目整體概要設(shè)計書或者SDP對重點開發(fā)任務(wù)的計劃中獲得。項目系統(tǒng)測試組leader根據(jù)測試范圍，估計需要的測試資源、測試工作量。根據(jù)估計 的工作量、項目任務(wù)書中的時間計劃、以及研發(fā)的SDP草案制定系統(tǒng)測試活動的時間計劃。

6、產(chǎn)品的硬件兼容測試應(yīng)計劃在最初兩個Beta版完成。4.2.2 評審測試計劃在原始需求、SRS、項目研發(fā)計劃均評審?fù)旰螅椖繙y試組 leader組織下列人員參與測試計劃的評審：項目的產(chǎn)品經(jīng)理、項目研發(fā)組leader、項目測試組成員、以及產(chǎn)品市場部經(jīng)理、系統(tǒng)測試部經(jīng)理、研發(fā)經(jīng)理。測試計劃中的測試質(zhì)量目標(biāo)不得低于公司定義的測試質(zhì)量目標(biāo)，產(chǎn)品質(zhì)量目標(biāo)不得低 于公司定義的產(chǎn)品質(zhì)量目標(biāo)。測試計劃通過評審的標(biāo)準(zhǔn)：A.規(guī)定參與的所有人員均參與了評審；B.測試質(zhì)量目標(biāo)和產(chǎn)品質(zhì)量目標(biāo)不低于公司目標(biāo)，如果低于，需要由公司的管理者 代表批準(zhǔn)；C.識別的測試范圍、測試重點能夠達(dá)到制定的質(zhì)量目標(biāo)，估計的測試資源合理、時

7、間進(jìn)度符合項目總體進(jìn)度要求；D.識別了可能發(fā)生的風(fēng)險，以及應(yīng)對措施；評審結(jié)果記錄在評審報告中。通過評審后，測試計劃由系統(tǒng)測試部經(jīng)理批準(zhǔn)。4.3 實施測試計劃4.3.1 測試計劃的跟蹤維護(hù)項目系統(tǒng)測試Leader跟蹤測試計劃的實施情況，識別與計劃的不符合程度、并估計不 符合對項目產(chǎn)品質(zhì)量、測試質(zhì)量、發(fā)布時間計劃產(chǎn)生的影響。當(dāng)估計會產(chǎn)生嚴(yán)重影響時， 發(fā)起會議討論應(yīng)對措施。會議參與人包括：項目的產(chǎn)品經(jīng)理、項目研發(fā)組leader、以及產(chǎn)品市場部經(jīng)理、系統(tǒng)測試部經(jīng)理、研發(fā)經(jīng)理。當(dāng)需要變更STP時，項目系統(tǒng)測試Leader執(zhí)行變更，并組織人員評審變更后的測試計 劃，評審標(biāo)準(zhǔn)見本文檔中“制定測試計劃”段的描

8、述，并由系統(tǒng)測試部經(jīng)理批準(zhǔn)。項目系 統(tǒng)測試Leader將變更后的測試計劃發(fā)給應(yīng)該參與評審的所有成員。4.3.2 編寫 TestCas琲口 CheckList“TestCasS和“ CheckList”是指導(dǎo)項目系統(tǒng)測試如何進(jìn)行的工具，它描述了被測試的內(nèi)容、測試的方法、應(yīng)用的測試工具名稱和版本、允收的標(biāo)準(zhǔn)。項目系統(tǒng)測試組leader按照測試計劃組織項目測試成員參考CheckList模板和TestCase模板編寫項目的CheckList 和 TestCasa編寫完成后，項目系統(tǒng)測試組leader組織項目測試組成員交叉評審后，組織項目的產(chǎn)品經(jīng)理、項目研發(fā)組leader、項目研發(fā)組成員、項目測試組成員

9、初步評審。在產(chǎn)品研發(fā)的“階段，研發(fā)提交 a版本給系統(tǒng)測試組，系統(tǒng)測試組根據(jù)該版本完善 TestCase和CheckList。如果發(fā)現(xiàn)文檔和 a版本有差異時，應(yīng)先向測試組leader說明差異情況，在測試組leader認(rèn)可后可更新 TestCase和CheckList。項目測試組leader在產(chǎn)品第一個 B版送測前組織TestCase和CheckListt的正式評審評審參與人包括：項目的產(chǎn)品經(jīng)理、項目研發(fā)組leader、項目研發(fā)組成員、項目系統(tǒng)測試組成員。通過評審的標(biāo)準(zhǔn)：Checklist要覆蓋所有測試范圍即所有需求，對于測試重點，TestCase和CheckList要覆蓋基本功能，擴(kuò)展功能；對于

10、非測試重點TestCase和CheckList要覆蓋重要功能和路徑；TestCase和CheckList覆蓋率能達(dá)到部門要求。評審結(jié)果填寫在 評審報告中。評審后的TestCase和CheckList是項目測試方法和允收標(biāo)準(zhǔn)的基線，進(jìn)入配置庫，并 按配置管理程序?qū)嵤┳兏目刂啤?.3.3 測試版本的測試項目研發(fā)組leader提交測試版本的產(chǎn)品發(fā)布報告。項目測試 leader將產(chǎn)品發(fā)布 報告保留到項目測試目錄下。項目測試組leader根據(jù)版本產(chǎn)品發(fā)布報告中的 Changelog,核查原有的測試用例， 根據(jù)需要更新測試用例，并按配置管理程序?qū)嵤┳兏目刂啤ｍ椖繙y試組leader組織測試成員根據(jù) Te

11、stCase和CheckList執(zhí)行測試，并在測試過程 中記錄測試結(jié)果。發(fā)現(xiàn)問題后，根據(jù) Bug跟蹤計劃和Bug跟蹤規(guī)程，使用專用的 bug報告系統(tǒng)向項目研發(fā)組報告問題，報告內(nèi)容包括：問題的嚴(yán)重程度、發(fā)生的位置、重 現(xiàn)的方法等。研發(fā)組對 bug的修改記錄、以及修改后測試人員驗證的結(jié)果，均記錄在 bug 報告系統(tǒng)中。版本測試完成后，a）項目測試組成員提交自己執(zhí)行測試部分的：完成情況報告、測試結(jié)果詳細(xì)記b）項目測試組leader搜集下列數(shù)據(jù)：產(chǎn)品目前的質(zhì)量：各個嚴(yán)重等級Bug的數(shù)量，與目標(biāo)的差距；測試質(zhì)量：i. 測試Checklist對需求的覆蓋率；ii. 測試Checklist被執(zhí)行的比例；ii

12、i. 測試進(jìn)展和計劃進(jìn)度的差距；研發(fā)、測試質(zhì)量iv. 新Bug占當(dāng)前所有bug的比例；v. Bug未跟蹤比率=未跟蹤的bug占當(dāng)前所有bug的百分比；（未跟蹤的 bug指的是在以前版本被置為 NEW、REOPENED、NEEDINFO、 WANTHOLD 、WANTNOTBUG 的bug,其狀態(tài)在本版本測試結(jié)束時仍未 得到更新）。研發(fā)質(zhì)量：vi. 已關(guān)閉bug占當(dāng)前所有bug的比例；vii.當(dāng)前REOPENED bug占當(dāng)前所有bug的比例;c）項目測試組leader用E-mail形式向相關(guān)人員報告測試情況，報告內(nèi)容包括： 報告人名字、報告時間、版本測試完成情況、測試結(jié)果記錄、bug統(tǒng)計結(jié)果、

13、 產(chǎn)品質(zhì)量與目標(biāo)的差距，同時說明被測版本的質(zhì)量是否合格、是否可以放行，并提請研發(fā)確定Review bug的時間。d）對于質(zhì)量合格的版本，項目的配置管理人員將對配置庫中該版本做合格品標(biāo) 識。項目研發(fā)組Leader組織研發(fā)成員了解bug,根據(jù)Bug跟蹤規(guī)程修改bug狀態(tài)，確 定 review bug 時間。項目研發(fā)組Leader根據(jù)Bug跟蹤規(guī)程組織 bug review meeting。項目測試組leader將所有與該版本相關(guān)的測試文檔保留到測試目錄下。4.3.4 項目測試版本的管理系統(tǒng)測試部只對項目的產(chǎn)品經(jīng)理提供本項目產(chǎn)品的版本，包括測試版本和最終版，不 對公司其他部門提供，也不對任何個人提供

14、。4.3.5 測試結(jié)束項目測試結(jié)束后，項目系統(tǒng)測試 Leader組織測試人員完成項目測試總結(jié)文檔。包括： 產(chǎn)品功能測試報告、軟件兼容報告、硬件兼容報告、性能測試報告、穩(wěn)定性測試報告、測 試活動總結(jié)、產(chǎn)品實施手冊。測試活動總結(jié)報告總結(jié)下列內(nèi)容：項目系統(tǒng)測試覆蓋的內(nèi)容是否達(dá)到計劃的預(yù)期，覆蓋比率是否達(dá)到質(zhì)量目標(biāo)？成功/失敗的原因；Bug跟蹤比率是否達(dá)到目標(biāo)？未達(dá)到原因是什么？測試完成時間、投入人力是否符合計劃，不符合情況的描述，原因；測試活動的管理存在的問題，以及經(jīng)驗。產(chǎn)品實施手冊不同于用戶手冊，其從具體內(nèi)容和證據(jù)角度描述下列內(nèi)容：產(chǎn)品的物理構(gòu)成，功能構(gòu)成，相對以前版本的改進(jìn)，與以前版本的不同；產(chǎn)品各部分質(zhì)量的描述，強(qiáng)點，弱點；與競爭產(chǎn)品的不同：功能特性不同，競爭產(chǎn)品的強(qiáng)點，弱點；產(chǎn)品的兼容列表地址，推薦的搭配方案；對軟展件產(chǎn)品的安裝、配置、使用方法，存在的問題，需要注意的點，性能調(diào)優(yōu)方法;產(chǎn)品所有已知問題的解決辦法4.4 項目中止在產(chǎn)品的最終版本發(fā)布前，如果項目被中止，則中止本項目的系統(tǒng)測試。對于中止的項目，系統(tǒng)測試人員完成項目測試活動總結(jié)報告，在報告中明確說明項目 中途終止。被中止的產(chǎn)品應(yīng)提交給項目的產(chǎn)品經(jīng)理封存。4.5 產(chǎn)品最終版的發(fā)行項目的產(chǎn)品經(jīng)理根據(jù)客戶實際使用環(huán)境下測試/確認(rèn)的結(jié)果或模擬客戶實際環(huán)境的測試