PTGM性能測試模型講義.ppt

PTGM性能測試模型講義,Kina Ma （馬秀斌） Email: ,PTGM過程模型,PTGM過程模型（含KPA）,1.測試前期準(zhǔn)備,系統(tǒng)基礎(chǔ)功能驗(yàn)證 組建測試團(tuán)隊(duì) 測試工具需求確認(rèn) 性能預(yù)備測試（可選活動(dòng)）,在前期準(zhǔn)備階段，至少要完成兩個(gè)方面的工作：保證系統(tǒng)穩(wěn)定和建立合適的測試團(tuán)隊(duì)。性能測試一般是軟件系統(tǒng)已經(jīng)開發(fā)或是部署完成之后的測試，要求被測對(duì)象至少具有一定的穩(wěn)定性，在功能上基本滿足了需求。對(duì)一個(gè)很不穩(wěn)定或是還處于“半成品”狀態(tài)的軟件系統(tǒng)進(jìn)行測試，沒有太大的意義。,1.1 系統(tǒng)基礎(chǔ)功能驗(yàn)證,該活動(dòng)類似于在系統(tǒng)測試階段，每個(gè)迭代 過程中的BVT（Build Verification Test）測試， 對(duì)性能測試而言，這個(gè)活動(dòng)的主要目的是確保 當(dāng)前需要進(jìn)行性能測試的應(yīng)用系統(tǒng)已經(jīng)具備了 進(jìn)行性能測試的條件。,1.2 組建測試團(tuán)隊(duì),1.3 測試工具需求確認(rèn),性能測試工具需求規(guī)劃表,1.4 性能預(yù)備測試（可選活動(dòng)）,所謂預(yù)備測試，指的是在正式的測試之前，通過簡單的探索性測試或是其他方法，對(duì)系統(tǒng)的性能表現(xiàn)進(jìn)行初步的了解。因?yàn)檫@種預(yù)備測試是非正式性的，僅僅用來對(duì)被測系統(tǒng)的性能建立一個(gè)初步印象，所以方法上也比較隨意。,2.測試工具引入,工具選擇 工具應(yīng)用技能培訓(xùn) 確定工具應(yīng)用過程,性能測試工具在性能測試項(xiàng)目中發(fā)揮著不可替代的作用，很難想象一個(gè)沒有使用任何性能測試工具而完全依靠手工進(jìn)行的性能測試。對(duì)性能測試來說，要為項(xiàng)目測試選擇合適的工具、要為測試工具的使用確定范圍，要在測試過程中規(guī)定和規(guī)范測試工具的使用，都不是一件容易的事情。因此，把“測試工具引入”作為一個(gè)單獨(dú)的階段。,2.1 工具選擇,性能測試一定會(huì)使用自動(dòng)化測試手段，使用自動(dòng)測試工具(商業(yè)的或是自行開發(fā)的)。本活動(dòng)用于為項(xiàng)目選擇合適的工具。 選擇的方法是圈定幾種可用的工具，對(duì)照“性能測試工具需求規(guī)劃表”給出的問題列表，為每個(gè)工具進(jìn)行一個(gè)功能符合度的評(píng)估，選擇符合度最高的工具。如果所有的工具都無法達(dá)到我們要求的功能符合度，則可以考慮通過創(chuàng)建方式自行構(gòu)建測試中使用的工具。,2.2 工具應(yīng)用技能培訓(xùn),該活動(dòng)為項(xiàng)目組的相關(guān)參與者進(jìn)行測試工具的應(yīng)用技能培訓(xùn)，以使測試活動(dòng)參與者能夠具備測試需要的技能。根據(jù)我們在1.2節(jié)給出的角色技能表，與測試工具相關(guān)性最大的是“測試開發(fā)”、“測試執(zhí)行”和“測試分析”角色，因此培訓(xùn)的重點(diǎn)是針對(duì)這三種類型的角色進(jìn)行。 該活動(dòng)需要達(dá)到一定的目標(biāo)，最好能夠在活動(dòng)開始前確定各種角色人員的詳細(xì)技能標(biāo)準(zhǔn)，并據(jù)此給出培訓(xùn)是否達(dá)到預(yù)定目標(biāo)的評(píng)判準(zhǔn)則。,2.3 確定工具應(yīng)用過程,測試工具引入過程中最容易導(dǎo)致的失敗就是團(tuán)隊(duì)不能達(dá)成對(duì)測試工具應(yīng)用范圍的一致認(rèn)可和測試工具應(yīng)用局限性的一致確認(rèn)。 該活動(dòng)需要確定性能測試工具在測試中的具體應(yīng)用范圍，工具使用過程中的問題解決方法等內(nèi)容。具體來說，哪些工作使用工具完成？測試工具在使用過程中的問題由誰來解決？測試工具的腳本如果管理？這些問題都應(yīng)該在這個(gè)活動(dòng)中完成。,3.測試計(jì)劃,性能測試領(lǐng)域分析 用戶活動(dòng)剖析與業(yè)務(wù)建模 確定性能目標(biāo) 制定測試時(shí)間計(jì)劃,測試計(jì)劃階段用于生成指導(dǎo)整個(gè)測試執(zhí)行的計(jì)劃。該階段主要完成測試目標(biāo)的確定、測試時(shí)間計(jì)劃擬定。,3.1 性能測試領(lǐng)域分析,3.2 用戶活動(dòng)剖析與業(yè)務(wù)建模,用戶活動(dòng)剖析與業(yè)務(wù)建?；顒?dòng)用來尋找用戶的關(guān)鍵性能關(guān)注點(diǎn)。用戶對(duì)系統(tǒng)性能的關(guān)注往往集中在少數(shù)幾個(gè)業(yè)務(wù)活動(dòng)上，在確定性能目標(biāo)之前，我們需要先把用戶的這些關(guān)注點(diǎn)找出來，從而確定最貼近用戶要求的性能目標(biāo)。 用戶活動(dòng)剖析的方法大體分為兩種：系統(tǒng)日志分析和用戶調(diào)查分析。系統(tǒng)日志分析是指通過應(yīng)用系統(tǒng)的日志了解用戶的活動(dòng)，分析出用戶最關(guān)注、最常用的業(yè)務(wù)功能，以及達(dá)到業(yè)務(wù)功能的操作路徑；用戶調(diào)查分析是在不具備系統(tǒng)日志分析條件的時(shí)候（例如，該系統(tǒng)尚未交付用戶運(yùn)行實(shí)際的業(yè)務(wù)）時(shí)采用的一種估算方法，可以通過用戶調(diào)查問卷、同類型系統(tǒng)對(duì)比的方法獲取用戶最關(guān)注、最常用的業(yè)務(wù)功能等內(nèi)容。,3.3 確定性能目標(biāo),性能測試目標(biāo)根據(jù)性能測試需求和用戶活動(dòng)分析結(jié)果來確定，確定性能測試目標(biāo)的一般步驟是首先從需求和設(shè)計(jì)中分析出性能測試需求，結(jié)合用戶活動(dòng)剖析與業(yè)務(wù)建模的結(jié)果，最終確定性能測試的目標(biāo)。,3.4 制定測試時(shí)間計(jì)劃,該活動(dòng)給出性能測試的各個(gè)活動(dòng)起止時(shí)間，為性能測試的執(zhí)行給出時(shí)間上的估算。具體方法是根據(jù)性能測試活動(dòng)，為每個(gè)活動(dòng)階段給出可能的時(shí)間估計(jì)，最終形成時(shí)間上的計(jì)劃。,4.測試設(shè)計(jì)與開發(fā),測試環(huán)境設(shè)計(jì) 測試場景設(shè)計(jì) 測試用例設(shè)計(jì) 腳本和輔助工具開發(fā),4.1 測試環(huán)境設(shè)計(jì),測試環(huán)境設(shè)計(jì)是測試設(shè)計(jì)中不可缺少的環(huán)節(jié)。性能測試的結(jié)果與測試環(huán)境之間的關(guān)聯(lián)性非常大，無論是哪種領(lǐng)域內(nèi)的性能測試，都必須首先確定測試的環(huán)境。 對(duì)于“能力驗(yàn)證”領(lǐng)域的性能測試來說，測試首先就已經(jīng)明確了是在特定的部署環(huán)境上進(jìn)行，因此不需要特別為性能測試設(shè)計(jì)環(huán)境，只需要保證用于測試的環(huán)境與今后系統(tǒng)運(yùn)行的環(huán)境一致即可。 對(duì)于“規(guī)劃能力”領(lǐng)域的性能測試來說，測試環(huán)境不特定，但也需要設(shè)計(jì)一個(gè)基準(zhǔn)的環(huán)境。 對(duì)于“性能調(diào)優(yōu)”領(lǐng)域的性能測試來說，因?yàn)檎{(diào)優(yōu)過程是一個(gè)反復(fù)的過程，在每個(gè)調(diào)優(yōu)小階段的末尾，都需要有性能測試來衡量調(diào)優(yōu)的效果，因此必須在開始就給出一個(gè)用于衡量的環(huán)境標(biāo)準(zhǔn)，并在整個(gè)調(diào)優(yōu)過程中，保證每次測試時(shí)的環(huán)境保持不變。,4.2 測試場景設(shè)計(jì),測試場景設(shè)計(jì)活動(dòng)用于設(shè)計(jì)測試活動(dòng)需要使用的場景。在“確定測試目標(biāo)”活動(dòng)中，我們描述了如何確定測試目標(biāo)，以及測試目標(biāo)的一般描述，這個(gè)活動(dòng)需要更詳細(xì)地將測試目標(biāo)轉(zhuǎn)化為能夠在測試執(zhí)行中使用的內(nèi)容。 測試場景模擬的一般是實(shí)際業(yè)務(wù)運(yùn)行的剖面，其包括業(yè)務(wù)、業(yè)務(wù)比例、測試指標(biāo)的目標(biāo)以及需要在測試過程中進(jìn)行監(jiān)控的性能計(jì)數(shù)器。,測試場景示例,4.3 測試用例設(shè)計(jì),在設(shè)計(jì)完成測試場景之后，為了能夠把場景通過測試工具體現(xiàn)出來，并能用測試工具順利進(jìn)行測試執(zhí)行，因此有必要針對(duì)每個(gè)測試場景規(guī)劃出相應(yīng)的工具部署、應(yīng)用部署、測試方法和步驟，這個(gè)過程就是我們要討論的測試用例設(shè)計(jì)活動(dòng)。 測試用例是對(duì)測試場景的進(jìn)一步細(xì)化，細(xì)化內(nèi)容包括場景中涉及業(yè)務(wù)的操作序列描述、場景需要的環(huán)境部署等內(nèi)容。 “登錄業(yè)務(wù)”用例設(shè)計(jì)例子： 1、用戶進(jìn)入登錄頁面（訪問01:8080/login.aspx） 2、用戶輸入正確的用戶名和口令 3、用戶點(diǎn)擊“登錄”按鈕 4、等待直到出現(xiàn)登錄成功的頁面，判斷該頁面成功顯示的方法是HTML頁面內(nèi)容中的“歡迎”文本,4.4 腳本和輔助工具開發(fā),腳本和輔助工具的開發(fā)是測試執(zhí)行之前的最后步驟，測試腳本是對(duì)業(yè)務(wù)操作的體現(xiàn)，一個(gè)腳本一般就是一個(gè)業(yè)務(wù)的過程描述。測試輔助工具指的是在測試中充當(dāng)“樁模塊”、“驅(qū)動(dòng)模塊”的程序，或提供輔助進(jìn)行服務(wù)器性能監(jiān)控的腳本等。 測試腳本的開發(fā)通常基于“錄制”，依靠工具提供的錄制功能，可以將需要性能測試關(guān)注的業(yè)務(wù)在工具的錄制下操作一遍，然后基于該錄制后的腳本，對(duì)其進(jìn)行修改和調(diào)試，確保其可以在性能測試中順利使用。最常用的腳本修改和調(diào)試技巧是“參數(shù)化”、“關(guān)聯(lián)”和“日志輸出”等。,5.測試執(zhí)行與管理,建立測試環(huán)境 部署測試腳本和測試場景 執(zhí)行測試和記錄結(jié)果,測試執(zhí)行與管理過程用于建立合適的測試環(huán)境，部署測試腳本和測試場景，執(zhí)行測試并記錄測試結(jié)果。,5.1 建立測試環(huán)境,該活動(dòng)用于搭建需要的測試環(huán)境。在設(shè)計(jì)完成用例之后就會(huì)開始該活動(dòng)，該活動(dòng)是一個(gè)持續(xù)性的活動(dòng)，在測試過程中，可能會(huì)根據(jù)測試需求進(jìn)行環(huán)境上的調(diào)整。 建立測試環(huán)境一般包括硬件、軟件系統(tǒng)環(huán)境的搭建，數(shù)據(jù)庫環(huán)境建立，應(yīng)用系統(tǒng)的部署，系統(tǒng)設(shè)置參數(shù)的調(diào)整，以及數(shù)據(jù)環(huán)境準(zhǔn)備幾個(gè)方面的工作內(nèi)容。 測試環(huán)境的維護(hù)，指的是為了測試結(jié)果的可比性，一般都需要在每次運(yùn)行測試結(jié)束后恢復(fù)初始的測試環(huán)境。,5.2 部署測試腳本和測試場景,在建立和合適的測試環(huán)境之后，接下來的工作是部署測試腳本和測試場景。部署測試腳本和測試場景活動(dòng)通過測試工具本身提供的功能來實(shí)現(xiàn)。 部署活動(dòng)最終需要保證場景與設(shè)計(jì)的一致性，保證需要監(jiān)控的計(jì)數(shù)器都已經(jīng)部署好了相應(yīng)的監(jiān)控手段。,5.3 執(zhí)行測試和記錄結(jié)果,準(zhǔn)備好環(huán)境和部署好測試腳本以及場景后，就可以執(zhí)行測試并記錄測試結(jié)果了。在測試工具的協(xié)助下，測試執(zhí)行是非常簡單的操作，一般只需要使用菜單或是按鈕就可以完成；記錄測試結(jié)果也可以依靠測試工具完成，通過測試工具的Monitor模塊，可以獲取并記錄需要關(guān)注的性能計(jì)數(shù)器的值。 在測試工具本身不提供對(duì)需要關(guān)注的性能計(jì)數(shù)器進(jìn)行監(jiān)控的功能時(shí)，可以用一些操作系統(tǒng)的工具，自行編制部分腳本解決這個(gè)問題，一般的方法是用腳本調(diào)用操作系統(tǒng)提供的工具，在腳本實(shí)現(xiàn)中將各性能計(jì)數(shù)器值分析出來并按照一定格式記錄在本地文件中。,6.測試分析,測試分析過程用于對(duì)測試結(jié)果進(jìn)行分析，根據(jù)測試的目的和目標(biāo)給出測試結(jié)論。 性能測試的挑戰(zhàn)性很大程度上體現(xiàn)在對(duì)測試結(jié)果的分析上，可以說，每次性能測試結(jié)果的分析都需要測試分析人員具有相當(dāng)程度的對(duì)軟件性能的了解、對(duì)軟件架構(gòu)的了解、對(duì)各性能指標(biāo)的了解。 測試分析過程是一個(gè)靈活的過程，很難給出一種具體的、能適應(yīng)各種性能測試需要的統(tǒng)一的過程活動(dòng)列表。,性能分析的通用方法之一是“拐點(diǎn)分析”的方法?！肮拯c(diǎn)分析”方法是一種利用性能計(jì)數(shù)器曲線圖上的拐點(diǎn)進(jìn)行性能分析的方法，該方法的基本思想是基于這個(gè)事實(shí)：性能產(chǎn)生瓶頸是由于某個(gè)資源的使用達(dá)到了極限，此時(shí)的表現(xiàn)是隨著壓力增大系統(tǒng)性能表現(xiàn)急劇下降，因此，只要關(guān)注性能表現(xiàn)上的“拐點(diǎn)”，獲