軟件性能測試設計與實現(xiàn)-周光明培訓資料

軟件性能測試設計與實現(xiàn)-周光明軟件性能測試目的軟件性能測試應用場合1、公司內部驗證軟件產品能力；2、客戶項目要求驗證軟件性能；3、產品之間性能對比測試；軟件性能測試目的1、發(fā)現(xiàn)軟件缺陷，如內存泄露、線程死鎖等問題；2、驗證軟件能力，獲取基準性能指標；3、性能調優(yōu)，容量規(guī)劃設計；4、發(fā)現(xiàn)軟件性能缺陷，指出改進方向；性能測試介入性能測試介入階段1、產品需求調研階段；

根據(jù)客戶應用場景，確定產品應用性能指標2、開發(fā)設計階段；

分析軟件設計中會造成性能瓶頸的因素3、功能穩(wěn)定階段；

開展全面的性能測試，驗證產品性能業(yè)務模型業(yè)務模型1、常規(guī)業(yè)務模型2、突發(fā)事件或峰值業(yè)務模型獲取業(yè)務模型

1、客戶業(yè)務流程介紹

2、服務器日志記錄業(yè)務模型的意義1、構建跟客戶應用場景類似的測試場景2、分析獲取性能測試指標3、預估應用壓力及峰值壓力場景業(yè)務模型舉例：公司郵件服務器，最高峰時有200人在線，考察某一時間點，其中40%的用戶什么都沒做，20%的用戶寫郵件，20%的用戶在看郵件，剩下的20%在不停地點擊收郵件按鈕。思考時間（ThinkingTime)對于交互式的應用系統(tǒng)，要考慮思考時間，用于更真實的模擬用戶操作。避免不具有實際業(yè)務含義的業(yè)務模型。性能測試需求性能測試需求描述要求1、準確：對于性能指標要準確、清楚的描述；2、一致：對于性能指標的確認達成統(tǒng)一；3、特定：性能測試的需求是有條件的；性能測試需求必須要包含多少用戶(who)在什么時間(when)或持續(xù)多久(when)進行了什么業(yè)務(what),最終需要關注怎樣的指標(how)查詢客戶端工業(yè)庫服務器網絡結果顯示時間網絡傳輸時間服務器處理時間單客戶端查詢歷史數(shù)據(jù)耗時常用性能指標CPU占用率、內存占用率、網絡帶寬占用率存儲速度：每秒300,000條數(shù)據(jù)記錄的存儲速度檢索速度：每秒20,000條數(shù)據(jù)記錄的檢索速度數(shù)據(jù)容量：長達數(shù)年的歷史數(shù)據(jù)保存和歸檔并發(fā)客戶：支持256個并發(fā)客戶同時存儲和檢索實時及歷史數(shù)據(jù)平均無故障時間：長時間穩(wěn)定無故障運行7*24小時性能測試需求的獲取開發(fā)設計、產品需求設計文檔客戶根據(jù)業(yè)務流程提出同類產品的性能指標行業(yè)標準、研究報告基準性能測試注意：考慮突發(fā)事件以及峰值情況的確定1、習慣性的集中登錄；2、突發(fā)事件造成大量訪問；3、集中事務處理日期段；4、節(jié)假日等……性能測試模型業(yè)務模型建立：建立一個能夠逼真模擬系統(tǒng)實際運行場景的業(yè)務模型；測試數(shù)據(jù)模型建立：準備測試數(shù)據(jù)和基礎數(shù)據(jù)，確保數(shù)據(jù)容量和真實性符合實際運行情況；監(jiān)控模型建立：設計需要監(jiān)控的性能指標，從而發(fā)現(xiàn)性能瓶頸；測試模型建立：采取基準測試、單業(yè)務負載測試、混合負載測試、并發(fā)測試的順序來執(zhí)行；執(zhí)行模型建立：建立規(guī)范的測試流程，明確各個角色的職責；風險模型建立：預估風險，并就風險作出處理方案；性能測試場景設計性能測試場景設計1、結果導向分析法2、分析影響性能表現(xiàn)的因素3、針對影響因素設計相應測試場景對于待測系統(tǒng)處理機制的深入了解，是性能測試成功設計和執(zhí)行的保證。性能測試環(huán)境搭建1、硬件環(huán)境；2、待測軟件設置；3、操作系統(tǒng)環(huán)境；4、網絡環(huán)境；測試環(huán)境搭建常見錯誤：1、無視軟硬件資源不足；2、無視與客戶硬件環(huán)境不一致；3、無視軟件參數(shù)配置不合理；需注意該點在性能對比測試中的誤區(qū)注意：性能測試一定要充分利用一切可以利用的資源和工具基準性能測試1、目的通過模擬生產環(huán)境運行的業(yè)務壓力量和使用場景組合，測試系統(tǒng)是否滿足要求的測試方法。2、特點驗證系統(tǒng)具有宣稱的能力在已確定的環(huán)境下進行根據(jù)典型場景設計測試方案和用例4、注意事項滿足系統(tǒng)運行的基本要求記錄基準性能指標負載測試1、目的通過在被測系統(tǒng)上不斷增加負載壓力，直到性能指標超過預定指標或某種資源使用已達到飽和狀態(tài)。2、特點其主要目的是找到系統(tǒng)處理能力的極限在給定環(huán)境下運行，需要考慮被測系統(tǒng)的業(yè)務壓力量和典型場景，使得測試結果具有業(yè)務上的意義可用來了解系統(tǒng)的性能容量，或者配合性能調優(yōu)來使用3、注意事項增加負載的策略停止增加負載的標準壓力測試1、目的測試系統(tǒng)在系統(tǒng)資源（如CPU、內存使用率、網絡帶寬等）一定飽和狀態(tài)下，系統(tǒng)的處理能力，以及系統(tǒng)是否會出現(xiàn)錯誤。2、特點其主要目的是檢查系統(tǒng)處于壓力情況時應用的表現(xiàn)一般通過模擬負載等方法，使得系統(tǒng)的資源使用達到較高水平一般用于測試系統(tǒng)的穩(wěn)定性3、注意事項設置有意義的飽和狀態(tài)并發(fā)測試1、目的通過模擬用戶的并發(fā)訪問，測試多用戶并發(fā)訪問同一應用，同一個模塊或數(shù)據(jù)記錄時是否存在死鎖或其他性能問題2、特點其主要目的是發(fā)現(xiàn)系統(tǒng)中可能隱藏的并發(fā)訪問時的問題，如內存泄露、線程死鎖或資源競爭方面的問題需要相關的工具配置和支持3、注意事項在線用戶數(shù)和并發(fā)用戶數(shù)的區(qū)別理想情況下是使用多臺機器真實模擬用戶并發(fā)場景使用測試工具模擬并發(fā)客戶端，要支持快速部署和啟動測試疲勞強度測試1、目的通過給系統(tǒng)加載一定的業(yè)務壓力情況下，讓程序持續(xù)運行一段時間，測試系統(tǒng)在這種條件下是否能夠穩(wěn)定可靠的運行2、特點其主要目的是驗證系統(tǒng)是否支持長期穩(wěn)定的運行需要在壓力狀態(tài)下運行一段時間需要關注系統(tǒng)的運行狀況3、注意事項保持一定的運行壓力軟硬件環(huán)境支持其長時間穩(wěn)定運行故障恢復測試1、目的主要針對程序在運行過程中出現(xiàn)故障并恢復后，驗證是否能夠繼續(xù)使用系統(tǒng)，以及這種情況發(fā)生后用戶將會受到什么影響2、特點其主要目的是驗證系統(tǒng)出現(xiàn)故障并恢復后系統(tǒng)是否可以繼續(xù)使用3、注意事項根據(jù)業(yè)務模型設計故障產生的階段考慮恢復后對操作的影響分析故障恢復后的性能表現(xiàn)：恢復時間、恢復后能夠正常訪問、性能不出現(xiàn)嚴重下降配置測試1、目的通過對被測系統(tǒng)的軟硬件環(huán)境的調整，了解各種不同環(huán)境對系統(tǒng)性能影響的程度，從而找到各項資源的最優(yōu)分配原則2、特點了解各種不同因素對系統(tǒng)性能影響的程度，從而判斷最值得進行的調優(yōu)操作對系統(tǒng)性能有了初步了解后進行一般用于性能調優(yōu)3、注意事項熟悉產品各模塊處理機制調優(yōu)結束的標準執(zhí)行—分析—調整—執(zhí)行—分析……性能測試分析性能表現(xiàn)的拐點、性能瓶頸由基準性能測試的表現(xiàn)分析軟件性能缺陷模塊或產品之間的性能表現(xiàn)對比分析

KDC采集器和OPC采集器性能表現(xiàn)對比拐點分析法：利用性能計數(shù)器曲線圖上的拐點進行性能分析的方法。查詢性能表現(xiàn)性能調優(yōu)確定基準環(huán)境，基準負載、和基準性能指標調整系統(tǒng)運行環(huán)境和實現(xiàn)方法，執(zhí)行測試記錄測試結果，進行分析性能調優(yōu)硬件環(huán)境的調整主要對系統(tǒng)運行的硬件環(huán)境進行調整，包括硬盤、CPU、內存、網絡帶寬等軟件參數(shù)設置的調整主要對軟件系統(tǒng)的參數(shù)進行調整，比如調整工業(yè)庫的緩沖池大小等應用級別的調整主要對應用實現(xiàn)本身進行調整，包括采用新的數(shù)據(jù)訪問方式或是修改處理邏輯的實現(xiàn)方式等性能調優(yōu)常見錯誤

1、避免一次調整過多的參數(shù)

2、沒有保證每次執(zhí)行時數(shù)據(jù)環(huán)境的一致

3、必須存在可用于衡量調優(yōu)是否取得效果的標準，避免調優(yōu)過程一直持續(xù)下去性能改進分析性能缺陷開發(fā)設計階段、項目實施階段性能改進舉例：1、數(shù)據(jù)庫沒有使用索引，查詢數(shù)據(jù)時會掃描全表。建議改進方向為考慮為數(shù)據(jù)庫創(chuàng)建索引，優(yōu)化查詢操作。2、數(shù)據(jù)展示優(yōu)化。性能測試結束標準達到要求的性能需求經過了穩(wěn)定無故障測試系統(tǒng)資源成為瓶頸案例分析：工業(yè)庫查詢性能測試結束標準1、達到性能需求2、系統(tǒng)資源成為瓶頸3、多客戶端并反訪問穩(wěn)定正確工業(yè)庫存儲性能測試案例分析1、確定存儲性能測試指標1>服務器端的存儲速度；2>服務器端的系統(tǒng)資源占用情況（CPU、內存、磁盤等）3>緩存數(shù)據(jù)文件變化4>數(shù)據(jù)丟失率工業(yè)庫存儲性能測試案例分析1、影響存儲性能的因素1>機器硬件配置；2>緩沖池大小3>變量緩存塊TagDataBuffer的大小4>刷新線程

5>壓縮屬性設置

6>線程池開啟工業(yè)庫存儲性能測試案例分析1、性能測試場景設計負載測試；配置測試；混合業(yè)務模型測試；疲勞強度測試；故障恢復測試2、性能測試結束標準系統(tǒng)資源達到飽和；緩存數(shù)據(jù)文件不斷增加；滿足客戶項目需求工業(yè)庫存儲性能測試案例分析性能測試工具的引入考慮工具的穩(wěn)定性和可靠性易于部署能夠統(tǒng)計一定的性能