軟件性能測(cè)試概述

1、技術(shù)創(chuàng)新，變革未來(lái)軟件性能測(cè)試概述2軟件性能測(cè)試過(guò)程1. 性能測(cè)試介紹2. 性能測(cè)試過(guò)程3. 性能測(cè)試舉例31. 性能測(cè)試介紹1.1 什么是軟件性能1.2 性能指標(biāo)介紹1.3 什么是性能測(cè)試1.4 性能測(cè)試類(lèi)型41.1 什么是軟件性能 系統(tǒng)的性能是個(gè)很大的概念，覆蓋面非常廣泛，對(duì)一個(gè)軟件系統(tǒng)而言，包括執(zhí)行效率、資源占用、穩(wěn)定性、安全性、兼容性、可擴(kuò)展性、可靠性等等。 用戶(hù)視角的軟件性能 管理員視角的軟件性能 產(chǎn)品開(kāi)發(fā)人員視角的軟件性能51.1 什么是軟件性能1.1.1 用戶(hù)視角的軟件性能 從用戶(hù)角度來(lái)說(shuō)，軟件性能就是軟件對(duì)用戶(hù)操作的響應(yīng)時(shí)間。61.1 什么是軟件性能1.1.2 管理員視角的軟件

2、性能 系統(tǒng)的響應(yīng)時(shí)間； 系統(tǒng)運(yùn)行時(shí)服務(wù)器的狀態(tài)，如CPU利用情況、內(nèi)存使用情況等； 系統(tǒng)是否能夠?qū)崿F(xiàn)擴(kuò)展； 系統(tǒng)支持多少用戶(hù)訪問(wèn)； 系統(tǒng)性能可能的瓶頸在哪里； 系統(tǒng)是否支持7*24小時(shí)的業(yè)務(wù)訪問(wèn)。系統(tǒng)穩(wěn)定性系統(tǒng)可擴(kuò)展性系統(tǒng)容量系統(tǒng)可擴(kuò)展性資源利用率71.1 什么是軟件性能1.1.3 產(chǎn)品開(kāi)發(fā)人員視角的軟件性能 用戶(hù)關(guān)心的響應(yīng)時(shí)間； 管理員關(guān)心的系統(tǒng)可擴(kuò)展性等； 架構(gòu)設(shè)計(jì)是否合理； 數(shù)據(jù)庫(kù)設(shè)計(jì)是否合理； 代碼是否存在性能方面的問(wèn)題； 系統(tǒng)中是否有不合理的內(nèi)存使用方式。系統(tǒng)架構(gòu)數(shù)據(jù)庫(kù)設(shè)計(jì)代碼代碼81.2 性能指標(biāo)介紹并發(fā)用戶(hù)數(shù)響應(yīng)時(shí)間吞吐量資源利用率思考時(shí)間91.2.1 并發(fā)用戶(hù)數(shù)是指在某一給定時(shí)

3、間內(nèi)，某個(gè)特定點(diǎn)上進(jìn)行會(huì)話(huà)操作的用戶(hù)數(shù)。C=nL/TCC+3CC：平均并發(fā)用戶(hù)數(shù)，C并發(fā)用戶(hù)數(shù)峰值n：從登錄進(jìn)入系統(tǒng)到退出系統(tǒng)之間的時(shí)間段用戶(hù)數(shù)量L：用戶(hù)從登錄進(jìn)入系統(tǒng)到退出系統(tǒng)之間的時(shí)間段平均長(zhǎng)度10假設(shè)有一個(gè)OA系統(tǒng)，該系統(tǒng)有3000個(gè)用戶(hù)，平均每天大約有400個(gè)用戶(hù)要訪問(wèn)該系統(tǒng)，對(duì)一個(gè)典型用戶(hù)來(lái)說(shuō)，一天之內(nèi)用戶(hù)從登錄到退出該系統(tǒng)的平均時(shí)間為4小時(shí)，在一天的時(shí)間內(nèi)，用戶(hù)只在8小時(shí)內(nèi)使用該系統(tǒng)。C=4004/8=200C=200+3200=24211并發(fā)是指多個(gè)同時(shí)發(fā)生的操作。比如有10個(gè)用戶(hù)同時(shí)點(diǎn)擊“登錄”按鈕（注意是同時(shí)），來(lái)登錄163郵箱。注意：并發(fā)和并行不是一個(gè)概念，并發(fā)是同時(shí)發(fā)生，

4、并行是同步運(yùn)行。10個(gè)用戶(hù)并發(fā)登錄163郵箱，只是在點(diǎn)擊“登錄”按鈕那一瞬間是并行的，而登錄后各個(gè)用戶(hù)的操作則不同步。 121.2.2 響應(yīng)時(shí)間指的是客戶(hù)端發(fā)出請(qǐng)求到得到響應(yīng)的整個(gè)過(guò)程所經(jīng)歷的時(shí)間。頁(yè)面響應(yīng)時(shí)間網(wǎng)絡(luò)傳輸時(shí)間(N1+N2+N3+N4)+應(yīng)用延遲時(shí)間(A1+A2+A3)分解目的：為了能更好定位性能瓶頸13如何測(cè)試郵箱的登錄響應(yīng)時(shí)間 ？應(yīng)該從按下“登錄”按鈕的那一瞬間開(kāi)始計(jì)時(shí)，到登錄后頁(yè)面完全顯示出來(lái)為止，這才是真正的用戶(hù)登錄時(shí)間，而不包括用戶(hù)輸入用戶(hù)名和密碼的時(shí)間以及思考停頓的時(shí)間 。14合理的響應(yīng)時(shí)間普通的web網(wǎng)站，一個(gè)普遍被接受的響應(yīng)時(shí)間標(biāo)準(zhǔn)為2/5/10秒，在2s之內(nèi)給客戶(hù)

5、響應(yīng)被用戶(hù)認(rèn)為是非常有吸引力的，在5s之內(nèi)響應(yīng)被認(rèn)為是比較不錯(cuò)的，而10s是客戶(hù)能接受的響應(yīng)的上限。一個(gè)稅務(wù)報(bào)帳系統(tǒng)，該系統(tǒng)的用戶(hù)每月使用一次該系統(tǒng)，一次花費(fèi)2hours以上進(jìn)行數(shù)據(jù)錄入，當(dāng)用戶(hù)單擊“提交”按鈕后，即使系統(tǒng)在20m后才給出“處理成功”的消息，用戶(hù)不會(huì)認(rèn)為該系統(tǒng)的響應(yīng)時(shí)間不能接受。合理的響應(yīng)時(shí)間取決于實(shí)際的用戶(hù)需求。151.2.3 吞吐量吞吐量是指單位時(shí)間內(nèi)系統(tǒng)處理的客戶(hù)請(qǐng)求的數(shù)量，直接體現(xiàn)軟件系統(tǒng)的性能承載能力。 一般來(lái)說(shuō)，吞吐量用請(qǐng)求數(shù)/秒或頁(yè)面數(shù)/秒來(lái)衡量，從業(yè)務(wù)的角度，吞吐量也可以用訪問(wèn)人數(shù)/天或處理的業(yè)務(wù)數(shù)/小時(shí)等單位來(lái)衡量。從網(wǎng)絡(luò)的角度來(lái)說(shuō)，也可以用字節(jié)數(shù)/天等單位來(lái)

6、考察網(wǎng)絡(luò)流量。對(duì)于非交互式應(yīng)用，吞吐量描述系統(tǒng)性能更合理。在沒(méi)有遇到性能瓶頸時(shí)：F=(NvuR)/T F：吞吐量；Nvu：虛擬用戶(hù)個(gè)數(shù)；R：每個(gè)VU發(fā)出的請(qǐng)求數(shù)量；T：性能測(cè)試所用的時(shí)間。 16圖. 隨著負(fù)載的增加，系統(tǒng)吞吐量的曲線（單位：頁(yè)面/秒） 17吞吐量是大型門(mén)戶(hù)網(wǎng)站以及各種電子商務(wù)網(wǎng)站衡量自身負(fù)載能力的一個(gè)很重要的指標(biāo)，一般吞吐量越大，系統(tǒng)單位時(shí)間內(nèi)處理的數(shù)據(jù)越多，系統(tǒng)的負(fù)載能力也越強(qiáng)。 吞吐量和很多因素有關(guān)，比如服務(wù)器的硬件配置，網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，軟件的技術(shù)架構(gòu)等。 181.2.4 資源利用率資源利用率是指系統(tǒng)各種資源的使用狀況，比如服務(wù)器的CPU利用率、內(nèi)存利用率、磁盤(pán)利用率、網(wǎng)絡(luò)

7、帶寬利用率等。性能測(cè)試中，用資源利用率進(jìn)行橫向?qū)Ρ取?91.2.5 思考時(shí)間也稱(chēng)休眠時(shí)間，這個(gè)時(shí)間指的是用戶(hù)在進(jìn)行操作時(shí)，每個(gè)請(qǐng)求之間的間隔時(shí)間。體現(xiàn)在自動(dòng)測(cè)試腳本中，在操作之間放置一個(gè)Think函數(shù)。計(jì)算思考時(shí)間的一般步驟：計(jì)算出系統(tǒng)的并發(fā)用戶(hù)數(shù)；統(tǒng)計(jì)出系統(tǒng)平均的吞吐量；統(tǒng)計(jì)出平均每個(gè)用戶(hù)發(fā)出的請(qǐng)求數(shù)量；用RT/Ts計(jì)算出思考時(shí)間Ts。201.3 什么是性能測(cè)試性能測(cè)試主要是通過(guò)自動(dòng)化的測(cè)試工具模擬多種正常、峰值以及異常負(fù)載條件來(lái)對(duì)系統(tǒng)的各項(xiàng)性能指標(biāo)進(jìn)行的一種測(cè)試。 211.4 性能測(cè)試類(lèi)型穩(wěn)定性測(cè)試負(fù)載測(cè)試壓力測(cè)試222. 性能測(cè)試過(guò)程測(cè)試需求分析制定測(cè)試策略制定測(cè)試方案執(zhí)行測(cè)試測(cè)試結(jié)果分

8、析編寫(xiě)測(cè)試報(bào)告232.1 測(cè)試需求分析測(cè)試需求分析主要有以下的幾個(gè)關(guān)鍵點(diǎn)：1）測(cè)試的目的是什么 性能符合性驗(yàn)證：驗(yàn)證是否滿(mǎn)足應(yīng)用的需要。 性能能力驗(yàn)證：確定性能極限、是否存在性能瓶頸。 性能調(diào)優(yōu)：對(duì)系統(tǒng)的性能進(jìn)行調(diào)試、優(yōu)化。242）測(cè)試要素分析 用戶(hù)數(shù)量 測(cè)試執(zhí)行的功能 用戶(hù)分布（即執(zhí)行每種功能的用戶(hù)數(shù)） 硬件環(huán)境（包括網(wǎng)絡(luò)環(huán)境） 軟件環(huán)境 數(shù)據(jù)量3）其它分析 系統(tǒng)運(yùn)行中所出現(xiàn)的問(wèn)題有什么特征或規(guī)律 穩(wěn)定性測(cè)試執(zhí)行時(shí)間多少 性能需求的指標(biāo)是什么等252.2 制定測(cè)試策略測(cè)試目的不同，則相應(yīng)的測(cè)試策略不同。 性能符合性驗(yàn)證負(fù)載測(cè)試 性能能力驗(yàn)證壓力測(cè)試 性能調(diào)優(yōu)測(cè)試-調(diào)整-測(cè)試。負(fù)載測(cè)試、壓力測(cè)

9、試262.3 制定測(cè)試方案測(cè)試需求測(cè)試策略測(cè)試場(chǎng)景的設(shè)計(jì)和設(shè)置，監(jiān)控指標(biāo)的設(shè)定測(cè)試環(huán)境測(cè)試準(zhǔn)備人員及時(shí)間安排問(wèn)題與對(duì)策272.4 執(zhí)行測(cè)試搭建測(cè)試環(huán)境錄制腳本、編輯腳本布置測(cè)試場(chǎng)景執(zhí)行測(cè)試場(chǎng)景282.5 測(cè)試結(jié)果分析(1)性能符合性驗(yàn)證：查看測(cè)試結(jié)果是否滿(mǎn)足要求，比如響應(yīng)時(shí)間、資源利用率、吞吐量等等。性能能力驗(yàn)證：查看測(cè)試結(jié)果是否滿(mǎn)足要求，記錄軟件系統(tǒng)的性能變化曲線。 對(duì)于確定是否存在性能瓶頸，首先判斷是否存在硬件（包括網(wǎng)絡(luò)）瓶頸問(wèn)題，若不存在硬件瓶頸問(wèn)題，則按照應(yīng)用軟件到系統(tǒng)軟件（應(yīng)用服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器、操作系統(tǒng)）的順序進(jìn)行分析，確定瓶頸點(diǎn)。性能調(diào)優(yōu)：同性能能力驗(yàn)證確定性能瓶頸分析方法。2

10、92.5 測(cè)試結(jié)果分析(2)硬件瓶頸分析方法 內(nèi)存分析方法 處理器分析方法 磁盤(pán)I/O分析方法 網(wǎng)絡(luò)分析方法302.6 編寫(xiě)測(cè)試報(bào)告測(cè)試指標(biāo)：描述與測(cè)試場(chǎng)景對(duì)應(yīng)的事務(wù)平均響應(yīng)時(shí)間、事務(wù)吞吐率、資源消耗指標(biāo)、運(yùn)行的用戶(hù)數(shù)等信息。結(jié)果分析與總結(jié)：根據(jù)測(cè)試目標(biāo)，描述最后分析得到的結(jié)果，并給出相應(yīng)的建議。313. 性能測(cè)試工具介紹 常見(jiàn)性能測(cè)試工具介紹 性能測(cè)試工具的選擇323.1 常見(jiàn)性能測(cè)試工具CompuWare 公司的QALoad；Mercury Interactive公司的LoadRunner；Microsoft公司的WAS ；RadView公司的WebLoad ；IBM公司的RPT ；開(kāi)源工

11、具：OPENSTA等。33QALoad1、簡(jiǎn)介 QALoad模擬成百上千的用戶(hù)并發(fā)執(zhí)行關(guān)鍵業(yè)務(wù)而完成對(duì)應(yīng)用程序的測(cè)試，并針對(duì)所發(fā)現(xiàn)問(wèn)題對(duì)系統(tǒng)性能進(jìn)行優(yōu)化，確保應(yīng)用的成功部署。 QALoad不單單測(cè)試WEB應(yīng)用，還可以測(cè)試一些后臺(tái)的東西，比如SQL Server等，只要是它支持的協(xié)議，都可以測(cè)試。 2、特征1）自動(dòng)捕獲實(shí)際執(zhí)行過(guò)程，自動(dòng)生成測(cè)試腳本； 2）通過(guò)控制臺(tái)控制各個(gè)Agent，進(jìn)行腳本分配； 3）應(yīng)用廣泛，支持多種協(xié)議，如DB2、ODBC、WWW、Winsock等等。34WAS、簡(jiǎn)介：WAS-Web Application Stress是由微軟的網(wǎng)站測(cè)試人員所開(kāi)發(fā)，專(zhuān)門(mén)用來(lái)進(jìn)行實(shí)際網(wǎng)站壓

12、力測(cè)試的一套工具。透過(guò)這套功能強(qiáng)大的壓力測(cè)試工具，可以使用少量的Client端計(jì)算機(jī)仿真大量用戶(hù)上線。、特征：1）可以數(shù)種不同的方式建立測(cè)試指令：包含以手動(dòng)、錄制瀏覽器操作步驟、或直接錄入網(wǎng)站的內(nèi)容及錄入其它測(cè)試程序的指令等方式；2）支持多種客戶(hù)端接口； 3）支持多用戶(hù)：利用多種不同的認(rèn)證方式仿真實(shí)際的情況。 35WebLoad、簡(jiǎn)介：WebLoad是RadView公司推出的一個(gè)性能測(cè)試和分析工具,它讓web應(yīng)用程序開(kāi)發(fā)者自動(dòng)執(zhí)行壓力測(cè)試;WebLoad通過(guò)模擬真實(shí)用戶(hù)的操作,生成壓力負(fù)載來(lái)測(cè)試web的性能。、特征：）用戶(hù)創(chuàng)建的是基于javascript的測(cè)試腳本,稱(chēng)為議程agenda,用它來(lái)

13、模擬客戶(hù)的行為,通過(guò)執(zhí)行該腳本來(lái)衡量web應(yīng)用程序在真實(shí)環(huán)境下的性能。）如有需要可以在做負(fù)載測(cè)試的同時(shí)，使用服務(wù)器監(jiān)控工具對(duì)服務(wù)器端的內(nèi)容進(jìn)行記錄使負(fù)載測(cè)試更加全面。36RPT1、簡(jiǎn)介RPT-Rational Performance Tester是IBM基于Eclipse平臺(tái)開(kāi)發(fā)出來(lái)的最新性能測(cè)試解決方案。它可以有效地幫助測(cè)試人員和性能工程師驗(yàn)證系統(tǒng)的性能，識(shí)別和解決各種性能問(wèn)題。2、特征 在為性能測(cè)試員和性能優(yōu)化人員提供了前面所提到的各種性能測(cè)試能力以外，它還提供了可視化編輯器，一方面可以使新的測(cè)試人員可以在無(wú)需培訓(xùn)和編程的情況下，即可快速上手完成性能測(cè)試；另一方面，也為需要高級(jí)分析和自定義

14、選項(xiàng)的專(zhuān)家級(jí)測(cè)試人員，提供了對(duì)豐富的測(cè)試信息的訪問(wèn)和定制能力、自動(dòng)檢測(cè)和處理可變數(shù)據(jù)的能力。37OPENSTA1、簡(jiǎn)介OpenSTA- Open System Testing Architecture是專(zhuān)用于B/S結(jié)構(gòu)的性能測(cè)試工具，可以模擬很多用戶(hù)來(lái)訪問(wèn)需要測(cè)試的網(wǎng)站，它是一個(gè)功能強(qiáng)大、自定義設(shè)置功能完備的軟件。2、特征1）免費(fèi)、源代碼開(kāi)放；2）自定義功能設(shè)置大部分需要通過(guò)Script來(lái)完成，因此，在真正的使用這個(gè)軟件之前，必須學(xué)習(xí)好它的Script編寫(xiě)。383.2 性能測(cè)試工具的選擇 創(chuàng)建還是購(gòu)買(mǎi) 如何選擇一種商業(yè)工具393.2.1 創(chuàng)建還是購(gòu)買(mǎi)創(chuàng) 建購(gòu) 買(mǎi)能夠開(kāi)發(fā)出最適合應(yīng)用的測(cè)試工具依

15、賴(lài)于工具本身提供的特性，較難擴(kuò)展易于學(xué)習(xí)和使用依賴(lài)于工具的易用性和所提供的文檔工具的穩(wěn)定性和可靠性不足穩(wěn)定性和可靠性?xún)?yōu)一定保證可形成組織特有的測(cè)試工具體系很難與其他產(chǎn)品集成403.2.2 如何選擇一種商業(yè)工具需要注意的幾點(diǎn)：工具是否支持被測(cè)系統(tǒng)運(yùn)行的平臺(tái)（軟硬件環(huán)境、數(shù)據(jù)庫(kù)環(huán)境）；工具能否支持被測(cè)系統(tǒng)使用的協(xié)議；工具是否能夠支持我們的特殊要求，如防火墻、負(fù)載均衡等；工具是否能夠提供對(duì)我們關(guān)心的服務(wù)器類(lèi)型計(jì)數(shù)器的監(jiān)控；工具的價(jià)格。413.3 性能測(cè)試舉例(1)某網(wǎng)站測(cè)試需求 可以支持100個(gè)并發(fā)用戶(hù)執(zhí)行各種查詢(xún)操作，要求各查詢(xún)操作的響應(yīng)時(shí)間在5秒以?xún)?nèi)，服務(wù)器CPU利用率在80%以下。423.3

16、性能測(cè)試舉例(2)性能需求分析 測(cè)試目的：驗(yàn)證是否滿(mǎn)足應(yīng)用要求（性能符合性驗(yàn)證）。 測(cè)試要素： 并發(fā)用戶(hù)數(shù)-100。 測(cè)試功能-儀器信息與使用預(yù)約、大型精密儀器機(jī)組查詢(xún)、交流平臺(tái)搜索、會(huì)展信息搜索。 用戶(hù)分布-平均分配。 數(shù)據(jù)量、軟件、硬件環(huán)境委托方負(fù)責(zé)準(zhǔn)備。 433.3 性能測(cè)試舉例(3)測(cè)試策略 負(fù)載測(cè)試單項(xiàng)業(yè)務(wù)模式、混合業(yè)務(wù)模式。 說(shuō)明：混合業(yè)務(wù)模式和實(shí)際應(yīng)用是非常接近的，需要進(jìn)行測(cè)試。 對(duì)于單獨(dú)業(yè)務(wù)模式，雖然實(shí)際情況中很難出現(xiàn)，但這是一種極限的情況，也應(yīng)該把這種情況下的測(cè)試結(jié)果呈現(xiàn)給用戶(hù)。443.3 性能測(cè)試舉例(4)測(cè)試場(chǎng)景 場(chǎng)景1：100個(gè)用戶(hù)同時(shí)執(zhí)行儀器信息與使用預(yù)約操作。 場(chǎng)景2：100個(gè)用戶(hù)同時(shí)執(zhí)行大型精密儀器機(jī)組查詢(xún)操作。 場(chǎng)景3：100個(gè)用戶(hù)同時(shí)執(zhí)行交流平臺(tái)搜索操作。 場(chǎng)景4：100個(gè)用戶(hù)同時(shí)執(zhí)行會(huì)展信息搜索操作。 場(chǎng)景5：100個(gè)用戶(hù)同時(shí)執(zhí)