性能測試的概念與分析

1、軟件性能測試軟件性能測試的目的： 通過測試確認軟件是否滿足產(chǎn)品的性能需求，同時發(fā)現(xiàn)系統(tǒng)中存在的性能瓶頸，起到優(yōu)化系統(tǒng)的目的。 軟件性能測試的基本概念： 軟件性能測試是在交替進行負載和強迫測試時常用的術語。理想的“軟件性能測試”(和其他類型的測試)應在需求文檔或質(zhì)量保證、測試計劃中定義。軟件性能測試一般包括負載測試和軟件壓力測試。 通常驗證軟件的性能在正常環(huán)境和系統(tǒng)條件下重復使用是否還能滿足性能指標。軟件性能測試的幾種方法和工具：1. 負載測試計劃過程 目標：產(chǎn)生一個清晰、好理解、可驗證的負載測試計劃 內(nèi)容：關注6個區(qū)域：目標、用戶、用例、生產(chǎn)環(huán)境、測試環(huán)境、測試場景 工具：IBM、HP、Ope

2、nSource工具都支持。有相關文檔配合 2. RBI方法 目標：快速識別性能瓶頸 內(nèi)容：重點測試“吞吐量”指標，因為RBI認定80%的系統(tǒng)性能瓶頸由吞吐量造成。 按照網(wǎng)絡、硬件、數(shù)據(jù)庫、應用服務器、代碼的順序自上而下分析性能 工具：IBM、HP Loadrunner、OpenSource工具都支持。需使用分析模塊、根據(jù)Weblogic、Oracle區(qū)別有專門的工具實現(xiàn)RBI。 3. 性能下降曲線分析法 目標：性能隨著用戶數(shù)的增加而出現(xiàn)下降趨勢的曲線分析、查看性能下降的環(huán)境點與上下文。確定性能閥值。 內(nèi)容：通過單用戶區(qū)域、性能平坦區(qū)域、壓力區(qū)域、性能拐點進行監(jiān)控和分析。 工具：IBM、HP、O

3、penSource工具都支持。IBM報表功能更強。 4. HP(LoadRunner)性能分析法 特點：側重于該廠商的性能分析方法、主要體現(xiàn)在需求收集、VU腳本。 軟件性能測試的幾個階段： 對于互聯(lián)網(wǎng)應用軟件，性能是其質(zhì)量的一個非常重要的組成部分。作為解決軟件性能問題的重要手段，軟件軟件性能測試已經(jīng)廣為人們所熟悉，并受到很高的關注。一般而言，軟件性能測試都是在項目的后期才開展，被測試的對象通常是已經(jīng)具備一定穩(wěn)定性的產(chǎn)品。而實際上，軟件性能測試應貫穿于整個軟件生命周期中，和功能測試一樣，軟件性能測試也分為幾個階段。 軟件生命周期與軟件性能測試 不論哪種軟件生命周期模型，需求分析、設計、編碼、測試

4、和運行維護這幾個階段都是其中的基本要素，只是在不同的軟件生命周期模型中可能迭代、合并、拆分或重組這幾個階段，在此不做過多的描述。與其他幾個階段相對應，測試從軟件開發(fā)過程按階段可以劃分為：單元測試、集成測試、系統(tǒng)測試，在其他的書上可能還能見到諸如確認測試、驗收測試等名詞，但是前3種測試確實是最基本的測試活動，而其他的測試活動只是在某些軟件開發(fā)過程中會發(fā)生。 值得注意的是，通常在談論單元測試、集成測試和系統(tǒng)測試時，其實僅僅談論的是不同階段的功能測試;而當討論軟件性能測試時，絕大多數(shù)的情況是，一個已經(jīng)開發(fā)完畢或基本開發(fā)完畢的軟件，測試人員用一種或幾種軟件性能測試工具，以盡量模擬真實用戶行為的方式對該

5、軟件進行并發(fā)操作，收集并比較不同場景的結果，然后對軟件的性能進行分析，這個活動通常發(fā)生在系統(tǒng)測試階段，甚至更往后的階段，如運行維護階段。 軟件性能測試的幾個術語 1. 響應時間 “響應時間”的概念確定為“對請求作出響應所需要的時間”，把響應時間作為用戶視角的軟件性能的主要體現(xiàn)。響應時間劃分為“呈現(xiàn)時間”和“系統(tǒng)響應時間”兩個部分。 其中“呈現(xiàn)時間”取決于數(shù)據(jù)在被客戶端收到響應數(shù)據(jù)后呈現(xiàn)頁面所消耗的時間、而“響應時間”指應用服務器從請求發(fā)出開始到客戶端接受到數(shù)據(jù)所消耗的時間。軟件性能測試一般不關注“呈現(xiàn)時間”，因為呈現(xiàn)時間很大程度上取決于客戶端的表現(xiàn)。在這里我們沒有使用很多軟件性能測試定義中的概

6、念“系統(tǒng)響應時間”定義為“應用系統(tǒng)從請求發(fā)出開始到客戶端接收到最后一個字節(jié)數(shù)據(jù)所消耗的時間”，沒有使用這種標準的原因是，可以使用一些編程技巧在數(shù)據(jù)尚未完全接收完成時進行呈現(xiàn)來減少用戶感受到的響應時間。 2. 并發(fā) “并發(fā)”是指所有用戶在同一時刻做同一件事或操作，這種操作一般針對同一類型的業(yè)務。3. 并發(fā)用戶數(shù) “并發(fā)用戶數(shù)”與“同時在線數(shù)”進行區(qū)別對待，“并發(fā)用戶數(shù)”的標準是：在同一時刻與服務器進行交互的在線用戶數(shù)量。因此，在確定這個“并發(fā)用戶數(shù)”前，必須(必要)先對用戶的業(yè)務進行分解、分析出典型的業(yè)務場景(也就是用戶最常使用、最關注的業(yè)務操作)，然后基于場景采用某些方法(比如當前系統(tǒng)的注冊用

7、戶，活躍用戶等)獲得“并發(fā)用戶數(shù)”。 4. 吞吐量 吞吐量定義為“單位時間內(nèi)系統(tǒng)處理的客戶請求的數(shù)量”，直接體現(xiàn)軟件系統(tǒng)的性能承載能力，對于交互式應用系統(tǒng)來說、吞吐量反映的是服務器承受的壓力、在容量規(guī)劃的測試中、吞吐量是一個重要指標、它不但反映在中間件、數(shù)據(jù)庫上、更加體現(xiàn)在硬件上。 5. 性能計數(shù)器 性能計數(shù)器式描述服務器或操作系統(tǒng)性能的一些數(shù)據(jù)指標、例如對WINDOWS來說使用內(nèi)存數(shù)、CPU使用率、進程時間等都是常見的計數(shù)器。 6. 思考時間 思考時間確定為“休眠時間”。從業(yè)務系統(tǒng)的角度來說，這個時間指的是用戶在驚醒操作時、每個請求之間的時間間隔、從自動化測試的角度來說、要真實的測試模擬用戶

8、操作、就必須在測試腳本中讓各個操作之間等待一段時間、體現(xiàn)在腳本上就是在操作之間放置一個Think的函數(shù)，體現(xiàn)為腳本中兩個請求語句之間的間隔時間。 7. 點擊率每秒鐘用戶向Web服務器提交的HTTP請求書。這個指標是Web應用特有的一個指標：Web應用是“請求-響應”模式，用戶發(fā)出一次申請，服務器就要處理一次，所以“點擊”是Web應用能夠處理交易的最小單位。如果把每次點擊定義為一次交易，點擊率和TPS就是一個概念。不難看出，點擊率越大，對服務器的壓力也越大。點擊率只是一個性能參考指標，重要的是分析點擊時產(chǎn)生的影響。需要注意的是，這里的點擊不是指鼠標的一次“單擊”操作，而是在一次“單擊”操作中，客

9、戶端可能向服務器發(fā)出多個HTTP請求數(shù)。 8. 資源利用率資源利用率指的是對不同系統(tǒng)資源的使用程度，例如服務器的CPU利用率、磁盤利用率等。資源利用率是分析系統(tǒng)性能指標而改善性能的主要依據(jù)，因此，它是Web性能測試工作的重點。資源利用率主要針對Web服務器、操作系統(tǒng)、數(shù)據(jù)庫服務器、網(wǎng)絡等，是測試和分析瓶頸的主要參數(shù)。在性能測試中，要根據(jù)需求采集具體的資源利用率參數(shù)來進行分析。軟件性能測試注意要點： 1、軟件性能測試是在功能測試完成或者在確保功能流程沒有問題之后進行 2、軟件性能測試計劃、方案一般與測試用例統(tǒng)一在一個文檔里 3、測試環(huán)境應盡量與用戶環(huán)境保持一致，并且性能測試的環(huán)境應單獨運行且避免

10、與其他軟件同時使用4、軟件性能測試一般使用測試工具和測試人員編制測試腳本來完成 5、軟件性能測試的重點在于前期數(shù)據(jù)的設計與后期數(shù)據(jù)的分析6、軟件性能測試是測試，開發(fā)，產(chǎn)品等多個角色的共同進行的 Loadrunner性能指標分析：1、軟件性能測試的指標：服務器的各項指標(CPU使用率、內(nèi)存占用率、硬盤占用率等)、后臺數(shù)據(jù)庫的各項指標和軟件的響應時間： (1) 操作系統(tǒng)有關的指標：CPU平均利用率、內(nèi)存平均占用率、硬盤占用率、I/O數(shù)量、網(wǎng)絡時延 (2) 數(shù)據(jù)庫有關的指標：I/Owait、Mem平均使用率、cpu平均使用率、在一次I/O操作中所讀的最大BLOCKS數(shù)、Log的增長情況、數(shù)據(jù)庫的訪問

11、速度、數(shù)據(jù)庫能支持的最大用戶數(shù)、數(shù)據(jù)庫CACHE命中率、不同數(shù)據(jù)庫參數(shù)下的性能情況、鎖的處理 (3) 軟件有關的指標：平均響應時間(從接收請求到回復響應的時間)、每秒交易數(shù)量(單位時間里的執(zhí)行次數(shù))、對中間件功能的調(diào)用、遠程處理延遲 用戶事務分析是站在用戶角度進行的基礎性能分析。1、Transation Sunmmary（事務綜述）對事務進行綜合分析是性能分析的第一步，通過分析 時間內(nèi)用戶事務的成功與失敗情況，可以直接判斷出系統(tǒng)是否運行正常。2、Average TransacitonResponse Time（事務平均響應時間）“事務平均響應時間”顯示的是測試場景運行期間的每一秒內(nèi)事務執(zhí)行所用

12、的平均時間，通過它可以分析測試場景運行期間應用系統(tǒng)的性能走向。例：隨著測試時間的變化，系統(tǒng)處理事務的速度開始逐漸變慢，這說明應用系統(tǒng)隨著投產(chǎn)時間的變化，整體性能將會有下降的趨勢。3、Transactions per Second（每秒通過事務數(shù)/TPS）“每秒通過事務數(shù)/TPS”顯示在場景運行的每一秒鐘，每個事務通過、失敗以及停止的數(shù)量，使考查系統(tǒng)性能的一個重要參數(shù)。通過它可以確定系統(tǒng)在任何給定時刻的時間事務負載。分析TPS主要是看曲線的性能走向。將它與平均事務響應時間進行對比，可以分析事務數(shù)目對執(zhí)行時間的影響。例：當壓力加大時，點擊率/TPS曲線如果變化緩慢或者有平坦的趨勢，很有可能是服務器

13、開始出現(xiàn)瓶頸。4、Total Transactions perSecond（每秒通過事務總數(shù)）“每秒通過事務總數(shù)”顯示在場景運行時，在每一秒內(nèi)通過的事務總數(shù)、失敗的事務總署以及停止的事務總數(shù)。5、Transaction PerformanceSunmmary（事務性能摘要）“事務性能摘要”顯示方案中所有事務的最小、最大和平均執(zhí)行時間，可以直接判斷響應時間是否符合用戶的要求。重點關注事務的平均和最大執(zhí)行時間，如果其范圍不在用戶可以接受的時間范圍內(nèi)，需要進行原因分析。6、Transaction Response TimeUnder Load（事務響應時間與負載）“事務響應時間與負載”是“正在運行的

14、虛擬用戶”圖和“平均響應事務時間”圖的組合，通過它可以看出在任一時間點事務響應時間與用戶數(shù)目的關系，從而掌握系統(tǒng)在用戶并發(fā)方面的性能數(shù)據(jù)，為擴展用戶系統(tǒng)提供參考。此圖可以查看虛擬用戶負載對執(zhí)行時間的總體影響，對分析具有漸變負載的測試場景比較有用。7、Transaction ResponseTime(Percentile)（事務響應時間(百分比)）“事務響應時間(百分比)”是根據(jù)測試結果進行分析而得到的綜合分析圖，也就是工具通過一些統(tǒng)計分析方法間接得到的圖表。通過它可以分析在給定事務響應時間范圍內(nèi)能執(zhí)行的事務百分比。8、Transaction ResponseTime(Distribution)

15、（事務響應時間(分布)）“事務響應時間(分布)”顯示在場景運行過程中，事務執(zhí)行所用時間的分布，通過它可以了解測試過程中不同響應時間的事務數(shù)量。如果系統(tǒng)預先定義了相關事務可以接受的最小和最大事務響應時間，則可以使用此圖確定服務器性能是否在可以接受的范圍內(nèi)。 WebResources（Web資源分析）Web資源分析是從服務器入手對Web服務器的性能分析。1、Hits per Second（每秒點擊次數(shù)）“每秒點擊次數(shù)”，即使運行場景過程中虛擬用戶每秒向Web服務器提交的HTTP請求數(shù)。通過它可以評估虛擬用戶產(chǎn)生的負載量，如將其和“平均事務響應時間”圖比較，可以查看點擊次數(shù)對事務性能產(chǎn)生的

16、影響。通過對查看“每秒點擊次數(shù)”，可以判斷系統(tǒng)是否穩(wěn)定。系統(tǒng)點擊率下降通常表明服務器的響應速度在變慢，需進一步分析，發(fā)現(xiàn)系統(tǒng)瓶頸所在。2、Throughput（吞吐率）“吞吐率”顯示的是場景運行過程中服務器的每秒的吞吐量。其度量單位是字節(jié)，表示虛擬用在任何給定的每一秒從服務器獲得的數(shù)據(jù)量?？梢砸罁?jù)服務器的吞吐量來評估虛擬用戶產(chǎn)生的負載量，以及看出服務器在流量方面的處理能力以及是否存在瓶頸。“吞吐率”圖和“點擊率”圖的區(qū)別：“點擊率”圖，是每秒服務器處理的HTTP申請數(shù)。“吞吐率”圖，是客戶端每秒從服務器獲得的總數(shù)據(jù)量。3、HTTP Status Code Summary（HTTP狀態(tài)代碼概要）

17、“HTTP狀態(tài)代碼概要”顯示場景或會話步驟過程中從Web服務器返回的HTTP狀態(tài)代碼數(shù)，該圖按照代碼分組。HTTP狀態(tài)代碼表示HTTP請求的狀態(tài)。4、HTTP Responses per Second（每秒HTTP響應數(shù)）“每秒HTTP響應數(shù)”是顯示運行場景過程中每秒從Web服務器返回的不同HTTP狀態(tài)代碼的數(shù)量，還能返回各類狀態(tài)碼的信息，通過分析狀態(tài)碼，可以判斷服務器在壓力下的運行情況，也可以通過對圖中顯示的結果進行分組，進而定位生成錯誤的代碼腳本。5、Pages Downloader perSecond（每秒下載頁面數(shù)）“每秒下載頁面數(shù)”顯示場景或會話步驟運行的每一秒內(nèi)從服務器下載的網(wǎng)頁數(shù)

18、。使用此圖可依據(jù)下載的頁數(shù)來計算Vuser生成的負載量。和吞吐量圖一樣，每秒下載頁面數(shù)圖標是Vuser在給定的任一秒內(nèi)從服務器接收到的數(shù)據(jù)量。但是吞吐量考慮的各個資源極其大?。ɡ總€GIF文件的大小、每個網(wǎng)頁的大?。┒棵胂螺d頁面數(shù)只考慮頁面數(shù)。注：要查看每秒下載頁數(shù)圖，必須在R-T-S那里設置“每秒頁面數(shù)(僅HTML模式)”。6、Retries per Second（每秒重試次數(shù)）“每秒重試次數(shù)”顯示場景或會話步驟運行的每一秒內(nèi)服務器嘗試的連接次數(shù)。在下列情況將重試服務器連接：A、初始連接未經(jīng)授權B、要求代理服務器身份驗證C、服務器關閉了初始連接D、初始連接無法連接到服務器E、服務器最初無

19、法解析負載生成器的IP地址7、Retries Summary（重試次數(shù)概要）“重試次數(shù)概要”顯示場景或會話步驟運行過程中服務器嘗試的連接次數(shù)，它按照重試原因分組。將此圖與每秒重試次數(shù)圖一起使用可以確定場景或會話步驟運行過程中服務器在哪個時間點進行了重試。8、Connections（連接數(shù)）“連接數(shù)”顯示場景或會話步驟運行過程中每個時間點打開的TCP/IP連接數(shù)。借助此圖，可以知道何時需要添加  連接。例：當連接數(shù)到達穩(wěn)定狀態(tài)而事務響應時間迅速增大時，添加連接可以使性能得到極大提高（事務響應時間將降低）。9、Connections Per Second（每秒連接數(shù)）“每秒連接數(shù)”顯示方

20、案在運行過程中每秒建立的TCP/IP連接數(shù)。理想情況下，很多HTTP請求都應該使用同一連接，而不是每個請求都新打開一個連接。通過每秒連接數(shù)圖可以看出服務器的處理情況，就表明服務器的性能在逐漸下降。10、SSLs Per Second（每秒SSL連接數(shù)）“每秒SSL連接數(shù)”顯示場景或會話步驟運行的每一秒內(nèi)打開的新的以及重新使用的SSL連接數(shù)。當對安全服務器打開TCP/IP連接后，瀏覽器將打開SSL連接。Web Page Breakdown（網(wǎng)頁元素細分）“網(wǎng)頁元素細分”主要用來評估頁面內(nèi)容是否影響事務的響應時間，通過它可以深入地分析網(wǎng)站上那些下載很慢的圖形或中斷的連接等有問題的元素。1、Web

21、Page Breakdown（頁面分解總圖）“頁面分解”顯示某一具體事務在測試過程的響應情況，進而分析相關的事務運行是否正常?！绊撁娣纸狻眻D可以按下面四種方式進行進一步細分：1)、DownloadTime Breaddown（下載時間細分）“下載時間細分”圖顯示網(wǎng)頁中不同元素的下載時間，同時還可按照下載過程把時間進行分解，用不同的顏色來顯示DNS解析時間、建立連接時間、第一次緩沖時間等各自所占比例。2)、ComponentBreakdown(Over Time)（組件細分(隨時間變化)）“組件細分”圖顯示選定網(wǎng)頁的頁面組件隨時間變化的細分圖。通過該圖可以很容易的看出哪些元素在測試過程中下載時間

22、不穩(wěn)定。該圖特別適用于需要在客戶端下載控件較多的頁面，通過分析控件的響應時間，很容易就能發(fā)現(xiàn)那些控件不穩(wěn)定或者比較耗時。3)、DownloadTime Breakdown(Over Time)（下載時間細分(隨時間變化)）“下載時間細分(隨時間變化)” 圖顯示選定網(wǎng)頁的頁面元素下載時間細分（隨時間變化）情況，它非常清晰地顯示了頁面各個元素在壓力測試過程中的下載情況?！跋螺d時間細分”圖顯示的是整個測試過程頁面元素響應的時間統(tǒng)計分析結果，“下載時間細分(隨時間變化)”顯示的事場景運行過程中每一秒內(nèi)頁面元素響應時間的統(tǒng)計結果，兩者分別從宏觀和微觀角度來分析頁面元素的下載時間。4)、Timeto Fi

23、rst Buffer Breakdown(Over Time)（第一次緩沖時間細分(隨時間變化)）“第一次緩沖時間細分(隨時間變化)”圖顯示成功收到從Web服務器返回的第一次緩沖之前的這段時間，場景或會話步驟運行的每一秒中每個網(wǎng)頁組件的服務器時間和網(wǎng)絡時間（以秒為單位）?？梢允褂迷搱D確定場景或會話步驟運行期間服務器或網(wǎng)絡出現(xiàn)問題的時間。First Buffer Time：是指客戶端與服務器端建立連接后，從服務器發(fā)送第一個數(shù)據(jù)包開始計時，數(shù)據(jù)經(jīng)過網(wǎng)絡傳送到客戶端，到瀏覽器接收到第一個緩沖所用的時間。2、Page Component Breakdown（頁面組件細分）“頁面組件細分”圖顯示每個網(wǎng)頁及其組件的平均下載時間（以秒為單位）?？梢愿鶕?jù)下載組件所用的平均秒數(shù)對圖列進行排序，通過它有助于隔離有問題的組件。3、Page ComponentBreakdown(Over Time)（頁面組件分解(隨時間變化)）“頁面組件分解(隨時間變化)”圖顯示在方案運行期間的每一秒內(nèi)每個網(wǎng)頁及其組件的平均響應時間 （以秒為單位）。4、Page Download TimeBreakdown（頁面下載時間細分）“頁面下載時間細分”圖顯示每個頁面組件下載時間的細分，可以根據(jù)它確定在網(wǎng)頁下載期間事務響應時間緩慢是由網(wǎng)絡錯誤引起還是由服務器錯誤