性能測(cè)試規(guī)范

1、神州數(shù)碼系統(tǒng)集成服務(wù)有限公司性能測(cè)試規(guī)范2018 年 10 月目錄1 概述 31.1 編寫目的 31.2 適用范圍 32 性能測(cè)試指標(biāo) 32.1 響應(yīng)時(shí)間 32.1.1 定義 32.1.2 測(cè)試方法 42.1.3 分析評(píng)估 52.2 TPS (QPS)、并發(fā)用戶數(shù) 72.2.1 定義 72.2.2 測(cè)試方法 72.2.3 分析評(píng)估 82.3 請(qǐng)求成功率 92.3.1 定義 92.3.2 測(cè)試方法 92.3.3 分析評(píng)估 92.4 CPU 使用率、內(nèi)存使用率、IO WAIT 92.4.1 定義 92.4.2 測(cè)試方法 102.4.3 分析評(píng)估 112.5 GC 112.6 進(jìn)程級(jí)別的資源占用 1

2、11 概述1.1 編寫目的本文檔在對(duì)性能指標(biāo)的概念、測(cè)試及分析方法、評(píng)判標(biāo)準(zhǔn)以及工具的使用進(jìn)行說(shuō)明，旨在指導(dǎo)性能測(cè)試工程師更好的理解各個(gè)性能指標(biāo)，并對(duì)系統(tǒng)的性能質(zhì)量做出準(zhǔn)確的評(píng)價(jià)和分析。1.2 適用范圍本規(guī)范適用范圍：性能測(cè)試、性能調(diào)優(yōu)和性能驗(yàn)收活動(dòng)。2 性能測(cè)試指標(biāo)2.1 響應(yīng)時(shí)間2.1.1 定義響應(yīng)時(shí)間通常是指客戶發(fā)出請(qǐng)求到得到響應(yīng)的整個(gè)過(guò)程所耗費(fèi)的時(shí)間，通常被定義TTLB( Timeto Laster Byte )，代表從發(fā)起一個(gè)請(qǐng)求開始，到客戶端收到響應(yīng)的最后一個(gè)字節(jié)所耗費(fèi)的時(shí)間。響應(yīng)時(shí)間根據(jù)所耗費(fèi)的時(shí)間段可以做細(xì)致的拆解，我們可以把它拆解為三部分，系統(tǒng)處理時(shí)間、數(shù)據(jù)傳輸時(shí)間、呈現(xiàn)時(shí)間

3、(Web 頁(yè)面特有，接口類請(qǐng)求無(wú)呈現(xiàn)時(shí)間)，每個(gè)部分的時(shí)間消耗影響的因素有所不同。呈現(xiàn)時(shí)間：主要是瀏覽器對(duì)接收到的數(shù)據(jù)渲染展示的過(guò)程，呈現(xiàn)時(shí)間不止于瀏覽器有關(guān)，和操作系統(tǒng)、電腦的硬件配置也有關(guān)系。數(shù)據(jù)傳輸時(shí)間：請(qǐng)求、響應(yīng)數(shù)據(jù)在網(wǎng)絡(luò)中傳輸消耗的時(shí)間，和網(wǎng)絡(luò)的時(shí)延、帶寬有關(guān)系。系統(tǒng)處理時(shí)間：系統(tǒng)接收到請(qǐng)求后，對(duì)請(qǐng)求處理，并將結(jié)果返回的時(shí)間，和系統(tǒng)服務(wù)器的軟硬件配置有關(guān)系。2.1.2 測(cè)試方法一、測(cè)試前提1) 前提一：性能測(cè)試中響應(yīng)時(shí)間的測(cè)試，需要保持一個(gè)穩(wěn)定的網(wǎng)絡(luò)環(huán)境。不建議在辦公網(wǎng)絡(luò)中搭建 “施壓設(shè)備”，不穩(wěn)定的辦公網(wǎng)絡(luò)環(huán)境會(huì)影響對(duì)測(cè)試結(jié)果的評(píng)判。建議在以下兩種環(huán)境下測(cè)試：施壓設(shè)備與被測(cè)系統(tǒng)在同

4、一局域網(wǎng)中，更能夠排除網(wǎng)絡(luò)情況對(duì)響應(yīng)時(shí)間的影響，能夠更準(zhǔn)確的衡量“系統(tǒng)處理時(shí)間”。施壓設(shè)備和被測(cè)系統(tǒng)在不同的機(jī)房環(huán)境中通過(guò)公網(wǎng)測(cè)試，這種場(chǎng)景更能準(zhǔn)確的模擬并評(píng)估系統(tǒng)在生產(chǎn)環(huán)境中的表現(xiàn)。測(cè)試工程師可以根據(jù)測(cè)試的目的，選擇后兩種環(huán)境進(jìn)行測(cè)試。2) 前提二：確定一定的并發(fā)量來(lái)測(cè)試響應(yīng)時(shí)間最優(yōu)并發(fā)用戶場(chǎng)景、最高并發(fā)用戶場(chǎng)景兩種場(chǎng)景測(cè)試，響應(yīng)時(shí)間的表現(xiàn)是不同的，最高并發(fā)場(chǎng)景的響應(yīng)時(shí)間將會(huì)比最優(yōu)并發(fā)的響應(yīng)時(shí)間大得多，測(cè)試前我們需要確定我們測(cè)試的場(chǎng)景是最優(yōu)并發(fā)還是最高并發(fā)。二、測(cè)試步驟1) 找到最高的吞吐量(TPS) 。測(cè)試前確定一個(gè)響應(yīng)時(shí)間的標(biāo)準(zhǔn)(如：小于100ms )，然后進(jìn)行基準(zhǔn)測(cè)試，通過(guò)虛擬并發(fā)用戶

5、數(shù)為1的方式測(cè)試，記錄測(cè)試的TPS、響應(yīng)時(shí)間測(cè)試結(jié)果，將該響應(yīng)時(shí)間與標(biāo)準(zhǔn)比較， 若大于標(biāo)準(zhǔn)響應(yīng)時(shí)間，那么則說(shuō)明系統(tǒng)有問(wèn)題無(wú)法滿足標(biāo)準(zhǔn)，若該響應(yīng)時(shí)間小于標(biāo)準(zhǔn)時(shí)間，則繼續(xù)下面的測(cè)試。通過(guò)壓力測(cè)試找到最大的吞吐量：在基準(zhǔn)測(cè)試響應(yīng)時(shí)間的限制下，找到系統(tǒng)最大的吞吐量( TPS )，該狀況下響應(yīng)時(shí)間滿足要求、吞吐量最大，可確定為“最佳并發(fā)用戶數(shù)”。方法是按照一定的步長(zhǎng)，不斷增加虛擬并發(fā)用戶數(shù)，直至響應(yīng)時(shí)間超過(guò)限制、吞吐量不在增長(zhǎng)、任意節(jié)點(diǎn)資源使用率超過(guò)要求(如：70% )。2) 負(fù)載測(cè)試：保持最大吞吐量，執(zhí)行負(fù)載測(cè)試，持續(xù)30 分鐘，記錄測(cè)試TPS 、響應(yīng)時(shí)間測(cè)試結(jié)果。3) 穩(wěn)定性測(cè)試：保持最大吞吐量，執(zhí)

6、行穩(wěn)定性測(cè)試，持續(xù)3*24 小時(shí)，記錄測(cè)試TPS 、響應(yīng)時(shí)間。三、測(cè)試對(duì)象的分類1） 接口接口類響應(yīng)時(shí)間只包含數(shù)據(jù)傳輸時(shí)間、系統(tǒng)處理時(shí)間，不包含呈現(xiàn)時(shí)間，Apache Jmeter支持該類響應(yīng)時(shí)間的統(tǒng)計(jì)，共有min 、 max、 avg 三種統(tǒng)計(jì)結(jié)果，分別代表最小、最大、平均值，其他的性能測(cè)試工具均有對(duì)接口類響應(yīng)時(shí)間的精確統(tǒng)計(jì)。2） Web 頁(yè)面有3種方法可以統(tǒng)計(jì) Web頁(yè)面的響應(yīng)時(shí)間： 瀏覽器抓包工具統(tǒng)計(jì)頁(yè)面響應(yīng)時(shí)間錄屏軟件抓取屏幕計(jì)算響應(yīng)時(shí)間 JS 打點(diǎn)統(tǒng)計(jì)頁(yè)面響應(yīng)時(shí)間。注意：目前還無(wú)法通過(guò)大量并發(fā)訪問(wèn)的采樣統(tǒng)計(jì)頁(yè)面的響應(yīng)時(shí)間，在通過(guò)瀏覽器測(cè)試Web 頁(yè)面響應(yīng)時(shí)間時(shí)，要確保通過(guò)Jmeter

7、 對(duì)系統(tǒng)相對(duì)應(yīng)接口保持一定壓力的并發(fā)用戶訪問(wèn)（通常在最優(yōu)并發(fā)下測(cè)試）。2.1.3 分析評(píng)估1、 Web 頁(yè)面響應(yīng)時(shí)間分析遵循258 原則在互聯(lián)網(wǎng)上對(duì)于用戶響應(yīng)時(shí)間有一個(gè)普遍的標(biāo)準(zhǔn)（2/5/8原則），一般認(rèn)為響應(yīng)時(shí)間超過(guò) 5s 是系統(tǒng)是需要優(yōu)化，如果超過(guò)8s 是不可接受的。2s 之內(nèi)響應(yīng)被認(rèn)為非常有吸引力的用戶體驗(yàn)。5s 之內(nèi)響應(yīng)被認(rèn)為比較不錯(cuò)的用戶體驗(yàn)。8s 之內(nèi)響應(yīng)被認(rèn)為非常糟糕的用戶體驗(yàn)。超過(guò) 8s 沒有響應(yīng)，用戶通常認(rèn)為請(qǐng)求失敗。需要特殊說(shuō)明的一點(diǎn)，對(duì)于用戶來(lái)說(shuō)，響應(yīng)時(shí)間是否被接受帶有一定的主觀色彩，例如一個(gè)系統(tǒng)報(bào)表的功能，每個(gè)月才會(huì)有用戶使用一次，那么每次花費(fèi)1 個(gè)小時(shí)，用戶是可以接受

8、的，但是一個(gè)常用的登錄按鈕提交1 分鐘后才返回登錄成功，我們也難以接受。因此響應(yīng)時(shí)間的“長(zhǎng)”和“短”并沒有絕對(duì)的定義，合理的響應(yīng)時(shí)間取決于用戶實(shí)際需求，而不能依據(jù)測(cè)試人員的設(shè)想或者標(biāo)準(zhǔn)的硬性規(guī)定。2、 Web 頁(yè)面響應(yīng)時(shí)間分析評(píng)估時(shí)需要考慮有無(wú)瀏覽器緩存的兩種情況Web 頁(yè)面響應(yīng)時(shí)間測(cè)試，要分為瀏覽器有緩存和無(wú)緩存的兩種情況（無(wú)緩存的情況由于資源的下載響應(yīng)時(shí)間會(huì)稍長(zhǎng)），一般通過(guò)有瀏覽器緩存的場(chǎng)景的結(jié)果表現(xiàn)來(lái)評(píng)估響應(yīng)時(shí)間對(duì)用戶體驗(yàn)的影響。三、接口類響應(yīng)時(shí)間，參考系統(tǒng)需求規(guī)格定義評(píng)估最優(yōu)并發(fā)情況下，性能測(cè)試結(jié)果平均響應(yīng)時(shí)間不得高于系統(tǒng)需求規(guī)格定義。建議：需求規(guī)格的定義，單接口響應(yīng)時(shí)間應(yīng)小于100m

9、s 。響應(yīng)時(shí)間的標(biāo)準(zhǔn)一般定義：99.9% 響應(yīng)時(shí)間必須在100ms 以下（非平均值，99.9% 取樣響應(yīng)時(shí)間均在100ms 以下）或者平均響應(yīng)時(shí)間在100ms 以下，目前工具只能統(tǒng)計(jì)平均響應(yīng)時(shí)間指標(biāo)。四、響應(yīng)時(shí)間與歷史版本比較當(dāng)前系統(tǒng)實(shí)測(cè)響應(yīng)時(shí)間的指標(biāo)不得高于歷史版本的實(shí)測(cè)結(jié)果。注意：兩者的測(cè)試結(jié)果的比較，一定是在相同條件下測(cè)試的結(jié)果（環(huán)境對(duì)性能的影響較大）。五、參考同類系統(tǒng)功能的響應(yīng)時(shí)間對(duì)于新開發(fā)的系統(tǒng)，在沒有生產(chǎn)環(huán)境數(shù)據(jù)、歷史版本參考的情況下，可參考其他類似系統(tǒng)的響應(yīng)時(shí)間的實(shí)測(cè)結(jié)果，對(duì)比本系統(tǒng)實(shí)測(cè)的結(jié)果，經(jīng)過(guò)產(chǎn)品經(jīng)理、開發(fā)、運(yùn)營(yíng)運(yùn)維共同評(píng)審確定該 系統(tǒng)的性能需求標(biāo)準(zhǔn)，并按照達(dá)成一致的需求標(biāo)

10、準(zhǔn)進(jìn)行評(píng)估。2.2 TPS （ QPS ）、并發(fā)用戶數(shù)2.2.1 定義TPS ：每秒事務(wù)數(shù)，指系統(tǒng)每秒能夠處理的事務(wù)數(shù)量（一個(gè)事務(wù)可能是有多個(gè)請(qǐng)求組成）QPS ：每秒查詢率，只系統(tǒng)每秒能夠處理的查詢（通常指一個(gè)request 請(qǐng)求）數(shù)量。并發(fā)用戶數(shù)：在同一時(shí)刻（任一時(shí)刻）與服務(wù)器進(jìn)行交互（服務(wù)器正在處理）的在線用戶的數(shù)量。對(duì)于并發(fā)用戶數(shù)避免兩種錯(cuò)誤的理解，一種錯(cuò)誤的理解是把并發(fā)用戶數(shù)理解為系統(tǒng)注冊(cè)用戶數(shù)，還有一個(gè)錯(cuò)誤的理解是把并發(fā)用戶數(shù)理解為系統(tǒng)在線用戶數(shù)。2.2.2 測(cè)試方法1） 找到穩(wěn)定運(yùn)行的最高的吞吐量（TPS） 。測(cè)試前確定一個(gè)響應(yīng)時(shí)間的標(biāo)準(zhǔn)（如：小于100ms ），然后進(jìn)行基準(zhǔn)測(cè)試，

11、通過(guò)虛擬并發(fā)用戶數(shù)為1的方式測(cè)試，記錄測(cè)試的TPS、響應(yīng)時(shí)間測(cè)試結(jié)果，將該響應(yīng)時(shí)間與標(biāo)準(zhǔn)比較， 若大于標(biāo)準(zhǔn)響應(yīng)時(shí)間，那么則說(shuō)明系統(tǒng)有問(wèn)題無(wú)法滿足標(biāo)準(zhǔn)，若該響應(yīng)時(shí)間小于標(biāo)準(zhǔn)時(shí)間，則繼續(xù)下面的測(cè)試。通過(guò)壓力測(cè)試找到最大的吞吐量：在基準(zhǔn)測(cè)試響應(yīng)時(shí)間的限制下，找到系統(tǒng)最大的吞吐量（ TPS ），該狀況下響應(yīng)時(shí)間滿足要求、吞吐量最大，可確定為“最佳并發(fā)用戶數(shù)”。方法是按照一定的步長(zhǎng)，不斷增加虛擬并發(fā)用戶數(shù)，直至響應(yīng)時(shí)間超過(guò)限制、吞吐量不在增長(zhǎng)、任意節(jié)點(diǎn)資源使用率超過(guò)要求（如：70% ）。2）負(fù)載測(cè)試：保持最大吞吐量，執(zhí)行負(fù)載測(cè)試，持續(xù)30分鐘，記錄測(cè)試 TPS、響應(yīng)時(shí)間測(cè)試結(jié)果。3） 穩(wěn)定性測(cè)試：保持“

12、最佳并發(fā)用戶數(shù)”，執(zhí)行穩(wěn)定性測(cè)試，持續(xù) 3*24 小時(shí)，記錄測(cè)試 TPS、響應(yīng)時(shí)間。4） 在成功率100% 的限制下（不考慮響應(yīng)時(shí)間長(zhǎng)短）找到系統(tǒng)的極限值。不斷增加并發(fā)用戶數(shù)，能夠持續(xù)運(yùn)行30 分鐘不出錯(cuò)誤的并發(fā)量即為系統(tǒng)的極限值。2.2.3 分析評(píng)估最大吞吐量和系統(tǒng)資源使用的分析在明確響應(yīng)時(shí)間要求的限制下，壓力測(cè)試過(guò)程中，找到最大吞吐量的拐點(diǎn)時(shí)，分析系統(tǒng)資源（ CPU 、內(nèi)存）的使用率，若使用率過(guò)低，則繼續(xù)加大并發(fā)用戶量，若系統(tǒng)的所有節(jié)點(diǎn)的任一資源均無(wú)法達(dá)到70% 使用率，說(shuō)明系統(tǒng)存在系統(tǒng)類、軟件類問(wèn)題和瓶頸，需要調(diào)優(yōu)。二、 TPS 與需求規(guī)格定義（生產(chǎn)環(huán)境負(fù)載）比較1） 需求規(guī)格說(shuō)明書中有

13、明確的標(biāo)準(zhǔn)定義將吞吐量的實(shí)測(cè)結(jié)果和需求規(guī)格定義（生產(chǎn)環(huán)境負(fù)載）比較，若大于需求規(guī)格定義則為通過(guò)。一般最大吞吐量對(duì)應(yīng)生產(chǎn)環(huán)境的平均負(fù)載，系統(tǒng)極限值僅用來(lái)應(yīng)對(duì)生產(chǎn)環(huán)境的突發(fā)高峰。2） 需求規(guī)格說(shuō)明書中無(wú)明確的標(biāo)準(zhǔn)定義若需求規(guī)格說(shuō)明書中沒有關(guān)于性能指標(biāo)的明確定義，在性能測(cè)試方案設(shè)計(jì)階段性能測(cè)試工程師應(yīng)推動(dòng)測(cè)試、開發(fā)、產(chǎn)品經(jīng)理和運(yùn)維運(yùn)營(yíng)一起，明確相關(guān)性能指標(biāo)。性能指標(biāo)可參考生產(chǎn)環(huán)境交易量統(tǒng)計(jì)數(shù)據(jù)來(lái)評(píng)估，評(píng)估結(jié)果一般應(yīng)略高于當(dāng)前生產(chǎn)環(huán)境的負(fù)載（預(yù)留半年到一年訪問(wèn)量增長(zhǎng)的余量）。若新開發(fā)產(chǎn)品，無(wú)生產(chǎn)環(huán)境度量數(shù)據(jù)，可參考同類產(chǎn)品、本產(chǎn)品運(yùn)營(yíng)推廣計(jì)劃來(lái)評(píng)估本產(chǎn)品的性能指標(biāo)，性能指標(biāo)確認(rèn)的結(jié)果可通過(guò)提單結(jié)論歸檔

14、。三、負(fù)載測(cè)試、穩(wěn)定性測(cè)試采樣分析在負(fù)載測(cè)試、穩(wěn)定性測(cè)試過(guò)程中，保持最高吞吐量情況下壓測(cè)，TPS 曲線、響應(yīng)時(shí)間曲線應(yīng)該是趨于穩(wěn)定的，如出現(xiàn)大的波動(dòng)（驟升或驟降），則視為異常的拐點(diǎn)（問(wèn)題），需要 進(jìn)行問(wèn)題定位。2.3 請(qǐng)求成功率2.3.1 定義顧名思義，請(qǐng)求成功率代表所有請(qǐng)求中，成功接收到響應(yīng)的請(qǐng)求所占的比例。系統(tǒng)的吞吐量和請(qǐng)求成功率是掛鉤的。2.3.2 測(cè)試方法請(qǐng)求成功率是響應(yīng)時(shí)間、TPS 等指標(biāo)的前提，在成功率滿足大于99.9% 的前提下，響應(yīng)時(shí)間、TPS 滿足預(yù)期。成功率的測(cè)試方法，可參考2.1 、 2.2 章節(jié)中關(guān)于響應(yīng)時(shí)間、TPS 的測(cè)試方法。2.3.3 分析評(píng)估標(biāo)準(zhǔn)要求：負(fù)載測(cè)試、

15、穩(wěn)定性測(cè)試，請(qǐng)求成功率要求大于99.9% 。2.4 CPU 使用率、內(nèi)存使用率、IO WAIT2.4.1 定義一、 CPU 使用率：CPU時(shí)間的百分比，共分為以下幾個(gè)維度，我們通常認(rèn)為的CPU使用率是 us （用戶態(tài)）+sy （系統(tǒng)態(tài)）使用的 CPU百分比之和。Us：用戶態(tài)使用的cpu時(shí)間百分比Sy：系統(tǒng)態(tài)使用的cpu時(shí)間百分比Ni ：用做 nice 加權(quán)的進(jìn)程分配的用戶態(tài)cpu 時(shí)間百分比Id：空閑的 cpu時(shí)間百分比Wa： cpu 等待 IO 完成時(shí)間百分比，指通常我們講的IO WAITHi ：硬中斷消耗時(shí)間百分比Si：軟中斷消耗時(shí)間百分比、內(nèi)存使用率內(nèi)存使用率通常是指已使用的內(nèi)存在總體內(nèi)

16、存中所占的比例。Total ：內(nèi)存總數(shù)Used ：已使用內(nèi)存數(shù)Free：空閑的內(nèi)存數(shù)Shared ：多個(gè)進(jìn)程共享的內(nèi)存總額，查詢結(jié)果總是0Buffers ：Buffer Cache 磁盤緩存的大小Cached ：cached Page Cache 磁盤緩存的大小可用內(nèi)存=free+buffer+cached所以計(jì)算內(nèi)存使用率公式為：內(nèi)存使用率= （ total-free-buffer-cached ） /total * 100%2.4.2 測(cè)試方法1 、通過(guò) Nmon 采集記錄（可以同時(shí)監(jiān)控CPU 、內(nèi)存、IO 等各種豐富的性能資源指標(biāo)），可以持續(xù)記錄測(cè)試過(guò)程每個(gè)時(shí)間點(diǎn)的資源使用情況，對(duì)于多核

17、系統(tǒng)，也可以分別監(jiān)控每個(gè)CPU的使用情況?？赏ㄟ^(guò)Nmon 采集的資源使用曲線、結(jié)合系統(tǒng)的性能表現(xiàn)，初步完成系統(tǒng)的評(píng)估（判斷是否存在問(wèn)題）。2、通過(guò)Linux 命令來(lái)進(jìn)行系統(tǒng)問(wèn)題的詳細(xì)分析（補(bǔ)充中）。top：查看進(jìn)程活動(dòng)狀態(tài)以及一些系統(tǒng)狀況，沒辦法記錄所有時(shí)間點(diǎn)的資源使用情況，好處是可以查看到進(jìn)程級(jí)別的資源使用。vmstat ：查看系統(tǒng)狀態(tài)、硬件和系統(tǒng)信息等，通過(guò)vmstat 查詢，查詢整體的CPU使用情況，同時(shí)也可以查詢進(jìn)程、內(nèi)存、交換頁(yè)面、IO 的情況。iostat ：查看 CPU負(fù)載，硬盤狀況sar（ 同類的 tsar 阿里開源工具）：綜合類工具，比較全面的查看系統(tǒng)狀況的工具，如文件的讀寫情況、系統(tǒng)調(diào)用的使用情況、磁盤I/O 、 CPU 效率、內(nèi)存使用狀況、進(jìn)程活動(dòng)及IPC 有關(guān)的活動(dòng)。cpu 的情況mpstat ：多核 CPU 的可以通過(guò)該命令查看某個(gè)netstat :查看網(wǎng)路情況tcpdumptcptrace ：抓取網(wǎng)絡(luò)數(shù)據(jù)包和分析網(wǎng)絡(luò)數(shù)據(jù)包工具dstat:綜合工具，綜合了 vmstat, iostat, ifstat, netstat 等多個(gè)信息ps：進(jìn)程查詢工具2.4.3 分析評(píng)估1 、通過(guò)比較 “最大吞吐量”和“系統(tǒng)資源使用率”之間的關(guān)系進(jìn)行分析，系統(tǒng)必須在CPU 、內(nèi)存資源