性能測試計劃

1、手機銀行客戶端性能測試方案手機銀行性能測試方案修訂記錄日期版本修訂說明修訂人2011-8-301.0初稿王穎- I -手機銀行性能測試方案目錄1導(dǎo)言.11.1文檔目的 .11.2背景 .11.3參考文檔 .12測試目的 .13測試指標 .34測試范圍 .44.1邏輯架構(gòu)圖 .44.2交易選取原則 .44.3交易范圍 .54.4環(huán)境與版本 .65測試資源 .65.1人員 .65.2工具 .65.3環(huán)境 .75.3.1網(wǎng)絡(luò)拓撲圖 .75.3.2軟硬件配置 .76測試約束 .86.1入口和出口準則 .86.1.1入口準則 .86.1.2出口準則 .86.2暫停 / 再啟動準則 .86.3通過 / 失

2、敗準則 .96.3.1通過準則 .96.3.2失敗準則 .97測試策略 .97.1策略描述 .97.2測試類型 .107.2.1基準測試 .107.2.2負載測試 .107.2.3穩(wěn)定性測試 .107.3測試數(shù)據(jù) .117.3.1參數(shù)數(shù)據(jù) .117.3.2存量數(shù)據(jù) .118測試方法 .118.1基準測試 .118.1.1場景 ：普通聯(lián)機交易基準測試場景 .111-II-手機銀行性能測試方案8.1.2場景 2：普通聯(lián)機交易以檔板程序返回的基準測試場景 .128.2負載測試 .138.2.1場景3：單交易負載測試 .138.3穩(wěn)定性測試.138.3.1場景4：穩(wěn)定性測試場景 .139測試風(fēng)險 .1

3、410進度及分工 .1511交付物 .1512附件 .16-III-手機銀行性能測試方案導(dǎo)言1.1文檔目的手機銀行客戶端系統(tǒng)（簡稱客戶端系統(tǒng)）即將上線， 為了保證投產(chǎn)后系統(tǒng)能夠支撐業(yè)務(wù)發(fā)展， 穩(wěn)定運行， 對手機客戶端系統(tǒng)進行性能測試；本文檔的編寫即是為了對性能測試實施提供方法指導(dǎo)、計劃資源分配、識別實施風(fēng)險，提高測試的可控性和有效性。1.2背景手機客戶端系統(tǒng)是在推出wap 手機銀行后，針對高端手機客戶推出的在線金融服務(wù)系統(tǒng)，手機客戶端系統(tǒng)與wap 系統(tǒng)共用一套客戶數(shù)據(jù)，傳統(tǒng)業(yè)務(wù)業(yè)務(wù)邏輯一致，針對手機客戶端獨有的特點，推出了金融助手服務(wù)，主要包含了， 商戶搜索， 在線購買機票， 手機充值，理財計

4、算器等特色功能。由于客戶端和wap 手機銀行共用一套客戶數(shù)據(jù)，故wap 手機銀行的客戶群是手機銀行客戶端系統(tǒng)潛在的使用者。所以手機銀行客戶端系統(tǒng)的性能測試基于現(xiàn)有wap 手機銀行生產(chǎn)的存量數(shù)據(jù)進行，保證性能測試環(huán)境與將來生產(chǎn)環(huán)境相吻合。備注：但實際測試過程中，銀行很難提供完全滿足業(yè)務(wù)的大量數(shù)據(jù)，因為這些大量數(shù)據(jù)不一定能滿足我們所做業(yè)務(wù)的單項數(shù)據(jù)要求。1.3參考文檔暫無測試目的通過對手機銀行客戶端系統(tǒng)的性能測試實施，在測試范圍內(nèi)可以達到如下目的：1、 了解客戶端系統(tǒng)在各種業(yè)務(wù)場景下的性能表現(xiàn)；2、 了解客戶端業(yè)務(wù)系統(tǒng)的穩(wěn)定性；3、 檢驗系統(tǒng)在異常業(yè)務(wù)場景下的容錯能力；4、 通過各種業(yè)務(wù)場景的測試

5、實施，為系統(tǒng)調(diào)優(yōu)提供數(shù)據(jù)參考；第1頁/共16頁手機銀行性能測試方案5、 通過性能測試發(fā)現(xiàn)系統(tǒng)瓶頸，并進行優(yōu)化。6、 預(yù)估系統(tǒng)的業(yè)務(wù)容量第2頁/共16頁手機銀行性能測試方案測試指標指標分類指標描述性能指標需求數(shù)值每秒事務(wù)數(shù) TPSTPS1=100 筆 /秒系統(tǒng)處理能力典型交易平均交易響應(yīng)時間ARTART 0.2 秒/筆交易成功率 98%CPU占用率 60%主機資源利用率內(nèi)存使用率 80%磁盤讀寫率 (I/O) 80%CPU占用率 60%EWP 資源利用率內(nèi)存使用率 80%磁盤讀寫率 (I/O) 80%1、交易成功率98%；系統(tǒng)穩(wěn)定性評估系統(tǒng)是否能夠長時間穩(wěn)定運行2、場景運行期間系統(tǒng)資源及處理能力

6、保持平穩(wěn)；3、無內(nèi)存泄漏發(fā)生；【說明】1、把手機銀行客戶端接入的服務(wù)(EWP) 和應(yīng)用服務(wù) (APP) 作為一個整體進行測試，前提是保證 EWP 服務(wù)不成為系統(tǒng)的瓶頸，如果發(fā)現(xiàn)EWP 是瓶頸需要查明原因，并解決。2、為了保證測試過程中負載機/客戶端不成為系統(tǒng)瓶頸，測試過程中要求負載機/客戶端的 CPU 和內(nèi)存使用率均低于80%，否則需要考慮增加負載機資源。3、為了重點測試手機銀行客戶端自身系統(tǒng)，系統(tǒng)的聯(lián)機交易均做檔板處理。系統(tǒng)通過前置發(fā)起交易測試一組基礎(chǔ)數(shù)據(jù)，以便得到系統(tǒng)自身響應(yīng)時間，通過該響應(yīng)時間確定在混合業(yè)務(wù)場景中不同交易的占比。第3頁/共16頁手機銀行性能測試方案測試范圍4.1邏輯架構(gòu)圖

7、手機客戶端就是可以在手機終端運行的軟件；光大銀行的客戶端指的是推出的給客戶提供在線金融服務(wù)的手機客戶端，包括三部分，客戶端，EWP，APP，本次性能測試主要針對EWP 服務(wù)和 APP 服務(wù)，業(yè)務(wù)邏輯圖如下：為了真實反映手機客戶端系統(tǒng)自身的處理能力， 本次測試范圍只包含客戶端系統(tǒng)新增加的服務(wù)（圖中黑色線實框） ，客戶端，前置和核心等業(yè)務(wù)系統(tǒng)不在本次測試范圍內(nèi)。由于加密機為本次客戶端上線做了升級，故對升級部分包含在本次測試范圍內(nèi)。4.2交易選取原則手機銀行客戶端系統(tǒng)的性能測試交易選取原則如下：1、 覆蓋日交易發(fā)生量累計占日交易總量80%的交易；2、 業(yè)務(wù)邏輯處理復(fù)雜的交易；第4頁/共16頁手機銀行

8、性能測試方案3、 被測系統(tǒng)特殊性能關(guān)注點；4、 取 WAP 手機銀行最新日交易量情況調(diào)整交易范圍及比例4.3交易范圍本次性能測試包括手機銀行CS 版本主要交易和關(guān)鍵性交易以及內(nèi)部管理系統(tǒng)用戶登錄。登錄后交易包括登陸交易、儲蓄賬戶類交易（包括查詢，轉(zhuǎn)賬（行內(nèi)轉(zhuǎn)賬） ）、信用卡查詢；非登錄，支付交易，商戶查詢，儲蓄計算器等內(nèi)容。編交易碼交易名交易占比腳本名稱可參數(shù)化域號測試通過加密機進行RSA1GeneratePINFromRSAToDes密碼到 3DES 轉(zhuǎn)換性能5%PasswordUserId2Login用戶認證20%_localeBankIdLoginType4ActQueryPre余額查詢

9、賬戶列表10%5ActBalQry余額查詢10%AcNoBankAcTypeAcNo6ActTrsQry10%BankAcType交易明細查詢BeginDateEndDateCurrency7BankInnerTransfer行內(nèi)轉(zhuǎn)賬15%8AcctInfoQry信用卡賬戶信息查詢10%9BillInCurQry未出賬單查詢10%CardIdCurrency10ClientPayPre發(fā)起支付5%PlainSignature第5頁/共16頁手機銀行性能測試方案PlainSignatureMobilePhoneSignFlagmerchantIdMerNameorderIdtransAmttra

10、nsDateTimecustomerNameproductInfocustomerEMai11ClientPay支付5%lmerURLmerURL1msgExtcurrencyTypepayTypeEpayAcNoAcTypecvv2ExpDateTestCodeAcTypeValueVerTypePasswordOTPPassword4.4環(huán)境與版本性能測試是為了驗證被測系統(tǒng)是否滿足生產(chǎn)環(huán)境下的業(yè)務(wù)需求，因此要求測試環(huán)境（軟硬件資源）與被測系統(tǒng)均與上線環(huán)境保持一致。測試資源5.1人員項目經(jīng)理：楊濤，任可任測試負責(zé)人：王磊測試人員：楊濤，任可任，王琦，張程等運維人員：周艷慶5.2工具用途工具廠

11、商/自產(chǎn)版本測試管理QCHP9.0第6頁/共16頁手機銀行性能測試方案測試執(zhí)行手工/LoadRunnerHP8.1測試缺陷QCHP9.05.3環(huán)境5.3.1網(wǎng)絡(luò)拓撲圖暫時計劃使用測試環(huán)境進行測試，拓撲圖如下：EWP服務(wù)器APP服務(wù)器網(wǎng)銀數(shù)據(jù)庫測試負載機5.3.2軟硬件配置為了盡可能模擬真實的生產(chǎn)環(huán)境，本次測試在測試環(huán)境上執(zhí)行，軟硬件配置如下：環(huán)境資源數(shù)配置與生產(chǎn)環(huán)境差量異PC Server 8有差異：生產(chǎn)EWP服務(wù)器CPU：2 核，主頻 2.4GHz環(huán)境 CPU為 8EWP服務(wù)1內(nèi)存： 16G核硬件環(huán)境存儲： 300GIP 地址： 10.1.91.4EWP服務(wù)操作1CentOS 5.4無差別E

12、WP軟件環(huán)系統(tǒng)境EWP服務(wù)應(yīng)用1EWP3.0無差別軟件HP-UNIX有差異：生產(chǎn)APP服務(wù)器CPU：4 核，主頻 1.6GHz環(huán)境內(nèi)存為APP服務(wù)器1內(nèi)存： 16G20G硬件環(huán)境存儲：IP 地址： 10.1.18.84APP軟件環(huán)APP服務(wù)操作1HP-UX B.11.31無差別境系統(tǒng)APP 服務(wù)器1Weblogic 10.3.0.0無差別J2EE 容器第7頁/共16頁手機銀行性能測試方案測試約束6.1入口和出口準則6.1.1入口準則1、 測試目的、測試指標均已明確；2、 測試環(huán)境已經(jīng)就緒；3、 測試腳本已經(jīng)編寫并調(diào)試通過；4、 測試腳本已參數(shù)化；5、 測試數(shù)據(jù)已經(jīng)準備；6、 負載機已經(jīng)準備；7

13、、 測試工具已經(jīng)準備并已安裝足夠的License；8、 測試人員全部到位；9、 測試接口人已經(jīng)明確；10、測試計劃通過評審；以上條件必須全部滿足。6.1.2出口準則1、 所有場景均已執(zhí)行；2、 測試結(jié)果通過評審；3、 測試場景未執(zhí)行完成但已經(jīng)沒有測試時間；以上滿足1、 2 屬于正常退出，滿足3 屬于異常退出。6.2暫停 /再啟動準則1、 測試環(huán)境出現(xiàn)問題導(dǎo)致測試無法繼續(xù)進行；2、 測試數(shù)據(jù)不能及時準備就緒；3、 測試中出現(xiàn)的缺陷不能及時解決且影響后續(xù)的測試執(zhí)行；4、 其它導(dǎo)致測試無法繼續(xù)進行的情況出現(xiàn)；以上條件滿足其一測試可進入暫停狀態(tài)。第8頁/共16頁手機銀行性能測試方案導(dǎo)致測試暫停的問題得

14、以解決即可重新啟動測試執(zhí)行。6.3通過 /失敗準則6.3.1通過準則1、 所有場景均已執(zhí)行；2、 被測系統(tǒng)達到預(yù)期性能指標；以上條件全部滿足則測試通過。6.3.2失敗準則1、 場景未能按計劃執(zhí)行；2、 場景變更未通過評審；3、 被測系統(tǒng)性能數(shù)據(jù)不滿足指標需求；4、 因各種問題導(dǎo)致測試結(jié)果無效；出現(xiàn)以上情況之一則測試失敗。測試策略本章主要描述本次測試的策略及測試類型。7.1策略描述1、為了模擬更真實的生產(chǎn)環(huán)境，在基礎(chǔ)測試階段要采集3 組數(shù)據(jù)：-通過前置發(fā)送核心系統(tǒng)，得到核心系統(tǒng)處理業(yè)務(wù)的響應(yīng)時間-通過網(wǎng)銀擋板，模擬核心系統(tǒng)返回，得到網(wǎng)銀系統(tǒng)業(yè)務(wù)響應(yīng)時間-通過 EWP 擋板，模擬網(wǎng)銀系統(tǒng)返回，得到

15、EWP 系統(tǒng)業(yè)務(wù)響應(yīng)時間2、通過基礎(chǔ)測試階段得到的TPS 推算出混合場景的業(yè)務(wù)占比模型，從而通過測試得到最貼近生產(chǎn)環(huán)境下的測試結(jié)果；本次性能測試在局域網(wǎng)環(huán)境內(nèi)進行， 測試服務(wù)包括兩部分： 手機銀行接入服務(wù) （EWP ）,手機銀行應(yīng)用服務(wù) (APP), 對 EWP 服務(wù)器的資源使用情況進行監(jiān)控， 并獲取相關(guān)性能指標 （支第9頁/共16頁手機銀行性能測試方案持并發(fā)數(shù)，響應(yīng)時間） ；手機銀行應(yīng)用服務(wù)（支持并發(fā)數(shù)，響應(yīng)時間）。7.2測試類型本次測試的測試類型包括基準測試、負載測試、穩(wěn)定性測試。7.2.1基準測試基準測試是在系統(tǒng)無壓力的情況下，通過對單交易進行多次迭代，獲取該交易發(fā)送單筆請求的平均響應(yīng)時

16、間，為后續(xù)的負載測試提供基準參照。測試共分為 3 種情況，第一種：客戶端系統(tǒng)將交易發(fā)送至核心，得到交易響應(yīng)時間；第二種：客戶端系統(tǒng)通過WAP 擋板程序，得到系統(tǒng)自身的交易響應(yīng)時間。第三種：客戶端系統(tǒng)通過EWP 擋板程序，得到EWP 系統(tǒng)自身的交易響應(yīng)時間。本次測試對所有普通聯(lián)機交易執(zhí)行基準測試。7.2.2負載測試負載測試是模擬多用戶同時向服務(wù)器發(fā)送請求（單交易） ，獲取服務(wù)器對并發(fā)請求的處理能力， 并通過不斷有規(guī)律地改變請求壓力， 獲取系統(tǒng)在不同壓力下的處理效率及系統(tǒng)性能拐點。7.2.3穩(wěn)定性測試穩(wěn)定性測試是對特定場景在特定壓力下 （一般選取相關(guān)場景性能平穩(wěn)處的壓力） 的長時間（理論為 7 2

17、4 小時）運行，通過觀察系統(tǒng)響應(yīng)效率、交易成功率及主機資源變化情況，分析被測系統(tǒng)是否能夠長時間穩(wěn)定運行。疲勞測試對特定場景在特定壓力下 （一般選取相關(guān)場景性能拐點處的壓力） 的長時間（理論為 7 24 小時）運行，通過觀察系統(tǒng)響應(yīng)效率、交易成功率及主機資源變化情況，分析被測系統(tǒng)是否能夠長時間穩(wěn)定運行。第10頁/共16頁手機銀行性能測試方案7.3測試數(shù)據(jù)7.3.1參數(shù)數(shù)據(jù)為了盡可能的模擬系統(tǒng)生產(chǎn)環(huán)境，所以JVM 的初始堆棧大小、應(yīng)用服務(wù)器的線程池、數(shù)據(jù)庫連接池等系統(tǒng)配置，統(tǒng)一參考WAP 手機銀行生產(chǎn)環(huán)境配置。7.3.2存量數(shù)據(jù)存量數(shù)據(jù)來自WAP手機銀行實際生產(chǎn)系統(tǒng)，對生產(chǎn)數(shù)據(jù)進行脫敏處理，去除包

18、括姓名、身份證號碼、密碼等敏感信息，并導(dǎo)入測試環(huán)境核心系統(tǒng)數(shù)據(jù)庫?；A(chǔ)數(shù)據(jù)的數(shù)據(jù)規(guī)模（截至到 2008-04-10 ）。測試方法根據(jù)不同的測試目的共設(shè)計6 個業(yè)務(wù)模型測試場景，8.1基準測試本次測試只對普通聯(lián)機交易執(zhí)行基準測試。8.1.1場景 1：普通聯(lián)機交易基準測試場景（無擋板）【場景目的】獲取各個聯(lián)機交易通過前置系統(tǒng)返回的基準響應(yīng)時間，為負載測試提供數(shù)據(jù)參考。執(zhí)行順序： 1【交易范圍】所有性能測試涵蓋的交易?！緶y試方法】在測試環(huán)境無外在壓力的情況下，模擬單用戶迭代多次，獲取交易平均響應(yīng)時間?！緢鼍霸O(shè)置】場 景 名用戶數(shù)迭代次數(shù)迭代延時思考時間加壓時間負載生成器數(shù)量稱Scene115min

19、次數(shù)00跑完為止1第11頁/共16頁手機銀行性能測試方案對所有普通聯(lián)機交易均執(zhí)行上述場景測試，獲取基準響應(yīng)時間。8.1.2場景 2：普通聯(lián)機交易以檔板程序返回的基準測試場景（EWP 擋板）【場景目的】獲取各個聯(lián)機交易以檔板返回的基準響應(yīng)時間，測試手機銀行客戶端系統(tǒng)內(nèi)處理交易流程的性能瓶頸，為負載測試提供數(shù)據(jù)參考。執(zhí)行順序： 2【交易范圍】所有性能測試涵蓋的交易?！緶y試方法】在測試環(huán)境無外在壓力的情況下，模擬單用戶迭代多次，獲取交易平均響應(yīng)時間?！緢鼍霸O(shè)置】場 景 名用戶數(shù)迭代次數(shù)迭代延時思考時間加壓時間負載生成器數(shù)量稱Scene215min 次數(shù)00跑完為止1對所有普通聯(lián)機交易均執(zhí)行上述場景測

20、試，獲取基準響應(yīng)時間。8.1.3場景 3：普通聯(lián)機交易以檔板程序返回的基準測試場景（WAP 擋板）【場景目的】獲取各個聯(lián)機交易以檔板返回的基準響應(yīng)時間，測試手機銀行客戶端系統(tǒng)內(nèi)處理交易流程的性能瓶頸，為負載測試提供數(shù)據(jù)參考。執(zhí)行順序： 2【交易范圍】所有性能測試涵蓋的交易?！緶y試方法】在測試環(huán)境無外在壓力的情況下，模擬單用戶迭代多次，獲取交易平均響應(yīng)時間?！緢鼍霸O(shè)置】場 景 名用戶數(shù)迭代次數(shù)迭代延時思考時間加壓時間負載生成器數(shù)量稱Scene215min 次數(shù)00跑完為止1第12頁/共16頁手機銀行性能測試方案對所有普通聯(lián)機交易均執(zhí)行上述場景測試，獲取基準響應(yīng)時間。8.2負載測試8.2.1場景

21、4：單交易負載測試【場景目的】測試單個交易在高并發(fā)情況下的處理效率，定位每個交易影響處理性能的缺陷。查看在并發(fā)提交請求時刻，服務(wù)器對這些請求的處理和響應(yīng)能力。主要觀察內(nèi)存使用情況，首先要觀察各并發(fā)時刻或者多次并發(fā)持續(xù)時間段內(nèi)， 是否存在內(nèi)存泄露； 其次觀察服務(wù)進程會否停止、僵死、鎖頁，這兩種情況都是比較極端的故障情況，如果程序?qū)崿F(xiàn)良好沒有內(nèi)存泄露，并且進程狀況良好，不會出現(xiàn)上述兩種現(xiàn)象，需要進一步跟蹤響應(yīng)時間、每秒點擊率、業(yè)務(wù)失敗率等性能指標在各并發(fā)時刻或者多次并發(fā)持續(xù)時間段內(nèi)， 是否能夠表現(xiàn)在用戶可接受范圍內(nèi)。優(yōu)先級： 高執(zhí)行順序： 3【交易范圍】所有性能測試涵蓋的交易?！緶y試方法】在測試環(huán)

22、境每秒增加25 用戶，模擬多用戶高并發(fā)的情況，觀察內(nèi)存回收、 CPU 使用率、應(yīng)用服務(wù)器線程池使用情況、交易響應(yīng)時間等關(guān)鍵數(shù)據(jù)?！緢鼍霸O(shè)置】場景名用戶迭代延思考加載方加壓時退出方式負載生成器稱數(shù)時時間式間數(shù)量Scene32500遞增5分鐘同時1508.3穩(wěn)定性測試8.3.1場景 5：混合業(yè)務(wù)容量測試場景（最合適的用戶數(shù)和可承受的最大業(yè)務(wù)總量）【場景目的】在混合不同交易的場景中，不斷增加用戶并發(fā)請求量，同時觀察系統(tǒng)性能拐點，最終測試出系統(tǒng)最合適的用戶數(shù)和可承受的最大業(yè)務(wù)總量。第13頁/共16頁手機銀行性能測試方案優(yōu)先級： 高執(zhí)行順序： 4【測試方法】根據(jù)場景 1 中得到的每個交易的基準響應(yīng)時間，

23、按照比例配置每個交易的并發(fā)請求量，從而建立一個混合業(yè)務(wù)的測試場景模型。在每秒增加50 用戶并發(fā)請求的壓力下，觀察系統(tǒng)的整體運行情況，最終找到系統(tǒng)性能拐點，確定最合適的用戶數(shù)和最大業(yè)務(wù)容量?！緢鼍霸O(shè)置】場 景 名用 戶迭代延思考時加載方加壓時退出方式負載生成器稱數(shù)時間式間數(shù)量Scene45000遞增不限時系統(tǒng)性能達到1100間拐點.8.3.2場景 6：混合業(yè)務(wù)穩(wěn)定性測試場景（穩(wěn)定性測試和疲勞測試）【場景目的】在混合不同交易的場景中，使服務(wù)器的資源處于平穩(wěn)狀態(tài)和極限狀態(tài)，并長時連續(xù)運行，以測試服務(wù)器在高負載情況下是否能夠穩(wěn)定工作。優(yōu)先級： 高執(zhí)行順序： 5【測試方法】根據(jù)場景 1 中得到的每個交易的基準響應(yīng)時間，按照比例配置每個交易的并發(fā)請求量，從而建立一個混合業(yè)務(wù)的測試場景模型。在多用戶并發(fā)請求的壓力下，系統(tǒng)連續(xù)運行12 小時，觀察系統(tǒng)的整體運行情況。【場景設(shè)置】場 景 名用 戶迭 代 延思 考 時加 載 方加 壓 時退 出 方負載生