軟件測試技術(shù)（第三版） 課件 第7章 系統(tǒng)測試

第7章

系統(tǒng)測試7.1系統(tǒng)測試概述系統(tǒng)測試的定義系統(tǒng)測試：SystemTesting系統(tǒng)測試是將已經(jīng)集成好的軟件系統(tǒng)，作為整個計算機系統(tǒng)的一個元素，與支持軟件、計算機硬件、外設(shè)、數(shù)據(jù)等其它系統(tǒng)元素結(jié)合在一起，在實際使用環(huán)境下，對計算機系統(tǒng)進行一系列測試活動。為了發(fā)現(xiàn)缺陷并度量產(chǎn)品質(zhì)量，按照系統(tǒng)的功能和性能需求進行的測試一般使用黑盒測試技術(shù)一般由獨立的測試人員完成2.系統(tǒng)測試的依據(jù)開發(fā)人員提供的“需求規(guī)格說明書”3.系統(tǒng)測試的組織系統(tǒng)測試主要是由質(zhì)量部門的測試工程師來主導(dǎo)工作4、系統(tǒng)測試員和用戶系統(tǒng)測試員和用戶相似的地方都是使用軟件，一般不接觸軟件的代碼都是假設(shè)軟件應(yīng)該正確實現(xiàn)說明書的功能系統(tǒng)測試員和用戶不同的地方使用軟件的目的對待錯誤7.1.2系統(tǒng)測試的內(nèi)容系統(tǒng)測試的內(nèi)容包括：功能測試、性能測試、負載測試、壓力測試、疲勞測試、安全測試、恢復(fù)測試、兼容性測試、可靠性測試、強度測試、容量測試、回歸測試、安裝/卸載測試、配置測試、文檔測試、用戶界面測試、α測試、β測試。在實際的應(yīng)用中，由于進度、資源等各方面的原因不可能面面俱到，而大多會根據(jù)系統(tǒng)、項目的特點有所取舍。7.2功能測試功能測試是在規(guī)定的一段時間內(nèi)運行軟件系統(tǒng)的所有功能，以驗證這個軟件系統(tǒng)有無嚴重錯誤。目標：檢驗產(chǎn)品功能是否正確實現(xiàn)內(nèi)容：正常功能、異常功能、邊界測試、界面測試、接口測試、安全測試、錯誤處理測試等。覆蓋：覆蓋產(chǎn)品的功能自動售貨機的購買流程開始->付款->選擇商品->確認商品->結(jié)束開始->付款->選擇商品->確認商品->找零->結(jié)束開始->付款->選擇商品->金額不足，全額退款->結(jié)束開始->付款->選擇商品->全額退款->結(jié)束開始->付款->全額退款->結(jié)束自動售貨機的購買流程付款金額剛剛夠購買將要選擇的商品。選擇商品、確認商品后結(jié)束。付款金額足夠購買將要購買的商品。選擇商品、確認商品后，找零后結(jié)束付款金額不夠買將要購買的商品。選擇商品、確認商品后，提示金額不足，全額退款后結(jié)束。支付金額，選擇商品后不想購買任何商品，要求全額退款。選擇商品、確認商品后，取消操作，要求全額退款后結(jié)束。付款金額后不想購買任何商品，要求全額退款。常見的功能自動化測試工具工具說明及官方網(wǎng)站SeleniumWebDriver一款開源的web應(yīng)用程序的自動化測試工具https://www.selenium.dev/KatalonStudioWeb測試工具，/katalon-studiopostman接口測試工具TestWriter上海博為峰旗下的零編碼,跨平臺自動化測試工具，/airtest網(wǎng)易旗下的一款基于圖像識別和poco控件識別的一款UI自動化測試工具。/Apifox

廣州睿狐科技的一款支持API文檔、API調(diào)試、APIMock、API自動化測試平臺，/UFTDeveloperUFTMobileUFTOne MicroFocus公司自動化功能測試工具，/zh-cn/products7.3性能測試影響性能測試的因素性能測試方法性能測試需要模擬實際用戶負載來測試系統(tǒng)，包括：反應(yīng)速度、最大用戶數(shù)、系統(tǒng)最優(yōu)配置、軟硬件性能、處理精度等等。目標：對產(chǎn)品的性能進行測試，檢驗是否達標、是否能夠保持方法：覆蓋系統(tǒng)的性能需求，一般和負載測試結(jié)合使用工具：在需要大訪問量時候尤其需要使用工具性能測試的流程性能測試用例的設(shè)計在設(shè)計性能測試的測試用例時，主要是通過改變模擬的業(yè)務(wù)因素來測試軟件的性能。根據(jù)影響軟件性能的業(yè)務(wù)因素可以在設(shè)計上基于三個方面的考慮?；诓l(fā)用戶數(shù)的測試用例設(shè)計基于吞吐量的測試用例設(shè)計基于基于業(yè)務(wù)的設(shè)計的測試用例設(shè)計并發(fā)用戶的計算方法方法一------精算法公式（1）計算平均的并發(fā)用戶數(shù)C=nL/T公式（2）并發(fā)用戶數(shù)峰值C’≈C+3*

sqrt（C)公式（1）中，C是平均的并發(fā)用戶數(shù)；n是loginsession的數(shù)量；L是loginsession的平均長度；T指考察的時間段長度。公式（2）則給出了并發(fā)用戶數(shù)峰值的計算方式中，其中，C’指并發(fā)用戶數(shù)的峰值，C就是公式（1）中得到的平均的并發(fā)用戶數(shù)。該公式的得出是假設(shè)用戶的loginsession產(chǎn)生符合泊松分布而估算得到的。并發(fā)用戶的計算方法方法二------估算法公式（1）計算平均的并發(fā)用戶數(shù)C=n/10

公式（2）并發(fā)用戶數(shù)峰值C’≈r*CN：

每天訪問系統(tǒng)用戶數(shù)的10%作為平均的并發(fā)用戶數(shù)。每天訪問系統(tǒng)的用戶數(shù)可以通過日志分析、問卷調(diào)查來獲取。R:調(diào)整因子，R的取值一般為2~3。并發(fā)用戶的計算方法方法三：經(jīng)驗值對于一些系統(tǒng)可以通過同類軟件系統(tǒng)的用戶數(shù)據(jù)來估算，這種估算可以通過類似系統(tǒng)的日志分析和問卷調(diào)查來估計。例如：假設(shè)有一個辦公自動化系統(tǒng)，該系統(tǒng)有3000個用戶，平均每天大約有400個用戶要訪問該系統(tǒng)，對一個典型用戶來說，一天之內(nèi)用戶從登錄到退出該系統(tǒng)的平均時間為4小時，在一天的時間內(nèi)，用戶只在8小時內(nèi)使用該系統(tǒng)。C=400*4/8=200C’≈200+3*sqrt(200)=242==================================C=400/10=40C’≈40*3=120（r=3）吞吐量計算方法稅務(wù)申報業(yè)務(wù)的吞吐量是以去年的數(shù)據(jù)為計算的依據(jù)。去年全年處理業(yè)務(wù)約100萬筆，其中15%的業(yè)務(wù)處理每筆業(yè)需對應(yīng)用服務(wù)器提交7次請求；70%的業(yè)務(wù)處理每筆業(yè)需對應(yīng)用服務(wù)器提交5次請求；其余15%的業(yè)務(wù)每筆業(yè)務(wù)需向應(yīng)用服務(wù)器提交3次請求。且全年的業(yè)務(wù)量集中在8個月完成，每個月20個工作日，每個工作日8個小時。每年總的請求數(shù)量為：(100*15%*7+100*70%*5+100*15%*3)*2=1000萬次/年。每天的請求數(shù)量為：1000/160=6.25萬次/天。每秒的請求數(shù)量為：(62500*80%)/(8*20%*3600)=87.719次/秒。80/20原則是在19世紀末期與20世紀初期的由意大利經(jīng)濟學家和社會學家維費烈度·柏瑞圖提出的“重要的少數(shù)與瑣碎的多數(shù)原理”。它的意思是，在任何特定的群體中，重要的因子通常只占少數(shù)，而不重要的因子則占多數(shù)，因此，只要能控制具有重要性的少數(shù)因子就能控制全局。基于業(yè)務(wù)的測試用例設(shè)計這兩類方法分別考慮了影響系統(tǒng)性能的兩個方面的內(nèi)容，可以結(jié)合起來，這就是基于業(yè)務(wù)的測試用例設(shè)計方法。例如：辦公OA系統(tǒng)的測試用例設(shè)計第1步：估算并發(fā)用戶數(shù)第2步：分析用戶業(yè)務(wù)第3步：整理測試項

（見表7-2）第4步：設(shè)計測試用例（見表7-3----表7-6）性能測試環(huán)境負載測試負載測試（LoadTesting）是指數(shù)據(jù)在超負荷環(huán)境中運行，測試軟件系統(tǒng)是否能夠承擔。這種超負荷主要是指多并發(fā)用戶。壓力測試壓力測試是指對系統(tǒng)不斷施加越來越大的負載（并發(fā)，循環(huán)操作，多用戶、網(wǎng)絡(luò)流量）的測試。壓力測試是通過確定一個系統(tǒng)的瓶頸或者不能接收的性能點，來確定系統(tǒng)能提供的最大服務(wù)級別的測試。性能測試數(shù)據(jù)生成功能https://faker.readthedocs.io/en/master/緩存引發(fā)的測試數(shù)據(jù)失效避免使用相同數(shù)據(jù)測試第三方庫（應(yīng)用）調(diào)用(例如：第三方認證）Mock第三方庫（應(yīng)用）性能測試-其它fromfakerimportFakerfake=Faker()()#'LucyCechtelar'fake.address()#'426JordyLodge#Cartwrightshire,SC88120-6700'性能測試工具工具說明及官方網(wǎng)站ApacheJMeter一款開源的性能測試工具，可以輔助插件使用。/XSeaPerfMa笨馬旗下全鏈路壓測平臺/product/xsea性能測試PTS阿里旗下的一款簡單易用，具備強大的分布式壓測能力的SaaS壓測平臺。/product/ptskylinPET廣州掌動智能科技的一款功能強大的性能測試工具

。壓測寶云智慧（北京）科技旗下的一款面向用戶體驗和全鏈路的

云壓力測試平臺/ApachebenchApacheBench是Apache服務(wù)器的一個web命令行工具壓力測試工具，簡稱ab。/NeoLoadTricentis的一種負載和性能測試工具/products/performance-testing-neoloadWebLOADWebLOAD是來自Radview公司的負載測試工具，模擬大量用戶負載，構(gòu)建復(fù)雜的場景，并識別性能瓶頸。/LoadsterLoadster是一款商用負載測試軟件，用于測試高負載下網(wǎng)站、Web應(yīng)用、Web服務(wù)的性能表現(xiàn)，支持Linux，Mac和Windows等運行環(huán)境。https://loadster.app/LocustLocust是一個易于使用、可編寫腳本且可擴展的開源性能測試工具。/locustio/locustLoadRunner（Cloud\Enterprise\Professional)MicroFocus公司性能測試工具，/zh-cn/products

易用性：UI設(shè)計需確保文字簡潔、布局合理、輸入便捷。

一致性：界面需與操作系統(tǒng)、同類軟件及行業(yè)標準保持一致。

美觀與協(xié)調(diào)性：界面應(yīng)美觀協(xié)調(diào)，符合用戶審美。

用戶動作性測試：軟件應(yīng)簡化操作、記憶用戶習慣，并提供向?qū)Ш驮诰€幫助。

獨特性：設(shè)計需體現(xiàn)軟件獨特風格。

安全性考慮：GUI需控制出錯幾率，確保輸入安全有效。7.4其他系統(tǒng)測試

7.4.1用戶界面測試7.4.2兼容性測試兼容性測試(CompatibilityTesting)即測試軟件在一個特定的硬件/軟件/操作系統(tǒng)/網(wǎng)絡(luò)等環(huán)境下的系統(tǒng)能否正常運行。目的：檢驗被測軟件對其它應(yīng)用軟件或者其它系統(tǒng)的兼容性，比如在對一個共享資源（數(shù)據(jù)、數(shù)據(jù)文件或者內(nèi)存）進行操作時，檢測兩個或多個系統(tǒng)需求能否正常工作以及相互交互使用。兼容性測試關(guān)注以下幾個問題當前系統(tǒng)可能運行在哪些不同的硬件配置的環(huán)境上？當前系統(tǒng)可能運行在哪些不同的操作系統(tǒng)環(huán)境下？當前系統(tǒng)可能需要與哪些軟件系統(tǒng)協(xié)同工作？這些軟件系統(tǒng)可能的版本有哪些？向前兼容？向后兼容？同類軟件兼容？瀏覽器兼容？等。當前系統(tǒng)可能與哪些不同類型的數(shù)據(jù)庫進行數(shù)據(jù)交換？是否需要綜合測試？兼容性包括硬件兼容、操作系統(tǒng)兼容、軟件之間兼容、數(shù)據(jù)之間兼容。7.4.3其他測試類型1.健壯性測試健壯性即測試軟件系統(tǒng)在異常情況下能否正常運行的能力。健壯性有兩層含義一是容錯能力二是恢復(fù)能力2.安裝/卸載測試安裝/卸載測試是對軟件的全部、部分或升級安裝/卸載處理過程的測試。其目的是檢測系統(tǒng)的各類安裝（如的典型、全部、自定義、升級等）和卸載是否全面，完整、是否會影響到其它的軟件系統(tǒng)、硬件的配置是否合理。3.疲勞測試疲勞測試是指在一段時間內(nèi)(經(jīng)驗上一般是連續(xù)72小時)保持系統(tǒng)功能的頻繁使用，檢查系統(tǒng)是否發(fā)生功能或者性能上的問題。3.4.可用性測特定用戶對所用產(chǎn)品在某一特定使用范疇內(nèi)有效、高效和滿意地實現(xiàn)預(yù)期目標的程度。7.4.3其他測試類型5.可靠性測試可靠性是指在一定的環(huán)境下、在給定的時間內(nèi)、系統(tǒng)不發(fā)生故障的概率。6.強度測試強度測試是檢查程序?qū)Ξ惓Ｇ闆r的抵抗能力。強度測試總是迫使系統(tǒng)在異常的資源配置下運行。7.4.3其他測試類型7.容量測試容量測試是檢驗系統(tǒng)的能力最高能達到什么程度。容量測試是面向數(shù)據(jù)的，是在系統(tǒng)正常運行的范圍內(nèi)測試，并確定系統(tǒng)能夠處理的數(shù)據(jù)容量，也就是觀察系統(tǒng)承受超額的數(shù)據(jù)容量的能力。8.配置測試配置測試是指不同的硬件配置下，在不同的操作系統(tǒng)和應(yīng)用軟件環(huán)境中，檢查系統(tǒng)是否發(fā)生功能或者性能上的問題。從而了解不同環(huán)境對系統(tǒng)性能的影響程度，找到系統(tǒng)各項資源的最優(yōu)分配。一般需要建立測試實驗室。7.4.3其他測試類型7.4.3其他測試類型9.文檔測試文檔測試是對系統(tǒng)提交給用戶的文檔進行驗證，它要求檢查系統(tǒng)的文檔是否齊全，檢查是否有多余文檔或者死文檔，檢查文檔內(nèi)容是否正確、規(guī)范、一致。通過文檔測試保證用戶文檔的正確性并使得操作手冊能夠準確無誤。文檔的種類包括聯(lián)機幫助文檔或用戶手冊，指南和向?qū)?，安裝、設(shè)置指南，示例及模板，錯誤提示信息，用于演示的圖像和聲音，授權(quán)/注冊登記表及用戶許可協(xié)議，軟件的包裝、廣告宣傳材料等。7.5Web系統(tǒng)的測試

7.5.1We