《測試技術(shù)與應(yīng)用》PPT課件.ppt

1、1,軟 件 測 試 技 術(shù),2,第五章 測試技術(shù)與應(yīng)用,5.1 系統(tǒng)測試技術(shù) 5.2 測試技巧 5.3 Web系統(tǒng)測試要點,3,5.1 系統(tǒng)測試技術(shù),系統(tǒng)測試是針對整個產(chǎn)品系統(tǒng)進(jìn)行的測試，目的是驗證系統(tǒng)是否滿足了需求規(guī)格的定義，找出與需求規(guī)格不相符合或與之矛盾的地方。 系統(tǒng)測試的對象不僅僅包括需要測試的產(chǎn)品系統(tǒng)的軟件，還要包含軟件所依賴的硬件、外設(shè)等。 系統(tǒng)測試最重要的是功能測試和性能測試。 除了功能測試和性能測試，在系統(tǒng)測試過程中，還有可能進(jìn)行一些其它的測試工作，例如：兼容性測試、可用性測試、安全測試、安裝測試。,4,5.1.1 功能測試,功能測試的目的是保證軟件的功能符合軟件需求，是各種測

2、試的基礎(chǔ)和起點。 功能測試的依據(jù)是需求文檔。 功能測試的基本方法是構(gòu)造一些合理輸入，檢查輸出是否與期望的相同。 功能測試一般以黑盒測試的方式進(jìn)行，通常采用等價類劃分和邊界值分析方法。,5,在進(jìn)行功能測試時，需要把輸入分為典型值、邊界值和異常值來處理。 在進(jìn)行功能測試時，測試人員往往需要了解該軟件的行業(yè)背景。,6,5.1.2 錯誤處理測試,健壯性是軟件質(zhì)量的一個重要因素。錯誤處理測試是檢查軟件在面對錯誤時，是否進(jìn)行了正確的處理。 錯誤測試的目的是要發(fā)現(xiàn)軟件是否做了用戶不期望的事情、發(fā)現(xiàn)軟件在發(fā)生異常的時候是否有能力進(jìn)行處理。 測試人員需要以否定的態(tài)度來思考問題。 在錯誤處理測試中發(fā)現(xiàn)的部分問題可

3、能不會被修復(fù)。,7,典型的異常情況： 用戶輸入非法數(shù)據(jù) 在系統(tǒng)不支持的平臺上運行 網(wǎng)絡(luò)連接異常 數(shù)據(jù)文件（或者數(shù)據(jù)庫）被破壞，數(shù)據(jù)文件（數(shù)據(jù)庫）中有混亂的數(shù)據(jù) 計算機(jī)斷電后啟動 在用戶界面上的違反操作步驟的操作,8,非法的數(shù)據(jù)主要包括： 不輸入數(shù)據(jù) 輸入無效數(shù)字?jǐn)?shù)據(jù)，如負(fù)數(shù)和字母數(shù)字串 輸入任何被認(rèn)為是非法的數(shù)據(jù)類型格式 嘗試不常用的數(shù)據(jù)組合 確保使用零值 輸入超過或者短于要求長度的數(shù)據(jù),9,破壞環(huán)境的測試包括： 異常中斷應(yīng)用程序 斷開電纜連接 軟件運行過程中，關(guān)閉計算機(jī)電源,10,5.1.3 內(nèi)存泄露測試,內(nèi)存泄漏是一種典型的程序缺陷，導(dǎo)致應(yīng)用程序不斷消耗系統(tǒng)內(nèi)存（或虛擬存儲器），使程序運行

4、出現(xiàn)響應(yīng)變慢、某些功能無法實現(xiàn)，甚至整個系統(tǒng)癱瘓等問題。 在某些語言（如C/C+語言）編寫的程序中，內(nèi)存泄露是一個極其普遍的問題。 內(nèi)存泄露測試可采用靜態(tài)測試和動態(tài)測試技術(shù)。 Compuware公司的BoundChecker，Rational的Purify就是一種典型的內(nèi)存泄露檢查工具。,11,5.1.4 用戶界面測試,圖形用戶界面測試和評估的重點是正確性、易用性和視覺效果。 界面中的文字檢查和拼寫檢查也是用戶界面測試的重要環(huán)節(jié)。 用戶界面測試的過程中，有時要依賴于測試人員的主觀判斷。,12,用戶界面測試的基本原則： 易用性原則 規(guī)范性原則 合理性原則 美觀與協(xié)調(diào)性原則 菜單位置原則 獨特性原

5、則 快捷方式的組合原則 排錯性考慮原則 多窗口的應(yīng)用與系統(tǒng)資源原則,13,用戶界面測試用例,14,15,16,5.1.5 性能測試,性能測試包含并發(fā)性能測試、強(qiáng)度測試、破壞性測試等。 并發(fā)性能測試是評估系統(tǒng)交易或業(yè)務(wù)在漸增式并發(fā)情況下處理瓶頸以及能夠接收業(yè)務(wù)的性能過程。 強(qiáng)度測試是在資源情況低的情況下，找出因資源不足或資源爭用而導(dǎo)致的錯誤。 破壞性測試重點關(guān)注超出系統(tǒng)正常負(fù)荷若干倍的情況下，錯誤出現(xiàn)狀態(tài)和出現(xiàn)比率以及錯誤的恢復(fù)能力。,17,性能測試可以通過黑盒測試或者白盒測試方法來進(jìn)行。,何時需要性能測試？,18,軟件中某個模塊涉及到復(fù)雜的計算，特別是一些基于人工智能的分析 涉及到大量數(shù)據(jù)的讀

6、寫、通訊 涉及到數(shù)據(jù)檢索，而被檢索的數(shù)據(jù)，具有很大的數(shù)據(jù)量 具有多個并發(fā)用戶 軟件在運行時，可用資源（特別是CPU和內(nèi)存）可能在某些情況下很緊張。例如一些嵌入式系統(tǒng)軟件,19,如何進(jìn)行性能測試？,20,性能測試步驟： 確定明確的測試目標(biāo) 測試需求分析：主要目的是挖掘出可能造成系統(tǒng)瓶頸的因素 測試用例設(shè)計 腳本開發(fā)數(shù)據(jù)的準(zhǔn)備以及測試執(zhí)行與監(jiān)控 測試分析,21,項目背景： 公司的客戶信息系統(tǒng)，主要完成錄入、 修改以及查詢?nèi)蚩蛻舻男畔ⅲ⒖蛻粜畔⑥D(zhuǎn)入到業(yè)務(wù)系統(tǒng)。,性能測試分析,22,性能測試分析,確定測試目標(biāo) 在相同系統(tǒng)環(huán)境配置下30個并發(fā)用戶在15秒鐘內(nèi)完成各類在線操作。 測試需求分析 應(yīng)用配

7、置需求: 例如應(yīng)用整體框架、涉及到哪些第三方的組件、應(yīng)用層與數(shù)據(jù)庫層的接口、使用了什么數(shù)據(jù)庫等。 系統(tǒng)配置需求: 例如用戶客戶端配置、客戶端與服務(wù)器端的網(wǎng)絡(luò)配置、應(yīng)用服務(wù)器或數(shù)據(jù)庫服務(wù)器操作系統(tǒng)等。 用戶使用情況需求: 例如用戶分布情況; 哪些模塊用戶使用比較頻繁; 在用戶操作的數(shù)據(jù)有哪些特點等。,23,測試需求如下： Web Server Iplanet6.5 第三方組件 ORM Tool :hiberate 數(shù)據(jù)庫 Sybase12.5 用戶分布 亞洲、歐洲、北美 模塊使用情況:錄入新客戶信息、修改客戶信息以及很多客戶查詢 數(shù)據(jù)量情況：70%的客戶資料比較少，有30%的客戶是1012點（都

8、按照北京時間計算），這些較復(fù)雜。 用戶操作情況：上午910點、下午45點以及晚上1012點（都按照北京時間計算）這些時刻比較頻繁 網(wǎng)絡(luò)配置 通過專網(wǎng)（帶寬在130M,24,3測試用例設(shè)計：主要是根據(jù)測試需求分析的結(jié)果制定出在測試執(zhí)行時系統(tǒng)的執(zhí)行方法。應(yīng)考慮以下問題： 虛擬用戶的操作步驟要盡量類似于真實用戶的操作。 操作的數(shù)據(jù)要類同于真實用戶實際使用數(shù)據(jù)，例如在用戶錄入客戶信息時，根據(jù)需求得到的結(jié)果，可以設(shè)計有34個虛擬用戶在錄入一些小客戶的信息，12個虛擬用戶在錄入大客戶的信息等。 在設(shè)計時要充分考慮到需求中用戶對模塊的使用頻率。使得在模擬時每個模塊使用情況盡量地類似于真實環(huán)境。,25,4腳本

9、開發(fā)數(shù)據(jù)的準(zhǔn)備以及測試執(zhí)行與監(jiān)控 數(shù)據(jù)準(zhǔn)備一定要關(guān)注數(shù)據(jù)的質(zhì)量和數(shù)量，不要出現(xiàn)一些不符合業(yè)務(wù)邏輯的廢數(shù)據(jù)，并且數(shù)據(jù)量要滿足測試運行的需要。例如測試需要100組數(shù)據(jù)，但是實際只準(zhǔn)備了50組，從而導(dǎo)致測試執(zhí)行結(jié)果出現(xiàn)大的偏差。 在此過程中如果有測試工具能夠滿足測試要求，那么應(yīng)盡量使用測試工具,5測試分析 測試分析的主要目的是要根據(jù)測試執(zhí)行獲取到的數(shù)據(jù)去判斷造成系統(tǒng)出現(xiàn)瓶頸的位置，挖掘造成系統(tǒng)瓶頸的真正原因。 盡量使用一些比較成熟的工具協(xié)助分析工作，這樣將大大減輕工作負(fù)擔(dān)。 在確定出真正的性能瓶頸時，可以做一些小的測試模型去做驗證，確定分析的正確性。,26,5.1.6 安全測試,系統(tǒng)環(huán)境安全包括了物

10、理設(shè)備安全和軟件安全。 安全測試的目的是為了發(fā)現(xiàn)軟件中存在的安全漏洞。 安全測試重點：分析系統(tǒng)的安全隱患，為非法入侵設(shè)立目標(biāo)，例如盜竊某個文件、修改用戶權(quán)限、更改數(shù)據(jù)庫記錄等。,27,安全需要測試人員有足夠的能力去分析系統(tǒng)的安全隱患,安全性測試用例的參考模板,28,5.1.7 壓力測試,壓力測試也叫負(fù)荷測試，即獲取系統(tǒng)能正常運行的極限狀態(tài)。 壓力測試用于檢查軟件在面對大數(shù)據(jù)量時是否可以正常運行。 大數(shù)據(jù)量，往往是發(fā)生概率比較小的情況。 壓力測試所涉及的方面主要包括：數(shù)據(jù)庫大小、磁盤空間、可用內(nèi)存空間、數(shù)據(jù)通信量。,29,壓力測試用例的參考模板,30,5.1.8 安裝與卸載測試,安裝測試應(yīng)該考慮

11、以下方面： 測試各種不同的安裝組合，并驗證各種不同組合的正確性 安裝退出之后，確認(rèn)應(yīng)用程序可以正確啟動、運行。 在安裝之前備份注冊表，安裝之后，察看注冊表中是否有多余的垃圾信息。 至少要在一臺筆記本上進(jìn)行安裝測試 安裝完成之后，可以在簡單地使用之后再執(zhí)行卸載操作 對于客戶服務(wù)器模式的應(yīng)用系統(tǒng)，可以先安裝客戶端，然后安裝服務(wù)器端，測試是否會出現(xiàn)問題。 考察安裝該系統(tǒng)是否對其他的應(yīng)用程序造成影響,31,5.1.9 升級測試,升級測試包括兩個方面：軟件本身的升級；軟件運行環(huán)境升級。 軟件的升級測試需要對軟件重新進(jìn)行功能、性能等方面的測試工作。,32,5.1.10 兼容性測試,兼容性測試是為了檢驗程序

12、與很多可能的硬件和系統(tǒng)軟件配置之間的兼容情況。 在進(jìn)行兼容性測試時，需要得到一份軟件的兼容性列表，主要考慮：,操作系統(tǒng)兼容性 瀏覽器兼容性 其它的軟件兼容 硬件兼容 帶寬限制/網(wǎng)絡(luò)環(huán)境兼容性,33,5.1.11 冒煙測試,冒煙測試(Smoke Testing)的目的是檢查版本的基本功能。 冒煙測試所進(jìn)行的是一系列對于該軟件比較核心的測試，一般從測試用例中選擇一部分核心的作為冒煙測試時所使用的測試用例。,34,5.1.12 文檔測試,文檔測試主要對產(chǎn)品手冊、用戶手冊、幫助文件等技術(shù)文檔進(jìn)行測試。 文檔測試中常見錯誤：,文字錯誤、語法錯誤、拼寫錯誤 所描述的操作步驟有遺漏 所描述的功能或者操作步驟

13、錯誤,35,5.2 測試技巧,植入缺陷，就是在測試前向程序中植入一些缺陷 植入缺陷的目的是為了估計軟件中還有多少剩余的缺陷。 假設(shè)植入缺陷的數(shù)目是Ns，通過測試，發(fā)現(xiàn)了n1個植入的缺陷，發(fā)現(xiàn)了n2個軟件固有的缺陷，那么，軟件中固有缺陷的估算值(N0)為： N0 = n2 * Ns / n1 軟件中殘余缺陷的估算值則為 ：N0 n2,5.2.1 植入缺陷,36,回歸測試是指對某些已經(jīng)被測試過的內(nèi)容進(jìn)行重新測試。,5.2.2 回歸測試,軟件增加后影響軟件的結(jié)構(gòu)。 軟件修改考慮不周，引入問題。,為何需要回歸測試？,37,每改動一次都需要回歸測試？,測試人員可以按照實際情況選擇回歸策略： 每兩周需要進(jìn)

14、行一次完整的回歸測試 當(dāng)修復(fù)的缺陷數(shù)量累計到50個時，進(jìn)行一次完整的回歸測試 在產(chǎn)品遞交用戶前5個工作日，進(jìn)行完成的回歸測試,回歸測試通?？梢允褂米詣踊瘻y試工具。,38,5.3 Web系統(tǒng)測試要點,Web應(yīng)用系統(tǒng)的測試重點：性能、兼容性、安全性、正確性。 Web應(yīng)用系統(tǒng)可以分為服務(wù)器端測試和客戶端測試兩個部分。 服務(wù)端重點需要進(jìn)行的測試內(nèi)容：性能測試、負(fù)載測試和安全測試。 客戶端重點需要進(jìn)行的是兼容性測試。 Web應(yīng)用系統(tǒng)在進(jìn)行負(fù)載測試時，通常主要關(guān)注：并發(fā)用戶數(shù)量 、吞吐量,39,Web系統(tǒng)測試實例,項目背景：某官方網(wǎng)站進(jìn)行的系統(tǒng)級的測試。 項目需求： 主要功能包括相關(guān)信息的收集、發(fā)布以及與

15、廣大互聯(lián)網(wǎng)用戶之間的信息交互。系統(tǒng)共由內(nèi)容管理、WebGuard網(wǎng)頁防篡改、客戶關(guān)系、全文檢索、方案征集、嘉賓聊天、XX人才、通用留言板、索票、網(wǎng)上投票、文字直播、內(nèi)容過濾、咨詢等13個子系統(tǒng)組成。 其中內(nèi)容管理、WebGuard網(wǎng)頁防篡改、全文檢索、內(nèi)容過濾這四個子系統(tǒng)，面向后臺管理用戶，均采用C/S架構(gòu)。其余子系統(tǒng)采用B/S架構(gòu)。 各子系統(tǒng)分別部署在windows和Linux操作平臺上。,40,項目環(huán)境要求：(C/S),41,42,測試要點分析： 從功能測試的角度來說，不但需要檢查和驗證系統(tǒng)是否按照設(shè)計的要求實現(xiàn)了各項功能，而且還要測試系統(tǒng)在不同類型的瀏覽器端的顯示是否合適。 Web系統(tǒng)對

16、于用戶界面（也就是頁面）的要求也遠(yuǎn)遠(yuǎn)超過了傳統(tǒng)的C/S架構(gòu)的軟件，更加關(guān)注頁面的視覺效果，因此，Web頁面設(shè)計是否合理，風(fēng)格是否統(tǒng)一，是否方便用戶瀏覽也是功能測試需要關(guān)注的一個方面。 從性能測試的角度來說， Web系統(tǒng)將所有的功能操作均盡可能的放在后臺的服務(wù)器端進(jìn)行處理，這使得服務(wù)器端的性能至關(guān)重要，這也是系統(tǒng)是否會產(chǎn)生性能瓶頸的一個關(guān)鍵所在。 Web系統(tǒng)受其自身事務(wù)處理模式所決定，瀏覽器端必須通過網(wǎng)絡(luò)，很多時候是通過公眾互聯(lián)網(wǎng)，與服務(wù)器端進(jìn)行數(shù)據(jù)的傳遞與交互。這就使得對數(shù)據(jù)進(jìn)行加密保護(hù)，防止信息在傳輸過程中泄露，成為了當(dāng)務(wù)之急；同時面向廣大外部用戶的Web系統(tǒng)，極易受到來自網(wǎng)絡(luò)上的攻擊，系統(tǒng)

17、一旦出現(xiàn)安全漏洞，就很有可能被外來者利用，因此， Web系統(tǒng)（尤其是電子商務(wù)系統(tǒng)）對安全的要求，遠(yuǎn)比一般系統(tǒng)要高。對Web系統(tǒng)的安全性測試，也將重點圍繞這兩點展開。,43,測試內(nèi)容 功能測試 性能測試 安全性測試 兼容性測試,44,功能測試 頁面鏈接測試 表單測試 Cookies測試 內(nèi)容測試 整體界面測試 功能驗證測試,45,性能測試 并發(fā)性測試 服務(wù)器性能監(jiān)測,46,并發(fā)性測試 并發(fā)瀏覽測試 并發(fā)查詢測試 并發(fā)注冊測試 并發(fā)登錄測試 文字直播并發(fā)測試 通用留言板并發(fā)測試 咨詢系統(tǒng)并發(fā)測試 方案征集并發(fā)測試,47,運行狀態(tài)監(jiān)測：監(jiān)測相關(guān)服務(wù)器的以下性能指標(biāo) cpu 內(nèi)存使用情況 磁盤讀寫 特定應(yīng)用系統(tǒng)的檢測（oracle）,網(wǎng)絡(luò)監(jiān)測：監(jiān)測相關(guān)服務(wù)器的以下性能指標(biāo) 最大利用率 平均幀速 幀的平均長度 幀總數(shù) 字節(jié)總數(shù) 沖突總數(shù),48,安全性測試 應(yīng)用層緩沖區(qū)溢出（壓力測試）； cookie安全使用狀況