非功能性測試指南.doc

非功能性測試指南 上海銀行信息技術部測試管理實施方案1 14Ver 1 0 非功能性測試指南非功能性測試指南 文檔名稱文檔名稱 非功能性測試指南非功能性測試指南 狀態(tài)狀態(tài) 初始版本初始版本 版本號版本號 1 01 0 版本提交日期版本提交日期 2012 08 132012 08 13 非功能性測試指南 Page 2 of 14 文檔信息文檔信息 項目名稱項目名稱上海銀行測試體系咨詢上海銀行測試體系咨詢文檔版本編號文檔版本編號 1 01 0 起草人起草人張紅輝張紅輝文檔版本日期文檔版本日期 2010 3 312010 3 31 復審人復審人復審日期復審日期 變變更更記錄記錄 版本號版本號更新內容更新內容更新日更新日更新者更新者 1 0 初始版本 2010 3 31 張紅輝 審批人審批人 簽字簽字姓名姓名角色角色審批日審批日批語批語 評審記錄評審記錄 評審人姓名評審人姓名評審日期評審日期評審相關文檔部分評審相關文檔部分評審建議評審建議作者對評審意見的回應作者對評審意見的回應 非功能性測試指南 Page 3 of 14 目目 錄錄 1目的和范圍目的和范圍 4 2術語和縮寫術語和縮寫 4 3參考資料參考資料 4 4角色角色對應關系對應關系 5 5非功能性測試類型及其測試方法非功能性測試類型及其測試方法 5 5 1安全性測試 5 5 2安裝測試 8 5 3配置和兼容性測試 8 5 4易用性測試 9 5 5數(shù)據和數(shù)據庫完整性測試 11 5 6接口測試 11 5 7文檔測試 12 5 8失效恢復測試 13 非功能性測試指南 Page 4 of 14 1 目的和范圍目的和范圍 本文檔闡述了常用的非功能性測試類型及其測試方法 供相關測試人員安排測 試計劃 設計測試和執(zhí)行測試時參考 功能測試 回歸測試和性能測試不在本文檔 討論范圍 另有專門文檔討論 本文檔適用于上海銀行信息技術部所有測試服務的非功能性測試工作 2 術語和縮寫術語和縮寫 術語術語和和縮縮寫寫解解釋釋備備注注 安全性測試測試應用或系統(tǒng)的安全機制 安裝測試測試被測軟件在各種需要的軟硬件配置下 能正確安裝 配置 兼容性測試測試被測軟件在各種需要的軟硬件配置下 能正確運行 易用性測試考慮軟件使用時人的因素和感受 數(shù)據和數(shù)據庫完整 性測試 測試數(shù)據存取方法和過程等能正確運行 在整個數(shù)據操作過程中和結束后沒有數(shù)據被破 壞 接口測試測試內部單元組合到一起后能夠按照設計的意 圖協(xié)作運行 接口的調用正確 文檔測試驗證發(fā)布的軟件產品中的文檔的正確性 尤其 對與用戶相關的文檔 失效恢復測試測試被測軟件能成功地從硬件 軟件或網絡故 障中失效恢復而不會有數(shù)據的丟失 3 參考資料參考資料 參考文件參考文件備備注注 TMMi Framework v2 0Produced by the TMMi Foundation 上海銀行信息技術部 ISO90012009 09 版 發(fā)布版 非功能性測試指南 Page 5 of 14 4 角色角色對應關系對應關系 角色角色對應對應關系關系 業(yè)務人員來自產品開發(fā)部 業(yè)務部門的業(yè)務需求發(fā)起者 測試需求分析人員通常由信息技術部指派 測試組長通常由信息技術部指派 測試設計人員通常由信息技術部指派 測試執(zhí)行人員通常由信息技術部指派 開發(fā)組長通常由信息技術部指派 5非功能性測試類型及其測試方法非功能性測試類型及其測試方法 5 1安全性測試安全性測試 軟件安全性輕則造成操作的不方便 重則造成數(shù)據的破壞或丟失甚至系統(tǒng)的崩 潰和人身的安全 因此 軟件安全性是一個不容忽視的重要問題 我們可以簡單地 把軟件的安全性作為一個或多個特定的功能來考慮 從而在軟件生命周期的早期就 加以考慮 為了幫助設計一個安全的信息系統(tǒng) 在產品設計的最開始就必須注意安全的問 題 比如需求中應有安全性的相關項目 設計和代碼評審應有專門針對安全性的內 容等等 然后才是測試 測試員僅僅能測試驗證軟件的安全性 當然 對于沒有在 軟件需求書上標明的可能影響系統(tǒng)運行安全的隱性需求測試人員也要努力的發(fā)現(xiàn) 這也是一個有經驗的安全性測試人員的可貴之處 當然 理論上沒有任何一個信息系統(tǒng)是安全的 因為只要進行攻擊 任何系統(tǒng) 都能被攻破 只不過付出的代價的大小 而我們一般說某個信息系統(tǒng)是安全的就是 基于如果要攻破該系統(tǒng)所必須付出的代價要高于或遠遠高于攻破系統(tǒng)后獲得的利益 測試目標測試應用或系統(tǒng)的安全機制 保證系統(tǒng)運行和使用的安全性 測試策略采取靜態(tài)分析技術和功能測試兩種方式攔截系統(tǒng)開發(fā)時存在的漏洞 軟件生命周期早期的代碼 設計評審 由開發(fā)人員完成 對軟件安全 性的提高非常有效和重要 可以人工評審和自動化工具結合的方法進 行 非功能性測試指南 Page 6 of 14 更詳細的測試策略描述請參看下文軟件安全性測試詳細策略參考 測試重點考 慮 相關信息安全法律法規(guī)的要求 測試環(huán)境 網絡安全 日志評審 文件完整性檢查 系統(tǒng)軟件安全 客戶端應用安全 客戶端到服務端應用通訊安全 服務端應用安全 測試通過準 則 應用滿足和符合采用的安全機制 在應用規(guī)定的程度上能保證系統(tǒng)正 常運行和安全使用 軟件安全性測試詳細策略參考 軟件安全性測試詳細策略參考 軟件安全性測試包括應用軟件 網絡系統(tǒng) 數(shù)據庫和系統(tǒng)軟件安全性測試 根 據系統(tǒng)安全指標不同測試策略也不同 1 用戶認證安全的測試要考慮問題 系統(tǒng)中是否有不同的用戶使用權限 系統(tǒng)會不會因用戶的權限的改變造成混亂 系統(tǒng)中會不會出現(xiàn)用戶沖突 用戶登陸密碼是否可見 可復制 是否可以通過絕對路徑登陸系統(tǒng) 拷貝用戶登陸后的鏈接直接進入系統(tǒng) 用戶退出系統(tǒng)后是否刪除了所有鑒權標記 是否可以使用后退鍵而不通 過輸入口令進入系統(tǒng) 2 應用方面安全的測試要考慮問題 緩沖區(qū)溢出 無效的數(shù)據類型 非功能性測試指南 Page 7 of 14 關鍵信息是否采用加密技術 是否可以通過絕對路徑進入系統(tǒng) 使用的端口號 遠程進入服務 如有 文件完整性檢查 日志評審 模擬黑客攻擊 3 系統(tǒng)網絡安全的測試要考慮問題 物理連接上的安全 包括無線部分 如有 防火墻 防病毒軟件的安全 測試采取的防護措施是否正確裝配好 有關系統(tǒng)的補丁是否打上 模擬非授權攻擊 看防護系統(tǒng)是否堅固 采用成熟的網絡漏洞檢查工具檢查系統(tǒng)相關漏洞 入侵網絡監(jiān)察系統(tǒng)和防護系統(tǒng) 采用各種木馬檢查工具檢查系統(tǒng)木馬情況 采用各種防外掛工具檢查系統(tǒng)各組程序的外掛漏洞 4 數(shù)據庫安全考慮問題 系統(tǒng)數(shù)據是否機密 系統(tǒng)數(shù)據的完整性 系統(tǒng)數(shù)據可管理性 系統(tǒng)數(shù)據的獨立性 系統(tǒng)數(shù)據可備份和恢復能力 數(shù)據備份是否完整 可否恢復 恢復是否 可以完整 5 系統(tǒng)級別軟件安全考慮問題 系統(tǒng)級別軟件 如操作系統(tǒng) 數(shù)據庫系統(tǒng)和中間件系統(tǒng)等 是否最新的 尤其如果使用開源軟件或免費軟件 系統(tǒng)軟件是否有相應的補丁 尤其是安全性方面的補丁包 非功能性測試指南 Page 8 of 14 從安全性考慮 系統(tǒng)級別軟件是否是最可靠的 如使用 Tomcat 還是 Weblogic 從安全性考慮 系統(tǒng)級別軟件是否匹配應用設計技術 5 2安裝測試安裝測試 安裝測試有兩個目的 第一個目的是確保軟件能夠在不同的條件下進行安裝 例如 首次安裝 升級安裝 完整或自定義安裝 在正常和異常條件下的安裝 異 常條件例如磁盤空間不足 安裝用戶缺少目錄創(chuàng)建權限等 第二個目的是驗證軟件 在安裝后能正確操作 這通常意味著要運行大量為功能測試開發(fā)的測試用例 建議對于安裝測試 其重點應該放在第一個目的上 對于第二個目的可以根據 需要和實際情況穿插在后續(xù)的測試 如冒煙測試 功能測試中體現(xiàn) 測試目標驗證被測軟件在各種需要的軟硬件配置下正確安裝 包括下列情況 新安裝 一新的機器 先前從未安裝過該軟件 更新 該機器先前安裝過該軟件同樣的版本 更新 該機器先前安裝過該軟件的老版本 測試策略手工或自動化 不管是手工安裝還是自動化腳本安裝 都要嚴格按照用戶安裝手冊規(guī) 定的操作步驟進行 測試重點考 慮 有沒有安裝手冊 對于第二個目的的安裝測試 怎樣選取預先規(guī)定的功能測試的子集 測試通過準 則 對于第一個目的 確保軟件能夠在不同的條件下進行安裝 成功的安 裝應該是在整個安裝過程中和安裝完成后沒有任何異常錯誤出現(xiàn) 能 成功登錄該應用 對于第二個目的 驗證軟件在安裝后能正確操作 這個需要運行預先 規(guī)定的一功能測試的子集 5 3配置和兼容性測試配置和兼容性測試 配置和兼容性測試驗證被測軟件在不同的軟硬件配置下的操作和表現(xiàn) 非功能性測試指南 Page 9 of 14 在大多數(shù)生產環(huán)境中 特定的硬件規(guī)格 如客戶端工作站 網絡情況 服務器 配置甚至型號都會不同 另外 不同客戶端工作站上也許有不同的軟件負載 如不 同的應用軟件 不同的瀏覽器 瀏覽器的不同版本的插件 驅動程序等等 甚者不 同的操作系統(tǒng) 如 Windows XP Windows Vista 等等 服務器軟件也會不一致 如 數(shù)據庫軟件 如 Oracle Microsoft SQLServer 中間件軟件等等 該類測試對產品顯得尤其重要 對于項目來說也有巨大的指導作用 如項目經 理為了最優(yōu)化配置 從成本和實用的角度等 就需要進行不同軟硬件情況下的配 置和兼容性測試 該類測試也往往和性能測試相結合以決定在不同軟硬件情況下的 最優(yōu)化配置 如從成本和實用的角度等 測試目標驗證被測軟件在各種需要的軟硬件配置下能正確運行 測試策略使用功能測試腳本 首先 針對一特定硬件配置下 打開和關閉許多和被測軟件無關的 但和被測軟件共同在同 一機器上的其它許多軟件 如同機上的 Microsoft 應用軟件 Excel 或 Word 等等 如果有 可以在測試過程中和測試前就 打開 在此基礎上執(zhí)行相應的功能測試 測試重點考 慮 硬件配置情況復雜多樣 使用哪些硬件配置呢 建議最好做些調研 如考慮目標用戶或最終用戶的使用習慣和經濟承受能力 打開哪些和被測軟件無關的 但和被測軟件共同在同一機器上的其它 許多軟件 建議最好做些調研 如考慮目標用戶或最終用戶會使用哪 些其它的常用軟件 尤其在使用目標軟件時往往同時會打開或使用的 軟件 測試通過準 則 在某一特定的硬件配置下 在許多和被測軟件無關的 但和被測軟件 共同在同一機器上的其它許多軟件運行或使用情況下 相應的功能測 試沒有失敗 5 4易用性測試易用性測試 易用性是人類工程學的目標 軟件的易用性是一個比較有特點的問題 會隨著 具體產品或項目的特征和要求而有巨大差異 比如手機軟件和一般 Windows 平臺 下的軟件易用性相差很大 又如一核反應堆的關閉序列和一語音信箱的菜單系統(tǒng)的 非功能性測試指南 Page 10 of 14 易用性有著天壤之別 即使對于同一個軟件 不同的用戶也會有不同的感受 當然 我們也不是說對軟件的易用性就毫無測試辦法和標準 對于同一類軟件還是有它的 通用性可言的 因此下面嘗試從一些比較通用的方面討論之 易用性主要考慮軟件使用時人的因素和感受 因此我們先介紹兩個概念 用戶 與程序相互交互的介質稱為用戶接口 User Interface UI 用戶接口對不同軟件 種類也會有巨大的差異 對于 PC 來說 我們現(xiàn)在有了精致的完善的圖形用戶接口 Graphical User Interface GUI 很快我們可以對著我們的 PC 聽和說 那時又 會有新的 UI 另外 Accessibility testing 也屬于易用性測試范疇 這種測試一般針對對軟件 有特殊要求的群體 比如部分殘疾人 測試目標考慮軟件使用時人的因素和感受 測試策略使用功能測試腳本 對于一些比較通用的規(guī)則可以制成檢查表的形式 測試重點考 慮 遵守通用的標準和指導方針 如 Windows 平臺下的軟件應和 Windows 平臺的風格一致 而 Mac 平臺下的軟件顯然應該和 Mac 平臺的風格一致 直覺的 如用戶界面是干凈的 不多余的 用戶界面是經過 良好組織和布局的 一致性 如快捷鍵和菜單選項間 術語和命名 確認和取消 按鈕的位置布局等 靈活性 如用戶希望能手工鍵入 粘貼 插入文件內容等方 式作為輸入方法 舒服的 如較長時間的等待應有進度條提示 一般情況下程 序應有較快的反應 但也不是絕對的 舉個例子 高性能就一定 好嗎 未必如此 例如當快速的連提示信息或出錯信息都不能看 清時用戶反而會覺得很不舒服 正確的 例如拼寫 圖標是否有同樣的大小和背景 還有是 否所見即所得 WYSIWYG what you see is what you get 有用的 沒有大量的過量功能 這個特征尤其在產品上表現(xiàn) 突出 用戶往往要面對大量的無用的或者不需要的功能 非功能性測試指南 Page 11 of 14 測試通過準 則 該類測試對于不同產品和項目有較大的差異性 因此尤其要加強對該 類測試用例的評審 在業(yè)務人員 設計人員等一致同意的基礎上進行 測試 測試人員也要關注軟件需求中應有該方面的相關描述 5 5數(shù)據和數(shù)據庫完整性測試數(shù)據和數(shù)據庫完整性測試 在整個系統(tǒng)測試過程中 數(shù)據庫和數(shù)據庫過程應作為系統(tǒng)的子系統(tǒng)進行測試 這些測試不使用用戶界面作為數(shù)據進入界面進行測試 對不同的數(shù)據庫管理系統(tǒng) 可能存在不同的工具和技術 如 Oracle 和 Microsoft SQLServer 測試目標保證數(shù)據存取方法和過程正確運行 在整個數(shù)據操作過程中和結束后 沒有數(shù)據破壞 測試策略使用有效的和無效的數(shù)據或數(shù)據的請求調用各個數(shù)據庫存取方法和過 程 檢查數(shù)據庫保證數(shù)據正如預期地進入 所有的數(shù)據庫事件正確地發(fā)生 或者檢查數(shù)據保證對于正確的請求取得正確的數(shù)據 測試重點考 慮 測試也許需要一個 DBMS 開發(fā)環(huán)境或驅動程序以便在數(shù)據庫中直接 進入或更改數(shù)據 確定哪些數(shù)據存取方法和數(shù)據過程重點測試 測試的先后順序 測試通過準 則 所有的數(shù)據庫存取方法和過程正如設計要求一樣運行 沒有任何的數(shù) 據破壞 5 6接口測試接口測試 在集成測試過程中 接口測試顯得特別重要 首先要確認被測軟件是否集成了 規(guī)定的單元或子系統(tǒng) 外部系統(tǒng) 如有 其次 對相應的接口要進行詳細的測試 最后也應該對集成后的所有功能進行相應的測試以確保集成后整個系統(tǒng)功能的正確 性 當然這一步屬于功能測試的范疇 本文不予討論 測試目標確保 測試需求 中對應的所有工作版本的內部單元組合到一起后能夠 按照設計的意圖協(xié)作運行 接口的調用正確 非功能性測試指南 Page 12 of 14 測試策略使用功能測試腳本 按照設計規(guī)范 對所有接口設計相應的測試用例進行手工或自動化測 試 包括系統(tǒng)內部接口和外部接口 尤其注意和第三方的軟硬件接口 如有 測試重點考 慮 測試的順序性 數(shù)據是否能正確傳遞 接口之間的調用 狀態(tài)的變化是否正確 如有 接口之間的異常處理功能 測試通過準 則 所有與接口有關的測試用例功能沒有失敗 5 7文檔測試文檔測試 文檔也是發(fā)布的軟件產品的重要組成部分 因此也應該對文檔進行相應的測試 尤其對安裝手冊 前面已有所述 用戶使用手冊和在線幫助手冊要進行重點測試 正確的文檔能減少維護費用和提高軟件的可維護性 改善軟件易用性 減少責任等 測試目標保證發(fā)布的軟件產品中的文檔的正確性 測試策略按照手冊描述 逐章節(jié)閱讀 檢查和驗證相應的內容 比如嚴格地按 照用戶使用手冊上的描述去操作和使用程序 測試重點考 慮 與用戶相關的文