客戶端黑盒測試指南

1、客戶端黑盒測試指南-客戶端修訂記錄版本發(fā)布人發(fā)布時間修改說明V0.1胡兆云2011-2-12初稿1 簡介1.1 目的1.2 簡介1.3 定義前臺請求前臺請求為用戶主動觸發(fā)，并且返回符合用戶期望結(jié)果的操作；后臺請求后臺請求為軟件或功能需要，在后臺自動觸發(fā)的和服務(wù)器端交互的行為；基準(zhǔn)平臺需求中適配機(jī)型中對應(yīng)機(jī)型最多的平臺版本，或程序?qū)?yīng)用戶群較多的平臺版本；可根據(jù)該基準(zhǔn)平臺來選擇合適的模擬器或測試機(jī)；例如：S60v3平臺下的MR、FP1、FP2版本；基準(zhǔn)分辨率需求中適配機(jī)型中同一平臺下對應(yīng)機(jī)型最多的分辨率，或該平臺市場上最常見的分辨率；例如:S60v3平臺分辨率：240*320、320*240、1

2、76*208、416*352；適配基準(zhǔn)機(jī)型根據(jù)基準(zhǔn)機(jī)型和基準(zhǔn)分辨率在適配機(jī)型列表中選擇符合條件，并且硬件條件比較突出的機(jī)型；用來在前期客戶端系統(tǒng)測試階段進(jìn)行真機(jī)測試；也可以是用戶指定適配的特定機(jī)型；2 測試指南2.1 功能功能主要以產(chǎn)品需求規(guī)格說明書為標(biāo)準(zhǔn)，需要達(dá)到以下目標(biāo)：一.功能點(diǎn)覆蓋；二.業(yè)務(wù)流程覆蓋；三.數(shù)據(jù)支撐；四.控件五.UI界面；六.用戶體驗(yàn)；2.2 穩(wěn)定性一. 可持續(xù)穩(wěn)定運(yùn)行12-24小時（無用戶操作），并且在長時間運(yùn)行后使用，不會因系統(tǒng)資源占用升高出現(xiàn)運(yùn)行緩慢、手機(jī)異常崩潰卡死、重啟現(xiàn)象；二. 可持續(xù)使用1小時；無法重現(xiàn)的異常退出頻率最高為2次/1小時；并且在長時間使用中，不

3、會因系統(tǒng)資源占用升高出現(xiàn)運(yùn)行緩慢、手機(jī)異常崩潰卡死、重啟現(xiàn)象；2.3 系統(tǒng)兼容性一.與其它應(yīng)用軟件按鍵沖突時，不能導(dǎo)致用戶手機(jī)無法正常使用；二.系統(tǒng)事件響應(yīng)：在程序運(yùn)行時，可以響應(yīng)如下系統(tǒng)事件，當(dāng)事件發(fā)生時應(yīng)中斷程序運(yùn)行，事件結(jié)束后程序繼續(xù)正常工作； 系統(tǒng)鎖語音來電SMS/MMS鬧鈴?fù)ㄖ录娏坎蛔?外部充電 切換UI模式（重力感應(yīng)）快捷啟動照相機(jī)功能 隱藏后臺，使用系統(tǒng)日歷、拍照等功能三.系統(tǒng)按鍵響應(yīng)：部分系統(tǒng)按鍵程序不能更改，必須響應(yīng)系統(tǒng)事件，注意各平臺機(jī)型按鍵響應(yīng)不一致；標(biāo)準(zhǔn)系統(tǒng)按鍵響應(yīng)點(diǎn)擊菜單鍵S60快捷返回到系統(tǒng)菜單，程序隱藏在后臺運(yùn)行；WM彈出“開始”任務(wù)菜單；Android彈出程

4、序?qū)?yīng)的菜單選項(xiàng)，沒有菜單選項(xiàng)則無響應(yīng)；J2ME：彈出任務(wù)列表；長按菜單鍵S60彈出任務(wù)選項(xiàng)菜單Android彈出輸入法界面WM無長按菜單響應(yīng)；J2ME點(diǎn)擊返回鍵Android響應(yīng)程序“返回”操作；長按返回鍵Android響應(yīng)返回系統(tǒng)桌面首屏，程序隱藏后臺運(yùn)行；J2ME響應(yīng)隱藏后臺運(yùn)行；點(diǎn)擊撥號鍵S60響應(yīng)隱藏程序后臺運(yùn)行，進(jìn)入系統(tǒng)通話記錄界面；Android響應(yīng)和S60一致；WM和S60一致；S40在程序運(yùn)行界面不響應(yīng)撥號鍵；J2ME在程序運(yùn)行界面不響應(yīng)撥號鍵；點(diǎn)擊掛機(jī)鍵S60響應(yīng)關(guān)閉程序返回到系統(tǒng)桌面；（程序可以特殊處理為隱藏后臺運(yùn)行）Andorid響應(yīng)隱藏程序后臺運(yùn)行，返回到當(dāng)前系統(tǒng)桌面

5、；WM關(guān)閉程序返回到系統(tǒng)桌面；S40關(guān)閉程序返回到系統(tǒng)桌面；J2ME關(guān)閉程序返回到系統(tǒng)桌面長按掛機(jī)鍵部分手機(jī)響應(yīng)開機(jī)、關(guān)機(jī)點(diǎn)擊Home鍵IPhone響應(yīng)隱藏程序后臺運(yùn)行，返回到系統(tǒng)桌面；長按Home鍵IPhone響應(yīng)強(qiáng)制返回系統(tǒng)桌面首屏；點(diǎn)擊關(guān)機(jī)鍵S60彈出關(guān)機(jī)菜單鍵；S40彈出關(guān)機(jī)菜單鍵；Android為鎖屏鍵；WM彈出關(guān)機(jī)菜單；IPhone響應(yīng)鎖屏；J2ME響應(yīng)彈出關(guān)機(jī)菜單；長按關(guān)機(jī)鍵所有版本都響應(yīng)開/關(guān)機(jī)；注：部分S60v3后期部分手機(jī)點(diǎn)擊掛機(jī)鍵會彈出關(guān)機(jī)選項(xiàng)菜單，需要特殊處理；四.確定獲得系統(tǒng)認(rèn)可，可以在對應(yīng)系統(tǒng)版本下正常運(yùn)行，例如：S60認(rèn)證簽名、JAVA數(shù)字簽名等；五.安裝、卸載，

6、用戶可以選擇將程序資源文件安裝在系統(tǒng)存儲或外部存儲上，并支持在不同介質(zhì)間覆蓋安裝，用戶選擇卸載應(yīng)刪除除用戶生成的存儲目錄外所有資源、緩存文件，在用戶沒有生成存儲目錄的情況下卸載后應(yīng)和安裝前大小差別在100k以內(nèi)；2.4 健壯性一.HTTP狀態(tài)碼處理：處理常見HTTP狀態(tài)碼，并返回給用戶合理提示，不會引起程序異常崩潰； 二.本地網(wǎng)絡(luò)異常處理：本地網(wǎng)絡(luò)異常、網(wǎng)絡(luò)連接無法建立或建立失敗應(yīng)立即提示用戶；聯(lián)網(wǎng)超時最長應(yīng)在30秒內(nèi)給出合理提示；三.聯(lián)網(wǎng)重發(fā)機(jī)制僅對前臺請求生效，并且所有前臺請求觸發(fā)后要有等待界面，聯(lián)網(wǎng)失敗要有提示；后臺請求不支持重發(fā)，也不需要等待界面，失敗不需要提示；四.需要處理聯(lián)網(wǎng)獲取數(shù)

7、據(jù)的類型、大小、格式、內(nèi)容等方面的邊界，出現(xiàn)越界的情況不能導(dǎo)致手機(jī)異?；虺绦虍惓Ｍ顺觯焕纾郝?lián)網(wǎng)獲取的XML文件中返回的圖片URL為空或長度超過開發(fā)定義的長度；五.聯(lián)網(wǎng)引擎和數(shù)據(jù)解析應(yīng)對特殊字符“！!#$%&*():”|?,./;”，還有空格、&apos、>等做處理，都可以正常顯示；六.文件、內(nèi)容異常處理：資源文件被刪除、文件內(nèi)容格式錯誤、文件編碼格式錯誤、文件存儲格式錯誤、文件存儲空間較大、內(nèi)容邊界的處理：例如：松散結(jié)構(gòu)字段、多余字段、缺失部分字段、每個字段中內(nèi)容長度控制（空或大于客戶端開發(fā)處理定義的長度）；七.系統(tǒng)資源占用：每個程序因開發(fā)或業(yè)務(wù)需要可能所需要占用的系統(tǒng)資源都不一樣，暫不

8、做明確要求，最低要求程序在開啟另外2個其他應(yīng)用的時候，依然可以正常運(yùn)行，不會引起程序異常崩潰、死機(jī)、運(yùn)行緩慢等情況；八.在存儲空間不足的情況下啟動、運(yùn)行程序，必須保證應(yīng)用程序或者可以正常運(yùn)行，或者向用戶提供恰當(dāng)?shù)木嫘畔⒔忉尣荒苓\(yùn)行的原因后恰當(dāng)?shù)耐顺觯?.5 用戶體驗(yàn)一.按鍵/觸屏響應(yīng)：用戶點(diǎn)擊按鍵后應(yīng)快速響應(yīng)對應(yīng)的操作，正常響應(yīng)延遲不能超過0.5秒；觸屏響應(yīng)效率和按鍵一樣，不能超過0.5秒；觸摸響應(yīng)區(qū)域應(yīng)符合界面規(guī)范；二.等待響應(yīng)：所有的等待響應(yīng)狀態(tài)不應(yīng)超過30秒，需要在30秒內(nèi)返回處理結(jié)果；搜索等待、數(shù)據(jù)獲取等待盡量使用進(jìn)度條顯示，此不受30秒時間限制；所有等待狀態(tài)都可以手動取消；三.界面

9、切換響應(yīng)：界面切換響應(yīng)應(yīng)流暢，切換動畫速度要適中，保持在0.5-1.5秒之間，動畫中不能有停頓、重影、閃爍的情況出現(xiàn)；無切換動畫的界面則應(yīng)該立即響應(yīng)并覆蓋之前界面顯示；四.用戶交互：執(zhí)行動作要提示，當(dāng)用戶在軟件中執(zhí)行新增、修改未保存退出、刪除操作應(yīng)給出相應(yīng)的提示； 五.按鍵、觸屏邊界限制，不能將焦點(diǎn)移出屏幕或固定區(qū)域，點(diǎn)擊目標(biāo)外的區(qū)域，不會發(fā)生錯誤響應(yīng)，點(diǎn)擊觸發(fā)程序事件或系統(tǒng)事件外的按鍵，不會對系統(tǒng)或程序產(chǎn)生任何影響；2.6 UI界面2.6.1 界面布局1.所有布局正常顯示，沒有超出屏幕或屏幕空白、錯位顯示；2.配色的一致性，同時盡量少的使用不同類型顏色在同一個界面；3.固定顯示區(qū)域大小和尺寸

10、，區(qū)域排列行與行、列與列之間間距相同并且合理；4.所有圖片、文字、控件等內(nèi)容正常在界面中固定區(qū)域顯示，下面情況需要特殊處理，具體處理方式需要設(shè)計統(tǒng)一規(guī)范：a.文字為空或超長；b.資源圖片為空或過大或格式不正確；2.6.2 控件1.使用統(tǒng)一風(fēng)格控件（盡量使用標(biāo)準(zhǔn)控件或系統(tǒng)控件）;2.同一類型的控件操作方式相同，例如一個控件雙擊可以執(zhí)行某個動作，而同樣的控件，在其他平臺或其它界面雙擊卻沒有任何響應(yīng)；3.一個控件只做單一功能，不復(fù)用；（例如：更改主題顏色的設(shè)置，使用數(shù)值來表示不同顏色，導(dǎo)致只有熟練用戶才能使用） Edit控件1.類型判斷：整型、浮點(diǎn)型的數(shù)據(jù)輸入框中，不允許輸入非數(shù)據(jù)的其

11、它字符串；（如：abc或其它字符）2.大小判斷：數(shù)據(jù)類型的數(shù)據(jù)如有大小范圍限制的，要對輸入大小進(jìn)行判斷（如：表示月份的輸入框中，只能輸入1-12的數(shù)字）3.長度判斷：如果是程序處理的字符串有長度限制，但是輸入框中沒有對輸入的數(shù)據(jù)長度進(jìn)行限制，將會造成程序錯誤，或者處理后的結(jié)果和輸入的不相符；4.正確性判斷：表示路徑的或者文件名全路徑的輸入框，要對輸入路徑是否為有效路徑進(jìn)行判斷；（如：輸入aaaa或C:/等不正確的輸入） Button控件和觸屏響應(yīng)區(qū)域在用戶界面應(yīng)該有明確的位置標(biāo)識顯示操作按鈕；明確按鈕區(qū)域，按鈕的顯示區(qū)域?qū)?yīng)鍵盤按鍵，觸摸屏的按鈕響應(yīng)和顯示區(qū)域?qū)?yīng)，點(diǎn)擊按鈕顯示區(qū)

12、域外應(yīng)無法響應(yīng)按鈕操作；例外：打開選項(xiàng)菜單后，點(diǎn)擊選項(xiàng)菜單外的區(qū)域，響應(yīng)關(guān)閉選項(xiàng)菜單； 提示對話框1.文字描述的正確性和提示圖標(biāo)顯示的正確性，需要設(shè)計規(guī)范；A.程序錯誤、操作錯誤、禁止操作等提示語： 程序錯誤、操作錯誤、禁止操作等提示圖標(biāo)：B.詢問提示語： 詢問提示圖：C感嘆、警告的提示語： 感嘆、警告的提示圖：D.普通信息提示語： 普通信息的提示圖： 滾動條滾動條是否正常顯示，并且可以正常拖動，滾動條的長度要根據(jù)顯示信息的長度或?qū)挾燃皶r變換，便于用戶了解顯示信息的位置和百分比；2.6.3 文字1.文字描述的正確性；a文字的描述和所對應(yīng)的功能是否一致；b錯別字、錯誤

13、標(biāo)點(diǎn)；c.特殊字符集“！!#$%&*():”|?,./;”，還有空格可以顯示；2.文字用語、名稱的一致性,例如選項(xiàng)菜單，應(yīng)統(tǒng)一名稱，如用“選項(xiàng)”，都用“選項(xiàng)”，不要有的地方用“選項(xiàng)”，有的地方用“菜單”；3.所有窗體、控件使用大小統(tǒng)一的字體，除非特殊信息處理、加強(qiáng)顯示等例外情況；注：為了全面的檢查所有的文字，應(yīng)該檢查程序中的所有文字資源，因?yàn)橐恍υ捒蚩赡鼙容^難在黑盒測試的時候全部出現(xiàn)；2.6.4 界面的傳遞與嵌套1.同級窗體只能在界面上顯示一個，不能重疊、重復(fù)顯示多個同級窗體；2.父窗體與子窗體存在同樣的操作時，父窗體的操作必須帶入到子窗體；3.當(dāng)子窗體的任何操作影響了父窗體的數(shù)據(jù)時，子窗體關(guān)閉返回時必須刷新父窗體的數(shù)據(jù)；4.關(guān)閉父窗體必須連同子窗體一起關(guān)閉；5.多層窗體嵌套，要保證內(nèi)容可以正常顯示，關(guān)閉