手機(jī)APP測試報告

1、 內(nèi)部資料 注意保密招標(biāo)手機(jī)APP測試總結(jié)報告作 者：日 期：2016-03-10文檔編號：002版 本： Ver 1.0目 錄1.測試概述11.1.編寫目的11.2.測試范圍12.測試計(jì)劃執(zhí)行情況12.1.測試類型12.2.測試環(huán)境與配置22.3.測試人員22.4.測試問題總結(jié)33.測試總結(jié)33.1.測試用例執(zhí)行結(jié)果33.2. 安全測試43.2.1. 軟件權(quán)限53.2.2. 安裝與卸載安全性53.2.2. 數(shù)據(jù)安全性63.2.3. 通訊安全性73.2.4. 人機(jī)接口安全性73.3. 安裝、卸載測試83.3.1. 安裝83.3.2. 卸載83.4. UI測試93.4.1. 導(dǎo)航測試93.4.2

2、. 圖形測試93.4.3. 內(nèi)容測試93.5. 功能測試103.5.1. 運(yùn)行103.5.2. 注冊103.5.3. 登錄103.5.4. 注銷113.5.5. 應(yīng)用的前后臺切換113.5.6. 免登入113.5.7. 數(shù)據(jù)更新123.5.8. 離線瀏覽123.5.9. APP更新123.5.10. 時間測試133.5.11. 性能測試133.5.12. 交叉性事件測試133.6. 兼容測試143.7. 用戶體驗(yàn)測試144.測試結(jié)果15 15 / 171.測試概述1.1. 編寫目的本測試報告為招標(biāo)手機(jī)APP的測試報告，目的在于總結(jié)測試階段的測試情況以及分析測試結(jié)果，描述系統(tǒng)是否符合用戶需求，是

3、否已達(dá)到用戶預(yù)期的功能目標(biāo)，并對測試質(zhì)量進(jìn)行分析。測試報告參考文檔提供給用戶、測試人員、開發(fā)人員、項(xiàng)目管理者、其他管理人員和需要閱讀本報告的高層經(jīng)理閱讀。1.2. 測試范圍測試主要根據(jù)用戶需求說明書和軟件需求規(guī)格說明書以及相應(yīng)的文檔進(jìn)行系統(tǒng)測試，包括功能測試、性能測試、安全性和訪問控制測試、用戶界面測試以及兼容性測試等，而單元測試和集成測試由開發(fā)人員來執(zhí)行。主要功能包括：用戶登錄、我的項(xiàng)目、推薦項(xiàng)目訂閱、行業(yè)資訊、我的收藏、意見反饋、我的CA鎖。2. 測試計(jì)劃執(zhí)行情況2.1. 測試類型測試類型測試內(nèi)容測試目的所用的測試工具和方法功能測試用戶登錄、我的項(xiàng)目、推薦項(xiàng)目訂閱、行業(yè)資訊、我的收藏、意見

4、反饋、我的CA鎖 核實(shí)所有功能均已正常實(shí)現(xiàn)，即可按用戶的需求使用軟件：1、 業(yè)務(wù)流程檢驗(yàn)：各個業(yè)務(wù)流程能夠滿足用戶需求，用戶使用不會產(chǎn)生疑問；2、 數(shù)據(jù)準(zhǔn)確：推送的信息與交易平臺生產(chǎn)信息一致，不會出現(xiàn)消息錯誤或漏發(fā)、重復(fù)發(fā)送。 采用黑盒測試，使用邊界值測試、等價類劃分等測試方法，進(jìn)行手工測試用戶界面測試1、 頁面結(jié)構(gòu)：包括菜單、背景、顏色、字體、按鈕、Title、提示信息的一致性等2、 友好性、易用性、合理性、一致性、正確性 核實(shí)軟件風(fēng)格符合可接受標(biāo)準(zhǔn)，能夠保證用戶界面友好性、易操作性，符合用戶操作習(xí)慣手工測試兼容性測試1、 用不同型號的安卓手機(jī)：華為、小米、三星、OPPO、聯(lián)想等，屏幕尺寸：

5、3.5英寸5.5英寸，操作系統(tǒng)：android4.0及以上2、 不同版本的IOS手機(jī)：ios9.0及以上核實(shí)軟件在不同的系統(tǒng)中運(yùn)行穩(wěn)定黑盒測試、手工測試安全性和訪問控制測試1、 注冊、登錄、退出登錄2、 權(quán)限限制3、 通過修改URL非法訪問4、 登錄超時限制1、 應(yīng)用程序級別的安全性：核實(shí)用戶只能操作其所擁有權(quán)限能操作的功能2、 系統(tǒng)級別的安全性：核實(shí)只能具備系統(tǒng)訪問權(quán)限的用戶才能訪問系統(tǒng)黑盒測試、手工測試性能測試1、 注冊、登錄響應(yīng)速度2、 各功能模塊切換響應(yīng)速度 核實(shí)程序在多數(shù)據(jù)推送、手機(jī)多程序運(yùn)行的情況下軟件性能的穩(wěn)定性，不造成程序崩潰或相關(guān)的異?，F(xiàn)象黑盒測試、手工測試2.2. 測試環(huán)境

6、與配置資源名稱/類型配 置測試移動端主頻2.2GHz，硬盤500G，內(nèi)存4GB應(yīng)用服務(wù)器Tomcat7.0服務(wù)器數(shù)據(jù)庫管理系統(tǒng)mysql,sqllite應(yīng)用軟件eclipse8、android、svn客戶端2.3. 測試人員職務(wù)姓名E-mail電話開發(fā)工程師測試人員1測試人員22.4. 測試問題總結(jié)在app開始測試及投入使用的過程中，一直存在或多或少的影響用戶使用體驗(yàn)的問題存在，至今仍有部分問題沒有徹底解決。3. 測試總結(jié)3.1.測試用例執(zhí)行結(jié)果測試用例標(biāo)識符測試用例名稱狀態(tài)測試結(jié)果備注功能測試Testcase001用戶手機(jī)在線注冊已執(zhí)行測試通過用戶登錄注冊Testcase002注冊協(xié)議查看已

7、執(zhí)行測試通過Testcase003注冊后訂閱項(xiàng)目功能已執(zhí)行測試通過Testcase004手機(jī)注冊帳號登錄已執(zhí)行測試通過Testcase005智慧交易云系統(tǒng)注冊帳號登錄已執(zhí)行測試通過Testcase006記住密碼和自動登錄功能已執(zhí)行測試通過Testcase007按地市訂閱項(xiàng)目分類已執(zhí)行測試通過推薦項(xiàng)目訂閱Testcase008取消已訂閱項(xiàng)目分類已執(zhí)行測試通過Testcase009已訂閱項(xiàng)目類別消息推送已執(zhí)行有重復(fù)數(shù)據(jù)推送Testcase010已訂閱項(xiàng)目消息推送提醒已執(zhí)行重復(fù)提醒；提醒消息與打開查看時內(nèi)容不符；小米4沒有消息提醒Testcase011推薦項(xiàng)目信息分頁查看已執(zhí)行只有上下頁跳轉(zhuǎn)功能，看

8、不到明確頁數(shù)Testcase012推薦項(xiàng)目信息關(guān)鍵字檢索已執(zhí)行測試通過Testcase013按地市條件篩選推薦項(xiàng)目信息已執(zhí)行測試通過Testcase014推薦項(xiàng)目收藏功能已執(zhí)行部分項(xiàng)目信息無法收藏Testcase015推薦消息點(diǎn)擊查看已執(zhí)行公告內(nèi)容有圖片或者表格時內(nèi)容顯示有誤Testcase016我的項(xiàng)目消息推送已執(zhí)行有重復(fù)信息推送；投標(biāo)人角色沒有信息推送我的項(xiàng)目Testcase017我的項(xiàng)目信息點(diǎn)擊查看已執(zhí)行公告內(nèi)容有圖片或者表格時內(nèi)容顯示有誤Testcase018我的項(xiàng)目信息分頁查看已執(zhí)行測試通過Testcase019我的項(xiàng)目信息關(guān)鍵字檢索已執(zhí)行測試通過Testcase020我的項(xiàng)目信息按

9、消息類型分類檢索已執(zhí)行測試通過Testcase021我的項(xiàng)目新消息紅色字體區(qū)分顯示已執(zhí)行測試通過Testcase022行業(yè)資訊信息推送已執(zhí)行測試通過行業(yè)資訊Testcase023行業(yè)資訊信息點(diǎn)擊查看已執(zhí)行測試通過Testcase024行業(yè)資訊信息分頁查看已執(zhí)行測試通過Testcase025行業(yè)資訊信息關(guān)鍵字檢索已執(zhí)行測試通過Testcase026我的項(xiàng)目信息收藏已執(zhí)行測試通過我的收藏Testcase027訂閱推薦項(xiàng)目信息收藏已執(zhí)行測試通過Testcase028收藏項(xiàng)目信息查看已執(zhí)行測試通過Testcase029收藏項(xiàng)目信息關(guān)鍵字檢索已執(zhí)行測試通過Testcase030收藏項(xiàng)目信息刪除已執(zhí)行測試

10、通過Testcase031收藏項(xiàng)目信息分頁查看已執(zhí)行測試通過Testcase032用戶提交意見建議已執(zhí)行測試通過意見反饋Testcase033提交的意見在頁面上顯示已執(zhí)行測試通過Testcase034意見回復(fù)內(nèi)容在頁面上的顯示已執(zhí)行測試通過Testcase035CA鎖到期10日內(nèi)登錄后顯示提醒頁面已執(zhí)行測試通過我的CA鎖3.2. 安全測試3.2.1. 軟件權(quán)限 . 扣費(fèi)風(fēng)險測試內(nèi)容是否扣費(fèi)備注收發(fā)短信否接收短信無費(fèi)用（如短信驗(yàn)證碼）撥打電話是撥打APP內(nèi)提供的客服電話有費(fèi)用（由運(yùn)營商收?。┻B接網(wǎng)絡(luò)是連接2G、3G、4G及WIFI網(wǎng)絡(luò)有費(fèi)用（由運(yùn)營商收?。? 隱私泄漏

11、風(fēng)險測試內(nèi)容是否泄漏備注訪問手機(jī)信息否APP暫時無任何功能和需求會訪問手機(jī)信息訪問通訊錄信息否APP暫時無任何功能和需求會訪問通訊錄信息. 限制性測試測試內(nèi)容是否限制限制/允許使用手機(jī)發(fā)送接受信息功能允許限制/允許應(yīng)用程序來注冊自動啟動應(yīng)用程序允許限制/允許使用手機(jī)讀取用戶數(shù)據(jù)允許限制/允許使用手機(jī)寫人用戶數(shù)據(jù)允許3.2.2. 安裝與卸載安全性測試內(nèi)容測試結(jié)果應(yīng)用程序應(yīng)能正確安裝到設(shè)備驅(qū)動程序上是能夠在安裝設(shè)備驅(qū)動程序上找到應(yīng)用程序的相應(yīng)圖標(biāo)是是否包含數(shù)字簽名信息否安裝路徑應(yīng)能指定否JAD文件顯示的資料內(nèi)容與應(yīng)用程序顯示的資料內(nèi)容應(yīng)一致是沒有用戶的允許, 應(yīng)用程序不能預(yù)先設(shè)定自動

12、啟動是卸載是否安全, 其安裝進(jìn)去的文件是否全部卸載是卸載用戶使用過程中產(chǎn)生的文件是否有提示否其修改的配置信息是否復(fù)原否卸載是否影響其他軟件的功能否卸載應(yīng)該移除所有的文件是3.2.2. 數(shù)據(jù)安全性測試內(nèi)容測試結(jié)果當(dāng)將密碼或其他的敏感數(shù)據(jù)輸人到應(yīng)用程序時, 其不會被儲存在設(shè)備中, 同時密碼也不會被解碼是輸人的密碼將不以明文形式進(jìn)行顯示是密碼或其他的敏感數(shù)據(jù)將不被儲存在它們預(yù)輸人的位置上否不同的應(yīng)用程序的個人身份證或密碼長度必需至少在6一20 個字符長度之間是備份應(yīng)該加密, 恢復(fù)數(shù)據(jù)應(yīng)考慮恢復(fù)過程的異常通訊中斷等, 數(shù)據(jù)恢復(fù)后再使用前應(yīng)該經(jīng)過校驗(yàn)否應(yīng)用程序應(yīng)考慮系統(tǒng)或者虛擬機(jī)器產(chǎn)生的用戶提示信息或安

13、全警告否應(yīng)用程序不能忽略系統(tǒng)或者虛擬機(jī)器產(chǎn)生的用戶提示信息或安全警告, 更不能在安全警告顯示前，利用顯示誤導(dǎo)信息欺騙用戶，應(yīng)用程序不應(yīng)該模擬進(jìn)行安全警告誤導(dǎo)用戶是在數(shù)據(jù)刪除之前，應(yīng)用程序應(yīng)當(dāng)通知用戶或者應(yīng)用程序提供一個“取消”命令的操作是“ 取消” 命令操作能夠按照設(shè)計(jì)要求實(shí)現(xiàn)其功能是應(yīng)用程序應(yīng)當(dāng)能夠處理當(dāng)不允許應(yīng)用軟件連接到個人信息管理的情況否當(dāng)進(jìn)行讀或?qū)懹脩粜畔⒉僮鲿r, 應(yīng)用程序?qū)蛴脩舭l(fā)送一個操作錯誤的提示信息否在沒有用戶明確許可的前提下不損壞刪除個人信息管理應(yīng)用程序中的任何內(nèi)容是應(yīng)用程序讀和寫數(shù)據(jù)正確是應(yīng)用程序應(yīng)當(dāng)有異常保護(hù)否如果數(shù)據(jù)庫中重要的數(shù)據(jù)正要被重寫, 應(yīng)及時告知用戶否能合理

14、地處理出現(xiàn)的錯誤否意外情況下應(yīng)提示用戶否3.2.3. 通訊安全性測試內(nèi)容測試結(jié)果當(dāng)創(chuàng)立連接時, 應(yīng)用程序能夠處理因?yàn)榫W(wǎng)絡(luò)連接中斷, 進(jìn)而告訴用戶連接中斷的情況否應(yīng)能處理網(wǎng)絡(luò)異常和及時將異常情況通報用戶是應(yīng)用程序關(guān)閉或網(wǎng)絡(luò)連接不再使用時應(yīng)及時關(guān)閉) 斷開是HTTP、HTTPS覆蓋測試-App和后臺服務(wù)一般都是通過HTTP來交互的，驗(yàn)證HTTP環(huán)境下是否正常；-公共免費(fèi)網(wǎng)絡(luò)環(huán)境中（如：麥當(dāng)勞、星巴克等）都要輸入用戶名和密碼，通過SSL認(rèn)證來訪問網(wǎng)絡(luò)，需要對使用HTTP Client的library異常作捕獲處理否3.2.4. 人機(jī)接口安全性測試內(nèi)容測試結(jié)果返回菜單總保持可用否命令有優(yōu)先權(quán)順序否聲音

15、的設(shè)置不影響應(yīng)用程序的功能是應(yīng)用程序必需利用目標(biāo)設(shè)備適用的全屏尺寸來顯示上述內(nèi)容是應(yīng)用程序必需能夠處理不可預(yù)知的用戶操作, 例如錯誤的操作和同時按下多個鍵否3.3. 安裝、卸載測試3.3.1. 安裝測試內(nèi)容測試結(jié)果軟件在不同操作系統(tǒng)（Palm OS、Symbian、Linux、Android、iOS、Black Berry OS 6.0、Windows Phone 7）下安裝是否正常是（只測試了Android、IOS）軟件安裝后是否能夠正常運(yùn)行，安裝后的文件夾及文件是否寫到了指定的目錄里是軟件安裝向?qū)У腢I測試 否軟件安裝過程中意外情況的處理是否符合需求（如死機(jī)，重啟，斷電）否安裝空間不足時是

16、否有相應(yīng)提示否安裝后沒有生成多余的目錄結(jié)構(gòu)和文件是依照安裝手冊是否能順利安裝是3.3.2. 卸載測試內(nèi)容測試結(jié)果直接刪除安裝文件夾卸載是否有提示信息否測試系統(tǒng)直接卸載程序是否有提示信息否測試卸載后文件是否全部刪除所有的安裝文件夾是卸載過程中出現(xiàn)的意外情況的測試（如死機(jī)、斷電、重啟）否卸載是否支持取消功能是3.4. UI測試3.4.1. 導(dǎo)航測試測試內(nèi)容測試結(jié)果在不同的連接頁面之間需要導(dǎo)航是是否易于導(dǎo)航，導(dǎo)航是否直觀否是否有搜索引擎是導(dǎo)航幫助是否準(zhǔn)確直觀否導(dǎo)航與頁面結(jié)構(gòu)、菜單、連接頁面的風(fēng)格是否一致否3.4.2. 圖形測試測試內(nèi)容測試結(jié)果橫向比較，各控件操作方式統(tǒng)一是自適應(yīng)界面設(shè)計(jì)，內(nèi)容根據(jù)窗口

17、大小自適應(yīng)是頁面標(biāo)簽風(fēng)格是否統(tǒng)一是頁面是否美觀否頁面的圖片應(yīng)有其實(shí)際意義而要求整體有序美觀否圖片質(zhì)量要高且圖片尺寸在設(shè)計(jì)符合要求的情況下應(yīng)盡量小是界面整體使用的顏色不宜過多是3.4.3. 內(nèi)容測試測試內(nèi)容測試結(jié)果輸入框說明文字的內(nèi)容與系統(tǒng)功能是否一致是文字長度是否加以限制否文字內(nèi)容是否表意不明否是否有錯別字否信息是否為中文顯示是是否有敏感性詞匯、關(guān)鍵詞否是否有敏感性圖片，如：涉及版權(quán)、專利、隱私等圖片否3.5. 功能測試3.5.1. 運(yùn)行測試內(nèi)容測試結(jié)果App安裝完成后的試運(yùn)行，可正常打開軟件是App打開測試，是否有加載狀態(tài)進(jìn)度提示是App打開速度測試，速度是否可觀否App頁面間的切換是否流暢

18、，邏輯是否正確邏輯正確，切換不夠流暢3.5.2. 注冊測試內(nèi)容測試結(jié)果后臺可否增加用戶是用戶名密碼長度是否限制是注冊后是否有提示頁面否前臺注冊頁面和后臺的管理頁面數(shù)據(jù)是否一致是注冊后，在后臺管理中頁面提示否3.5.3. 登錄測試內(nèi)容測試結(jié)果使用合法的用戶登錄系統(tǒng)是系統(tǒng)是否允許多次非法的登陸，是否有次數(shù)限制否使用已經(jīng)登陸的賬號登陸系統(tǒng)是否正確處理是使用禁用的賬號登陸系統(tǒng)是否正確處理是用戶名、口令（密碼）錯誤或漏填時能否登陸否刪除或修改后的用戶，原用戶登陸否不輸入用戶口令和用戶、重復(fù)點(diǎn)（確定或取消按鈕）是否允許登陸否頁面中有退出登錄按鈕是登陸超時的處理否3.5.4. 注銷測試內(nèi)容測試結(jié)果是否能正常

19、注銷否注銷原用戶，新用戶系統(tǒng)能否正確處理否使用錯誤的賬號、口令、無權(quán)限的被禁用的賬號進(jìn)行注銷否3.5.5. 應(yīng)用的前后臺切換測試內(nèi)容測試結(jié)果APP切換到后臺，再回到app，檢查是否停留在上一次操作界面否APP切換到后臺，再回到app，檢查功能及應(yīng)用狀態(tài)是否正常是手機(jī)鎖屏解屏后進(jìn)入app注意是否會崩潰，功能狀態(tài)是否正常，尤其是對于從后臺切換回前臺數(shù)據(jù)有自動更新的時候否（個別情況下APP會白屏）當(dāng)App使用過程中有電話進(jìn)來中斷后再切換到app，功能狀態(tài)是否正常是當(dāng)殺掉app進(jìn)程后，再開啟app，app能否正常啟動是出現(xiàn)必須處理的提示框后，切換到后臺，再切換回來，檢查提示框是否還存在，有時候會出現(xiàn)應(yīng)

20、用自動跳過提示框的缺陷是3.5.6. 免登入測試內(nèi)容測試結(jié)果App是否有免登錄功能，需要考慮IOS版本差異否考慮無網(wǎng)絡(luò)情況時能否正常進(jìn)入免登錄狀態(tài)否切換用戶登錄后，要校驗(yàn)用戶登錄信息及數(shù)據(jù)內(nèi)容是否相應(yīng)更新，確保原用戶退出是切換到后臺，再切換回前臺的測試是密碼更換后，檢查有數(shù)據(jù)交換時是否進(jìn)行了有效身份的校驗(yàn)否檢查用戶主動退出登錄后，下次啟動app，應(yīng)停留在登錄界面是3.5.7. 數(shù)據(jù)更新測試內(nèi)容測試結(jié)果需要確定哪些地方需要提供手動刷新，哪些地方需要自動刷新，哪些地方需要手動+自動刷新是從后臺切換回前臺時需要進(jìn)行數(shù)據(jù)更新是根據(jù)業(yè)務(wù)、速度及流量的合理分配，確定哪些內(nèi)容需要實(shí)時更新，哪些需要定時更新是

21、確定數(shù)據(jù)展示部分的處理邏輯，是每次從服務(wù)端請求，還是有緩存到本地是檢查有數(shù)據(jù)交換的地方，均有相應(yīng)的異常處理否3.5.8. 離線瀏覽測試內(nèi)容測試結(jié)果在無網(wǎng)絡(luò)情況可以瀏覽本地?cái)?shù)據(jù)否退出app再開啟app時能正常瀏覽否切換到后臺再切回前臺可以正常瀏覽否鎖屏后再解屏回到應(yīng)用前臺可以正常瀏覽否在對服務(wù)端的數(shù)據(jù)有更新時會給予離線的相應(yīng)提示 否3.5.9. APP更新測試內(nèi)容測試結(jié)果當(dāng)客戶端有新版本時，有更新提示否當(dāng)客戶端有新版本時，在本地不刪除客戶端的情況下，直接更新檢查是否能正常更新是（客戶端自動更新）3.5.10. 時間測試測試內(nèi)容測試結(jié)果修改系統(tǒng)時間，后臺發(fā)布信息時間是否隨之更改是修改手機(jī)時間，推送信息時間是否隨之更改否3.5.11. 性能測試. 響應(yīng)測試測試內(nèi)容測試結(jié)果運(yùn)行App時斷掉網(wǎng)絡(luò)，是否影響手機(jī)其它使用否安裝、卸載的響應(yīng)時間，是否能夠接受是App各類功能性操作的響應(yīng)時間，是否能夠接受否（推薦項(xiàng)目訂閱功能響應(yīng)有點(diǎn)慢）反復(fù)進(jìn)行安裝卸載，查看系統(tǒng)資源是否正常是3.5.12. 交叉性事件測試測試內(nèi)容測試結(jié)果多個App同時運(yùn)行是否影響正常功能否App運(yùn)行時前/后臺切換是否影響正常功能否App運(yùn)行時撥打/接聽電話是否