附件1數(shù)據(jù)業(yè)務(wù)品質(zhì)管理指標(biāo)體系

1、中國移動數(shù)據(jù)業(yè)務(wù)產(chǎn)品品質(zhì)管理指標(biāo)體系數(shù)據(jù)部品質(zhì)管理處2013年8月根據(jù)品質(zhì)工作規(guī)劃，在標(biāo)準(zhǔn)層面構(gòu)建端到端品質(zhì)指標(biāo)體系理 念標(biāo) 準(zhǔn)一套規(guī)范：一個體系：端到端品質(zhì)指標(biāo)體系兩個抓手：流 程一個流程：面向客戶需求的快速迭代閉環(huán)流程三項制度：用戶參與評審制度上線前測試制度產(chǎn)品下線制度能 力一個綜合平臺：品質(zhì)管理核心平臺兩類專業(yè)系統(tǒng)：用戶需求收集系統(tǒng)產(chǎn)品使用行為監(jiān)測系統(tǒng)機(jī) 制一套機(jī)制：打造端到端、跨部門的閉環(huán)協(xié)同機(jī)制； 兩級團(tuán)隊：構(gòu)建總部-省、基地兩級品質(zhì)管理專業(yè)團(tuán)隊 貫穿“以客戶需求和客戶體驗驅(qū)動”的市場化理念，落實四項重點舉措根據(jù)品質(zhì)工作規(guī)劃思路構(gòu)筑的5層產(chǎn)品品質(zhì)管理體系，構(gòu)建端到端品質(zhì)指標(biāo)體系，緊密

2、耦合客戶需求，作為數(shù)據(jù)業(yè)務(wù)的整體品質(zhì)評估、競品對標(biāo)評價、品質(zhì)提升效果評價的統(tǒng)一標(biāo)準(zhǔn)將品質(zhì)理念融入品質(zhì)管理各項工作構(gòu)建機(jī)制支撐品質(zhì)工作順利進(jìn)行1VGOP：從業(yè)務(wù)平臺收集主要為成功率類指標(biāo)自動撥測：模擬用戶行為自動撥測業(yè)務(wù)并反饋數(shù)據(jù)，主要為時延類、成功率指標(biāo)投訴：來自市場部一級客服平臺，根據(jù)客服數(shù)據(jù)將投訴分為質(zhì)量類投訴和營銷類投訴，主要監(jiān)控質(zhì)量類投訴相關(guān)指標(biāo)專家測評：聯(lián)合研究院專家定期對自有業(yè)務(wù)進(jìn)行詳細(xì)的檢測，對比競品發(fā)現(xiàn)產(chǎn)品從界面、功能、性能、內(nèi)容、服務(wù)等全方面的問題用戶調(diào)研：聯(lián)合發(fā)燒友俱樂部對全國用戶開展定向的問卷和線下調(diào)研，了解產(chǎn)品客戶對產(chǎn)品體驗的評價質(zhì)量指標(biāo)客戶投訴專家測評用戶調(diào)研原有質(zhì)量

3、指標(biāo)體系存在的問題原來的質(zhì)量指標(biāo)體系逐步形成了質(zhì)量指標(biāo)、客戶投訴、專家測評、用戶調(diào)研等維度的數(shù)據(jù)需求能力，但在體系化、完整性方面存在問題缺乏整體指標(biāo)體系，呈煙囪型，未涵蓋客戶體驗，不同指標(biāo)關(guān)聯(lián)關(guān)系不明確；品質(zhì)指標(biāo)與品質(zhì)管理工作目標(biāo)沒有建立對應(yīng)關(guān)系，需區(qū)分可以用于考核、通報等推動品質(zhì)管理工作的通用指標(biāo)和用于產(chǎn)品深度分析的個性化指標(biāo)；指標(biāo)的定義、來源、標(biāo)準(zhǔn)需要進(jìn)一步梳理和完善2品質(zhì)管理指標(biāo)體系體現(xiàn)用戶導(dǎo)向等關(guān)鍵原則3滾動迭代原則業(yè)內(nèi)對標(biāo)原則立體多維度原則用戶導(dǎo)向原則理論的發(fā)展完善：隨著產(chǎn)品品質(zhì)和用戶體驗理論的發(fā)展，指標(biāo)體系框架將滾動優(yōu)化互聯(lián)網(wǎng)技術(shù)的發(fā)展變革：技術(shù)應(yīng)用的創(chuàng)新將導(dǎo)致產(chǎn)品核心功能和用戶體

4、驗關(guān)鍵要素的變化，指標(biāo)體系要同步迭代理論借鑒：以產(chǎn)品質(zhì)量評定和用戶體驗基礎(chǔ)理論為基礎(chǔ)，借鑒業(yè)內(nèi)企業(yè)的方法，構(gòu)建形成指標(biāo)體系的框架實踐總結(jié)：總結(jié)前期評估工作經(jīng)驗，綜合使用自動撥測、專家評測和用戶調(diào)研手段指標(biāo)架構(gòu)：重點關(guān)注產(chǎn)品的質(zhì)量類和體驗類指標(biāo)，并向品質(zhì)相關(guān)的市場、服務(wù)和網(wǎng)絡(luò)等指標(biāo)輻射指標(biāo)結(jié)構(gòu)：指標(biāo)不僅包括適用于所有產(chǎn)品的通用指標(biāo)，還涵蓋突出各業(yè)務(wù)特殊核心功能的關(guān)鍵指標(biāo)指標(biāo)設(shè)計：依據(jù)用戶調(diào)研結(jié)果來甄別用戶的關(guān)鍵需求，并確定關(guān)鍵指標(biāo)指標(biāo)收集：以用戶調(diào)研為基本手段收集用戶體驗類指標(biāo)，結(jié)合競品對標(biāo)結(jié)果，評定品質(zhì)情況從關(guān)注功能、性能到開始關(guān)注用戶體驗，從關(guān)注客觀質(zhì)量指標(biāo)到開始關(guān)注主觀評價轉(zhuǎn)變目錄4指標(biāo)體

5、系的整體架構(gòu)具體指標(biāo)的結(jié)構(gòu)定義2核心指標(biāo)的評價方法31指標(biāo)體系的細(xì)化應(yīng)用45基于UCD要求，建立包含核心層和關(guān)聯(lián)層兩個層面的多維度、立體的產(chǎn)品品質(zhì)管理通用指標(biāo)體系。核心層：包括了體現(xiàn)產(chǎn)品質(zhì)量類的功能、內(nèi)容、性能和界面四方面的指標(biāo)和用戶體驗類的有用、易用、愛用三個層面的指標(biāo)，綜合客觀和主觀指標(biāo)來評價產(chǎn)品品質(zhì)關(guān)聯(lián)層：結(jié)合產(chǎn)品相關(guān)的服務(wù)類、市場表現(xiàn)類等指標(biāo)分析產(chǎn)品的品質(zhì)。數(shù)據(jù)業(yè)務(wù)品質(zhì)管理指標(biāo)體系模型其他：服務(wù)類+網(wǎng)絡(luò)類市場表現(xiàn)類內(nèi)容界面性能功能完備性 有效性 操作效率內(nèi)容數(shù)量 內(nèi)容質(zhì)量 內(nèi)容更新即時性 穩(wěn)定性 資源消耗交互流暢 架構(gòu)合理 視頻簡潔 文本清晰+產(chǎn)品品質(zhì)=核心層關(guān)聯(lián)層產(chǎn)品質(zhì)量類用戶體驗類

6、品質(zhì)管理指標(biāo)體系愛用情感體驗易用性能感知 界面感知有用功能感知、內(nèi)容感知基于“大產(chǎn)品”層次模型（Bernd Schmitt , 1999），結(jié)合業(yè)內(nèi)經(jīng)驗和中移動以往研究，質(zhì)量類品層質(zhì)指標(biāo)主要包含產(chǎn)品核心和產(chǎn)品實質(zhì)，應(yīng)涵蓋產(chǎn)品的功能、內(nèi)容、性能和界面方面。業(yè)內(nèi)，電信設(shè)備商關(guān)注性能，互聯(lián)網(wǎng)公司關(guān)注功能/內(nèi)容/界面 愛立信、華為等從網(wǎng)絡(luò)性能角度建立了用戶體驗產(chǎn)品質(zhì)量（QoE）與網(wǎng)絡(luò)性能間的映射關(guān)系模型評估產(chǎn)品質(zhì)量，但不涉及數(shù)據(jù)業(yè)務(wù)產(chǎn)品質(zhì)量的評估諾基亞、蘋果、微軟等發(fā)布產(chǎn)品的設(shè)計指南和可用性評估指南，從產(chǎn)品的界面交互設(shè)計，來保證產(chǎn)品的用戶體驗。根據(jù)“大產(chǎn)品”層次模型，基礎(chǔ)品質(zhì)評估主要涉及核心產(chǎn)品層和實

7、質(zhì)產(chǎn)品層，涵蓋功能/性能，內(nèi)容/界面幾個維度的指標(biāo)中移動以往關(guān)于數(shù)據(jù)業(yè)務(wù)網(wǎng)絡(luò)傳輸性能和內(nèi)容質(zhì)量的研究中國移動數(shù)據(jù)業(yè)務(wù)質(zhì)量類品質(zhì)指標(biāo)“質(zhì)量大會戰(zhàn)”中已建立了飛信/無線音樂/MM/手機(jī)視頻/手機(jī)閱讀/等業(yè)務(wù)的端到端產(chǎn)品質(zhì)量指標(biāo)，包含了性能和內(nèi)容質(zhì)量指標(biāo)產(chǎn)品質(zhì)量類指標(biāo)的理論依據(jù) 品牌 外延產(chǎn)品 實質(zhì)產(chǎn)品核心產(chǎn)品 品牌 服務(wù)特征功能/內(nèi)容 界面/性能( Bernd Schmitt , 1999)性能界面內(nèi)容功能6Jakob Nielsens Alertbox: January 1, 199510 Usability Heuristics for User Interface DesignVisibil

8、ity of system status(提供顯著的系統(tǒng)狀態(tài))Consistency and standards(遵循統(tǒng)一性和標(biāo)準(zhǔn)化)Error prevention(預(yù)防錯誤的發(fā)生)Help users recognize, diagnose, and recover from errors(幫助用戶識別錯誤，分析和糾正錯誤)Match between system and the real world(系統(tǒng)界面應(yīng)符合現(xiàn)實世界的慣例)Recognition rather than recall(提供結(jié)構(gòu)識別而不是孤立記憶)Aesthetic and minimalist design(美觀精

9、練的設(shè)計) User control and freedom(讓用戶有控制的自由) Flexibility and efficiency of use(使用的效率和靈活性)Help and documentation(提供幫助文檔和使用手冊)質(zhì)量類指標(biāo)庫界面評估指標(biāo)以“尼爾森的10條可用性基本原則”作為產(chǎn)品界面交互設(shè)計的基本準(zhǔn)則，歸納出中國移動數(shù)據(jù)業(yè)務(wù)品質(zhì)管理質(zhì)量類指標(biāo)中界面評估的4個類別8條指標(biāo)產(chǎn)品質(zhì)量類指標(biāo)的理論依據(jù)界面界面評估指標(biāo)交互流暢可見性、反饋性容錯性、可控性視覺簡潔簡潔性架構(gòu)合理結(jié)構(gòu)化、一致性文本清晰易讀性7用戶體驗類指標(biāo)的理論依據(jù)體驗類品質(zhì)指標(biāo)視覺設(shè)計吸引的信任價值、期待信息設(shè)

10、計交互設(shè)計易學(xué)的高效的可尋可及功能規(guī)格內(nèi)容需求用戶需求有效性容錯的有用可用用戶體驗的要素Garrett，J.J， 2000用戶體驗的5E模型Whitney Quesenbery，2003用戶體驗的蜂窩模型Peter Morville，2004參考 Garrett，J.，Whitney Quesenbery，Peter Morville 等人的經(jīng)典用戶體驗理論，體驗類指標(biāo)涵蓋用戶體驗需求的三個基本方面：即功能/內(nèi)容需求，可用性需求和情感需求落實到具體業(yè)務(wù)或產(chǎn)品的品質(zhì)評價，可以歸結(jié)為有用、易用、愛用三個層次愛用情感體驗易用性能感知 界面感知有用功能感知、內(nèi)容感知反映產(chǎn)品本身具有的使用價值，滿足用戶

11、在功能或內(nèi)容上的需求。反映用戶獲取產(chǎn)品使用價值所付出的成本（界面操作成本以及操作過程中的性能成本）反映用戶情感層面對產(chǎn)品的認(rèn)可程度8目錄9指標(biāo)體系的整體架構(gòu)具體指標(biāo)的結(jié)構(gòu)定義2核心指標(biāo)的評價方法31指標(biāo)體系的細(xì)化應(yīng)用4核心層質(zhì)量類指標(biāo)和體驗類指標(biāo)10通用型指標(biāo)及業(yè)務(wù)特殊型指標(biāo)11質(zhì)量類指標(biāo)和定義功能一級指標(biāo)二級指標(biāo)三級指標(biāo)指標(biāo)定義功能功能完備功能完備性 評價產(chǎn)品提供的功能是否完全實現(xiàn)產(chǎn)品計劃或規(guī)劃中規(guī)定的功能。X = A/BA = 產(chǎn)品已具備的核心功能數(shù)（或一級功能數(shù)）B = 產(chǎn)品規(guī)劃中規(guī)定的核心功能數(shù)（或一級功能數(shù)）功能有效功能有效性 評價產(chǎn)品提供的功能是否能夠順利實現(xiàn)。X = 1-A/BA

12、 = 無效功能模塊數(shù)B = 產(chǎn)品規(guī)劃中規(guī)定的核心功能數(shù)（或一級功能數(shù)）無效功能模塊是指走查過程中任一步驟出現(xiàn)可復(fù)現(xiàn)的錯誤或閃退的功能模塊，導(dǎo)致該功能無法實現(xiàn)。功能準(zhǔn)確性評價產(chǎn)品提供的功能所實現(xiàn)的結(jié)果是否正確或是否達(dá)到預(yù)定的結(jié)果。X = A/BA = 達(dá)到正確或預(yù)定結(jié)果的核心功能數(shù)B = 產(chǎn)品規(guī)劃中規(guī)定的核心功能數(shù)（或一級功能數(shù)）功能操作功能操作性評價產(chǎn)品提供的核心功能是否埋藏層級超過三級，功能操作步驟是否超過五步。X = 1-A/BA = 違反操作性的核心功能數(shù)B = 產(chǎn)品規(guī)劃中規(guī)定的核心功能數(shù)（或一級功能數(shù)）功能內(nèi)容性能界面產(chǎn)品質(zhì)量類用戶體驗類12質(zhì)量類指標(biāo)和定義內(nèi)容一級指標(biāo)二級指標(biāo)三級指標(biāo)

13、指標(biāo)定義內(nèi)容內(nèi)容數(shù)量內(nèi)容覆蓋率評價產(chǎn)品提供的內(nèi)容的數(shù)量與種類是否能全部覆蓋公認(rèn)的第三方平臺提供的內(nèi)容數(shù)量與種類。X = A/BA = 該產(chǎn)品覆蓋的內(nèi)容數(shù)量B = 抽樣內(nèi)容總數(shù)量內(nèi)容質(zhì)量內(nèi)容完整度評價產(chǎn)品提供的內(nèi)容在介紹、資費、詳情或評價等方面是否完整。X = A/BA = 被標(biāo)識為完整的內(nèi)容數(shù)量，B = 抽樣總數(shù)量內(nèi)容安全性評價產(chǎn)品提供的內(nèi)容是否無病毒、強(qiáng)制性插件、色情、淫穢內(nèi)容等不安全和不健康的信息。X = A/BA = 被標(biāo)識為安全或健康的內(nèi)容數(shù)量B = 抽樣總數(shù)量內(nèi)容呈現(xiàn)質(zhì)量評價產(chǎn)品提供的內(nèi)容呈現(xiàn)是否存在圖像不清、文本凌亂、聲音存在噪音、界面分割不合理等。X = A/BA = 被標(biāo)識為質(zhì)

14、量合格的內(nèi)容數(shù)量B = 抽樣總數(shù)量內(nèi)容更新內(nèi)容更新率評價產(chǎn)品提供的內(nèi)容更新是否即時同步公認(rèn)第三方平臺的內(nèi)容。X = A/BA = 最新版本的內(nèi)容數(shù)量B = 抽樣總數(shù)量功能內(nèi)容性能界面產(chǎn)品質(zhì)量類用戶體驗類13質(zhì)量類指標(biāo)和定義性能一級指標(biāo)二級指標(biāo)三級指標(biāo)指標(biāo)定義性能即時性客戶端啟動時長評價產(chǎn)品首次啟動所需時長?？蛻舳说卿洉r長評價產(chǎn)品首次登錄所需時長。頁面加載時長評價產(chǎn)品相關(guān)頁面加載所需時長。業(yè)務(wù)操作時長評價產(chǎn)品典型任務(wù)操作所需時長。上傳/下載平均速率評價產(chǎn)品執(zhí)行上傳/下載任務(wù)的速率。穩(wěn)定性客戶端啟動成功率評價產(chǎn)品啟動成功的穩(wěn)定性?？蛻舳说卿洺晒β试u價產(chǎn)品登錄成功的穩(wěn)定性。頁面加載成功率評價產(chǎn)品相關(guān)

15、頁面加載成功的穩(wěn)定性。業(yè)務(wù)操作成功率評價產(chǎn)品執(zhí)行典型任務(wù)成功的穩(wěn)定性。上傳/下載成功率評價產(chǎn)品上傳/下載成功的穩(wěn)定性。資源消耗業(yè)務(wù)運(yùn)行CPU電量消耗評價產(chǎn)品運(yùn)行時所消耗的CPU電量資源。業(yè)務(wù)運(yùn)行上行流量評價產(chǎn)品執(zhí)行典型任務(wù)時所消耗的上行流量資源。業(yè)務(wù)運(yùn)行下行流量評價產(chǎn)品執(zhí)行典型任務(wù)時所消耗的下行流量資源。業(yè)務(wù)運(yùn)行CPU占用峰值評價產(chǎn)品執(zhí)行典型任務(wù)時所消耗的CPU資源。業(yè)務(wù)運(yùn)行內(nèi)存占用峰值評價產(chǎn)品執(zhí)行典型任務(wù)時所消耗的內(nèi)存資源。功能內(nèi)容性能界面產(chǎn)品質(zhì)量類用戶體驗類14質(zhì)量類指標(biāo)和定義界面一級指標(biāo)二級指標(biāo)三級指標(biāo)指標(biāo)定義界面交互流暢可見性評價產(chǎn)品界面是否符合界面設(shè)計通用的可見性原則。X = A/B

16、A = 符合可見性原則任務(wù)數(shù)B = 核心功能關(guān)鍵任務(wù)總數(shù)可見性原則包括：a) 有圖標(biāo)或控件被選中時都有明確狀態(tài)；b) 圖標(biāo)、按鈕、菜單等界面元素的可操作狀態(tài)和不可操作狀態(tài)區(qū)分清晰；c) 非通用圖標(biāo)是否意義明確、具有較強(qiáng)的識別性或配有相應(yīng)說明文字；d) 界面是否有標(biāo)題或者題目顯示，輸入界面是否有明顯的標(biāo)題提示反饋性評價產(chǎn)品界面是否符合界面設(shè)計通用的反饋性原則。X=A/BA = 符合反饋性原則任務(wù)數(shù)B = 核心功能關(guān)鍵任務(wù)總數(shù)反饋性原則包括：a) 當(dāng)用戶執(zhí)行明確操作時是否提供了準(zhǔn)確有效的反饋信息；b) 對于正在進(jìn)行的活動是否有明確的反饋信息， 提示用戶當(dāng)前程序所處的狀態(tài)。如下載、安裝、加載等進(jìn)程是

17、否有提示；c) 對于涉及到費用、流量等重要信息的操作，應(yīng)該提供明確的提示信息，告知用戶會產(chǎn)生費用，并提供取消操作可控性評價產(chǎn)品界面是否符合界面設(shè)計通用的可控性原則。X=A/BA = 符合可控性原則任務(wù)數(shù)B = 核心功能關(guān)鍵任務(wù)總數(shù)可控性原則包括：a) 用戶是否可以主導(dǎo)（而非程序主導(dǎo)）觸發(fā)及控制等操作；b) 對于不需要或不想出現(xiàn)的提示及提示音，用戶是否可以改變相應(yīng)方式或直接關(guān)閉；c) 背景圖片、色彩搭配等是否可以由用戶選擇；d) 用戶是否能夠正常終止正在進(jìn)行的操作；e) 對于常用操作的設(shè)計是否簡單清晰，用戶不需要幫助文檔 容錯性 評價產(chǎn)品界面是否符合界面設(shè)計通用的容錯性原則。X=A/BA = 符

18、合容錯性原則任務(wù)數(shù)B = 核心功能關(guān)鍵任務(wù)總數(shù)容錯性原則包括：a) 系統(tǒng)是否提供有效提示防止錯誤的發(fā)生，如要求用戶輸入時告知輸入信息的格式；b) 在用戶進(jìn)行不可逆操作前是否提醒用戶，如用戶的操作將引發(fā)嚴(yán)重的后果或者操作無法逆轉(zhuǎn)時，系統(tǒng)是否提示用戶并且等待用戶確認(rèn)；c) 發(fā)生錯誤時是否明確告知用戶產(chǎn)生錯誤的原因，并且有效地建議解決方案功能內(nèi)容性能界面產(chǎn)品質(zhì)量類用戶體驗類15質(zhì)量類指標(biāo)和定義界面（續(xù)）一級指標(biāo)二級指標(biāo)三級指標(biāo)指標(biāo)定義界面架構(gòu)合理一致性評價產(chǎn)品界面是否符合界面設(shè)計通用的一致性原則。X=A/BA = 符合一致性原則任務(wù)數(shù)B = 核心功能關(guān)鍵任務(wù)總數(shù)一致性原則包括：a)視覺風(fēng)格是否保持一

19、致，例如：顏色質(zhì)感、主題樣式、版式等是否一致；b)圖標(biāo)控件是否保持一致，例如：產(chǎn)品是否使用了標(biāo)準(zhǔn)控件，元素大小比例、形狀語義等是否一致；c)界面布局是否保持一致，例如：執(zhí)行相同功能的菜單、按鈕、圖標(biāo)等在每個頁面中是否都在同一個位置；d)導(dǎo)航是否保持一致，例如：導(dǎo)航在不同界面中是否保持一致；e)同類操作的交互行為是否一致，例如：在同類界面下都是通過“滑動行為”來切換標(biāo)簽。結(jié)構(gòu)化評價產(chǎn)品界面是否符合界面設(shè)計通用的結(jié)構(gòu)化原則。X=A/BA = 符合結(jié)構(gòu)化原則任務(wù)數(shù)B = 核心功能關(guān)鍵任務(wù)總數(shù)結(jié)構(gòu)化原則包括：a) 菜單結(jié)構(gòu)是否符合邏輯，按一定規(guī)則排列；b) 信息結(jié)構(gòu)是否明確、主次分明，用戶是否能在短時

20、間內(nèi)發(fā)現(xiàn)關(guān)鍵信息；c) 導(dǎo)航邏輯層次是否清晰，用戶是否知道從哪里來、在哪里、到哪里去；d) 頁面布局所呈現(xiàn)的視覺路徑是否合乎邏輯視覺簡潔簡潔性評價產(chǎn)品界面是否符合界面設(shè)計通用的簡潔性原則。X=A/BA = 符合簡潔化原則任務(wù)數(shù)B = 核心功能關(guān)鍵任務(wù)總數(shù)簡潔性原則包括：a) 整體界面是否簡潔，例如，界面主色彩不超過三種；b) 信息呈現(xiàn)是否簡潔，例如，主次是否恰當(dāng)，并通過大小比例、顏色對比等來呈現(xiàn)；c) 圖形層次簡單，避免視覺跳轉(zhuǎn)頻繁文本清晰易讀性評價產(chǎn)品界面是否符合界面設(shè)計通用的易讀性原則。X=A/BA = 符合易讀性原則任務(wù)數(shù)B = 核心功能關(guān)鍵任務(wù)總數(shù)人性化原則包括：a) 文本呈現(xiàn)是否可識

21、別，例如，字體大小、背景顏色區(qū)分是否適當(dāng)；b) 文本描述是否簡潔易懂，沒有歧義，避免使用專業(yè)化術(shù)語、俚語、方言；c) 文本表達(dá)應(yīng)該用正面的方式進(jìn)行陳述；d) 圖標(biāo)、控件和菜單的名稱是否清楚表明實際執(zhí)行的任務(wù)；e) 提示、通知、反饋等信息是否便于理解,如文字是否易懂功能內(nèi)容性能界面產(chǎn)品質(zhì)量類用戶體驗類16用戶體驗類指標(biāo)和定義一級指標(biāo)二級指標(biāo)三級指標(biāo)指標(biāo)定義有用功能感知功能完備性評價產(chǎn)品提供的功能是否完全滿足用戶需求。功能有效性評價產(chǎn)品提供的功能對于用戶來說是否能夠順利實現(xiàn)。功能準(zhǔn)確性評價產(chǎn)品提供的功能實現(xiàn)的結(jié)果是否符合用戶預(yù)期。功能操作性評價產(chǎn)品提供的功能對于用戶來說操作是否流暢。內(nèi)容感知內(nèi)容數(shù)

22、量評價產(chǎn)品提供的內(nèi)容在數(shù)量和類別上是否滿足用戶需求。內(nèi)容質(zhì)量評價產(chǎn)品提供的內(nèi)容在質(zhì)量上是否滿足用戶需求。內(nèi)容更新評價產(chǎn)品提供的內(nèi)容在更新上是否滿足用戶期望。易用性能感知即時性評價產(chǎn)品在使用過程中對操作的響應(yīng)速度是否滿足用戶期望。穩(wěn)定性評價產(chǎn)品在使用過程中對于用戶來說是否穩(wěn)定可靠，不易出錯或崩潰。流量消耗評價產(chǎn)品在使用過程中所消耗的流量對于用戶來說是否合理。電量消耗評價產(chǎn)品在使用過程中所消耗的電量對于用戶來說是否可接受。界面感知操作便捷評價產(chǎn)品在使用過程中對于用戶來說操作是否便捷界面簡潔評價產(chǎn)品界面對于用戶來說是否簡潔文本易讀評價產(chǎn)品界面文本對于用戶來說是否清晰易懂易于學(xué)習(xí)評價產(chǎn)品使用對于用戶來

23、說是否易于學(xué)習(xí)愛用情感體驗視覺美觀評價產(chǎn)品界面對于用戶來說是否美觀、友好和舒適。使用愉悅評價產(chǎn)品在使用過程中用戶是否感到實用感、滿足感和愉悅性整體滿意評價用戶對產(chǎn)品是否滿意用戶推薦評價產(chǎn)品在使用后，用戶是否愿意向他人推薦此產(chǎn)品有用易用愛用產(chǎn)品質(zhì)量類用戶體驗類17關(guān)聯(lián)層-服務(wù)類和市場表現(xiàn)類指標(biāo)18服務(wù)類指標(biāo)結(jié)構(gòu)和定義一級指標(biāo)二級指標(biāo)三級指標(biāo)指標(biāo)定義服務(wù)有效營銷營銷內(nèi)容用戶對營銷內(nèi)容的評價，即廣告、宣傳等營銷方案多樣，覆蓋面廣等。營銷效果有效性指用戶對營銷活動結(jié)果的評價，即廣告、宣傳等營銷方案是否具有針對性、目的性，以及是否能夠準(zhǔn)確、友好地向用戶傳達(dá)相關(guān)信息。渠道便捷渠道有效性用戶在了解、獲取、咨

24、詢和反饋產(chǎn)品相關(guān)信息過程中能夠找到有效服務(wù)途徑的評價渠道便捷性用戶獲取服務(wù)的便捷程度，包括用戶感知到的產(chǎn)品下載、業(yè)務(wù)開通、套餐訂購、變更和退訂環(huán)節(jié)申請辦理流程的便捷程度，其度量指標(biāo)包括：下載安裝便捷性和訂購?fù)擞啽憬菪?。服?wù)友好服務(wù)的及時性用戶對客服是否能夠及時地回應(yīng)用戶的服務(wù)請求和在合理的時間內(nèi)告知問題解決方案的感知?？头行杂脩魧ψ稍兊膯栴}和投訴的意見是否得到妥善、滿意和有效處理的感知。客服友好性客服人員服務(wù)態(tài)度的友好程度，即客服人員是否會主動和耐心地對用戶的需求進(jìn)行詢問和了解，是否會使用恰當(dāng)?shù)臏贤ǚ绞胶陀脩艄餐鉀Q問題。資費合理資費合理性用戶對產(chǎn)品套餐資費、內(nèi)容收費價格的可接受程度。資費

25、準(zhǔn)確性用戶對資費是否準(zhǔn)確、透明、消費記錄是否可查詢，以及是否存在不知情的資費定制、取消、變更或誤收費情況的評價。19市場表現(xiàn)類指標(biāo)結(jié)構(gòu)和定義一級指標(biāo)二級指標(biāo)三級指標(biāo)指標(biāo)定義用戶規(guī)模付費用戶比例付費用戶比例統(tǒng)計周期內(nèi)（一般以月為單位）產(chǎn)品付費獨立用戶（包括單次訂購和包月使用的用戶）所占比例。 X=A/B； A =當(dāng)月付費用戶數(shù)；B =當(dāng)月所有用戶總數(shù)付費活躍用戶比例付費且活躍用戶比例統(tǒng)計周期內(nèi)付費且活躍用戶所占比例。活躍用戶是指某一周期內(nèi)（如月，周或日）至少登錄、使用、訂購或點播過該產(chǎn)品。 X=A/B； A =當(dāng)月付費且活躍用戶總數(shù)；B =當(dāng)月付費用戶總數(shù)用戶質(zhì)量活躍度月活躍度統(tǒng)計周期內(nèi)活躍用戶

26、所占比例?；钴S用戶是指某一周期內(nèi)（如月，周或日）至少登錄、使用、訂購或點播過該產(chǎn)品的用戶。需根據(jù)具體業(yè)務(wù)來確定月使用留存率月使用留存率 指統(tǒng)計周期內(nèi)（月），留存用戶的比例。用戶在第N個月內(nèi)使用手機(jī)導(dǎo)航業(yè)務(wù)，第N-1個月內(nèi)仍然繼續(xù)使用的即為留存。X=A/B ；A = 第N個月使用產(chǎn)品且第N-1個月仍在使用的用戶數(shù)；B = 第N個月的用戶數(shù)月付費留存率月付費留存率指統(tǒng)計周期內(nèi)，留存用戶的比例（用戶在第N個月內(nèi)付費訂購該數(shù)據(jù)業(yè)務(wù)，第N-1月內(nèi)仍然繼續(xù)付費的即為留存。X=A/B ；A = 第N個月付費用戶且第N-1個月仍在付費的用戶數(shù)；B = 第N個月的用戶數(shù)業(yè)務(wù)流量月使用總流量月使用總流量統(tǒng)計周期內(nèi)

27、（月）所有用戶使用手機(jī)導(dǎo)航產(chǎn)品的累計總流量。月戶均流量業(yè)務(wù)月戶均流量統(tǒng)計周期內(nèi)每一部獨立用戶（獨立移動終端）使用產(chǎn)品的業(yè)務(wù)流量。用戶投訴月萬人次投訴率月萬人次投訴率 統(tǒng)計周期內(nèi)（月）產(chǎn)品受到投訴的萬人次比率。 X=A/B； A = 當(dāng)月所有與業(yè)務(wù)有關(guān)的有效投訴量；B = 當(dāng)月業(yè)務(wù)的用戶總數(shù)量（單位：萬）月萬人次質(zhì)量類投訴率月萬人次質(zhì)量類投訴率統(tǒng)計周期內(nèi)（月）與產(chǎn)品質(zhì)量相關(guān)的受到投訴的萬人次比率。X=A/B ；A = 當(dāng)月所有與業(yè)務(wù)有關(guān)的有效的質(zhì)量類投訴量；B = 當(dāng)月業(yè)務(wù)的使用用戶總數(shù)量（單位：萬）20目錄21指標(biāo)體系的整體架構(gòu)具體指標(biāo)的結(jié)構(gòu)定義2核心指標(biāo)的評價方法31指標(biāo)體系的細(xì)化應(yīng)用4關(guān)鍵

28、指標(biāo)及選取原則關(guān)鍵指標(biāo)及選取原則用戶體驗類的關(guān)鍵指標(biāo)產(chǎn)品質(zhì)量類的關(guān)鍵指標(biāo)根據(jù)用戶調(diào)研結(jié)果，總結(jié)出影響用戶體驗的關(guān)鍵問題（包括被用戶所感知并報告出的問題和用戶選擇某項業(yè)務(wù)時所依據(jù)的評價標(biāo)準(zhǔn)及要求），確定體驗類關(guān)鍵指標(biāo)；與體驗類關(guān)鍵指標(biāo)對應(yīng)的指標(biāo)；對歷史數(shù)據(jù)的總結(jié)分析（去除行業(yè)默認(rèn)的基本要求，去除多次多競品測試中沒有變化的指標(biāo)，保留多次多競品測試中有敏感變化的指標(biāo)）；22體驗類和質(zhì)量類關(guān)鍵指標(biāo)的提?。ㄊ謾C(jī)導(dǎo)航為例）耗電量操作反應(yīng)速度定位準(zhǔn)確性導(dǎo)航效果功能少流量消耗大需要付費POI信息不全2011年手機(jī)導(dǎo)航用戶關(guān)注的問題定位精確性耗電量操作反應(yīng)速度流量消耗地圖的精準(zhǔn)性豐富性路線規(guī)劃的精準(zhǔn)豐富性地圖定

29、位精準(zhǔn)2013年手機(jī)導(dǎo)航用戶關(guān)注的問題地圖細(xì)節(jié)豐富程度地圖信息準(zhǔn)確POI信息覆蓋率信息搜索快速定位準(zhǔn)確路線規(guī)劃準(zhǔn)確耗電量流量消耗任務(wù)操作便捷地圖信息豐富性POI信息豐富性信息點搜索時延線路計算時延地圖加載時延定位成功率定位精度信息點搜索成功率導(dǎo)航成功率導(dǎo)航CPU電量消耗導(dǎo)航下行流量操作效率業(yè)務(wù)特殊的質(zhì)量類關(guān)鍵指標(biāo)用戶調(diào)研結(jié)果總結(jié)體驗類關(guān)鍵指標(biāo)質(zhì)量類關(guān)鍵指標(biāo)業(yè)務(wù)特殊的體驗類關(guān)鍵指標(biāo)23關(guān)鍵指標(biāo)分布（手機(jī)導(dǎo)航為例）24評價方法及評價標(biāo)準(zhǔn)25說明：產(chǎn)品質(zhì)量類的性能指標(biāo)的達(dá)標(biāo)性評價，通過端到端撥測系統(tǒng)獲取各省數(shù)據(jù)，目前系統(tǒng)二期尚未上線，現(xiàn)階段采用實驗室測試數(shù)據(jù)達(dá)標(biāo)性評價定義評價各指標(biāo)項目是否達(dá)到標(biāo)準(zhǔn)要

30、求標(biāo)準(zhǔn)來源利益相關(guān)方協(xié)議確定、行業(yè)標(biāo)桿或競品研究數(shù)據(jù)來源端到端撥測平臺評分原理評價測查對象與標(biāo)準(zhǔn)的相對差距，再根據(jù)關(guān)鍵指標(biāo)不同權(quán)重進(jìn)行加權(quán)計算符合性評價定義評價各指標(biāo)項目是否符合規(guī)范、原則和要求標(biāo)準(zhǔn)來源競品研究功能規(guī)范&界面設(shè)計原則；數(shù)據(jù)來源專家評測評分原理評價測查對象與已有標(biāo)準(zhǔn)、規(guī)范、原則的一致性程度；再根據(jù)關(guān)鍵指標(biāo)不同權(quán)重進(jìn)行加權(quán)計算用戶主觀評價定義用戶對各指標(biāo)項目的感知評價結(jié)果標(biāo)準(zhǔn)來源不適用數(shù)據(jù)來源發(fā)燒友俱樂部問卷調(diào)研評分原理五點量表量化用戶主觀感受，再根據(jù)關(guān)鍵指標(biāo)不同權(quán)重進(jìn)行加權(quán)計算競品選擇原則競品選擇采用3+N模式，即每個產(chǎn)品會挑選3+N個競品；并與基地討論確定競品方案3的選擇標(biāo)準(zhǔn)是

31、使用用戶量或總下載次數(shù)等指標(biāo)排名TOP3的產(chǎn)品，數(shù)據(jù)參考艾瑞，易觀國際或appstore下載量等第三方數(shù)據(jù)源；“N”的選擇標(biāo)準(zhǔn)是具有某種特色的產(chǎn)品，如人際傳播性強(qiáng)，速度增長快的產(chǎn)品，用戶活躍度高的產(chǎn)品，產(chǎn)品核心功能定位鮮明的產(chǎn)品，其他運(yùn)營商同類產(chǎn)品等。序號基地業(yè)務(wù)競品TOP3N（特色）競品-1競品-2競品-345671音樂基地咪咕音樂多米音樂酷狗音樂QQ音樂天天動聽酷我音樂2閱讀基地手機(jī)閱讀iReader91熊貓QQ閱讀多看閱讀書旗小說天翼閱讀3游戲基地游戲大廳當(dāng)樂游戲中心九游游戲中心愛游戲4視頻基地手機(jī)視頻愛奇藝優(yōu)酷PPS搜狐視頻PPTV百度視頻騰訊視頻5動漫基地手機(jī)動漫布卡漫畫漫畫魔屏愛動

32、漫騰訊微漫暴走漫畫有妖氣漫畫6電子商務(wù)基地手機(jī)支付 支付寶錢包財付通翼支付7位置基地手機(jī)導(dǎo)航高德地圖百度地圖導(dǎo)航犬高德導(dǎo)航凱立德導(dǎo)航812580基地12580老虎寶典大眾點評號碼百事通美團(tuán)食神搖搖布丁優(yōu)惠券9互聯(lián)網(wǎng)基地139郵箱QQ郵箱189郵箱網(wǎng)易郵箱10MM商場應(yīng)用寶91手機(jī)助手安卓市場百度手機(jī)助手天翼空間360手機(jī)助手11飛信QQ微信Line26指標(biāo)評價方法27質(zhì)量類性能指標(biāo)達(dá)標(biāo)值的確定參考來源：業(yè)務(wù)規(guī)范中規(guī)定的性能要求：達(dá)標(biāo)值、挑戰(zhàn)值集團(tuán)質(zhì)量指標(biāo)體系的規(guī)定：現(xiàn)狀、目標(biāo)值、挑戰(zhàn)值研究院實驗室測試通用性能標(biāo)準(zhǔn)：達(dá)標(biāo)值自有業(yè)務(wù)研究院12、13年測試數(shù)據(jù)：平均值競品研究院12、13年測試數(shù)據(jù)：

33、平均值選取原則：略高于現(xiàn)狀、接近業(yè)務(wù)規(guī)范和質(zhì)量規(guī)定的挑戰(zhàn)值、接近競品的已有測試平均值 示例： 手機(jī)導(dǎo)航性能指標(biāo)中時延相關(guān)指標(biāo)的標(biāo)準(zhǔn)指標(biāo)定義建議標(biāo)準(zhǔn)1業(yè)務(wù)規(guī)范說明中規(guī)定的達(dá)標(biāo)值2集團(tuán)現(xiàn)在質(zhì)量指標(biāo)體系中規(guī)定值3研究院專家走查通用性能標(biāo)準(zhǔn)值4研究院12/13年測試數(shù)據(jù)自有業(yè)務(wù)4研究院12/13年測試數(shù)據(jù)競品參考值2G3GWLAN2G網(wǎng)絡(luò)現(xiàn)狀2G網(wǎng)絡(luò)目標(biāo)值2G網(wǎng)絡(luò)挑戰(zhàn)值3G網(wǎng)絡(luò)現(xiàn)狀3G網(wǎng)絡(luò)目標(biāo)值3G網(wǎng)絡(luò)挑戰(zhàn)值WLAN網(wǎng)絡(luò)現(xiàn)狀WLAN網(wǎng)絡(luò)目標(biāo)值WLAN網(wǎng)絡(luò)挑戰(zhàn)值2G現(xiàn)狀3G現(xiàn)狀WLAN現(xiàn)狀2G3GWLAN（1）常規(guī)啟動時延 54.546.50 6.2s6.5s5s5.6s6s4.8s暫無5.8s4.6s

34、5.00 5.50 4.60 2.90 8.14 5.60 4.37 （2）定位時延7779.00 8s9s7.5s8s9s7.5s暫無9s7.5s3.00 2.80 暫無暫無17.70 暫無暫無（3）地圖加載時延 76.55.51.20 9.7s9.5s7s7.8s7.5s6.5s暫無6.9s5.5s3.00 19.84 9.65 1.19 暫無6.06 1.53 （5）信息點搜索時延 3.83.52.52.50 4.7s4s3.8s4.2s3.8s3.5s暫無3.5s3s3.00 4.51 3.78 2.23 4.38 3.10 2.08 （6）路線計算時延53.52.55.00 7.2s

35、6s5s5.8s5.4s4.5s暫無4.5s4s3.00 5.44 3.83 2.23 4.92 3.46 2.55 28質(zhì)量類和體驗類指標(biāo)的權(quán)重遵循統(tǒng)一權(quán)重、總量和比例控制的原則。關(guān)鍵指標(biāo)與非關(guān)鍵指標(biāo)的權(quán)重分布為7:3，即所有關(guān)鍵指標(biāo)占總體權(quán)重的70%，所有非關(guān)鍵指標(biāo)占總體權(quán)重的30%；根據(jù)關(guān)鍵指標(biāo)的個數(shù)，平均計算出各個關(guān)鍵指標(biāo)的權(quán)重；根據(jù)非關(guān)鍵指標(biāo)的個數(shù)，平均計算出各個非關(guān)鍵指標(biāo)的權(quán)重；控制關(guān)鍵指標(biāo)與非關(guān)鍵指標(biāo)的數(shù)量分布，防止因為指標(biāo)個數(shù)過多而導(dǎo)致各類指標(biāo)的權(quán)重分布不均；通用版手機(jī)導(dǎo)航手機(jī)動漫指標(biāo)數(shù)量規(guī)定質(zhì)量類功能4343-4內(nèi)容5555-6性能/即時性5685-8性能/穩(wěn)定性5844-8

36、性能/資源消耗11999-11界面8888體驗類有用91399-13易用4564-6愛用444429目錄30指標(biāo)體系的整體架構(gòu)具體指標(biāo)的結(jié)構(gòu)定義2核心指標(biāo)的評價方法31指標(biāo)體系的細(xì)化應(yīng)用4指標(biāo)體系細(xì)化工作的時間安排8月已完成手機(jī)導(dǎo)航、手機(jī)動漫的品質(zhì)指標(biāo)細(xì)化（2個）；9月中旬：無線音樂、手機(jī)閱讀、手機(jī)報、手機(jī)游戲（4個）；9月：手機(jī)支付、手機(jī)錢包、139郵箱、MM（4個）；10月：手機(jī)視頻、12580、飛信、靈犀（4個）。11月：無線城市、隨e行WLAN、物聯(lián)通專網(wǎng)專號（3個）。需要相關(guān)處室配合的工作事項：確定關(guān)鍵需求：根據(jù)前期用戶調(diào)研結(jié)論，共同討論確定客戶的關(guān)鍵需求。審核細(xì)化指標(biāo)：討論審核基地

37、根據(jù)通用指標(biāo)模板細(xì)化的具體的品質(zhì)指標(biāo)體系。審核評估報告：完成品質(zhì)指標(biāo)收集后，共同審核產(chǎn)品的品質(zhì)評估報告，確定品質(zhì)提供工作計劃。需要運(yùn)營管理處通過VGOP提供市場表現(xiàn)類、部分性能指標(biāo)的相關(guān)數(shù)據(jù)31指標(biāo)體系細(xì)化工作的實施流程前期調(diào)研工作內(nèi)容：開展小樣本用戶調(diào)研，聚焦各業(yè)務(wù)的核心功能，確定關(guān)鍵的品質(zhì)指標(biāo)，確保品質(zhì)指標(biāo)的評估結(jié)果能客觀真實反映客戶的體驗和感知。關(guān)鍵原則及控制點：樣本選取符合現(xiàn)網(wǎng)客戶特征、問卷涵蓋業(yè)務(wù)主要功能工作成果：形成調(diào)研結(jié)果，明確客戶關(guān)鍵需求，支撐指標(biāo)細(xì)化指標(biāo)細(xì)化工作內(nèi)容：契合產(chǎn)品策略的發(fā)展重點，確定業(yè)務(wù)核心功能和關(guān)鍵指標(biāo)，細(xì)化具體業(yè)務(wù)的品質(zhì)管理指標(biāo)體系關(guān)鍵原則及控制點：指標(biāo)架構(gòu)統(tǒng)

38、一、指標(biāo)數(shù)量及權(quán)重統(tǒng)一、目標(biāo)值合理工作成果：提交具體業(yè)務(wù)指標(biāo)體系和指標(biāo)評價表質(zhì)量指標(biāo)收集工作內(nèi)容：依托端到端撥測系統(tǒng)開展分省的自動撥測關(guān)鍵原則及控制點：撥測腳本規(guī)范、撥測終端統(tǒng)一工作成果：提交產(chǎn)品質(zhì)量指標(biāo)得分和評估報告體驗指標(biāo)收集工作內(nèi)容：依托發(fā)燒友俱樂部實施線上問卷調(diào)研關(guān)鍵原則及控制點：樣本選擇有效性、調(diào)研組織規(guī)范性、數(shù)據(jù)分析科學(xué)性工作成果：提交用戶體驗指標(biāo)得分和評估報告32各基地和省公司需要配合總部做好指標(biāo)收集的相關(guān)工作質(zhì)量類指標(biāo)主要通過專家評估、自動撥測、平臺統(tǒng)計的方式進(jìn)行收集，基地和省公司主要配合開展性能指標(biāo)、部分內(nèi)容指標(biāo)的收集。各省公司工作要求：按照總部對各項業(yè)務(wù)的端到端撥測工作要求，依托自動撥測系統(tǒng)開展分地域的性能指標(biāo)撥測，基地的工作要求：業(yè)務(wù)平臺協(xié)助提供內(nèi)容指標(biāo)的統(tǒng)計數(shù)據(jù)（如手機(jī)導(dǎo)航的POI信息豐富性等）。 質(zhì)量類指標(biāo)收集體驗類指標(biāo)采用用戶線上調(diào)研的方式進(jìn)行收集，總部已明確了問卷調(diào)研的樣本細(xì)分篩選標(biāo)準(zhǔn)，發(fā)燒友俱樂部主要承擔(dān)問卷設(shè)計、調(diào)研