安永-中國(guó)聯(lián)通以客戶感知為中心的業(yè)務(wù)測(cè)試驗(yàn)證指標(biāo)體系CEI體系交付-0423-v0.1（peishan）

中國(guó)聯(lián)通以客戶感知為中心的業(yè)務(wù)測(cè)試驗(yàn)證指標(biāo)體系說(shuō)明文檔中國(guó)聯(lián)通公司發(fā)布目錄1 CEI體系的重要性 CEI體系的重要性CEI體系是業(yè)務(wù)測(cè)試與驗(yàn)證工作的主要構(gòu)成部分，其重要性可分為4個(gè)方面：首先，CEI體系是業(yè)務(wù)測(cè)試與驗(yàn)證整體工作的重要支撐工具，為整個(gè)業(yè)務(wù)測(cè)試與驗(yàn)證工作提供了依據(jù)，是開(kāi)展整個(gè)工作的基礎(chǔ)；其次，CEI是業(yè)務(wù)上線前感知測(cè)試的評(píng)判標(biāo)準(zhǔn)，在新系統(tǒng)及新業(yè)務(wù)上線前對(duì)可能產(chǎn)生的客戶感知進(jìn)行全面的衡量，并對(duì)表現(xiàn)較差的環(huán)節(jié)進(jìn)行強(qiáng)制優(yōu)化和改進(jìn)；并且CEI體系可以指導(dǎo)業(yè)務(wù)上線后優(yōu)化和改進(jìn)的方向，在新業(yè)務(wù)上線之后，相關(guān)人員可以針對(duì)測(cè)試中暴露的較薄弱的環(huán)節(jié)及時(shí)組織專題的優(yōu)化并提出相應(yīng)的改進(jìn)需求及方法等；最后，CEI體系可以實(shí)現(xiàn)端到端的感知追蹤，CEI體系衡量的不僅僅是系統(tǒng)層面的功能布局，同時(shí)也會(huì)監(jiān)控業(yè)務(wù)規(guī)則制定-系統(tǒng)固化-業(yè)務(wù)辦理整個(gè)端到端過(guò)程，保證端到端的每個(gè)業(yè)務(wù)功能點(diǎn)的感知都可以被測(cè)試和驗(yàn)證CEI體系設(shè)計(jì)的目標(biāo)作為業(yè)務(wù)測(cè)試與驗(yàn)證工作的重要手段和工具，指標(biāo)體系需要做到：反映客戶真實(shí)感知：CEI體系的測(cè)試結(jié)果應(yīng)該直觀的反應(yīng)真實(shí)的客戶感知，“直觀”可以是通過(guò)量化的結(jié)果來(lái)展示客戶感知水平，“真實(shí)”指測(cè)試結(jié)果的值不應(yīng)該過(guò)高或過(guò)低的估量客戶感知水平體現(xiàn)客戶期望：CEI體系中用來(lái)判定測(cè)試對(duì)象單項(xiàng)指標(biāo)或整體達(dá)標(biāo)與否的方式方法需要結(jié)合客戶期望與聯(lián)通自身發(fā)展（系統(tǒng)、業(yè)務(wù)）狀態(tài)來(lái)確定指導(dǎo)優(yōu)化提升：通過(guò)比較分析客戶真實(shí)感知和客戶期望之間的差距來(lái)督促客戶感知的提升，并對(duì)系統(tǒng)進(jìn)行迭代優(yōu)化CEI體系設(shè)計(jì)的原則目前項(xiàng)目組通過(guò)對(duì)行業(yè)內(nèi)外的對(duì)標(biāo)工作，以及對(duì)聯(lián)通現(xiàn)狀的調(diào)研，提出了符合聯(lián)通特色的以客戶感知為中心的模型設(shè)計(jì)原則：“以客戶感知為中心的”：CEI體系不同于一般系統(tǒng)功能性測(cè)試以保障業(yè)務(wù)辦理為目標(biāo)，而是在滿足基礎(chǔ)業(yè)務(wù)辦理需求的基礎(chǔ)上更進(jìn)一步，以優(yōu)化客戶感知為目標(biāo)，具體表現(xiàn)在：保證客戶感知水平：設(shè)定及格線，保證業(yè)務(wù)辦理水平基本滿足客戶期望保證客戶感知的一致性：通過(guò)統(tǒng)一的標(biāo)準(zhǔn)去對(duì)全國(guó)業(yè)務(wù)辦理、以及不同類別業(yè)務(wù)辦理提出要求保證端到端感知：衡量的是呈現(xiàn)給客戶的業(yè)務(wù)辦理工作的整體，涉及（業(yè)務(wù)規(guī)則+系統(tǒng)+操作辦理過(guò)程）一條線的綜合表現(xiàn)，而不應(yīng)是拘泥于某個(gè)單一環(huán)節(jié)“聯(lián)通的、符合電信行業(yè)需求的”：指標(biāo)體系最終需要融入聯(lián)通真實(shí)業(yè)務(wù)辦理場(chǎng)景中去使用，針對(duì)電信客戶在意的感知維度設(shè)置測(cè)試與驗(yàn)證點(diǎn)，以滿足提升服務(wù)質(zhì)量以及發(fā)現(xiàn)服務(wù)過(guò)程中的短板的目的，從不同的層面進(jìn)行檢測(cè)和優(yōu)化：嚴(yán)控業(yè)務(wù)辦理關(guān)鍵節(jié)點(diǎn)感知（業(yè)務(wù)流程層面）：保證客戶在業(yè)務(wù)辦理關(guān)鍵節(jié)點(diǎn)（很大程度上決定業(yè)務(wù)辦理成功/失敗的關(guān)鍵步驟）的感知結(jié)合業(yè)務(wù)辦理操作模式優(yōu)化感知細(xì)節(jié)（系統(tǒng)層面）：結(jié)合聯(lián)通業(yè)務(wù)辦理操作系統(tǒng)，針對(duì)不同測(cè)試對(duì)象（cBSS和App/Web端）的使用特點(diǎn)以及操作對(duì)象選擇具體的可測(cè)量的指標(biāo)CEI體系的介紹結(jié)合對(duì)CEI體系的重要性、設(shè)計(jì)的目標(biāo)及原則的分析，構(gòu)建了客戶感知指標(biāo)體系，主要構(gòu)成部分分為：測(cè)試對(duì)象、測(cè)試場(chǎng)景、測(cè)試指標(biāo)、指標(biāo)閥值以及測(cè)試工具，具體如下圖：基于聯(lián)通的現(xiàn)狀將針對(duì)指標(biāo)體系的5個(gè)構(gòu)成維度進(jìn)行更深層的分析：測(cè)試對(duì)象：測(cè)試驗(yàn)證對(duì)象指外部客戶、內(nèi)部客戶的感知產(chǎn)生環(huán)境，比如cBSS系統(tǒng)、App端、Web端測(cè)試場(chǎng)景：覆蓋了聯(lián)通現(xiàn)有的4類已上線業(yè)務(wù)，并從端到端的業(yè)務(wù)辦理流程中選取較為重要的10個(gè)環(huán)節(jié)，以保證客戶在辦理不同業(yè)務(wù)情況下感知的一致性以及一定水準(zhǔn)的端到端服務(wù)水平測(cè)試指標(biāo)：針對(duì)內(nèi)部客戶、外部客戶的感知接觸點(diǎn)（與cBSS和App/Web客戶端）的特性設(shè)定差異化的指標(biāo)來(lái)對(duì)客戶感知提升工作進(jìn)行有效指導(dǎo)，定性、定量指標(biāo)結(jié)合使用，配合科學(xué)的測(cè)試和計(jì)算方法來(lái)保證指標(biāo)體系的可行性指標(biāo)閥值：閥值用來(lái)定義指標(biāo)的合理區(qū)間，如果超出閥值范圍將出現(xiàn)告警，需要進(jìn)行異動(dòng)分析測(cè)試工具：測(cè)試工具多樣化，根據(jù)測(cè)試需求、測(cè)試任務(wù)的必要性/重要性/敏感度等多方面考量，選取最優(yōu)測(cè)試工具開(kāi)展測(cè)試工作CEI體系詳解及相關(guān)設(shè)計(jì)原理測(cè)試對(duì)象面向內(nèi)外部客戶為了全面的、科學(xué)的以客戶感知為中心開(kāi)展業(yè)務(wù)測(cè)試與驗(yàn)證工作，此次CEI體系的設(shè)計(jì)主要是針對(duì)內(nèi)部客戶，即cBSS系統(tǒng)的真正使用者。同時(shí)，隨著互聯(lián)網(wǎng)應(yīng)用的飛速發(fā)展，客戶消費(fèi)習(xí)慣發(fā)生了質(zhì)的變化，人們不再依賴于實(shí)體店面提供的服務(wù)，而是更多地轉(zhuǎn)向Web端和App端，所以有效地測(cè)試和提升外部客戶，即掌廳和手廳的使用者們的感知也已成為了CEI體系不可忽視的一部分。測(cè)試場(chǎng)景分層、分級(jí)、科學(xué)的選擇選擇有聯(lián)通代表性的業(yè)務(wù)場(chǎng)景對(duì)以后的測(cè)試驗(yàn)證工作具有指導(dǎo)性的作用，場(chǎng)景將會(huì)是聯(lián)通的已上線業(yè)務(wù)與具體商業(yè)過(guò)程的結(jié)合，對(duì)真實(shí)業(yè)務(wù)辦理場(chǎng)景的細(xì)致分解可以實(shí)現(xiàn)對(duì)客戶業(yè)務(wù)辦理場(chǎng)景在時(shí)間維度和空間維度上的深度刻畫(huà)，力求在客戶每一個(gè)較敏感的感知環(huán)節(jié)（感知接觸點(diǎn)）進(jìn)行測(cè)試與驗(yàn)證工作以及后續(xù)的提升。不論客戶在何時(shí)何地辦理任何中國(guó)聯(lián)通業(yè)務(wù)，客戶感知都能通過(guò)CEI矩陣得以真實(shí)的反應(yīng)，且以CEI矩陣為核心的針對(duì)客戶感知的上線前的業(yè)務(wù)測(cè)試與驗(yàn)證工作從源頭處保證了一定的客戶感知水準(zhǔn)。以下是關(guān)于客戶A以“4G套餐新用戶”身份成為中國(guó)聯(lián)通用戶的辦理過(guò)程示意圖，充分的展現(xiàn)了業(yè)務(wù)辦理周期的每個(gè)環(huán)節(jié)，為之后測(cè)試驗(yàn)證工作場(chǎng)景的選擇勾勒了一個(gè)全景圖：針對(duì)內(nèi)部客戶與外部客戶的關(guān)鍵測(cè)試場(chǎng)景的選擇必須有所區(qū)分，內(nèi)部客戶對(duì)于系統(tǒng)的功能性感知較強(qiáng)，比如他們會(huì)真切的感覺(jué)到在辦理某一項(xiàng)業(yè)務(wù)時(shí)系統(tǒng)總是出現(xiàn)自己無(wú)法解決的問(wèn)題，或是進(jìn)行到某一個(gè)環(huán)節(jié)時(shí)狀態(tài)更新需要等待太久而感到焦躁。相反的，不同于內(nèi)部客戶對(duì)于系統(tǒng)運(yùn)作的敏感程度，外部客戶只在乎通過(guò)Web端/App端是否能達(dá)到自己的目的。內(nèi)部客戶不會(huì)逐一對(duì)接觸的業(yè)務(wù)場(chǎng)景產(chǎn)生較大的感知，而是會(huì)從一個(gè)“整體的”角度去感受手廳、網(wǎng)廳是不是“好用”-即是否滿足了他們最初的需求。所以在針對(duì)內(nèi)部客戶選擇關(guān)鍵的測(cè)試場(chǎng)景時(shí)，應(yīng)盡量將端到端的業(yè)務(wù)辦理流程進(jìn)行細(xì)分，然后詢問(wèn)被測(cè)試者對(duì)于每個(gè)感知點(diǎn)的感知好壞，而在為外部客戶選擇關(guān)鍵的測(cè)試場(chǎng)景時(shí)，應(yīng)考慮到場(chǎng)景的整體情況而非細(xì)分之后的場(chǎng)景。內(nèi)部客戶關(guān)鍵測(cè)試場(chǎng)景甄選原則：根據(jù)對(duì)聯(lián)通現(xiàn)有業(yè)務(wù)辦理流程的復(fù)雜度、投訴情況、故障發(fā)生率等多個(gè)維度的綜合分析，結(jié)合聯(lián)通目前的發(fā)展方向和重心，并考慮到業(yè)務(wù)發(fā)展和流程的代表性，初步選取了11個(gè)場(chǎng)景（分1、2級(jí)場(chǎng)景）作為本次面向客戶感知為中心的業(yè)務(wù)測(cè)試驗(yàn)證指標(biāo)設(shè)計(jì)的研究對(duì)象，分別為：融合業(yè)務(wù)-開(kāi)戶，移動(dòng)業(yè)務(wù)-客戶身份認(rèn)證、融合業(yè)務(wù)-遷轉(zhuǎn)、融合業(yè)務(wù)-套餐變更、固網(wǎng)業(yè)務(wù)-資料變更、移動(dòng)業(yè)務(wù)-用戶繳費(fèi)、固網(wǎng)業(yè)務(wù)-單據(jù)打印、移動(dòng)業(yè)務(wù)-實(shí)物銷售、融合業(yè)務(wù)-退訂、固網(wǎng)業(yè)務(wù)-拆機(jī)、增值業(yè)務(wù)-退訂。以下是甄選的過(guò)程示意圖：外部客戶關(guān)鍵測(cè)試場(chǎng)景甄選原則：根據(jù)在前文中所提到的，外部客戶的場(chǎng)景選擇不同于內(nèi)部客戶的場(chǎng)景選擇，不用細(xì)分到具體的商業(yè)場(chǎng)景，而是盡量將網(wǎng)廳、手廳能使用的功能分成大類進(jìn)行客戶感知的調(diào)研，本次業(yè)務(wù)測(cè)試驗(yàn)證初步選取了以下所示4個(gè)場(chǎng)景以及選擇其的原因：衡量維度以及指標(biāo)的產(chǎn)出通過(guò)借鑒行業(yè)內(nèi)外優(yōu)秀評(píng)估模型的指標(biāo)體系分類原則和豐富的科學(xué)理論輸入，以項(xiàng)目一階段訪談和收集的客戶關(guān)鍵接觸點(diǎn)為基礎(chǔ)，梳理出指標(biāo)的一級(jí)分類，即三大維度的確立分別包括：時(shí)間性、確定性和易用性。時(shí)間性代表的是客戶在辦理業(yè)務(wù)過(guò)程中對(duì)“速度”的感知和期望，研究將涉及到用戶業(yè)務(wù)辦理的平均時(shí)長(zhǎng)、時(shí)長(zhǎng)分布、遇到問(wèn)題的響應(yīng)時(shí)間等方面；確定性代表的是對(duì)“精準(zhǔn)度”的感知和期望，將涉及到研究系統(tǒng)、App端、Web端是否有能力可以在在正確的時(shí)間向正確的用戶提供正確的服務(wù)，業(yè)務(wù)請(qǐng)求與業(yè)務(wù)結(jié)果的一致性等方面；而易用性則包括了對(duì)“簡(jiǎn)單愉悅”的感知和期望，需要考慮用戶在接入廣泛服務(wù)類型時(shí)的付出努力程度、服務(wù)過(guò)程中中斷次數(shù)、失敗比率或數(shù)量、信息恢復(fù)的程度等方面。三大維度的確立以及研究方向可以為之后細(xì)化指標(biāo)工作有引導(dǎo)性的作用。當(dāng)選取具體指標(biāo)時(shí)，需要從衡量維度出發(fā)、結(jié)合測(cè)試對(duì)象的特點(diǎn)和真實(shí)的業(yè)務(wù)場(chǎng)景來(lái)落實(shí)指標(biāo)的含義和測(cè)試目的。單個(gè)指標(biāo)的選取標(biāo)準(zhǔn)和指標(biāo)之間的關(guān)系需要滿足：?jiǎn)蝹€(gè)指標(biāo)選取標(biāo)準(zhǔn)：具備明確的含義及對(duì)改善客戶感知的指導(dǎo)意義適用于目標(biāo)測(cè)試場(chǎng)景適用于目標(biāo)測(cè)試對(duì)象（系統(tǒng)）可測(cè)量（信息可獲?。┛捎?jì)算（可量化）屬于三維度中任一維度指標(biāo)之間的關(guān)系滿足：不重疊（含義、內(nèi)容本質(zhì)）互補(bǔ)，實(shí)現(xiàn)對(duì)各客戶感知維度的全面刻畫(huà)定性、定量指標(biāo)結(jié)合通用類基礎(chǔ)指標(biāo)和個(gè)性化指標(biāo)結(jié)合從以上所提到的研究方向出發(fā)，最后產(chǎn)出的指標(biāo)一共有10個(gè)，如下圖指標(biāo)列表所示：指標(biāo)名稱指標(biāo)描述任務(wù)完成時(shí)間（分鐘）指單個(gè)業(yè)務(wù)從開(kāi)始操作到結(jié)束操作所需時(shí)長(zhǎng)任務(wù)完成率（%）指成功順利完成的業(yè)務(wù)單數(shù)占總業(yè)務(wù)單數(shù)的比率平均點(diǎn)擊次數(shù)（次）指辦理某項(xiàng)業(yè)務(wù)時(shí)，系統(tǒng)用戶在操作界面發(fā)起的點(diǎn)擊（按鈕點(diǎn)擊、信息錄入選中點(diǎn)擊）的次數(shù)之和錯(cuò)誤提示設(shè)計(jì)描述系統(tǒng)在面對(duì)非系統(tǒng)原因?qū)е碌牟僮魇д`時(shí)，在錯(cuò)誤提示方式、時(shí)機(jī)以及提示描述的有效性等方面的綜合表現(xiàn)錯(cuò)誤糾正設(shè)計(jì)指系統(tǒng)對(duì)于非系統(tǒng)原因?qū)е碌牟僮魇д`的容忍度和在錯(cuò)誤糾正的人性化和方便程度上的表現(xiàn)系統(tǒng)業(yè)務(wù)辦理靈活度描述系統(tǒng)對(duì)靈活辦理業(yè)務(wù)的支撐情況，包括業(yè)務(wù)辦理過(guò)程中對(duì)合并、同步辦理、功能拆分等需求的滿足情況信息提醒/反饋滿意度本指標(biāo)描述用戶對(duì)Web端/App端界面信息提醒/反饋情況的主觀滿意度主要關(guān)注點(diǎn)：進(jìn)度提醒、成功/失敗反饋、溫馨提醒流程指引滿意度本指標(biāo)描述用戶對(duì)Web端/App端界面流程指引明確性的主觀滿意度主要關(guān)注點(diǎn)：復(fù)雜流程有無(wú)指引信息錄入/保存滿意度本指標(biāo)描述用戶對(duì)Web端/App端信息錄入和保存功能的主觀滿意度主要關(guān)注點(diǎn)：信息錄入清楚/便捷程度、信息保存的能力頁(yè)面布置合理度本指標(biāo)描述用戶對(duì)Web端/App端頁(yè)面的總體布局舒適性、邏輯性、條理性的主觀滿意度主要關(guān)注點(diǎn)：觀感舒適度、切換便捷、邏輯性需要進(jìn)一步注意的是以上指標(biāo)分為定量和定性兩類，定量統(tǒng)計(jì)以數(shù)值來(lái)反映問(wèn)卷結(jié)果，如任務(wù)完成時(shí)間的填寫(xiě),為指標(biāo)閥值的計(jì)算提供數(shù)據(jù)來(lái)源。定性的指標(biāo)則可以調(diào)查出用戶的主觀滿意度和挖掘潛在的問(wèn)題。指標(biāo)均可以嵌入到每個(gè)具體的場(chǎng)景進(jìn)行測(cè)試與驗(yàn)證，示意圖如下：指標(biāo)閥值的設(shè)定閥值即根據(jù)客戶的期望對(duì)具體的“場(chǎng)景+測(cè)試對(duì)象+感知測(cè)試指標(biāo)”提出量化的感知達(dá)標(biāo)水準(zhǔn)，利用閥值來(lái)衡量客戶感知工作發(fā)展及成效，閥值的設(shè)定需要遵循以下原則：可及的：閥值的值需要反應(yīng)現(xiàn)階段系統(tǒng)發(fā)展水平，不能好高騖遠(yuǎn)的設(shè)定一個(gè)不切實(shí)際的水平，這樣只能導(dǎo)致每次測(cè)試結(jié)果都遠(yuǎn)不及格，失去測(cè)試驗(yàn)證意義具有挑戰(zhàn)的：準(zhǔn)確的定位客戶感知的薄弱環(huán)節(jié)，通過(guò)統(tǒng)一標(biāo)準(zhǔn)來(lái)督促并要求提升改善，指導(dǎo)提升客戶感知工作本次項(xiàng)目中閥值的設(shè)定將包括兩個(gè)部分，一個(gè)是根據(jù)問(wèn)卷調(diào)研中的大量數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，一個(gè)是利用問(wèn)卷調(diào)研產(chǎn)出的初步閥值再次進(jìn)行試用工作并進(jìn)行后續(xù)的優(yōu)化：數(shù)據(jù)基礎(chǔ)（統(tǒng)計(jì)分析）：數(shù)據(jù)來(lái)源：一線人員及外部客戶調(diào)研結(jié)果（樣本量：150）數(shù)據(jù)（調(diào)研）內(nèi)容：對(duì)相關(guān)指標(biāo)描述的內(nèi)容進(jìn)行針對(duì)性調(diào)研，包括系統(tǒng)現(xiàn)狀類數(shù)據(jù)、反應(yīng)客戶期望類數(shù)據(jù)及其他支撐信息數(shù)據(jù)分析：通過(guò)SPSS對(duì)同一場(chǎng)景下具體指標(biāo)相關(guān)的數(shù)據(jù)進(jìn)行正態(tài)分布（或選取其他分析方式）確定能夠準(zhǔn)確描述業(yè)務(wù)辦理現(xiàn)狀及客戶期望的數(shù)據(jù)，根據(jù)期望和現(xiàn)狀之間的差距來(lái)設(shè)定閥值當(dāng)閥值產(chǎn)出之后，則可以利用閥值判定客戶的感知測(cè)試結(jié)果。通過(guò)比較各項(xiàng)指標(biāo)的測(cè)試結(jié)果和事先設(shè)定好的判定標(biāo)準(zhǔn)（閥值）來(lái)判斷各客戶感知測(cè)試點(diǎn)是否達(dá)標(biāo)。但需要注意的是閥值作為系統(tǒng)上線前的感知測(cè)試標(biāo)準(zhǔn)，為系統(tǒng)改進(jìn)和優(yōu)化提供參考，但并非對(duì)業(yè)務(wù)辦理過(guò)程和操作系統(tǒng)有一票否決權(quán)，具體的測(cè)試后流程還需結(jié)合實(shí)際需求來(lái)執(zhí)行。配套的測(cè)試與驗(yàn)證工具隨著測(cè)試驗(yàn)證工作的不斷推進(jìn)，建議引入多維度的測(cè)試與驗(yàn)證工具。分別可以從過(guò)程角度，不僅應(yīng)該專注于對(duì)某一次項(xiàng)目的測(cè)試，更應(yīng)該進(jìn)行全面的測(cè)試；從對(duì)象角度，測(cè)試對(duì)象范圍應(yīng)該逐漸拓寬并建立多團(tuán)隊(duì)的概念，比如專職團(tuán)隊(duì)包括總部和省分負(fù)責(zé)業(yè)務(wù)驗(yàn)證工作的相關(guān)人員、兼職團(tuán)隊(duì)包括各地市的營(yíng)業(yè)廳客服，同“預(yù)備役”隨時(shí)加入到測(cè)試工作中、外部團(tuán)隊(duì)即是手廳/短廳/網(wǎng)廳的真正使用者。同時(shí)需要建立有效的激勵(lì)機(jī)制來(lái)鼓勵(lì)測(cè)試人員以保證測(cè)試結(jié)果的質(zhì)量和可用性。從測(cè)試方法的角度，即應(yīng)該人工自動(dòng)相結(jié)合，提升工作效率。本項(xiàng)目為聯(lián)通量身制定了一套測(cè)試與驗(yàn)證工具包括客戶感知調(diào)研法、行為觀察法、自動(dòng)化測(cè)試和大眾測(cè)評(píng)法，具體內(nèi)容如下：客戶感知調(diào)研法：利用訪談交流、問(wèn)卷調(diào)調(diào)研等方式對(duì)客戶感知度進(jìn)行全面了解受眾范圍廣不受技術(shù)條件限制，而且可列舉的驗(yàn)證問(wèn)題比較全面行為觀察法：通過(guò)后臺(tái)觀察并記錄客戶與cBSS界面進(jìn)行交互時(shí)，記錄操作步驟、任務(wù)時(shí)長(zhǎng)、系統(tǒng)反饋、錯(cuò)誤命令等關(guān)鍵過(guò)程信息反饋監(jiān)控記錄和數(shù)據(jù)完整準(zhǔn)確，為進(jìn)行可靠性、時(shí)效性感知維度的評(píng)價(jià)和對(duì)比提供了客觀的基礎(chǔ)自動(dòng)化測(cè)試：達(dá)到常規(guī)作業(yè)自動(dòng)化、高級(jí)作業(yè)人工化標(biāo)準(zhǔn)。復(fù)雜場(chǎng)景、必測(cè)場(chǎng)景可進(jìn)行人工與自動(dòng)化相結(jié)合的模擬測(cè)試，比如：自動(dòng)化測(cè)試工具可模擬多個(gè)號(hào)碼對(duì)某項(xiàng)新上線測(cè)試任務(wù)進(jìn)行開(kāi)通情況檢驗(yàn)，人工記錄存在問(wèn)題并進(jìn)行優(yōu)化建立感知實(shí)驗(yàn)室，借鑒并利用行業(yè)內(nèi)外先進(jìn)的可用性測(cè)試工具（手動(dòng)儀、眼動(dòng)儀等）在用戶與界面進(jìn)行交互時(shí)，將客戶的個(gè)性化操作習(xí)慣進(jìn)行準(zhǔn)確監(jiān)控、記錄、對(duì)比分析，對(duì)產(chǎn)品和系統(tǒng)功能進(jìn)行持續(xù)性的優(yōu)化大眾測(cè)評(píng)法：建立大眾評(píng)測(cè)平臺(tái)，引入外部專家用戶和大眾用戶，通過(guò)其評(píng)測(cè)對(duì)產(chǎn)品和系統(tǒng)進(jìn)行持續(xù)性的優(yōu)化和改善完全從使用者實(shí)操角度，對(duì)功能性、易用性、確定性感知維度進(jìn)行測(cè)試和評(píng)價(jià)CEI體系指標(biāo)閥值設(shè)定及可用性測(cè)試業(yè)務(wù)辦理現(xiàn)狀及客戶期望分析為了解客戶真實(shí)的感知及對(duì)業(yè)務(wù)辦理的期望，組織了全國(guó)范圍的調(diào)研，參與人數(shù)達(dá)207人，具體的參與省分及人數(shù)、調(diào)研內(nèi)容總結(jié)如下：調(diào)研對(duì)象（省分、一線人員數(shù)量）：編號(hào)省分問(wèn)卷數(shù)量1山東302遼寧303河北404天津355江蘇286廣東247湖南20共計(jì)207調(diào)研內(nèi)容：包括指標(biāo)涉及的客戶感知點(diǎn)的現(xiàn)狀是怎樣的，客戶滿意度如何以及客戶期望達(dá)到的水平。問(wèn)題由封閉式問(wèn)題（用于閥值分析）及開(kāi)放性問(wèn)題（用于了解問(wèn)題本質(zhì)同時(shí)了解客戶感知產(chǎn)生過(guò)程）組成下面以指標(biāo)“任務(wù)完成時(shí)間”為例展示調(diào)研問(wèn)卷具體形式：在調(diào)研數(shù)據(jù)的基礎(chǔ)上，利用SPSS對(duì)數(shù)據(jù)進(jìn)行處理和分析，總結(jié)規(guī)律、排除極端情況，實(shí)現(xiàn)利用單一數(shù)據(jù)(*)表示客戶感知測(cè)試點(diǎn)的現(xiàn)狀及客戶期望，便于設(shè)定量化的可評(píng)測(cè)的達(dá)標(biāo)水準(zhǔn),即閥值。注：根據(jù)統(tǒng)計(jì)學(xué)原理，多數(shù)人感受的情況更接近于真實(shí)情況，因此對(duì)現(xiàn)狀或客戶期望進(jìn)行描述時(shí)，會(huì)根據(jù)數(shù)據(jù)分布特點(diǎn)選擇最具有代表性的數(shù)據(jù)作為描述用數(shù)據(jù)閥值設(shè)定規(guī)則在獲取了“現(xiàn)狀”（下面用字母“C”-current表示）及“客戶期望”（下面用字母“E”-expectation表示）數(shù)據(jù)之后，閥值的設(shè)定規(guī)則可以描述如下：定量指標(biāo)閥值設(shè)定規(guī)則定性指標(biāo)閥值設(shè)定規(guī)則CEI體系指標(biāo)閥值列表可用性測(cè)試CEI體系實(shí)施建議通過(guò)不斷的優(yōu)化提升CEI體系的利用價(jià)值CEI體系不是一成不變的，而是一個(gè)可優(yōu)化的且不斷發(fā)揮更大價(jià)值的指標(biāo)體系。隨著業(yè)務(wù)測(cè)試驗(yàn)證工作的逐步發(fā)展,CEI體系的優(yōu)化將主要體現(xiàn)在指標(biāo)體系的深度和廣度的逐步增加?？傮w而言，CEI體系深度和廣度的優(yōu)化將主要著眼于閥值調(diào)整、指標(biāo)以及應(yīng)用場(chǎng)景等三個(gè)方面：閥值調(diào)整：根據(jù)系統(tǒng)發(fā)展水平的提升逐步提高標(biāo)準(zhǔn)（可以是以系統(tǒng)更新頻率為基準(zhǔn)按照一定百分比上調(diào)）；根據(jù)客戶期望調(diào)整，隨著科學(xué)的進(jìn)步，客戶在體驗(yàn)了互聯(lián)網(wǎng)