《企業(yè)級人工智能應(yīng)用產(chǎn)品體驗(yàn)驗(yàn)收指南》

ICS

A00T/

團(tuán)體標(biāo)準(zhǔn)

T/CIDADS—

企業(yè)級人工智能應(yīng)用產(chǎn)品體驗(yàn)驗(yàn)收指南

Artificialintelligenceenterpriseserviceapplicationproductexperienceacceptance

processandevaluationguide

點(diǎn)擊此處添加與國際標(biāo)準(zhǔn)一致性程度的標(biāo)識

（征求意見稿）

（本稿完成日期：2024-03-07）

2024-××-××發(fā)布2024-××-××實(shí)施

中國工業(yè)設(shè)計(jì)協(xié)會發(fā)布

T/CAS1.1—2017

企業(yè)級人工智能應(yīng)用產(chǎn)品體驗(yàn)驗(yàn)收指南

1范圍

本標(biāo)準(zhǔn)提供了企業(yè)級人工智能應(yīng)用產(chǎn)品體驗(yàn)驗(yàn)收指南，給出以用戶體驗(yàn)為導(dǎo)向的人工智能應(yīng)用產(chǎn)品

體驗(yàn)驗(yàn)收的維度、驗(yàn)收的方法以及驗(yàn)收實(shí)施流程，旨在幫助人工智能應(yīng)用產(chǎn)品提升產(chǎn)品可用性、易用性

等產(chǎn)品質(zhì)量。

本標(biāo)準(zhǔn)適用于企業(yè)級人工智能應(yīng)用產(chǎn)品或集成人工智能模型于企業(yè)業(yè)務(wù)系統(tǒng)的應(yīng)用產(chǎn)品，其他同類

具有高度業(yè)務(wù)屬性的應(yīng)用產(chǎn)品可參考使用；

本標(biāo)準(zhǔn)暫不適用于以個體用戶為主的個人用戶產(chǎn)品。

2規(guī)范性引用文件

下列文件對于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文件。

凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。

WCAG2.0Web內(nèi)容無障礙指南

GB/T29799-2013網(wǎng)頁內(nèi)容可訪問性指南

GB/T25000.51-2016系統(tǒng)與軟件工程系統(tǒng)與軟件質(zhì)量要求和評價（SQuaRE）

GB/T29836.3-2013系統(tǒng)與軟件易用性第3部分：測評方法

3術(shù)語和定義

下列術(shù)語和定義適用于本文件。

3.1人工智能企業(yè)級服務(wù)應(yīng)用產(chǎn)品EnterpriseServiceApplicationProduct

人工智能企業(yè)級服務(wù)應(yīng)用產(chǎn)品是利用人工智能為底層技術(shù)，并面向商業(yè)和組織需求設(shè)計(jì)的業(yè)務(wù)應(yīng)用

產(chǎn)品。

注：企業(yè)級服務(wù)通常指面向企業(yè)的服務(wù)，服務(wù)范圍涵蓋企業(yè)發(fā)展過程中以再生產(chǎn)為目標(biāo)的方方面面。

產(chǎn)品的購買者通常為正式機(jī)構(gòu)、組織。

3.2目標(biāo)用戶targetusers

目標(biāo)用戶是指在產(chǎn)品、服務(wù)、應(yīng)用設(shè)計(jì)中，開發(fā)者或設(shè)計(jì)團(tuán)隊(duì)明確定義的特定用戶群體。

3.3核心任務(wù)coretasks

4

T/CAS1.1—2017

核心任務(wù)是指在特定工作中，最為關(guān)鍵和高頻的任務(wù)或活動，它們對于實(shí)現(xiàn)成功和達(dá)成目標(biāo)至關(guān)重

要。如果它們沒有得到有效執(zhí)行，將會對工作流程產(chǎn)生顯著的不利影響。

其中任務(wù)沿用

4體驗(yàn)驗(yàn)收指標(biāo)體系與評價標(biāo)準(zhǔn)

體驗(yàn)驗(yàn)收指標(biāo)體系希望建立一套能夠保障用戶在使用人工智能企業(yè)級服務(wù)應(yīng)用產(chǎn)品時順利高效完

整核心任務(wù)的產(chǎn)品體驗(yàn)評價標(biāo)準(zhǔn)，進(jìn)而達(dá)成業(yè)務(wù)目標(biāo)。指標(biāo)體系由6個一級評價維度、20個二級考察指

標(biāo)以及指標(biāo)優(yōu)先級劃分標(biāo)準(zhǔn)，共同組合成一套體驗(yàn)驗(yàn)收指標(biāo)體系。請見表1.體驗(yàn)驗(yàn)收指標(biāo)體系

評估重要性級別具體檢查項(xiàng)

類型

實(shí)用Block(P0)1.總的來說，使用該產(chǎn)品/功能可以使用戶達(dá)成上述所定義的目

性標(biāo)

可學(xué)Block(P0)2.在使用該產(chǎn)品/功能時，用戶可以時刻明確當(dāng)前界面的任務(wù)

習(xí)性Critical(P1)3.在使用該產(chǎn)品/功能時，當(dāng)用戶感到迷惑時，可通過產(chǎn)品內(nèi)提供

的解釋說明或幫助手冊解決

Major(P2)4.在使用該產(chǎn)品/功能時，用戶所接觸到的現(xiàn)有概念符合其認(rèn)知

Major(P2)5.在使用該產(chǎn)品/功能時，對所接觸到的產(chǎn)品獨(dú)特概念，用戶可

以在產(chǎn)品中找到其清晰的解釋

Major(P2)6.在使用該產(chǎn)品/功能時，用戶認(rèn)為產(chǎn)品的導(dǎo)航劃分方式是合理

的

Critical(P1)7.在使用該產(chǎn)品/功能時，用戶所需操作是能夠被用戶找到的

Major(P2)8.在使用該產(chǎn)品/功能時，用戶認(rèn)為產(chǎn)品所用的色彩、圖標(biāo)、插

圖可被辨識且符合其認(rèn)知

效率Major(P2)9.在使用該產(chǎn)品/功能時，用戶不必進(jìn)行任何大量的、重復(fù)性的

操作即可完成任務(wù)

Major(P2)10.在使用該產(chǎn)品/功能時，用戶不必進(jìn)行任何有難度的精確控制

即完成任務(wù)

Major(P2)11.在使用該產(chǎn)品/功能時，涉及多角色、不同權(quán)限的任務(wù)符合用

戶的協(xié)作模式

5

T/CAS1.1—2017

評估重要性級別具體檢查項(xiàng)

類型

可記Major(P2)12.在使用該產(chǎn)品/功能時，用戶不必記憶任何不屬于當(dāng)前操作界

憶性面的信息

Major(P2)13.在使用該產(chǎn)品/功能時，用戶應(yīng)隨時感知他操作的對象所處的

狀態(tài)

防錯Major(P2)14.在使用該產(chǎn)品/功能時，除非在操作前向用戶提供告警，否則

性所有關(guān)鍵操作均允許用戶撤銷

Critical(P1)15.在使用該產(chǎn)品/功能時，用戶可以隨時返回上一個層級/來源

頁

Major(P2)16.在使用該產(chǎn)品/功能時，用戶每次在執(zhí)行有風(fēng)險的命令前，均

會接收到二次確認(rèn)，以便其了解操作風(fēng)險

Critical(P1)17.在使用該產(chǎn)品/功能時，如發(fā)生錯誤，用戶可以獲取到易于理

解的錯誤原因說明及解決錯誤的方法

視覺Critical(P1)18.該產(chǎn)品/功能中所使用的品牌及Logo符合公司規(guī)范

品牌Major(P2)19.該產(chǎn)品/功能中所使用的字體、圖標(biāo)、圖片等設(shè)計(jì)元素?zé)o版

權(quán)風(fēng)險

Critical(P1)20.該產(chǎn)品/功能中，與客戶定制化相關(guān)的品牌、Logo、文案等信

息沒有錯誤

表1.體驗(yàn)驗(yàn)收指標(biāo)體系

4.1評價維度說明

一級維度基于用戶任務(wù)視角，強(qiáng)調(diào)用戶目標(biāo)達(dá)成與系統(tǒng)的可學(xué)習(xí)型，具體如下：

評價維度維度說明

實(shí)用性關(guān)注的是用戶目標(biāo)能否通過產(chǎn)品達(dá)成。

可學(xué)習(xí)性從界面呈現(xiàn)內(nèi)容角度，圍繞產(chǎn)品的信息結(jié)構(gòu)、視覺元素、功能概念等方面建立指標(biāo)，關(guān)

注用戶對產(chǎn)品理解的容易程度。

效率從功能操作角度，圍繞完成任務(wù)的操作步驟是否便捷無冗余、提供多角色協(xié)同支持等方

面建立指標(biāo)，關(guān)注用戶完成任務(wù)的效率。

可記憶性將時間維度加入可用性度量，在用戶長期使用過程中確保產(chǎn)品提供一定記憶性。

防錯性對于用戶使用期間的容錯性功能進(jìn)行評價。

6

T/CAS1.1—2017

視覺品牌主要圍繞品牌視覺使用的規(guī)范性、版權(quán)問題、定制化合規(guī)等角度進(jìn)行評價。

表2.評價維度說明

4.2指標(biāo)優(yōu)先級劃分標(biāo)準(zhǔn)

在指標(biāo)體系建立的過程中我們緊密聚焦用戶目標(biāo)任務(wù)，因此20個二級指標(biāo)的優(yōu)先級劃分主要以其對

任務(wù)的完成的影響作為依據(jù)，按印象的嚴(yán)重程度由大到小，優(yōu)先級劃分為以下5種：

優(yōu)先級優(yōu)先級對應(yīng)問題嚴(yán)重程度說明

Block(P0)用戶要執(zhí)行的核心任務(wù)完全不可用的問題。如不修復(fù)這類問題，用戶將認(rèn)為自己無法通過產(chǎn)品

完成目標(biāo)

Critical(P1)導(dǎo)致某些核心功能不可用的問題。如不修復(fù)這類問題，用戶將認(rèn)為產(chǎn)品令其感到氣憤或痛苦

Major(P2)可以正常使用、但極大影響用戶使用效率的問題。如不修復(fù)這類問題，用戶將認(rèn)為產(chǎn)品體驗(yàn)是

不友好的

Minor(P3)非體驗(yàn)行業(yè)專業(yè)用戶可察覺的界面樣式、交互動效等問題。如不修復(fù)這類問題，用戶認(rèn)為產(chǎn)品

設(shè)計(jì)品質(zhì)較低

Trivial(P4)僅體驗(yàn)行業(yè)專業(yè)用戶可察覺的微小的界面問題。如不修復(fù)這類問題，將不會影響用戶對產(chǎn)品的

整體滿意度

表3.指標(biāo)優(yōu)先級

4.3分級評價標(biāo)準(zhǔn)

為了能夠適用于不同發(fā)版產(chǎn)品的情況，我們基于產(chǎn)品可售賣客戶數(shù)為不同版本分別制定評審標(biāo)準(zhǔn)，

評審范圍。產(chǎn)品版本分級評價標(biāo)準(zhǔn)具體如下：

版本類別最大可支持客戶數(shù)版本標(biāo)準(zhǔn)

概念版11、無block級體驗(yàn)問題（預(yù)案支持）

體驗(yàn)版51、無block級體驗(yàn)問題

2、無critical級體驗(yàn)問題

3、其余交互體驗(yàn)部分（預(yù)案支持）

搶鮮版101、無block級體驗(yàn)問題

2、無critical級體驗(yàn)問題

3、其余交互體驗(yàn)部分（預(yù)案支持）

7

T/CAS1.1—2017

版本類別最大可支持客戶數(shù)版本標(biāo)準(zhǔn)

預(yù)覽版301、無block級體驗(yàn)問題

2、無critical級體驗(yàn)問題

3、Major級體驗(yàn)問題（預(yù)案支持）

正式版30以上1、無block級體驗(yàn)問題

2、無critical級體驗(yàn)問題

3、無major級體驗(yàn)問題

表4.產(chǎn)品版本分級評價標(biāo)準(zhǔn)

說明1：“預(yù)案”需保證公司品牌不受影響，“預(yù)案支持”即產(chǎn)品出現(xiàn)對應(yīng)問題有對應(yīng)方案保障

說民2:發(fā)布的版本售賣客戶數(shù)越多，相應(yīng)的度量指標(biāo)也會越嚴(yán)格，評審標(biāo)準(zhǔn)增加一定靈活性與適

用度。

5驗(yàn)收流程

5.1驗(yàn)收小組人員選定

驗(yàn)收小組成員包括：主持人、評審專家、測試用戶、業(yè)務(wù)方代表。其中各成員應(yīng)具備以下相關(guān)條件

如下：

1）主持人：具有公平公正、合理溝通的基本素養(yǎng)；熟悉驗(yàn)收流程和相關(guān)文件信息；了解驗(yàn)收產(chǎn)品

的產(chǎn)品架構(gòu)、用戶需求和判定條件。

2）評審專家：具有客觀公正的基本素質(zhì)；熟悉用戶體驗(yàn)、人工智能的基本知識和相關(guān)業(yè)務(wù)知識；

接受過相關(guān)培訓(xùn)，清楚了解測試的目標(biāo)、范圍和標(biāo)準(zhǔn)，以便能夠評估測試文檔的一致性。評審專家除了

在用戶測試過程中進(jìn)行評估外，自身也要進(jìn)行啟發(fā)式評估，以熟悉測試功能，和提供專業(yè)視角，對于用

戶忽略的問題，以及難以界定的情形會給出專業(yè)視角的補(bǔ)充。

3）測試用戶：應(yīng)該代表產(chǎn)品或服務(wù)的潛在最終用戶。技能、知識儲備等需要與最終用戶畫像一致，

測試前會評估用戶的角色定位、角色權(quán)限、使用場景、行為特點(diǎn)/規(guī)律，與目標(biāo)用戶畫像的匹配度偏差

不能超過50%，以確保他們的反饋和行為能夠代表實(shí)際用戶的需求和期望；不能與測試結(jié)果有相關(guān)的利

益沖突，以確保他們能夠提供客觀的反饋。參與測試的用戶要求不少于2名。

測試用戶人數(shù)說明：企業(yè)服務(wù)產(chǎn)品中的用戶代表的是一種組織中的某個角色。無論性別、年齡、地

區(qū)有何差異，他們都是一類角色，具有相對一致的職業(yè)屬性。因此產(chǎn)品的功能設(shè)計(jì)的主要依據(jù)就是企業(yè)

對角色的業(yè)務(wù)定位和考核目標(biāo)，因此在外部用戶數(shù)量上我們在Nielsen提出的測試5人就能發(fā)現(xiàn)85%的

可用性問題的理論基礎(chǔ)上進(jìn)行了進(jìn)一步縮減，因此要求測試用戶至少2名。

4）業(yè)務(wù)方代表：具有實(shí)事求是的基本素養(yǎng)；熟悉驗(yàn)收產(chǎn)品的產(chǎn)品架構(gòu)、需求背景、業(yè)務(wù)方向和用

戶信息；可以負(fù)責(zé)組織產(chǎn)品后續(xù)的迭代。

8

T/CAS1.1—2017

5.2驗(yàn)收實(shí)施流程

5.2.1籌備階段

1）業(yè)務(wù)方明確產(chǎn)品相關(guān)的背景、測試邊界與協(xié)助形式、產(chǎn)品版本與分級信息；

2）業(yè)務(wù)方確定測試用戶。業(yè)務(wù)方在測試執(zhí)行前要為評審小組明確產(chǎn)品的目標(biāo)用戶用戶畫像，并負(fù)

責(zé)聯(lián)系真實(shí)用戶作為測試對象。

3）業(yè)務(wù)方確定評估邊界。業(yè)務(wù)方需明確本次測試任務(wù)，任務(wù)范圍與發(fā)版材料中的主干任務(wù)一致。

此外業(yè)務(wù)方還需明確測試時為用戶提供的預(yù)設(shè)情景。

4）業(yè)務(wù)方提供穩(wěn)定的測試環(huán)境、賬號等必要信息

5）業(yè)務(wù)方/產(chǎn)品設(shè)計(jì)師根據(jù)主干任務(wù)以及以上信息完成驗(yàn)收信息收集，表中除了包括用戶信息、環(huán)

境、驗(yàn)收時間時間、目標(biāo)等基本信息外，還需要寫出每項(xiàng)用戶任務(wù)可以判定成功的標(biāo)準(zhǔn)，后續(xù)專家會結(jié)

合此判定標(biāo)準(zhǔn)對任務(wù)通過情況進(jìn)行判斷。詳情請見：表5.驗(yàn)收信息收集

產(chǎn)品版本產(chǎn)品分級驗(yàn)收時間

對應(yīng)級別重要性程

度級別要求

邊界/協(xié)助范圍

目標(biāo)用戶

角色定位角色權(quán)限業(yè)務(wù)熟練度

行為特點(diǎn)/規(guī)律使用場景

待測用戶

姓名職位是否為真實(shí)用戶匹配

度偏

差

可驗(yàn)收時間驗(yàn)收場所驗(yàn)收環(huán)境

輔助工具錄像設(shè)備音頻設(shè)備驗(yàn)收設(shè)備其他：

產(chǎn)品目標(biāo)

序號目標(biāo)簡介（根據(jù)此版本項(xiàng)目需求轉(zhuǎn)換成用戶可理解的任務(wù)目標(biāo)）

1

2

驗(yàn)收指標(biāo)體系判斷條件表

9

T/CAS1.1—2017

任務(wù)一名稱

步驟補(bǔ)充材料判定標(biāo)準(zhǔn)結(jié)果反饋反饋備注

表5.驗(yàn)收信息收集表

5.2.2信息審核

1）專家評審根據(jù)產(chǎn)品的立項(xiàng)材料確認(rèn)其版本分級對應(yīng)的驗(yàn)收評審要求。

2）專家評審根據(jù)產(chǎn)品的立項(xiàng)材料確認(rèn)其需求范圍及需求等級，以此判斷業(yè)務(wù)方給出的任務(wù)流程是

否合理。

3）專家評審測試前確認(rèn)任務(wù)流程與了解版本功能，各自獨(dú)立模擬用戶完成特定任務(wù)，給出基于任

務(wù)的指標(biāo)達(dá)成情況判定。

4）表格審核后確定最終測試執(zhí)行時間、地點(diǎn)。

5.2.3執(zhí)行階段

測試執(zhí)行階段參考標(biāo)準(zhǔn)

1）為避免真實(shí)用戶臨場緊張或受到干擾，評審組成員不與測試用戶在一個空間，通常通過共享屏

幕查看真實(shí)用戶操作。

2）主持人提供任務(wù)書給測試用戶，簡述背景任務(wù)以及注意事項(xiàng)。

3）在測試過程中允許用戶按照發(fā)版計(jì)劃接受一定程度的幫助。例如如果產(chǎn)品本身承諾為客戶提供

了使用手冊、電話咨詢等協(xié)助，那在測試過程中，允許測試用戶進(jìn)行該范圍內(nèi)的支持。

4）測試過程中評審小組觀察用戶使用情況，發(fā)現(xiàn)問題點(diǎn)后，比照表格查看是否在考察項(xiàng)范圍，如

果在考察范圍內(nèi)，則將其記錄在對應(yīng)問題點(diǎn)后。結(jié)合用戶完成任務(wù)情況和走查結(jié)果給出各個指標(biāo)的判定

結(jié)果，并綜合版本可用性要求，經(jīng)過幾位專家溝通給出最終一致的評審結(jié)果。

5.2.4統(tǒng)計(jì)復(fù)盤

1）在統(tǒng)計(jì)復(fù)盤階段，評審小組統(tǒng)計(jì)每個指標(biāo)項(xiàng)中問題的數(shù)量。根據(jù)各檢查項(xiàng)重要性級別，得到各

級別下問題的數(shù)量，并根據(jù)整體的質(zhì)量標(biāo)準(zhǔn)進(jìn)行判定。

2）完成驗(yàn)收報(bào)告。報(bào)告重點(diǎn)用于梳理和記錄驗(yàn)收過程中發(fā)現(xiàn)的問題，例如任務(wù)范圍、內(nèi)容、驗(yàn)收

結(jié)果、指標(biāo)統(tǒng)計(jì)和各項(xiàng)指標(biāo)的達(dá)成結(jié)果以及改進(jìn)意見等，具體報(bào)告請見表格6.驗(yàn)收報(bào)告。

3）如未通過測試，需由業(yè)務(wù)方與相關(guān)人員同步問題，闡述失敗原因，修改后由項(xiàng)目經(jīng)理重新預(yù)約

新一輪測試。

10

T/CAS1.1—2017

產(chǎn)品名稱：測試用戶：

產(chǎn)品對應(yīng)分級及體驗(yàn)要求：用戶角色：

標(biāo)準(zhǔn)說明問題統(tǒng)計(jì)

體驗(yàn)檢查項(xiàng)的重要性程度的級別劃分：

Block(P0)問題數(shù)量

Block(P0)：

用戶要執(zhí)行的核心任務(wù)完全不可用的問題。如不修復(fù)這類問題，

用戶將認(rèn)為自己無法通過產(chǎn)品完成目標(biāo)Critical(P1)問題數(shù)量

Critical(P1)：

導(dǎo)致某些核心功能不可用的問題。如不修復(fù)這類問題，用戶將認(rèn)

Major(P2)問題數(shù)量

為產(chǎn)品令其感到氣憤或痛苦

Major(P2)：

可以正常使用、但極大影響用戶使用效率的問題。如不修復(fù)這類

Minor(P3)問題數(shù)量

問題，用戶將認(rèn)為產(chǎn)品體驗(yàn)是不友好的

Minor(P3)：

非體驗(yàn)行業(yè)專業(yè)用戶可察覺的界面樣式、交互動效等問題。如不Trivial(P4)問題數(shù)量

修復(fù)這類問題，用戶認(rèn)為產(chǎn)品設(shè)計(jì)品質(zhì)較低

Trivial(P4)：

總計(jì)問題數(shù)

僅體驗(yàn)行業(yè)專業(yè)用戶可察覺的微小的界面問題。如不修復(fù)這類問

題，將不會影響用戶對產(chǎn)品的整體滿意度

任務(wù)評估

評估類別重要級別具體檢查項(xiàng)是否通過存在的問題

1.總的來說，使用該產(chǎn)品/功能可以使用戶達(dá)

實(shí)用性Block（0）

成上述所定義的目標(biāo)

2.在使用該產(chǎn)品/功能時，用戶可以時刻明確

可學(xué)習(xí)性Block（0）

當(dāng)前界面的任務(wù)

Critical(P1)3.在使用該產(chǎn)品/功能時，當(dāng)用戶感到迷惑時，

可通過產(chǎn)品內(nèi)提供的解釋說明或幫助手冊解

決

Major(P2)4.在使用該產(chǎn)品/功能時，用戶所接觸到的現(xiàn)

有概念符合其認(rèn)知

Major(P2)5.在使用該產(chǎn)品/功能時，對所接觸到的產(chǎn)品

獨(dú)特概念，用戶可以在產(chǎn)品中找到其清晰的解

釋

Major(P2)6.在使用該產(chǎn)品/功能時，用戶認(rèn)為產(chǎn)品的導(dǎo)

航劃分方式是合理的

Critical(P1)7.在使用該產(chǎn)品/功能時，用戶所需操作是能

夠被用戶找到的

1

T/CAS1.1—2017

Major(P2)8.在使用該產(chǎn)品/功能時，用戶認(rèn)為產(chǎn)品所用

的色彩、圖標(biāo)、插圖可被辨識且符合其認(rèn)知

Major(P2)9.在使用該產(chǎn)品/功能時，用戶不必進(jìn)行任何

效率

大量的、重復(fù)性的操作即可完成任務(wù)

Major(P2)10.在使用該產(chǎn)品/功能時，用戶不必進(jìn)行任何