用戶體驗測試和評價

1、用戶體驗測試與評價產(chǎn)品的用戶體驗測試評價就是把構成產(chǎn)品的軟、硬件系統(tǒng)按其性能、功能、 界面形式、 可用 性等方面與某種預定的標準或者預想進行比較， 對其做出評價。 用戶體驗測試與評價是產(chǎn)品 開發(fā)設計的一個重要步驟。 產(chǎn)品的成功與否需要通過評價以及用戶的實踐， 才能得到最終的 判定。8.1 概述從體驗的過程角度來講， 用戶體驗評價大致可分為兩類： 一類是在產(chǎn)品完成之后做出的最終 評價，稱為總結性評價( Summative Evaluation)；另一類是在設計過程中的評價，稱為階段性評價( Formative Evaluation )。這兩類評價在產(chǎn)品的開發(fā)過程中都起著重要的 作用， 是整個用戶

2、體驗設計的有機組成部分。 其中，階段性評價強調在評價中采用的是開放 式手段，如訪談、問卷、態(tài)度調查以及量表技術；而總結性評價則大多采用較嚴格的定量評 價，如反應時間和錯誤率等。從被試選擇來看，用戶體驗也可以分為兩類： 一類是用戶評價 ( User-Based Evaluation)，有時也稱用戶測試；另一類是專家評價( Expert-BasedEvaluation )。如圖 8.1 所示。圖 8.1 用戶體驗測試與評價的分類可用性評估可以分為三個類別：可用性測試( Usability Test )、可用性調查( Usability Inquiry )和可用性檢驗( Usability Insp

3、ection)( Karat ，1997 ； Zhang ，2003 )?？捎眯詼y試的方法比較多，如焦點小組、認知路徑法( Cognitive Walkthrough )和啟發(fā) 式評價( Heuristic Evaluation )等( Nielsen and Mack ，1994 )。 Santon 和 Young (1998 )在文獻回顧的基礎上分離出了60 余種可用性測試方法。根據(jù)產(chǎn)品的具體開發(fā)階段，可用性測試方法可分為四類：探索性測試( Exploratory Test )、評估性測試 (Assessment Test )、驗證性測試(Validation Test )和對比性測試 (

4、 Comparison Test ) (張光強等， 2001 )。圖 8.2 社區(qū)類網(wǎng)站可用性測試場景示例 針對測試方法，人們也在不斷地探索和完善之中。周榮剛( 2007 )提出了一種用戶體驗質 量綜合評價的模型： 首先建立了包括人機交互角度、 用戶角度和觀察者角度的用戶體驗質 量的 360o 指標體系模型， 然后針對可用性概念的模糊性及其綜合評價中的問題， 應用層次 分析法確定了指標體系中相關因素的權重， 并根據(jù)模糊隸屬度函數(shù)對用戶體驗質量評價標準 進行了模糊化處理，最后采用模糊評價方法對用戶體驗質量進行評價。8.2 用戶體驗測試與評價的意義軟件或系統(tǒng)正式交付前需進行嚴格測試， 使用戶進行評

5、價。 嚴格的測試方法和評價標準可以 促進產(chǎn)品的設計。據(jù)統(tǒng)計，在開發(fā)新軟件時，微軟都要將其 Beta 版發(fā)往全世界上千個專業(yè) 用戶進行試用，以提出進一步的修改意見，僅此每年可以為軟件開發(fā)節(jié)省數(shù) 10 億美元。對用戶體驗的測試和評價可以起到以下作用：(1 )更加貼近市場，通過市場反饋，進一步了解市場和用戶的需求，改進產(chǎn)品的設計；(2 )降低產(chǎn)品或者系統(tǒng)技術支持的費用，縮短最終用戶訓練時間；(3 )減少由于用戶界面問題而引起的軟件修改和改版問題；（4 ）使產(chǎn)品的可用性增強，用戶易于使用；（5 ）更有效地利用計算機系統(tǒng)資源；（6 ）幫助系統(tǒng)設計者更深刻地領會以 “用戶為核心 ”的設計原則；（7 ）在界

6、面測試與評價過程中形成的一些評價標準和設計原則對界面設計有直接的指導作 用。8.3 用戶體驗測試與評價的準則Macintosh 機之保證在整個產(chǎn)品在設計早期，用戶體驗設計師組織一份設計準則是有必要的。蘋果公司的 所以獲得成功， 原因之一是它早期為應用開發(fā)人員建立了一組明確的準則， 開發(fā)周期中的協(xié)調。設計準則應考慮以下幾方面的問題：（1 ）產(chǎn)品運行前后的一致性；（2 ）產(chǎn)品的界面方式及可選項內容；（3 ）系統(tǒng)提示、反饋、出錯信息的內容；（4 ）產(chǎn)品界面中各種術語、縮寫、圖符的內容、式樣、對齊方式等的定義；（5 ）色彩、亮度、閃爍、圖像等技術的使用；（6 ）各種輸入輸出設備的類型和使用；（7 ）產(chǎn)

7、品操作響應時間和顯示速率；（8 ）命令語言的語義、語法、序列；（9 ）系統(tǒng)控制的靈活性；（10 ）系統(tǒng)滿足適當?shù)墓δ埽唬?11 ）可編程的功能鍵的使用；（12 ）產(chǎn)品出錯顯示和恢復；（13 ）聯(lián)機幫助和指導；（14 ）培訓和參考資料。設計準則的建立主要目的是提出設計原理， 為開發(fā)人員提供設計的功能需求。 準則文件前后 應一致并保持文件的完整。 它提供了嚴格的標準， 同時具有一定的靈活性， 可以根據(jù)用戶體 驗設計的發(fā)展以及用戶需求的變更增加新的內容。 這樣，用戶體驗開發(fā)的執(zhí)行過程就會很快， 并減少設計的改變。8.4 評價指標和形式8.4.1 評價指標經(jīng)過可用性工程界多年的不懈努力， 對可用性衡量

8、標準的看法逐漸趨于一致，那就是： 可用性是特定產(chǎn)品在特定使用環(huán)境下為特定用戶用于特定用途時所具有的有效性（Effectiveness） 、效率 （Efficiency） 和用戶主觀滿意度 （Satisfaction） （張麗萍等， 2003 ）。對于用戶體驗的評價可以使用不同的四類評價指標，它們是：（1 ）設計功能的評價（2 ）信息架構的評價（3 ）設計效果的評價（4 ）設計問題的診斷8.4.2 評價形式（1 ）從設計評價的主體區(qū)分（2 ）從評價的性質區(qū)分（3 ）從評價的過程區(qū)分8.5 用戶體驗測試與評價方法一般來說， 用戶體驗測試主要是借助定性和定量的方法， 對用戶的生理、 心理和行為等相關

9、 指標進行研究。用戶體驗的測試與評價方法還可以參照第四章中的 4.2 用戶研究方法，這 些方法同時也可以被用來對產(chǎn)品的用戶體驗進行測試和評價。 其他有關評價方法也可以參照 人機界面設計（羅仕鑒等， 2002 ）一書第十二章。8.5.1 原型評價方法5 / 16在產(chǎn)品研發(fā)過程中， 對于界面設計以及程序的測試來獲得用戶的反饋是至關緊要的。 以用戶 為中心和交互式設計的重要因素之一就是原型( Prototyping )方法，原型方法的目的是將 界面設計與用戶的需求進行匹配。8.5.2 簡易測試評價方法在條件不允許的情況下， 可以采取簡易的方法來對用戶體驗進行評價。 其實驗構成如圖 8.3 所示。圖

10、8.3 簡易用戶體驗測試實驗室8.5.3 眼動追蹤評價方法眼動在人的視覺信息加工過程中， 起著重要的作用。 它有三種主要形式： 跳動( Saccade )、 注視( Fixation )和平滑尾隨跟蹤( Smooth Pursuit )。眼動追蹤可用于揭示用戶在研究對象上感興趣或注意的空間位置及注意的轉移過程， 因此用 眼動追蹤技術可以進行界面分析、 可用性測試以及人操作的內因分析等。 眼動追蹤主要跟蹤 眼睛的運動以及瞳孔的變化，已經(jīng)有 60 多年的歷史了，用于神經(jīng)生理學和眼科學、知覺和 認知、臨床研究、人機互動、人機工程學、圖形用戶界面、網(wǎng)絡、廣告心理學、眼控人機界 面、虛擬現(xiàn)實、生物醫(yī)學工

11、程、人工智能和機器人學、警覺、運動心理學、軍事、航空和交 通心理學、人事評鑒等。如 Thomsen 和 Fulton (2007 )借助 ASL Eye-TRAC 6000 系 統(tǒng)，以 63 名 12 14 歲之間的青少年為被試，以 6 幅雜志廣告為研究對象(如圖 8.4 所 示)，研究了青少年對于酒廣告的注視度以及回憶性。結果發(fā)現(xiàn)， 青少年對于文字信息的關 注度比較少，只使用了平均 0.35 秒， 7 的關注時間，而對于酒瓶、商標和卡通等內容關 注度較高； 但是只有少部分人能夠回憶起廣告的內容。 Ozcelik 等(2009 )借助 Tobii 1750 5 / 16EyeTracker 系

12、統(tǒng)，以 52 名 19 27 歲之間的研究生為被試，采用眼動跟蹤方法研究了色 彩編碼對多媒體學習的影響， 結果顯示， 色彩編碼具有保持記憶和轉化的功能， 能夠增強圖 形與文字之間的聯(lián)系，同時有助于對顯著信息的理解。圖 8.4 6 幅酒的印刷品廣告在工業(yè)設計、用戶體驗設計、人機交互設計領域， 眼動追蹤可以用來評價對產(chǎn)品（包括硬件產(chǎn)品和軟件產(chǎn)品）設計的感性意象，評測產(chǎn)品設計的特性。圖 8.5 The EyeLink II頭戴式眼動儀圖 8.6 眼動儀在實驗中的情景在眼動追蹤中， 眼動儀會記錄下眼球注視的點并形成區(qū)域、 注視順序注視點的時間以及路徑， 如圖 8.7 所示。圖 8.7 注視點、注視順序

13、以及注視點的時間下圖 8.8 為 Tobii Demo 中被試的眼動跟蹤結果圖（八比特熊咨詢公司， 8-bit BearConsulting ），紅顏色表示關注時間最長，黃顏色其次，綠顏色最短。從圖中可見，被試 關注頁面中心和右上角的圖片的時間較長。17 / 16圖 8.8 Tobii Demo 中的眼動跟蹤結果圖圖 8.9 眼動追蹤對廣告、網(wǎng)頁界面的評估圖 8.10 眼動追蹤對手機界面與汽車外形進行評估8.5.3 行為觀察評價方法大多數(shù)可用性實驗室都配備或開發(fā)了軟件， 以觀察和登記用戶的活動， 并有自動的時間標志。 在用戶與界面進行交互時， 界面系統(tǒng)自身能夠對用戶輸入的某些數(shù)據(jù)進行自動記錄，

14、 例如出 現(xiàn)的錯誤、 特殊命令的使用等， 還可以通過計時器， 對用戶輸入進行統(tǒng)計以得到各個事件的 發(fā)生頻率等。與其他觀察方法相比，系統(tǒng)監(jiān)控記錄的數(shù)據(jù)比較精確。其次， 在監(jiān)控系統(tǒng)建立以后，收集數(shù) 據(jù)和統(tǒng)計的過程非常自動化和可靠， 而且獲得的數(shù)據(jù)客觀公正、 具體明確， 為進行系統(tǒng)性能 的評價、對比提供了客觀的基礎，并且不存在對用戶的任何干擾。 其缺點是局限性較大，一 般只能搜集到用戶對系統(tǒng)的直接操作， 不可能收集到有關用戶主觀性的活動 （例如思考） 之 類的信息。因此，這種方法最好與其他方法一起共同使用。用錄像機記錄下用戶與界面交互的整個過程， 包括用戶的操作、 界面顯示的內容， 以及用戶 其他各

15、種狀態(tài)，如思考過程等。事后向設計者重放，顯示用戶遇到的問題。與直接觀察法相比， 它有提供大量豐富的數(shù)據(jù)信息等優(yōu)點， 并且能長期保持完整的人機交互 的記錄，提供反復觀察和分析的可能。其缺點是錄像記錄一般都長達 23 小時，分析起來 非常費事。 因為用錄像設備很費錢費時， 錄像帶的重放檢驗也是一個很乏味的工作， 所以只 有在想要發(fā)現(xiàn)特別的偶然事件時才在關鍵階段使用。圖 8.11 為行為觀察場景。圖 8.11 場景觀察目前，我們主要采用荷蘭 Noldus Observer XT 行為分析系統(tǒng)對產(chǎn)品和界面進行測試和評 估。荷蘭 Noldus 公司的 Observer XT 行為分析軟件 （包括三種型號

16、： Observer XT Basic ， Observer XT Mobile和 Observer XT Video ），對人的思維動態(tài)及行為過程進行科學的數(shù)據(jù)化的分析，使研究更目的化、條理化和科學化。廣泛應用于研究兒童教育、兒童心理、 犯罪心理、昆蟲行為、動物行為、人的行為等方面。在工業(yè)設計、用戶體驗設計、人機交互 設計領域，它可以用來測量用戶的操作行為，包括操作時間、路徑等，用以評估對產(chǎn)品（包 括硬件產(chǎn)品和軟件產(chǎn)品）設計的感性意象，評測產(chǎn)品設計的特性。圖 8.12 和圖 8.13 分別 為行為分析的場景和數(shù)據(jù)分析。圖 8.12 行為分析的場景圖 8.13 行為分析的數(shù)據(jù)分析行為分析系統(tǒng)可

17、用來記錄分析被研究對象的動作、姿勢、運動、位置、表情、情緒、社會交 往以及人機交互等各種活動； 記錄被研究對象各種行為發(fā)生的時刻、 發(fā)生的次數(shù)和持續(xù)的時 間，然后進行統(tǒng)計處理，得到分析報告。8.5.4 腦電信號評價方法一般認為，腦電信號( Electroencephalogram，EEG )是由大腦皮質神經(jīng)元突觸后電位總和而形成， 主要通過波幅、 潛伏期和電位或電流的空間頻率等指標來提供大腦工作過程的 信息。腦電可以直接反映神經(jīng)的電活動， 有極高的時間分辨率。 因此，它受到研究者的重視， 成為一種比較成熟的認知神經(jīng)科學手段。人體的腦電信號的幅值十分微小( V)，加上人 體又是電的不良導體(內阻

18、在 1M 數(shù)量級)，腦電信號源的輸出阻抗很高，這對腦電放大 器和腦電電極以及安置方法等各方面都提出了很高要求。腦電信號通過對頭皮電極采集， 記錄腦電信號， 通過放大器對信號進行濾波、 放大與模數(shù)轉 換傳遞并儲存到電腦中。 研究者通過后期分析軟件提取和分析其中的有用信息， 并做后期數(shù) 據(jù)信號濾波、疊加、平、輸出圖形報告和腦電信號源定位，主要應用于心理學、認知科學和 產(chǎn)品設計領域。 通過對腦電信號的分析， 研究者可以探索大腦的認知加工過程和受試者的心 理狀況。圖 8.14 所示為美國 EGI 公司的 GES300 (Geodesic EEG System 300)128通道腦電(事件相關電位)系統(tǒng)

19、( EGI research catalog， 2008 )。圖 8.14 GES300 系統(tǒng)在實驗過程中，需要將電極帽佩戴在頭上，如圖 8.15 所示。圖 8.15 GES300 系統(tǒng)在做實驗的情景圖 8.16 GES300 系統(tǒng)在作駕駛實驗的情景GES300 系統(tǒng)采用新一代源分析軟件 GeorSource ，它整合了目前最佳的線性逆解方法 （LORETA 和 LAURA ）。它將大腦進行三維分割，得到 2400 多個體素，用戶只需通過簡 單的設定即可獲得每一個體素的信號強度， 得到大腦活動時所有腦皮層的完整特征描述。 由 于所有計算均由計算機自動完成， 沒有源定位經(jīng)驗的用戶也能夠輕松掌握。

20、 另外， GES300 系統(tǒng)具備有限差分模型（ FDM ），第一次對公共頭模（ Atlas Man ）進行精確重建，得到 了精確的大腦幾何構造，可以生成更為精確的源定位結果。 GeorSource 源分析軟件可以 將 EEG 數(shù)據(jù)與信號源影像學數(shù)據(jù)（ MRI 切片圖）精確同步顯示回放，從而揭示了在某一特 定時間點（毫秒）上信號源活動與頭皮電位（ EEG ）的關系。圖 8.17 GES300 系統(tǒng)數(shù)據(jù)采集與分析系統(tǒng)數(shù)據(jù)分析熱圖圖 8.18 GES300當然，腦電技術也存在一定的缺陷，例如：（ 1 ）在空間分辨率上存在著局限性，因而對某 些認知過程腦區(qū)的定位并不是非常準確；（ 2 ）在許多相似的實驗研究中，由于研究者采用 了不同的實驗材料和方法等，導致實驗結果存在諸多差異；（3 ）由于采集、記錄時間的滯后性，腦電所記錄的并不一定是被試者當下所想到的。8.5.5 用戶體驗問卷調查表用戶體驗設計評價有很多種方法， 編寫用戶體驗問卷調查表是一種費用少、 管理人員和用戶 雙方都能接受的方法。 這個方法