《用戶體驗設計導論》第14章-用戶體驗質量的測試與評價課件

用戶體驗設計導論IntroductiontoUserExperienceDesign第十四章用戶體驗質量的測試與評價王晨升，陳亮編著.用戶體驗設計導論[M]，機械工業(yè)出版社，2020.09.內容CONTENTS01用戶體驗質量的概念02常用用戶體驗測試方法03用戶體驗質量的評價方法用戶體驗質量的概念TheConceptofQualityofExperience01用戶體驗質量評判的要素用戶體驗質量評價的意義用戶體驗質量評判的要素用戶體驗質量評判的要素，是指在用戶體驗評價中起到顯著影響的因素的集合。由于人類的感覺的復雜性和產品的多樣性，體驗要素并沒有確切的標準可資借鑒，它隨產品或服務而異，也與用戶對象及其屬性（文化背景、生理特征等）密切相關，同時還受到社會與自然環(huán)境的制約；產品或服務的可用性是影響用戶體驗質量的關鍵要素之一。圖14-1用戶體驗質量評判的要素用戶體驗質量評判的要素從宏觀上看，美國學者杰西?詹姆斯?加瑞特（JesseJamesGarrett）將用戶體驗要素劃分成了戰(zhàn)略層、范圍層、結構層、框架層和表現(xiàn)層；羅伯特?魯賓諾夫（RobertRubinoff）于2004年發(fā)表的論文中，提出了網(wǎng)站的用戶體驗四要素（圖14-2），即品牌、可用性、功能性和內容，認為只有這四方面共同作用才能產生一個積極的用戶體驗。有學者按體驗的類型劃分成感官體驗，即呈現(xiàn)給用戶視聽上的體驗，強調舒適性；交互體驗，即用戶操作上的體驗，強調易用/可用性；情感體驗，即用戶心理感受，強調友好性；瀏覽體驗，即用戶瀏覽時的感受，強調吸引性；信任體驗，即給用戶的信任度，強調可靠性。也有學者按需求層次理論將用戶體驗定義為五個要素（圖14-3），即漂亮----對應于感覺需求；合用----交互需求；高興----情感需求；尊重----社會需求；自信----自我需求等。圖14-2網(wǎng)站用戶體驗宏觀四要素圖14-3基于需求層次的宏觀用戶體驗要素用戶體驗質量評判的要素微觀方面的用戶體驗要素，主要指能創(chuàng)建積極體驗的關鍵組成部分，如對網(wǎng)站來說包括信息構建、信息設計、工作流程、資源轉換、界面設計和跨平臺的兼容等，其中信息構建是網(wǎng)站體驗的核心。也有人將前述類型細化成數(shù)十個子項來構成體驗評估的微觀要素。用戶體驗調查表（UserExperienceQuestionnaire，UEQ）是美國SAP公司開發(fā)的一套定量分析微觀用戶體驗的工具，它讓用戶對一系列細化指標在問卷上表達出在使用產品或服務中的感受、印象和態(tài)度，系統(tǒng)會自動生成覆蓋體驗多個方面的量化表，如在易用性方面，包括高效（Efficiency）、易懂（Perspicuity）和可信任（Dependability）等三個指標；在感官方面，包括吸引度（Attractiveness）、激勵性（Stimulation）和新鮮度（Novelty）等指標（圖14-4）圖14-4微觀用戶體驗調查表示例用戶體驗質量評判的要素用戶在使用產品時的心理負荷（MentalWorkload）水平，也直接影響著主觀滿意度。心理負荷是和體力負荷相對應的概念，即在進行一項操作或完成一個任務時所要花費的心思和承受的心理壓力。在心理學上，耶基斯-多德森（Yerkes-Dodson）定律描述了心理喚醒水平（Arousal）和操作績效（Performance）之間倒U字型的關系，而心理負荷和喚醒水平又正向相關（圖14-5）。美國航空航天局（NASA）基于此定律開發(fā)了認知負荷量表（NASA-TLX）來測量用戶完成一項任務時的心理負荷水平，這是目前適用范圍最廣、效度最好的心理負荷量表之一，它從微觀上將影響用戶心理負荷的因素細分為六個維度，包括心理需求（MentalDemand）、體力需要（PhysicalDemand）、時間需要（TemporalDemand）、績效（Performance）、努力程度（Effort）和挫敗感（Frustration）。通常被試者在這六個維度上對自己的行為進行打分，再根據(jù)對應各維度不同的權重計算出最終的心理負荷指數(shù)。圖14-5耶基斯-多德森定律曲線圖14-6NASA-TLX量表用戶體驗質量評價的意義通過對各個開發(fā)階段的用戶體驗質量的評價，及時發(fā)現(xiàn)存在的問題，可使產品的迭代開發(fā)目標更明確、過程更高效。開展用戶體驗質量評價，首先需要認識用戶體驗的價值、理解其意義所在，這里存在兩個誤區(qū)，一是試圖把用戶體驗工作的貢獻從全部工作的貢獻中分離出來；二是把“用戶體驗的價值”等同于“用戶體驗人員的價值”。事實上，在產品開發(fā)前、中、后期，都需要體驗研究員、設計師和產品經(jīng)理等一起合作來改進產品體驗質量。其中在產品開發(fā)前期和中期的用戶體驗工作最為重要，這時的探索和驗證能極大程度地減少產品研發(fā)過程中可能出現(xiàn)的錯誤和風險。用戶所關心的是最終的、綜合呈現(xiàn)的體驗效果，而不是哪些人、在哪個產品環(huán)節(jié)上做出了一個好的用戶體驗（體驗的全局性）。所以用戶體驗質量的評價是完全融入產品研發(fā)與運營的全程中的，也是關乎產品成敗的關鍵工作。常用用戶體驗測試方法TheCommonUserExperienceTestingMethods02用戶體驗測試流程及注意事項用戶體驗測試方法用戶體驗測試流程及注意事項第一階段：測試前的準備1．編寫測試腳本。測試腳本也稱測試方案，是用戶測試的一個提綱。測試任務的制訂一般由簡至難，或者根據(jù)場景來確定。明晰用戶需求是制訂高質量的用戶測試腳本（方案）的前提，一般由訪談或問卷、量化和評估用戶需求等步驟來得到結果。2．用戶招募+體驗室的預訂。用戶測試一般需要6～8人，也可酌情增減；男女比例要符合產品目標用戶比例；并要考慮將來會使用、或者是很可能使用該產品的目標用戶；根據(jù)測試目的不同可選擇新手、普通或高級用戶。在時間緊迫時，如只是為了簡單地發(fā)現(xiàn)產品存在哪些可用性問題，也可讓公司內部員工充當用戶、參與測試。正規(guī)的用戶測試要在體驗室進行，不僅需要錄音、錄屏，還需要觀察人員觀察用戶的具體操作，并做詳細的記錄。因此測試前需要進行體驗室的預訂；在非正式情況下，一臺筆記本電腦、一間會議室也可以進行用戶測試，雖然簡陋，但足以完成對基本可用性問題的發(fā)現(xiàn)。第二階段：進行測試一切準備就緒后，就可以開始進行用戶測試了。測試時需要一名主持人在測試間主持測試，1～2名觀察人員在觀察間進行觀察記錄；過程需要錄音、錄屏，以備后期分析；測試時盡量不要對用戶做太多的引導，以免影響測試效果。具體的步驟包括向用戶介紹測試目的、測試時間、測試流程及測試規(guī)則；簽署保密協(xié)議并填寫基本信息表；讓用戶執(zhí)行指定任務，盡量邊做邊說，說出自己操作時的想法和感受；收集用戶反饋；對參試用戶表示感謝等。第三階段：測試后總結測試后需要進行測試報告的撰寫，并將測試結果與相關人員進行分享，具體有主持人與觀察人員要進行即時溝通，確定體驗問題的分級并匯總簡要的測試報告，以拋出問題為主，不做過多的建議；報告確認后，召開會議將測試結果與相關人員進行分享；確定產品發(fā)布前需要進行優(yōu)化的具體問題并進行分類，明確解決問題的關鍵人。關鍵是要落實到人。用戶體驗測試方法1．認知預演（CognitiveWalkthroughs）認知預演是由德國計算機和認知學家克萊頓?劉易斯和凱瑟琳?沃頓（等于1990年提出的，該方法首先要定義目標用戶、代表性測試任務、每個任務正確的執(zhí)行順序、用戶界面等；然后進行行動預演，并不斷地向用戶提出問題，如能否建立任務目標、能否獲得有效的行動計劃、能否自主采用適當?shù)牟僮鞑襟E、能否根據(jù)系統(tǒng)的反饋信息評價任務是否完成等；任務完成后，對執(zhí)行過程進行評價，諸如應該達到什么效果、某個行動是否有效、某個行動是否恰當、某個狀況是否良好等，最終得到用戶體驗的定性度量。其優(yōu)點在于，能夠使用任何低保真原型包括紙原型；缺點在于評價人并非真實的用戶，未必能很好地表征用戶的特征。2．啟發(fā)式評估（HeuristicEvaluation）啟發(fā)式評估方法是由雅各布?尼爾森和羅爾夫?毛里克于1990年提出的，該方法通常由多位專家（一般4至6人）參加，根據(jù)可用性原則反復瀏覽系統(tǒng)各個界面，獨立測試系統(tǒng)；允許用戶在獨立完成測試任務之后，討論各自的發(fā)現(xiàn)，共同找出可用性問題，給出體驗感受。其優(yōu)點在于專家決斷比較快、使用資源少，能提供綜合測試結果，測試機動性好；不足之處一是會受到專家的主觀影響較大；二是沒有規(guī)定任務，會造成測試目標的不一致；三是測試后期階段，由于測試人的原因可能造成信度降低；四是專家與用戶的期待存在差距，這意味著所發(fā)現(xiàn)的問題可能僅能代表專家的體驗感受。3．用戶測試法（UserTest）指讓用戶真正地使用產品或服務，由實驗人員對過程進行觀察、記錄和測量。用戶測試可分為實驗室測試和現(xiàn)場測試，前者是在實驗室里進行的，而后者則是到實際使用現(xiàn)場進行觀察和測試。測試之后，測試人員需要匯編和總結測試中獲得的數(shù)據(jù)、并進行數(shù)據(jù)分析，比如完成時間的平均值、中間值、范圍和標準偏差、以及用戶感受、成功完成任務的百分比、對于單個交互用戶做出各種不同傾向性選擇的直方圖表示等；然后對分析結果進行評估，并根據(jù)體驗問題的嚴重和緊急程度排序，撰寫最終測試報告。用戶體驗質量的評價方法EvaluationMethodsofQualityofExperience03基于統(tǒng)計學的評價方法基于心理學的評價方法基于人工智能的評價方法基于隨機模型的評價方法基于統(tǒng)計學的評價方法

基于統(tǒng)計學的評價方法（2）其次，利用主成分分析法（PrincipalComponentsAnalysis，PCA）進行因子提取，并且進行旋轉。主成分分析法是一種對數(shù)據(jù)集進行降維的方法，它通過一個線性變換將變量映射為一組因子；然后依次取方差最大的前m個因子，并確保這m個因子累計貢獻率達到85％～95％。（3）最后，進行結果處理，包括對得到的每個因子進行命名。因子的命名應能解釋其代表的含義；然后再計算每個因子的值，以便以后利用這些因子進行問題的分析?；诮y(tǒng)計學的評價方法【例】對某3G網(wǎng)絡下視頻質量QoE的評價。采用主觀參數(shù)因子分析法，主觀參數(shù)可分為質量層面和情緒層面，這里僅介紹質量層面主觀參數(shù)的分析。首先對質量層面的主觀參進行KMO檢驗，得到表11-1給出的示例。由于KMO值大于0.6，所以可以用PCA（PrincipalComponentAnalysis，PCA）方法進行數(shù)據(jù)降維。它的主要過程是，首先將這些數(shù)據(jù)進行標準化處理；其次利用主成分分析方法和方差極大旋轉方法進行處理；最后對這些主成分進行可靠性分析，得出的最終結果如表14-2所示。通過PCA處理，可以將質量層面的參數(shù)用兩個不相關的參數(shù)，即空間質量（Spatialquality）和時間質量（Temporalquality）來代替。這樣質量層面的參數(shù)從6個變成了2個，大大降低了原問題的復雜度。質量層面KMO=0.75內容5個級別合適性5個級別音頻質量5個級別圖像質量5個級別流暢性5個級別音/視頻同步5個級別第1個主成分（空間質量）方差解釋

可靠性43.26%

克朗巴哈系數(shù)=0.73問題條目因子載荷公因子方差內容0.830.71音頻質量0.720.57合適性0.720.52圖像質量0.560.66第2個主成分（時間質量）方差解釋

可靠性18.91%

r=0.28,p=0.00問題條目因子載荷公因子方差流暢性0.850.75音/視頻同步0.650.53表14-1QoE質量層面的主觀參數(shù)示例表14-2質量層面的PCA分析基于統(tǒng)計學的評價方法2．QoE評價指標與QoE之間的相關性分析。每個指標對QoE的影響度通?？捎媒y(tǒng)計學中的相關性分析和方差分析來確定。式（14-2）給出的相關系數(shù)r，在某種程度上反映了兩變量間的相關關系。但由于抽樣誤差的影響，根據(jù)r值的大小來判斷兩變量間的相關關系時，必須進行顯著性檢驗。表14-3給出了上例中QoE的5個評價指標與QoE之間的相關性分析。表14-3QoE的5個評價指標與QoE之間的相關性主成分皮爾遜相關系數(shù)顯著性空間質量r=0.82p=0.00時間質量r=0.43p=0.00滿意程度r=0.73p=0.00興趣r=0.37p=0.00關注級別r=0.12p=0.00基于統(tǒng)計學的評價方法3．QoE統(tǒng)計學模型與模型驗證。在進行了評價指標之間和評價指標與QoE之間相關性分析之后，可以采用回歸分析和判別分析的方法，來構建QoE評價的函數(shù)模型：（1）若將QoE映射為一連續(xù)的值，則應采用回歸分析的方法建立QoE評價模型，如線性回歸模型、指數(shù)回歸模型或對數(shù)回歸模型?；貧w分析方法是：首先做散點圖以觀察曲線的形狀。若坐標軸相關點呈團狀分布，則表示兩變量沒有任何關系；如果兩變量有關系，則它們可能是最簡單的直線線性關系或非線性關系。非線性關系又分兩種：一種是本質線性關系或擬線性關系，這兩種情況都可以轉換成線性關系，用最小二乘法求出相關系數(shù)；另一種是本質非線性關系，不可轉換成線性關系，僅能用迭代方法或分段平均值方法求解.（2）若將QoE映射為離散的值，則QoE的評價問題就等價為一個分類問題，這時可以采用判別分析法，具體步驟為：選擇QoE的評價指標；收集數(shù)據(jù)，得到訓練樣本，并利用訓練樣本給出判別函數(shù)；對判別函數(shù)進行驗證分析；輸出結果，得出結論。一般來說，QoE的函數(shù)模型需要進行驗證。常用的有自身驗證、外部數(shù)據(jù)驗證、樣本二分法以及交互驗證等。因子分析大多采用統(tǒng)計產品與服務解決方案軟件（StatisticalProductandServiceSolutions，SPSS）來實現(xiàn)，可以節(jié)約很多時間；具體請參閱有關說明?；谛睦韺W的評價方法基于心理學的評價方法，其本質就是利用心理學領域著名的韋伯-費希納定律（Weber-FechnerLaw）來進行QoE的評價。

基于心理學的評價方法2、韋伯-費希納定律與QoE評價。這里以通信中語音業(yè)務的OoE與比特率的關系為例，來說明韋伯-費希納定律在QoE評價中的應用。如圖14-7所示，將比特率作為唯一變化的因素，變化范圍從2.4kbps到24.8kbps，并且利用PSQA（Pseudo-SubjectiveQualityAssessment）方法，計算出語音業(yè)務的平均主觀意見分數(shù)（MeanOpinionScore，MOS）。由于圖中橫坐標經(jīng)過了對數(shù)處理，因此可以更清楚地看出語音業(yè)務的QoE與比特率成對數(shù)的關系。如果將比特率理解為物理刺激、語音業(yè)務的QoE理解為人的感覺，則運用韋伯-費希納定律，可以得出式（14-6）：????????∝???????????????（14-6）可以看出利用韋伯-費希納定律得出的結論和實驗數(shù)據(jù)相符，即利用韋伯-費希納定律通過概念映射變換，就可以直接解釋語音業(yè)務的QoE與比特率之間的關系。圖14-7語音業(yè)務的QoE與比特率間的對數(shù)關系基于人工智能的評價方法

基于人工智能的評價方法

標度說明0.5兩元素同等重要0.6一元素比另一元素稍微重要0.7一元素比另一元素明顯重要0.8一元素比另一元素重要得多0.9一元素比另一元素極端重要0.1,0.2若元素ai與元素aj相比較得到的判斷為rij0.3,0.4則元素aj與ai相比較得到的判斷為rji=1-rij（3）計算權重向量。計算模糊互補矩陣A中每行（層）的權重，具體有幾何平均法（根法）和規(guī)范列平均法（和法）兩種方法。具體做法是，先將模糊互補矩陣轉換成模糊一致矩陣，然后，再計算每一層的權重向量；（4）根據(jù)步驟（3）的結果，通過對權重的分析計算出最終的各元素對QoE的重要程度。表14-4短信服務0.1～0.9標度基于人工智能的評價方法【例】利用模糊層次分析法，分析短信服務各分指標對QoE質量的影響。首先，建立短信服務QoE的評價體系結構，將短信服務的QoE評價指標歸納為可訪問性、即時性、完整性、內容質量及可持續(xù)性等.其次，找出與每一個QoE評價指標關聯(lián)的QoS參數(shù)，建立短信服務的QoE評價體系（圖14-8）.然后，確定與短信服務QoE相關的各個QoS參數(shù)的權重。這需要先確定QoE評價指標兩兩比較的值，以及每一個QoE評價指標下相關的QoS參數(shù)兩兩比較的值，用以構造模糊矩陣；

圖14-8短信服務QoE評價體系基于人工智能的評價方法接下來，按照模糊層次分析法，即可計算得出每個評價對短信服務QoE的權重（圖14-9），這也是每個分指標對短信服務QoE的貢獻。同樣地，可以得到每個QoS參數(shù)對短信服務QoE的權重（圖14-10）。模糊層次分析法方法可以很好地解決多指標以及多層次的問題，但它需要依賴專家的經(jīng)驗，并且無法描述同一層次指標之間的關系，即需要保證同一層指標之間是相互獨立的。這也是應用該方法的一個限制。圖14-10短信服務的QoS參數(shù)關于QoE的權重圖14-9短信服務QoE評價結果基于人工智能的評價方法

圖14-11C4.5決策樹算法基于人工智能的評價方法

基于人工智能的評價方法

基于隨機模型的評價方法隨機模型指一種非確定性模型，其變量之間的關系是以統(tǒng)計值的形式給出的。由于用戶之前的體驗會對當前體驗造成較大的影響，所以需要更科學地模擬用戶的這種體驗過程。因此有學者嘗試用隨機模型來進行QoE評價，隱馬爾科夫模型（HiddenMarkovModel，HMM）便是其中之一。HMM是由美國數(shù)學家萊昂納德?鮑姆（LeonardE.Baum）等于二十世紀六十年代后期提出的一種統(tǒng)計分析模型，是一個雙重隨機過程----具有一定狀態(tài)數(shù)的隱馬爾可夫鏈和顯式隨機函數(shù)集，廣泛應用于語音、行為及文字識別以及故障診斷等領域。下面以隱馬爾可夫方法為例介紹基于隨機模型的評價思路。?！纠坷秒[馬爾可夫方法建立3G/4G網(wǎng)絡中的視頻流媒體業(yè)務的QoE評價模型。1．評價參數(shù)體系。利用HMM評價流媒體業(yè)務的第一步，是構造在3G/4G中通用的視頻流媒體評價參數(shù)體系，如圖14-12所示。其中，EQoS（