第9章可用性分析與評估II

1、山東大學(xué)軟件學(xué)院n可用性測試q可用性測試是指在設(shè)計過程中被用來改善易用性的一系列方法。通過為用戶提供一系列操作場景和任務(wù)讓他們?nèi)ネ瓿?，這些場景和任務(wù)與產(chǎn)品或服務(wù)密切相關(guān)。通過觀察，發(fā)現(xiàn)過程中出現(xiàn)了什么問題、用戶喜歡或不喜歡哪些功能和操作方式，原因是什么。針對問題所在，提出改進的建議。 n1 計劃可用性測試n2.1 招募測試參與者n2.2 創(chuàng)建情景與任務(wù)n3. 處理可用性測試n4. 分析可用性測試數(shù)據(jù)n5. 編寫與演示可用性測試報告n6. 逐條探討報告中的建議是否采納n行為觀察室n眼動跟蹤儀用戶是關(guān)鍵n“鐵匠如何打造出完美的馬蹄鐵”？n可用性測試關(guān)鍵q找到合適的用戶q準(zhǔn)備測試方案，測試任務(wù)文檔q

2、得出正確的結(jié)論用戶體驗測試方案n產(chǎn)品可用性測試，是觀察用戶使用產(chǎn)品的、最自然的狀態(tài)。q換句話說，就是把用戶扔進可用性實驗室，然后你藏到一邊，通過監(jiān)控屏幕，偷看用戶怎么折騰產(chǎn)品的全過程。q但是，往往發(fā)現(xiàn)用戶總是在漫無目的地隨手在頁面上亂點。我們希望用戶在打開頁面時的第一反應(yīng)是是先聽歌還是先搜索，用戶卻用鼠標(biāo)輕輕一點從導(dǎo)航直接發(fā)進入了社區(qū)。用戶體驗測試就讓用戶這些折騰的嗎？顯然不是，這樣太漫無目的，太費時費力了n如何避免上述狀況？q首先對參加可用性測試的用戶（盡管有可能老用戶），但也要弄清楚的他們心理狀態(tài)和期望值。因為用戶會揣摹你的心思：到底想測試什么呢？所以，在進入體驗測試環(huán)節(jié)以前，最好先了解一

3、下用戶。q然后，再將預(yù)擬定的體驗測試任務(wù)書發(fā)給參與測試的用戶，任務(wù)書不要太籠統(tǒng)，最好將大任務(wù)分解成一個一個的小任務(wù)，就樣順理成章地，這些用戶就會根據(jù)任務(wù)書，一項一項的完成任務(wù)，最后發(fā)現(xiàn)他們在完成任務(wù)的過程中有可能出現(xiàn)的問題。在任務(wù)過程中，要讓用戶處于單獨的環(huán)境，也不要提醒。n評估重點q易用性q安全性小A是名很敬業(yè)的保安，負(fù)責(zé)保護客戶放在保險庫里的錢。保險庫的門上有一把防盜鎖，客戶有鑰匙，應(yīng)該說很安全。不久，小A發(fā)現(xiàn)一些聰明的偷盜者可以打開防盜鎖。于是，小A在保險庫的門上又加了一把鎖，他心里踏實了?？蛻裘看稳″X的時候，需要分別打開兩把鎖，客戶覺得小A做的很好，很有安全感。不久，小A又發(fā)現(xiàn)一些更聰

4、明的偷盜者可以同時打開兩把鎖。于是，小A就又加了一把鎖，他心里更踏實了。但，客戶每次取錢變得麻煩起來，不過至少錢沒丟客戶還是滿意的。不久，小A再次發(fā)現(xiàn)一些頂尖的偷盜者可以同時打開三把鎖。于是，小A就又加了一把鎖，而且鎖的開法和以前的還不一樣，這次他心里又踏實了。很快，保險庫的門上掛了幾十把鎖。而且每把鎖的開法都不一樣，什么鎖用什么鑰匙打開也沒有記號。小A終于可以徹底踏實了。因為，連客戶都打不開自己的保險庫了。最終，客戶換了一個保險庫。和保安。n得出正確結(jié)論q“話說：小明做了個實驗 把螞蚱放到桌子上，沖它喊：跳。它跳了。 把螞蚱的腿切下來，沖它喊：跳。它不動。 結(jié)論：螞蚱的耳朵是長在腿上的?！眖

5、需要廣泛、長期、有效地調(diào)查研究山東大學(xué)數(shù)字博物館可用性評估n以山東大學(xué)考古數(shù)字博物館網(wǎng)站（http:/）為例，說明應(yīng)用啟發(fā)式評估、用戶測試、問卷調(diào)查和放聲思考法等方法進行可用性評估的過程。1 評估指標(biāo)體系的建立n網(wǎng)站可用性為：q內(nèi)容/服務(wù)：n用來評估Web 界面所包含的信息和服務(wù)以及將這些信息和服務(wù)傳遞給用戶的能力。q效率：n用戶完成任務(wù)的正確和完整程度與所使用資源（如時間）之間的比率。q滿意度：n指用戶喜歡該網(wǎng)站的程度，即系統(tǒng)的目標(biāo)用戶或其他人在使用過程中感受到的舒適性和可接受性以及用戶的意見、感知、心里感受等。網(wǎng)站可用性的因素分類可用性因素可用性因素下級因素下級因素描述描述內(nèi)容/服務(wù)關(guān)聯(lián)性

6、表示內(nèi)容與核心用戶的相關(guān)性，即網(wǎng)站所提供的信息是否和該網(wǎng)站的核心用戶緊密關(guān)聯(lián)。表達方式文字要簡潔明了，多元信息能夠用多媒體來輔助表達。深度和廣度用來檢查網(wǎng)站信息的深度和廣度。網(wǎng)站的內(nèi)容應(yīng)該既要有一定的詳細(xì)程度，又要有一定的覆蓋面。實時性網(wǎng)站的內(nèi)容是否及時更新，以及提供相關(guān)的時間信息。服務(wù)提供動態(tài)的、能滿足特定用戶獨特需求的能力。效率交互效率用戶使用該網(wǎng)站能多快完成任務(wù)。易用性新老用戶能很容易地使用網(wǎng)站各項功能。容錯性幫助用戶識別、診斷及從錯誤中恢復(fù)。具備幫助和文檔用戶滿意度用戶使用過程中感受到的舒適性和可接受性以及用戶的意見、感知、心里感受等。網(wǎng)站可用性評估的體系模型2 啟發(fā)式評估n優(yōu)點q簡單

7、易用，使用較少的評估者就能夠發(fā)現(xiàn)較多的問題n缺點q評估者并沒有使用界面來執(zhí)行真正的任務(wù)，所以評估者只能發(fā)現(xiàn)一部分的可用性問題。q雖然在發(fā)現(xiàn)界面的大問題和小問題上都很有效果，但是啟發(fā)式評估在發(fā)現(xiàn)大問題的能力不強。q對評估者要求較高，評估者要求是可用性專家或至少是具有可用性應(yīng)用背景的專業(yè)人員。q評估者要將遇到的問題與可用性原則進行匹配，如果評估者對問題違反的可用性原則判別不清，有可能就會忽略該問題或不給該問題評分，這就使得最終的評估結(jié)果不能反映發(fā)現(xiàn)的所有可用性問題。啟發(fā)式評估n改進q評估者記錄下遇到的所有問題后，首先對這些問題進行評分，然后再與可用性原則進行匹配，如果對于此問題違反的可用性原則判別

8、不清，將結(jié)果統(tǒng)一匯總到評估者處再次進行匹配。這樣就可保證評估者發(fā)現(xiàn)的所有問題都能在結(jié)果中反映出來。q減弱對評估者可用性方面專業(yè)資歷的要求，但至少保證評估者對可用性有一定了解。啟發(fā)式評估n數(shù)字博物館站點的啟發(fā)q1)清晰的導(dǎo)航：使用戶無論從何處進入頁面都可知道當(dāng)前所處位置，并可方便到達站點中的其他頁面。q2)易用：用戶容易使用網(wǎng)站提供的各項功能。對新技術(shù)的應(yīng)用不增加用戶的額外負(fù)擔(dān)，對于使用不同連接方式連入互聯(lián)網(wǎng)的用戶給出相關(guān)提示信息，如文件類型、文件大小、下載進度等，并提供易于發(fā)現(xiàn)的幫助信息。q3)及時的反饋：讓用戶了解他們操作的結(jié)果。反饋信息清楚易見，能反映操作結(jié)果。q4)使用能夠區(qū)分已訪問和未

9、訪問的鏈接的顏色：在內(nèi)容較多的情況下，區(qū)分已經(jīng)訪問和尚未訪問的鏈接，使用戶在使用過程中不需記憶已到過何處，已訪問過哪些內(nèi)容。啟發(fā)式評估q5)盡量避免錯誤：避免無效鏈接及錯誤鏈接，所有頁面及程序在提交之前進行仔細(xì)的全面的測試。q6)指向本頁面的鏈接：用戶會誤以為該鏈接指向新地址，點擊之后會使用戶無所適從。q7)使用反映頁面真實內(nèi)容的標(biāo)題：設(shè)計頁面與頁面標(biāo)題，使得便于鏈接或在書簽中標(biāo)明，標(biāo)題與內(nèi)容統(tǒng)一。q8)最小下載時間：長的頁面需要更長的下載時間，所以除非必要每頁不要包括過多的信息。影響下載速度的主要有：圖片、多媒體信息、三維信息。q9)幫助用戶識別、診斷及從錯誤中恢復(fù)：錯誤信息要易于理解，要有

10、對問題的建議解決方法，例如鏈接到一個對錯誤頁面解決的頁面。q10)清晰易用的搜索功能：使用戶在豐富的內(nèi)容、多種多樣的資源中輕松找到需要的內(nèi)容。啟發(fā)式評估n對問題的嚴(yán)重性進行評分評價分值評價分值評價標(biāo)準(zhǔn)評價標(biāo)準(zhǔn)0這根本不是個可用性問題1只是一個表面的可用性問題-除非項目有額外的時間，否則不必進行糾正2輕微的可用性問題-糾正這一問題的優(yōu)先級較低3重要的可用性問題-需要重視該問題的糾正，應(yīng)當(dāng)給以高優(yōu)先級4可用性災(zāi)難-在設(shè)計提交之前必須要考慮的嚴(yán)重的可用性問題啟發(fā)式評估n評估者q本案例中選擇三位評估者，所有的評估者都會熟練地使用互聯(lián)網(wǎng)，一位評估者具有較多的可用性方面的專業(yè)知識，另兩位評估者對可用性有一

11、般性的了解。啟發(fā)式評估n評估過程q每位評估者有一份包括啟發(fā)以及如何進行評估的文檔。q首先他們要瀏覽站點來感覺一下其設(shè)計如何，大致了解站點的主要內(nèi)容及界面主要組成。q然后他們要閱讀啟發(fā)列表并檢查這個站點有沒有這樣的可用性問題。對于他們發(fā)現(xiàn)的每個問題都要記下來并對這個問題進行評分。q接著將可用性問題與啟發(fā)進行匹配。q最后寫下他們對這個站點的總體設(shè)計的觀點。啟發(fā)式評估n評估結(jié)果分析q體現(xiàn)可用性原則的設(shè)計n啟發(fā)nW3C提出的Web設(shè)計指導(dǎo)原則設(shè)計設(shè)計體現(xiàn)的可用性原則體現(xiàn)的可用性原則1)使用標(biāo)準(zhǔn)的鏈接顏色，容易區(qū)分已訪問和未訪問的鏈接符合一致性和標(biāo)準(zhǔn)原則2)清楚地標(biāo)注日期3)導(dǎo)航清楚，用戶可清楚了解當(dāng)前

12、所處位置符合系統(tǒng)狀態(tài)可視性原則4)使用易于發(fā)現(xiàn)、易于使用的鏈接符合識別而非記憶原則5)文博快訊包括多頁內(nèi)容，頁面定位信息清楚易用，用戶使用方便符合用戶控制與自由原則6)頁面美觀大方符合美學(xué)及最小化設(shè)計原則7)文本與背景對比明顯符合美學(xué)及最小化設(shè)計原則8)整個頁面字體一致，易于閱讀符合美學(xué)及最小化設(shè)計原則9)使用靜止的正文為Web閱讀設(shè)計文字10)用戶找到所需內(nèi)容點擊鏈接的次數(shù)較少符合最小化設(shè)計原則11)提供易于使用的搜索功能12)使用能夠反映頁面內(nèi)容的標(biāo)題13)頁面布局合理，結(jié)構(gòu)清晰啟發(fā)式評估n評估結(jié)果分析q存在的可用性問題n使用大圖片，下載速度很慢；n在瀏覽三維場景及三維文物時需要下載插件，

13、頁面上無相關(guān)提示，用戶不知如何操作，站點未提供有效的幫助。可用性問題總數(shù)嚴(yán)重性1嚴(yán)重性2嚴(yán)重性33623 （64%）11 （30%）2 （6%）3 用戶測試n測試過程q1)測試對象：山東大學(xué)考古數(shù)字博物館。q2)測試目的：通過觀察“用戶如何在網(wǎng)上實現(xiàn)特定的目的或完成特定的任務(wù)”，結(jié)合用戶的體驗，來評價山東大學(xué)考古數(shù)字博物館對用戶而言，是否好用，以此確定網(wǎng)站可用性方面的內(nèi)容哪些需要保留、擴展或改變，并提出改進的建議。q3)測試時間和地點：測試地點由用戶自行安排，預(yù)計測試時間為1小時。q4)測試用戶：測試用戶為10人，其年齡以中青年為主：學(xué)歷、計算機和因特網(wǎng)水平分布較均勻。q5)測試的操作步驟：讓

14、測試用戶在網(wǎng)站上完成5個指定的任務(wù)，并記錄下執(zhí)行結(jié)果。完成任務(wù)以后，讓測試用戶回答問卷中設(shè)定的的問題。q6)測試結(jié)果：用統(tǒng)計學(xué)的方法統(tǒng)計結(jié)果，對網(wǎng)站的可用性進行分析，提出改善的建議。用戶測試n可靠性保證q1)在選擇測試用戶時盡量控制新手用戶與熟練用戶的比例，在此新手用戶與熟練用戶是按照他們使用互聯(lián)網(wǎng)的經(jīng)驗來劃分的。q2)盡可能多地招募測試用戶，以期提高數(shù)據(jù)的可信度及可靠性。q3)使用標(biāo)準(zhǔn)統(tǒng)計學(xué)的方法對測試結(jié)果進行量化的分析。用戶測試n有效性保證q1)在選擇用戶時充分考慮到不同背景、不同專業(yè)的用戶測試時的差異，所以用戶的選擇范圍較廣泛。q2)在確定測試任務(wù)時，不僅對用戶的訪問情況進行分析，而且還

15、進行了先驗測試，以確保測試任務(wù)能夠最大限度地反映真實用戶訪問的實際情況。q3)讓用戶盡可能地在真實的使用環(huán)境下進行測試，確保測試結(jié)果能夠反映用戶的真實情況。用戶測試n明確測試目標(biāo)q對山東大學(xué)考古數(shù)字博物館網(wǎng)站的用戶界面、交互、網(wǎng)站功能等進行評估，從可用性的角度分析山東大學(xué)考古數(shù)字博物館網(wǎng)站在界面設(shè)計、交互設(shè)計、內(nèi)容設(shè)計、功能設(shè)計等方面的優(yōu)點及不足，得到山東大學(xué)考古數(shù)字博物館網(wǎng)站的可用性的總體評估。用戶測試n測試計劃q測試時間和地點：測試地點由用戶自行安排，測試時間不統(tǒng)一確定，但是有一個最后截止時間。q每一次測試預(yù)期使用時間：本案例中用戶測試和問卷調(diào)查同時進行，用戶在執(zhí)行了測試任務(wù)后立即填寫調(diào)查

16、問卷，預(yù)期使用時間為60分鐘。q測試時需要的計算機設(shè)備：無論使用何種計算機，只要能夠訪問Internet即可，不限制所使用的硬件。q測試之前要準(zhǔn)備好的軟件：可以訪問網(wǎng)站的瀏覽器軟件。q開始測試時網(wǎng)站所處狀態(tài)：確保網(wǎng)站24小時均可訪問。q測試人員：一位具備較多可用性知識的人員，一位對可用性有一定了解的人員。n測試計劃q測試用戶及如何找到這些用戶：測試用戶通過以下途徑招募：1)山東大學(xué)人機交互實驗室對測試感興趣的同學(xué)；2)山東大學(xué)校內(nèi)對測試感興趣的同學(xué)；3)某電腦培訓(xùn)學(xué)校對測試感興趣的人員。q需要的測試用戶：計劃需要120位。q讓用戶完成的測試任務(wù)共12項：見下表9-6。 q確定用戶正確地完成任務(wù)

17、的標(biāo)準(zhǔn)：用戶進入正確的頁面，并成功訪問所要求的內(nèi)容q測試用戶可以使用的輔助手段：網(wǎng)站提供的幫助信息。q測試人員在測試期間可以給測試用戶提供的幫助：為用戶解釋典型任務(wù)中用戶有疑問的任務(wù)。不提供其他幫助。q需收集的數(shù)據(jù)及數(shù)據(jù)分析：用戶完成每項任務(wù)的開始時間和完成時間，由此得到用戶完成每項任務(wù)的時間。在分析數(shù)據(jù)時最大限度地考慮網(wǎng)絡(luò)負(fù)載的因素、個體差異影響的因素，采用統(tǒng)計學(xué)的方法統(tǒng)計結(jié)果。用戶測試n招募測試用戶q使用教育網(wǎng)的+不使用教育網(wǎng)的q不同經(jīng)驗、專業(yè)背景、不同年齡的用戶q實際招募用戶41人，校內(nèi)用戶25人，校外用戶16人n專業(yè)：理工科35人，占 85 %，文科4人，占10 %，其他2人，占 5

18、%；n上網(wǎng)經(jīng)驗：1年以內(nèi) 3人，占7% ，1年-3年15人，占37%，3年-5年19人，占46%，5年以上4人，占10%；n上網(wǎng)頻率：偶爾上網(wǎng)的3人，占7%，每月上幾次4人，占10%，每周上幾次的 10人，占25% ，每天都上的24人，占58%；用戶測試n試點測試q用戶是否能夠在分配的時間內(nèi)完成測試任務(wù)。q測試任務(wù)的描述是否清楚，用戶是否容易理解。q用戶對問卷調(diào)查的措詞是否滿意，問卷是否能夠反映用戶測試時及測試后的所想所感。用戶測試n測試任務(wù)的確定q測試任務(wù)能涵蓋網(wǎng)站的所有欄目。q測試任務(wù)不太容易，用戶在完成任務(wù)時會有成就感和滿足感。測試任務(wù)不太難，用戶基本可以在不需幫助的情況下獨立完成。q測

19、試任務(wù)以容易的任務(wù)開始，逐漸過渡到較難的任務(wù)，使用戶由簡到難地執(zhí)行任務(wù)，有一個循序漸進的過程，增加用戶的自信心。以容易的任務(wù)結(jié)束，增加用戶的成就感。q通過對4位用戶試點測試結(jié)果的分析，確定用戶訪問時最感興趣的欄目，并在測試任務(wù)中體現(xiàn)。q通過對試點測試結(jié)果的分析，修訂測試任務(wù)，使得任務(wù)的表述明確、具體、無歧義。q為了解用戶完成任務(wù)的情況，設(shè)計測試任務(wù)表格，包括測試任務(wù)、開始時間、完成時間。記錄用戶完成任務(wù)花費的時間的目的有如下四個：了解用戶是否完成任務(wù)。為分析用戶執(zhí)行任務(wù)過程中的可能情況提供依據(jù)。了解用戶訪問的真實情況，保證測試數(shù)據(jù)的真實性及客觀性。對于不同的測試任務(wù)，如果執(zhí)行時間超過某一特定值

20、時就認(rèn)為用戶在完成這一任務(wù)時非常困難。記錄用戶執(zhí)行任務(wù)花費的時間可幫助我們分析導(dǎo)致用戶遇到困難的原因。用戶測試n測試任務(wù)表格執(zhí)行任務(wù)開始時間完成時間1)瀏覽博物館動態(tài)中的“博物館人員到大辛莊遺址參觀” 2)與網(wǎng)站制作者聯(lián)系，找到聯(lián)系信息即可3)利用查詢功能訪問新石器時代陶器圈足壺4)訪問日照兩城遺址，觀看出自該遺址的精美文物5)訪問全景圖中的“校史展館新山大”6)瀏覽虛擬場景中的博物館的虛擬場景 7)觀看文物演變中的“龍山高柄杯”的演變8)在考古論壇中注冊用戶并發(fā)表一個帖子9)訪問出自長清仙人臺遺址的3D文物編鐘10)訪問考古實景中的“田野考古考古全程展示”11)訪問古典音樂“化蝶”12)了解

21、文物鑒賞的有關(guān)知識用戶測試n任務(wù)6，7，11效率低q需下載插件才可訪問。q頁面或文件較大，需下載較長時間才可訪問。q用戶在無法執(zhí)行任務(wù)時注明了打不開，或打開出錯等信息，結(jié)合問卷調(diào)查的結(jié)果分析主要是由于訪問速度較慢的緣故。3 問卷調(diào)查n問卷調(diào)查與用戶測試同時進行，用戶在進行完測試之后立即填寫調(diào)查問卷，因為這時用戶回憶起訪問網(wǎng)站時的體驗比較容易。問卷調(diào)查n調(diào)查問卷的設(shè)計q1) 您的專業(yè)qO理工科O文科O其他q2) 您上網(wǎng)的頻率是：qO偶爾 O每月上幾次 O每周上幾次O每天都上q3) 您已經(jīng)有多長時間的上網(wǎng)經(jīng)驗了？qO1年以內(nèi)O13年O35年O5年以上用戶的專業(yè)知識背景、上網(wǎng)的程度均會影響到用戶處理

22、測試任務(wù)的能力q4) 您經(jīng)常通過何種方式上網(wǎng)？qO校園網(wǎng)O寬帶O拔號上網(wǎng)O其他（請寫明）q5) 您以前是否訪問過我們的網(wǎng)站？qO未訪問過 O訪問過q如果以前您訪問過我們的網(wǎng)站請做此題，否則請繼續(xù)做第7題。q6) 您訪問網(wǎng)站的頻率是：qO每天都訪問 O一周幾次 O一月幾次O幾月一次 不同的上網(wǎng)方式會影響用戶的訪問速度，因此影響到用戶對整個網(wǎng)站的滿意程度對網(wǎng)站的熟悉程度會影響到用戶執(zhí)行測試任務(wù)的快慢，影響用戶對網(wǎng)站的滿意度及用戶處理問題的能力q7) 您覺得這個網(wǎng)站好用嗎?qO很好用O好用O一般O不好用O難用q8) 您對網(wǎng)站瀏覽速度的滿意程度？qO很滿意O滿意O一般O不滿意O很不滿意q9) 您覺得網(wǎng)

23、站的欄目設(shè)置清楚嗎？qO很清楚O清楚O一般O不清楚O非常不清楚q10)您覺得從網(wǎng)站的欄目名稱是否容易知道其中的內(nèi)容？qO很容易O容易O一般O不容易O非常不容易易用性網(wǎng)站的瀏覽速度是影響用戶體驗的一個很重要的因素。q11)您覺得網(wǎng)站的文字設(shè)計是否容易閱讀？qO很容易 O容易 O一般O不容易O非常不容易q12)您覺得網(wǎng)站的美工設(shè)計是否能吸引您的興趣？qO能O一般O不能O不確定q13)您覺得網(wǎng)站提供的搜索功能是否能滿足您的需求？qO能O一般O不能O不確定強大的搜索功能可讀性顏色搭配與整體風(fēng)格一致q14)您覺得是否易于找到所需要的信息？qO很容易O容易O一般O不容易O非常不容易q15)您覺得在不同的頁面之間移動是否方便？qO很方便O方便O一般O不方便O非常不方便導(dǎo)航系統(tǒng)q16)您覺得是否容易找到網(wǎng)站提供的提示信息及幫助信息？