人機(jī)自然交互技術(shù).ppt

1、人機(jī)自然交互技術(shù)提綱人機(jī)交互概述-定義，內(nèi)涵與外延-研究?jī)?nèi)容-歷史、現(xiàn)狀人機(jī)自然交互技術(shù)我的工作HCI是什么?用戶(hù)：我又錯(cuò)了？-用戶(hù)必須不斷地適應(yīng)計(jì)算機(jī)，而不是相反!人機(jī)交互定義(ACM, 1992)一 Human-computer interaction is a discipline concerned with the design, evaluation and implementation of interactive computing systems for human use and with the study of major phenomena surrounding t

2、hem.- 一門(mén)研究人類(lèi)所使用的交互式計(jì)算系統(tǒng)的設(shè)計(jì)、 實(shí)施、評(píng)估及相關(guān)主要現(xiàn)象的學(xué)科HCI簡(jiǎn)化模型HCI簡(jiǎn)化模型控制信息HCI目標(biāo)使得用戶(hù)在完成任務(wù)時(shí)，能夠達(dá)到一安全性(Safely)-有效性(effectively)-高效率(Efficiently)-愉悅感(Enjoyably)-高可用性(Usability)高可用性(Usability)易于學(xué)習(xí)如何使用一 Ease of learning, free of training用戶(hù)可高速執(zhí)行任務(wù)-High speed of user task performanee低的用戶(hù)錯(cuò)誤率-Low user error rate用戶(hù)的主觀滿(mǎn)意度-Su

3、bjective user satisfaction對(duì)用戶(hù)持久的吸引力一 User retention over timeHCI主要研究?jī)?nèi)容(ACM 1992)Use and ContextU1社會(huì)組織與工作U3人機(jī)交S安裝與凋整U2應(yīng)用領(lǐng)域Ht人類(lèi)信 息處理H2語(yǔ)言,通信與 交互計(jì)算機(jī)C2對(duì)話扌支 術(shù) nC3対話風(fēng) 格C4計(jì)算機(jī)制 圖SBD3評(píng)估技 巧H3人類(lèi)T效學(xué)C4輸入輸出 設(shè)備C 5對(duì)話構(gòu)建D2實(shí)施技巧與工具D1設(shè)計(jì)開(kāi)發(fā)過(guò)程D4實(shí)例系統(tǒng)與 案例分析HCI研究?jī)?nèi)容N人機(jī)交互的本質(zhì)- N1人機(jī)交互(元-)模型U計(jì)算機(jī)的應(yīng)用及情景-U1人類(lèi)社會(huì)組織和工作- U2應(yīng)用領(lǐng)域一 U3 人機(jī)適應(yīng)(F

4、it and Adaptation)H人類(lèi)特征- H1人類(lèi)信息處理-H2語(yǔ)言，通信與交互一 H3 工效學(xué)(Ergonomics )HCI研究?jī)?nèi)容(續(xù))C計(jì)算機(jī)系統(tǒng)和界面構(gòu)建- C1輸入和輸出設(shè)備- C2對(duì)話技術(shù)- C3對(duì)話風(fēng)格Genre- C4計(jì)算機(jī)圖形學(xué)一 C5 對(duì)話架構(gòu)(Architecture)D開(kāi)發(fā)過(guò)程- D1設(shè)計(jì)方法- D2實(shí)施技術(shù)- D3評(píng)估技巧- D4實(shí)例系統(tǒng)和案例研究 P項(xiàng)目展示和測(cè)試U2 HCI應(yīng)用領(lǐng)域面向文檔的應(yīng)用-文字處理，文檔格式化， 插圖，電子表格，超文本面向通信的應(yīng)用- email,視頻會(huì)議，電話/聲音 信息系統(tǒng)設(shè)計(jì)開(kāi)發(fā)環(huán)境類(lèi)一開(kāi)發(fā)環(huán)境，CAD/CAM在線幫助和指南

5、多媒體信息亭連續(xù)控制系統(tǒng)-過(guò)程控制系統(tǒng)，虛擬 現(xiàn)實(shí)系統(tǒng)，仿真器， 座艙，視頻游戲嵌入式系統(tǒng)-復(fù)印機(jī)，電梯，消費(fèi) 電子，家用電器（TVs, VCRs,微波爐.）U3人機(jī)適應(yīng)實(shí)現(xiàn)人機(jī)適應(yīng)的可變化技術(shù)手段自適應(yīng)系統(tǒng)的本質(zhì)，適應(yīng)冗余系統(tǒng)的錯(cuò)誤本質(zhì)， 用戶(hù)對(duì)例程改進(jìn)的經(jīng)驗(yàn)發(fā)現(xiàn)，成功系統(tǒng)的關(guān)鍵點(diǎn)系統(tǒng)選擇：系統(tǒng)采用理論系統(tǒng)適應(yīng)：定制與裁剪技術(shù)用戶(hù)選擇：用戶(hù)和系統(tǒng)特性的兼容性用戶(hù)適應(yīng)：易學(xué)習(xí)，訓(xùn)練方法（在線指南），與 系統(tǒng)設(shè)計(jì)的關(guān)系用戶(hù)指導(dǎo)：幫助技術(shù)，文檔，錯(cuò)誤處理技術(shù)H1人類(lèi)信息處理認(rèn)知機(jī)理模型-符號(hào)主義，連接主義，工程模型諸多認(rèn)知過(guò)程的現(xiàn)象和理論-記憶，知覺(jué)，運(yùn)動(dòng)技巧，注意和警惕，問(wèn)題求 解，學(xué)習(xí)和技巧獲

6、得，動(dòng)機(jī)等用戶(hù)的概念模型用戶(hù)行為模型人類(lèi)的多樣性（包括殘障人士）C1輸入和輸出設(shè)備輸入設(shè)備-特定設(shè)備的結(jié)構(gòu)，性能特性，殘障人專(zhuān)用設(shè)備，手寫(xiě), 手勢(shì)，語(yǔ)音輸入，眼動(dòng)跟蹤，其他設(shè)備（如腦電掃描 設(shè)蓄，3D掃#苗儀，其施測(cè)量生物信號(hào)的設(shè)備）輸出設(shè)備-特定設(shè)備的結(jié)構(gòu)，向量式設(shè)備，光柵設(shè)備，幀緩存， 圖像存儲(chǔ)，事件處理，殘障人專(zhuān)用設(shè)備，聲音和語(yǔ)音 輸出，3D顯示器，運(yùn)動(dòng)等等輸入輸出設(shè)備特性-重量，便攜性，帶寬，感覺(jué)模態(tài)虛擬顯示設(shè)備C2對(duì)話技術(shù)對(duì)話輸入-輸入目的類(lèi)型（如選擇，具體參數(shù)指定，連續(xù)控制） -輸入技術(shù) 鍵盤(pán)技術(shù)（e.g, comma nds, menus）基于鼠標(biāo)的技術(shù)（e.g，選擇）基于pen

7、的技術(shù)（e.g.,字符識(shí)別，手勢(shì)等）基于語(yǔ)音的技術(shù)對(duì)話輸出-輸出目的女口：傳達(dá)精確信息，信息摘要，過(guò)程展示，信息可視化 -輸出技術(shù)滾動(dòng)條顯示，窗口，動(dòng)畫(huà)，魚(yú)眼顯示，畫(huà)中畫(huà)等一屏幕布局問(wèn)題焦點(diǎn)，雜亂，視覺(jué)邏輯C2對(duì)話技術(shù)（續(xù)）對(duì)話交互技術(shù)-對(duì)話種類(lèi)和技術(shù)文字技術(shù)，表格填充，菜單選擇，圖標(biāo)和直接操作， 自然語(yǔ)言等-對(duì)話審嘉航和指向，錯(cuò)誤管理-多媒體和非圖形對(duì)話語(yǔ)音輸入/輸出，語(yǔ)音信箱，視頻信箱，主動(dòng)文檔， 視頻磁盤(pán)-智能代理，AI-多人對(duì)話HCI簡(jiǎn)史D4實(shí)例系統(tǒng)和案例研究Why History?讀史使人明智-理解我們從哪里走過(guò)來(lái)的，有助于指明我們繼 續(xù)前進(jìn)的方向！Understanding whe

8、re you've come from can help a lot in figuring out where you're going.-領(lǐng)域知識(shí)意味著對(duì)其歷史的準(zhǔn)確評(píng)價(jià)！ Knowledge of an area implies an appreciation of its history.HCI 范式(Paradigms)里程碑式的理論框架或科學(xué)世界觀-如物理學(xué)上的亞里士多德時(shí)代、牛頓時(shí)代、愛(ài) 因斯坦時(shí)代對(duì)HCI歷史的理解，可以通過(guò)對(duì)計(jì)算機(jī)應(yīng) 用范式變遷的認(rèn)識(shí)來(lái)完成-HCI的歷史，基本上就是計(jì)算機(jī)發(fā)展的歷史！計(jì)算機(jī)的誕生回溯-數(shù)字計(jì)算機(jī)的概念在18世紀(jì)提出-在20世紀(jì)4

9、0年代技術(shù)上稱(chēng)為現(xiàn)實(shí)早期模擬計(jì)算機(jī)一 1943年1月：Mark I,自動(dòng)順序控制計(jì)算機(jī)在美國(guó)研制 成功，被用來(lái)為美國(guó)海軍計(jì)算彈道火力表-1943年12月：Alan Turing參與設(shè)計(jì)制造的最早的可編 程計(jì)算機(jī)Colossus在英國(guó)推出，目的是為了破譯德國(guó) 的密碼，每秒能翻譯大約5000個(gè)字符ENIAC, 1946開(kāi)始研制于1943年，完成于1946年2月15日一 Electronic Numerical Integrator A nd Computer 電子 數(shù)字積分計(jì)算機(jī)第一臺(tái)真正意義上的數(shù)字電子計(jì) 算機(jī)-占地面積170平方米，30個(gè)操作臺(tái)，約相當(dāng)于10間普 通房間的大小，重達(dá)30噸，耗電

10、量150千瓦，造價(jià)48 萬(wàn)美元。它使用18000個(gè)電子管，70000個(gè)電阻， 10000個(gè)電容,1500個(gè)繼電器，6000多個(gè)開(kāi)關(guān)-每秒執(zhí)行5000次加法或400次乘法，是繼電器計(jì)算機(jī) 的1000倍、手工計(jì)算的20萬(wàn)倍-負(fù)責(zé)人是John W. Mauchly和J. Presper EckertENIAC用途：計(jì)算彈道和氫彈的研制。P1: V.Bush & Memex 1945促成了美國(guó)NSF, ARPA等的創(chuàng)立 “As We May Think" - 1945年 Memex device理論模型/概念-能夠存儲(chǔ)所有記錄、文章和通信-內(nèi)存巨大-按索引，關(guān)鍵詞，相互參照獲取信息-

11、相互連接管理（提出的概念非常類(lèi)似 于 Hypertext）Memex 1945P2: J.R. Licklider心理學(xué)家t計(jì)算機(jī)科學(xué)家一 1960年，發(fā)表了 “人機(jī)共生”(“ma rrcomputer symbiosis”)的論文計(jì)算機(jī)如何更好的幫助人做事情-1962年,J.C.R.Licklider和W.CIark 發(fā)表論文On Line Man Computer Communication，討論分布式社 交行為的全球網(wǎng)絡(luò)概念一 Batch processing T time-sharing-Internet先驅(qū)人物之一P3:1.Sutherland & SketchPad 196

12、3 SketchPad"編程”系統(tǒng)-信息論先驅(qū)Shannon的學(xué)生一 1963 PhD thesis at MIT-1988 Turing Award-可以通過(guò)使用手持物體（如光 筆）直接在顯示屏幕上創(chuàng)建圖 形圖像?？梢暤膱D樣隨即被存 入計(jì)算機(jī)內(nèi)存，它們可以被重 新調(diào)用，并同其他數(shù)據(jù)一樣可 以進(jìn)行后期的處理。-CAD先驅(qū)，后期致力于設(shè)計(jì)頭 盔式3D顯示器（1967年開(kāi)始）P3: Ivan Sutherland Sketchpad是第一個(gè)可以在顯示屏幕上直 接構(gòu)造圖形圖像的系統(tǒng)，不用再通過(guò)鍵盤(pán) 向計(jì)算機(jī)輸入代碼和公式更具革命性的是，它考慮到了在顯示屏幕 上作某些改動(dòng)后，存儲(chǔ)在計(jì)算機(jī)中的

13、信息 可以被改變和更新。 Sketchpad開(kāi)創(chuàng)了計(jì)算機(jī)輔助設(shè)計(jì)的一個(gè) 新領(lǐng)域，即我們所熟知的CAD新的范式:Video Display Units視頻顯示部件VDU- Sutherland's Sketchpad是里程碑式的系統(tǒng) -計(jì)算機(jī)從此可以用于信息可視化和數(shù)據(jù)操作之前：主要用于數(shù)據(jù)計(jì)算P4: Douglas Engelbart道格拉斯恩格爾巴特“人機(jī)交互”大師-因發(fā)明鼠標(biāo)而聞名，鼠標(biāo)最初的名字：顯示系統(tǒng)的X-Y位置指示器（19637965）P4: Douglas Engelbart鼠標(biāo)器只不過(guò)是他所有成果中的一個(gè)小發(fā)明。但 他提出的那些氣魄輝宏的計(jì)算機(jī)理論卻遠(yuǎn)遠(yuǎn)不及 他發(fā)明的鼠

14、標(biāo)器廣為世人所知曉-發(fā)明涉及視窗、文字處理系統(tǒng)、在線呼叫集成系統(tǒng)、 共享屏幕的遠(yuǎn)程會(huì)議、超媒體、電腦交互輸入設(shè)備、 群件，層次超文本，多媒體，鼠標(biāo)20世紀(jì)60年代初，他就發(fā)表了一篇題為放大人 類(lèi)智力(Augmenting the Human Intellect)的文 章，提出了把計(jì)算機(jī)作為人類(lèi)智慧放大器的觀點(diǎn)1997年，ACM圖靈獎(jiǎng)P5: Alan Kay最早的圖形用戶(hù)界面(GUI)電腦Alto -在施樂(lè)PARC,與同事構(gòu)建了Alto, 成為M acintosh和Windows的先驅(qū) 2003年度圖靈獎(jiǎng)得主(for OOP)-發(fā)明了 “Object Oriented”這個(gè)術(shù)語(yǔ)，第一個(gè)完全面向?qū)?/p>

15、象的動(dòng)態(tài)計(jì)算機(jī)程序設(shè)計(jì)語(yǔ)言Smalltalk的發(fā)明者 Smalltalk源自Alan Kay “使用一組獨(dú)立的互相通信的對(duì)象來(lái) 解決問(wèn)題”的思想，它可以說(shuō)是目前主流語(yǔ)言C+, Java和 C#的刖身O 1972年，他來(lái)到施樂(lè)PARC,開(kāi)始將Smalltalk作為一種兒童 教育工具P5: Alan Kay個(gè)人計(jì)算之父- 1968年，提出Dynabook設(shè)想 “ Notebook sized computer loaded withmultimedia and can store everything"將是一款如同書(shū)籍般，既為可攜式且具互動(dòng)功能的 多媒體個(gè)人式電腦，它的主要規(guī)格如下：1.

16、 大小如A4紙張之易攜帶；2. 顯示器的解析度必須優(yōu)于報(bào)紙文字；3. 必須具有聲音輸入的功能且易操作；必須能夠網(wǎng)路化和作無(wú)線通訊新的范式：個(gè)人計(jì)算因易于使用而更強(qiáng)大小而強(qiáng)大的計(jì)算機(jī)器為個(gè)人用戶(hù)而做互聯(lián)和分時(shí)的重要性先驅(qū)者一 Kay5s Dynabook, 196J-IBM PC, 1970年代文本和命令方式具有GIN的PC Xerox PARC id 19705s-AltoBravo WYSIWYG文本編輯. BravoX Microsoft Word的祖先.Laurel電子郵件.Neptune磁盤(pán)文件管理. Press文件打印.Sil畫(huà)圖程序.Xerox Star -1981第一臺(tái)為商務(wù)應(yīng)用

17、設(shè)計(jì)的商用pc一具有了桌面電腦的主要特征 Pointing, WYSIWYG, high degree of consistency and simplicity采用了可用性工程方法-有原型設(shè)計(jì)和分析-好用性測(cè)試，迭代式的改進(jìn)Xerox Star天才的概念，商業(yè)失敗-$15k cost一 Closed architecture一 Lacking key functionality1981 IBM PC1981年8月120, IBM正式發(fā)布了歷史上第一臺(tái)PC,從此人類(lèi)就進(jìn)入了個(gè)人電腦時(shí)代！ IBM PC 改變了我們的生活和工作方式-IBM PC之父：埃斯特利奇，13人小組Apple Lisa -

18、 Based on ideas of Star更加個(gè)人化，而不全是 辦公工具- LisaWrite:字處理-LisaCalc:表格-LisaGraph:圖形-LisaList:規(guī)劃管理工具-LisaProject:項(xiàng)目計(jì)劃-LisaDraw:繪圖程序LisaTerminal:現(xiàn)代通信軟件 失敗©1982"MM"tua Fz&fffogy2 fdiftt 16 :曲 m Er!.14 trodwnfcUisic18 bold/ itciticf?4 minrM*W：MrvMGrapturs1?4FI1 I討Apple Macintosh -1984并非先驅(qū)，

19、但非常聰明的拷貝一 Not trailblazer, smart copier 優(yōu)點(diǎn)一 Aggressive pricing $2500-界面友好-支持第三方應(yīng)用-高質(zhì)量圖像和激光打印-高質(zhì)量的應(yīng)用系統(tǒng)，MacWritev Mac Draw 一新的應(yīng)用：Pagemaker, Word, Excel新的HCI范式：WIMP Windows, Icons, Menus, Pointers-并行操作 Can do several things simultaneously-圖形用戶(hù)界面實(shí)例Xerox Alto, Star; early ApplesP6: Ben ShneidermanDr. Shn

20、eiderman的著作有軟件心理學(xué)：計(jì)算機(jī)和信息系統(tǒng)中的人類(lèi)要素,1980-發(fā)明了直接操作DM (Direct Manipulation)概念在1983年首次設(shè)計(jì)了選中條目點(diǎn)擊轉(zhuǎn)到另一頁(yè)的方法創(chuàng)立并任馬里蘭大學(xué)HCI實(shí)驗(yàn)室主任新的范式：直接操作Direct Manipulation直接操作的特點(diǎn)-對(duì)象可見(jiàn)-漸進(jìn)動(dòng)作和快速反饋-可逆性鼓勵(lì)探索-使用動(dòng)作代替語(yǔ)言-對(duì)動(dòng)作進(jìn)行句法修正一 WYSIWYGWhat You See Is What You Get.P7: Donald A. Normar20世紀(jì)60年代他就是一流的認(rèn)知心理學(xué)家，是認(rèn) 知科學(xué)的開(kāi)拓者之一發(fā)展了HCI應(yīng)用科學(xué)，涉 及到認(rèn)知學(xué)、

21、工程和;殳計(jì)，在HCI方面做出了大 量創(chuàng)造性的成就，提出的“以人為中心的設(shè)計(jì)” 概念。 “Design of Everyday Things55-已成了設(shè)計(jì)人員的必備，以人迦本，可用性、易用性， 還有情感影響，新的理念指導(dǎo)薯很多白勺設(shè)計(jì) Emotional Design: Why we love (or hate) everyday things情感化設(shè)計(jì)-強(qiáng)調(diào)情感在產(chǎn)品設(shè)計(jì)中的重要作用新的范式：多模態(tài)用戶(hù)界面模態(tài)是人類(lèi)交流的通道-不僅僅是感官例如：語(yǔ)音（聽(tīng)覺(jué)通道）和唇讀（視覺(jué)通道）多模態(tài)融合-多通道同時(shí)使用共同協(xié)作完成輸入/輸出功能新的范式：HypertextP8: Ted Nelson H

22、ypertext （超文本）5 hypermedia （超媒 體）等概念的（合作）提出者新的范式：Hypertext WWW, 1993超文本-將信息看作互聯(lián)的節(jié)點(diǎn)，而不是線性流 Think of information not as linear flow but as interconnected nodes源頭一 Nelson's hypertext-Bush's MEMEX非線性的瀏覽結(jié)構(gòu)一 Non-linear browsing structure新的范式：Hypertext麴臍需欝境闢翩在一起。P9: Mark Weiser提出普適計(jì)算是21世紀(jì)的計(jì)算模式一 Mar

23、k Weiser于 1988年在Xerox PARC的 計(jì)算機(jī)科學(xué)實(shí)驗(yàn)室首次提出了這個(gè)概念-無(wú)處不在的計(jì)算描述了具有豐富計(jì)算資源和通信能力 的人和環(huán)境之間關(guān)系的場(chǎng)景，能夠在需要的何時(shí)何地*不見(jiàn)的仆人”1還提出了乃寧?kù)o技術(shù)calm technology55的概念-充分利用人體豐富多彩的感知和動(dòng)作器官，以及人們 與日常物理世界打交道時(shí)所形成的自然交互技能來(lái)獲 得計(jì)算機(jī)提供的服務(wù)人機(jī)自然交互技術(shù)HCI簡(jiǎn)史人適應(yīng)計(jì)算機(jī)的歷史！-1960年代一70年代：鍵盤(pán)，字符界面-1980年代一90年代：鼠標(biāo)，圖形界面目前-仍然以鼠標(biāo)，圖形界面為主，書(shū)寫(xiě)、聽(tīng)覺(jué)等為輔未來(lái)計(jì)算機(jī)適應(yīng)人的未來(lái)！-到2015年左右，我們會(huì)

24、如何使用計(jì)算機(jī)？下一代自然人機(jī)界面會(huì)是什么？需要大家的想象力！人們對(duì)于現(xiàn)存的人機(jī)交互方式并不滿(mǎn)足，因?yàn)槿伺c 人的交互不是通過(guò)人手操作來(lái)實(shí)現(xiàn)的，而是通過(guò)聽(tīng)覺(jué)與 視覺(jué)以語(yǔ)言、表情、手勢(shì)和體勢(shì)進(jìn)行的。人們期望新一 代的人機(jī)交互能像人與人交互那樣自然、準(zhǔn)確和快捷。 于是在20世紀(jì)90舉代人機(jī)交互的研究進(jìn)到了多模態(tài)的階 段，稱(chēng)為人機(jī)自然交互(Human-Computer Nature lnteraction3HCNIcHuman-Machine Nature Interaction， HMNI)O人機(jī)自然交互與前幾代人機(jī)交互的方式有本質(zhì)上的差 別，這是一種人機(jī)交互的革命，是擺脫人手操作，賦予 勢(shì)單以智能，通過(guò)聽(tīng)覺(jué)和視覺(jué)通道來(lái)實(shí)現(xiàn)的新一代交互2機(jī)自然交互的基本特征是只動(dòng)嘴不動(dòng)手，賦予計(jì)算 機(jī)聽(tīng)覺(jué)與視覺(jué)智能，使計(jì)算機(jī)能認(rèn)識(shí)交互的對(duì)象，理解 以語(yǔ)言形式表達(dá)的說(shuō)話內(nèi)脊，理解交互對(duì)象的情感-按 人的要求去做，或回答人鍵出的問(wèn)題，達(dá)到交互的自的。主要功能-識(shí)別交互對(duì)象，即知道在與誰(shuí)對(duì)話，以稱(chēng)為說(shuō)話人識(shí)別，這可以由視覺(jué)和聽(tīng)覺(jué)信息通道獲取的知識(shí)中進(jìn)行識(shí)別和判斷;-要理解對(duì)話的內(nèi)容，以便執(zhí)行人發(fā)出的指令，或回答 人提出的問(wèn)題，這是主要由聽(tīng)覺(jué)信息通道獲取知識(shí)， 但由于語(yǔ)言本身是雙模態(tài)的，由視覺(jué)信息通道獲取的 唇動(dòng)知識(shí)對(duì)某些語(yǔ)音識(shí)別是非常重要的；-蠶解鬍勰籍蟲(chóng)評(píng)于理解對(duì)方的對(duì)話內(nèi)容'