淺談人機自然交互技術(shù)

淺談人機自然交互技術(shù)摘要:隨著人類社會和虛擬現(xiàn)實技術(shù)的發(fā)展，我們需要一種更簡便智能的交流，于是有了人機交互技術(shù)的產(chǎn)生。本文首先介紹了人機自然交互技術(shù)的概念和發(fā)展歷史，分析了其和其他學(xué)科之間相互滲透的關(guān)系，還論述了人機交互技術(shù)的研究內(nèi)容。此外還展望了它的未來發(fā)展方向。關(guān)鍵字：人機交互；人機自然交互技術(shù)；自然和諧TheDiscussionoftheNaturalMan-machineInteractionTechnologyHuaxiaoling（11110842194）WenzhouUniversityABSTRACT:Withthehumansocietyandthedevelopmentofvirtualrealitytechnology,weneedamoreconvenientintelligentcommunication,sothetechnologyofman-machineinteractionareproduced.Thispaperintroducesthenaturalman-machineinteractiontechnologyconceptanddevelopmenthistoryfirstly,analyzesitsandotherdisciplinesrelationship,andalsodiscussestheresearchcontentofhuman-computerinteractiontechnology.Inadditionprospectsitsfuturedevelopmentdirection.KEYWORD:Human-computerInteraction;NaturalMan-machineInteractionTechnology;NaturalHarmony1引言隨著技術(shù)的飛速發(fā)展，人們在自然語言理解、多通道交互、筆式交互以及智能用戶等方面開展了很多工作。由于計算機科學(xué)發(fā)展水平的限制，在計算機和人類之間還存在著一條鴻溝。人們對于現(xiàn)存的人機交互方式并不滿足，并且人與人的交互不是通過忍受操作來實現(xiàn)的，而是通過聽覺與視覺以語言、表情、手勢和體勢進(jìn)行的。人們期望新一代的人機交互能像人與人交互那樣自然、準(zhǔn)備和快捷。于是在20世紀(jì)90年代人機交互的研究進(jìn)到了多模態(tài)的階段，稱為人機自然交互。人機交互（Human-ComputerInteraction,簡稱HCI）就是連接人和計算機的橋梁，它使人和機器的關(guān)系從“人圍著極其轉(zhuǎn)”向“機器圍著人轉(zhuǎn)”的方向發(fā)展。2人機交互簡介2.1人機交互的概念人機交互技術(shù)(Human-ComputerInteractionTechniques簡稱HCI)是指通過計算機輸入、輸出設(shè)備，通過有效的方式實現(xiàn)人與計算機對話的技術(shù)。HCI是關(guān)于設(shè)計、評價和實現(xiàn)供人們使用的交互式計算機系統(tǒng)，且圍繞這些方面主要現(xiàn)象進(jìn)行研究的科學(xué)；是研究人與計算機之間通過相互理解的交流與通信，在最大程度上為人們完成信息管理，服務(wù)和處理等功能，使計算機真正成為人們工作學(xué)習(xí)的和諧助手的一門技術(shù)科學(xué)。它包括機器通過輸出或顯示設(shè)備給人提供大量有關(guān)信息及提示請示等，及其人通過輸入設(shè)備給機器發(fā)出命令、回答問題等。簡單地說，“交互”，就是指人與設(shè)備、系統(tǒng)、網(wǎng)站等的直接或間接的通信過程。人機交互涉及到計算機科學(xué)技術(shù)、心理學(xué)、社會學(xué)、人機工程學(xué)、工業(yè)設(shè)計以及語言學(xué)等多門學(xué)科[1]。其前景可通過DanR.Olsen(CMC)得到體現(xiàn)：“HCI是未來的計算機科學(xué)。我們已經(jīng)花費了至少50年的時間來學(xué)習(xí)如何制造計算機以及如何編寫計算機程序。下一個新領(lǐng)域自然是讓計算機服務(wù)并適應(yīng)于人類的需要，而不是強近人類去適應(yīng)計算機?！币簿褪钦f人機交互技術(shù)能真正實現(xiàn)人機融合，體現(xiàn)出以人為本的理念。2.2人機交互的發(fā)展歷史人機交互作為計算機系統(tǒng)的一個重要組成部分，人機交互一直伴隨著計算機的發(fā)展而發(fā)展。人機交互的發(fā)展過程，也是人適應(yīng)計算機到計算機不斷地適應(yīng)人的發(fā)展過程。從計算機的誕生之日起，人機交互技術(shù)的發(fā)展已經(jīng)經(jīng)歷了三個階段：2.2.1語言命令交互階段早期的人機交互是通過命令語言進(jìn)行的，人機之間通過語言中的輸入輸出功能完成交互。最初，人機交互的方式是采用手工操作輸入機器語言指令（二進(jìn)制機器代碼）來控制計算機。這一階段所使用的主要交互工具是鍵盤及字符顯示器，交互的內(nèi)容主要有字符、文本和命令，交互過程顯得呆板和單調(diào)。這種形式很不符合人的習(xí)慣，既耗費時間，又容易出錯，只有非常專業(yè)的專家才能做到。后來，出現(xiàn)了FORTRAN、PASCAL、COBOL等語言，使人們可以用比較習(xí)慣的符號形式描述計算過程，交互操作由受過一定訓(xùn)練的程序員即可完成。這一時期，程序員可采用批處理作業(yè)語言或交互命令語言的方式和計算機打交道，雖然要記憶許多命令和熟練地敲鍵盤，但已可用較方便的手段來調(diào)試程序、了解計算機執(zhí)行情況。60年代中期，命令行界面（CommandLineInterface，CLI）開始出現(xiàn)（如圖1），通過這種人機界面，人們可以通過問答式對話、文本菜單或命令語言等方式來進(jìn)行人機交互。命令行界面可以看作第一代人機界面。在這種界面中，人被看成操作員，機器只做出被動的反應(yīng)，人只能用手操作鍵盤的方式輸入數(shù)據(jù)和命令信息，界面輸出只能為靜態(tài)字符。因此，這種人機界面交互的自然性較差。圖圖1命令行界面概念模型2.2.2圖形用戶界面（GUI）交互階段70年代施樂公司在Alto計算機上首次開發(fā)了位映像圖形顯示技術(shù)，為開發(fā)可重疊窗口、彈出式菜單、菜單條等提供了可能。這些工作奠定了目前圖形用戶界面的基礎(chǔ)，形成了以窗口（Windows）、圖標(biāo)（Icon）、菜單（Menu）和指點裝置（PointingDevice）為基礎(chǔ)的第二代人機界面，即WIMP界面。圖形用戶界面（GraphicalUserInterface，GUI）的出現(xiàn)，使人機交互方式發(fā)生了巨大變化。GUI的主要特點是桌面隱喻、WIMP(Windows、Icon、Menu、PointingDevice)技術(shù)、直接操縱和“所見即所得（WhatYouSeeIsWhatYouGet，WYSIWYG）”。GUI技術(shù)的起源可以追溯到60年代美國麻省理工學(xué)院的Sutherland(計算機圖形學(xué)的奠基人)的工作。其發(fā)明的Sketchpad首次引入了菜單、不可重疊的瓦片式窗口、圖標(biāo)，并采用光筆進(jìn)行繪圖操作。圖圖2WIMP界面概念模型這一階段所使用的主演交互工具為鼠標(biāo)及圖形顯示器，交互的內(nèi)容主要有字符、圖形和圖像。70年代發(fā)明的鼠標(biāo)極大地改善了人機之間的交互方式。應(yīng)該說，鼠標(biāo)和窗口系統(tǒng)的出現(xiàn)是人機交互技術(shù)發(fā)展史上的一次技術(shù)革命。與命令行界面相比，圖形用戶界面的人機交互自然性和效率都有較大的提高。圖形用戶界面很大程度上依賴于菜單選擇和交互小組件（Widget）。經(jīng)常使用的命令大都通過鼠標(biāo)來實現(xiàn)。鼠標(biāo)驅(qū)動的人機界面使得初學(xué)者易于使用，但重復(fù)性的菜單選擇會給有經(jīng)驗的用戶造成不方便，他們有時傾向使用命令鍵而不是選擇菜單，且在輸入信息時用戶只能使用手這一種輸入通道。另外，圖形用戶界面需要占用較多的屏幕空間，并且難以表達(dá)和支持非空間性的抽象信息的交互。2.2.3自然和諧的人機交互階段當(dāng)前，虛擬現(xiàn)實、移動計算、普適計算等技術(shù)的飛速發(fā)展，對人機交互技術(shù)提出了新的挑戰(zhàn)和更高的要求，同時也提供了許多新的機遇。在這一階段，自然和諧的人機交互方式得到了一定的發(fā)展?；谡Z音、手寫體、姿勢、視線跟蹤、表情等輸入手段的多通道交互是其主要特點，其目的是使人能以聲音、動作、表情等自然方式進(jìn)行交互操作。在自然和諧的人機交互的發(fā)展過程中，人們除了致力于研究開發(fā)友好的逼真的三維用戶界面，基于聲音、動作、表情等多種通道的自然交互方式，還發(fā)明了大量的新交互設(shè)備，如計算機圖形學(xué)的先驅(qū)、美國麻省理工學(xué)院的Sutherland早在1968年開發(fā)了頭盔式立體顯示器，成為現(xiàn)代虛擬現(xiàn)實技術(shù)的重要基礎(chǔ)。目前，對于人類重要的自然交互方式——語音和筆的交互技術(shù)，包括手寫識別、筆式交互、語音識別、語音合成、數(shù)字墨水（DigitalInk）等，其發(fā)展已經(jīng)有了很大的成效，而人機自然交互的主要包括了多通道用戶界面；智能人機交互；感知人機交互和多媒體人機交互等[2]。圖3多通道人機界面概念模型2.3人機交互與其他學(xué)科的關(guān)系由上述人機交互的概念可知：人機交互與很多學(xué)科密切相關(guān)，而其中，認(rèn)知心理學(xué)與人機工程學(xué)是人機交互技術(shù)的理論基礎(chǔ)，而多媒體技術(shù)和虛擬現(xiàn)實技術(shù)與人機交互技術(shù)相互交叉和滲透，其關(guān)系如圖4所示。多媒體技術(shù)多媒體技術(shù)虛擬現(xiàn)實技術(shù)認(rèn)知心理學(xué)人機工程學(xué)圖4人機交互與其他相關(guān)學(xué)科的關(guān)系人機交互技術(shù)2.3.1認(rèn)知心理學(xué)認(rèn)知心理學(xué)（CognitivePsychology）是20世紀(jì)50年代中期在西方興起的一種心理學(xué)思潮，在20世紀(jì)70年代成為西方心理學(xué)的一個主要研究方向。它研究人的高級心理過程，主要是認(rèn)識過程，如注意、知覺、表象、記憶、思維和語言等，從心理學(xué)的觀點研究人機交互的原理[3]。該領(lǐng)域研究包括如何通過視覺、聽覺等接受和理解來自周圍環(huán)境的信息的感知過程，以及通過人腦進(jìn)行記憶、思維、推理、學(xué)習(xí)和解決問題等人的心理活動的認(rèn)識過程。其中人腦的認(rèn)知模型——神經(jīng)元網(wǎng)絡(luò)及其模型，已經(jīng)成為新一代計算機、人工智能等領(lǐng)域中最熱門的研究課題之一。認(rèn)知心理學(xué)在人機界面設(shè)計方面具有非常重要作用，是人機交互技術(shù)的重要理論基礎(chǔ)。2.3.2人機工程學(xué)人機工程學(xué)是運用生理學(xué)、心理學(xué)和醫(yī)學(xué)等有關(guān)知識，研究人、機器、環(huán)境相互間的合理關(guān)系，以保證人們安全、健康、舒適地工作，從而提高整個系統(tǒng)工效的新興邊緣科學(xué)。在人機界面學(xué)處于初創(chuàng)和奠基階段的時候，人機工程學(xué)是最活躍、最主要的分支，曾經(jīng)對人機界面學(xué)的發(fā)展做出過很大的貢獻(xiàn)。經(jīng)典的人機工程學(xué)稱為硬件人機工程學(xué)，主要集中在對人體能力、人體限制及其他與設(shè)計相關(guān)的人體特性信息的應(yīng)用，以滿足設(shè)計、分析、測試與評價、標(biāo)準(zhǔn)化，以及系統(tǒng)控制的要求。軟件人機工程學(xué)（SoftwareErgonomics）研究軟件和軟件界面，側(cè)重于運用和擴充軟件工程的理論和原理，對軟件人機界面進(jìn)行分析、描述、設(shè)計和評估等。主要解決有關(guān)人類思維與信息處理的有關(guān)問題，包括設(shè)計理論、標(biāo)準(zhǔn)化、增強軟件的可用性的方法等，使軟件（計算機）與人的對話能夠滿足人的思維模式與數(shù)據(jù)處理的要求，實現(xiàn)軟件的高可用性。同認(rèn)知心理學(xué)一樣，人機工程學(xué)也是人機交互技術(shù)的重要理論基礎(chǔ)。2.3.3多媒體技術(shù)一般的，多媒體技術(shù)是指將正文、聲音、圖形、靜止圖像、動態(tài)圖像等與計算集成在一起的技術(shù)。多媒體技術(shù)通過引入動畫、音頻、視頻等動態(tài)媒體，大大豐富了計算機表現(xiàn)信息的形式，拓寬了計算機輸出的帶寬，提高了用戶接受信息的效率，使人們可以得到更直觀的信息，從而簡化了用戶的操作，擴展了應(yīng)用范圍。多媒體信息在人機交互中的巨大潛力主要在于它能提高人對信息表現(xiàn)形式的選擇和控制能力，同時也能提高信息表現(xiàn)形式與人的邏輯和創(chuàng)造能力的結(jié)合程度，在串行、符號信息以及并行、聯(lián)想信息方面擴展人的信息處理能力。另外，由于多媒體所帶來的信息冗余性，重復(fù)使用別的媒體或并行使用多種媒體可消除人機通信過程中的多義性及噪聲。多媒體技術(shù)豐富了信息的表現(xiàn)形式，不過目前多媒體技術(shù)的研究基本上限于信息的存儲和傳輸方面，而對于媒體信息理解的研究并不充分。與人工智能技術(shù)結(jié)合，開展媒體理解和推理研究將改變這種現(xiàn)狀。它對用戶的原始輸入在較高的層次上進(jìn)行解釋、分析和綜合，提取語義內(nèi)容，達(dá)到對用戶的某種理解。然后，從較高的表現(xiàn)層次上傳達(dá)給用戶最恰當(dāng)?shù)姆答仯鼈?cè)重于信息的理解和解釋。而多媒體系統(tǒng)則側(cè)重于信息的表現(xiàn)，表現(xiàn)為在計算機的控制下產(chǎn)生、操縱、表現(xiàn)、存儲和傳送—些獨立的信息，這些信息至少是通過一種連續(xù)或離散媒體進(jìn)行編碼的。2.3.4虛擬現(xiàn)實技術(shù)目前，人們除了致力于研究開發(fā)友好的用戶界面，還發(fā)明了大量的三維交互設(shè)備，如立體眼鏡、WorkBench、頭盔式顯示器、洞穴式立體顯示器（CAVE）、墻式大屏幕立體顯示器、數(shù)據(jù)服裝、位置跟蹤器、眼動跟蹤器、觸覺和力反饋裝置、三維掃描設(shè)備、三維鼠標(biāo)、三維跟蹤球、三維游戲桿、數(shù)據(jù)手套等[3]。虛擬現(xiàn)實中的交互是虛擬現(xiàn)實核心研究內(nèi)容之一，但人機交互并不是虛擬現(xiàn)實的全部，復(fù)雜場景的建模、繪制等技術(shù)，也是虛擬現(xiàn)實非常重要的研究內(nèi)容。虛擬現(xiàn)實為人機交互的研究提供了很好的契機和媒介，但并不是唯一的媒介，手機、PDA、筆記本電腦等移動設(shè)備，也需要更方便、快捷、人性化的交互手段。3人機交互的研究內(nèi)容人機交互的研究內(nèi)容十分廣泛，涵蓋了建模、設(shè)計、評估等理論和方法以及在Web、移動計算、虛擬現(xiàn)實等方面的應(yīng)用研究與開發(fā)，主要包括：3.1人機交互界面表示模型與設(shè)計方法（ModelandMethodology）為了設(shè)計人機交互界面模型，首先我們的了解何為人機交互的要素，人機交互技術(shù)主要由人的因素、交互設(shè)備和交互軟件三方面組成。人機交互技術(shù)又可分為精確人機交互技術(shù)和非精確交互技術(shù)。前者是指：能完全地說明人—機交互的目的，系統(tǒng)能精確地確定用戶的輸入、鍵盤、鼠標(biāo)、觸摸屏都是能精確交互設(shè)備。后者的方法有語音、姿勢、頭部追蹤等。人機交互界面作為計算機系統(tǒng)的一個重要組成部分，是計算機科學(xué)、認(rèn)知心理學(xué)等的交叉研究領(lǐng)域。人機交互界面也叫用戶界面，在人機系統(tǒng)中的位置是負(fù)責(zé)管理計算機的輸入和輸出，它決定了人們使用計算機的方式[4]。3.2可用性分析與評估（UsabilityandEvaluation）可用性是人機交互系統(tǒng)的重要內(nèi)容，它關(guān)系到人機交互能否達(dá)到用戶期待的目標(biāo)，以及實現(xiàn)這一目標(biāo)的效率與便捷性。人機交互系統(tǒng)的可用性分析與評估的研究主要涉及到支持可用性的設(shè)計原則和可用性的評估方法等。3.3多通道交互技術(shù)（Multi-Modal）在多通道交互中，用戶可以使用語音、手勢、眼神、表情等自然的交互方式與計算機系統(tǒng)進(jìn)行通信。多通道交互主要研究多通道交互界面的表示模型、多通道交互界面的評估方法以及多通道信息的融合等。通道包括人表達(dá)意圖，執(zhí)行動作和感知反饋信息的各種通信方法。3.4認(rèn)知與智能用戶界面（RecognitionandIntelligentUserInterface）智能用戶界面（IntelligentUserInterface，IUI）的最終目標(biāo)是使人機交互和人－人交互一樣自然、方便。上下文感知、眼動跟蹤、手勢識別、三維輸入、語音識別、表情識別、手寫識別、自然語言理解等都是認(rèn)知與智能用戶界面需要解決的重要問題。3.5虛擬環(huán)境（VirtualEnvironment）中的人機交互“以人為本”的、自然和諧的人機交互理論和方法是虛擬現(xiàn)實的主要研究內(nèi)容之一。通過研究視覺、聽覺、觸覺等多通道信息融合的理論和方法、協(xié)同交互技術(shù)以及三維交互技術(shù)等，建立具有高度真實感的虛擬環(huán)境，使人產(chǎn)生“身臨其境”的感覺[6]。3.6Web設(shè)計（Web-Interaction）重點研究Web界面的信息交互模型和結(jié)構(gòu)，Web界面設(shè)計的基本思想和原則，Web界面設(shè)計的工具和技術(shù)，以及Web界面設(shè)計的可用性分析與評估方法等內(nèi)容。3.7移動界面設(shè)計（MobileandUbicomp）移動計算（MobileComputing）、普適計算（UbiquitousComputing）等對人機交互技術(shù)提出了更高的要求，面向移動應(yīng)用的界面設(shè)計問題已成為人機交互技術(shù)研究的一個重要應(yīng)用領(lǐng)域。針對移動設(shè)備的便攜性、位置不固定性和計算能力有限性以及無線網(wǎng)絡(luò)的低帶寬高延遲等諸多的限制，研究移動界面的設(shè)計方法，移動界面可用性與評估原則，移動界面導(dǎo)航技術(shù)，以及移動界面的實現(xiàn)技術(shù)和開發(fā)工具，是當(dāng)前的人機交互技術(shù)的研究熱點之一。其中普適計算也稱為無所不在的計算，它所追求的目標(biāo)是無所不在的信息訪問和信息服務(wù)，它的物質(zhì)基礎(chǔ)是無處不在的設(shè)備和無所不在的網(wǎng)絡(luò)連接。3.8群件（Groupware）群件是指幫助群組協(xié)同工作的計算機支持的協(xié)作環(huán)境，主要涉及個人或群組間的信息傳遞、群組中的信息共享、業(yè)務(wù)過程自動化與協(xié)調(diào)，以及人和過程之間的交互活動等。目前與人機交互技術(shù)相關(guān)的研究主要包括：群件系統(tǒng)的體系結(jié)構(gòu)、計算機支持交流與共享信息的方式、交流中的決策支持工具、應(yīng)用程序共享以及同步實現(xiàn)方法等內(nèi)容。4發(fā)展趨勢從命令行界面發(fā)展到WIMP界面，計算機到用戶的輸出帶寬得到大幅提高，但是從用戶到計算機的通信帶寬仍然受到限制，即計算機呈現(xiàn)和加工視覺、聽覺信息的能力與人機交互的能力是不相稱的。這種不相稱來自于硬件的限制和人的交互通道與對象操作間的不匹配。近年來，計算機輸入輸出裝置在數(shù)量和能力上迅速增加，使得這種匹配成為可能。為適應(yīng)目前和未來計算機系統(tǒng)的要求，人們開始探索各種非傳統(tǒng)的用戶界面從90年代初開始，研究者們將研究的焦點重新聚集到下一代用戶界面的研究上，并且提出了人機自然交互的模型[6]。在未來的計算機系統(tǒng)中，將更加強調(diào)“以人為本”、“自然、和諧”的交互方式，以實現(xiàn)人機高效合作。4.1集成化人機交互將呈現(xiàn)出多樣化、多通道交互的特點。桌面和非桌面界面，可見和不可見界面，二維與三維輸入，直接與間接操縱，語音、手勢、表情、眼動、唇動、頭動、肢體姿勢、觸覺、嗅覺、味覺以及鍵盤、鼠標(biāo)等交互手段將集成在一起，是新一代自然、高效的交互技術(shù)的一個發(fā)展方向。4.2網(wǎng)絡(luò)化無線互聯(lián)網(wǎng)、移動通信網(wǎng)的快速發(fā)展，對人機交互技術(shù)提出了更高的要求。新一代的人機交互技術(shù)需要考慮在不同設(shè)備、不同網(wǎng)絡(luò)、不同平臺之間的無縫過渡和擴展，支持人們通過跨地域的網(wǎng)絡(luò)（有線與無線、電信網(wǎng)與互聯(lián)網(wǎng)等）在世界上任何地方用多種簡單的自然方式進(jìn)行人機交互，而且包括支持多個用戶之間以協(xié)作的方式進(jìn)行交互。另外，網(wǎng)格技術(shù)的發(fā)展也為人機交互技術(shù)的發(fā)展提供了很好的機遇。4.3智能化目前，用戶使用鍵盤和鼠標(biāo)等設(shè)備進(jìn)行的交互輸入都是精確的輸入，但人們的動作或思想等往往并不很精確，人類語言本身也具有高度模糊性，人們在生活中常常習(xí)慣于使用大量的非精確的信息交流。因此，在人機交互中，使計算機更好地自動捕捉人的姿態(tài)、手勢、語音和上下文等信息，了解人的意圖，并做出合適的反饋