人工智能時(shí)代數(shù)字圖書館智能化人機(jī)交互技術(shù)分析

1、PAGE PAGE - 19 -人工智能時(shí)代數(shù)字圖書館智能化人機(jī)交互技術(shù)分析人機(jī)交互技術(shù)是人工智能時(shí)代數(shù)字圖書館領(lǐng)域的重要研究內(nèi)容，也是古代南海海圖數(shù)字圖書館構(gòu)建的關(guān)鍵技術(shù)之一。文章分析了人工智能時(shí)代數(shù)字圖書館所面臨的挑戰(zhàn)與機(jī)遇，探討了數(shù)字圖書館人機(jī)交互技術(shù)的發(fā)展過程及研究現(xiàn)狀，分別從人機(jī)交互用戶界面、智能設(shè)施、智能技術(shù)與智能環(huán)境等構(gòu)建了數(shù)字圖書館智能化人機(jī)交互技術(shù)體系，最后以我國古代南海海圖數(shù)字圖書館為例，對其智能化人機(jī)交互應(yīng)用進(jìn)行了實(shí)證研究。研究結(jié)果發(fā)現(xiàn)，數(shù)字圖書館的智能化人機(jī)交互技術(shù)體系可通過自然、智能的信息隱喻方式，將用戶心理、行為及狀態(tài)(輸入)與數(shù)字圖書館所擁有的信息、知識(shí)(輸出)轉(zhuǎn)

2、換成彼此理解的關(guān)聯(lián)知識(shí)，從而實(shí)現(xiàn)自然、靈活和智能的人機(jī)交互。1 引言未來的人工智能時(shí)代將是人機(jī)交互、人機(jī)相互依存的社會(huì)1。人工智能理論與技術(shù)的爆發(fā)及其在諸多領(lǐng)域、行業(yè)中的成功應(yīng)用，再次引發(fā)了圖書館對各種先進(jìn)信息技術(shù)全方位、多元化地為用戶提供智慧服務(wù)的美好憧憬。隨著移動(dòng)互聯(lián)網(wǎng)、人工智能與虛擬現(xiàn)實(shí)等信息技術(shù)迅速滲透進(jìn)圖書館各個(gè)領(lǐng)域，人機(jī)交互也變得無時(shí)、無刻、無處不在。移動(dòng)互聯(lián)網(wǎng)、移動(dòng)智能終端與移動(dòng)應(yīng)用的大眾化讓用戶可隨時(shí)隨地進(jìn)行在線交流；觸屏交互與語音識(shí)別技術(shù)讓各類用戶可無障礙地進(jìn)行人機(jī)交互；虛擬/增強(qiáng)/混合現(xiàn)實(shí)技術(shù)的出現(xiàn)讓用戶可隨時(shí)進(jìn)入知識(shí)虛擬世界；人工智能技術(shù)讓圖書館能夠更好地掌握和理解用戶意

3、圖與行為，從而滿足其知識(shí)服務(wù)需求。然而，作為用戶與計(jì)算機(jī)、信息技術(shù)之間的信息交流渠道與橋梁，人機(jī)交互理念作為數(shù)字圖書館以用戶為中心指導(dǎo)系統(tǒng)開發(fā)的方法論，并沒有得到其應(yīng)有的重要關(guān)注與同步發(fā)展，且瓶頸效應(yīng)日趨明顯。追根溯源，主要原因可歸結(jié)為兩個(gè)方面：一是對數(shù)字圖書館人機(jī)交互理論與技術(shù)發(fā)展不夠重視；二是人工智能時(shí)代數(shù)字圖書館知識(shí)服務(wù)情境的變化誕生了新的服務(wù)需求，對其人機(jī)交互技術(shù)提出了新的挑戰(zhàn)2。為迎接即將到來的人工智能時(shí)代的沖擊與挑戰(zhàn)，把握數(shù)字圖書館未來發(fā)展機(jī)遇，實(shí)現(xiàn)其資源、技術(shù)、服務(wù)與用戶智能的協(xié)同發(fā)展，本文首先對數(shù)字圖書館人機(jī)交互技術(shù)的發(fā)展過程進(jìn)行回顧，再重點(diǎn)分析人工智能時(shí)代數(shù)字圖書館智能化人機(jī)

4、交互的技術(shù)體系與技術(shù)內(nèi)容，最后以我國古代南海海洋地圖(以下簡稱為“南海海圖”)為例，對數(shù)字圖書館智能化人機(jī)交互應(yīng)用體系進(jìn)行分析。2 數(shù)字圖書館人機(jī)交互技術(shù)的發(fā)展與研究數(shù)字圖書館人機(jī)交互式技術(shù)是實(shí)現(xiàn)其與用戶之間知識(shí)交互的通道，其研究與發(fā)展歷程主要依賴于人機(jī)交互理論與技術(shù)發(fā)展3。關(guān)于人機(jī)交互理論的提出，最早可追溯至20世紀(jì)50年代末美國學(xué)者Shackel B.4提出的計(jì)算機(jī)人類工程學(xué)理論、60年代初美國麻省理工學(xué)院的約瑟夫利克萊德教授5提出的Man-Computer Close Symbiosis(人機(jī)緊密共生)理論。到60年代末期，英國劍橋大學(xué)舉辦了第一屆人機(jī)系統(tǒng)國際學(xué)術(shù)會(huì)議，隨后創(chuàng)辦了第一份人

5、機(jī)系統(tǒng)研究的學(xué)術(shù)期刊，從而正式拉開了人機(jī)交互研究的帷幕6。進(jìn)入70年代，英國拉夫堡大學(xué)和美國Xerox公司分別成立人機(jī)交互研究中心，隨后學(xué)術(shù)界圍繞該領(lǐng)域逐漸展開了相關(guān)研究，并在70年代和80年代分別出版了4本計(jì)算機(jī)人機(jī)工程學(xué)、6本人機(jī)交互等方面的研究專著。由此，人機(jī)交互研究的基礎(chǔ)理論、技術(shù)體系與應(yīng)用實(shí)踐得到了不斷完善，并逐漸從早期的計(jì)算機(jī)人工工程學(xué)領(lǐng)域脫離出來，與心理學(xué)、行為學(xué)和社會(huì)學(xué)緊密結(jié)合，形成了獨(dú)立的研究領(lǐng)域和學(xué)科。尤其是90年代后期，信息技術(shù)的飛速發(fā)展使人機(jī)交互研究的重點(diǎn)逐漸向虛擬人機(jī)交互、多模態(tài)-多媒體、人機(jī)協(xié)同等方面發(fā)展，并于1999年被美國政府列入21世紀(jì)信息技術(shù)的四個(gè)主要發(fā)展方

6、向之一，2022年更被美國和歐盟列入重點(diǎn)研究計(jì)劃，2022年國際計(jì)算機(jī)學(xué)會(huì)(Association for Computing Machinery，ACM)將人機(jī)交互列為計(jì)算機(jī)學(xué)科主要分支領(lǐng)域7，2022年被中國國家自然科學(xué)基金委“十三五”發(fā)展規(guī)劃列為重點(diǎn)支持方向8。在過去3年中，20多項(xiàng)相關(guān)課題被國家自科、國家社科基金立項(xiàng)資助。在人機(jī)交互領(lǐng)域，也有許多知名高校和研究機(jī)構(gòu)在該領(lǐng)域產(chǎn)生了巨大影響，如中國的清華大學(xué)、北京大學(xué)，美國的麻省理工學(xué)院、斯坦福大學(xué)、卡耐基梅隆大學(xué)等高校，以及中國的中科院軟件所、騰訊研究院、阿里研究院、微軟研究院、谷歌研究院等研究機(jī)構(gòu)。人機(jī)交互理論與技術(shù)的發(fā)展過程，也是數(shù)字

7、圖書館的發(fā)展過程。數(shù)字圖書館與用戶的人機(jī)交互從早期無交互到中期命令語言交互，到后期關(guān)鍵詞與文本交互，再發(fā)展到現(xiàn)在以文本、圖像與音視頻等為主的視覺交互，未來可能會(huì)誕生思維與心理的智能交互。在此發(fā)展過程中，國內(nèi)數(shù)字圖書館領(lǐng)域也對人機(jī)交互理論、技術(shù)與應(yīng)用展開過大量研究?？傮w來看主要分為三個(gè)方面：一是用戶信息交互意愿與行為研究，如王晰巍9、韓正彪10等分別對用戶信息交互意愿影響元素、情感演進(jìn)進(jìn)行了分析；吳丹11、劉暢12等分別對用戶移動(dòng)搜索行為及其影響元素進(jìn)行了研究；二是人機(jī)交互質(zhì)量與評(píng)價(jià)研究，如施國宏等13對移動(dòng)圖書館人機(jī)交互質(zhì)量影響元素進(jìn)行了分析；李月琳14、閆希敏15等分別對數(shù)字圖書館人機(jī)交互理

8、論體系、工具方法和評(píng)估模型進(jìn)行了研究；三是人機(jī)交互技術(shù)與模式研究，如李潔16、李萍17、陸泉18等分別對數(shù)字圖書館的微交互、智能交互、可視化交互平臺(tái)及模式進(jìn)行了研究。盡管目前信息技術(shù)與軟硬件資源已不是障礙，但數(shù)字圖書館人機(jī)交互能力仍難充分滿足人工智能時(shí)代用戶知識(shí)服務(wù)需求，其中一個(gè)重要原因是由于數(shù)字圖書館缺乏與新型人機(jī)交互需求相匹配的、高效的自然人機(jī)交互理念與模式，缺少能滿足人工智能時(shí)代用戶智慧服務(wù)需求的交互技術(shù)。因此，要想實(shí)現(xiàn)人工智能時(shí)代數(shù)字圖書館人機(jī)交互所提出的目標(biāo)與要求，就需要對相應(yīng)的理論與技術(shù)問題進(jìn)行研究。3 人工智能時(shí)代的數(shù)字圖書館智能化人機(jī)交互3.1 數(shù)字圖書館智能化人機(jī)交互技術(shù)體系

9、的框架人機(jī)交互是數(shù)字圖書館的關(guān)鍵技術(shù)之一，對推進(jìn)其廣泛運(yùn)用和提升用戶體驗(yàn)質(zhì)量有較重要的意義。由于信息技術(shù)和相應(yīng)軟硬件技術(shù)的飛速發(fā)展，數(shù)字圖書館人機(jī)交互技術(shù)有了巨大進(jìn)步，但人工智能時(shí)代對其提出了新的挑戰(zhàn)與機(jī)遇，除從傳統(tǒng)的無交互到現(xiàn)在的關(guān)鍵詞、文本交互，更有可能進(jìn)一步創(chuàng)建和體驗(yàn)虛擬空間的數(shù)字圖書館系統(tǒng)，用戶可通過視覺、聽覺、觸覺、嗅覺與感覺等與數(shù)字圖書館之間建立相應(yīng)的人機(jī)交互連接，從而為用戶提供可感知、沉浸式、自然的人機(jī)交互體驗(yàn)。目前關(guān)于不同領(lǐng)域、不同類型數(shù)字圖書館人機(jī)交互的類型與模式有很多，因此有必要對廣泛意義上的數(shù)字圖書館所涉及到的人工智能技術(shù)進(jìn)行梳理。無論信息技術(shù)與外界環(huán)境如何變化，其人機(jī)交

10、互技術(shù)主要探討的是“輸入響應(yīng)輸出”這一系統(tǒng)技術(shù)體系，即用戶是怎樣為數(shù)字圖書館提供信息輸入、數(shù)字圖書館做出響應(yīng)后怎樣提供信息輸出。在功能實(shí)現(xiàn)上主要分為前臺(tái)和后臺(tái)兩部分，其中，前臺(tái)主要用于接受用戶的輸入信息，并根據(jù)處理結(jié)果向用戶反饋和展示相關(guān)的關(guān)聯(lián)信息與知識(shí)；后臺(tái)主要用于處理和分析用戶輸入信息，得到相應(yīng)的結(jié)果19。數(shù)字圖書館人機(jī)交互技術(shù)體系主要體現(xiàn)在其對應(yīng)的前臺(tái)、后臺(tái)。前臺(tái)的人工智能主要體現(xiàn)在可接受復(fù)雜、靈活、多元化和個(gè)性化的信息輸入方式，如語音、視覺、動(dòng)作、心理、腦電波等。后臺(tái)的人工智能主要體現(xiàn)在對用戶輸入信息的智能化處理與分析、知識(shí)資源整合與展示方面，如視覺資源的分析與處理、多模態(tài)資源融合、知

11、識(shí)關(guān)聯(lián)網(wǎng)絡(luò)構(gòu)建等。圍繞上面提到的關(guān)鍵技術(shù)，結(jié)合數(shù)字圖書館智能化人機(jī)交互實(shí)際情況，得出其基本技術(shù)體系，主要包括用戶界面、智能交互設(shè)施、技術(shù)與環(huán)境等(見圖1)。圖1 數(shù)字圖書館智能化人機(jī)交技術(shù)體系3.2 數(shù)字圖書館智能化人機(jī)交互技術(shù)體系的業(yè)務(wù)數(shù)字圖書館人機(jī)交互發(fā)展至今已有30余年，但由于其傳統(tǒng)輸入設(shè)備與方法的局限，人機(jī)交互范式未發(fā)生太大變化，這也使得數(shù)字圖書館人機(jī)交互模式一直被忽視。如今隨著人機(jī)交互理念、思想、人物、事件與范式的不斷演化變遷以及心理學(xué)模型指導(dǎo)下的用戶交互行為模型的不斷優(yōu)化完善，數(shù)字圖書館人機(jī)交互模式正逐漸從傳統(tǒng)走向現(xiàn)代、從單一型走向多元化，其重要性已不亞于信息資源融合與利用，這一模

12、式也已被廣泛應(yīng)用于軍事、航空航天、工業(yè)制造、醫(yī)學(xué)與教育等領(lǐng)域的數(shù)字圖書館中。人機(jī)交互是用戶與數(shù)字圖書館之間信息交流溝通的直接通道，用戶界面則是人機(jī)交互模式搭建與實(shí)施的橋梁。在傳統(tǒng)信息環(huán)境下，人機(jī)交互主要依賴于鍵盤、鼠標(biāo)與顯示器來實(shí)現(xiàn)文本輸入與輸出。但在人工智能時(shí)代，數(shù)字圖書館存在形態(tài)不僅僅局限于傳統(tǒng)基于信息資源聚合模式，而是與虛擬/混合/增強(qiáng)現(xiàn)實(shí)、物聯(lián)網(wǎng)與可穿戴技術(shù)等有效融合在一起所形成的智慧圖書館新模式20。在理想情況下，數(shù)字圖書館人機(jī)交互技術(shù)將不僅僅依賴于機(jī)器、文本語言，而能在沒有鼠標(biāo)、鍵盤等輸入設(shè)備情況下，隨時(shí)隨地實(shí)現(xiàn)人機(jī)交互，但目前受限于信息環(huán)境與物理環(huán)境，這一理想情況較難實(shí)現(xiàn)，但在人

13、工智能時(shí)代，數(shù)字圖書館軟硬件設(shè)施、信息技術(shù)、管理與服務(wù)平臺(tái)逐步完善，將有可能實(shí)現(xiàn)這一目標(biāo)21。智能化人機(jī)交互目標(biāo)是通過自然、靈活和智能的信息隱喻方式，通過用戶交互界面將用戶心理、行為與狀態(tài)(輸入)轉(zhuǎn)換成數(shù)字圖書館能識(shí)別和理解的表達(dá)方法，將數(shù)字圖書館所擁有的信息與知識(shí)、行為與狀態(tài)(輸出)轉(zhuǎn)換成用戶能理解和掌握的知識(shí)體系，并通過人機(jī)交互環(huán)境反饋給用戶。一方面，智能化輸入體系需要感知用戶心理變化、行為姿態(tài)、語言文字或身體動(dòng)作等多模態(tài)多通道的輸入信息；另一方面，智能化輸出體系可通過用戶的聽覺、視覺、嗅覺、觸覺等感知通道，將其所需要的信息與知識(shí)以智能化方式加以展示。近年來所涌現(xiàn)的多語種語音識(shí)別、視覺搜索

14、、情境分析、力觸覺交互、動(dòng)態(tài)手勢識(shí)別、眼動(dòng)交互、觸覺交互等技術(shù)與方法為智能化輸入體系提供了重要理論與技術(shù)支撐，而相應(yīng)的虛擬/增強(qiáng)/混合現(xiàn)實(shí)、數(shù)字孿生、知識(shí)圖譜、知識(shí)地圖等技術(shù)與方法為智能化輸出體系提供了重要理論與技術(shù)支撐。3.3 數(shù)字圖書館智能化人機(jī)交互技術(shù)體系的內(nèi)容人工智能環(huán)境下數(shù)字圖書館智能化人機(jī)交互技術(shù)體系需要解決的是，如何幫助用戶使用最自然、簡單、直觀的交互方式(如動(dòng)作、語言、手勢、肢體、眼動(dòng)等)在人工智能環(huán)境(如虛擬空間、物理世界、知識(shí)環(huán)境與空間環(huán)境等)中與數(shù)字圖書館進(jìn)行自然、高效的人機(jī)交互，即獲取用戶行為與用戶意圖來操控?cái)?shù)字圖書館的知識(shí)服務(wù)虛擬與物理環(huán)境，再通過多元化反饋渠道將相應(yīng)

15、信息與知識(shí)為用戶所感知。3.3.1 人機(jī)交互用戶界面技術(shù)近年來各行各業(yè)出現(xiàn)了各具特色的數(shù)字圖書館，不同領(lǐng)域、行業(yè)的數(shù)字圖書館在傳統(tǒng)基于文本交互的基礎(chǔ)上也擁有了越來越多的智能化人機(jī)交互應(yīng)用。過去只有少量成果走出實(shí)驗(yàn)室并獲得成功的主要原因在于：當(dāng)前相應(yīng)的智能化技術(shù)與設(shè)施還不夠成熟和完善，使得數(shù)字圖書館研究者難以充分實(shí)現(xiàn)其先進(jìn)服務(wù)理念與思想；沒有充分考慮用戶行為與用戶心理22。隨著人工智能環(huán)境的逐步完善，各種先進(jìn)的人工智能技術(shù)、軟硬件平臺(tái)與智能應(yīng)用的出現(xiàn)，使得數(shù)字圖書館人機(jī)交互體系向著智能、自然與高效的趨勢發(fā)展，其用戶界面由傳統(tǒng)文本交互界面逐漸向著實(shí)體交互、觸控交互、虛實(shí)交互、多通道交互與混合交互等

16、用戶界面形態(tài)發(fā)展，從而使得以用戶為中心的全新人機(jī)交互技術(shù)逐漸得以實(shí)現(xiàn)。人工智能環(huán)境下用戶界面技術(shù)除了需要在交互方式上要與用戶行為、心理與生理特征進(jìn)行融合，體現(xiàn)其智能人機(jī)交互的靜態(tài)特性；也要在交互過程中與用戶所處環(huán)境、情境與關(guān)系進(jìn)行融合，體現(xiàn)智能人機(jī)交互的動(dòng)態(tài)特性。相應(yīng)的用戶界面技術(shù)可分為五種模式：(1)實(shí)體交互用戶界面技術(shù)。這是目前使用相對較多的用戶界面技術(shù)形態(tài)，可幫助用戶直接使用物理實(shí)體與數(shù)字圖書館進(jìn)行人機(jī)交互，如VOMAR23、Tangible bits24等實(shí)體交互應(yīng)用。(2)觸控感知交互用戶界面技術(shù)。這是在用戶圖形交互界面上增加相應(yīng)的觸控感知設(shè)施與技術(shù)來實(shí)現(xiàn)人機(jī)交互，如Smarter

17、Objects25、LBAH26等觸控感知交互應(yīng)用。(3)基于虛擬/增強(qiáng)/混合現(xiàn)實(shí)的虛實(shí)融合用戶界面技術(shù)。這是通過相應(yīng)的虛擬現(xiàn)實(shí)技術(shù)與平臺(tái)，在用戶與數(shù)字圖書館之間搭建相應(yīng)的人機(jī)交互環(huán)境與通道，從而在虛擬空間中讓用戶進(jìn)行知識(shí)獲取、虛擬漫游、搜索與導(dǎo)航等知識(shí)服務(wù)，如美國宇航局Ames實(shí)驗(yàn)室開發(fā)的“虛擬行星探索(VPE)”27、Mohr28與User-Defined Gestures29等虛實(shí)融合交互應(yīng)用。(4)多通道交互用戶界面技術(shù)。這類用戶界面可支持用戶通過文本、圖像、音視頻、動(dòng)作等輸入方法與視覺、聽覺、觸覺與嗅覺等感知通道作為交互方式，來與數(shù)字圖書館之間進(jìn)行人機(jī)交互，如外科手術(shù)訓(xùn)練的虛擬仿真系

18、統(tǒng)與盲人使用的觸覺設(shè)備等支持用戶通過多模態(tài)觸覺來實(shí)現(xiàn)人機(jī)交互30、WUW支持用戶通過手、上肢等動(dòng)作實(shí)現(xiàn)人機(jī)交互31、SEAR支持用戶通過語言與視覺通道實(shí)現(xiàn)人機(jī)交互32。(5)混合交互用戶界面技術(shù)。這是通過將多種用戶界面。照需求進(jìn)行有效組合，從而為用戶提供多種人機(jī)交互平臺(tái)，以滿足其多元化人機(jī)交互需求，如Reilly33、Augmented Surfaces34等。3.3.2 人機(jī)交互智能設(shè)施本文提到，人機(jī)交互主要探討的是“輸入響應(yīng)輸出”這一體系，即用戶如何輸入其知識(shí)服務(wù)需求、數(shù)字圖書館如何輸出其知識(shí)反饋結(jié)果，這對智能化人機(jī)交互體系尤為重要。數(shù)字圖書館傳統(tǒng)輸入設(shè)施主要使用的是鍵盤、鼠標(biāo)等、輸出設(shè)施

19、主要使用的是顯示器、屏幕等，但在人工智能環(huán)境下數(shù)字圖書館對于輸入、輸出設(shè)施有了更高要求，需要為用戶提供更加自然、直觀、高效的輸入輸出設(shè)施，來幫助實(shí)現(xiàn)自然高效的人機(jī)交互。(1)智能輸出設(shè)施。人工智能環(huán)境下數(shù)字圖書館向用戶提供的輸出服務(wù)，應(yīng)該與其相應(yīng)的感知器官相匹配，除了適應(yīng)其視覺器官之外，還能夠適應(yīng)用戶(如盲人、聾啞人、殘疾人等特殊用戶群體)的聽覺、嗅覺、觸覺與味覺等輸出需求，因此在人工智能環(huán)境下結(jié)合具體應(yīng)用領(lǐng)域與實(shí)際需求，可圍繞相應(yīng)的輸出需求來確定對應(yīng)的視覺、聽覺、觸覺等智能輸出設(shè)施。一是視覺智能輸出設(shè)施。它主要解決用戶視覺感知器官所涉及的設(shè)備屬性問題，其物理屬性主要包括可視與視線區(qū)域、顯示區(qū)

20、域大小、形狀、分辨率與刷新頻率、光線傳輸方式與人體工程力學(xué)等，在具體設(shè)計(jì)與實(shí)現(xiàn)過程中，該類設(shè)施的設(shè)計(jì)需要與用戶視覺生理特征相匹配，尤其是要與用戶眼睛生理與運(yùn)動(dòng)特征相匹配，一般至少要考慮到用戶單眼的靜態(tài)視線、眼球運(yùn)行軌跡、雙眼視覺差異、動(dòng)態(tài)視差與眼睛立體成像等因素。目前市場上已有很多成熟的產(chǎn)品，如智能終端、環(huán)屏、工作臺(tái)、球形與半球形、頭戴式、頭盔式、眼鏡式與懸臂式智能輸出顯示設(shè)施等。二是聽覺智能輸出設(shè)施。聲音輸出的主要類型包括簡單音元、圖標(biāo)式音元、自然聲音和混合聲音等類型，相關(guān)輸出設(shè)施可充分利用用戶聲音獲取和聽覺定位能力來顯示或產(chǎn)生空間三維聲音。在具體設(shè)計(jì)與實(shí)現(xiàn)過程中，需要考慮到用戶雙耳聽覺差異

21、(如時(shí)差、聲差與音差等)、聲音強(qiáng)度、聲音頻率、聲音變化曲線與軌跡(如回聲、強(qiáng)弱變化等)、聲波與人耳交互等元素，因此，聽覺智能輸出設(shè)施科根據(jù)聲波內(nèi)容、位置與形式等并將其轉(zhuǎn)換成用戶可識(shí)別的聽覺(如立體聲、環(huán)繞聲與3D音頻等)、視覺(如文本、圖像、內(nèi)容、視頻與模型等)等方式被用戶所獲取到。三是觸覺智能輸出設(shè)施。該類設(shè)施可將反饋數(shù)據(jù)、信息與知識(shí)以肌肉或神經(jīng)觸感形式直接反饋給用戶，其輸出主要分為以用戶所在位置、以用戶身體、以用戶神經(jīng)系統(tǒng)三大類型，目前較為常見的包括：力/觸覺機(jī)器人手臂、觸覺反饋手套與鼠標(biāo)、觸覺反饋桿與方向盤、觸覺轉(zhuǎn)視覺顯示器等智能輸出設(shè)施。(2)智能輸入設(shè)施。輸出設(shè)施與輸出設(shè)施一樣，也是

22、人工智能環(huán)境下數(shù)字圖書館智能化人機(jī)交互體系重要設(shè)施之一，能夠幫助實(shí)現(xiàn)用戶與數(shù)字圖書館之間的通信。目前這類設(shè)施非常多，主要分為三類：一是離散型智能輸入設(shè)施。這類設(shè)施能對用戶行為、動(dòng)作進(jìn)行離散性捕捉，生成相應(yīng)的數(shù)據(jù)、文本與圖像，如鼠標(biāo)、鍵盤與PINCH Glove數(shù)據(jù)手套35等；二是連續(xù)型智能輸入設(shè)施。這類設(shè)施可根據(jù)各種類型傳感器(如動(dòng)作、力、光、電、聲和熱等)來獲取用戶連續(xù)性地行為與動(dòng)作，捕捉其對應(yīng)的位置、動(dòng)作、方向與速度等變化，如位置跟蹤器與傳感器、動(dòng)作傳輸器與反饋手套、智能手柄Wii Remote、深度相機(jī)Kinect與Leap Motion、3D攝像頭RealSense等；三是直接型智能輸

23、入設(shè)施。這類設(shè)施可通過語音、生理、眼動(dòng)與腦電波等信號(hào)感知設(shè)施收集相應(yīng)的用戶信息，從而將其作為輸入信息與數(shù)字圖書館直接進(jìn)行人機(jī)交互。如Google智能音箱Google Home、Amazon語言助手Echo、微軟語音助手Cortana等語音輸入設(shè)施；NeuroSky MindWave意念耳機(jī)、EmotivINsight意念無人機(jī)、BrainLink意念頭箍和EmotiveEpoc意念控制器等腦電波智能輸入設(shè)施。3.3.3 人機(jī)交互智能技術(shù)人機(jī)交互智能技術(shù)主要是通過人機(jī)交互用戶界面與智能設(shè)施，來滿足用戶多元化知識(shí)服務(wù)需求的具體技術(shù)與方法。隨著信息技術(shù)不斷滲透進(jìn)用戶學(xué)習(xí)、生活和工作的各個(gè)領(lǐng)域，人機(jī)交

24、互也變得無所不在，人工智能技術(shù)飛速發(fā)展使數(shù)字圖書館能更好地理解和認(rèn)識(shí)用戶意圖，其人機(jī)交互技術(shù)也逐漸從基于文本交互與“單手單眼”模式向沉浸式、體驗(yàn)式和情景式模式轉(zhuǎn)化。數(shù)字圖書館傳統(tǒng)人機(jī)交互模式此處不再贅述，其人工智能環(huán)境下人機(jī)交互技術(shù)要求除了兼具傳統(tǒng)技術(shù)體系之外，還需具備相應(yīng)的服務(wù)環(huán)境表達(dá)特性及用戶與服務(wù)環(huán)境的信息交互特性，由此產(chǎn)生的數(shù)字圖書館人機(jī)交互智能技術(shù)主要包括視覺交互、語音交互、力/觸覺交互、虛實(shí)融合交互與多通道交互等智能技術(shù)。(1)視覺交互技術(shù)。該技術(shù)能為用戶提供個(gè)性化、多元化的輸入智能處理(如視覺搜索、草圖檢索與多媒體檢索等)和輸出智能展示(如知識(shí)地圖、知識(shí)圖譜與語義網(wǎng)絡(luò)等)，其人機(jī)

25、交互主要載體是文本、圖像、視頻與模型等視覺資源，其關(guān)鍵技術(shù)主要包括視覺內(nèi)容標(biāo)注、視覺特征匹配、視覺知識(shí)庫構(gòu)建與視覺知識(shí)融合等36。(2)語音交互技術(shù)。該技術(shù)能為用戶提供更完善、自然和連貫的人機(jī)交互方法，它主要有短文本(如字、詞語、短語等)語音交互、非規(guī)范化(如方言、壯語、蒙語、藏語等)語音交互和完整文本語音交互等三種模式，其關(guān)鍵技術(shù)是語音識(shí)別引擎和語音交互平臺(tái)，對應(yīng)的典型應(yīng)用案例有很多，如Microsoft Speech API、IBM Via Voice、Nuance與科大訊飛語音交互引擎、CMU-Sphinx、HTK-Cambridge與RWTHASR等語音交互平臺(tái)21。(3)力/觸覺交互

26、技術(shù)。相較于前二者，力/觸覺交互更能拉近用戶與數(shù)字圖書館之間的距離，且更強(qiáng)調(diào)人機(jī)交互的自然性、直觀性與智能性，其核心技術(shù)主要包括觸覺反饋技術(shù)與觸覺信息交互技術(shù)等兩個(gè)方面，目前比較具有代表性的應(yīng)用案例有Microsoft的3D觸覺反饋觸摸屏、Immersion的觸覺反饋技術(shù)TouchSense、SensAble的觸覺交互機(jī)械臂等37。(4)虛擬融合交互技術(shù)。虛實(shí)融合交互是未來數(shù)字圖書館最重要的人機(jī)交互方式之一，它能在復(fù)雜煩瑣的交互任務(wù)中為用戶提供更多自然、高效的交互方式，它可對數(shù)字圖書館所擁有的知識(shí)資源與服務(wù)機(jī)制進(jìn)行抽象或隱喻，并映射到人機(jī)交互過程中，可將其交互方式分為直接隱喻(如光線投影、用戶

27、虛擬隱喻等)和間接隱喻(如WIM交互隱喻、圖像平面交互、Voodoo Doll隱喻、沉浸式觸覺隱喻與空間位置跟蹤等)兩種方式，比較有代表性的典型應(yīng)用有虛擬機(jī)械手臂、虛擬博物館、觸控虛擬手套等。(5)多通道交互技術(shù)。該技術(shù)主要是數(shù)字圖書館采用兩個(gè)或兩個(gè)以上(如視覺、語音、觸覺等)人機(jī)交互方式進(jìn)行協(xié)作，通道彼此之間按并行、串行、互補(bǔ)、獨(dú)立、混合等方式進(jìn)行處理，其能適應(yīng)用戶的多元化人機(jī)交互需求，并能大幅度提升數(shù)字圖書館人機(jī)交互效率與可用性，目前比較有代表性的應(yīng)用案例有Bolt的Put-That-There交互系統(tǒng)38、VRPN(Virtual Reality Peripheral Network)3

28、9和OpenTracker40等。3.3.4 人機(jī)交互智能環(huán)境數(shù)字圖書館人機(jī)交互智能環(huán)境主要包括三種：一是技術(shù)環(huán)境，即其所需要的網(wǎng)絡(luò)、技術(shù)(含相關(guān)算法庫、模型庫、工具庫與關(guān)鍵技術(shù)等)、數(shù)據(jù)、人工智能與軟硬件資源等環(huán)境；二是應(yīng)用環(huán)境，即其所需要的應(yīng)用、實(shí)踐、推廣、優(yōu)化、反饋與服務(wù)等環(huán)境；三是管理環(huán)境，即其所需要的社會(huì)、學(xué)術(shù)、產(chǎn)業(yè)、政策、法律、法規(guī)、資金與人才等環(huán)境。這三類環(huán)境分別從技術(shù)、應(yīng)用與管理等方面為數(shù)字圖書館可視化人機(jī)交互模式提供了多元化、全方位的支持與幫助。圍繞這三種環(huán)境，可認(rèn)為未來人工智能環(huán)境下數(shù)字圖書館的發(fā)展形態(tài)應(yīng)該是由智能化的人機(jī)交互體系、以用戶為中心的服務(wù)機(jī)制、通用化的知識(shí)自主接

29、入、數(shù)字經(jīng)濟(jì)與信息技術(shù)等融合發(fā)展而形成，并進(jìn)一步拓展到智慧圖書館、智慧城市、智慧社會(huì)等公共服務(wù)體系中，其基本目的是探索嵌入式協(xié)作化知識(shí)服務(wù)和顛覆性知識(shí)創(chuàng)新的思想，以及基本理論、技術(shù)與應(yīng)用的創(chuàng)新，研究用戶與數(shù)字圖書館之間日漸密切的關(guān)聯(lián)關(guān)系，并提出最近用戶知識(shí)創(chuàng)新與知識(shí)服務(wù)能力的廣泛目標(biāo)。4 古代南海海圖數(shù)字圖書館的智能化人機(jī)交互應(yīng)用體系我國可追溯的最早地圖自湖南馬王堆3號(hào)漢墓所出土的3幅漢代帛書地圖，其中一幅與海洋相關(guān)的地圖稱之為地形圖，該圖中“南海”以小“月牙”形狀出現(xiàn)，是我國現(xiàn)存最早的地圖，也是我國海圖之“祖母”41。隨后，魏晉南北朝時(shí)期戰(zhàn)亂不斷，幾乎未給后世留下海圖史料。目前留存可見的最早海圖是南宋輿地圖，而元代釋清浚的混一疆理圖廣輿疆里圖盡管廣為人知，但原本亡佚，后明代常熟徐氏刻的水東日記卷十七摹繪了廣輿疆里圖