混合現(xiàn)實(shí)(MR)與虛擬現(xiàn)實(shí)(VR)課件

1、第 6 章混合現(xiàn)實(shí)6.1混合現(xiàn)實(shí)的概念6.2混合現(xiàn)實(shí)（MR）與虛擬現(xiàn)實(shí)（VR）的關(guān)系6.3混合現(xiàn)實(shí)的交互技術(shù) 6.1混合現(xiàn)實(shí)的概念混合現(xiàn)實(shí)是一種使真實(shí)世界和虛擬物體在同一視覺空間中顯示和交互的計(jì)算機(jī)虛擬 現(xiàn)實(shí)技術(shù)。加拿大多倫多大學(xué)工業(yè)工程系的Paul Milgram對混合現(xiàn)實(shí)（Mixed Reality， MR）的定義是：真實(shí)世界和虛擬世界在一個顯示設(shè)備中同時呈現(xiàn)。也有學(xué)者認(rèn)為： “現(xiàn)代意義上的混合現(xiàn)實(shí)是不同類型的現(xiàn)實(shí)（主要是指真實(shí)現(xiàn)實(shí)與虛擬現(xiàn)實(shí)）的彼 此混合。將計(jì)算機(jī)所生成的虛擬對象融合到真實(shí)的環(huán)境當(dāng)中，從而建立出一個新的環(huán)境 及符合一般視覺上所認(rèn)知的虛擬影像，在這之中，現(xiàn)實(shí)世界中的物件能夠

2、與虛擬世界中 的物件共同存在并且即時地產(chǎn)生互動?！狈祷?.2 混合現(xiàn)實(shí)（MR）與虛擬現(xiàn)實(shí)（VR）的關(guān)系現(xiàn)實(shí)與虛擬兩部分構(gòu)成了混合現(xiàn)實(shí)，其中用戶與虛擬世界的聯(lián)結(jié)是虛擬部分關(guān)心的 內(nèi)容。因此，涉及兩個方面的內(nèi)部，即虛擬世界的構(gòu)建與呈現(xiàn)、人與虛擬世界的交互。 所看到的虛擬世界是與人類感官直接聯(lián)結(jié)的，因此，要構(gòu)造完美的虛擬世界必須通過建 立與人類感官匹配的自然通道。虛擬世界的呈現(xiàn)，音響效果的營造，觸覺、力覺等各種 知覺感知和反饋要通過真實(shí)感渲染得到。因此，用戶與虛擬世界的交互必須建立相同的 知覺通道，通過分析用戶的自然行為，在感知、理解、響應(yīng)和呈現(xiàn)上形成環(huán)路，這是虛 擬現(xiàn)實(shí)技術(shù)的核心內(nèi)容。下一頁返回6

3、.2 混合現(xiàn)實(shí)（MR）與虛擬現(xiàn)實(shí)（VR）的關(guān)系由于對現(xiàn)實(shí)世界的模擬本身非常困難，因此混合現(xiàn)實(shí)沒有對復(fù)雜多變的現(xiàn)實(shí)世界進(jìn) 行實(shí)時模擬，其建立的是虛擬世界與現(xiàn)實(shí)世界的聯(lián)結(jié)，并模擬二者的相互影響。而要使 虛擬世界與現(xiàn)實(shí)世界融為一體，技術(shù)上的諸多挑戰(zhàn)不僅要感知用戶的主體行為，還要感 知一切現(xiàn)實(shí)世界中有關(guān)聯(lián)的人、環(huán)境甚至事件語義，提供恰當(dāng)?shù)慕换ズ头答?。因此，?合現(xiàn)實(shí)涉及了從計(jì)算機(jī)視覺、計(jì)算機(jī)圖形學(xué)、模式識別到光學(xué)、電子、材料等多個學(xué)科領(lǐng)域。正是由于混合現(xiàn)實(shí)與現(xiàn)實(shí)世界的 緊密聯(lián)系，才使其具備強(qiáng)大且廣泛的實(shí)用價值。上一頁下一頁返回6.2 混合現(xiàn)實(shí)（MR）與虛擬現(xiàn)實(shí)（VR）的關(guān)系混合現(xiàn)實(shí)技術(shù)是 虛擬世界與現(xiàn)

4、實(shí)世界無縫融合的技術(shù)。虛 擬現(xiàn)實(shí)代表的是計(jì) 算機(jī)營造的世界，使 人類的知覺感知延展到計(jì)算機(jī)中；而混合 現(xiàn)實(shí)技術(shù)在保持對現(xiàn)實(shí)世界正常感知的基礎(chǔ)上，通過建立虛擬 世界與現(xiàn)實(shí)世界之間 的聯(lián)系，再將人類感 官延伸到虛擬世界。 混合現(xiàn)實(shí)技術(shù)中所關(guān) 注的虛擬世界可以有 豐富的內(nèi)容。從早期 的虛擬現(xiàn)實(shí)世界的局 部場景，與現(xiàn)實(shí)世界 無縫融合，使得我們 可以看到匪夷所思的 場景，典型的是電影阿凡達(dá)呈現(xiàn)的世 界。然而，計(jì)算機(jī)的 強(qiáng)大能力不僅在于對 場景的營造能力，還 在于對信息搜集、數(shù) 據(jù)整理和分析呈現(xiàn)的 能力。在信息爆炸的 時代，信息容量和復(fù) 雜度遠(yuǎn)遠(yuǎn)超過人類所 能夠的范圍，在宏觀 上把握信息的內(nèi)涵， 提供對數(shù)

5、據(jù)蘊(yùn)涵的語 義分析，才有可能使 人類理解數(shù)據(jù)?；旌?現(xiàn)實(shí)技術(shù)可以在數(shù)據(jù)分析的基礎(chǔ)上建立用戶與數(shù)據(jù)的聯(lián)結(jié)，從而使得用戶可以直接感知數(shù)據(jù)分析的結(jié)果，將人類感知延展到數(shù)據(jù)語義層面。上一頁下一頁返回6.2 混合現(xiàn)實(shí)（MR）與虛擬現(xiàn)實(shí)（VR）的關(guān)系混合現(xiàn)實(shí)技術(shù)包含虛擬世界和現(xiàn)實(shí)世界。在需要虛擬現(xiàn)實(shí)技術(shù) 支持的同時，也需要增強(qiáng)現(xiàn)實(shí)技術(shù)的支持。虛擬現(xiàn)實(shí)技術(shù)的第一個 核心問題是對虛擬世界的建模，包括模擬現(xiàn)實(shí)世界的模型或人工設(shè) 計(jì)的模型；對現(xiàn)實(shí)世界模型的模擬，即場景重建技術(shù)。虛擬現(xiàn)實(shí)的 第二個問題是將觀察者知覺與虛擬世界的空間注冊，滿足視覺沉浸 感的呈現(xiàn)技術(shù)；第三個問題是提供與人類感知通道一致的交互技 術(shù)，即感

6、知和反饋技術(shù)。增強(qiáng)現(xiàn)實(shí)技術(shù)在虛擬現(xiàn)實(shí)技術(shù)的基礎(chǔ)上， 還需要將現(xiàn)實(shí)世界與虛擬世界進(jìn)行注冊，并且感知真實(shí)世界發(fā)生的 狀況、動態(tài)，搜集真實(shí)世界的數(shù)據(jù)，進(jìn)行數(shù)據(jù)分析和語義分析，并 對其進(jìn)行響應(yīng)。因此，混合現(xiàn)實(shí)的虛實(shí)融合分析三個層面，即虛實(shí) 世界產(chǎn)生智能上的交互融合；虛實(shí)世界產(chǎn)生社會學(xué)意義上的交互融 合，如行人互相避讓的行為；虛實(shí)空間產(chǎn)生視覺上的交互影響。上一頁返回6.3 混合現(xiàn)實(shí)的交互技術(shù)6.3.1用戶界面形態(tài)新型交互技術(shù)和設(shè)備的出現(xiàn)，使人機(jī)界面不斷向著更高效、更 自然的方向發(fā)展。在混合現(xiàn)實(shí)中使用較多的用戶界面形態(tài)包括TUI、 觸控用戶界面、3DUI、多通道用戶界面和混合用戶界面。（1）TUI是目前在

7、混合現(xiàn)實(shí)領(lǐng)域應(yīng)用最多的交互方式。它支持 用戶直接使用現(xiàn)實(shí)世界中的物體與計(jì)算機(jī)進(jìn)行交互。無論是在虛擬 環(huán)境中使用現(xiàn)實(shí)物體輔助交互（AV），還是在虛擬環(huán)境中加入輔助 的虛擬信息（AR），在這種交互方式下都顯得非常自然并對用戶具 有吸引力。下一頁返回6.3 混合現(xiàn)實(shí)的交互技術(shù)（2）觸控用戶界面是在GUI的基礎(chǔ)上，以觸覺感知為主要指點(diǎn) 技術(shù)的交互技術(shù)。在混合現(xiàn)實(shí)中，一種比較自然的方式是直接用手 通過屏幕與虛實(shí)物體交互。手機(jī)、平板電腦等移動設(shè)備及透明觸屏 都提供了這種支持，這使得直接觸控成為混合現(xiàn)實(shí)中主要的交互方 式之一。（3）在3DUI中，用戶與計(jì)算機(jī)進(jìn)行交互是在一個虛擬或現(xiàn)實(shí)的3D空間中進(jìn)行 的。3

8、DUI是從虛擬現(xiàn)實(shí)技術(shù)中衍生而來的交互技術(shù)，它可以支持在純虛擬環(huán)境中進(jìn)行物體獲取、觀察世界、地形漫游、搜索 與導(dǎo)航。在混合現(xiàn)實(shí)環(huán)境中，這種交互需 求是大量存在的，因此，3DUI是混合現(xiàn)實(shí) 中重要的交互手段之一。上一頁下一頁返回6.3 混合現(xiàn)實(shí)的交互技術(shù)（4）在混合現(xiàn)實(shí)中的許多應(yīng)用都利 用了多通道交互技術(shù)。多通道用戶界面支 持用戶通過多種通道與計(jì)算機(jī)進(jìn)行交互。 這些通道包括不同的輸入工具（如文字、 語音、手勢等）和不同的人類感知通道（聽覺、視覺、嗅覺等）。在這種交互方 式中通常需要維持不同通道間的一致性。（5）混合用戶界面為用戶提供更為靈活的交互平臺，它將不同但相互補(bǔ)足的用戶界面進(jìn)行組合，用戶通

9、過多種不 同的交互設(shè)備進(jìn)行交互，以滿足多樣化 的日常交互行為。上一頁下一頁返回6.3 混合現(xiàn)實(shí)的交互技術(shù)6.3.2交互對象的虛實(shí)融合 1注冊跟蹤技術(shù)在增強(qiáng)現(xiàn)實(shí)中，如果用戶改變自身 位置和觀察角度，被觀察的虛擬物體就 能實(shí)時融洽地與現(xiàn)實(shí)場景保持一致。要 達(dá)到此種效果 ， 在增強(qiáng)現(xiàn)實(shí)中必須明 確觀察者和虛擬物體在現(xiàn)實(shí)環(huán)境中的準(zhǔn)確位置和姿態(tài)。設(shè)計(jì)者一般會事先決定 虛擬物體在現(xiàn)實(shí)環(huán)境中的位置，因此， 只要注意觀察者的位置和姿態(tài)，就可以 根據(jù)觀察者的實(shí)時視角重建坐標(biāo)系，計(jì) 算出虛擬物體的顯示姿態(tài)，實(shí)現(xiàn)交互對 象的虛實(shí)融合。這個過程是三維注冊過 程，其實(shí)現(xiàn)方法一般分為基于傳感器的 注冊技術(shù)、基于視覺的注冊

10、技術(shù)和混合 注冊技術(shù)三種。上一頁下一頁返回6.3 混合現(xiàn)實(shí)的交互技術(shù)2顯示設(shè)備顯示設(shè)備要解決的問題是讓用戶簡單、便捷地觀察到虛實(shí)融合的場景。在AV中，由于場景的主體是虛擬的，其方位可以由系統(tǒng)唯一確定，因此，可以直接使用傳統(tǒng)顯示設(shè) 備來呈現(xiàn)虛實(shí)融合場景。而在AR中，場景是用戶直接觀察到的現(xiàn)實(shí) 世界，技術(shù)上一般采用頭戴式顯示設(shè)備（HMD）、手持式顯示設(shè)備 和投影式顯示設(shè)備來實(shí)現(xiàn)。其中，HMD包括光學(xué)透視型和視頻透視 型兩種。光學(xué)透視型顯示設(shè)備是通過透明屏幕直接觀察現(xiàn)實(shí)世界，視頻透視型顯示設(shè)備是用頭戴式攝像機(jī)采集現(xiàn)實(shí)世界視頻作為背景投影到顯示器上。手持式顯示設(shè)備（如手機(jī)、平板電腦）一般采用視頻透 視

11、技術(shù)，利用設(shè)備上的攝像頭采集現(xiàn)實(shí)世界的圖像。投影式顯示設(shè)備 利用各種投影儀將圖像直接投影到墻壁、桌面、物理實(shí)體等現(xiàn)實(shí)世界 的物體中，從而在這些物體上疊加虛擬信息。上一頁下一頁返回6.3 混合現(xiàn)實(shí)的交互技術(shù)6.3.3手勢識別技術(shù)混合現(xiàn)實(shí)中使用的手勢識別技術(shù)可以按照輸入設(shè)備分為基于傳感 器和基于計(jì)算機(jī)視覺兩種?；趥鞲衅鞯氖謩葑R別技術(shù)利用不同的硬件設(shè)備（如數(shù)據(jù)手套、運(yùn)動傳感器），跟蹤返回人手以及手部各骨骼所在的三維坐標(biāo)，從而測量手勢在三維空間中的位置信息和手指等關(guān) 節(jié)的運(yùn)動信息。這種系統(tǒng)可以直接獲得人手在三維空間中的坐標(biāo)和手 指運(yùn)動的參數(shù)，數(shù)據(jù)的精確度高，可識別的手勢多且辨識率高，但需 要佩戴額外

12、的設(shè)備?；谟?jì)算機(jī)視覺的手勢識別技術(shù)利用單個或多個 攝像頭來采集手勢信息，經(jīng)計(jì)算機(jī)系統(tǒng)分析獲取圖像來識別手勢。該 技術(shù)使學(xué)習(xí)和使用簡單靈活，更自然、直接地進(jìn)行人機(jī)交互，但計(jì)算 過程較復(fù)雜，識別率和實(shí)時性較差。上一頁下一頁返回6.3 混合現(xiàn)實(shí)的交互技術(shù)混合現(xiàn)實(shí)中使用的手勢可分為靜態(tài)手勢和動態(tài)手勢兩類。靜態(tài)手 勢是指某一時刻表態(tài)的手臂、手掌或手指的形狀、姿態(tài)，手勢數(shù)據(jù)中 不包含連續(xù)時間序列信息，這類手勢給用戶提供了利用手掌就能完成 的交互行為，一般用基于圖像特征聚類的方法進(jìn)行識別；動態(tài)手勢是 指在一段連續(xù)的時間內(nèi)手臂、手掌或手指的姿態(tài)變化或移動路徑，手 勢數(shù)據(jù)中需要包括隨時間變化的空間特征，這類手

13、勢能夠很好地表示 空間路徑手勢，且需要使用基于隱馬爾可夫模型（HMM）、基于動 態(tài)時間規(guī)整和基于壓縮時間軸的方法進(jìn)行識別。上一頁下一頁返回6.3 混合現(xiàn)實(shí)的交互技術(shù)6.3.43D交互技術(shù)在3D交互技術(shù)的支持下，3DUI能夠很自然地應(yīng)用于混合現(xiàn)實(shí)場景。3D交互技術(shù)支持用戶使用3D的輸入手段操作3D的對象及內(nèi)容，并得到3D的 視覺、聽覺等多通道反饋。面向通用任 務(wù)的3D交互技術(shù)分為導(dǎo)航、選擇/操作和 系統(tǒng)控制三個方面。其實(shí)現(xiàn)結(jié)構(gòu)可以劃 分為3個具有顯著特點(diǎn)的層次幾何模 型、直接操縱隱喻、高層語義交互。其 中，幾何模型層提供3D可視反饋，直接 操縱隱喻定義包括選取、點(diǎn)擊、拖動、 旋轉(zhuǎn)在內(nèi)的直接操縱功

14、能，而面向高層語義的交互隱喻層允許用戶實(shí)現(xiàn)更為復(fù)雜的交互任務(wù)，如指定路徑進(jìn)行漫游， 這些任務(wù)需要由多個直接操縱層的動作 序列組合完成?；旌犀F(xiàn)實(shí)應(yīng)用中的自然 交互和直觀反饋將主要在這一層得到 實(shí)現(xiàn)。上一頁下一頁返回6.3 混合現(xiàn)實(shí)的交互技術(shù)6.3.5語音和聲音交互技術(shù)從聲 音的類型上，可以將這種技術(shù)分為非語 音（聲音）交互技術(shù)和語音交互技術(shù)。 非語音交互技術(shù)主要使用聲音給用戶提 供聽覺線索，使用戶能夠有效地掌握和 理解交互內(nèi)容；語音交換技術(shù)包括語音 輸入、語音識別和處理及語音輸出在內(nèi) 的一整套交互技術(shù)。一個完整的語音交互系統(tǒng)由語音輸 入和語音輸出系統(tǒng)兩部分組成。語音輸入系統(tǒng)包括語音識別和語義理解

15、兩個子系統(tǒng)。語音識別系統(tǒng)負(fù)責(zé)將語音轉(zhuǎn)化為 音素，其識別方法是利用相應(yīng)的語音特 征，如梅爾倒譜和語音模型、HMM和高 斯混合模型進(jìn)行切分和識別。上一頁下一頁返回6.3 混合現(xiàn)實(shí)的交互技術(shù)語義理解 系統(tǒng)通過語言模型將語音識別系統(tǒng)的結(jié) 果進(jìn)行修正并組合成符合語法結(jié)構(gòu)和語 言習(xí)慣的詞、短語和句子。多元語言模 型得到最廣泛的應(yīng)用。語音輸出系統(tǒng)分為有限詞匯和無限詞匯兩種。有限詞匯一般用于對有限的消息提示、控制指令、標(biāo)準(zhǔn)問題進(jìn)行語音反饋； 對于無限詞匯，如盲人使用的讀書軟件或復(fù)雜的導(dǎo)航 系統(tǒng)，無法將所有句子進(jìn)行預(yù)先錄制，只能通過語音 合成的方法形成輸出語音。上一頁下一頁返回6.3 混合現(xiàn)實(shí)的交互技術(shù)6.3.

16、6其他交互技術(shù) 1觸覺反饋技術(shù)觸覺反饋技術(shù)在產(chǎn)生力學(xué)信號的過程中能夠通過 人類的動覺和觸覺給用戶反饋信息。從字面上看，這項(xiàng)技術(shù)提供給用戶的是通過觸摸的方式感知實(shí)際或虛擬的力學(xué)信號。但實(shí)際上，觸覺反饋技術(shù)還包括提供 體位、運(yùn)動、重量等動覺通道的力學(xué)信號。這一特點(diǎn) 對拓寬混合現(xiàn)實(shí)的交互帶寬，增加混合現(xiàn)實(shí)應(yīng)用的真 實(shí)感和沉浸感有很大的幫助。觸覺反饋技術(shù)就曾用于 乳腺癌觸診訓(xùn)練中。被訓(xùn)人員通過仿真運(yùn)動模型，親 身體驗(yàn)到虛擬腫瘤上的觸覺刺激。上一頁下一頁返回6.3 混合現(xiàn)實(shí)的交互技術(shù)2眼動跟蹤技術(shù)用戶感興趣的區(qū)域及用戶的心理和生理狀態(tài)是能 夠通過眼睛注視的方向體現(xiàn)出來的。因此，通過眼睛注視進(jìn)行的交互技術(shù)

17、是最快速的人機(jī)交互方式之一。眼動跟蹤技術(shù)可分為基于視頻和非基于視頻兩種?；?于視頻的方法使用非接觸式攝像機(jī)獲取用戶頭部或眼睛的視頻圖像，再用圖像處理的方法獲得頭部和眼睛 的方向，最終組合計(jì)算出眼睛注視方向；非基于視頻 的方法使用接觸式設(shè)備依附于用戶的皮膚或眼球，從 而獲取眼睛注視方向。上一頁下一頁返回6.3 混合現(xiàn)實(shí)的交互技術(shù)3筆式交互技術(shù)筆式交互能夠模擬人們?nèi)粘５募埞P工作環(huán)境。由 于筆式交互設(shè)備具有便攜、可移動的特點(diǎn)，方便了人 們在不同的時間和地點(diǎn)靈活地進(jìn)行交流。目前，筆式 交互技術(shù)常見的有筆式界面范式、筆跡識別與理解、 基于筆的交互通道拓展 。曾經(jīng)有人將筆和交互平板 作為主要交互工具 ，實(shí)現(xiàn)了一個混合現(xiàn)實(shí)協(xié)同工作 環(huán)境。上一頁下一頁返回6.3 混合現(xiàn)實(shí)的交互技