《計算機高級應(yīng)用教程》課件-第10章

第10章虛擬現(xiàn)實(VR)技術(shù)及應(yīng)用10.1VR的概念及主要技術(shù)10.2VR設(shè)備及其平臺簡單介紹10.3VR技術(shù)的應(yīng)用10.4AR與MR課后習題十

10.1VR的概念及主要技術(shù)

10.1.1VR的概念、特征及組成1.VR概念虛擬現(xiàn)實(VirtualReality，VR)技術(shù)是仿真技術(shù)的一個重要方向，是仿真技術(shù)與計算機圖形學人機接口技術(shù)、多媒體技術(shù)、傳感技術(shù)、網(wǎng)絡(luò)技術(shù)等多種技術(shù)的集合。它是綜合利用計算機圖形系統(tǒng)和各種顯示及控制等接口設(shè)備，在計算機上生成的、可交互的三維環(huán)境中提供沉浸感覺的技術(shù)。

2.VR的特征

VR具有以下四個特征：

(1)多感知性。VR的多感知性是指VR除了具有一般計算機所具有的視覺感知外，還具有聽覺感知、觸覺感知和運動感知，甚至還具有味覺、嗅覺等感知。理想的虛擬現(xiàn)實應(yīng)該具有人所具有的一切感知功能。

(2)存在感。VR的存在感是指用戶感到作為主角存在于模擬環(huán)境中的真實程度。理想的模擬環(huán)境應(yīng)該達到使用戶難辨真假的程度。

(3)交互性。VR的交互性是指用戶對模擬環(huán)境內(nèi)物體的可操作程度和從環(huán)境得到反饋的自然程度。

(4)自主性。VR的自主性是指虛擬環(huán)境中的物體依據(jù)現(xiàn)實世界物理運動定律動作的程度。

3.VR的組成

一個典型的虛擬現(xiàn)實系統(tǒng)主要由頭盔顯示設(shè)備、多傳感器組和力反饋裝置組成。在虛擬現(xiàn)實系統(tǒng)的輸入部分，基于自然交互的設(shè)備主要有力反饋設(shè)備、數(shù)據(jù)手套和三維鼠標。

頭盔顯示設(shè)備是虛擬現(xiàn)實應(yīng)用中的3DVR圖形顯示與觀察設(shè)備，如圖10-1所示。其可單獨與主機相連以接收來自主機的3DVR圖形信號。它主要由顯示元件和光學系統(tǒng)組成。圖10-1頭盔顯示設(shè)備

力反饋是運用先進的技術(shù)手段將虛擬物體的空間無能運動轉(zhuǎn)變成物理設(shè)備的機械運動的過程，如圖10-2所示。它能使用戶體驗到真實的力度感和方向感，從而提供一個嶄新的人機交互界面。此項技術(shù)在世界上最早應(yīng)用在尖端醫(yī)學領(lǐng)域以及軍事作戰(zhàn)和演習領(lǐng)域。

圖10-2力反饋器

10.1.2VR的主要技術(shù)

VR涉及諸多技術(shù)，包括實時三維計算機圖形技術(shù)，廣角(寬視野)立體顯示技術(shù)，對觀察者頭、眼和手的跟蹤技術(shù)，網(wǎng)絡(luò)傳輸技術(shù)，立體聲技術(shù)，VR感覺反饋技術(shù)，語音輸入/輸出技術(shù)等。

VR涉及的主要技術(shù)介紹如下：

1.實時三維計算機圖形技術(shù)

利用計算機模型產(chǎn)生圖形、圖像并不困難，如果有足夠準確的模型，又有充足的時間，就可以生成不同光照條件下各種物體的精確圖像。但是，實時性對VR而言十分關(guān)鍵。

2.廣角(寬視野)立體顯示技術(shù)

人在看周圍的環(huán)境時，由于兩只眼睛的位置不同，得到的圖像也會略有不同。這些圖像在大腦里合成起來，形成了一個關(guān)于周圍環(huán)境的整體景象，這個景象包括了距離遠近的信息。此外，距離信息也可以通過其他方法獲得，例如眼睛焦距的遠近、物體大小的比較等。

3.觀察者頭、眼和手的跟蹤技術(shù)

在人造環(huán)境中，每個物體相對于系統(tǒng)的坐標系都有一個位置與形態(tài)，用戶也是如此。用戶看到的景象是由用戶的位置和頭、眼的方向確定?？臻g位置跟蹤技術(shù)有多種，常見的跟蹤系統(tǒng)有機械跟蹤器、電磁跟蹤器、超聲波跟蹤器、慣性跟蹤器和光學跟蹤器。

4.網(wǎng)絡(luò)傳輸技術(shù)

在用戶與計算機的交互中，鍵盤和鼠標是目前最常用的工具，但對于三維空間而言，這些工具都不太適合。因為在三維空間中有六個自由度，用比較直觀的辦法把鼠標的平面運動映射成三維空間的任意運動比較困難。不過，現(xiàn)在已經(jīng)有一些設(shè)備可以提供六個自由度，如3Space數(shù)字化儀和SpaceBall空間球等。此外，還有一些性能比較優(yōu)異的設(shè)備能提供六個自由度，如數(shù)據(jù)手套和數(shù)據(jù)衣等。

5.立體聲技術(shù)

人能夠很好地判別聲源的方向。在水平方向上，由于聲音到達兩只耳朵的時間或距離有所不同，人們靠聲音的相位差及強度的差別來確定聲音的方向。常見的立體聲效果就是靠在不同位置錄制左右耳聽到的聲音來實現(xiàn)的，因此立體聲會有一種方向感?，F(xiàn)實生活里，當頭部轉(zhuǎn)動時聽到的聲音的方向就會改變。但在目前的VR系統(tǒng)中，聲音的方向與用戶頭部的運動無關(guān)。

6.VR感覺反饋技術(shù)

例如，在一個VR系統(tǒng)中，用戶可以看到一個虛擬的杯子，用戶可以設(shè)法去抓住它，但手沒有真正接觸杯子的感覺，且有可能穿過虛擬杯子的“表面”，這在現(xiàn)實生活中是不可能發(fā)生的。解決這一問題的常用方法是在手套內(nèi)層安裝一些可以振動的觸點來模擬觸覺。

在真實感實時繪制技術(shù)中，為了提高顯示的逼真度，加強真實性，常利用的方法有紋理映射、反走樣映射和環(huán)境映射。

7.語音輸入/輸出技術(shù)

在VR系統(tǒng)中，語音的輸入/輸出也很重要。這就要求虛擬環(huán)境能聽懂人的語言并能與人實時交互。讓計算機識別人的語音是相當困難的，因為語音信號和自然語言信號有“多邊性”和復(fù)雜性。例如，在連續(xù)語音中，詞與詞之間沒有明顯的停頓，同一詞、同一字的發(fā)音受前后詞、字的影響，不僅不同人說同一詞的發(fā)音會有所不同，就是同一人發(fā)音還會因心理、生理和環(huán)境的影響而有所不同。

10.1.3沉浸感和交互作用原理

根據(jù)虛擬現(xiàn)實對“沉浸性”程度和交互程度的不同，可把虛擬現(xiàn)實系統(tǒng)劃分為四種典型類型，即沉浸式、桌面式、增強式和分布式。

1.沉浸感及其產(chǎn)生的原理

沉浸感是人對計算機系統(tǒng)創(chuàng)造和顯示出來的虛擬環(huán)境的感覺和認識，是虛擬現(xiàn)實技術(shù)的核心概念之一。它是指一種主觀感知，即人對計算機系統(tǒng)創(chuàng)造和顯示出來的虛擬環(huán)境(VirtualEnvironment，VE)的感覺和認識。當參與者置身于虛擬環(huán)境中時，其感覺系統(tǒng)以一種與在真實環(huán)境中相同的方式處理來自虛擬世界的視覺和其他感知數(shù)據(jù)。

目前，VR眼鏡主要通過以下五個方面來獲得沉浸感：

(1)通過經(jīng)過放大的顯示屏技術(shù)來獲得沉浸感。該技術(shù)能夠在用戶眼前顯示出一個放大的局部虛擬時間景象。目前，顯示視場角為90°～110°，在這個顯示范圍內(nèi)，該技術(shù)主要通過三維引擎技術(shù)產(chǎn)生實時的立體圖像。

(2)通過與頭部位置傳感采集的數(shù)據(jù)相配合，讓三維引擎響應(yīng)頭部轉(zhuǎn)動方向和當前頭部位置變化，并以很高的頻率實時改變顯示的三維頭像，使用戶頭部轉(zhuǎn)動的角度剛好和三維引擎模擬的三維畫面視覺一致，讓用戶覺得仿佛是通過一個大窗口在觀察一個虛擬的三維世界。

(3)通過凸透鏡來放大人眼看到的即時圖像范圍。現(xiàn)在的VR眼鏡大概會產(chǎn)生90°～120°的圖像視野，這樣的視野大概和一個良好的三通道環(huán)幕投影系統(tǒng)產(chǎn)生的效果差不多，但VR眼鏡要更加貼近人眼，人眼被干擾的可能性大大降低。

(4)當人轉(zhuǎn)動頭部時，頭部的陀螺儀能夠及時通知圖像生成引擎，使之及時更新畫面，從而使人感覺在看一個環(huán)繞的虛擬空間，進而產(chǎn)生360°的空間感。

(5)左右眼每一時刻看到的圖像是不一樣的，通過兩幅區(qū)別左右眼位置的不同圖像，可以產(chǎn)生很強烈的立體縱深感。

2.交互作用

另外，用戶通過動作、手勢、語言等人類自然的方式能夠與虛擬世界進行有效的溝通。通常來講，如果用戶在面對虛擬世界時，做出了肢體動作，就可以認為該虛擬世界對用戶發(fā)生了反饋。那么，用戶的動作和虛擬世界對用戶的反饋組合在一起，就形成一次交互作用。

10.2VR設(shè)備及其平臺簡單介紹

10.2.1VR設(shè)備虛擬現(xiàn)實硬件指的是與虛擬現(xiàn)實技術(shù)領(lǐng)域相關(guān)的硬件產(chǎn)品，是虛擬現(xiàn)實解決方案中用到的硬件設(shè)備?，F(xiàn)階段VR硬件設(shè)備大致可分為四類，包括顯示和觀察設(shè)備(如3D展示系統(tǒng)、大型投影系統(tǒng)CAVE、頭戴式立體顯示器等)、交互設(shè)備(包括位置追蹤儀、數(shù)據(jù)手套、3D輸入設(shè)備、動作捕捉設(shè)備、眼動儀、力反饋設(shè)備以及其他交互設(shè)備)、聲音設(shè)備(如三維立體聲系統(tǒng)以及非傳統(tǒng)意義的立體聲系統(tǒng))和三維數(shù)據(jù)獲取設(shè)備(如3D掃描儀等)。

下面對各類VR硬件設(shè)備進行具體介紹。

1.顯示和觀察設(shè)備

1)虛擬現(xiàn)實頭顯

虛擬現(xiàn)實頭顯(頭戴式顯示器)是利用人的左右眼獲取信息的差異，引導用戶產(chǎn)生一種身在虛擬環(huán)境中的感覺的一種頭戴式立體顯示器。其顯示原理是左右眼屏幕分別顯示左右眼的圖像，人眼獲取這種帶有差異的信息后在腦海中產(chǎn)生立體感，如圖10-3、圖10-4所示。圖10-3VR設(shè)備一圖10-4VR設(shè)備二

2)雙目全方位顯示器

雙目全方位顯示器是一種偶聯(lián)頭部的立體顯示設(shè)備，是一種特殊的頭部顯示設(shè)備，如圖10-5所示。圖10-5雙目全方位顯示器

3)CRT終端-液晶光閘眼鏡

CRT終端-液晶光閘眼鏡立體視覺系統(tǒng)如圖10-6所示，其工作原理是：計算機分別產(chǎn)生左右眼的兩幅圖像，經(jīng)過合成處理之后，采用分時交替的方式顯示在CRT終端上。用戶則佩戴一副與計算機相連的液晶光閘眼鏡，眼鏡片在驅(qū)動信號的作用下，將以與圖像顯示同步的速率交替工作，即當計算機顯示左眼圖像時，右眼透鏡將被屏蔽，顯示右眼圖像時，左眼透鏡被屏蔽。根據(jù)雙目視差與深度距離正比的關(guān)系，人的視覺生理系統(tǒng)可以自動將這兩幅視差圖像合成一個立體圖像。圖10-6CRT終端-液晶光閘眼鏡

4)大屏幕投影-液晶光閘眼鏡

大屏幕投影-液晶光閘眼鏡立體視覺系統(tǒng)如圖10-7所示。其原理和CRT顯示相同，只是將分時圖像CRT顯示改為大屏幕顯示。用于投影的CRT或數(shù)字投影機要求極高的亮度和分辨率，它適合在較大的空間內(nèi)產(chǎn)生投影圖像的應(yīng)用需求。圖10-7大屏幕投影-液晶光閘眼鏡

5)CAVE洞穴式虛擬現(xiàn)實顯示系統(tǒng)

洞穴式VR系統(tǒng)就是一種基于投影的環(huán)繞屏幕的洞穴自動化虛擬環(huán)境(CaveAutomaticVirtualEnvironment，CAVE)，如圖10-8所示。人置身于由計算機生成的世界中，并能在其中來回走動，從不同的角度觀察它、觸摸它，進而改變它的形狀。CAVE投影系統(tǒng)是由三個面以上(含三面)硬質(zhì)背投影墻組成的高度沉浸的虛擬演示環(huán)境。配合三維跟蹤器，用戶可以在被投影墻包圍的系統(tǒng)近距離接觸虛擬三維物體或隨意漫游“真實”的虛擬環(huán)境。CAVE系統(tǒng)一般應(yīng)用于高標準的虛擬現(xiàn)實系統(tǒng)。圖10-8CAVE

6)智能眼鏡

智能眼鏡如圖10-9所示。它是可以直接解放大家的雙手，讓大家不需要一直拿著設(shè)備，也不需要連續(xù)單擊屏幕輸入。智能眼鏡配合自然交互界面，相當于現(xiàn)在手持終端的圖像接口，不需要單擊，只需要使用人的本能行為，如搖頭晃腦、講話、轉(zhuǎn)眼等，就可以和智能眼鏡進行交互。圖10-9智能眼鏡

2.交互設(shè)備

1)數(shù)據(jù)手套

數(shù)據(jù)手套如圖10-10所示。它是虛擬仿真中最常用的交互工具。數(shù)據(jù)手套設(shè)有彎曲傳感器，彎曲傳感器由柔性電路板、力敏元件、彈性封裝材料組成，通過導線連接至信號處理電路。在柔性電路板上設(shè)有至少兩根導線，用力敏材料包覆于柔性電路板外部，再在力敏材料上包覆一層彈性封裝材料，柔性電路板留一端在外，用導線與外電路連接。圖10-10數(shù)據(jù)手套

2)力矩球

力矩球如圖10-11所示。它是一種可提供六自由度的外部輸入設(shè)備，安裝在一個小型的固定平臺上。力矩球通常使用發(fā)光二極管來測量力。它通過裝在球中心的幾個張力器測量出手所施加的力，閉關(guān)將其測量值轉(zhuǎn)化為三個平移運動和三個旋轉(zhuǎn)運動的值送入計算機中，計算機根據(jù)這些值來改變其輸出顯示。力矩球在選取對象時不是很直觀，一般與數(shù)據(jù)手套和立體眼鏡配合使用。圖10-11力矩球

3)操縱桿

操縱桿如圖10-12所示。它是一種可以提供六自由度及手指按鈕的外部輸入設(shè)備，適合虛擬飛行等操作。由于操縱桿采用全數(shù)字化設(shè)計，所以精度非常高。無論操作速度多快，它都能快速做出反應(yīng)。圖10-12操縱桿

4)觸覺反饋裝置

如果在VR系統(tǒng)中沒有觸覺反饋，當用戶接觸到虛擬世界的某一物體時，易使手穿過物體，從而失去真實感。解決這種問題的有效方法是在用戶交互設(shè)備中增加觸覺反饋。觸覺反饋主要利用視覺、氣壓感、振動觸感、電子觸感和神經(jīng)肌肉模擬等方法來實現(xiàn)。例如，皮膚反饋可變點脈沖的電子觸感反饋和直接刺激皮層的神經(jīng)肌肉模擬反饋都不太安全，相對而言，氣壓式和振動觸感是較為安全的觸覺反饋方法。

5)力覺反饋裝置

力覺和觸覺實際上是兩種不同的感知，觸覺包括的感知內(nèi)容更加豐富，如接觸感、質(zhì)感、紋理感以及溫度感等。力覺感知設(shè)備要求能反饋力的大小和方向。與觸覺反饋裝置相比，力反饋裝置相對成熟一些。目前已有的力反饋裝置包括力量反饋臂、力量反饋操縱桿、筆式六自由度游戲棒等。力量反饋操縱桿如圖10-13所示。其原理是由計算機通過反饋系統(tǒng)對用戶的手、腕、臂等的運動產(chǎn)生阻力，從而使用戶感受到作用力的方向和大小。圖10-13力量反饋操縱桿

6)運動捕捉系統(tǒng)

在VR系統(tǒng)中，為了實現(xiàn)人與VR系統(tǒng)的交互，必須確定參與者的頭部、手、身體等位置的方向，準確地跟蹤測量參與者的動作，將這些動作實時監(jiān)測出來，以便將這些數(shù)據(jù)反饋給顯示和控制系統(tǒng)。

7)機械式運動捕捉

機械式運動捕捉依靠機械裝置來跟蹤和測量運動軌跡。典型的系統(tǒng)由多個關(guān)節(jié)和剛性連桿組成，在可轉(zhuǎn)動的關(guān)節(jié)中裝有角度傳感器，可以測得關(guān)節(jié)轉(zhuǎn)動角度的變化情況。裝置運動是根據(jù)角度傳感器所測得的角度變化和連桿的高度，可以得出桿件末端點在空間中的位置和運動軌跡。實際上，裝置上任何一點的軌跡都可以被求出，剛性連桿也可以換成長度可變的伸縮桿。

8)聲學運動捕捉

常用的聲學捕捉設(shè)備由發(fā)送器、接收器和處理單元組成。發(fā)送器是一個固定的超聲波發(fā)送器，接收器一般由呈三角形排列的三個超聲波探頭組成。通過測量聲波從發(fā)送器到接收器的時間或相位差，系統(tǒng)可以確定接收器的位置和方向。

9)電磁式運動捕捉

電磁式運動捕捉是比較常用的運動捕捉設(shè)備，一般由發(fā)射源、接收傳感器和數(shù)據(jù)處理單元組成。發(fā)射源在空間按照一定時空規(guī)律分布電磁場。接收傳感器安置在表演者沿著身體的相關(guān)位置，隨著表演者在電磁場中運動，通過電纜或無線方式與數(shù)據(jù)處理單元相連。

10)光學式運動捕捉

光學式運動捕捉通過對目標上特定光點的監(jiān)視和跟蹤來完成運動捕捉的任務(wù)。目前常見的光學式運動捕捉大多數(shù)基于計算機視覺原理。從理論上說，對于空間中的一個點，只要它能同時被兩個相機鎖定，則根據(jù)同一時刻兩個相機所拍攝的圖像和相機參數(shù)，可以確定這一時刻該點在空間中的位置。當相機以足夠高的速率連續(xù)拍攝時，從圖像序列中就可以得到該點的運動軌跡。

3.聲音設(shè)備

1)三維立體聲

與三維聲音不同，立體聲是由計算機生成的、能由人工設(shè)定聲源在空間中的三維位置的一種合成聲音。這種聲音技術(shù)不僅考慮到人的頭部、軀干對聲音反射所產(chǎn)生的影響，還對人的頭部進行實時跟蹤，使虛擬聲音能隨著人的頭部運動相應(yīng)變化，從而能夠得到逼真的三維聽覺效果。

2)語音識別

VR的語音識別系統(tǒng)讓計算機具備了人類的聽覺功能，使人機以語言方式進行信息交換。VR的語音識別必須根據(jù)人類的發(fā)生機理和聽覺機制，給計算機配置“發(fā)聲器官”和“聽覺神經(jīng)”。

VR系統(tǒng)中的語音識別裝置主要用于合并其他參與者的聽覺和視覺。在大量數(shù)據(jù)輸入時，語音識別系統(tǒng)可以進行處理和調(diào)節(jié)。

4.三維數(shù)據(jù)獲取設(shè)備

3D掃描儀也稱三維立體掃描儀，是集合光、機、電和計算機技術(shù)于一體的高新科技產(chǎn)品，主要用于獲取物體外表面的三維坐標及物體的三維數(shù)字化模型。該設(shè)備不但可用于產(chǎn)品的逆向工程、快速原型制造、三維檢測(機器視覺測量)等領(lǐng)域，而且隨著三維掃描技術(shù)的不斷深入發(fā)展，諸如三維影視動畫、數(shù)字化展覽館、服裝量身定制、計算機虛擬現(xiàn)實仿真與可視化等越來越多的行業(yè)也開始應(yīng)用三維掃描儀這一便捷的手段來創(chuàng)建實物的數(shù)字化模型。

10.2.2VR開發(fā)語言及平臺

1.開發(fā)語言

目前，Unity/3Dmax建模是設(shè)計者必須掌握的。如果沒有3D引擎的支持，VR則無法進行開發(fā)。VR語言開發(fā)其實就是3D編程引擎的語言。上面提到的3D引擎和編程所需的SDK主要使用的語言是C或C++。大多數(shù)3D引擎都是由C或C++開發(fā)的。Oculus提供的SDK也是由C++開發(fā)的。在安卓設(shè)備上運行的是GearVR，它需要使用AndroidNDK并進行開發(fā)。Unreal引擎同樣由C++進行開發(fā)。MiddleVR提供了基于C++的SDK。

2.VR平臺

目前，Oculus僅支持Android(通過GearVR)和Windows平臺，而MiddleVR只能支持Windows平臺。其他的幾個引擎(如VRPN、OSVR等)都有多個應(yīng)用平臺支持，Unity3D和Unreal也有多個應(yīng)用平臺支持。PlaystationVR是PS獨有的引擎。HoloLens是Windows獨有的引擎。WebVR對目前廣大應(yīng)用平臺具有良好的適應(yīng)能力。

VR技術(shù)分為動畫和開發(fā)兩個大方向，目前大部分培訓機構(gòu)教授的都是Unity3D之類的課程。

3.Unity3D的安裝及啟動

Unity也叫Unity3D，是丹麥Unity公司開發(fā)的一款跨平臺游戲開發(fā)工具。作為一款跨平臺的游戲開發(fā)工具，Unity3D從一開始就被設(shè)計成易于使用的產(chǎn)品，用戶可以通過軟件輕松創(chuàng)建諸如三維視頻游戲、建筑可視化、實時三維動畫等類型的互動內(nèi)容。它的功能簡單明了，同時支持包括iOS、Android、PC、Web、PS3和XBOX等多個平臺的快速發(fā)布。除了簡單易用的優(yōu)點，Unity軟件還包含了價值數(shù)百萬美元的功能強大的游戲引擎。這款游戲引擎包括整合的編輯器、跨平臺發(fā)布、地形編輯、著色器、腳本、網(wǎng)絡(luò)物理和版本控制等特性，是一個全面整合的專業(yè)游戲引擎。

Unity3D的安裝及啟動方法如下：

(1)雙擊運行“UnityDownloadAssistant-5.0.0b1.exe”開始安裝，如圖10-14所示。

(2)待文件解壓縮完畢后可以看到如圖10-15所示的安裝界面。本次安裝的是64位的軟件。圖10-14安裝文件解壓圖10-1564位安裝啟動界面

(3)單擊“Next”按鈕，出現(xiàn)如圖10-16所示的界面。之后單擊“IAgree”按鈕。

圖10-16協(xié)議確認界面

(4)選擇默認安裝組件，如圖10-17所示。

圖10-17組件安裝選擇

(5)之后選擇安裝組件和功能，注意選擇本次學習所需要的相關(guān)組件和插件，默認為“C:\ProgramFiles\Unity5.0.0b1\”(在此建議大家將安裝目錄更改為D盤，因為C盤是系統(tǒng)盤，如果應(yīng)用程序過大，將會影響操作系統(tǒng)的運行速度)。

(6)如圖10-18所示，顯示安裝已完成。圖10-18安裝完成界面

(7)運行Unity3D5.0.0b1桌面快捷方式即可啟動軟件。用戶如果需要注冊賬號，可以在官方網(wǎng)站“/zh/account/edit”注冊即可。注冊激活界面如圖10-19所示。圖10-19注冊激活界面

10.3VR技術(shù)的應(yīng)用

VR應(yīng)用的主要技術(shù)包括立體顯示技術(shù)、環(huán)境建模技術(shù)、真實感圖形繪制技術(shù)、三維虛擬聲音的實現(xiàn)技術(shù)、自然交互與傳感技術(shù)和實時碰撞檢測技術(shù)等。下面分別從VR游戲及影視、VR展現(xiàn)、仿真設(shè)計和仿真訓練四個方面了解VR的應(yīng)用。

10.3.1VR游戲及影視

自電腦游戲產(chǎn)生以來就一直朝著虛擬現(xiàn)實的方向發(fā)展。從最初的文字MUD游戲，到二維游戲、三維游戲，再到網(wǎng)絡(luò)三維游戲(如圖10-20所示)，游戲在保持其實時性和交互性的同時，逼真度和沉浸感也在穩(wěn)步提高和加強，隨著三維技術(shù)的快速發(fā)展和軟硬件技術(shù)的不斷進步，真正意義上的虛擬現(xiàn)實游戲?qū)槿祟悐蕵?、教育和?jīng)濟發(fā)展做出新的貢獻。圖10-20VR游戲界面

10.3.2VR展現(xiàn)

1.情景展示

用戶通過對VR、AR等技術(shù)的使用，可以讓交互裝置系統(tǒng)釆用更為自然的人機交互手段控制作品的形式，塑造出更具沉浸感的藝術(shù)環(huán)境和在現(xiàn)實情況下不能實現(xiàn)的場景，并賦予創(chuàng)造過程新的含義。

VR所具有的臨場參與感與交互能力可以將平面的情景(如電視圖像、模型圖片等)轉(zhuǎn)化為動態(tài)的情景，可以使參與者更好地欣賞平面藝術(shù)帶來的立體效果，如圖10-21所示。另外，VR提高了藝術(shù)表現(xiàn)能力，如用戶可以足不出戶的情況下就能夠進入虛擬音樂廳欣賞音樂。

圖10-21情景展示

2.Web3D

Web3D主要有四類運用方向，分別是商業(yè)、教育、娛樂和虛擬社區(qū)。企業(yè)和電子商務(wù)三維的表現(xiàn)形式能夠全方位地展現(xiàn)一個物體，具有二維平面圖像不可比擬的優(yōu)勢。對計算機遠程教育系統(tǒng)而言，引入Web3D相關(guān)課程必將達到很好的在線教育效果。對娛樂游戲業(yè)而言，VR永遠是一個不衰的市場。現(xiàn)今，互聯(lián)網(wǎng)不是單一靜止的世界，動態(tài)HTML、Flash動畫和流式音視頻使整個互聯(lián)網(wǎng)充滿生機。動感頁面比靜態(tài)頁面更能吸引更多的用戶瀏覽。

10.3.3仿真設(shè)計

1.建筑設(shè)計

作為一種設(shè)計工具，VR以視覺形式反映了設(shè)計者的思想。例如，裝修房屋前，人們要對房屋的結(jié)構(gòu)、外形等進行細致的構(gòu)思。為了使之定量化，人們還需設(shè)計許多圖紙。然而，VR可以把這些構(gòu)思變成看得見的虛擬物體和環(huán)境，使傳統(tǒng)的設(shè)計模式提升到數(shù)字化的“即看即所得”的完美境界，大大提高設(shè)計和規(guī)劃的質(zhì)量與效率。運用VR技術(shù)，設(shè)計者可以完全按照自己的構(gòu)思去構(gòu)建虛擬的房間，也可以任意變換自己在房間中的位置，以便觀察設(shè)計的效果。

這樣既節(jié)約了時間，又節(jié)省了做模型的成本。在家居MR試裝體驗中心，消費者可以輕松繪制戶型圖，借助MR設(shè)備身臨其境地體驗設(shè)計效果。如圖10-22所示為一位女士正在通過VR設(shè)備體驗新家設(shè)計后的效果。

圖10-22家裝設(shè)計體驗

2.房地產(chǎn)開發(fā)

房地產(chǎn)項目的表現(xiàn)形式可大致分為實景模式和水晶沙盤兩種。其中，實景模式可對項目周邊配套的紅線以內(nèi)建筑和總平面內(nèi)部業(yè)態(tài)分布等進行詳細剖析展示，由外而內(nèi)表現(xiàn)項目的整體風格，同時可以通過鳥瞰、內(nèi)部漫游、自動動畫播放等形式對項目逐一展示，增強了講解過程的完整性和趣味性。

3.工業(yè)仿真

工業(yè)仿真系統(tǒng)不是簡單的場景漫游，而是真正意義上用于指導生產(chǎn)的仿真系統(tǒng)。它結(jié)合用戶業(yè)務(wù)層功能和數(shù)據(jù)庫數(shù)據(jù)來組建完整的仿真系統(tǒng)，可組建B/S、C/S兩種架構(gòu)的應(yīng)用，也可與企業(yè)ERP、MIS系統(tǒng)無縫對接，同時支持SQLServer、Oracle、MySQL等主流數(shù)據(jù)庫。工業(yè)仿真涵蓋的范圍很廣，從簡單的單臺工作站上的機械裝配到多人在線協(xié)同演練系統(tǒng)都運用了工業(yè)仿真系統(tǒng)。

VR虛擬現(xiàn)實“欺騙”的不只是你的眼睛，還有你的觸覺。一款名為HaptXgloveVR的智能手套，通過300多個微小空氣氣泡將氣體傳輸?shù)绞值谋砻?，通過充氣和放氣的效果，使用者就能感受到石頭的重量、手拂過草地的感覺，甚至能感受到植物莖脈的波紋。如圖10-23所示，該設(shè)備是一款觸覺反饋器，用于感受虛擬環(huán)境下實實在在的物品。盡管這些物體都不存在，卻能夠利用VR設(shè)備真切感受到，效果如同用手親自觸摸過一般真實。圖10-23觸覺手套

10.3.4仿真訓練

1.VR醫(yī)療

醫(yī)生通過借助X射線來判斷患者傷勢的做法非常耗時，判斷的準確率高低在很大程度上也與醫(yī)生的技術(shù)高低有關(guān)。某科技有限公司獨立研發(fā)的AR醫(yī)療技術(shù)提供了一種手術(shù)新方式，即將微型傳感器通過預(yù)置件并與之緊固連接，配帶頭顯掃描AR(如圖10-24所示)標記點后可實現(xiàn)快速手術(shù)，降低了射線傷害。圖10-24頭顯掃描AR

2.VR教育

傳統(tǒng)的應(yīng)試教育是通過教師授課的方法給學生灌輸知識。而虛擬現(xiàn)實技術(shù)可以幫助學生打造生動、逼真的學習環(huán)境，調(diào)動學生的五官使學生通過真實感受來增強記憶。相比于被動性灌輸，利用虛擬現(xiàn)實技術(shù)來進行自主學習更容易讓學生接受，這種方式更容易激發(fā)學生的學習興趣。另外，部分本?？圃盒＠锰摂M現(xiàn)實技術(shù)建立了與學科相關(guān)的虛擬實驗室來幫助學生更好地學習，讓知識技能可視化，進而讓學生能夠輕松理解復(fù)雜的概念和理論。

通過佩戴相應(yīng)的VR沉浸式教學設(shè)備，學生可以在虛擬環(huán)境中觸摸和操作物體。在這樣全新的教育方式下，他們可以快速消化難懂的知識點，從而營造一個積極的學習環(huán)境，如圖10-25所示。

圖10-25頭戴VR設(shè)備

3.軍事訓練

基于虛擬現(xiàn)實立體感和真實感的特點，在軍事訓練及作戰(zhàn)方面，軍隊指揮作戰(zhàn)人員將地圖上的山川地貌、海洋湖泊等信息數(shù)據(jù)通過計算機進行程序開發(fā)，利用虛擬現(xiàn)實技術(shù)，將原本平面的地圖變成一幅三維立體的地形圖，再通過全息技術(shù)將其投影出來，這將更直觀、更高效地進行軍事演習等訓練，增強可視化操作方式，從而促進我國綜合國力的提高。

4.航空航天訓練

由于航空航天是一項耗資巨大、非常繁瑣的工程，所以，人們利用虛擬現(xiàn)實技術(shù)和計算機的統(tǒng)計模擬，在虛擬空間中重現(xiàn)了現(xiàn)實中的航天飛機與飛行環(huán)境，使飛行員在虛擬空間中進行飛行訓練和實驗操作，極大地降低了實驗經(jīng)費和實驗的危險系數(shù)。

5.虛擬應(yīng)急演練

定期進行應(yīng)急演練對于災(zāi)害預(yù)防來說非常重要，但其投入成本高，每次演練都要投入大量的人力和物力，這使得演練不可能頻繁進行。而VR技術(shù)則為應(yīng)急演練提供了一種全新的開展模式。人們可以將事故現(xiàn)場模擬到虛擬場景中，人為制造各種事故情況，組織參演人員做出正確響應(yīng)。這樣的演練大大降低了投入成本，提高了演練實訓時間，從而提高了參演人員在面對事故災(zāi)難時的應(yīng)對能力。此外，這種方式可以打破空間的限制，方便組織各地人員進行演練。

虛擬演練有如下優(yōu)勢：

(1)仿真性。虛擬演練環(huán)境是以現(xiàn)實演練環(huán)境為基礎(chǔ)搭建的，操作規(guī)則同樣立足于現(xiàn)實中實際的操作規(guī)范，理想的虛擬環(huán)境甚至可以達到使受訓者難辨真假的逼真程度。

(2)開放性。虛擬演練打破了演練空間上的限制，受訓者可以在任意地理環(huán)境中進行集中演練。身處任意地點的人員，只要通過相關(guān)網(wǎng)絡(luò)通信設(shè)備即可進入相同的虛擬演練場所進行實時的集中化演練。

(3)針對性。與現(xiàn)實中的真實演練相比，虛擬演練的一大優(yōu)勢是可以方便地模擬任何培訓科目。借助VR技術(shù)，受訓者可以將自身置于各種復(fù)雜、突發(fā)環(huán)境中，從而進行有針對性的訓練，提高自身的應(yīng)變能力與相關(guān)處理技能。

(4)自主性。借助虛擬演練系統(tǒng)，各單位可以根據(jù)自身的實際需求在任何時間、任何地點組織相關(guān)培訓指導，并快速取得演練結(jié)果，進行演練評估和改進。受訓人員亦可以自發(fā)進行多次重復(fù)演練，使受訓人員始終處于培訓的主導地位，大大增加演練時間并提高演練效果。

(5)安全性。虛擬的演練環(huán)境遠比現(xiàn)實中安全，培訓人員與受訓人員可以大膽地在虛擬環(huán)境中嘗試各種演練方案，即使發(fā)生突發(fā)事件，也不會造成任何損失。通?？梢詫⑦@一切放入演練評定中，作為最后演練考核的參考。如圖10-26所示的VR面罩在確保飛行員人身安全的情況下，將讓飛行員在充滿煙霧的駕駛艙內(nèi)清晰地看到其他場景，此做法旨在幫助飛行員在緊急情況下(如煙霧中)安全著陸。虛擬的演練可以幫助人們卸去事故隱患的包袱，盡可能極端地進行演練，從而大幅提高人們的技能水平，確保在實際操作中的人身安全。圖10-26VR面罩

10.4AR與MR

10.4.1AR技術(shù)1.AR的概念A(yù)R的全稱是AugmentedReality，它是增強現(xiàn)實技術(shù)(或擴增現(xiàn)實技術(shù))的縮寫。AR增強現(xiàn)實技術(shù)是促使真實世界信息和虛擬世界信息綜合在一起的較新的技術(shù)，它將在現(xiàn)實世界的空間范圍中難以進行體驗的實體信息在計算機等科學技術(shù)的基礎(chǔ)上，實施模擬仿真處理，將虛擬信息內(nèi)容在真實世界中加以有效應(yīng)用。

AR系統(tǒng)具有以下三個突出的特點：

(1)AR系統(tǒng)可以將真實世界和虛擬的信息集成。

(2)AR系統(tǒng)具有實時交互性。

(3)AR系統(tǒng)通過在三維尺度空間中增添定位虛擬物體。

2.VR與AR的區(qū)別與聯(lián)系

1)VR與AR的區(qū)別

(1)運用的技術(shù)不同。VR是仿真技術(shù)與計算機圖形學、人機接口技術(shù)、多媒體技術(shù)、傳感技術(shù)、網(wǎng)絡(luò)技術(shù)等多種技術(shù)的集合。而AR包括了多媒體、三維建模、實時視頻顯示及控制、多傳感器融合、實時跟蹤及注冊、場景融合等新技術(shù)與新手段。

(2)原理不同。VR是利用計算機生成模擬環(huán)境的一種多源信息融合的、交互式的三維動態(tài)視景和實體行為的系統(tǒng)仿真，能使用戶沉浸到該環(huán)境中。而AR是將圖像、聲音和其他感官增強功能實時添加到真實世界的環(huán)境中。

(3)功能不同。VR可以實現(xiàn)人機交互，存在多種感知，能完全使人沉浸在虛擬世界之中，而AR技術(shù)必須與現(xiàn)實相結(jié)合，智能性較低，不能人機交互，也無法使人產(chǎn)生沉浸感。

(4)使用范圍不同。VR呈現(xiàn)的是一種完全虛擬的圖像，同時通過動作監(jiān)測技術(shù)來追蹤用戶的動作，并將其反映到內(nèi)容中，提供一種沉浸式的體驗。它更適合應(yīng)用在電子游戲、沉浸式影視等領(lǐng)域。AR則是基于現(xiàn)實環(huán)境來產(chǎn)生疊加數(shù)字圖像，同樣具有一些動作追蹤和反饋技術(shù)。用戶將會看到現(xiàn)實的景物，而不是虛擬的圖像。AR設(shè)備的表現(xiàn)形式通常為具有一定透明度的眼鏡。同時，它會集成影像投射元件，讓用戶在現(xiàn)實環(huán)境中看到一些數(shù)字圖像。

(5)發(fā)展方向不同。如圖10-27所示，VR是一種專注娛樂、視覺體驗的新技術(shù)，頭戴VR設(shè)備可以替代傳統(tǒng)二維屏幕。同時，通過加入互動性，讓用戶真正體驗到“身處”電子游戲世界中的樂趣。AR則是未來計算機的終極形態(tài)，用戶在可以看到現(xiàn)實環(huán)境的同時，能夠和好友視頻通話、處理文檔或演示內(nèi)容。圖10-27VR與AR的發(fā)展方向2)VR與AR的聯(lián)系

3.AR技術(shù)原理

AR技術(shù)提供了在一般情況下人類可以感知的信息。一個完整的AR系統(tǒng)由一組緊密連接、實時工作的硬件部件與相關(guān)的軟件系統(tǒng)協(xié)同實現(xiàn)，常由以下三種形式實現(xiàn)。

1)顯示器式

顯示器式AR基于計算機顯示器來實現(xiàn)效果。它將攝像機拍攝的現(xiàn)實世界圖像輸入到計算機中，該圖像便與計算機圖形系統(tǒng)產(chǎn)生的虛擬景象合成，之后，顯示器式AR再將增強的圖像輸出到屏幕顯示器上，用戶通過屏幕看到最終的增強場景圖片。它的優(yōu)點是操作簡單，缺點是其效果給用戶帶來的沉浸感不強。

2)光學透視式

頭盔式顯示器(Head-MountedDisplay，HMD)廣泛應(yīng)用于VR系統(tǒng)中，以增強用戶的視覺沉浸感。AR也采用了類似的技術(shù)，開發(fā)了在AR中廣泛應(yīng)用的穿透式HMD。根據(jù)其具體實現(xiàn)原理，HMD又劃分為兩大類，分別是基于光學原理的透視式HMD和基于視頻合成技術(shù)的透視式HMD。

光學透視式AR系統(tǒng)具有操作簡單、分辨率高、沒有視覺偏差等優(yōu)點，但它同時也存在著對定位精度要求高、延遲匹配難、視野相對較窄和價格高等缺點。

3)視頻透視式

視頻透視式AR采用的是基于視頻合成技術(shù)的穿透式HMD(VideoSee-ThroughHMD)。

4.AR技術(shù)的起源和發(fā)展

AR技術(shù)的起源可追溯到20世紀五六十年代MortonHeilig所發(fā)明的SensoramaStimulator。他是一名電影制作人、發(fā)明家。他利用多年的電影拍攝經(jīng)驗設(shè)計出了叫SensoramaStimulator的機器。SensoramaStimulator同時結(jié)合了圖像、聲音、香味和震動，讓人們感受到騎著摩托車在紐約布魯克林街道奔馳的場景。這個發(fā)明在當時非常超前。以此為契機，AR技術(shù)不斷發(fā)展起來。

10.4.2MR技術(shù)

1.MR的概念

在20世紀七八十年代，為了增強視覺效果，讓眼睛在任何情境下都能夠“看到”周圍環(huán)境，SteveMann設(shè)計出了可穿戴智能硬件，這被認為是對MR技術(shù)的初步探索。

混合現(xiàn)實(MixedReality，MR)技術(shù)是虛擬現(xiàn)實技術(shù)的進一步發(fā)展，該技術(shù)通過在現(xiàn)實場景呈現(xiàn)虛擬場景信息，在現(xiàn)實世界、虛擬世界和用戶之間搭起一個交互反饋的信息回路，以增強用戶體驗的真實感。MR是一組技術(shù)的組合，它不僅提供了新的觀看方法，還提供了新的輸入方法。

MR的核心優(yōu)勢是把VR和AR的優(yōu)點集于一身。從理論上講，MR可讓用戶看到現(xiàn)實世界(類似AR的效果)，同時又能呈現(xiàn)出可信的虛擬物體(類似VR的效果)。隨后，它會把虛擬物體固定在真實空間中，從而給人以真實感。在混合現(xiàn)實當中，體驗者可以感受到虛擬物體與現(xiàn)實世界之間的依存關(guān)系。它也完全符合現(xiàn)實世界中的透視法則，用戶走近看物體，物體會變大，而離遠之后物體會變小。

2.MR與VR、AR的區(qū)別與聯(lián)系

MR是在VR和AR興起的基礎(chǔ)上提出的一項概念，可以把MR視為AR的增強版。用戶通過VR看到的情境都是虛擬的。A