虛擬現(xiàn)實技術導論 課件 梁曉輝 第1、2章 概論、虛擬現(xiàn)實常用軟硬件

虛擬現(xiàn)實技術導論第1章概論本講大綱1.1基本概念及發(fā)展簡史1.2虛擬現(xiàn)實的關聯(lián)概念1.3典型特征1.4虛擬現(xiàn)實系統(tǒng)1.5虛擬現(xiàn)實系統(tǒng)的構建過程1.6習題1.1基本概念及發(fā)展簡史虛擬現(xiàn)實(VR)——三元世界的界面真實世界虛擬世界

人虛擬現(xiàn)實是人與虛擬世界及真實世界的相互作用虛擬現(xiàn)實就是采用以計算機技術為核心的現(xiàn)代高技術生成逼真的視、聽、觸覺一體化的一定范圍的三維虛擬環(huán)境，用戶可以借助必要的裝備以自然的方式與虛擬環(huán)境中的物體進行交互作用、相互影響，從而獲得親臨等同真實環(huán)境的感受和體驗?；靖拍钐摂M現(xiàn)實技術充分利用計算機硬件和軟件的集成技術，提供一種實時、三維的虛擬環(huán)境，用戶借助必要的設備（如頭盔，手套等）以自然方式與虛擬環(huán)境中的物體進行交互，從而沉浸于虛擬環(huán)境中，產(chǎn)生接近真實環(huán)境的感受和體驗。虛擬環(huán)境是由計算機生成的實時動態(tài)的三維立體逼真圖像，它可以是某一現(xiàn)實世界的再現(xiàn)，也可以是虛擬構想的世界。關鍵詞：3D+交互基本概念3D＋交互示例虛擬現(xiàn)實產(chǎn)生的背景與應用需求演化密切相關與計算技術發(fā)展密切相關虛擬現(xiàn)實產(chǎn)生的背景現(xiàn)代科學研究的主要手段理論研究（推導、演繹）科學實驗（統(tǒng)計、歸納）一個問題如何使得計算過程和結(jié)果更為直觀？科學計算數(shù)值計算方法模擬仿真新的計算方法虛擬現(xiàn)實產(chǎn)生的背景直觀為什么首先要可視？真正的直觀需要可視、可聽、可觸、可嗅，而視覺占到人的輸入信息的80%以上，是基本的可視的概念并不陌生解析幾何（代數(shù)、幾何）在于虛擬現(xiàn)實關聯(lián)的學科中，與“可視”相關的也是最早發(fā)展的虛擬現(xiàn)實產(chǎn)生的背景虛擬現(xiàn)實考慮的核心問題如何把現(xiàn)實世界中物體和數(shù)據(jù)映射成具有某種幾何、物理和行為屬性的對象（實物虛化）如何計算機中的虛擬對象映射到現(xiàn)實世界中（虛物實化）發(fā)展簡史80多年前的飛行模擬器……1929年EdwinA.Link發(fā)明了一種飛行模擬器“藍盒子”，可提供俯仰、偏航、滾轉(zhuǎn)等復雜飛行動作。這是人類模擬仿真物理現(xiàn)實的初次嘗試如今，全球民航共使用著約1200余臺全飛模擬機，其中約550臺位于美國、75臺位于英國、我國擁有約60多臺，而德國和日本分別擁有50臺，法國擁有其中的40余臺發(fā)展簡史

50多年前的摩托車仿真器……1956年，MortonHeileg開發(fā)了一個摩托車仿真器Sensorama，基于一對并排的35mm照相機實現(xiàn)三維視頻反饋，有立體聲效，能產(chǎn)生振動感覺1962年的“Sensoramasimulator”專利已具有一定的VR技術的思想發(fā)展簡史圖形學和VR的里程碑，63－68年……IvanSutherland：1963畫板1965終極的顯示1966HMD1968

E&S1988圖靈獎發(fā)展簡史圖形學和VR的里程碑，63－68年……IvanSutherland：1963畫板1965終極的顯示1966HMD1968

E&S1988圖靈獎發(fā)展簡史人機交互1987年，James.D.Foley在具有影響力的《科學美國人》上發(fā)表了“InterfacesforAdvancedComputing”。該雜志還發(fā)表了報導數(shù)據(jù)手套的文章，引起人們的關注發(fā)展簡史AR……VR……1973年，Krueger提出了“ArtificialReality”一詞，這是早期出現(xiàn)的VR詞語1989年，美國VPL公司的創(chuàng)立者JaronLanier提出了VirtualReality一詞2014年3月20日，F(xiàn)acebook公司宣布斥資20億美元收購虛擬現(xiàn)實公司Oculus。這是Facebook金額排名第二的收購交易2014年7月25日，Amazon發(fā)布FirePhone3D手機，

增強3D購物/娛樂體驗2014年9月，微軟研發(fā)3D觸覺反饋觸摸屏：醫(yī)生可以摸到腫瘤2015年1月22日，微軟舉辦Win10預覽版發(fā)布會，推出HoloLens全息影像頭盔2015年CES（國際消費電子展），三星等推出的多款虛擬現(xiàn)實頭盔、應用等發(fā)展簡史發(fā)展簡史虛擬現(xiàn)實可能應用的九個領域：2016年1月14日，高盛發(fā)布58頁報告，指出虛擬現(xiàn)實（VR）和增強現(xiàn)實（AR）將像PC一樣改變世界預期到2025年VR和AR軟硬件營收達800-1800億美元高盛預測報告：像PC一樣改變世界視頻游戲現(xiàn)場直播視頻娛樂零售業(yè)房地產(chǎn)教育健康工程軍事發(fā)展簡史2018年，美國公布的《2016-2045年新興科技趨勢報告》預測未來30年里，虛擬現(xiàn)實和增強現(xiàn)實這些技術將成為主流技術。AR將把實時相關的信息給用戶投放在現(xiàn)實中，而VR則可以通過融合視覺、聽覺、嗅覺和觸覺來實現(xiàn)深度沉浸的體驗。發(fā)展簡史近年來，元宇宙（Metaverse）成為市場上比較火熱的概念。元宇宙指利用科技手段連接與創(chuàng)造出與現(xiàn)實世界映射和交互的虛擬世界，該虛擬世界同時是一個具備基本新型社會體系的數(shù)字生活空間。其本質(zhì)是對現(xiàn)實世界的虛擬化、數(shù)字化，包括對內(nèi)容生產(chǎn)、經(jīng)濟系統(tǒng)、用戶體驗以及實體世界大量真實內(nèi)容的改造。其中，擴展現(xiàn)實（ExtendedReality，XR）技術是VR與AR技術的綜合，為用戶提供沉浸式體驗，與數(shù)字孿生技術、區(qū)塊鏈技術一道成為支持元宇宙的核心技術之一。發(fā)展簡史使人機界面、人機交互自然、友好是計算機科學工作者不懈追求的目標。計算與仿真成為科學技術探索除理論研究、科學實驗之外的第三種手段。人們在許多領域所需解決的問題越來越需要有力的預測手段和虛擬環(huán)境。追求、探求、需求計算機科學工作者不斷追求的三個目標：快捷，聰明，和諧虛擬現(xiàn)實的三大應用方向訓練演練(模擬現(xiàn)實環(huán)境)規(guī)劃（設計）預測(虛擬未來環(huán)境)觀賞娛樂(構想現(xiàn)實未來幻想環(huán)境)1.2虛擬現(xiàn)實的關聯(lián)概念與VR緊密相關的概念MR（混合現(xiàn)實）、AR（增強現(xiàn)實）、AV（增強虛擬）這些概念根據(jù)虛擬環(huán)境與真實環(huán)境信息融合的程度劃分虛擬現(xiàn)實發(fā)展的四個傳統(tǒng)領域

虛擬現(xiàn)實傳統(tǒng)仿真真實數(shù)據(jù)等游戲動畫CAD/CAM圖形圖像人機交互等概念仿真等虛擬實體等近年來一些熱詞都有與虛擬現(xiàn)實相關內(nèi)容云計算：GoogleGlass（顯示）大數(shù)據(jù)：可視分析（視覺處理）可穿戴：新型人機界面（交互方式）5G：全景展示（內(nèi)容展現(xiàn)形式）人工智能：內(nèi)容處理，交互1.3典型特征VR3I典型特征示意圖沉浸（Immersion）交互（Interaction）構想（Imagination）虛擬現(xiàn)實的三個主要特點依托的學科多（多學科交叉融合）應用性強（與應用領域交叉融合）高度依賴數(shù)據(jù)資源和計算資源1.4虛擬現(xiàn)實系統(tǒng)虛擬現(xiàn)實系統(tǒng)邏輯結(jié)構典型虛擬現(xiàn)實系統(tǒng)一般包含一個虛擬環(huán)境（VirtualEnvironment，VE）及若干化身虛擬現(xiàn)實系統(tǒng)的4種分類（1）沉浸型（2）桌面型（3）增強型（4）分布型沉浸型這類系統(tǒng)主要面向高端應用，其典型特點是使用高端圖形工作站（群）和高逼真感的視聽觸設備，以提供更好的沉浸感。航天航空領域的應用沉浸型這類系統(tǒng)主要面向高端應用，其典型特點是使用高端圖形工作站（群）和高逼真感的視聽觸設備，以提供更好的沉浸感。醫(yī)學領域的應用桌面型這類系統(tǒng)主要面向普及型應用，其典型特點是基于個人計算機和常規(guī)交互設備，在通用硬件上構造簡易型的系統(tǒng)。虛擬奧運博物館增強型這類系統(tǒng)主要面向增強現(xiàn)實的應用，其典型特點是：利用機械、聲波、光學、電磁技術獲取運動物體的3D姿態(tài)，然后與虛擬對象進行注冊、融合，并使用透視頭盔式顯示器，在現(xiàn)實場景中疊加虛擬物體，增加虛實融合的內(nèi)容。大飛機虛擬融合系統(tǒng)分布型這類系統(tǒng)主要面向網(wǎng)絡環(huán)境下的虛擬現(xiàn)實應用，其典型特點是：利用網(wǎng)絡將不同節(jié)點的虛擬現(xiàn)實系統(tǒng)加以聯(lián)結(jié)，構建共享一致的虛擬環(huán)境，從而進行協(xié)同和交互。分布型分布型虛擬現(xiàn)實系統(tǒng)的典型架構：邏輯層主要實現(xiàn)了虛擬環(huán)境物理層通過每個虛擬的區(qū)域可能對應一個區(qū)域服務器此外，物理層還設置了模型服務器與監(jiān)控服務器用于數(shù)據(jù)處理與服務管理1.5虛擬現(xiàn)實系統(tǒng)的構建過程虛擬現(xiàn)實系統(tǒng)構建過程建模+渲染+交互界面1.6習題習題虛擬現(xiàn)實的概念是什么？其主要特征是什么？構造虛擬環(huán)境的主要過程是什么？你認為構造虛擬環(huán)境的難點是什么？虛擬現(xiàn)實技術導論第2章虛擬現(xiàn)實常用軟硬件本講大綱2.1典型輸入設備2.2典型輸出設備2.3常用軟件2.4習題2.1典型輸入設備用戶位姿獲取設備電磁跟蹤設備（電磁發(fā)射、接收）聲學跟蹤設備（超聲等發(fā)射、接收）光學跟蹤設備（光學傳感器、攝像頭）光波、有標志點、無標識點、深度圖通過攝像機獲取二維圖像標志點，進而獲得三維位置慣性跟蹤設備（加速度計、陀螺儀）眼球跟蹤設備混合方式用戶位姿獲取設備——電磁跟蹤設備現(xiàn)有電磁跟蹤設備一般由控制部件、信號發(fā)射器（transmitter）和接收器（receiver）組成發(fā)射器與接收器均包括3個相互垂直（正交）的電磁感應圈；發(fā)射器通過電磁感應圈產(chǎn)生磁場，接收器接收到磁場，并在感應圈上產(chǎn)生相應的電流；根據(jù)接收到的電流信號，通過控制部件預先設定的算法計算，就能得到跟蹤目標相對于接收器的位置和方向。根據(jù)所發(fā)射磁場的不同，又可分為交流電發(fā)射器型和直流電發(fā)射器型。用戶位姿獲取設備——電磁跟蹤設備目前使用較為廣泛的直流電跟蹤系統(tǒng)，如AscensionTechnology公司的FlockofBirds系統(tǒng)，其刷新率可達100Hz，系統(tǒng)延遲在沒有噪聲濾波器的情況下，最小可到17ms。FlockofBirds系統(tǒng)用戶位姿獲取設備——聲學跟蹤設備聲學跟蹤技術利用超聲波的特性來達到目標的位置跟蹤。不過從理論上講，聽覺波也是可以使用的。聲學跟蹤系統(tǒng)根據(jù)其跟蹤方法可以分為兩類：飛行時間（TimeofFlight，ToF）測量法相位差（Phase-Coherent，PC）測量法為了更好地確定目標位置和方向，在實際應用中，通常采用多個超聲波發(fā)射/接收傳感器。Logitech跟蹤設備用戶位姿獲取設備——光學跟蹤設備光學跟蹤系統(tǒng)的感光設備種類很多，如普通攝像機、光敏二極管等。光源也是多種多樣的，可以是環(huán)境光，也可以是受跟蹤器控制發(fā)出的光。為了防止可見光的干擾，有時也使用紅外線作為光源。光學跟蹤系統(tǒng)使用的技術主要可分為：標志系統(tǒng)模式識別系統(tǒng)激光測距系統(tǒng)光學跟蹤設備用戶位姿獲取設備——標志系統(tǒng)標志系統(tǒng)（markersystem）也稱為信號燈系統(tǒng)或固定傳感器系統(tǒng)，是當前使用最多的光學跟蹤技術。它有兩種結(jié)構：自外而內(nèi)（out-inside）結(jié)構，例如圖a以及結(jié)構自內(nèi)而外（inside-out）結(jié)構，例如圖b。用戶位姿獲取設備——模式識別系統(tǒng)模式識別系統(tǒng)的原理是通過比較已知的樣本模式與傳感器得到的模式而得出物體位置的，它其實是前面介紹的標志系統(tǒng)的一個改進。把幾個LED那樣的發(fā)光器件按某一固定陣列（即樣本模式排列），并將其固定在被跟蹤對象的身上。然后由攝像機跟蹤拍攝運動的LED陣列，記錄整個LED陣列模式的變化。這實際上是將人的運動抽象為固定模式的LED點陣運動，從而避免從圖像中直接識別被跟蹤物體所帶來的復雜性。用戶位姿獲取設備——激光測距系統(tǒng)激光測距系統(tǒng)將激光發(fā)射到被測物體，然后接收從物體上反射回來的光測量出位置。激光通過一個衍射光柵射到被跟蹤物體上，然后接收經(jīng)物體表面反射的2D衍射圖的傳感器記錄。這種經(jīng)反射的衍射圈帶有一定的畸變，而這一畸變是與距離有關的，作為測量距離的一種量度。HTCViveLighthouseHTCViveLighthouse使用雙基站定位系統(tǒng)。Valve在頭顯和控制器上安裝了很多光敏傳感器。在基站的LED閃光之后就會同步信號，然后光敏傳感器可以測量出軸激光和軸激光分別到達傳感器的時間。這個時間就正好是軸和軸激光轉(zhuǎn)到這個特定的，點亮傳感器的角度的時間，于是傳感器相對于基站的軸和軸角度也就已知了；分布在頭顯和控制器上的光敏傳感器位置也是已知的，于是通過各個傳感器的位置差，就可以計算出頭顯位置和運動軌跡。用戶位姿獲取設備——慣性跟蹤設備慣性跟蹤技術使用慣性傳感器進行跟蹤，主要包括陀螺儀（gyroscope）傳感器從原理上，高速旋轉(zhuǎn)的陀螺有保持其旋轉(zhuǎn)軸朝向不變的能力，可以測量被跟蹤物體的3自由度選擇運動（yaw、roll、pitch），從而達到對頭部方向運動的跟蹤。加速器（accelerator）傳感器加速計用來測量頭部運動的加速度或者是環(huán)境中運動物體的加速度，達到對頭部位置運動的跟蹤。慣性跟蹤設備用戶位姿獲取設備——眼球跟蹤設備ASL的MobileEye是可移動的眼球軌跡追蹤系統(tǒng)，專為需要自由移動應用而設計，可以用在室內(nèi)也可以在戶外，它緊湊、堅固，能應用到體育方面。該系統(tǒng)重量輕，用于記錄的設備也很小，能別在一條皮帶上。眼睛圖像和場景圖像交錯地保存在特制的DVCR磁帶里，以確保足夠高分辨率。其采樣率為25/30Hz。ASLModel504用戶運動數(shù)據(jù)獲取設備運動捕獲是記錄人體運動信息以供分析和回放的技術。捕捉的數(shù)據(jù)既可簡單到記錄軀體部件的空間位置，也可復雜到記錄臉部和肌肉群的細致運動。應用在計算機角色動畫的運動捕捉則涉及到如何把真人動作轉(zhuǎn)換為虛擬角色的動作，直接轉(zhuǎn)換映射，用真人演員的手臂運動控制虛擬角色的手臂動作間接轉(zhuǎn)換映射，用真人演員的手臂和手指動作來控制虛擬角色的皮膚顏色和情緒等。影視特效動畫制作虛擬現(xiàn)實游戲人體工程學模擬訓練生物力學用戶運動數(shù)據(jù)獲取設備運動數(shù)據(jù)獲取裝備全身運動捕捉系統(tǒng)機械電子式運動捕捉系統(tǒng)光學動作捕捉系統(tǒng)臉部表情捕捉系統(tǒng)數(shù)據(jù)手套用戶運動數(shù)據(jù)獲取設備——機械電子式運動捕捉系統(tǒng)ME4是ME電子機械式運動捕獲系統(tǒng)的最新產(chǎn)品ME4更貼身、重量更輕、操作更簡單，其設計最大程度滿足用戶動作的自由度和舒適度，由安放于人體17處關節(jié)的43只運動傳感器精確記錄運動者骨骼的轉(zhuǎn)動ME4價格低，同時可最多捕獲16人的運動信息，沒有光學運動捕獲常見的測量死角和標記點混淆，沒有電磁跟蹤系統(tǒng)常見的外界干擾產(chǎn)生的誤差增加傳感器錨點數(shù)量、位置（頭、肘、膝蓋、臀部）可配合完成諸如頭手倒立、四肢匍匐、就座等復雜動作捕獲。用戶運動數(shù)據(jù)獲取設備——光學動作捕捉系統(tǒng)光學動作捕捉系統(tǒng)廣泛用于運動、人體工程學、實時動畫制作、工業(yè)測量、臨床運動分析、知覺動作技能研究。它可用于各種環(huán)境包括醫(yī)院、工廠大學、運動場、動畫制作攝影棚和國際空間站等。PS光學式人體運動捕捉系統(tǒng)是目前光學式系統(tǒng)中價格最便宜、性能最好的系統(tǒng)。它依靠主動方式的、一元硬幣大小的LED，可以快速、高精度、方便地獲取人體各個部位的運動數(shù)據(jù)。不同于被動式的光學反射標志，其能夠?qū)崟r獲取多達120個LED主動方式標志點的運動軌跡。用戶運動數(shù)據(jù)獲取設備——臉部表情捕捉系統(tǒng)FT45臉部表情跟蹤系統(tǒng)是廣泛使用的人體臉部表情跟蹤系統(tǒng)。通過臉部的36個不同標記，F(xiàn)T45系統(tǒng)可以實時捕獲臉部運動數(shù)據(jù)。研究者可以在不同的場合多次重復使用這些數(shù)據(jù)文件。這些數(shù)據(jù)可以反映到其他虛擬角色的3D臉部模型上，從而獲得和表演者相似的表情，也可以進行表情變化。用戶運動數(shù)據(jù)獲取設備——數(shù)據(jù)手套數(shù)據(jù)手套是虛擬現(xiàn)實應用的主要交互設備，它作為一只虛擬的手或控件用于3DVR場景的模擬交互，可進行物體抓取、移動、裝配、操縱、控制，有有線和無線、左手和右手之分，可用于視景仿真軟件環(huán)境中。Material:BlackstretchlycraFlexureresolution:12-bitA/D.Minimumdynamicrangeis8bits.Flexuresensors:Proprietaryfiberopticbasedflexortechnology.2Sensorsperfinger(1stjoint[knuckle],2ndjoint).Abductionsensorsbetweenfingers.Computerinterface:RS232(2-wire:GND,TX)

8databits,1stopbit,noparity

19200bps(transmitonly)[9600bpsforwirelessglove]Powersupply:9VDCcenterpostive(150mA)Samplingrate:Thefullhand(14sensors)maybesampledatupto100samplespersecond.Transmissionfrequency:Right-handedwirelessglove:418MHz

Left-handedwirelessglove:433.92MHzWirelessrange:Upto30m真實物體幾何材質(zhì)屬性獲取設備3D掃描儀接觸式掃描儀非接觸式掃描儀激光掃描儀結(jié)構式3D掃描儀3D照相機真實物體幾何材質(zhì)屬性獲取設備——3D掃描儀利用光學、機械等方法，獲取三維物體的表面幾何屬性，分為接觸式和非接觸式。真實物體幾何材質(zhì)屬性獲取設備——接觸式掃描儀接觸式掃描儀通過內(nèi)置高精度位置和方向傳感器感知探頭所處位置。主要產(chǎn)品有MS接觸式數(shù)據(jù)化儀。MS接觸式數(shù)據(jù)化儀是由三段碳纖維臂構成，臂與臂之間由球狀連接器相連，內(nèi)置高精度位置和方向傳感器，以感知探頭所處位置。真實物體幾何材質(zhì)屬性獲取設備——非接觸式掃描儀激光掃描儀使用條狀激光對輸入對象進行掃描，使用CCD相機接受其反射光束。根據(jù)三角測距原理獲得與拍攝物體之間的距離，進行3D數(shù)據(jù)化處理。目前已成形的產(chǎn)品有DeltaSphere-3000、FastSCANCobra、ModelMaker以及VIVID系列等。結(jié)構光式3D掃描儀有別于傳統(tǒng)的激光點掃描和線掃描方式，該掃描系統(tǒng)采用結(jié)構光照相式原理對物體進行快速面掃描。目前成型的產(chǎn)品有3DREALSCAN和北京天遠的3D掃描系統(tǒng)。3D照相機美能達公司1999年推出3D1500數(shù)碼照相機可將現(xiàn)實世界中的實物實景拍攝為3D影像。3D數(shù)碼照相機在逼真再現(xiàn)立體世界方面還存在著不足，比如，目前只能通過3D技術再現(xiàn)小實物，拍攝后在計算機中處理的時間也較長。目前的3D照相機主要有Komamura的Horseman3Dcamera，它采用了雙鏡頭組，但雙鏡頭是同時工作的，因此不需要額外地處理就可以直接拍攝出紅藍立體眼鏡能夠觀看的立體照片。2.2典型輸出設備典型輸出設備視覺輸出

3D立體眼鏡頭盔式顯示器3D環(huán)幕儀全息顯示真3D立體顯示器力/觸覺輸出力覺/動感反饋設備觸覺反饋典型輸出設備——3D立體眼鏡一般由立體圖形加速卡、紅外控制發(fā)射盒、有線或線立體眼鏡，支持高分辨率、高場頻、逐行立體顯示。具有全面、小型、經(jīng)濟、適用的特點，適于基于PC機的小型VR系統(tǒng)，具有較好的性能價格比。典型輸出設備——頭盔式顯示器headmounteddisplay（HMD），分為遮擋型和透視型典型輸出設備——3D環(huán)幕儀利用投影、液晶屏構造的大范圍視景空間典型輸出設備——全息顯示伽伯通過記錄3D物體信息的物光波的振幅和位相分布，并將記錄結(jié)果稱為“全息圖”。通?？梢詫⑷D理解為一個大容量的存儲器件，存儲或“凍結(jié)”了3D物體的全部信息。為了從全息圖中提取物光波的信息，還必須采用適當?shù)墓獠ㄕ丈淙D，“解凍”或恢復原來的物光波，人眼朝向再現(xiàn)物光波進行觀察時，就如同通過全息圖去觀察原來的真實物體一樣。典型輸出設備——真3D立體顯示器基于人眼立體視覺的3D成像受到觀察角度、輔助儀器、眼睛觀察時間等限制。由于焦距固定，使得眼睛在場景中無法像觀看一個真實物體那樣收縮或改變焦距，所以沒有真正意義上實現(xiàn)物體的全面3D顯示。全息成像無法顯示動態(tài)立體圖像，很大程度上限制了全息顯示技術在現(xiàn)代信息顯示中的應用。隨著計算機技術和圖形圖像技術的發(fā)展，出現(xiàn)了直接在3D數(shù)據(jù)場中生成體素點，不需佩戴任何輔助設備，可全視角、多人同時觀察立體圖像且具有物理景深的3D顯示器，即真3D立體顯示器，其相關技術稱為真3D立體顯示技術。真3D立體顯示技術，按成像原理不同可分為：靜態(tài)成像技術動態(tài)成像技術把兩束激光束照到一個由特殊材料制造的透明圖像空間上，經(jīng)過折射，兩束光相交到一點，激發(fā)圖像空間材料發(fā)光，便產(chǎn)生了組成立體圖像最小單位—體素，每個體素對應真實物體的一個實際的點，當這兩束激光束快速移動時，在圖像空間中就形成許許多多個交叉點，無數(shù)個體素點就構成了真3D的物體圖像。動態(tài)成像技術將顯示的圖像用2D切片的方式投影到一個旋轉(zhuǎn)或平移的屏幕上，同時該屏幕以觀察者無法察覺的速度在運動，由于人眼的視覺暫留，從而在人眼中形成3D物體，實現(xiàn)圖像的真3D顯示。典型輸出設備——真3D立體顯示器當前幾種先進的真3D立體顯示器包括Felix3D以及Perspecta3D等。典型輸出設備——真3D立體顯示器力覺/動感反饋（force/kinestheticfeedback）觸覺反饋（tactilefeedback）典型輸出設備——力/觸覺輸出力覺反饋設備是虛擬現(xiàn)實系統(tǒng)中的一種重要的設備，能使參與者實現(xiàn)虛擬環(huán)境中除視覺、聽覺之外的第三感覺——觸覺和力感。它可提供高度逼真的3D力（觸覺）反饋能力，在辦公室/桌面環(huán)境下進行操作，并與標準PC機兼容。它能進一步增強虛擬環(huán)境的交互性，從而真正體會到虛擬世界中的交互真實感。相對力反饋，觸覺反饋還處于初級階段。日本岐阜大學工學系元島棲二教授的研究小組成功開發(fā)出世界最小的超敏感觸覺傳感器，在醫(yī)療器械領域應用前景廣泛。傳感器在約0.1mm3的合成樹脂中埋入了直徑1~10μm、長300~500μm、像彈簧一樣的螺旋狀微細碳線圈元件。碳線圈接觸物體之后，會將微小的壓力和溫度變化轉(zhuǎn)換成電信號。此外，傳感器還可以感知“擰”、"摩擦"等信號。2.3常用軟件構建具有逼真感和交互性的VR系統(tǒng)，首先面臨的就是建模?，F(xiàn)有的虛擬現(xiàn)實建模軟件主要集中在支持虛擬景物的幾何和物理建模方面。前者又可分為面向動畫制作與面向?qū)崟r繪制的建模軟件兩類。建模軟件面向動畫制作的建模，也稱為3D幾何造型設計，是3D動畫制作工具的基本功能。動畫制作中的建模一般包括基本幾何形體繪制、復雜模型組合等?，F(xiàn)有一些公開的3D模型庫可供使用，以提高開發(fā)效率。目前流行的3D動畫制作工具包括Alias公司的Maya，Avid公司的SoftimageXSI，SideEffectsSoftware公司的Houdini，Discreet公司的3DStudioMax，Newtek公司的Lightwave3D，Pixar公司的PhotorealisticRenderman等。建模軟件——面向動畫制作的建模軟件Maya主界面Houdini主界面3D模型的數(shù)據(jù)組織合適對實時繪制有重要影響。在面向?qū)崟r繪制3D模型格式中，最有代表性的是Multigen的OpenFlight格式。該數(shù)據(jù)格式已成為視景仿真領域公認的模型數(shù)據(jù)標準，大部分VR開發(fā)軟件，如VEGA，OpenGVS等都支持這種格式MultigenCreator是美國MultiGen-Paradigm公司推出的一個交互式3D建模軟件，支持建立優(yōu)化的3D模型，具有多邊形建模、矢量建模、大規(guī)模地形精確生成等功能。建模軟件——面向?qū)崟r繪制的建模軟件Multigencreator主界面地形模型相比其他模型規(guī)模更大，手工建模工作量巨大。因此，出現(xiàn)了一系列專為地形制作開發(fā)的工具，如CreatorTerrainStudio，TerraVista等。為提高建模效率，出現(xiàn)了一些特定功能的輔助工具，如格式轉(zhuǎn)換工具Polytrans，Deep-Exploration等，可將面向動畫制作的3D模型數(shù)據(jù)格式進行轉(zhuǎn)換，適用于實時VR系統(tǒng)；三維模型化簡工具GeomagicDecimate、Action3DReducer、RationalReducer等，可對較為復雜的面向動畫制作的3D模型進行簡化，以滿足實時繪制的需要。建模軟件——面向?qū)崟r繪制的建模軟件Terravista主界面此外，還有一些面向深度圖像的建模工具，如攝像采集裝置和激光掃描儀附帶的軟件系統(tǒng)。這些軟件系統(tǒng)專門處理通過相應設備采集到的深度圖像，并生成幾何模型。例如微軟公司的Kinect配套的KinectforwindowsSDK的界面。在SDK中專門集成了KinectFusion等算法，實現(xiàn)從深度相機的標定、3D點云建模、表面網(wǎng)格生成以及骨架標定等。建模軟件——面向?qū)崟r繪制的建模軟件Kinect

SDK主界面最初的Web3D標準是VRML（VirtualRealityMarkupLanguage），它描述了3D景物的幾何尺寸、形狀、色彩、材質(zhì)、光照等。但是由于標準過于龐大，VRML處理效率低下，很多公司并沒有完全遵循VRML標準，而是推出自己的制作工具，使用專用的文件格式和瀏覽器插件。Web3D標準與建模工具VRML

Editor主界面1998年，VRML組織改名Web3D聯(lián)盟，同時制定了一個新標準Extensible3D（X3D）。X3D整個新出現(xiàn)的XML，Java和流傳輸?shù)燃夹g，希望提高處理能力、繪制質(zhì)量和傳輸速度。2004年8月，X3D規(guī)范被ISO批準為ISO/IEC19775國際標準。但到目前為止，X3D標準仍未完全統(tǒng)一Web3D格式，面臨一些有力的競爭，如由Intel，微軟，Macromedia，Adobe，波音等公司聯(lián)合組建的3DIF（3DIndustryForum）聯(lián)盟支持的U3D（Universal3D）標準。在面向Web應用方面也有一些基于圖像的建模工具，如Canoma、Photo3D、PhotoModeler、ImageModeler。Web3D標準與建模工具虛擬環(huán)境和對象的逼真性取決于外觀建模水平，也有賴于虛擬對象的物理建模，也就是物理引擎的實現(xiàn)。物理引擎計算虛擬環(huán)境中物體運動、場景變化、物體與場景之間、物體與物體之間的交互作用和動力學特性效果。它通常以程序庫的形式提供，其中包括若干功能模塊，各模塊為應用程序留出接口。它定義了一個高層的API集合，封裝了底層的物理計算細節(jié)，使得開發(fā)人員可以專注于高層應用程序開發(fā)，大幅度縮短開發(fā)周期。物理引擎HavokPhysics是Havok公司開發(fā)的物理引擎，基于剛體動力學，能模擬多關節(jié)剛體的約束和連接，開發(fā)者可以指定對象的物理性質(zhì)，如質(zhì)量、密度、摩擦系數(shù)等。HavokPhysics引入連續(xù)碰撞檢測技術，包含RagDoll人體模型系統(tǒng)，可以表現(xiàn)車輛在虛擬環(huán)境中的各種動態(tài)效果，包括車輛間的相互碰撞和各種操作的模擬。HavokPhysics是目前應用最為廣泛的物理引擎之一，但計算量大，對CPU等硬件要求高。物理引擎為解決物理運算計算量大的問題，美國AGEIA公司研制了專門的物理加速硬件。該公司在2005年提出PPU（PhysicsProcessingUnit）的概念。PPU是繼GPU以后的又一次處理器功能專門化。2006年3月GDC06（GameDeveloperConference），游戲開發(fā)者會議），第一塊物理加速卡正式發(fā)布，命名為PhysX。在PPU的支持下，PhysX每秒可處理32000~50000個剛體，效率有了大幅度提高。物理引擎VR應用中的渲染軟件主要來源于計算機圖形學。從圖形學發(fā)展的角度，基本可分為3層：最下層是基礎3D圖形繪制庫，提供一系列圖形繪制標準API；中間層是3D圖形引擎；最上層是可視化開發(fā)平臺或?qū)嶋H應用。渲染軟件基礎3D圖形繪制庫主要有OpenGL、Direct3D、Java3D、Vulcan等，它們直接操作圖形硬件，提供了3D圖形繪制的底層基礎API。渲染軟件——基礎3D圖形繪制庫OpenGL是一個開放的3D圖形軟件包，具有建模、變換、顏色模式設置、光照和材質(zhì)設置、紋理映射、位圖顯示和圖像增強、雙緩存動畫等功能。OpenGL獨立于窗口系統(tǒng)和操作系統(tǒng)，以它為基礎開發(fā)的應用程序可以十分方便地在各種平臺間移植。Direct3D是微軟提供的基于COM接口標準的3D圖形API，具有良好的硬件兼容性，支持很多最新的圖形學技術成果。現(xiàn)在幾乎所有具有3D圖形加速的顯卡都支持Direct3D。但其接口較為復雜，且只能在Windows平臺上使用。Java3DAPI是Sun定義的用來開發(fā)3D圖形和Web3D應用程序的編程接口。除提供OpenGL，Direct3D定義的一部分底層繪制功能外，還提供了一些建造3D物體的高層構造函數(shù)。從所處層次看，Java3D兼有基礎3D圖形繪制庫和3D圖形引擎的一些功能。3D圖形引擎提供面向?qū)崟rVR應用的完整軟件開發(fā)支持，負責底層3D圖形繪制的數(shù)據(jù)組織和處理，發(fā)揮硬件的加速特性，為上層應用程序提供有效的圖形繪制支持。圖形引擎一般包括真實感渲染、3D場景管理、聲音管理、碰撞檢測、地形匹配以及實時對象維護等功能，并提供與3D虛擬環(huán)境繪制相關的高層API渲染軟件——3D圖形引擎渲染軟件——常見的圖形引擎OpenGLPerformer是一個可擴展的實時3D視景開發(fā)軟件包，在OpenGL圖形庫基礎上構建，提供了一組標準C/C++語言綁定的編程接口，通過一個靈活的3D圖形工具集提供高性能繪制能力。OpenGVS直接架構于OpenGL，Direct3D等3D圖形API上，包含一組面向?qū)ο蟮腃++API，封裝了繁雜的底層圖形驅(qū)動函數(shù)。這些API分為相機、通道、幀緩沖、煙霧、光源、對象、場景、特效、工具等各組資源，開發(fā)人員可以根據(jù)需要調(diào)用這些資源來驅(qū)動硬件實時產(chǎn)生所需的圖形。Vega支持多種3D模型，提供了許多可選模塊，支持導航、照明、動畫、人物、大規(guī)模地形、CAD數(shù)據(jù)輸入和DIS/HLA分布式應用等需求。OpenSceneGraph（OSG）是一個基于OpenGL的開源3D圖形開發(fā)庫，提供了一套C++API，具有較完整的3D圖形開發(fā)功能，通過狀態(tài)轉(zhuǎn)化、繪圖管道和自定制等操作，還可以進行繪制性能優(yōu)化。OSG主要包括場景圖形核心、Producer庫、OpenThread庫以及用戶插件等4個部分。VTree是一個面向?qū)ο蟮?D圖形開發(fā)庫，包括一系列C++類和有關函數(shù)。VTree生成并連接不同節(jié)點到一個附屬于景物實體的可視