第三章虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)課件

3虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)

現(xiàn)階段計(jì)算機(jī)的運(yùn)行速度達(dá)不到虛擬現(xiàn)實(shí)系統(tǒng)所需要的情況下，相關(guān)技術(shù)就顯得尤為重要。要生成一個(gè)三維場(chǎng)景，并使場(chǎng)景圖像能隨視角不同實(shí)時(shí)地顯示變化，只有設(shè)備是遠(yuǎn)遠(yuǎn)不夠的，還必須有相應(yīng)的技術(shù)理論相支持。13虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)現(xiàn)階段計(jì)算機(jī)的運(yùn)行速度3.1立體顯示技術(shù)人類(lèi)從客觀世界獲得的信息的80%以上來(lái)自視覺(jué)。在視覺(jué)顯示技術(shù)中，實(shí)現(xiàn)立體顯示技術(shù)成為虛擬現(xiàn)實(shí)的一種極重要的支撐技術(shù)。人的左右眼有大約6-8cm的距離，由于這種視差，使得人的大腦能將兩眼得到的細(xì)微差別圖像進(jìn)行融合而產(chǎn)生有空間感的立體物體。立體圖的產(chǎn)生基本過(guò)程是對(duì)同一場(chǎng)景分別產(chǎn)生兩個(gè)相應(yīng)于左右雙眼的不同圖像，讓它們之間具有一定的視差。在觀察時(shí)借助立體眼鏡等設(shè)備，使左右雙眼只能看到與之相應(yīng)的圖像，視線(xiàn)相交于三維空間中的一點(diǎn)上，從而恢復(fù)出三維深度信息。常見(jiàn)有彩色眼鏡法、偏振光眼鏡法、串行立體顯示法等。23.1立體顯示技術(shù)人類(lèi)從客觀世界獲得的信息的80%以上來(lái)自3.2環(huán)境建模技術(shù)虛擬環(huán)境建模的目的在于獲取實(shí)際三維環(huán)境的三維數(shù)據(jù)，并根據(jù)其應(yīng)用的需要，利用獲取的三維數(shù)據(jù)建立相應(yīng)的虛擬環(huán)境模型。只有設(shè)計(jì)出反映研究對(duì)象的真實(shí)有效的模型，虛擬現(xiàn)實(shí)系統(tǒng)才有可信度。33.2環(huán)境建模技術(shù)虛擬環(huán)境建模的目的在于獲取實(shí)際三維環(huán)境的3.2環(huán)境建模技術(shù)虛擬現(xiàn)實(shí)系統(tǒng)中的虛擬環(huán)境，可能有下列幾種情況：（1）模仿真實(shí)世界中的環(huán)境（系統(tǒng)仿真）（2）人類(lèi)主觀構(gòu)造的環(huán)境（3）模仿真實(shí)世界中的人類(lèi)不可見(jiàn)的環(huán)境（科學(xué)可視化）43.2環(huán)境建模技術(shù)虛擬現(xiàn)實(shí)系統(tǒng)中的虛擬環(huán)境，可能有下列幾種3.2環(huán)境建模技術(shù)虛擬現(xiàn)實(shí)系統(tǒng)中的環(huán)境建模技術(shù)與其他圖形建模技術(shù)相比，主要有以下三個(gè)特點(diǎn)：（1）虛擬環(huán)境中可以有很多的物體，往往需要建造大量完全不同類(lèi)型的物體模型。（2）虛擬環(huán)境中有些物體有自己的行為，而一般其他圖形建模系統(tǒng)中只構(gòu)造靜態(tài)的物體，或是物體簡(jiǎn)單的運(yùn)動(dòng)。（3）虛擬環(huán)境中的物體必須有良好的操縱性能，當(dāng)用戶(hù)與物體進(jìn)行交互時(shí)，物體必須以某種適當(dāng)?shù)姆绞絹?lái)做出相應(yīng)的反應(yīng)。53.2環(huán)境建模技術(shù)虛擬現(xiàn)實(shí)系統(tǒng)中的環(huán)境建模技術(shù)與其他圖形建3.2環(huán)境建模技術(shù)基于目前的技術(shù)水平，常見(jiàn)的是三維視覺(jué)建模和三維聽(tīng)覺(jué)建模。而在當(dāng)前應(yīng)用中，環(huán)境建模一般主要是三維視覺(jué)建模。三維視覺(jué)建?？煞譃閹缀谓?、物理建模、行為建模。63.2環(huán)境建模技術(shù)基于目前的技術(shù)水平，常見(jiàn)的是三維視覺(jué)建模3.2.1幾何建模技術(shù)傳統(tǒng)意義上的虛擬場(chǎng)景基本上都是基于幾何的，就是用數(shù)學(xué)意義上的曲線(xiàn)、曲面等數(shù)學(xué)模型預(yù)先定義好虛擬場(chǎng)景的幾何輪廓，再采取紋理映射、光照等數(shù)學(xué)模型加以渲染。主要研究對(duì)象是對(duì)物體幾何信息的表示與處理。它涉及幾何信息數(shù)據(jù)結(jié)構(gòu)及相關(guān)構(gòu)造的表示與操縱數(shù)據(jù)結(jié)構(gòu)的算法建模方法。73.2.1幾何建模技術(shù)傳統(tǒng)意義上的虛擬場(chǎng)景基本上都是基于幾何3.2.1幾何建模技術(shù)幾何模型一般可分為面模型與體模型：面模型用面片來(lái)表現(xiàn)對(duì)象的表面，其基本幾何元素多為三角形；建模與繪制技術(shù)相對(duì)成熟，處理方便，但難以進(jìn)行整體形式的操作（如拉伸、壓縮等），多用于剛體對(duì)象的幾何建模。體模型用體素來(lái)描述對(duì)象的結(jié)構(gòu)，其基本幾何元素多為四面體。擁有對(duì)象的內(nèi)部信息，可以很好地表達(dá)模型在外力作用下的體特征（如變形、分裂等），但計(jì)算的時(shí)間與空間復(fù)雜度也相應(yīng)增加，多用于軟體對(duì)象的幾何建模。83.2.1幾何建模技術(shù)幾何模型一般可分為面模型與體模型：83.2.1幾何建模技術(shù)幾何建模通常采用以下兩種方法：（1）人工的幾何建模方法利用虛擬現(xiàn)實(shí)工具軟件來(lái)進(jìn)行建模，如OpenGL、Java3D、VRML等。這類(lèi)方法主要針對(duì)虛擬現(xiàn)實(shí)技術(shù)的特點(diǎn)而編寫(xiě)，編程容易，效率較高。直接從某些商品圖形庫(kù)中選購(gòu)所需的幾何圖形，可以避免直接用多邊形拼構(gòu)某個(gè)對(duì)象外形時(shí)繁瑣的過(guò)程，也可節(jié)省大量的時(shí)間。利用常用建模軟件來(lái)進(jìn)行建模。如AutoCAD、3DS等，用戶(hù)可交互式地創(chuàng)建某個(gè)對(duì)象的幾何圖形，但并非所有要求的數(shù)據(jù)都以虛擬現(xiàn)實(shí)要求的形式提供，實(shí)際使用時(shí)必須要通過(guò)相關(guān)程序或手工導(dǎo)入。自制的工具軟件。93.2.1幾何建模技術(shù)幾何建模通常采用以下兩種方法：93.2.1幾何建模技術(shù)（2）自動(dòng)的幾何建模方法采用三維掃描儀對(duì)實(shí)際物體機(jī)型三維掃描?；趫D片的建模技術(shù)。對(duì)建模對(duì)象實(shí)地拍攝兩張以上的照片，根據(jù)透視學(xué)和攝影測(cè)量學(xué)原理，根據(jù)標(biāo)志和定位對(duì)象上的關(guān)鍵控制點(diǎn)，建立三維網(wǎng)格模型。103.2.1幾何建模技術(shù)（2）自動(dòng)的幾何建模方法103.2.2物理建模技術(shù)幾何建模的下一步發(fā)展是物理建模，也就是在建模時(shí)考慮對(duì)象的物理屬性。虛擬現(xiàn)實(shí)系統(tǒng)的物理建模是基于物理方法的建模，往往采用微分方程來(lái)描述。典型的物理建模方法有分形技術(shù)和粒子系統(tǒng)。113.2.2物理建模技術(shù)幾何建模的下一步發(fā)展是物理建模，也就是3.2.3行為建模技術(shù)行為建模主要研究的是物體運(yùn)動(dòng)的處理和對(duì)其行為的描述。行為建模就是在創(chuàng)建模型的同時(shí)，不僅賦予模型外形、質(zhì)感等表現(xiàn)特征，同時(shí)也賦予模型物理屬性和“與生俱來(lái)”的行為與反應(yīng)能力，并且服從一定的客觀規(guī)律。123.2.3行為建模技術(shù)行為建模主要研究的是物體運(yùn)動(dòng)的處理和對(duì)3.2.3行為建模技術(shù)在虛擬環(huán)境行為建模中，建模方法主要有基于數(shù)值插值的運(yùn)動(dòng)學(xué)方法與基于物理的動(dòng)力學(xué)仿真方法。（1）運(yùn)動(dòng)學(xué)方法：通過(guò)幾何變換（平移和旋轉(zhuǎn)等）來(lái)描述運(yùn)動(dòng)。（2）動(dòng)力學(xué)仿真：運(yùn)用物理定律而非幾何變換來(lái)描述物體的行為，在該方法中，運(yùn)動(dòng)是通過(guò)物體的質(zhì)量和慣性、力和力矩以及其他的物理作用計(jì)算出來(lái)的。133.2.3行為建模技術(shù)在虛擬環(huán)境行為建模中，建模方法主要有基3.3真實(shí)感實(shí)時(shí)繪制技術(shù)要實(shí)現(xiàn)虛擬現(xiàn)實(shí)系統(tǒng)中的虛擬世界，僅有立體顯示技術(shù)是遠(yuǎn)遠(yuǎn)不夠的，虛擬現(xiàn)實(shí)中還有真實(shí)感與實(shí)時(shí)性的要求，也就是說(shuō)虛擬世界的產(chǎn)生不僅需要真實(shí)的立體感，而且虛擬世界還必須實(shí)時(shí)生成，這就必須要采用真實(shí)感實(shí)時(shí)繪制技術(shù)。143.3真實(shí)感實(shí)時(shí)繪制技術(shù)要實(shí)現(xiàn)虛擬現(xiàn)實(shí)系統(tǒng)中的虛擬世界，僅3.3.1真實(shí)感繪制技術(shù)真實(shí)感繪制：在計(jì)算機(jī)中重現(xiàn)真實(shí)世界場(chǎng)景的過(guò)程。其主要任務(wù)是要模擬真實(shí)物體的物理屬性，即物體的形狀、光學(xué)性質(zhì)、表面紋理和粗糙程度，以及物體間的相對(duì)位置、遮擋關(guān)系等等。實(shí)時(shí)繪制：當(dāng)用戶(hù)視點(diǎn)發(fā)生變化時(shí)，他所看到的場(chǎng)景需要及時(shí)更新，這就要保證圖形顯示更新的速度必須跟上視點(diǎn)的改變速度。153.3.1真實(shí)感繪制技術(shù)真實(shí)感繪制：在計(jì)算機(jī)中重現(xiàn)真實(shí)世界3.3.1真實(shí)感繪制技術(shù)為了提高顯示的逼真度，加強(qiáng)真實(shí)性，常采用下列方法：（1）紋理映射：紋理映射是將紋理圖像貼在簡(jiǎn)單物體的幾何表面，以近似描述物體表面的紋理細(xì)節(jié)，加強(qiáng)真實(shí)性。實(shí)質(zhì)上，它用二維的平面圖像代替三維模型的局部。（2）環(huán)境映射：采用紋理圖像來(lái)表示物體表面的鏡面反射和規(guī)則透視效果。（3）反走樣：走樣是由圖像的像素性質(zhì)造成的失真現(xiàn)象。反走樣方法的實(shí)質(zhì)是提高像素的密度。163.3.1真實(shí)感繪制技術(shù)為了提高顯示的逼真度，加強(qiáng)真實(shí)性，3.3.2基于幾何圖形的實(shí)時(shí)繪制技術(shù)傳統(tǒng)的虛擬場(chǎng)景基本上都是基于幾何的，就是用數(shù)學(xué)意義上的曲線(xiàn)、曲面等數(shù)學(xué)模型預(yù)先定義好虛擬場(chǎng)景的幾何輪廓，再采用紋理映射、光照等數(shù)學(xué)模型加以渲染。大多數(shù)虛擬現(xiàn)實(shí)系統(tǒng)的主要部分是構(gòu)造一個(gè)虛擬環(huán)境，并從不同的方向進(jìn)行漫游。要達(dá)到這個(gè)目標(biāo)，首先是構(gòu)造幾何模型，其次模擬虛擬攝像機(jī)在六個(gè)自由度運(yùn)動(dòng)，并得到相應(yīng)的輸出畫(huà)面。173.3.2基于幾何圖形的實(shí)時(shí)繪制技術(shù)傳統(tǒng)的虛擬場(chǎng)景基本上都3.3.2基于幾何圖形的實(shí)時(shí)繪制技術(shù)除了在硬件方面采用高性能的計(jì)算機(jī)，提高計(jì)算機(jī)的運(yùn)行速度以提高圖形顯示能力外，還可以降低場(chǎng)景的復(fù)雜度，即降低圖形系統(tǒng)需處理的多邊形數(shù)目。有下面幾種用來(lái)降低場(chǎng)景復(fù)雜度的方法：（1）預(yù)測(cè)計(jì)算：根據(jù)各種運(yùn)動(dòng)的方向、速率和加速度等運(yùn)動(dòng)規(guī)律，可在下一幀畫(huà)面繪制之前用預(yù)測(cè)、外推法的方法推算出手的跟蹤系統(tǒng)及其他設(shè)備的輸入，從而減少由輸入設(shè)備所帶有的延遲。（2）脫機(jī)計(jì)算：在實(shí)際應(yīng)用中有必要盡可能將一些可預(yù)先計(jì)算好的數(shù)據(jù)進(jìn)行預(yù)先計(jì)算并存儲(chǔ)在系統(tǒng)中，這樣可加快需要運(yùn)行時(shí)的速度。183.3.2基于幾何圖形的實(shí)時(shí)繪制技術(shù)除了在硬件方面采用高性3.3.2基于幾何圖形的實(shí)時(shí)繪制技術(shù)（3）3D剪切：將一個(gè)復(fù)雜的場(chǎng)景劃分成若干個(gè)子場(chǎng)景，系統(tǒng)針對(duì)可視空間剪切。虛擬環(huán)境在可視空間以外的部分被剪掉，這樣就能有效地減少在某一時(shí)刻所需要顯示的多邊形數(shù)目，以減少計(jì)算工作量，從而有效降低場(chǎng)景的復(fù)雜度。（4）可見(jiàn)消隱：系統(tǒng)僅顯示用戶(hù)當(dāng)前能“看見(jiàn)”的場(chǎng)景，當(dāng)用戶(hù)僅能看到整個(gè)場(chǎng)景很小部分時(shí)，由于系統(tǒng)僅顯示相應(yīng)場(chǎng)景，可大大減少所需顯示的多邊形的數(shù)目。193.3.2基于幾何圖形的實(shí)時(shí)繪制技術(shù)（3）3D剪切：將一個(gè)3.3.2基于幾何圖形的實(shí)時(shí)繪制技術(shù)（5）細(xì)節(jié)層次模型(LevelofDetail,LOD)：首先對(duì)同一個(gè)場(chǎng)景或場(chǎng)景中的物體，使用具有不同細(xì)節(jié)的描述方法得到的一組模型。在實(shí)時(shí)繪制時(shí)，對(duì)場(chǎng)景中不同的物體或物體的不同部分，采用不同的細(xì)節(jié)描述方法，對(duì)于虛擬環(huán)境中的一個(gè)物體，同時(shí)建立幾個(gè)具有不同細(xì)節(jié)水平的幾何模型。LOD模型是一種全新的模型表示方法，改變了傳統(tǒng)圖形繪制中的“圖像質(zhì)量越精細(xì)越好”的觀點(diǎn)，而是依據(jù)用戶(hù)視點(diǎn)的主方向、視線(xiàn)在景物表面的停留時(shí)間、景物離視點(diǎn)的遠(yuǎn)近和景物在畫(huà)面上投影區(qū)域的大小等因素來(lái)決定景物應(yīng)選擇的細(xì)節(jié)層次，以達(dá)到實(shí)時(shí)顯示圖形的目的。通過(guò)對(duì)場(chǎng)景中每個(gè)圖形對(duì)象的重要性進(jìn)行分析，使得最重要的圖形對(duì)象進(jìn)行較高質(zhì)量的繪制，而不重要的圖形對(duì)象采用較低質(zhì)量的繪制，在保證實(shí)時(shí)圖形顯示的前提下，最大程度地提高視覺(jué)效果。203.3.2基于幾何圖形的實(shí)時(shí)繪制技術(shù)（5）細(xì)節(jié)層次模型(L21213.3.3基于圖像的實(shí)時(shí)繪制技術(shù)當(dāng)前真實(shí)感圖形實(shí)時(shí)繪制的其中一個(gè)熱點(diǎn)問(wèn)題就是基于圖像的繪制(IBR,ImageBasedRendering)。IBR完全摒棄傳統(tǒng)的先建模、后確定光源的繪制方法，它直接從一系列已知的圖像中生成未知視角的圖像?；趫D像的繪制技術(shù)是基于一些預(yù)先生成的場(chǎng)景畫(huà)面，對(duì)接近于視點(diǎn)或視線(xiàn)方向的畫(huà)面進(jìn)行變換、插值與變形，從而快速得到當(dāng)前視點(diǎn)處的場(chǎng)景畫(huà)面。223.3.3基于圖像的實(shí)時(shí)繪制技術(shù)當(dāng)前真實(shí)感圖形實(shí)時(shí)繪制的其3.3.3基于圖像的實(shí)時(shí)繪制技術(shù)與基于幾何的傳統(tǒng)繪制技術(shù)相比，基于圖像的實(shí)時(shí)繪制技術(shù)的優(yōu)勢(shì)在于：（1）計(jì)算量適中，對(duì)計(jì)算機(jī)的資源要求不高。（2）作為已知的源圖像既可以是計(jì)算機(jī)生成的，也可以是用相機(jī)從真實(shí)環(huán)境中捕獲，甚至是兩者混合生成，因此可以反映更加豐富的明暗、顏色、紋理等信息。（3）圖像繪制技術(shù)與所繪制的場(chǎng)景復(fù)雜性無(wú)關(guān)，交互顯示的開(kāi)銷(xiāo)僅與所要生成畫(huà)面的分辨率有關(guān)，因此能用于表現(xiàn)非常復(fù)雜的場(chǎng)景。233.3.3基于圖像的實(shí)時(shí)繪制技術(shù)與基于幾何的傳統(tǒng)繪制技術(shù)相3.3.3基于圖像的實(shí)時(shí)繪制技術(shù)目前基于圖像的繪制的相關(guān)技術(shù)主要有以下兩種：（1）全景技術(shù)：全景技術(shù)是指在一個(gè)場(chǎng)景中選擇一個(gè)觀察點(diǎn)，用相機(jī)或攝像機(jī)每旋轉(zhuǎn)一下角度拍攝得到一組照片，再采用各種工具軟件拼接成一個(gè)全景圖像，它所形成的數(shù)據(jù)較小，對(duì)計(jì)算機(jī)要求低，適用于桌面型虛擬現(xiàn)實(shí)系統(tǒng)中，建模速度快，但一般一個(gè)場(chǎng)景只有一個(gè)觀察點(diǎn)，因此交互性較差。（2）圖像的插值及視圖變換技術(shù)：根據(jù)在不同觀察點(diǎn)所拍攝的圖像，交互地給出或自動(dòng)得到相鄰兩個(gè)圖像之間對(duì)應(yīng)點(diǎn)，采用插值或視圖變換的方法求出對(duì)應(yīng)于其他點(diǎn)的圖像，生成新的視圖，根據(jù)這個(gè)原理可實(shí)現(xiàn)多點(diǎn)漫游。243.3.3基于圖像的實(shí)時(shí)繪制技術(shù)目前基于圖像的繪制的相關(guān)技3.4三維虛擬聲音的實(shí)現(xiàn)技術(shù)虛擬現(xiàn)實(shí)系統(tǒng)中的三維聲音，使聽(tīng)者能感覺(jué)到聲音是來(lái)自圍繞聽(tīng)者雙耳的一個(gè)球形中的任何地方。因此把在虛擬場(chǎng)景中能使用戶(hù)準(zhǔn)確地判斷出聲源的精確位置、符合人們?cè)谡鎸?shí)境界中聽(tīng)覺(jué)方式的聲音系統(tǒng)稱(chēng)為三維虛擬聲音。253.4三維虛擬聲音的實(shí)現(xiàn)技術(shù)虛擬現(xiàn)實(shí)系統(tǒng)中的三維聲音，使聽(tīng)3.4.1三維虛擬聲音的作用聲音在虛擬現(xiàn)實(shí)系統(tǒng)中的作用，主要有以下幾點(diǎn)：（1）聲音是用戶(hù)和虛擬環(huán)境的另一種交互方法，人們可以通過(guò)語(yǔ)音與虛擬世界進(jìn)行雙向交流。（2）數(shù)據(jù)驅(qū)動(dòng)的聲音能傳遞對(duì)象的屬性信息。（3）增強(qiáng)空間信息，尤其是當(dāng)空間超出了視域范圍。263.4.1三維虛擬聲音的作用聲音在虛擬現(xiàn)實(shí)系統(tǒng)中的作用，主3.4.2三維虛擬聲音的特征在三維虛擬聲音系統(tǒng)最核心的技術(shù)是三維虛擬聲音定位技術(shù)，它的特征主要有：（1）全向三維定位特征：在三維虛擬空間中把實(shí)際聲音信號(hào)定位到特定虛擬專(zhuān)用源的能力。（2）三維實(shí)時(shí)跟蹤特性：在三維虛擬空間中實(shí)時(shí)跟蹤虛擬聲源位置變化或景象變化的能力。（3）沉浸感與交互性：沉浸感是指加入三維虛擬聲音后，能使用戶(hù)產(chǎn)生身臨其境的感覺(jué)，有助于增強(qiáng)臨場(chǎng)效果。而三維聲音的交互特性則是指隨用戶(hù)的運(yùn)動(dòng)而產(chǎn)生的臨場(chǎng)反應(yīng)和實(shí)時(shí)響應(yīng)的能力。273.4.2三維虛擬聲音的特征在三維虛擬3.4.3語(yǔ)音識(shí)別技術(shù)與虛擬世界進(jìn)行語(yǔ)音交互是實(shí)現(xiàn)虛擬現(xiàn)實(shí)系統(tǒng)中一個(gè)高級(jí)目標(biāo)，語(yǔ)音技術(shù)在虛擬現(xiàn)實(shí)技術(shù)中的關(guān)鍵技術(shù)是語(yǔ)音識(shí)別技術(shù)和語(yǔ)音合成技術(shù)。語(yǔ)音識(shí)別技術(shù)(ASR,AutomaticSpeechRecognition)：將人說(shuō)話(huà)的語(yǔ)音信號(hào)轉(zhuǎn)換為可被計(jì)算機(jī)程序所識(shí)別的文字信息，從而識(shí)別說(shuō)話(huà)人的語(yǔ)音指令以及文字內(nèi)容的技術(shù)。包括：參數(shù)提取、參考模式建立、模式識(shí)別等過(guò)程。283.4.3語(yǔ)音識(shí)別技術(shù)與虛擬世界進(jìn)行語(yǔ)音交互是實(shí)現(xiàn)虛擬現(xiàn)實(shí)3.4.4語(yǔ)音合成技術(shù)語(yǔ)音合成技術(shù)（TTS,TesttoSpeech）：用人工的方法生成語(yǔ)音的技術(shù)，當(dāng)計(jì)算機(jī)合成語(yǔ)音時(shí)，如何能做到聽(tīng)話(huà)人能理解其意圖并感知其情感，一般對(duì)“語(yǔ)音”的要求是清晰、可聽(tīng)懂、自然、具有表現(xiàn)力。實(shí)現(xiàn)語(yǔ)音輸出有兩種方法：（1）錄音/重放：首先要把模擬語(yǔ)音信號(hào)轉(zhuǎn)換成數(shù)字序列，編碼后暫存于存儲(chǔ)設(shè)備中（錄音），需要時(shí)再經(jīng)解碼，重建聲音信號(hào)（重放）。（2）文-語(yǔ)轉(zhuǎn)換：把計(jì)算機(jī)內(nèi)的文本轉(zhuǎn)換成連續(xù)自然的語(yǔ)聲流。應(yīng)預(yù)先建立語(yǔ)音參數(shù)數(shù)據(jù)庫(kù)、發(fā)音規(guī)則庫(kù)等。需要輸出語(yǔ)音時(shí)，系統(tǒng)按需求先合成語(yǔ)音單元，再按語(yǔ)音學(xué)規(guī)則或語(yǔ)言學(xué)規(guī)則連接成自然的語(yǔ)流。293.4.4語(yǔ)音合成技術(shù)語(yǔ)音合成技術(shù)（TTS,Testt3.5自然交互與傳感技術(shù)人機(jī)交互界面經(jīng)歷以下幾個(gè)發(fā)展階段：（1）20實(shí)際40年代到70年代，人機(jī)交互采用的是命令行方式（CLI）。（2）到20世紀(jì)80年代初，出現(xiàn)了圖形用戶(hù)界面（GUI），GUI的廣泛流行將人機(jī)交互推向圖形用戶(hù)界面的新階段。（3）到20世紀(jì)90年代初，多媒體界面成為流行的交互方式，它在界面信息的表現(xiàn)方式上進(jìn)行了改進(jìn)，使用了多種媒體。同時(shí)，界面輸出也開(kāi)始轉(zhuǎn)為動(dòng)態(tài)、二維圖形/圖像及其他多媒體信息的方式。303.5自然交互與傳感技術(shù)人機(jī)交互界面經(jīng)歷以下幾個(gè)發(fā)展階段：3.5自然交互與傳感技術(shù)作為新一代的人機(jī)交互系統(tǒng)，虛擬現(xiàn)實(shí)技術(shù)與傳統(tǒng)交互技術(shù)的區(qū)別：（1）自然交互（2）多通道（3）高“帶寬”（4）非精確交互技術(shù)313.5自然交互與傳感技術(shù)作為新一代的人機(jī)交互系統(tǒng)，虛擬現(xiàn)實(shí)3.5自然交互與傳感技術(shù)在虛擬現(xiàn)實(shí)領(lǐng)域中較為常用的交互技術(shù)有手勢(shì)識(shí)別、面部表情的識(shí)別以及眼動(dòng)跟蹤等。（1）手勢(shì)識(shí)別

手勢(shì)識(shí)別系統(tǒng)的輸入設(shè)備與主要分為基于數(shù)據(jù)手套的識(shí)別和基于視覺(jué)（圖像）的手語(yǔ)識(shí)別系統(tǒng)兩種。

基于數(shù)據(jù)手套的手勢(shì)識(shí)別系統(tǒng)，就是利用數(shù)據(jù)手套和位置跟蹤器來(lái)捕捉手勢(shì)在空間運(yùn)動(dòng)的軌跡和時(shí)序信息，對(duì)較為復(fù)雜的手的動(dòng)作進(jìn)行檢測(cè)，包括手的位置、方向和手指彎曲度等，并可根據(jù)這些信息對(duì)手勢(shì)進(jìn)行分析?；谝曈X(jué)的手勢(shì)識(shí)別是從視覺(jué)通道獲得信號(hào)，通常采用攝像機(jī)采集手勢(shì)信息，由攝像機(jī)連續(xù)拍下手部的運(yùn)動(dòng)圖像后，先采用輪廓的辦法識(shí)別出手上的每一個(gè)手指，進(jìn)而再用邊界特征識(shí)別的方法區(qū)分出一個(gè)較小的、集中的各種手勢(shì)。手勢(shì)識(shí)別技術(shù)主要有：模板匹配、人工神經(jīng)網(wǎng)絡(luò)和統(tǒng)計(jì)分析技術(shù)。323.5自然交互與傳感技術(shù)在虛擬現(xiàn)實(shí)領(lǐng)域中較為常用的交互技術(shù)3.5自然交互與傳感技術(shù)（2）面部表情識(shí)別人可以通過(guò)臉部的表情表達(dá)自己的各種情緒，傳遞必要的信息。人臉圖像的分割、主要特征（如眼睛、鼻子等）定位以及識(shí)別是這個(gè)技術(shù)的主要難點(diǎn)。一般人臉檢測(cè)問(wèn)題可以描述為：給定一副靜止圖像或一段動(dòng)態(tài)圖像序列，從未知的圖像背景中分割、提取并確認(rèn)可能存在的人臉，如果檢測(cè)到人臉，提取人臉特征。在某些可以控制拍攝條件的場(chǎng)合，將人臉限定在標(biāo)尺內(nèi)，此時(shí)人臉的檢測(cè)與定位相對(duì)容易。在另一些情況下，人臉在圖像中的位置預(yù)先是未知的，這時(shí)人臉的檢測(cè)與定位將受以下因素的影響：人臉在圖像中的位置、角度和不固定尺度以及光照的影響；發(fā)型、眼鏡、胡須以及人臉的表情變化等；圖像中的噪聲等。333.5自然交互與傳感技術(shù)（2）面部表情識(shí)別333.5自然交互與傳感技術(shù)人臉檢測(cè)的基本思想是建立人臉模型，比較所有可能的待檢測(cè)區(qū)域與人臉模型的匹配程度，從而得到可能存在人臉的區(qū)域。根據(jù)對(duì)人臉知識(shí)的利用方法，可以將人臉檢測(cè)方法分為兩大類(lèi)：基于特征的人臉檢測(cè)方法和基于圖像的人臉檢測(cè)方法。①基于特征的人臉檢測(cè)，直接利用人臉信息，比如人臉膚色、人臉的幾何結(jié)構(gòu)等。包括輪廓規(guī)則；器官分布規(guī)則；膚色、紋理規(guī)則；對(duì)稱(chēng)性規(guī)則；運(yùn)動(dòng)規(guī)則。②基于圖像的人臉檢測(cè)方法，看作一般的模式識(shí)別問(wèn)題。包括神經(jīng)網(wǎng)絡(luò)方法；特征臉?lè)椒ǎ荒０迤ヅ浞椒ā?43.5自然交互與傳感技術(shù)人臉檢測(cè)的基3.5自然交互與傳感技術(shù)（3）眼動(dòng)跟蹤人們可能經(jīng)常在不轉(zhuǎn)動(dòng)頭部的情況下，僅僅通過(guò)移動(dòng)視線(xiàn)來(lái)觀察一定范圍內(nèi)的環(huán)境或物體。為了模擬人眼的功能，在虛擬現(xiàn)實(shí)系統(tǒng)中引入眼動(dòng)跟蹤技術(shù)。眼動(dòng)跟蹤技術(shù)的基本工作原理是利用圖像處理技術(shù)，使用能鎖定眼睛的特殊攝像機(jī)。通過(guò)攝入從人的眼角膜和瞳孔反射的紅外線(xiàn)連續(xù)地記錄視線(xiàn)變化，從而達(dá)到記錄、分析視線(xiàn)追蹤過(guò)程的目的。353.5自然交互與傳感技術(shù)（3）眼動(dòng)跟蹤353.5自然交互與傳感技術(shù)（4）觸覺(jué)（力覺(jué)）反饋傳感技術(shù)

觸覺(jué)（力覺(jué)）是運(yùn)用先進(jìn)的技術(shù)手段將虛擬物體的空間運(yùn)動(dòng)轉(zhuǎn)變成特殊設(shè)備的機(jī)械運(yùn)動(dòng)，在感覺(jué)到物體的表面紋理的同時(shí)也使用戶(hù)能夠體驗(yàn)到真實(shí)的力度感和方向感，從而提供一個(gè)嶄新的人機(jī)交互界面。觸摸感知是指人與物體對(duì)象接觸所得到的全部感覺(jué)，包括觸摸感、壓感、震動(dòng)感、刺痛感等；觸摸反饋一般指作用在人皮膚上的力，它反映了人觸摸物體的感覺(jué)，側(cè)重于人的微觀感覺(jué)，如對(duì)物體的表面粗糙度、質(zhì)地、紋理、形狀等的感覺(jué)；力量反饋是作用在人的肌肉、關(guān)節(jié)和筋腱上的力量，側(cè)重于人的宏觀、整體感受，尤其是人的手指、手腕和手臂對(duì)物體運(yùn)動(dòng)力的感受。363.5自然交互與傳感技術(shù)（4）觸覺(jué)（力覺(jué)）反饋傳感技術(shù)363.6實(shí)時(shí)碰撞檢測(cè)技術(shù)在虛擬現(xiàn)實(shí)系統(tǒng)中通常包含有很多靜止的環(huán)境對(duì)象與運(yùn)動(dòng)的活動(dòng)物體，每一個(gè)虛擬物體的幾何模型往往都是由成千上萬(wàn)個(gè)基本幾何元素組成，虛擬環(huán)境的幾何復(fù)雜度使碰撞檢測(cè)的計(jì)算復(fù)雜度大大提高，同時(shí)由于虛擬現(xiàn)實(shí)系統(tǒng)中有較高實(shí)時(shí)性的要求，要求碰撞檢測(cè)必須在很短的時(shí)間（如30-50ms）完成，因而碰撞檢測(cè)成了虛擬現(xiàn)實(shí)系統(tǒng)與其他實(shí)時(shí)仿真系統(tǒng)的瓶頸，碰撞檢測(cè)是虛擬現(xiàn)實(shí)系統(tǒng)研究的一個(gè)重要技術(shù)。碰撞問(wèn)題一般分為碰撞檢測(cè)與碰撞響應(yīng)兩個(gè)部分：碰撞檢測(cè)的任務(wù)是檢測(cè)到有碰撞的發(fā)生及發(fā)生碰撞的位置；碰撞響應(yīng)是在碰撞發(fā)生后，根據(jù)碰撞點(diǎn)和其他參數(shù)促使發(fā)生碰撞的對(duì)象做出正確的動(dòng)作，以符合真實(shí)世界中的動(dòng)態(tài)效果。373.6實(shí)時(shí)碰撞檢測(cè)技術(shù)在虛擬現(xiàn)實(shí)系統(tǒng)中通常包含有很多靜止的3.6實(shí)時(shí)碰撞檢測(cè)技術(shù)碰撞檢測(cè)的要求

為了保證虛擬世界的真實(shí)性，碰撞檢測(cè)要有較高的實(shí)時(shí)性和精確性。所謂實(shí)時(shí)性，基于視覺(jué)顯示的要求，碰撞檢測(cè)的速度一般至少要達(dá)到24Hz，而基于觸覺(jué)要求，速度至少要到到300Hz才能維持觸覺(jué)交互系統(tǒng)的穩(wěn)定性，只有達(dá)到1000Hz才能獲得平滑的效果。精確性的要求取決于虛擬現(xiàn)實(shí)系統(tǒng)在實(shí)際應(yīng)用中的要求。383.6實(shí)時(shí)碰撞檢測(cè)技術(shù)碰撞檢測(cè)的要求383.6實(shí)時(shí)碰撞檢測(cè)技術(shù)碰撞檢測(cè)的實(shí)現(xiàn)方法

最簡(jiǎn)單的碰撞檢測(cè)方法是對(duì)兩個(gè)幾何模型中的所有幾何元素進(jìn)行兩兩相交測(cè)試。這種方法可以得到正確的結(jié)果，但當(dāng)模型的復(fù)雜度增大時(shí)，計(jì)算量過(guò)大，十分緩慢。對(duì)兩物體間的精確碰撞檢測(cè)的加速實(shí)現(xiàn)，現(xiàn)有的碰撞檢測(cè)算法主要可劃分為兩大類(lèi)：層次包圍盒法和空間分解法。393.6實(shí)時(shí)碰撞檢測(cè)技術(shù)碰撞檢測(cè)的實(shí)現(xiàn)方法39課堂作業(yè)請(qǐng)寫(xiě)出對(duì)虛擬現(xiàn)實(shí)的理解40課堂作業(yè)請(qǐng)寫(xiě)出對(duì)虛擬現(xiàn)實(shí)的理解403虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)

現(xiàn)階段計(jì)算機(jī)的運(yùn)行速度達(dá)不到虛擬現(xiàn)實(shí)系統(tǒng)所需要的情況下，相關(guān)技術(shù)就顯得尤為重要。要生成一個(gè)三維場(chǎng)景，并使場(chǎng)景圖像能隨視角不同實(shí)時(shí)地顯示變化，只有設(shè)備是遠(yuǎn)遠(yuǎn)不夠的，還必須有相應(yīng)的技術(shù)理論相支持。413虛擬現(xiàn)實(shí)系統(tǒng)的相關(guān)技術(shù)現(xiàn)階段計(jì)算機(jī)的運(yùn)行速度3.1立體顯示技術(shù)人類(lèi)從客觀世界獲得的信息的80%以上來(lái)自視覺(jué)。在視覺(jué)顯示技術(shù)中，實(shí)現(xiàn)立體顯示技術(shù)成為虛擬現(xiàn)實(shí)的一種極重要的支撐技術(shù)。人的左右眼有大約6-8cm的距離，由于這種視差，使得人的大腦能將兩眼得到的細(xì)微差別圖像進(jìn)行融合而產(chǎn)生有空間感的立體物體。立體圖的產(chǎn)生基本過(guò)程是對(duì)同一場(chǎng)景分別產(chǎn)生兩個(gè)相應(yīng)于左右雙眼的不同圖像，讓它們之間具有一定的視差。在觀察時(shí)借助立體眼鏡等設(shè)備，使左右雙眼只能看到與之相應(yīng)的圖像，視線(xiàn)相交于三維空間中的一點(diǎn)上，從而恢復(fù)出三維深度信息。常見(jiàn)有彩色眼鏡法、偏振光眼鏡法、串行立體顯示法等。423.1立體顯示技術(shù)人類(lèi)從客觀世界獲得的信息的80%以上來(lái)自3.2環(huán)境建模技術(shù)虛擬環(huán)境建模的目的在于獲取實(shí)際三維環(huán)境的三維數(shù)據(jù)，并根據(jù)其應(yīng)用的需要，利用獲取的三維數(shù)據(jù)建立相應(yīng)的虛擬環(huán)境模型。只有設(shè)計(jì)出反映研究對(duì)象的真實(shí)有效的模型，虛擬現(xiàn)實(shí)系統(tǒng)才有可信度。433.2環(huán)境建模技術(shù)虛擬環(huán)境建模的目的在于獲取實(shí)際三維環(huán)境的3.2環(huán)境建模技術(shù)虛擬現(xiàn)實(shí)系統(tǒng)中的虛擬環(huán)境，可能有下列幾種情況：（1）模仿真實(shí)世界中的環(huán)境（系統(tǒng)仿真）（2）人類(lèi)主觀構(gòu)造的環(huán)境（3）模仿真實(shí)世界中的人類(lèi)不可見(jiàn)的環(huán)境（科學(xué)可視化）443.2環(huán)境建模技術(shù)虛擬現(xiàn)實(shí)系統(tǒng)中的虛擬環(huán)境，可能有下列幾種3.2環(huán)境建模技術(shù)虛擬現(xiàn)實(shí)系統(tǒng)中的環(huán)境建模技術(shù)與其他圖形建模技術(shù)相比，主要有以下三個(gè)特點(diǎn)：（1）虛擬環(huán)境中可以有很多的物體，往往需要建造大量完全不同類(lèi)型的物體模型。（2）虛擬環(huán)境中有些物體有自己的行為，而一般其他圖形建模系統(tǒng)中只構(gòu)造靜態(tài)的物體，或是物體簡(jiǎn)單的運(yùn)動(dòng)。（3）虛擬環(huán)境中的物體必須有良好的操縱性能，當(dāng)用戶(hù)與物體進(jìn)行交互時(shí)，物體必須以某種適當(dāng)?shù)姆绞絹?lái)做出相應(yīng)的反應(yīng)。453.2環(huán)境建模技術(shù)虛擬現(xiàn)實(shí)系統(tǒng)中的環(huán)境建模技術(shù)與其他圖形建3.2環(huán)境建模技術(shù)基于目前的技術(shù)水平，常見(jiàn)的是三維視覺(jué)建模和三維聽(tīng)覺(jué)建模。而在當(dāng)前應(yīng)用中，環(huán)境建模一般主要是三維視覺(jué)建模。三維視覺(jué)建模可分為幾何建模、物理建模、行為建模。463.2環(huán)境建模技術(shù)基于目前的技術(shù)水平，常見(jiàn)的是三維視覺(jué)建模3.2.1幾何建模技術(shù)傳統(tǒng)意義上的虛擬場(chǎng)景基本上都是基于幾何的，就是用數(shù)學(xué)意義上的曲線(xiàn)、曲面等數(shù)學(xué)模型預(yù)先定義好虛擬場(chǎng)景的幾何輪廓，再采取紋理映射、光照等數(shù)學(xué)模型加以渲染。主要研究對(duì)象是對(duì)物體幾何信息的表示與處理。它涉及幾何信息數(shù)據(jù)結(jié)構(gòu)及相關(guān)構(gòu)造的表示與操縱數(shù)據(jù)結(jié)構(gòu)的算法建模方法。473.2.1幾何建模技術(shù)傳統(tǒng)意義上的虛擬場(chǎng)景基本上都是基于幾何3.2.1幾何建模技術(shù)幾何模型一般可分為面模型與體模型：面模型用面片來(lái)表現(xiàn)對(duì)象的表面，其基本幾何元素多為三角形；建模與繪制技術(shù)相對(duì)成熟，處理方便，但難以進(jìn)行整體形式的操作（如拉伸、壓縮等），多用于剛體對(duì)象的幾何建模。體模型用體素來(lái)描述對(duì)象的結(jié)構(gòu)，其基本幾何元素多為四面體。擁有對(duì)象的內(nèi)部信息，可以很好地表達(dá)模型在外力作用下的體特征（如變形、分裂等），但計(jì)算的時(shí)間與空間復(fù)雜度也相應(yīng)增加，多用于軟體對(duì)象的幾何建模。483.2.1幾何建模技術(shù)幾何模型一般可分為面模型與體模型：83.2.1幾何建模技術(shù)幾何建模通常采用以下兩種方法：（1）人工的幾何建模方法利用虛擬現(xiàn)實(shí)工具軟件來(lái)進(jìn)行建模，如OpenGL、Java3D、VRML等。這類(lèi)方法主要針對(duì)虛擬現(xiàn)實(shí)技術(shù)的特點(diǎn)而編寫(xiě)，編程容易，效率較高。直接從某些商品圖形庫(kù)中選購(gòu)所需的幾何圖形，可以避免直接用多邊形拼構(gòu)某個(gè)對(duì)象外形時(shí)繁瑣的過(guò)程，也可節(jié)省大量的時(shí)間。利用常用建模軟件來(lái)進(jìn)行建模。如AutoCAD、3DS等，用戶(hù)可交互式地創(chuàng)建某個(gè)對(duì)象的幾何圖形，但并非所有要求的數(shù)據(jù)都以虛擬現(xiàn)實(shí)要求的形式提供，實(shí)際使用時(shí)必須要通過(guò)相關(guān)程序或手工導(dǎo)入。自制的工具軟件。493.2.1幾何建模技術(shù)幾何建模通常采用以下兩種方法：93.2.1幾何建模技術(shù)（2）自動(dòng)的幾何建模方法采用三維掃描儀對(duì)實(shí)際物體機(jī)型三維掃描?；趫D片的建模技術(shù)。對(duì)建模對(duì)象實(shí)地拍攝兩張以上的照片，根據(jù)透視學(xué)和攝影測(cè)量學(xué)原理，根據(jù)標(biāo)志和定位對(duì)象上的關(guān)鍵控制點(diǎn)，建立三維網(wǎng)格模型。503.2.1幾何建模技術(shù)（2）自動(dòng)的幾何建模方法103.2.2物理建模技術(shù)幾何建模的下一步發(fā)展是物理建模，也就是在建模時(shí)考慮對(duì)象的物理屬性。虛擬現(xiàn)實(shí)系統(tǒng)的物理建模是基于物理方法的建模，往往采用微分方程來(lái)描述。典型的物理建模方法有分形技術(shù)和粒子系統(tǒng)。513.2.2物理建模技術(shù)幾何建模的下一步發(fā)展是物理建模，也就是3.2.3行為建模技術(shù)行為建模主要研究的是物體運(yùn)動(dòng)的處理和對(duì)其行為的描述。行為建模就是在創(chuàng)建模型的同時(shí)，不僅賦予模型外形、質(zhì)感等表現(xiàn)特征，同時(shí)也賦予模型物理屬性和“與生俱來(lái)”的行為與反應(yīng)能力，并且服從一定的客觀規(guī)律。523.2.3行為建模技術(shù)行為建模主要研究的是物體運(yùn)動(dòng)的處理和對(duì)3.2.3行為建模技術(shù)在虛擬環(huán)境行為建模中，建模方法主要有基于數(shù)值插值的運(yùn)動(dòng)學(xué)方法與基于物理的動(dòng)力學(xué)仿真方法。（1）運(yùn)動(dòng)學(xué)方法：通過(guò)幾何變換（平移和旋轉(zhuǎn)等）來(lái)描述運(yùn)動(dòng)。（2）動(dòng)力學(xué)仿真：運(yùn)用物理定律而非幾何變換來(lái)描述物體的行為，在該方法中，運(yùn)動(dòng)是通過(guò)物體的質(zhì)量和慣性、力和力矩以及其他的物理作用計(jì)算出來(lái)的。533.2.3行為建模技術(shù)在虛擬環(huán)境行為建模中，建模方法主要有基3.3真實(shí)感實(shí)時(shí)繪制技術(shù)要實(shí)現(xiàn)虛擬現(xiàn)實(shí)系統(tǒng)中的虛擬世界，僅有立體顯示技術(shù)是遠(yuǎn)遠(yuǎn)不夠的，虛擬現(xiàn)實(shí)中還有真實(shí)感與實(shí)時(shí)性的要求，也就是說(shuō)虛擬世界的產(chǎn)生不僅需要真實(shí)的立體感，而且虛擬世界還必須實(shí)時(shí)生成，這就必須要采用真實(shí)感實(shí)時(shí)繪制技術(shù)。543.3真實(shí)感實(shí)時(shí)繪制技術(shù)要實(shí)現(xiàn)虛擬現(xiàn)實(shí)系統(tǒng)中的虛擬世界，僅3.3.1真實(shí)感繪制技術(shù)真實(shí)感繪制：在計(jì)算機(jī)中重現(xiàn)真實(shí)世界場(chǎng)景的過(guò)程。其主要任務(wù)是要模擬真實(shí)物體的物理屬性，即物體的形狀、光學(xué)性質(zhì)、表面紋理和粗糙程度，以及物體間的相對(duì)位置、遮擋關(guān)系等等。實(shí)時(shí)繪制：當(dāng)用戶(hù)視點(diǎn)發(fā)生變化時(shí)，他所看到的場(chǎng)景需要及時(shí)更新，這就要保證圖形顯示更新的速度必須跟上視點(diǎn)的改變速度。553.3.1真實(shí)感繪制技術(shù)真實(shí)感繪制：在計(jì)算機(jī)中重現(xiàn)真實(shí)世界3.3.1真實(shí)感繪制技術(shù)為了提高顯示的逼真度，加強(qiáng)真實(shí)性，常采用下列方法：（1）紋理映射：紋理映射是將紋理圖像貼在簡(jiǎn)單物體的幾何表面，以近似描述物體表面的紋理細(xì)節(jié)，加強(qiáng)真實(shí)性。實(shí)質(zhì)上，它用二維的平面圖像代替三維模型的局部。（2）環(huán)境映射：采用紋理圖像來(lái)表示物體表面的鏡面反射和規(guī)則透視效果。（3）反走樣：走樣是由圖像的像素性質(zhì)造成的失真現(xiàn)象。反走樣方法的實(shí)質(zhì)是提高像素的密度。563.3.1真實(shí)感繪制技術(shù)為了提高顯示的逼真度，加強(qiáng)真實(shí)性，3.3.2基于幾何圖形的實(shí)時(shí)繪制技術(shù)傳統(tǒng)的虛擬場(chǎng)景基本上都是基于幾何的，就是用數(shù)學(xué)意義上的曲線(xiàn)、曲面等數(shù)學(xué)模型預(yù)先定義好虛擬場(chǎng)景的幾何輪廓，再采用紋理映射、光照等數(shù)學(xué)模型加以渲染。大多數(shù)虛擬現(xiàn)實(shí)系統(tǒng)的主要部分是構(gòu)造一個(gè)虛擬環(huán)境，并從不同的方向進(jìn)行漫游。要達(dá)到這個(gè)目標(biāo)，首先是構(gòu)造幾何模型，其次模擬虛擬攝像機(jī)在六個(gè)自由度運(yùn)動(dòng)，并得到相應(yīng)的輸出畫(huà)面。573.3.2基于幾何圖形的實(shí)時(shí)繪制技術(shù)傳統(tǒng)的虛擬場(chǎng)景基本上都3.3.2基于幾何圖形的實(shí)時(shí)繪制技術(shù)除了在硬件方面采用高性能的計(jì)算機(jī)，提高計(jì)算機(jī)的運(yùn)行速度以提高圖形顯示能力外，還可以降低場(chǎng)景的復(fù)雜度，即降低圖形系統(tǒng)需處理的多邊形數(shù)目。有下面幾種用來(lái)降低場(chǎng)景復(fù)雜度的方法：（1）預(yù)測(cè)計(jì)算：根據(jù)各種運(yùn)動(dòng)的方向、速率和加速度等運(yùn)動(dòng)規(guī)律，可在下一幀畫(huà)面繪制之前用預(yù)測(cè)、外推法的方法推算出手的跟蹤系統(tǒng)及其他設(shè)備的輸入，從而減少由輸入設(shè)備所帶有的延遲。（2）脫機(jī)計(jì)算：在實(shí)際應(yīng)用中有必要盡可能將一些可預(yù)先計(jì)算好的數(shù)據(jù)進(jìn)行預(yù)先計(jì)算并存儲(chǔ)在系統(tǒng)中，這樣可加快需要運(yùn)行時(shí)的速度。583.3.2基于幾何圖形的實(shí)時(shí)繪制技術(shù)除了在硬件方面采用高性3.3.2基于幾何圖形的實(shí)時(shí)繪制技術(shù)（3）3D剪切：將一個(gè)復(fù)雜的場(chǎng)景劃分成若干個(gè)子場(chǎng)景，系統(tǒng)針對(duì)可視空間剪切。虛擬環(huán)境在可視空間以外的部分被剪掉，這樣就能有效地減少在某一時(shí)刻所需要顯示的多邊形數(shù)目，以減少計(jì)算工作量，從而有效降低場(chǎng)景的復(fù)雜度。（4）可見(jiàn)消隱：系統(tǒng)僅顯示用戶(hù)當(dāng)前能“看見(jiàn)”的場(chǎng)景，當(dāng)用戶(hù)僅能看到整個(gè)場(chǎng)景很小部分時(shí)，由于系統(tǒng)僅顯示相應(yīng)場(chǎng)景，可大大減少所需顯示的多邊形的數(shù)目。593.3.2基于幾何圖形的實(shí)時(shí)繪制技術(shù)（3）3D剪切：將一個(gè)3.3.2基于幾何圖形的實(shí)時(shí)繪制技術(shù)（5）細(xì)節(jié)層次模型(LevelofDetail,LOD)：首先對(duì)同一個(gè)場(chǎng)景或場(chǎng)景中的物體，使用具有不同細(xì)節(jié)的描述方法得到的一組模型。在實(shí)時(shí)繪制時(shí)，對(duì)場(chǎng)景中不同的物體或物體的不同部分，采用不同的細(xì)節(jié)描述方法，對(duì)于虛擬環(huán)境中的一個(gè)物體，同時(shí)建立幾個(gè)具有不同細(xì)節(jié)水平的幾何模型。LOD模型是一種全新的模型表示方法，改變了傳統(tǒng)圖形繪制中的“圖像質(zhì)量越精細(xì)越好”的觀點(diǎn)，而是依據(jù)用戶(hù)視點(diǎn)的主方向、視線(xiàn)在景物表面的停留時(shí)間、景物離視點(diǎn)的遠(yuǎn)近和景物在畫(huà)面上投影區(qū)域的大小等因素來(lái)決定景物應(yīng)選擇的細(xì)節(jié)層次，以達(dá)到實(shí)時(shí)顯示圖形的目的。通過(guò)對(duì)場(chǎng)景中每個(gè)圖形對(duì)象的重要性進(jìn)行分析，使得最重要的圖形對(duì)象進(jìn)行較高質(zhì)量的繪制，而不重要的圖形對(duì)象采用較低質(zhì)量的繪制，在保證實(shí)時(shí)圖形顯示的前提下，最大程度地提高視覺(jué)效果。603.3.2基于幾何圖形的實(shí)時(shí)繪制技術(shù)（5）細(xì)節(jié)層次模型(L61213.3.3基于圖像的實(shí)時(shí)繪制技術(shù)當(dāng)前真實(shí)感圖形實(shí)時(shí)繪制的其中一個(gè)熱點(diǎn)問(wèn)題就是基于圖像的繪制(IBR,ImageBasedRendering)。IBR完全摒棄傳統(tǒng)的先建模、后確定光源的繪制方法，它直接從一系列已知的圖像中生成未知視角的圖像?；趫D像的繪制技術(shù)是基于一些預(yù)先生成的場(chǎng)景畫(huà)面，對(duì)接近于視點(diǎn)或視線(xiàn)方向的畫(huà)面進(jìn)行變換、插值與變形，從而快速得到當(dāng)前視點(diǎn)處的場(chǎng)景畫(huà)面。623.3.3基于圖像的實(shí)時(shí)繪制技術(shù)當(dāng)前真實(shí)感圖形實(shí)時(shí)繪制的其3.3.3基于圖像的實(shí)時(shí)繪制技術(shù)與基于幾何的傳統(tǒng)繪制技術(shù)相比，基于圖像的實(shí)時(shí)繪制技術(shù)的優(yōu)勢(shì)在于：（1）計(jì)算量適中，對(duì)計(jì)算機(jī)的資源要求不高。（2）作為已知的源圖像既可以是計(jì)算機(jī)生成的，也可以是用相機(jī)從真實(shí)環(huán)境中捕獲，甚至是兩者混合生成，因此可以反映更加豐富的明暗、顏色、紋理等信息。（3）圖像繪制技術(shù)與所繪制的場(chǎng)景復(fù)雜性無(wú)關(guān)，交互顯示的開(kāi)銷(xiāo)僅與所要生成畫(huà)面的分辨率有關(guān)，因此能用于表現(xiàn)非常復(fù)雜的場(chǎng)景。633.3.3基于圖像的實(shí)時(shí)繪制技術(shù)與基于幾何的傳統(tǒng)繪制技術(shù)相3.3.3基于圖像的實(shí)時(shí)繪制技術(shù)目前基于圖像的繪制的相關(guān)技術(shù)主要有以下兩種：（1）全景技術(shù)：全景技術(shù)是指在一個(gè)場(chǎng)景中選擇一個(gè)觀察點(diǎn)，用相機(jī)或攝像機(jī)每旋轉(zhuǎn)一下角度拍攝得到一組照片，再采用各種工具軟件拼接成一個(gè)全景圖像，它所形成的數(shù)據(jù)較小，對(duì)計(jì)算機(jī)要求低，適用于桌面型虛擬現(xiàn)實(shí)系統(tǒng)中，建模速度快，但一般一個(gè)場(chǎng)景只有一個(gè)觀察點(diǎn)，因此交互性較差。（2）圖像的插值及視圖變換技術(shù)：根據(jù)在不同觀察點(diǎn)所拍攝的圖像，交互地給出或自動(dòng)得到相鄰兩個(gè)圖像之間對(duì)應(yīng)點(diǎn)，采用插值或視圖變換的方法求出對(duì)應(yīng)于其他點(diǎn)的圖像，生成新的視圖，根據(jù)這個(gè)原理可實(shí)現(xiàn)多點(diǎn)漫游。643.3.3基于圖像的實(shí)時(shí)繪制技術(shù)目前基于圖像的繪制的相關(guān)技3.4三維虛擬聲音的實(shí)現(xiàn)技術(shù)虛擬現(xiàn)實(shí)系統(tǒng)中的三維聲音，使聽(tīng)者能感覺(jué)到聲音是來(lái)自圍繞聽(tīng)者雙耳的一個(gè)球形中的任何地方。因此把在虛擬場(chǎng)景中能使用戶(hù)準(zhǔn)確地判斷出聲源的精確位置、符合人們?cè)谡鎸?shí)境界中聽(tīng)覺(jué)方式的聲音系統(tǒng)稱(chēng)為三維虛擬聲音。653.4三維虛擬聲音的實(shí)現(xiàn)技術(shù)虛擬現(xiàn)實(shí)系統(tǒng)中的三維聲音，使聽(tīng)3.4.1三維虛擬聲音的作用聲音在虛擬現(xiàn)實(shí)系統(tǒng)中的作用，主要有以下幾點(diǎn)：（1）聲音是用戶(hù)和虛擬環(huán)境的另一種交互方法，人們可以通過(guò)語(yǔ)音與虛擬世界進(jìn)行雙向交流。（2）數(shù)據(jù)驅(qū)動(dòng)的聲音能傳遞對(duì)象的屬性信息。（3）增強(qiáng)空間信息，尤其是當(dāng)空間超出了視域范圍。663.4.1三維虛擬聲音的作用聲音在虛擬現(xiàn)實(shí)系統(tǒng)中的作用，主3.4.2三維虛擬聲音的特征在三維虛擬聲音系統(tǒng)最核心的技術(shù)是三維虛擬聲音定位技術(shù)，它的特征主要有：（1）全向三維定位特征：在三維虛擬空間中把實(shí)際聲音信號(hào)定位到特定虛擬專(zhuān)用源的能力。（2）三維實(shí)時(shí)跟蹤特性：在三維虛擬空間中實(shí)時(shí)跟蹤虛擬聲源位置變化或景象變化的能力。（3）沉浸感與交互性：沉浸感是指加入三維虛擬聲音后，能使用戶(hù)產(chǎn)生身臨其境的感覺(jué)，有助于增強(qiáng)臨場(chǎng)效果。而三維聲音的交互特性則是指隨用戶(hù)的運(yùn)動(dòng)而產(chǎn)生的臨場(chǎng)反應(yīng)和實(shí)時(shí)響應(yīng)的能力。673.4.2三維虛擬聲音的特征在三維虛擬3.4.3語(yǔ)音識(shí)別技術(shù)與虛擬世界進(jìn)行語(yǔ)音交互是實(shí)現(xiàn)虛擬現(xiàn)實(shí)系統(tǒng)中一個(gè)高級(jí)目標(biāo)，語(yǔ)音技術(shù)在虛擬現(xiàn)實(shí)技術(shù)中的關(guān)鍵技術(shù)是語(yǔ)音識(shí)別技術(shù)和語(yǔ)音合成技術(shù)。語(yǔ)音識(shí)別技術(shù)(ASR,AutomaticSpeechRecognition)：將人說(shuō)話(huà)的語(yǔ)音信號(hào)轉(zhuǎn)換為可被計(jì)算機(jī)程序所識(shí)別的文字信息，從而識(shí)別說(shuō)話(huà)人的語(yǔ)音指令以及文字內(nèi)容的技術(shù)。包括：參數(shù)提取、參考模式建立、模式識(shí)別等過(guò)程。683.4.3語(yǔ)音識(shí)別技術(shù)與虛擬世界進(jìn)行語(yǔ)音交互是實(shí)現(xiàn)虛擬現(xiàn)實(shí)3.4.4語(yǔ)音合成技術(shù)語(yǔ)音合成技術(shù)（TTS,TesttoSpeech）：用人工的方法生成語(yǔ)音的技術(shù)，當(dāng)計(jì)算機(jī)合成語(yǔ)音時(shí)，如何能做到聽(tīng)話(huà)人能理解其意圖并感知其情感，一般對(duì)“語(yǔ)音”的要求是清晰、可聽(tīng)懂、自然、具有表現(xiàn)力。實(shí)現(xiàn)語(yǔ)音輸出有兩種方法：（1）錄音/重放：首先要把模擬語(yǔ)音信號(hào)轉(zhuǎn)換成數(shù)字序列，編碼后暫存于存儲(chǔ)設(shè)備中（錄音），需要時(shí)再經(jīng)解碼，重建聲音信號(hào)（重放）。（2）文-語(yǔ)轉(zhuǎn)換：把計(jì)算機(jī)內(nèi)的文本轉(zhuǎn)換成連續(xù)自然的語(yǔ)聲流。應(yīng)預(yù)先建立語(yǔ)音參數(shù)數(shù)據(jù)庫(kù)、發(fā)音規(guī)則庫(kù)等。需要輸出語(yǔ)音時(shí)，系統(tǒng)按需求先合成語(yǔ)音單元，再按語(yǔ)音學(xué)規(guī)則或語(yǔ)言學(xué)規(guī)則連接成自然的語(yǔ)流。693.4.4語(yǔ)音合成技術(shù)語(yǔ)音合成技術(shù)（TTS,Testt3.5自然交互與傳感技術(shù)人機(jī)交互界面經(jīng)歷以下幾個(gè)發(fā)展階段：（1）20實(shí)際40年代到70年代，人機(jī)交互采用的是命令行方式（CLI）。（2）到20世紀(jì)80年代初，出現(xiàn)了圖形用戶(hù)界面（GUI），GUI的廣泛流行將人機(jī)交互推向圖形用戶(hù)界面的新階段。（3）到20世紀(jì)90年代初，多媒體界面成為流行的交互方式，它在界面信息的表現(xiàn)方式上進(jìn)行了改進(jìn)，使用了多種媒體。同時(shí)，界面輸出也開(kāi)始轉(zhuǎn)為動(dòng)態(tài)、二維圖形/圖像及其他多媒體信息的方式。703.5自然交互與傳感技術(shù)人機(jī)交互界面經(jīng)歷以下幾個(gè)發(fā)展階段：3.5自然交互與傳感技術(shù)作為新一代的人機(jī)交互系統(tǒng)，虛擬現(xiàn)實(shí)技術(shù)與傳統(tǒng)交互技術(shù)的區(qū)別：（1）自然交互（2）多通道（3）高“帶寬”（4）非精確交互技術(shù)713.5自然交互與傳感技術(shù)作為新一代的人機(jī)交互系統(tǒng)，虛擬現(xiàn)實(shí)3.5自然交互與傳感技術(shù)在虛擬現(xiàn)實(shí)領(lǐng)域中較為常用的交互技術(shù)有手勢(shì)識(shí)別、面部表情的識(shí)別以及眼動(dòng)跟蹤等。（1）手勢(shì)識(shí)別

手勢(shì)識(shí)別系統(tǒng)的輸入設(shè)備與主要分為基于數(shù)據(jù)手套的識(shí)別和基于視覺(jué)（圖像）的手語(yǔ)識(shí)別系統(tǒng)兩種。

基于數(shù)據(jù)手套的手勢(shì)識(shí)別系統(tǒng)，就是利用數(shù)據(jù)手套和位置跟蹤器來(lái)捕捉手勢(shì)在空間運(yùn)動(dòng)的軌跡和時(shí)序信息，對(duì)較為復(fù)雜的手的動(dòng)作進(jìn)行檢測(cè)，包括手的位置、方向和手指彎曲度等，并可根據(jù)這些信息對(duì)手勢(shì)進(jìn)行分析?；谝曈X(jué)的手勢(shì)識(shí)別是從視覺(jué)通道獲得信號(hào)，通常采用攝像機(jī)采集手勢(shì)信息，由攝像機(jī)連續(xù)拍下手部的運(yùn)動(dòng)圖像后，先采用輪廓的辦法識(shí)別出手上的每一個(gè)手指，進(jìn)而再用邊界特征識(shí)別的方法區(qū)分出一個(gè)較小的、集中的各種手勢(shì)。手勢(shì)識(shí)別技術(shù)主要有：模板匹配、人工神經(jīng)網(wǎng)絡(luò)和統(tǒng)計(jì)分析技術(shù)。723.5自然交互與傳感技術(shù)在虛擬現(xiàn)實(shí)領(lǐng)域中較為常用的交互技術(shù)3.5自然交互與傳感技術(shù)（2）面部表情識(shí)別人可以通過(guò)臉部的表情表達(dá)自己的各種情緒，傳遞必要的信息。人臉圖像的分割、主要特征（如眼睛、鼻子等）定位以及識(shí)別是這個(gè)技術(shù)的主要難點(diǎn)。一般人臉檢測(cè)問(wèn)題可以描述為：給定一副靜止圖像或一段動(dòng)態(tài)圖像序列，從未知的圖像背景中分割、提取并確認(rèn)可能存在的人臉，如果檢測(cè)到人臉，提取人臉特征。在某些可以控制拍攝條件的場(chǎng)合，將人臉限定在標(biāo)尺內(nèi)，此時(shí)人臉的檢測(cè)與定位相對(duì)容易。在另一些情況下，人臉在圖像中的位置預(yù)