虛擬現(xiàn)實系統(tǒng)概述

1、1. 什么是虛擬現(xiàn)實什么是虛擬現(xiàn)實2. 虛擬現(xiàn)實系統(tǒng)的組成虛擬現(xiàn)實系統(tǒng)的組成3. 全景視頻系統(tǒng)全景視頻系統(tǒng)1. 什么是虛擬現(xiàn)實什么是虛擬現(xiàn)實虛擬現(xiàn)實，虛擬現(xiàn)實，Vitual Reality（VR）。）。 于于1989年被提出。年被提出。它通常是指用立體眼鏡和傳感手套等一系列傳感輔助設施來實現(xiàn)的一種三它通常是指用立體眼鏡和傳感手套等一系列傳感輔助設施來實現(xiàn)的一種三維現(xiàn)實，人們通過這些設施以自然的技能（如頭的轉動、身體的運動等）維現(xiàn)實，人們通過這些設施以自然的技能（如頭的轉動、身體的運動等）向計算機送入各種動作信息，并且通過視覺、聽覺以及觸覺設施使人們得向計算機送入各種動作信息，并且通過視覺、聽覺

2、以及觸覺設施使人們得到三維視覺、聽覺及觸覺等感覺世界。到三維視覺、聽覺及觸覺等感覺世界。虛擬現(xiàn)實最重要的目標：真實的體驗和方便自然的人機交互。能夠達到或虛擬現(xiàn)實最重要的目標：真實的體驗和方便自然的人機交互。能夠達到或者部分達到這樣目標的系統(tǒng)稱為虛擬現(xiàn)實系統(tǒng)。者部分達到這樣目標的系統(tǒng)稱為虛擬現(xiàn)實系統(tǒng)。1. 1 基本概念基本概念1. 什么是虛擬現(xiàn)實什么是虛擬現(xiàn)實與虛擬現(xiàn)實有關的內容已經擴大到與之相關的很多方面，虛擬現(xiàn)實的不同形式或術與虛擬現(xiàn)實有關的內容已經擴大到與之相關的很多方面，虛擬現(xiàn)實的不同形式或術語：語：人工實現(xiàn)（人工實現(xiàn)（Artificial Reality）遙在（遙在（Teleprese

3、nce）虛擬環(huán)境（虛擬環(huán)境（Virtual Environment）賽伯空間（賽伯空間（Cyberspace）1. 1 基本概念基本概念1. 什么是虛擬現(xiàn)實什么是虛擬現(xiàn)實虛擬現(xiàn)實系統(tǒng)就是要利用各種先進的硬件技術及軟件工具，設計出合理的虛擬現(xiàn)實系統(tǒng)就是要利用各種先進的硬件技術及軟件工具，設計出合理的硬件、軟件及交互手段，使參與者能交互式地觀察和操縱系統(tǒng)生成的虛擬硬件、軟件及交互手段，使參與者能交互式地觀察和操縱系統(tǒng)生成的虛擬世界。世界。 從概念上講，任何一個虛擬現(xiàn)實系統(tǒng)都可以用三個從概念上講，任何一個虛擬現(xiàn)實系統(tǒng)都可以用三個“I”來描述其特性：來描述其特性：沉浸（沉浸（Immersion）交互（

4、交互（Interactive）想象（想象（Imagination） 1. 2 虛擬現(xiàn)實系統(tǒng)的特性虛擬現(xiàn)實系統(tǒng)的特性1. 什么是虛擬現(xiàn)實什么是虛擬現(xiàn)實首先，要使參與者有首先，要使參與者有“真實真實”的體驗，這種體驗就是沉浸或投入。的體驗，這種體驗就是沉浸或投入。理想情況下虛擬環(huán)境應該達到使用戶難以辨別真假的程度。為了達到這個理想情況下虛擬環(huán)境應該達到使用戶難以辨別真假的程度。為了達到這個目標，就必須具有多感知的能力，理想的虛擬現(xiàn)實系統(tǒng)應該具有人類所具目標，就必須具有多感知的能力，理想的虛擬現(xiàn)實系統(tǒng)應該具有人類所具有的一切感知能力，包括視覺、聽覺、觸覺，甚至味覺和嗅覺。有的一切感知能力，包括視覺、

5、聽覺、觸覺，甚至味覺和嗅覺。 1. 2 虛擬現(xiàn)實系統(tǒng)的特性虛擬現(xiàn)實系統(tǒng)的特性1. 什么是虛擬現(xiàn)實什么是虛擬現(xiàn)實第二，系統(tǒng)要能提供方便的、豐富的、主要是基于自然技能的人機交互手第二，系統(tǒng)要能提供方便的、豐富的、主要是基于自然技能的人機交互手段。段。這些手段使得參與者能夠對虛擬環(huán)境進行實時的操縱，能從虛擬環(huán)境中得這些手段使得參與者能夠對虛擬環(huán)境進行實時的操縱，能從虛擬環(huán)境中得到反饋的信息，也能使系統(tǒng)了解參與者關鍵部位的位置、狀態(tài)、變形等各到反饋的信息，也能使系統(tǒng)了解參與者關鍵部位的位置、狀態(tài)、變形等各種需要系統(tǒng)知道的數(shù)據(jù)。種需要系統(tǒng)知道的數(shù)據(jù)。同時，實時性是非常重要的，如果在交互時存在比較大的延遲

6、，與人的心同時，實時性是非常重要的，如果在交互時存在比較大的延遲，與人的心理經驗不一致，就談不上自然的交互，也很難獲得沉浸感。為達到這個目理經驗不一致，就談不上自然的交互，也很難獲得沉浸感。為達到這個目標，高速計算和處理就必不可少。標，高速計算和處理就必不可少。1. 2 虛擬現(xiàn)實系統(tǒng)的特性虛擬現(xiàn)實系統(tǒng)的特性1. 什么是虛擬現(xiàn)實什么是虛擬現(xiàn)實第三，因為虛擬現(xiàn)實不僅僅是一種媒體或用戶的高端接口，而且它還是針第三，因為虛擬現(xiàn)實不僅僅是一種媒體或用戶的高端接口，而且它還是針對某一特定領域、解決某些問題的應用。如何解決這些問題，不僅需要了對某一特定領域、解決某些問題的應用。如何解決這些問題，不僅需要了解

7、應用的需求，了解技術的能力，而且還需要有豐富的想象力。解應用的需求，了解技術的能力，而且還需要有豐富的想象力。想象力已經稱為虛擬現(xiàn)實系統(tǒng)設計中最關鍵的問題之一。想象力已經稱為虛擬現(xiàn)實系統(tǒng)設計中最關鍵的問題之一。1. 2 虛擬現(xiàn)實系統(tǒng)的特性虛擬現(xiàn)實系統(tǒng)的特性1. 什么是虛擬現(xiàn)實什么是虛擬現(xiàn)實參與者在虛擬環(huán)境中的活動或經歷有兩種形式：參與者在虛擬環(huán)境中的活動或經歷有兩種形式：主觀參與（主觀參與（First-person activities）:參與者是整個經歷的中心，一切圍繞參參與者是整個經歷的中心，一切圍繞參與者進行；與者進行；客觀參與（客觀參與（second-person activitie）

8、：參與者可以在虛擬環(huán)境中看到他）：參與者可以在虛擬環(huán)境中看到他自己與其他物體的交互。自己與其他物體的交互。1. 2 虛擬現(xiàn)實系統(tǒng)的特性虛擬現(xiàn)實系統(tǒng)的特性1. 什么是虛擬現(xiàn)實什么是虛擬現(xiàn)實顯示：頭盔三維顯示等顯示：頭盔三維顯示等交互：數(shù)據(jù)手套等交互：數(shù)據(jù)手套等具有里程碑意義的工作：具有里程碑意義的工作：1. 立體電影、立體聲與傳感影院：立體圖像顯示、嗅覺、振動等立體電影、立體聲與傳感影院：立體圖像顯示、嗅覺、振動等2. 模擬器：如飛行系統(tǒng)仿真器模擬器：如飛行系統(tǒng)仿真器1. 3 虛擬現(xiàn)實技術簡史虛擬現(xiàn)實技術簡史1. 什么是虛擬現(xiàn)實什么是虛擬現(xiàn)實3. 無障礙虛擬現(xiàn)實環(huán)境無障礙虛擬現(xiàn)實環(huán)境 VIDEO

9、PLACE4.虛擬視覺環(huán)境顯示器（虛擬視覺環(huán)境顯示器（VIVED：Virtual Visual Environment Display）5. MIT的的“白楊城影片地圖（白楊城影片地圖（Aspen Movie Map）”，一個模型在街道上，一個模型在街道上行走的系統(tǒng)。這種用戶導航的運行方式為后來的超媒體、虛擬空間交互行走的系統(tǒng)。這種用戶導航的運行方式為后來的超媒體、虛擬空間交互等提供了豐富的經驗。等提供了豐富的經驗。6.視覺增強系統(tǒng)視覺增強系統(tǒng)1. 3 虛擬現(xiàn)實技術簡史虛擬現(xiàn)實技術簡史1. 什么是虛擬現(xiàn)實什么是虛擬現(xiàn)實（一）非沉浸類虛擬現(xiàn)實系統(tǒng)：（一）非沉浸類虛擬現(xiàn)實系統(tǒng)：（1）全景視頻系統(tǒng)：

10、利用連續(xù)拍攝的圖像和視頻在計算機中拼接建立實景）全景視頻系統(tǒng)：利用連續(xù)拍攝的圖像和視頻在計算機中拼接建立實景化虛擬空間。化虛擬空間。（2）基于座艙的系統(tǒng)）基于座艙的系統(tǒng)（3）桌面虛擬現(xiàn)實）桌面虛擬現(xiàn)實CAD系統(tǒng)：對虛擬世界進行建模，通過計算機的顯示器系統(tǒng)：對虛擬世界進行建模，通過計算機的顯示器進行觀察，并能自由的控制觀察的視點和視角進行觀察，并能自由的控制觀察的視點和視角（4）基于劇情的虛擬現(xiàn)實系統(tǒng)）基于劇情的虛擬現(xiàn)實系統(tǒng)1. 4 虛擬現(xiàn)實系統(tǒng)的分類虛擬現(xiàn)實系統(tǒng)的分類1. 什么是虛擬現(xiàn)實什么是虛擬現(xiàn)實（二）沉浸類虛擬現(xiàn)實系統(tǒng)：利用特殊的設備把參與者的視覺、聽覺和其（二）沉浸類虛擬現(xiàn)實系統(tǒng)：利用

11、特殊的設備把參與者的視覺、聽覺和其它感覺封閉起來，提供一個新的、虛擬的感覺空間，使得參與者產生一它感覺封閉起來，提供一個新的、虛擬的感覺空間，使得參與者產生一種身在身在虛擬環(huán)境中，并能夠全身心投入和沉浸其中的感覺。種身在身在虛擬環(huán)境中，并能夠全身心投入和沉浸其中的感覺。（1）基于頭盔的系統(tǒng)）基于頭盔的系統(tǒng)（2）投影虛擬現(xiàn)實系統(tǒng)：把參與者的動畫圖像和其他圖像結合到一起，插）投影虛擬現(xiàn)實系統(tǒng)：把參與者的動畫圖像和其他圖像結合到一起，插入到虛擬環(huán)境中。入到虛擬環(huán)境中。（3）遙在系統(tǒng)：虛擬現(xiàn)實與計算機技術結合的系統(tǒng)，當在某處的操作員操）遙在系統(tǒng)：虛擬現(xiàn)實與計算機技術結合的系統(tǒng)，當在某處的操作員操作一個

12、虛擬現(xiàn)實系統(tǒng)時，其結果卻在另一個地方發(fā)生。作一個虛擬現(xiàn)實系統(tǒng)時，其結果卻在另一個地方發(fā)生。1. 4 虛擬現(xiàn)實系統(tǒng)的分類虛擬現(xiàn)實系統(tǒng)的分類1. 什么是虛擬現(xiàn)實什么是虛擬現(xiàn)實（三）分布式虛擬現(xiàn)實系統(tǒng)（三）分布式虛擬現(xiàn)實系統(tǒng)如果在上述兩種系統(tǒng)的基礎上能夠使得多個用戶連接到一起，并能夠共享如果在上述兩種系統(tǒng)的基礎上能夠使得多個用戶連接到一起，并能夠共享同一個虛擬空間，則成為分布式虛擬現(xiàn)實系統(tǒng)。同一個虛擬空間，則成為分布式虛擬現(xiàn)實系統(tǒng)。（四）增強現(xiàn)實系統(tǒng)（四）增強現(xiàn)實系統(tǒng)為了增強操作員對真實環(huán)境的感受。輔助數(shù)據(jù)與觀察員所觀察到的實際環(huán)為了增強操作員對真實環(huán)境的感受。輔助數(shù)據(jù)與觀察員所觀察到的實際環(huán)境疊加

13、到一起，以協(xié)助操作員進行操作或工作。這種疊加方式增強了原始境疊加到一起，以協(xié)助操作員進行操作或工作。這種疊加方式增強了原始的環(huán)境信息。的環(huán)境信息。1. 4 虛擬現(xiàn)實系統(tǒng)的分類虛擬現(xiàn)實系統(tǒng)的分類1. 什么是虛擬現(xiàn)實什么是虛擬現(xiàn)實科學計算可視化科學計算可視化計算機輔助設計計算機輔助設計飛行、騎車、外科手術等的操作模擬飛行、騎車、外科手術等的操作模擬軍事模擬與仿真軍事模擬與仿真教育與培訓教育與培訓遙在系統(tǒng)遙在系統(tǒng)心里實驗心里實驗娛樂娛樂藝術藝術通信與協(xié)同工作通信與協(xié)同工作1. 5 虛擬現(xiàn)實系統(tǒng)的應用虛擬現(xiàn)實系統(tǒng)的應用2. 虛擬現(xiàn)實系統(tǒng)的組成虛擬現(xiàn)實系統(tǒng)的組成一、系統(tǒng)感知和行為模型一、系統(tǒng)感知和行為模

14、型人與外界的交互分為兩大部分：感知與行為。人與外界的交互分為兩大部分：感知與行為。感知系統(tǒng)：感知系統(tǒng)劃分為：方向、聽覺、觸覺、味覺、嗅覺及視覺等六感知系統(tǒng)：感知系統(tǒng)劃分為：方向、聽覺、觸覺、味覺、嗅覺及視覺等六個子系統(tǒng)。在感知系統(tǒng)模型中，分別對這些子系統(tǒng)的行為方式、接收單元、個子系統(tǒng)。在感知系統(tǒng)模型中，分別對這些子系統(tǒng)的行為方式、接收單元、器官模擬、器官形成、刺激元及外部信息。器官模擬、器官形成、刺激元及外部信息。行為系統(tǒng)：姿勢、方向、走動、飲食、動作、表達及語義七個子系統(tǒng)。行為系統(tǒng)：姿勢、方向、走動、飲食、動作、表達及語義七個子系統(tǒng)。2. 1 虛擬現(xiàn)實系統(tǒng)的體系結構虛擬現(xiàn)實系統(tǒng)的體系結構2.

15、 虛擬現(xiàn)實系統(tǒng)的組成虛擬現(xiàn)實系統(tǒng)的組成2. 1 虛擬現(xiàn)實系統(tǒng)的體系結構虛擬現(xiàn)實系統(tǒng)的體系結構2. 虛擬現(xiàn)實系統(tǒng)的組成虛擬現(xiàn)實系統(tǒng)的組成二、虛擬現(xiàn)實系統(tǒng)組成二、虛擬現(xiàn)實系統(tǒng)組成從總體上看，系統(tǒng)主要由人機接口設備、人機接口處理、現(xiàn)實產生器以及從總體上看，系統(tǒng)主要由人機接口設備、人機接口處理、現(xiàn)實產生器以及相應的管理、模型及分布子系統(tǒng)等構成。相應的管理、模型及分布子系統(tǒng)等構成。2. 1 虛擬現(xiàn)實系統(tǒng)的體系結構虛擬現(xiàn)實系統(tǒng)的體系結構2. 虛擬現(xiàn)實系統(tǒng)的組成虛擬現(xiàn)實系統(tǒng)的組成2. 1 虛擬現(xiàn)實系統(tǒng)的體系結構虛擬現(xiàn)實系統(tǒng)的體系結構2. 虛擬現(xiàn)實系統(tǒng)的組成虛擬現(xiàn)實系統(tǒng)的組成虛擬現(xiàn)實發(fā)生器，又稱為虛擬現(xiàn)實引擎

16、，是任何虛擬現(xiàn)實系統(tǒng)的核心，由虛擬現(xiàn)實發(fā)生器，又稱為虛擬現(xiàn)實引擎，是任何虛擬現(xiàn)實系統(tǒng)的核心，由它處理和產生虛擬環(huán)境。它處理和產生虛擬環(huán)境。具有強大的處理能力、滿足實時性要求等具有強大的處理能力、滿足實時性要求等2. 1 虛擬現(xiàn)實系統(tǒng)的體系結構虛擬現(xiàn)實系統(tǒng)的體系結構2. 虛擬現(xiàn)實系統(tǒng)的組成虛擬現(xiàn)實系統(tǒng)的組成大視場雙眼體視顯示技術大視場雙眼體視顯示技術跟蹤裝置跟蹤裝置觸覺反饋觸覺反饋聲音子系統(tǒng)聲音子系統(tǒng)三維人機交互三維人機交互2. 2 人機交互的設備及技術人機交互的設備及技術2. 虛擬現(xiàn)實系統(tǒng)的組成虛擬現(xiàn)實系統(tǒng)的組成幾何建模：描述虛擬對象的形狀和外表；幾何建模：描述虛擬對象的形狀和外表；運動建模：

17、主要是對象的位置移動和碰撞檢測兩個部分；運動建模：主要是對象的位置移動和碰撞檢測兩個部分；物理建模：定義對象的質量、重量、慣性、表面紋理、硬度、形狀改變模物理建模：定義對象的質量、重量、慣性、表面紋理、硬度、形狀改變模式等；式等；對象行為建模：對象可以具有自己的行為特征，并不一定與用戶的輸入直對象行為建模：對象可以具有自己的行為特征，并不一定與用戶的輸入直接相關；接相關；模型分割：將虛擬環(huán)境分割成較小的單元；模型分割：將虛擬環(huán)境分割成較小的單元；三維數(shù)據(jù)格式：三維建模的基礎；三維數(shù)據(jù)格式：三維建模的基礎；2. 3 三維場景建模三維場景建模2. 虛擬現(xiàn)實系統(tǒng)的組成虛擬現(xiàn)實系統(tǒng)的組成1. VRML

18、2. Cult3D3. 全景全景2. 4 虛擬現(xiàn)實軟件及開發(fā)工具虛擬現(xiàn)實軟件及開發(fā)工具3. 全景視頻系統(tǒng)全景視頻系統(tǒng)全景視頻（全景視頻（panoramic Video）：假定在一室內空間中進行觀察，室內空間分為六）：假定在一室內空間中進行觀察，室內空間分為六個表面，如果獲取了這六個表面許多不同距離、不同方位的實景照片，并將這些照個表面，如果獲取了這六個表面許多不同距離、不同方位的實景照片，并將這些照片按照相互的關系有機地連接起來，就可以在視覺上形成對這個房間的整個空間的片按照相互的關系有機地連接起來，就可以在視覺上形成對這個房間的整個空間的整體認識，即全景。整體認識，即全景。在觀察時，可以改變

19、角度、改變視點、改變距離。只要照片足夠精細，連接的緊密在觀察時，可以改變角度、改變視點、改變距離。只要照片足夠精細，連接的緊密正確，就可以獲得空間感。正確，就可以獲得空間感。3. 1 基本概念基本概念3. 全景視頻系統(tǒng)全景視頻系統(tǒng)和其他形式的虛擬現(xiàn)實技術相比，全景視頻的主要特點：和其他形式的虛擬現(xiàn)實技術相比，全景視頻的主要特點：（1）不局限于計算機生成的圖像）不局限于計算機生成的圖像（2）不需要真正的視頻，實際存儲和組織的不是視頻幀序列，而是不同層次的全）不需要真正的視頻，實際存儲和組織的不是視頻幀序列，而是不同層次的全景圖。景圖。（3）全景視頻可以將）全景視頻可以將360度全景圖無扭曲地映射到平面顯示器上。度全景圖無扭曲地映射到平面顯示器上。（4）必須有計算機的協(xié)助）必須有計算機的協(xié)助3. 1 基本概念基本概念3. 全景視頻系統(tǒng)全景視頻系統(tǒng)全景圖的生成：全景圖是利用多幅圖像拼接生成的。全景圖的生成：全景圖是利用多幅圖像拼接生成的。靜態(tài)圖像：多幅圖像將重疊的部分裁剪，做拼接，對拼接好的全景圖利用靜態(tài)圖像：多幅圖像將重疊的部分裁剪，做拼接，對拼接好的全景圖利用柱面變形技術進行變形，使平面全景圖像產生深度感覺。這樣，就得到了柱面變形技術進行變形，使平面全景圖像產生深度感覺。這樣，就得到了一個視點、一個焦距和一種移動下的全景圖。一個視點、一個焦距和一種移動下的全景圖。對所需要的其他