智能建造理論與實(shí)踐 課件 4.9節(jié) 增強(qiáng)現(xiàn)實(shí)技術(shù)

第四章智能建造技術(shù)與應(yīng)用4.9增強(qiáng)現(xiàn)實(shí)技術(shù)——增強(qiáng)現(xiàn)實(shí)概述增強(qiáng)現(xiàn)實(shí)的定義增強(qiáng)現(xiàn)實(shí)（AugmentedReality，簡(jiǎn)稱AR）技術(shù)是一種基于計(jì)算機(jī)實(shí)時(shí)計(jì)算和多傳感器融合，將現(xiàn)實(shí)世界與虛擬信息結(jié)合起來(lái)的技術(shù)。對(duì)人的視覺(jué)、聽(tīng)覺(jué)、嗅覺(jué)、觸覺(jué)等感受進(jìn)行模擬和再輸出，并將虛擬信息疊加到真實(shí)信息上，給人提供超越真實(shí)世界的感受體驗(yàn)具有虛實(shí)結(jié)合、實(shí)時(shí)交互、3D定位等顯著特性4.9增強(qiáng)現(xiàn)實(shí)技術(shù)——增強(qiáng)現(xiàn)實(shí)概述增強(qiáng)現(xiàn)實(shí)的起源20世紀(jì)50、60年代20世紀(jì)90年代20142015至2016AR技術(shù)的起源，可追溯到20世紀(jì)五、六十年代由于當(dāng)時(shí)的AR技術(shù)價(jià)格較高，并且具有自身延遲較長(zhǎng)，設(shè)備計(jì)算能力有限等缺陷，導(dǎo)致這些AR游戲產(chǎn)品以失敗收尾，第一次AR熱潮就此消退Facebook以20億美元收購(gòu)Oculus后，類似的AR熱再次襲來(lái)AR領(lǐng)域共進(jìn)行了225筆風(fēng)險(xiǎn)投資，投資額達(dá)到了35億美元，原有的領(lǐng)域擴(kuò)展到多個(gè)新領(lǐng)域，如城市規(guī)劃、虛擬仿真教學(xué)、手術(shù)診療、文化遺產(chǎn)保護(hù)等4.9增強(qiáng)現(xiàn)實(shí)技術(shù)——增強(qiáng)現(xiàn)實(shí)技術(shù)概述增強(qiáng)現(xiàn)實(shí)關(guān)鍵技術(shù)跟蹤注冊(cè)技術(shù)虛擬對(duì)象生成技術(shù)顯示技術(shù)增強(qiáng)現(xiàn)實(shí)應(yīng)用還依賴于設(shè)備的顯示技術(shù)，為了達(dá)到逼真的展示效果，高效率的顯示技術(shù)和顯示設(shè)備必不可少增強(qiáng)現(xiàn)實(shí)的目標(biāo)是把虛擬世界套在現(xiàn)實(shí)世界并進(jìn)行互動(dòng)需要保證所生成的虛擬物體真實(shí)感和實(shí)時(shí)性強(qiáng)移動(dòng)設(shè)備攝像頭與虛擬信息的位置需要相對(duì)應(yīng)，這就需要通過(guò)跟蹤技術(shù)來(lái)實(shí)現(xiàn)4.9增強(qiáng)現(xiàn)實(shí)技術(shù)——增強(qiáng)現(xiàn)實(shí)技術(shù)概述增強(qiáng)現(xiàn)實(shí)研究?jī)?nèi)容分解——顯示技術(shù)圖4-56光學(xué)透射式頭盔顯示器和視頻透射式頭盔顯示器1）近眼式顯示設(shè)備

近視眼顯示設(shè)備主要是指頭盔顯示器。頭盔顯示器主要分為兩種：光學(xué)透射式頭盔顯示器和視頻透射式頭盔顯示器。如果按照顯示器件數(shù)量，也可以劃分為單目頭盔顯示器和雙目頭盔顯示器。4.9增強(qiáng)現(xiàn)實(shí)技術(shù)——增強(qiáng)現(xiàn)實(shí)技術(shù)概述增強(qiáng)現(xiàn)實(shí)研究?jī)?nèi)容分解——顯示技術(shù)2）手持式顯示設(shè)備

手持式顯示設(shè)備，顧名思義就是拿在手上的顯示設(shè)備。最常見(jiàn)的就是我們的智能手機(jī)和平板電腦。這類設(shè)備具有很好的便攜性，是一種天然的AR設(shè)備。它們有攝像頭作為圖像輸入設(shè)備，有自帶的處理器，有顯示單元，具備了進(jìn)行AR開(kāi)發(fā)的所有條件。在目前市面上，很多增強(qiáng)現(xiàn)實(shí)APP都是圍繞這類設(shè)備開(kāi)發(fā)的。4.9增強(qiáng)現(xiàn)實(shí)技術(shù)——增強(qiáng)現(xiàn)實(shí)技術(shù)概述增強(qiáng)現(xiàn)實(shí)研究?jī)?nèi)容分解——顯示技術(shù)3）固定式顯示設(shè)備

給桌面級(jí)顯示器添加一個(gè)網(wǎng)絡(luò)攝像頭，就可以完成AR任務(wù)了。該攝像頭可以捕捉空間中的圖像，然后估計(jì)攝像頭的位置和姿態(tài)，最后計(jì)算生成虛擬信息，并進(jìn)行虛實(shí)融合，輸出到桌面顯示器上。虛擬鏡子，這是利用攝像頭對(duì)著人進(jìn)行拍攝，然后輸出到一個(gè)類似于鏡子的大型顯示器上，給人一種照鏡子的感覺(jué)。同時(shí)，還可以進(jìn)行虛擬換裝，或者添加一些虛擬物件，達(dá)到AR效果。4.9增強(qiáng)現(xiàn)實(shí)技術(shù)——增強(qiáng)現(xiàn)實(shí)技術(shù)概述增強(qiáng)現(xiàn)實(shí)研究?jī)?nèi)容分解——顯示技術(shù)4）投影式顯示設(shè)備投影機(jī)是一種重要的虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)設(shè)備。最常見(jiàn)的基于投影的增強(qiáng)現(xiàn)實(shí)系統(tǒng)是在展會(huì)上的各種絢麗的投影展品，包括虛擬地球、汽車表面投影等。這類系統(tǒng)屬于空間增強(qiáng)現(xiàn)實(shí)系統(tǒng)。另外，柱幕、球幕、環(huán)幕投影也可以歸為基于投影的空間增強(qiáng)現(xiàn)實(shí)。投影機(jī)還可以用于構(gòu)建CAVE系統(tǒng)。手持式投影機(jī)結(jié)合圖像捕捉設(shè)備，還可以建立動(dòng)態(tài)的空間增強(qiáng)現(xiàn)實(shí)系統(tǒng)。4.9增強(qiáng)現(xiàn)實(shí)技術(shù)——增強(qiáng)現(xiàn)實(shí)技術(shù)概述增強(qiáng)現(xiàn)實(shí)研究?jī)?nèi)容分解——跟蹤技術(shù)1）固定式跟蹤系統(tǒng)機(jī)械跟蹤器超聲波跟蹤器電磁跟蹤器通過(guò)控制機(jī)械臂各個(gè)關(guān)節(jié)的轉(zhuǎn)動(dòng)來(lái)跟蹤機(jī)械臂末端的空間位置，精度可以控制得比較高通過(guò)一個(gè)固定的發(fā)射源發(fā)射出三維正交的電磁場(chǎng)，接收端通過(guò)檢測(cè)接收到的電磁場(chǎng)的方向和強(qiáng)度來(lái)確定位置通過(guò)測(cè)量一個(gè)聲音脈沖從發(fā)射源到傳感器的飛行時(shí)間來(lái)測(cè)量距離。4.9增強(qiáng)現(xiàn)實(shí)技術(shù)——增強(qiáng)現(xiàn)實(shí)技術(shù)概述增強(qiáng)現(xiàn)實(shí)研究?jī)?nèi)容分解——跟蹤技術(shù)2）移動(dòng)式傳感器

GPS，全稱是全球定位系統(tǒng)。這個(gè)系統(tǒng)在智能手機(jī)上應(yīng)用很普遍。它通過(guò)接收多顆衛(wèi)星信號(hào)來(lái)確定當(dāng)前所處的位置。對(duì)于戶外大范圍增強(qiáng)現(xiàn)實(shí)有著重要意義。4.9增強(qiáng)現(xiàn)實(shí)技術(shù)——增強(qiáng)現(xiàn)實(shí)技術(shù)概述增強(qiáng)現(xiàn)實(shí)研究?jī)?nèi)容分解——跟蹤技術(shù)3）光學(xué)跟蹤技術(shù)跟蹤模式照明種類有些跟蹤需要對(duì)被跟蹤的目標(biāo)預(yù)先建模，例如一些圖像跟蹤工具箱。有的則不需要提前建模，例如同步定位與跟蹤技術(shù)（SLAM）人工標(biāo)志與自然特征有些跟蹤系統(tǒng)不需要自主添加光源，只是利用環(huán)境光，稱為被動(dòng)照明；有些跟蹤需要主動(dòng)發(fā)射某種照明光線，來(lái)實(shí)現(xiàn)其跟蹤，稱為主動(dòng)照明。人工標(biāo)志指的是人造的用于跟蹤的圖像標(biāo)志等。自然特征指的是自然環(huán)境中本身就有的特征，不是人為放置用來(lái)跟蹤的特征?；パa(bǔ)式融合競(jìng)爭(zhēng)式融合協(xié)作式融合傳感器融合4.9增強(qiáng)現(xiàn)實(shí)技術(shù)——增強(qiáng)現(xiàn)實(shí)技術(shù)概述增強(qiáng)現(xiàn)實(shí)研究?jī)?nèi)容分解——標(biāo)定和注冊(cè)

跟蹤、標(biāo)定和注冊(cè)是AR系統(tǒng)研究的三個(gè)核心問(wèn)題，下面將從標(biāo)定及注冊(cè)的相關(guān)類型及涉及的技術(shù)等方面進(jìn)行介紹這兩個(gè)問(wèn)題攝像機(jī)標(biāo)定①標(biāo)定內(nèi)參數(shù)在使用中必須先標(biāo)定攝像頭的內(nèi)參數(shù)②校正鏡頭畸變鏡頭畸變可以分為徑向畸變和切向畸變兩種。它們也都可以通過(guò)標(biāo)定來(lái)確定畸變參數(shù)虛擬信息是通過(guò)攝像頭捕捉環(huán)境，建立跟蹤注冊(cè)信息，然后渲染輸出到頭盔顯示器上。這個(gè)回路的處理時(shí)間導(dǎo)致虛擬信息的渲染比頭部轉(zhuǎn)動(dòng)會(huì)有延遲顯示器標(biāo)定注冊(cè)①單點(diǎn)主動(dòng)對(duì)準(zhǔn)法這個(gè)方法要求用戶佩戴頭盔顯示器，并且將屏幕上的一些十字光標(biāo)與真實(shí)世界中的物體進(jìn)行多次對(duì)齊，多次對(duì)齊需要通過(guò)頭部轉(zhuǎn)動(dòng)完成②使用瞄準(zhǔn)轉(zhuǎn)置該方法需要將瞄準(zhǔn)裝置與顯示器上的十字叉絲對(duì)準(zhǔn)4.9增強(qiáng)現(xiàn)實(shí)技術(shù)——增強(qiáng)現(xiàn)實(shí)技術(shù)概述增強(qiáng)現(xiàn)實(shí)研究?jī)?nèi)容分解——視覺(jué)一致性幾何一致性幾何一致性還要求在時(shí)間變化中保證幾何一致。虛實(shí)遮擋也要保持一致。必須使用額外的傳感器，探測(cè)出真實(shí)物體的空間位置，然后決定哪些虛擬圖像是應(yīng)該被遮擋起來(lái)的。光照一致性渲染的虛擬物體怎樣保持與真實(shí)環(huán)境一致的光照效果，也是需要注意的。通過(guò)某個(gè)方式獲得真實(shí)環(huán)境中的光源分布，然后在虛擬世界中模擬這個(gè)光照效果。4.9增強(qiáng)現(xiàn)實(shí)技術(shù)——增強(qiáng)現(xiàn)實(shí)技術(shù)概述增強(qiáng)現(xiàn)實(shí)研究?jī)?nèi)容分解——交互技術(shù)設(shè)備交互肢體交互手勢(shì)交互語(yǔ)音交互觸摸交互眼動(dòng)交互腦機(jī)接口4.9增強(qiáng)現(xiàn)實(shí)技術(shù)——增強(qiáng)現(xiàn)實(shí)技術(shù)概述增強(qiáng)現(xiàn)實(shí)中的可視化，主要是對(duì)場(chǎng)景中的物體進(jìn)行標(biāo)注和解釋。對(duì)于標(biāo)注和解釋的合理性和正確性，需要經(jīng)過(guò)仔細(xì)探究。需要對(duì)數(shù)據(jù)進(jìn)行過(guò)濾，考慮兩個(gè)方面的問(wèn)題：第一，標(biāo)注的合理性；