次元發(fā)布全球首份行業(yè)報告

1、第一章AR 與 VRVR 和 AR 有著不同的應用領域、技術和市場機會，因此區(qū)分兩者之間的不同至關重要。從技術角度來看，AR 是將計算機生成的虛擬世界套在現(xiàn)實世界上，即把數(shù)字想象世界加在真實世界之上。最典型的 AR 設備就是谷歌眼鏡。這種智能眼鏡將觸控板、攝像頭以及 LED 顯示器結合起來，通過顯示器，用戶可以聯(lián)網(wǎng)，并在視野內(nèi)使用地圖、電子郵件等服務。其他知名的 AR還有微軟的 HoloLens，創(chuàng)業(yè)公司則以 Magic Leap 為典型代表。AR 具備三個主要特征：1、融合虛擬和現(xiàn)實：與 VR 技術不同的是，增強現(xiàn)實技術把使用者與真實世界隔開，而是將計算機生成的虛擬物體和信息疊加到真實世界的

2、場景中來，以實現(xiàn)對現(xiàn)實場景更直觀深入的了解和解讀，在有限的時間和有限的場景中實現(xiàn)與現(xiàn)實相關知識領域的理解。增強的信息可以是與真實物體相關的非幾何信息，如、文字，也可以是幾何信息，如虛擬的三維物體和場景。2、實時交互：通過增強現(xiàn)實系統(tǒng)中的交互接口設備，人們以自然方式與增強現(xiàn)實環(huán)境進行交互操作，這種交互要滿足實時性。3、三維：“”（這里也可以解釋為跟蹤和）指的是將計算機產(chǎn)生的虛擬物體與真實環(huán)境進行一一對應，且用戶在真實環(huán)境中運動時，也將繼續(xù)維持正確的對準關系。VR 是讓用戶置身于一個想象出來或者重新的世界，或是模擬真實的世界。VR 領域主要的包括 Oculus、PlayStation VR、HTC

3、 Vive 和三星 GearVR。（有關 VR的情況，可關注 VR 次元，回復“”和“德銀”，分別獲得VR 中文版報告和德銀 VR 中文版報告）區(qū)分 VR 和 AR 的一個簡單的方法是：VR 需要用一個不透明的頭戴設備完成虛擬世界里的沉浸體驗，而 AR 需要清晰的頭戴設備看實世界和重疊在上面的信息和圖像。從目前來看，AR 比較適合服務企業(yè)級用戶，而 VR 同時適用于消費者和企業(yè)用戶。有些情況下，兩者還會出現(xiàn)重疊市場。例如，目前大多數(shù)基于 VR 研發(fā)，但微軟也用 HoloLens 重新創(chuàng)作了世界這樣的。AR 發(fā)展簡史AR 技術的可追溯到“VR 之父”Morton Heilig 在上個世紀五、六十

4、年代所發(fā)明的 Sensorama Stimulator。Heilig 是一名哲學家、制作人和發(fā)明家。他利用他在拍攝上經(jīng)驗設計出了 Sensorama Stimulator，并在 1962 年獲得了專利。Sensorama Stimulator 使用圖像、聲音、風扇、香味和，讓用戶感受在紐約街道上騎著摩托車風馳電掣的場景。盡管這臺大且笨重，但在當時卻非常超前。令人遺憾的是，Heilig 沒有能夠獲得所需的資金支持讓這個發(fā)明商業(yè)化。AR 歷史上的下一個里程碑是第一臺頭戴式 AR 設備的發(fā)明。1968 年，哈佛副教授 Ivan Sutherland 跟他的學生 Bob Sproull 合作發(fā)明了 S

5、utherland 稱之為“終極顯示器”的 AR 設備。使用這個設備的用戶可以通過一個雙目鏡看到一個簡單三維房間模型，用戶還可以使用視覺和頭部運動跟蹤改變視角。盡管用戶交互界面是頭戴的，然而系統(tǒng)主體部分卻又大又重，不能用戶頭上，只能懸掛在用戶頭頂?shù)奶旎ò迳?。這套系統(tǒng)也因此被命名為“之劍”。盡管這些早期的發(fā)明屬于 AR 的范疇，但實際上，直到 1990 年，波音公司研究員 Tom Caudell 才創(chuàng)造了“AR”這個術語。Caudell 和他的同事設計了一個輔助飛機布線系統(tǒng)，用于代替笨重的示例圖版。這個頭戴設備將布線圖或者裝配指南投射到特殊的可再用方板上。這些 AR 投影可以通過計算機快速輕松地

6、更改，機械師再也不需要手工重新改造或者制作示例圖版。大約在 1998 年，AR 第一次出現(xiàn)在大眾平臺上。當時有在橄欖球賽電視轉播上使用 AR 技術將得分線疊加到屏幕中的球場上。此后，AR 技術開始被用于天氣預報天氣預報制作者將計算機圖像疊加到現(xiàn)實圖像和地圖上面。從那時起，AR 真正地開始了其式的發(fā)展。2000 年，Bruce H. Thomas 在澳大利亞南澳大學可穿戴計算機開發(fā)了第一款室外 ARARQuake。2008 年左右，AR 開始被用于地圖等應用上。2013 年，谷歌發(fā)布了谷歌眼鏡，2015 年，微軟發(fā)布 HoloLens，這是一款能將計算機生成圖像（全息圖）疊加到用戶周圍世界中的頭

7、戴式 AR 設備，也正是隨著這兩款的出現(xiàn)，的人開始了解 AR。AR 硬件概覽AR 硬件發(fā)展的驅(qū)動力源于計算機處理器、顯示技術、傳感器、移動速率、電池續(xù)航等多個領域的技術進步。目前能夠確定的 AR 硬件類型有以下幾種：手持設備（Handheld Devices）固定式 AR 系統(tǒng)（Stationary AR Systems）空間增強現(xiàn)實（SAR）系統(tǒng)（Spatial Augmented Reality Systems）頭戴式顯示器（Head-mounted Displays ，即 HMD） 智能眼鏡（Smart Glasses） 智能透鏡（Smart Lenses）手持設備智能正是手持設備的代表

8、。我們正經(jīng)歷著智能、平板電腦等手持設備的大，這將會促進 AR 的普及。這些設備正在變得越來越好顯示器分辨率越來越高，處理器越來越強，相機成像質(zhì)量越來越好，傳感器越來越多，提供著計、GPS、羅盤等等功能這些成為了天然的 AR 平臺。盡管手持設備是消費者接觸 AR 應用最為方便的形式，但由于大部分手持設備不具備可穿戴功能，因此用戶無法獲得雙手的 AR 體驗。固定式 AR 系統(tǒng)俄一家 Topshop 內(nèi)的固定式 AR 衣櫥固定式 AR 系統(tǒng)適用于固定場所中需要更大顯示屏或更高分辨率的場景。與移動AR 設備不同的是，這些極少移動的系統(tǒng)可以搭載更加先進的相機系統(tǒng)，因此能夠更加精確地識別人物和場景。此外，

9、顯示單元往往能呈現(xiàn)出更加真實的畫面，而且受陽光或照明等環(huán)境因素影響較小?？臻g增強現(xiàn)實（SAR）系統(tǒng)大眾公司的 SAR 系統(tǒng)與其它所有系統(tǒng)不同的是，空間增強現(xiàn)實（SAR）系統(tǒng)的虛擬內(nèi)容直接投影在現(xiàn)實世界中。SAR 系統(tǒng)往往固定在自然中。任何物理表面，如墻、桌、木塊甚至是都可以成為可交互的顯示屏。隨著投影設備、成本、功耗的降低以及 3D 投影的不斷進步，各種全新的交互及顯示形式正在不斷涌現(xiàn)。SAR 系統(tǒng)最大的優(yōu)點在于，現(xiàn)實世界的反射在這里更加精確，即虛擬信息能夠以實際的比例和大小呈現(xiàn)在眼前。此外在人數(shù)較多時，內(nèi)容也能看清，這個案例可以用來實現(xiàn)同步辦公。頭戴式顯示器（HMD）佳能的混合現(xiàn)實頭戴設備H

10、MD 代表著另一種快速發(fā)展的 AR 硬件類型。HMD 由一個頭戴裝置（如頭盔），以及與之搭配的一塊或多塊（微型）顯示屏組成。HMD 將現(xiàn)實世界和虛擬物體的畫面重疊顯示在用戶視野中。換而言之，用戶直接看到現(xiàn)實，看到的是現(xiàn)實的增強畫面。如果顯示屏只覆蓋用戶的一只眼睛，這樣的 HMD 稱為單眼HMD，另一種是兩只眼睛都看顯示屏的雙眼 HMD。先進的 HMD 通常能夠搭載具有很高自由度的傳感器，用戶可以在前后、上下、左右、俯仰、偏轉和滾動六個方向自由移動頭部。該系統(tǒng)因此能夠?qū)崿F(xiàn)虛擬信息與現(xiàn)實世界的貼合，并根據(jù)用戶頭部移動作做相應的畫面調(diào)整。智能眼鏡Vuzix M100 智能眼鏡消費電子行業(yè)的許多公司認

11、為，智能眼鏡將會成為智能后下一大全球熱賣消費。這些 AR 設備實際上是帶有屏幕、相機和話筒的眼鏡。根據(jù)這一概念，用戶的現(xiàn)實世界視角被 AR 設備截取，增強后的畫面重新顯示在用戶視野中。AR畫面透過眼鏡鏡片，或者通過眼鏡鏡片反射，從而進入眼球。智能眼鏡技術最為突出的例子是谷歌眼鏡和 Vuzix M100。不過，目前開發(fā)中的最令人激動的智能眼鏡要數(shù) Atheer One該智能眼鏡配有 3D 景深傳感器，用戶可以實際眼前顯示的虛擬內(nèi)容。智能透鏡大學開發(fā)的透鏡中含有金屬電路結構智能眼鏡絕不是故事的結局。越來越多的研究投入到能顯示 AR 畫面的智能透鏡上；微軟、谷歌等公司也正忙于宣布的智能透鏡項目。智能

12、透鏡的理念是在鏡中集成電路、通信電路、微型天線、LED 及其它光電組件，從而形成一套功能系統(tǒng)。未來或以用成千上萬顆 LED 直接在眼前形成畫面，從而讓透鏡變成顯示屏。然而，還必須克服一系列難題，比如說如何給透鏡供電，如何保證人眼不受等等。在這一章的最后，我們簡單看下 AR 技術會應用到哪些領域：考古：在古代遺跡上顯示遺跡原本的樣子。藝術：跟蹤眼球移動并將這些移動顯示在屏幕上，幫助殘疾人進行藝術創(chuàng)作。商業(yè)：顯示的多種定制選項或者補充信息。教育：將文本、圖像、和音頻疊加到學生周圍的實時環(huán)境中。時尚：顯示不同的妝容和發(fā)型用在一個人身上的效果。：運用真實世界環(huán)境讓用戶在中進行互動，獲得不同的體驗。：通

13、過虛擬 X 光將的內(nèi)臟投射到他們的皮膚上。軍事：使用 AR 眼鏡向士兵展示戰(zhàn)場中出現(xiàn)的人和物體，并附上相關信息，以幫助士兵避開潛在的。導航：將道路和街道的名字跟其他相關信息一起標記到現(xiàn)實地圖中，或者在擋風上顯示目的地方向、天氣、地形、路況、交通信息，提示潛在。體育：顯示橄欖球場的得分線、球的飛行路線和冰球移動的軌跡。電視：在天氣預報中顯示天氣視覺效果和圖像。第二章AR 的工作原理AR 介于 VR 和真實世界之間，VR 創(chuàng)造逼真的虛擬世界，AR 則將圖形、聲音、觸感和氣味添加到真實的世界中。在AR 的工作原理之前，我們先通過一個例子，讓大家有一個簡單的認識。在 2009 年 2 月的 TED 大

14、會上，梅斯（Pattie Maes）和萊（Pranav Mistry）展示了他們研發(fā)的 AR 系統(tǒng)。該系統(tǒng)屬于麻省理工學院媒體流體界面小組的研究成果之，他們稱之為 SixthSense（第六感）。它依靠眾多 AR 系統(tǒng)中常見的一些基本元件來工作：攝像頭、小型投影儀、智能。這些元件通過一根類似繩索的儀器串連起來，然后佩戴者的脖子上。用戶還會在手指上戴上四個不同顏色的特殊指套，這些指套可以用來投影儀投射的圖像。SixthSense 設備利用簡單的、現(xiàn)成的元件來組成 AR 系統(tǒng)，它的投影儀可以將任何平面變成一個互動的顯示屏。SixthSense 設備利用攝像頭來捕捉周圍的環(huán)境，然后將這種圖片傳給（處

15、理這種圖片，獲得 GPS 坐標以及從互聯(lián)網(wǎng)上搜索相關信息），然后將這些信息從投影儀投射到用戶面前的任何平面上，不管這種平面是一個手腕，一面墻，還是一個人。由于用戶將攝像頭佩戴在胸前，因此 SixthSense 設備能夠增強他所看到的一切。例如，如果他在一個雜貨店里挑選了一罐湯，SixthSense 設備將能夠搜索這罐湯的相關信息，例如成分、價格和營養(yǎng)價值甚或用戶評論，然后將它們投射到平面上。利用手指上的指套，用戶可以在投射的信息上執(zhí)行，這些操作將會被攝像頭捕捉到，然后通過來處理。如果他希望了解這罐湯的信息，例如與之競爭的同類，那么他可以用手指與投射畫面進行互動，從而獲取的信息。SixthSen

16、se 設備還能夠識別一些復雜的手勢，例如你在手腕上畫一個圓圈，SixthSense 設備就能夠投射一款手表來顯示當前的時間。AR 的系統(tǒng)結構一個典型的 AR 系統(tǒng)結構一個典型的 AR 系統(tǒng)結構由虛擬場景生成單元、透射式頭盔顯示器、頭部跟蹤設備和交互設備。其中虛擬場景生成單元負責虛擬場景的建模、管理、繪制和其它外設的管理；透射式頭盔顯示器負責顯示虛擬和現(xiàn)實融合后的信號；頭部跟蹤設備跟蹤用戶視線變化；交互設備用于實現(xiàn)感官信號及環(huán)境操作信號的輸入輸出。首先透射式頭盔顯示器真實場景的或者圖像，傳入的處理單元對其進行分析和重構，并結合頭部跟蹤設備的數(shù)據(jù)來分析虛擬場景和真實場景的相對位置，實現(xiàn)坐標系的對進

17、行虛擬場景的融合計算；交互設備外部信號，實現(xiàn)對虛實結合場景的交互操作。系統(tǒng)融合后的信息會實時地顯示在頭盔顯示器中，展現(xiàn)在人的視野中。AR 的目前 AR 技術的技術難點在于：精確場景的理解、重構和晰度、大視場的顯示技術。1、對現(xiàn)實場景的理解和重構在增強現(xiàn)實系統(tǒng)中，首先要解決“是什么”的問題，也就是要理解、知道場景中什么樣的對象和目標。第二要解決“在哪里”的問題，也就是要對場景結構進行分析，實現(xiàn)跟蹤和場景重構。物體的檢測和識別技術物體檢測和識別物體檢測和識別的目的是發(fā)現(xiàn)并找到場景中的目標，這是場景理解中的關鍵一環(huán)。廣義的物體檢測和識別技術是基于圖像的基本信息（各類型特征）和先驗知識模型（物體信息表

18、示），通過相關的算法實現(xiàn)對場景內(nèi)容分析的過程。在增強現(xiàn)實領域，常見的檢測和識別任務有，人臉檢測、行人檢測、車輛檢測、手勢識別、生物識別、情感識別、自然場景識別等。目前，通用的物體檢測和識別技術，根據(jù)不同的思路可以分為兩種：一種是從分類和檢測的角度出發(fā)，通過學習算法訓練得到某一類對象的一般性特征，從而生成數(shù)據(jù)模型。這種方法檢測或者識別出的目標不是某一個具體的，而是一類對象，如汽車、人臉、植物等。這種識別由于是語義上的檢測和識別，所以并不精確的幾何關系，也更適用于強調(diào)增強輔助信息，不強調(diào)位置的應用場景中。如檢測人臉后顯示等。另外一種識別是從圖像匹配的角度出發(fā)，數(shù)據(jù)庫中保存了圖像的特征以及對應的標注

19、信息，在實際使用過程中，通過圖像匹配的方法找到最相關的圖像，從而環(huán)境中的目標，進一步得到識別圖像和目標圖像的精確位置，這種識別適用于需要對環(huán)境進行精確跟蹤的應用場景。就現(xiàn)階段而言，識別檢測技術的難點之一是技術的碎片化。這一方面是由于每一類對象都會有其獨有的特征，而不同特征的提取和處理都需要實現(xiàn)一一對應，這對識別檢測是一個巨大的。另一方面，圖像本身還受到噪聲、尺度、旋轉、光照、姿態(tài)等因素的影響。近幾年來，隨著深度學習技術的不斷成熟，檢測和識別方法也越來越統(tǒng)一，而性能也在不斷提高中。跟蹤跟蹤技術的方法可以分為基于硬件和基于視覺兩大類?；谟布O備的三維跟蹤方法在實現(xiàn)跟蹤的過程中使用了一些特殊的測量

20、儀器或設備。常用的設備包括機械式、電磁式、超聲波、慣性以及光學跟蹤等。光學跟蹤和慣性跟蹤是比較常用的兩種硬件跟蹤方式，HTC Vive 就是采用了光學跟蹤和慣性跟蹤兩種硬件來頭部的位置。使用硬件設備的跟蹤系統(tǒng)大多是開環(huán)系統(tǒng)，跟蹤精確取決于硬件設備自身的性能，其算法的擴展性要差一些，且成本相對較高。HTC Vive 采用光學和慣性跟蹤設備視覺跟蹤方法具備更強的擴展性，其系統(tǒng)多為閉環(huán)系統(tǒng)，更依賴于優(yōu)化算法來解決跟蹤精度問題。相比于上述基于硬件設備的跟蹤方法，計算機視覺跟蹤方法提供了一種非接觸式的、精確的、低成本的解決方法，但是基于視覺的方法受限于圖像本身，噪聲、尺度、旋轉、光照、姿態(tài)變化等因素都會

21、對跟蹤精度造成較大的影響，因此更好地處理這些影響因素，研發(fā)魯棒性強的算法就成為AR技術的研究重點。根據(jù)數(shù)據(jù)的生成方式，視覺跟蹤技術的算法可以分為兩種，一種是基于模板匹配的方式，預先對需要跟蹤的 target 進行訓練，在跟蹤階段通過不斷的跟預存訓練數(shù)據(jù)進行比對解算當前的位姿。這類方法的好處是速度較快、數(shù)據(jù)量小、系統(tǒng)簡單，適用于一些特定的場景，但不適用于大范圍的場景。另外一種是 SLAM 方法，也就是即時和地圖構建技術。這類技術不需要預存場景信息，而是在運行階段完成對于場景的構建以及跟蹤。其優(yōu)點是不需要預存場景，可以跟蹤較大范圍，適用面廣，在跟蹤的同時也可以完成對于場景結構的重建。但目前這類技術

22、計算速度慢、數(shù)據(jù)量大、算法復雜度高，對于系統(tǒng)的要求也較高。Hololens 和 Magic Leap 的宣傳中都展現(xiàn)了這方面技術，而亮風相應的技術也在研發(fā)當中。SLAM跟蹤技術為了彌補不同跟蹤技術的缺點，許多研究者采用硬件和視覺混合跟蹤的方法來取長補短，以滿足增強現(xiàn)實系統(tǒng)高精度跟蹤的要求。2、增強現(xiàn)實的顯示技術透射式頭盔顯示器透射式頭盔顯示器 Hololens目前大多數(shù)的 AR 系統(tǒng)采用頭盔顯示器實現(xiàn)虛擬環(huán)境與真實環(huán)境的融合。根據(jù)真實環(huán)境的表現(xiàn)形式劃分，主要有頭盔顯示器和視式頭盔顯示器兩種形式。頭盔顯示器通過安裝在頭盔上的微型攝像頭獲取外部真實環(huán)境的圖像，也就是通過攝像頭來真實場景的圖像進行傳

23、遞。計算機通過場景理解和分析將所要添加的信息和圖像信號疊加在攝像機的信號上，將計算機生成的虛擬場景與真實場景進行融合，最后通過類似于浸沒式頭盔顯示器的顯示系統(tǒng)呈現(xiàn)給用戶。雖然透射式頭盔在顯示上不受強光的干擾，具有比較大的視場，但由環(huán)境的數(shù)據(jù)來自于攝像頭，因此會造成顯示分辨率較低的不利因素。另一方面，一旦攝像機與用戶視點不能保持完全重合，用戶看到的景象與真實景象將會偏差，因此會造成在某些領域（特別是工業(yè)、軍事等領域）出現(xiàn)一些患。光學原理的頭盔顯示器的基本原理則是通過安裝在眼前的一對半反半透鏡融合呈現(xiàn)出真實場景和虛擬場景。與透射式不同的是視式的“實”來自的光源，經(jīng)過光學系統(tǒng)直接進入眼睛，計算機生成

24、的“虛”則經(jīng)過光學系統(tǒng)放大后反射進入眼睛，最后兩部分信息匯聚到視網(wǎng)膜上從而形成虛實融合的成像效果。視式頭盔相對來說結構簡單，分辨率更高，因其能夠直接看到外部，真實感和安全性也更強。其缺點是，在室外強光條件下顯示效果會受影響。目前Hololens 以及亮風臺的 HiAR Glasses 都采用了射式的成像方案。不難看出，兩種方案各有優(yōu)缺點，如何選擇最優(yōu)方案，目前來看，還應基于實際應用場景來進行。由于射式頭盔跟實際場景結合更緊密，真實感更強，大多數(shù)廠家會選擇這種方案。對于透射式頭盔顯示器來說，單純的強調(diào)厚薄或者視場大小并沒有任何實際意義。這是由于厚度和視場是的，要做得較薄，方便用戶使用佩戴，視場就

25、必然變??；想要擁有大視場，則其厚度就必然增大，設備就目前來說也會顯得比較笨重，不易佩戴。因此在目前技術依舊的情況下，大家都會采取一些折中的方案。數(shù)字光場顯示Magic leap 光場顯示隨著 Magic Leap 的宣傳，數(shù)字光場這個概念也變得廣為人知。這種不采用屏幕來做載體的顯示方式，通過并復現(xiàn)光場來完成虛擬物體的顯示。通過呈現(xiàn)不同深度的圖像，使用戶在觀察近景或遠景時，可以實現(xiàn)主動的對焦，這也是光場顯示的一大優(yōu)點。同樣，光場顯示也有不同的顯示方案，案是采用多層的顯示器，如光場立體鏡。如 Magic Leap 采用的是光導投影儀。這套方案的優(yōu)勢是可以做到很大的視場角，顯示更加符合人的真實感受。

26、但這一方案同時也具有比較大的性，光場的顯示需要比較大的計算量，并且需要有相應的或者生成想要疊加的虛擬對象相應位置的光源信息，同時還要精細地投影的內(nèi)容和位置，目前這些技術還都處于研究階段。盡管比較多的，光場顯示技術仍舊是非常值得期待的一種成像方式。第三章布局從目前來看，絕大多數(shù)巨頭和創(chuàng)業(yè)公司更愿意選擇在 VR 領域開疆拓土，但這并不意味著 AR 無人問津。蘋果種種跡象顯示，蘋果可能和微軟一樣瞄準了 AR 領域，并非時下最熱的 VR。蘋果已經(jīng)在 AR 領域進行過一些并購。2015 年 5 月，蘋果收購了一家名為Metaio 的德國 AR 公司。該公司主要開發(fā)基于智能的 AR 應用軟件，比如其曾經(jīng)開

27、發(fā)一款讓家具視覺化呈現(xiàn)的工具。該公司被收購之后，實體被注銷，人員融入了蘋果的開發(fā)團隊。2014 年年底，蘋果收購了一家從事臉部視覺識別的公司FaceShift，該公司的技術能夠利用攝像頭對用戶臉部圖像進行實時捕捉，甚至可以生成虛擬的頭像。據(jù)悉，星球大戰(zhàn)：的特效團隊曾經(jīng)使用了上述公司的技術，讓外星人的臉部形象更加栩栩如生。此外，蘋果還曾經(jīng)收購了以色列的硬件公司 PrimeSense，該公司主要為微軟的Xbox機Kinect 動感捕捉攝像頭。該公司具備了先進的手勢動作識別技術。在 AR 領域，用戶一般使用手持控制器，因此識別手部動作十分重要，這一技術也能夠用于 AR 頭盔中。除了各種并購之外，蘋果

28、也儲備了一些和 AR 有關的技術專利。這些專利并不意味著蘋果一定會開發(fā)某種技術或者硬件，但是可能披露了蘋果未來開發(fā)的某些思路。2015 年 2 月，蘋果獲得一個技術專利，主要用于讓智能連接 AR 和 VR 頭盔。專利描述文字和谷歌、微軟、三星電子和近些年推出過的十分相似。不過迄今為止，蘋果從未對外宣布過開發(fā) AR 硬件、軟件等的計劃。蘋果向來并不喜歡做新技術的第一批嘗鮮者，而是在市面已有的門類中拿出用戶體驗十分優(yōu)秀的，依靠蘋果的品牌力大規(guī)模占領市場。因此在 AR 領域，蘋果也會選擇一個相對成時機再進入市場。微軟微軟應該算是布局 AR 比較超前的巨頭公司，其在 2015 年就推出了 AR 頭盔H

29、oloLens，開發(fā)者版已經(jīng)開啟預訂，售價為 3000。我們之所以能夠看到物體，是因為光線被這些物體反彈，最后射入我們的眼中。而我們的大腦需要對這些光進行復雜運算，最后重現(xiàn)你眼睛所看到物體的圖像。HoloLens 實際上就是大腦，將光線以全息圖的方式發(fā)射到你眼睛中，就好像物體真的于現(xiàn)實世界中一樣。就像下面這幅圖，HoloLens 可以將屏幕投射到墻上。當用戶四處走動時，屏幕依然會留在原地，就好像那是一面真實的鏡子。HoloLens 可在正確角度向你的眼中發(fā)射光線，讓你覺得屏幕真的出現(xiàn)在墻上。HoloLens 本身就是一立電腦，擁有的 CPU 和 GPU，以及微軟所謂的全息處理單元，負責支持創(chuàng)造

30、全息圖必須的全部必要計算。在消費者方面，HoloLens 擁有巨大潛力，你可能再無需60 英寸電視，HoloLens用戶將電視屏幕發(fā)射到墻上，屏幕大小可隨意調(diào)節(jié)。如果未來版的 HoloLens 足夠緊湊，你可以想象到有人邊開車邊接受導航，但司機的實現(xiàn)不再局限于屏幕上，而是可看到前方道路的全息圖。當然，可能是 HoloLens的重要賣點。在企業(yè)方面，HoloLens 最明顯的應用就是實現(xiàn) 3D 模型或設計的可視化。HoloLens 也可被用于會議等場合。此外，它的另一個用途可能是支持零售店，HoloLens 用戶看到其全息圖。在你家具前，你就可以看到家具被擺放在室內(nèi)的虛擬圖。由于 HoloLen

31、s 運行 Windows 10 操作系統(tǒng)，通用應用將可在其上順利運行。這些應用將被投射到用戶面前，可被便捷操作。對于微軟來說，吸引開發(fā)者非常重要，因為這款設備最吸引人的應用可能還未出現(xiàn)。盡管 HoloLens 的硬件設施令人印象深刻，但其依然需要好的應用為消費者和企業(yè)提供最好的服務。微軟手中可能正握著一款性。在錯失了移動大潮之后，微軟將復興的希望押在 HoloLens 身上，盡管在 HoloLens 成為大眾設備前，它可能需要數(shù)次迭代，但對于微軟來說，這將是改變規(guī)則的良機。谷歌谷歌當前在 VR 領域比較活躍，如推出硬件Cardboard 頭盔，上線 360 度全景功能，還提供 Tilt Bru

32、sh、Jump 和 Assembler 等 VR 小應用，方便幫助開發(fā)者創(chuàng)新新的 VR 體驗，但這并不意味著谷歌放棄了 AR 市場。谷歌和聯(lián)想合作，推出 Project Tango 項目。該項目旨在賦予智能3D 繪圖和創(chuàng)造 AR 體驗的能力。Tango 智能將于今年年終發(fā)貨，相當于是一個完整功能的 AR 設備。除了自身開發(fā) AR 項目，谷歌還投資了 AR 創(chuàng)業(yè)公司 Magic Leap。Magic Leap專注于 AR 技術的研發(fā)，其最終很可能是一款頭盔，可將電腦生成的圖像投射到人眼上，最終在現(xiàn)實圖像上疊加一個虛擬圖像。有關 Magic Leap 的情況，將在下文進行詳細說明。Magic Le

33、apMagic Leap 算是知名度很高的 AR 創(chuàng)業(yè)公司。今年 2 月，Magic Leap 在新一輪融資中獲得 7.935 億的投資，阿里、谷歌都參與了本輪融資。據(jù)估測，Magic Leap 的估值至少達到 45 億，這比兩年前收購 Oculus的價格高出了兩倍。Magic Leap 研發(fā)的技術依然處于半透明狀態(tài)，沒有任何出現(xiàn)，我們目前只知道它主要研發(fā)方向就是將三維圖像投射到人的視野中。Magic Leap CEO曾公開表達過公司的：“你可以將我們看作是科技生物學（Techno-biology），我們認為它是計算機的未來?！本唧w來說，Magic Leap 制作圖像的方法與人眼的工作方式相同

34、。Magic Leap利用彎曲的光場制作圖像，而不像其他平臺那樣利用圖像眼球。利用其他 3D 圖像投影方式，如果用戶閉上一只眼睛，3D 圖像就會消失。在現(xiàn)實生活中，用戶即使閉上一只眼睛，依然能夠看到 3D 圖像。Magic Leap 便采用這種更為實用的圖像制作方式。第四章：AR 市場潛力盡管過去一年里開始大肆AR 技術，我們目前了解到的大部分 AR 解決方案仍處于開發(fā)之中。只有少數(shù)硬件解決方案得到了大規(guī)模生產(chǎn)并能夠買到。2011 年，全球 AR 營收僅為 1.81 億，而且當時 AR 往往被人們視作一種營銷噱頭：一種還在摸索實用應用的技術。很少有人認識到 AR 的潛力，開發(fā)相關應用大多也是用

35、來快速打響名聲，或者這些應用的價值僅限于添加效果這樣的博眼球之舉而已。然而最新指出，到 2017 年，AR 市場將增長至 52 億，年增長率竟逼近100%。隨著大量資金注入 AR 項目及 AR 創(chuàng)業(yè)公司，尤其是隨著谷歌、佳能、高通、微軟等大公司的入場，我們已經(jīng)看到第一批消費級 AR的涌現(xiàn)。隨著實際商業(yè)利益的出現(xiàn)， AR 將成為消費、醫(yī)療、移動、汽車以及市場中的“下一件大事”。AR 比 VR 更具增長潛力市場調(diào)研公司 Digi-Capital 給出的一組數(shù)據(jù)很值得研究：到 2020 年，AR 的市場規(guī)模將達到 1200 億，遠高于 VR 的 300 億。VR 對于與 3D來說是一項非常棒的技術，

36、甚至可以說這項技術可謂是專門為此而設計的。但這項技術的體驗主要是在客廳、辦公室或者座位上展開的，因為如果你戴著一個完全封閉的頭戴式顯示器走在路上，隨時都可能撞到路邊的東西。雖然 AR 技術應用在也非常有趣，但在需要真正沉浸式體驗的時候，其所帶來的樂趣或許不如 VR 技術那么多，這就像是移動與主機之間的差距。但是，AR 技術在玩家眼中的這個缺點，恰恰是讓它可以同智能一樣，在數(shù)以億計用戶的現(xiàn)實生活中發(fā)揮重要作用的優(yōu)勢。人們可以戴著它四處活動，做任何事情。AR 的軟件與服務擁有可與如今的移動市場相媲美的效應，它們都可以利用現(xiàn)有的其他的市場，并不斷擴張它們。AR 龐大的用戶基礎將會成為電視電影、以及的

37、用戶應用程序甚至部落等的主要收入來源。換句話說，AR 技術有可能觸及到的人，因為它是對人們?nèi)粘Ｉ畹臒o縫補充，而不是像 VR 那樣在現(xiàn)實世界之外營造出一個完全虛擬的世界。增強現(xiàn)實：指向增強現(xiàn)實的一種新技術一書的作者（GregKipper）在書中寫到：“增強現(xiàn)實將具備的實際應用價值，因為在現(xiàn)實中，與真實世界中的事物互動的人一些?！痹谠鰪姮F(xiàn)實技術的幫助下，人們通過頭盔看見的三維全息圖像可以為真實世界提供一種有益的補充。當你走過一個雜貨店的走道，你也許會在眼前的虛擬屏幕上看到制作意大利飯所需的食材和配料。又或者，當你在閱讀一本有關天文學的書籍時，你周圍可能會出現(xiàn)一幅太陽系的圖像。但是戴上虛擬現(xiàn)實頭盔

38、之后，你與周遭世界的就被人為隔斷了。你被投影到一個不同的世界中，就像恐龍沖過一片叢林，或者像站在一幢 100 層的摩天大樓的樓頂上俯瞰著腳下的大街一樣。這跟主題樂園的過程有些相似，就擬現(xiàn)實頭盔戴久了會讓你感到惡心或者頭暈也跟你在主題樂園中呆久了的感覺很相似。Meta 是硅谷的一家小公司，員工人數(shù)大約為 100 人。按計劃它將在今年夏天交付第二代 AR 頭盔，它的頭盔是作為開發(fā)者工具套裝的一部分出售的，整個套裝售價 949，主要用來幫助開發(fā)頭盔設計出的三維、互動應用。Meta CEO預計，有朝一日，人們再也不用一邊在笨拙的鍵盤上敲敲打打，一邊緊盯著顯示屏的屏幕，人們可以在漂浮在眼前的全息圖像之間

39、隨意切換和瀏覽，只需用手碰一碰就可以完成。當然還有虛擬鍵盤，人們可以利用它輸入數(shù)據(jù)。人們可以進入他們的全息影像屏幕，提取出人的解剖圖，然后剔除骨骼進行研究。人們也可以通過去檢查打算的鞋子的內(nèi)部做工。到那個時候，打電話將會變成一種很奇怪的行為，因為所有人都可以在全息影像中進行。說：“VR 很酷，但它只是通向增強現(xiàn)實的一塊墊腳石。開發(fā)出比Mac 電腦好用一百倍且強大一百倍的。”第五章：AR的對于 AR 而言，解決任務是最的問題。對精度的要求極為嚴格：由于 AR 應以實時、六個自由度的形式將虛擬信息和現(xiàn)實信息相融合，即便是輕微的失準都會造成組合視圖難以的失真。因此，移動 AR兩點：必須極為精準，對計

40、算能力和內(nèi)存的利用必須極為高效。這個問題是 AR 面向大眾部署所的終極。我們斷言，目前大部分已知的任務解決方案其實并不適用于智能盡管看上去能用。因此，所有的AR 研究都應該為智能AR 的大空間應用問題開發(fā)專門的解決方案。智能是 AR 大眾市場最具前景的平臺。智能系統(tǒng)為面向大眾部署AR 的純軟件解決方案提供了一切要素。然而不應忽視的是，盡管技術和邏輯取得了種種進步，但是 AR 應用在智能上的大規(guī)模部署仍然著下列障礙：1、相機質(zhì)量與成像處理。智能通常配備的相機傳感器在弱光條件下表現(xiàn)糟糕：圖像模糊，開始出現(xiàn)明顯色差。相機傳感器硬件通常低層級。API只提供了相機傳感器的級，無法、光圈及焦距。小型 CC

41、D 傳感器導致相機采樣噪點增加，進而嚴重影響后續(xù) CV 算法的發(fā)揮。圖像獲取過程中的質(zhì)量損失很難通過后期處理步驟補償。2、電量消耗。電池電量近年來并沒有顯著提升。相機傳感器在以高幀率持續(xù)運行時耗電量很大，其主要是目前的設計用途仍然是拍照，而不是攝影。另外，傳感器和接口也是耗電大戶。運行功能強大的 AR 應用會讓電池迅速耗干。因此，AR 應用必須只能設計成供短時間使用，而不是一種“”功能。3、依賴性。大量數(shù)據(jù)受到幾個因素的影響。首先，延遲會導致令人不爽的延遲，拖累 AR 應用的瞬時表現(xiàn)。其次，數(shù)據(jù)僅在開了流量套餐時才有可能做到，而流量套餐可能過于昂貴或者無法開通。最后，某些地區(qū)的覆蓋可能不滿足條

42、件。于是完全的AR 應用成為了唯一的可行選擇，這就意味著需要在設備上占用大量的空間。4、可視化與交互的可能性。智能的外形因素在決策中發(fā)揮著重要作用。實際上，可接受最大設備的嚴格制約了顯示屏的大小。交互技術同樣著類似的限制。多點觸控界面或許是最為先進的交互機制，但它在某些特定任務如像素級的選取上表現(xiàn)糟糕。理論上講，AR 改進未來智能需從哪些方面入手已是眾所周知。在實踐中，AR 應用的開發(fā)者卻要看硬件廠商和服務供應商的臉色，后者做出硬件發(fā)展決策的依據(jù)是市場，而其中可能不含對 AR 的需求。不過，硬件總體是朝著正確的方向發(fā)展的，尤其在移動或移動導航系統(tǒng)的驅(qū)動下而這兩者與AR 在技術需求方面許多共通之

43、處。此外，研究目前相機方面限制，更好的相機 API 也會因此誕生，比如 Frankencamera 項目。盡管平板電腦作為一種流行移動平臺也在不斷壯大，但它屬于放大版的智能平臺。由于放大，可視化與交互的限制有了些許放松，但這些設備的和重量同時也制約著它們在 AR 領域的應用，是拿起來更加累人（比如說，把設備舉起來較長時間可能需要兩只手，反過來制約了交互的可能性）。除此之外，目前的平板電腦著與智能相同的問題。對于不同的 AR 應用而言，智能和平板電腦可能前者更適合，也可能后者更適合。計算機視覺的智能的一大優(yōu)勢在于，不必單單依賴于相機傳感器，也可以利用其它任意可用的傳感器，如 GPS，指南針，度計

44、和陀螺儀。盡管其它傳感器的使用在CV 社區(qū)中往往被視為“”，但這些傳感器能夠?qū)﹂_發(fā)外快速、健壯的功能做出貢獻。即便在結合了多種傳感器的幫助下，基于 CV 的仍然非常，一系列列舉如下：紋理結構。大多數(shù)方法依賴于點外形上的自然特征，要求環(huán)境中各區(qū)域紋理足夠清晰。點的主要問題在于，紋理的呈現(xiàn)形式。尤其在室內(nèi)場景中，常常會有白墻出現(xiàn)，使得基于自然特征的方法很難發(fā)揮作用。光照和天氣條件。盡管自然特征描述器通常被設計為不受光照影響，但這一假設只有在描述實際物理特征的觀測研究中成立。不幸的是，室外環(huán)境中大量以自然畫面呈現(xiàn)的特征與實際物理特征并不相關。場景中物體投射的陰影會造成斑點、邊角、線條的出現(xiàn)，還會隨著

45、光照或天氣條件變化而動態(tài)移動。因此，著大量的會對質(zhì)量產(chǎn)生嚴重影響的異常因素和不匹配因素，這與匹配算法的選擇并無關系。數(shù)據(jù)庫規(guī)模大、易變化。對于室外環(huán)境而言，在之前必須大量數(shù)據(jù)并處理生成初始模型。利用昂貴設備的實時方法能夠處理這一問題：然而，無法的區(qū)域仍然會造成最終模型中的孔洞（即未能構建地圖的區(qū)域）。此外，得到的模型僅代表某個時間點的靜態(tài)快照。環(huán)境中的任何變動，如商店櫥窗的翻新，咖啡店遮陽傘的開閉，停車場汽車的去留，都會讓生成的模型瞬間過時。另一個重要方面是通信通道（可能是移動）中最終模型的分發(fā)方式。由于這些模型通常體積頗大，整體還是拆分傳輸都會帶來技術難題。失準及丟失的傳感信息。在室外中，G

46、PS 和指南針提供了關于設備大致位置和方向的極具價值的絕對信息。不幸的是，傳感器并不健壯：在不同的地點，傳感信息的準確度可能會有天壤之別。尤其是在狹窄的城市峽谷里，GPS 信息可能會偏差 100 米，甚至會不可用。類似的是，磁干擾會嚴重影響電子指南針的讀數(shù)，而磁干擾在人造環(huán)境中是不可避免的。精準是 AR 亟待解決的最為重要的任務。但正如上面所述，仍然著一些，仍需這些尋找真正切實有效的解決方案。近來平板電腦 AR的 SLAM 實施證明，如果上述條件（即紋理結構清晰）達到，就能充分實現(xiàn)模環(huán)境的注 3。然而，大規(guī)模環(huán)境的僅于概念證明研究中。相關問題似乎難以攻克，因此只能等待技術的緩慢進步了。其他除了

47、實現(xiàn)算法研究成果的精度和可擴展性這樣的學術目標外，還著一系列嚴重影響 AR 體驗實用性的實際問題。這些因素僅與 AR 的實際應用相關，因此在科學文獻中討論較少。這或許會造成“這些問題不難解決或者與 AR 的不相關”的錯誤認識。下面列舉了一些與智能有關、同時也與 AR 一般用途有關的問題：實際的硬件發(fā)展與“AR 心愿”的：目前智能中相機及其它傳感器的質(zhì)量不足以滿足 AR 的高要求。硬件進步如相機，CPU/GPU 的統(tǒng)一隨機尋址，WiFi 三角能夠讓 AR 應用的開發(fā)者極大受益。不幸的是，在 AR 尚未氣候成熟時，期待會AR 優(yōu)化純屬幻想。硬件配置的任何變動會增加數(shù)百萬的開發(fā)成本，倘若之后市場預期

48、，搭上的更多。目前，消費者主要是為了語音通訊，和網(wǎng)頁瀏覽。這些市場將會驅(qū)動近期到中期的功能革新。我們必須說服設備廠家 AR 是應用的新興市場，這樣才能為 AR 爭取到更先進的硬件。幸運的是，如今 AR 的關注度已成規(guī)模，因此的將來，AR 的優(yōu)化或?qū)⒊蔀楝F(xiàn)實。動態(tài)場景與 AR 真實感的。目前的 AR 應用假設場景中的一切事物都是靜態(tài)的。然而，現(xiàn)實恰好與之相反。尤其在室外場景中，幾乎所有物體都在變化：行人，光照和天氣條件，甚至是物每隔幾年也會刷上新的顏色。會因此受到嚴重影響。在動態(tài)場景中，大多數(shù)算法的基本假設從一開始就是錯誤的。比如說你正在對一個立面進行增強，行人路過擋住了部分視野。由于算法缺少阻

49、擋推理，就算增強內(nèi)容的視覺效果再好，未來硬件平臺的性能再強大，也會出現(xiàn)礙眼的錯誤。動態(tài)物體與虛擬內(nèi)容之間交互的絕對會損害AR 應用的真實感。因此，目前 CV 研究成果中物體動態(tài)檢測與跟蹤技術的加入是未來實現(xiàn)高質(zhì)量AR 的關鍵。內(nèi)容創(chuàng)作與的：AR 之所以讓人興奮，很大程度上源于終端用戶參與內(nèi)容創(chuàng)作的發(fā)展前景。個人內(nèi)容創(chuàng)作是促使用戶積極參與而非觀察的關鍵所在。然而，目前仍然沒有實現(xiàn)這一概念的基本機制。盡管的交互方法得到了極大改進，但在沒有精準全局環(huán)境模型的條件下，如何使用 2D 界面方便、精準地注冊 6 自由度內(nèi)容，這個問題仍未得到解答。就拿增強物里面的一扇窗戶舉例，目前的方法甚至都無法搞定簡單的

50、標記任務。尚沒有在開放空間內(nèi)輸入任意3D 位置的機制，更別說明確指出方向了。目前決定的做法通常利用的是用戶（不精準的）GPS 位置，而不是物體本身。對于終端用戶創(chuàng)、理想的內(nèi)容而言，在用戶附近對任意位置進行精準一定要簡單而健壯然而，這又是一個超出 CV 基本范疇的研究難題。第六章：順應 AR 潮流近些年，AR 引起了市場的注意，因為它可能改變消費者的購物體驗，例如尋找新以及決定哪個。AR 技術可以通過 HoloLens 或谷歌眼鏡或通過智能上的攝像頭來將虛擬的元素（例如信息和圖片）疊加在真實的物理環(huán)境之上。但是，要發(fā)揮 AR 的潛力，公司應該克制草率開發(fā) AR 應用程序的沖動，而把注意力放到深入

51、理解消費者與 AR 技術互動的方式上來。設計和執(zhí)行有價值的 AR應用程序必須遵守以下幾點：·深入理解消費者如何使用 AR 技術；·加強電腦、設計師和市場之間的合作；·在消費者現(xiàn)有購物體驗中整合 AR 應用程序。AR 技術的獨特性首先，任何公司必須理解 AR 技術與其他數(shù)字技術的區(qū)別。雖然它們在某些方面很相似（例如，它們的應用程序都可以在智能上使用，內(nèi)容由文字或圖片組成以及應用程序通常具有很強的互動性），但是AR 技術也有內(nèi)在的獨特性：它能夠?qū)⑻摂M內(nèi)容疊加在真實的物理環(huán)境中，并讓這兩者實現(xiàn)實時互動。曾有一項實驗來AR 如何影響消費者的反應。這個實驗總共有 60 個受

52、試者參加，在這個實驗中，受試者需要尋找他們喜愛的太陽鏡或家具，他們要么通過（宜家家居或眼鏡）AR 應用程序來查找，要么通過那些可以搜索但無AR 功能的應用程序來查找。實驗結果發(fā)現(xiàn)，當受試者發(fā)現(xiàn)現(xiàn)實環(huán)境被實時增強時（例如，看到太陽鏡模擬他們臉上的樣子，或看到一把椅子擺在虛擬辦公室中的情景），他們就會產(chǎn)生一種身臨其境的感覺。這種感覺比只看到上的太陽鏡或家居要強烈得多。這種增強現(xiàn)實體驗會讓消費者對 AR 應用程序產(chǎn)生好感，并愿意再次使用這種應用程序以及與別人談論這種應用程序。但是，這種好感似乎并不能延伸到或品牌上。應用 AR 的目的是讓消費者對產(chǎn)生好感但是，另一項研究表明這種情況是可以改變的，只要巧

53、妙地將 AR 應用程序整合到消費者的實際購物體驗中，實驗使用的應用程序可以讓消費者涂抹虛擬口紅或畫虛擬眼影。在店里使用這種 AR 技術可以幫助消費者決定什么。大多數(shù)消費者覺得它很好玩，可以讓他們嘗試實際化妝難以達到的妝容效果。更為重要的是，當 AR應用程序整合進類似的虛擬零售店環(huán)境的時候，消費者不僅對這種 AR 技術產(chǎn)生了好感，而且對于也產(chǎn)生了好感?，F(xiàn)在，他們更可能這些，并將 AR應用程序看做是購物的便利工具，而不僅僅是用來的工具。另一項研究表明，當受試者頻繁在其上使用 AR 化妝應用程序的時候，他們也會對 AR 技術和同時產(chǎn)生好感。他們認為，AR 應用程序不僅好玩，而且很方便用來化妝品。這種好感往往會促使他們他們試用過的化妝品?？偟恼f來，如果 AR 體驗是的，那么它可能只會把消費者的注意力引向這種技術本身。但是，如果它能夠很好地整合到消費者