2024移動設(shè)備增強現(xiàn)實系統(tǒng)技術(shù)規(guī)范

移動設(shè)備增強現(xiàn)實系統(tǒng)技術(shù)規(guī)范目??次目??次 I前??言 III信息技術(shù)移動設(shè)備增強現(xiàn)實系統(tǒng)技術(shù)規(guī)范 1范圍 1規(guī)范性引用文件 1術(shù)語和定義 1縮略語 3系統(tǒng)結(jié)構(gòu) 4功能要求 4在線跟蹤定位 4尺度估計 5標志物識別跟蹤 5三維重建 5光照估計 6人臉識別跟蹤 6手勢識別跟蹤 6渲染引擎 6虛實遮擋 7性能要求 7在線跟蹤定位 7尺度估計 8標志物識別跟蹤 8三維重建 8光照估計 9人臉識別跟蹤 9手勢識別跟蹤 9渲染引擎 9虛實遮擋 9運行 9測試方法 10測試環(huán)境 10室內(nèi)小場景 10室內(nèi)外大場景 10功能測試方法 10在線跟蹤定位 11尺度估計 11標志物識別跟蹤 11三維重建 12光照估計 12人臉識別跟蹤 12I手勢識別跟蹤 12渲染引擎 12虛實遮擋 13性能測試方法 13在線跟蹤定位 13尺度估計 13標志物識別跟蹤 13三維重建 14光照估計 15人臉識別跟蹤 15手勢識別跟蹤 15渲染引擎 15虛實遮擋 158.3.10運行 15附錄A（規(guī)范性）增強現(xiàn)實系統(tǒng)相關(guān)手持式移動設(shè)備傳感器 17曝光參數(shù) 17慣性測量單元 17對焦模式 17時間對準 17攝像頭圖像質(zhì)量 17深度攝像頭 17附錄B（規(guī)范性）面部和手勢關(guān)鍵點分布 19面部關(guān)鍵點分布 19手部關(guān)鍵點分布 19IIII1313信息技術(shù)移動設(shè)備增強現(xiàn)實系統(tǒng)技術(shù)規(guī)范范圍本文件給出了移動設(shè)備的增強現(xiàn)實系統(tǒng)的結(jié)構(gòu)，規(guī)定了功能要求、基本性能要求和測試方法。本文件適用于移動設(shè)備增強現(xiàn)實系統(tǒng)的設(shè)計、生產(chǎn)、應(yīng)用和維護。規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T38247-2019信息技術(shù)增強現(xiàn)實術(shù)語術(shù)語和定義GB/T38247-2019界定的以及下列術(shù)語和定義適合于本文件。3.1手持式移動設(shè)備handheldmobile device具備攝像頭、顯示屏、網(wǎng)絡(luò)功能以及可檢測其方位和運動信息的元件的手持式終端設(shè)備。注：包括具備六自由度定位功能的手機或平板電腦等智能設(shè)備。3.2增強現(xiàn)實augmentedreality采用以計算機為核心的現(xiàn)代高科技手段生成的附加信息對使用者感知到的真實世界進行增強的環(huán)境，生成的信息以視覺、聽覺、味覺、嗅覺、觸覺等生理感覺融合的方式疊加至真實場景中。[來源：GB/T38247-2019，2.1.2]3.3真實環(huán)境actual environment人類所處的不需要借助裝備就能感知的包含多物理對象的真實世界。[來源：GB/T38247-2019，2.2.4]3.4虛擬對象virtual object計算機生成的具有幾何形狀、特定格式或特定行為的對象。注：其原型可以是現(xiàn)實對象，也可以是完全虛構(gòu)的對象。[來源：GB/T38247-2019，2.2.1]PAGEPAGE10PAGEPAGE33.5二維標志物2dimensional marker預(yù)先設(shè)定的具有特殊編碼或圖案的二維圖像，通過檢測、跟蹤或識別該二維圖像，可在場景、圖像或視頻中估計出其相對于手持式移動設(shè)備的位置和朝向。3.6三維標志物3dimensional marker預(yù)先設(shè)定的具有特殊形狀或紋理的三維物體，通過檢測、跟蹤或識別該三維圖像，可在場景、圖像或視頻中估計出其相對于手持式移動設(shè)備的位置和朝向。3.7錨點anchor point將虛擬物體放置在環(huán)境過程中所使用的基準點。[來源：GB/T38247-2019，2.2.45]3.8云端cloud end供具備訪問權(quán)限的手持式移動設(shè)備遠程接入、具備計算和存儲功能的系統(tǒng)。3.9定位localization獲取確定指定對象的空間六自由度位置和姿態(tài)信息。3.10重定位relocalization當跟蹤定位丟失時，手持式移動設(shè)備根據(jù)之前跟蹤過的歷史位置和朝向，通過觸發(fā)對手持式移動設(shè)備的重新定位機制來獲取正確的位姿信息，并重置手持式移動設(shè)備當前的位姿。3.11六自由度跟蹤six degree of freedom tracking實時計算手持式移動設(shè)備相對真實場景的六自由度位置和姿態(tài)。3.12同步定位與地圖構(gòu)建simultaneous localization and mapping設(shè)備（移動終端或者機器人等）在未知環(huán)境里通過觀察外部環(huán)境來定位自身的位置和姿態(tài)，再通過自身的位置增量式地構(gòu)建未知環(huán)境的地圖。[來源：GB/T38247-2019，2.2.67]3.13光照估計illumination estimation從傳感器或攝像機視圖中分析計算物理場景的光源照度分布信息的過程。[來源：GB/T38247-2019，2.2.50]3.14尺度估計scale estimation在系統(tǒng)中獲得到物理世界的長度尺寸信息的過程。[來源：GB/T38247-2019，2.2.51]3.15絕對位置誤差absolute position error增強現(xiàn)實系統(tǒng)所測得的當前時刻手持式移動設(shè)備位置的真實值與估計值之間的平均偏差。3.16絕對旋轉(zhuǎn)誤差absolute rotation error增強現(xiàn)實系統(tǒng)所測得的當前時刻手持式移動設(shè)備旋轉(zhuǎn)角度的真實值與估計值之間的平均偏差。3.17相對位置誤差relative position error手持式移動設(shè)備位置發(fā)生變化時，增強現(xiàn)實系統(tǒng)所測得的當前時刻與前一時刻位置的真實值變化量與估計值變化量之間的平均偏差。3.18相對旋轉(zhuǎn)誤差relative rotation error手持式移動設(shè)備旋轉(zhuǎn)角度發(fā)生變化時，增強現(xiàn)實系統(tǒng)所測得的當前時刻與前一時刻旋轉(zhuǎn)角度的真實值變化量與估計值變化量之間的平均偏差。3.19關(guān)鍵點平均召回率keypoints mean recall手持式移動設(shè)備拍攝的圖片中，正確跟蹤的面部或手部的關(guān)鍵點與實際存在的關(guān)鍵點數(shù)量的平均比值。注1：面部和手部的關(guān)鍵點分布應(yīng)符合附錄B的規(guī)定。注2：正確跟蹤是指所跟蹤的關(guān)鍵點與實際存在的關(guān)鍵點的距離小于待檢測區(qū)域?qū)挾仁种坏臓顟B(tài)?？s略語下列縮略語適用于本文件。6DoF：六自由度（SixDegreesofFreedom）APE：絕對位置誤差（AbsolutePositionError）AR： 增強現(xiàn)實（AugmentedReality）ARE：絕對旋轉(zhuǎn)誤差（AbsoluteRotationError）CPU：中央處理器(CentralProcessingUnit)FPS：每秒幀數(shù)（FramesPerSecond）IMU：慣性測量單元（InertialMeasurementUnit）RPE：相對位置誤差（RelativePositionError）RRE：相對旋轉(zhuǎn)誤差（RelativeRotationError）SLAM：同步定位與地圖構(gòu)建（SimultaneousLocalization AndMapping）系統(tǒng)結(jié)構(gòu)圖1手持式移動設(shè)備增強現(xiàn)實系統(tǒng)結(jié)構(gòu)圖功能要求在線跟蹤定位六自由度在線跟蹤手持式移動設(shè)備增強現(xiàn)實系統(tǒng)應(yīng)在線估計設(shè)備的六個自由度位姿。本地重定位當跟蹤定位丟失時，手持式移動設(shè)備增強現(xiàn)實系統(tǒng)應(yīng)在本地重新定位并重置設(shè)備當前的位姿。云端重定位當跟蹤定位丟失時，端云協(xié)同的手持式移動設(shè)備增強現(xiàn)實系統(tǒng)應(yīng)在云端重新定位并重置設(shè)備當前的位姿。尺度估計手持式移動設(shè)備增強現(xiàn)實系統(tǒng)應(yīng)符合以下要求：a）得到物理世界的尺度信息；b）使得虛擬場景與物理世界注冊在同一尺度的坐標系下；c）實現(xiàn)虛擬對象與物理世界1：1虛實融合的效果。標志物識別跟蹤二維標志物識別跟蹤手持式移動設(shè)備增強現(xiàn)實系統(tǒng)應(yīng)符合以下要求：a）對定義好的場景二維標志物進行識別；b）6DoF三維標志物識別跟蹤手持式移動設(shè)備增強現(xiàn)實系統(tǒng)應(yīng)符合以下要求：對真實場景中三維標志物體的紋理或結(jié)構(gòu)信息進行預(yù)處理；將來自攝像頭的實時信息與處理過的信息進行比較，實現(xiàn)二維和三維信息的匹配；c）云端標志物識別端云協(xié)同的手持式移動設(shè)備增強現(xiàn)實系統(tǒng)應(yīng)符合以下要求：對用戶上傳到云端的帶二維標志物的圖像幀，利用云端服務(wù)器計算資源進行識別，并返回該幀二維標志物的位置和朝向信息至用戶端；對用戶上傳到云端的帶三維物體的圖像幀，利用云端服務(wù)器計算資源進行識別，并返回該幀三維物體的位置和朝向信息至用戶端。三維重建平面檢測及求錨點單一平面重建及求錨點手持式移動設(shè)備增強現(xiàn)實系統(tǒng)應(yīng)符合以下要求：a）需支持水平面和豎直平面的檢測；b）理解真實場景的主水平面，并在其上求出錨點或?qū)ζ溥M行渲染；c）對平面上的三維點進行識別、判定平面位置并進行拓展；對場景中單一平面的檢測；對單一平面進行重建并求錨點。多個平面重建及求錨點對于包含多個平面的場景，手持式移動設(shè)備增強現(xiàn)實系統(tǒng)應(yīng)符合以下要求：a）（包括水平平面或垂直平面并在其上求出錨點或?qū)ζ溥M行渲染；b）c）對場景中多個平面進行檢測；d）對多個平面進行重建并求錨點。平面位置自動調(diào)節(jié)當發(fā)生回路閉合或觸發(fā)其它歷史幀位姿的優(yōu)化行為時，手持式移動設(shè)備增強現(xiàn)實系統(tǒng)應(yīng)符合以下要求：根據(jù)位姿的優(yōu)化，自動調(diào)整平面的位置；b）稠密點云重建及求錨點當在較為復(fù)雜的非平面場景上置放虛擬物體時，手持式移動設(shè)備增強現(xiàn)實系統(tǒng)應(yīng)符合以下要求：a）重建場景的稠密三維點云信息，點云中的每個三維點包含位置、法向、顏色等信息；c）稠密網(wǎng)格重建及求錨點當在真實場景上構(gòu)建遮擋、陰影、碰撞等復(fù)雜的虛實融合效果時，手持式移動設(shè)備增強現(xiàn)實系統(tǒng)應(yīng)符合以下要求：重建場景稠密的三維網(wǎng)格信息；b）云端三維重建端云協(xié)同的手持式移動設(shè)備增強現(xiàn)實系統(tǒng)應(yīng)符合以下要求：a）支持漸增式的實時拓展；利用云端服務(wù)器計算資源對用戶端上傳的關(guān)鍵幀圖像進行三維重建；c）d）讀取或顯示重建信息。光照估計手持式移動設(shè)備增強現(xiàn)實系統(tǒng)應(yīng)從傳感器或者攝像頭視圖中估計出用于虛擬對象、虛擬場景渲染的物理場景的全局光照環(huán)境信息。人臉識別跟蹤手持式移動設(shè)備增強現(xiàn)實系統(tǒng)人臉識別跟蹤應(yīng)符合以下要求：a）在手持式移動設(shè)備的鏡頭視野下能夠檢測人臉的外接框；68在大的頭部姿態(tài)、不同的光照條件或極端表情等復(fù)雜條件下能夠?qū)崿F(xiàn)準確的關(guān)鍵點跟蹤。手勢識別跟蹤手持式移動設(shè)備增強現(xiàn)實系統(tǒng)手勢識別跟蹤應(yīng)符合以下要求：a）在手持式移動設(shè)備的鏡頭視野下能夠檢測手部的外接框；21在不同手勢動作、手部運動、光照條件下能夠?qū)崿F(xiàn)準確的關(guān)鍵點跟蹤。渲染引擎手持式移動設(shè)備增強現(xiàn)實系統(tǒng)應(yīng)符合以下要求：a）實時將動/靜態(tài)虛擬對象渲染在現(xiàn)實畫面中；b）緊密貼合虛擬對象與現(xiàn)實背景；c）正確響應(yīng)現(xiàn)實世界的光照變化；d）支持靜態(tài)模型和動態(tài)模型的渲染。虛實遮擋手持式移動設(shè)備增強現(xiàn)實系統(tǒng)應(yīng)實現(xiàn)虛擬物體與真實環(huán)境之間的遮擋，包括虛擬對象與靜態(tài)背景環(huán)境之間的遮擋和虛擬對象與動態(tài)前景之間的遮擋。性能要求在線跟蹤定位六自由度在線跟蹤在本文件所述基準測試數(shù)據(jù)集所涵蓋的運動類型和測試場景下，手持式移動設(shè)備增強現(xiàn)實系統(tǒng)6DoF在線跟蹤應(yīng)符合以下要求：24FPS；9595%：1）APE10cm5%（以較大值為準）；ARE6°；0.1s3cm；0.1s2°。c）5；注：初始化指標定義如下：?????=???????????1)0.5，其中?????表示初始化完成的時間表示初始化的尺度誤差，可以基于公式??????0.5|?1|+|1/?1|)計算得到??????，其s是待測試的六自由度在線跟蹤模塊計算得到的尺度系數(shù)。d）跟蹤魯棒性指標平均不超過2。注：跟蹤魯棒性指標定義如下：??=(?????+0.05???0.1????),其中?????失的幀數(shù)占整個輸入視頻幀序列的比例，???表示整個視頻幀序列中每次重定位的平均誤差，????表示整個視頻幀序列的絕對位置誤差。本地重定位手持式移動設(shè)備增強現(xiàn)實系統(tǒng)本地重定位應(yīng)符合以下要求：12190%：用戶將手持式移動設(shè)備置回到未跟蹤丟失之前的位置完成重定位；5cm5%（以較大值為準）；2s。云端重定位手持式移動設(shè)備增強現(xiàn)實系統(tǒng)云端重定位符合以下要求：10cm頭所拍攝畫面深度的中值的5%（以較大值為準）；b）在重定位成功的情況下，重定位時間不超過2s。尺度估計手持式移動設(shè)備增強現(xiàn)實系統(tǒng)對真實環(huán)境的尺度估計值與其真實值的偏差不超過5%。標志物識別跟蹤二維標志物識別跟蹤手持式移動設(shè)備增強現(xiàn)實系統(tǒng)二維標志物識別跟蹤應(yīng)符合以下要求：a）40.5s；90%，即測試數(shù)據(jù)集中的符合估計位姿下二維標志物的投影輪廓與真值之5以較大值為準的二維標志物幀90%；24FPS；e）20FPS。三維標志物識別跟蹤手持式移動設(shè)備增強現(xiàn)實系統(tǒng)三維標志物識別跟蹤應(yīng)符合以下要求：a）24FPS；1s；33%；90%，即測試數(shù)據(jù)集中的符合估計位姿下三維標志物的投影輪廓與真值之5以較大值為準三維標志物幀數(shù)90%。云端標志物識別（不含網(wǎng)絡(luò)傳輸延時）0.2s。三維重建平面檢測手持式移動設(shè)備增強現(xiàn)實系統(tǒng)平面檢測應(yīng)符合以下要求：a）處理幀率與6DoF跟蹤幀率一致；b）平面位置精度誤差不超過2%。注：平面位置精度誤差即檢測平面與真值平面之間的平均距離與待檢測平面最大軸向尺寸的比值。稠密點云重建手持式移動設(shè)備增強現(xiàn)實系統(tǒng)稠密點云重建應(yīng)符合以下要求：a）處理幀率與6DoF跟蹤幀率一致；b）稠密點云的位置精度誤差不超過3%。注：稠密點云位置精度誤差即重建點云與真值點云之間的平均距離與待重建點云模型最大軸向尺寸的比值。稠密網(wǎng)格重建手持式移動設(shè)備增強現(xiàn)實系統(tǒng)稠密網(wǎng)格重建應(yīng)符合以下要求：a）處理幀率與6DoF跟蹤幀率一致；b）稠密網(wǎng)格的幾何精度誤差不超過3%。注：稠密網(wǎng)格位置精度誤差即重建網(wǎng)格與真值網(wǎng)格之間的平均距離與待重建網(wǎng)格模型最大軸向尺寸的比值。光照估計手持式移動設(shè)備增強現(xiàn)實系統(tǒng)光照估計應(yīng)符合以下要求：a）對于環(huán)境變化的響應(yīng)時間應(yīng)不超過1s；b）場景光照顏色的估計值與真值的誤差應(yīng)不超過0.3（光照顏色值在亮度色彩空間中統(tǒng)一歸一化為0至1的范圍）。人臉識別跟蹤手持式移動設(shè)備增強現(xiàn)實系統(tǒng)人臉識別跟蹤應(yīng)符合以下要求：a）跟蹤幀率不小于20FPS；b）關(guān)鍵點平均跟蹤召回率不低于90%。手勢識別跟蹤手持式移動設(shè)備增強現(xiàn)實系統(tǒng)手勢識別跟蹤應(yīng)符合以下要求：a）跟蹤幀率不小于20FPS；b）關(guān)鍵點平均跟蹤召回率不低于90%。渲染引擎手持式移動設(shè)備增強現(xiàn)實系統(tǒng)渲染引擎應(yīng)符合以下要求：a）渲染幀率不低于攝像頭輸入視頻流的幀率；b）渲染分辨率不低于攝像頭輸入視頻流分辨率。虛實遮擋手持式移動設(shè)備增強現(xiàn)實系統(tǒng)虛實遮擋應(yīng)符合以下要求：6DoF51%（以較大值為準）；c）10%。運行CPU在單目方案中，手持式移動設(shè)備增強現(xiàn)實系統(tǒng)在運行基本的跟蹤和稀疏點云地圖構(gòu)建時，宜符合以下要求：CPU50%；5m×5m500MB。算法運行效率手持式移動設(shè)備增強現(xiàn)實系統(tǒng)的運行幀率應(yīng)不小于20FPS。測試方法測試環(huán)境室內(nèi)小場景測試環(huán)境在5m×5m的實驗室中，按以下要求布置標準測試場景為在線跟蹤定位、尺度估計、標志物識別跟蹤、三維重建、虛實遮擋模塊、標志物識別與跟蹤、光照估計等模塊的測試做準備：在房間的天花板上布置紅綠藍白四種光源模式，每種光源均為漫射光，保證場景中的光線均550nm460nm，白光為紅綠藍三種波長20lx200lx場景中包含三面墻體和一張方桌，墻體表面貼上帶圖案的墻紙，方桌上鋪上帶花紋的桌布；c）55基準數(shù)據(jù)集參照ZJU-SenseTimeVISLAMBenchmark（ /eval-vislam/dataset ） ， NEAR-VI-Dataset（/EZXR-Research/NEAR-VI-Dataset）等公開數(shù)據(jù)集。室內(nèi)外大場景測試環(huán)境按以下要求選擇室內(nèi)/室內(nèi)場景不小于20m×20m，保證測試時燈光均勻，運動過程中鏡頭到場景最近點距離涵蓋范圍1m到10m，最遠點涵蓋范圍10m到20m；室外場景不小于50m×50m，保證測試時陽光充足，運動過程中鏡頭到場景最近點距離涵蓋范圍1m到10m，最遠點涵蓋范圍10m到50m；基準數(shù)據(jù)集參照LSFB公開數(shù)據(jù)集（/zju3dv/LSFB）。人臉識別跟蹤測試環(huán)境按以下要求布置場景為人臉識別跟蹤模塊測試做準備：a）在室內(nèi)場景中，保證測試時燈光均勻，并保證一人的臉部區(qū)域能夠被完整且清晰拍攝；b）在室外場景中，保證測試時陽光充足，并保證一人的臉部區(qū)域能夠被完整且清晰拍攝；c）采集正臉、側(cè)臉不同的視角，以及微笑、大笑、憤怒、平靜、煩惱等多種表情；人工標注所采集數(shù)據(jù)中定義的不少于68個面部關(guān)鍵點；基準數(shù)據(jù)集參照300W-LP公開數(shù)據(jù)集（/users/xiangyuzhu/projects/3ddfa/main.htm）。手勢識別跟蹤測試環(huán)境按以下要求布置場景為手勢識別跟蹤模塊測試做準備：a）在室內(nèi)場景中，保證測試時燈光均勻，并保證單個手部區(qū)域能夠被完整且清晰拍攝；b）在室外場景中，保證測試時陽光充足，并保證單個手部區(qū)域能夠被完整且清晰拍攝；c）采集手心、手背、側(cè)面不同視角，手指數(shù)字、握拳、贊賞等多種手勢；人工標注所采集數(shù)據(jù)中定義的不少于21個手部關(guān)鍵點；基準數(shù)據(jù)集參照OneHand10K公開數(shù)據(jù)集（https:///papers/WANG-MCC-2018-10.html）。功能測試方法在線跟蹤定位六自由度在線跟蹤手持式移動設(shè)備的6DoF在線跟蹤功能測試方法具體如下：a）將布置的測試環(huán)境光照顏色調(diào)節(jié)成白光，照度調(diào)節(jié)為100lx；b）手持移動設(shè)備，進行不同方式的運動并開啟增強現(xiàn)實系統(tǒng)；c）觀察設(shè)備的可視化軌跡和設(shè)備顯示屏上的虛擬對象的位置。本地重定位手持式移動設(shè)備本地重定位功能測試方法具體如下：a）100lx；b）快速甩動設(shè)備或者長時間遮擋攝像頭，使得算法進入跟蹤失敗狀態(tài)；對著掃描過的場景重新進行掃描定位，如果能夠定位成功（表現(xiàn)為虛擬對象恢復(fù)原位），則增強現(xiàn)實系統(tǒng)具備本地重定位功能，如果始終無法定位，則算不具備本地重定位功能。云端重定位手持式移動設(shè)備云端重定位功能測試方法具體如下：a）將布置的測試環(huán)境光照顏色調(diào)節(jié)成白光，照度調(diào)節(jié)為100lx；b）預(yù)先掃描場景，使算法可以充分構(gòu)建場景地圖信息并置于云端；快速甩動設(shè)備或者長時間遮擋攝像頭，使得算法進入跟蹤失敗狀態(tài)；（表現(xiàn)為虛擬對象恢復(fù)原位），則增強現(xiàn)實系統(tǒng)具備云端重定位功能，如果始終無法定位，則算不具備云端重定位功能。尺度估計手持式移動設(shè)備尺度估計功能的測試方法為觀察尺度估計成功后虛擬對象的尺寸是否接近真實大小，判斷增強現(xiàn)實系統(tǒng)是否具備尺度估計功能。標志物識別跟蹤二維標志物識別跟蹤二維標志物識別跟蹤功能測試方法具體如下：100lx；AR三維標志物識別跟蹤三維標志物識別跟蹤功能測試方法為在測試環(huán)境中用手持式移動設(shè)備掃描拍攝三維標志物，通過AR云端標志物識別云端標志物識別功能測試方法為保證手持式移動設(shè)備網(wǎng)絡(luò)通暢，在測試環(huán)境中用手持式移動設(shè)備AR三維重建平面檢測平面檢測功能測試方法具體如下：100lx；對測試環(huán)境進行移動平臺上的平面檢測，測試增強現(xiàn)實系統(tǒng)是否具備平面檢測功能，平面檢測是否具有漸增式的實時拓展性，以及是否可以檢測出多個平面。稠密點云重建稠密點云重建功能測試方法為對測試環(huán)境進行移動平臺上的稠密點云重建，測試增強現(xiàn)實系統(tǒng)是否具備稠密點云重建功能，以及稠密點云重建是否具有漸增式的實時拓展性。稠密網(wǎng)格重建稠密網(wǎng)格重建功能測試方法為對測試環(huán)境進行移動平臺上的稠密網(wǎng)格重建，測試增強現(xiàn)實系統(tǒng)是否具備稠密網(wǎng)格重建功能，以及稠密網(wǎng)格重建是否具有漸增式的實時拓展性。光照估計光照估計功能測試方法具體如下：在布置的測試環(huán)境中切換紅綠藍白四種光源顏色，并調(diào)整不同的照度；觀察虛擬對象的顏色是否與測試環(huán)境光照一致，是否會隨著光照變化而變化，來判斷增強現(xiàn)實系統(tǒng)是否具備光照估計功能。人臉識別跟蹤人臉識別跟蹤功能測試方法具體如下：錄制不同場景中的不同表情的人臉視頻；如果移動設(shè)備能夠正確跟蹤一系列面部關(guān)鍵點，那么增強現(xiàn)實系統(tǒng)就具備了人臉識別跟蹤的功能。手勢識別跟蹤手勢識別跟蹤功能測試方法具體如下：錄制不同場景中的不同手勢動作的手部視頻；如果移動設(shè)備能夠正確跟蹤視頻中的手部關(guān)鍵點，那么增強現(xiàn)實系統(tǒng)就具備了手勢識別跟蹤的功能。渲染引擎渲染引擎功能測試方法為在實驗室中，手持上述移動設(shè)備，進行不同方式的運動并開啟增強現(xiàn)實系統(tǒng)，觀察手持式移動設(shè)備屏幕顯示的渲染效果，判斷增強現(xiàn)實系統(tǒng)是否具備以下功能：實時將動/靜態(tài)虛擬對象渲染在現(xiàn)實畫面中；緊密貼合虛擬對象與現(xiàn)實背景；正確響應(yīng)現(xiàn)實世界的光照變化；ARAR虛實遮擋虛實遮擋功能測試方法具體如下：尋找一個景深層次結(jié)構(gòu)復(fù)雜的場景；用手持式移動設(shè)備拍攝該場景并啟動增強現(xiàn)實系統(tǒng)，并在手機場景的畫面中放置動態(tài)虛擬物（包括靜態(tài)背景和動態(tài)前景之間遮擋效果，以此判斷增強現(xiàn)實系統(tǒng)是否具備虛實遮擋功能。性能測試方法在線跟蹤定位六自由度在線跟蹤6DoF在線跟蹤性能測試方法具體如下：ARIMU搭建一個支持離線運行算法的移動端數(shù)據(jù)采集工具，可以讀入基準數(shù)據(jù)集，并能夠正常運行算法；6DoFAPEARERPERRE評估算法的準確率、幀率等指標。本地重定位本地重定位性能測試方法具體如下：掃描場景，使算法可以充分構(gòu)建場景地圖信息；快速甩動設(shè)備或者長時間遮擋攝像頭，使得算法進入跟蹤失敗狀態(tài)；對掃描過的場景重新進行掃描定位?；谏鲜鰯?shù)據(jù)評估本地重定位的成功率、重定位耗時和重定位精度。云端重定位云端重定位性能測試方法具體如下：掃描場景，使算法可以充分構(gòu)建場景地圖信息；快速甩動設(shè)備或者長時間遮擋攝像頭，使得算法進入跟蹤失敗狀態(tài)；對掃描過的場景重新進行掃描，并傳輸至云端進行重定位?；谏鲜鰯?shù)據(jù)評估云端重定位的成功率、重定位耗時和重定位精度。尺度估計6DoF6DoF標志物識別跟蹤二維標志物識別跟蹤二維標志物識別跟蹤性能測試方法具體如下：5min的執(zhí)行時間統(tǒng)計出二維標志物識別與跟蹤的平均單幀耗時情況，包括：55測試二維標志物識別的成功率，包括不同角度、不同距離和不同光照下的成功率。三維標志物識別跟蹤三維標志物識別跟蹤性能測試方法具體如下：5min的執(zhí)行時間統(tǒng)計出三維標志物識別與跟蹤的平均單幀耗時情況，包括：55測試三維標志物識別的成功率，包括不同角度、不同距離和不同光照下的成功率。云端標志物識別云端標志物識別性能測試方法為保證測試手持式移動設(shè)備網(wǎng)絡(luò)通暢，通過手持式移動設(shè)備將場景視頻流上傳至云平臺，測試云端識別二維標志物和三維標志物的速度和成功率，包括：測試二維標志物識別的平均網(wǎng)絡(luò)耗時、算法耗時和成功率；測試三維標志物識別的平均網(wǎng)絡(luò)耗時、算法耗時和成功率。三維重建平面檢測平面檢測性能測試方法具體如下：a）根據(jù)場景的實際測量尺寸用建模軟件建出其中的多個平面模型作為真值；b）評估檢測的每個平面與真值平面之間的位置精度誤差；c）5min5稠密點云重建稠密點云重建性能測試方法具體如下：將三維掃描儀掃描出場景的精確三維模型作為真值；對場景進行移動平臺上的稠密點云重建，評估重建的稠密點云與真值三維模型之間的位置精度誤差；5min的執(zhí)行時間統(tǒng)計出稠密點云重建的平均單幀耗時。稠密網(wǎng)格重建稠密網(wǎng)格重建性能測試方法具體如下：將三維掃描儀掃描出場景的精確三維模型作為真值；對場景進行移動平臺上的稠密網(wǎng)格重建，評估重建的稠密網(wǎng)格與真值三維模型之間的幾何精度誤差；5min的執(zhí)行時間統(tǒng)計出稠密網(wǎng)格重建的平均單幀耗時。光照估計光照估計性能測試方法具體如下：關(guān)閉所有燈光，分別測試場景光照顏色估計值與真值的誤差，光照估計真值采用環(huán)境光采集330lx100lx200lx400lx30lx100lx200lx400lx30lx100lx200lx400lx30lx100lx200lx400lx人臉識別跟蹤人臉識別跟蹤性能測試方法具體如下：8.1.3比較人臉關(guān)鍵點跟蹤結(jié)果與人工標注結(jié)果，計算面部關(guān)鍵點跟蹤的平均召回率。手勢識別跟蹤手勢識別跟蹤性能測試方法具體