中國電信：5G空間計算白皮書

虛擬現(xiàn)實與元宇宙產(chǎn)業(yè)聯(lián)盟1本白皮書版權(quán)屬于所有合著單位共同所有，并受法律保護。轉(zhuǎn)載、摘編或利用其它方式使用本白皮書文字或者觀點的，應(yīng)注明“來源：《5G空間計算白皮書》”。違反上述聲明者，我們將追究其相關(guān)法律責(zé)任。2化和旅游部、國家廣播電視總局、國家體育總局五部門銳、金科商業(yè)、興業(yè)數(shù)金、奇領(lǐng)空間、清博智能等產(chǎn)學(xué)3究院、天翼云科技有限公司、新國脈數(shù)字文化股份有限公司、中電福限公司、視辰信息科技（上海）有限公司、北京沃東天靈伴科技有限責(zé)任公司、北京河圖聯(lián)合創(chuàng)新科技有限公451空間計算發(fā)展背景 82空間計算關(guān)鍵技術(shù) 92.1三維重建：構(gòu)建下一代數(shù)字世界的基礎(chǔ)技術(shù) 2.1.1三維重建的概念 92.1.2三維重建的關(guān)鍵技術(shù)模塊 基于主動視覺的三維重建 基于被動視覺的三維重建 基于人工智能的渲染與建模 2.1.3三維重建技術(shù)的應(yīng)用現(xiàn)狀與展望 2.2空間感知：智能終端多樣化帶動更深度的空間智能服務(wù) 2.2.1空間感知的概念 2.2.2空間感知的關(guān)鍵技術(shù)模塊 2.2.3空間感知技術(shù)的應(yīng)用現(xiàn)狀與展望 2.3用戶感知：多模態(tài)空間交互促進人與環(huán)境更深度的融合 2.3.1用戶感知的概念 2.3.2用戶感知的關(guān)鍵技術(shù)模塊 面部感知 人體姿態(tài)的感知 其他感知與驅(qū)動 2.3.3用戶感知技術(shù)的應(yīng)用現(xiàn)狀與展望 2.4空間數(shù)據(jù)管理：未來場景推動數(shù)據(jù)技術(shù)迭代升級 2.4.1空間數(shù)據(jù)的概念 2.4.2空間數(shù)據(jù)管理的關(guān)鍵技術(shù)模塊 空間數(shù)據(jù)存儲管理技術(shù) 空間數(shù)據(jù)高效檢索技術(shù) 空間數(shù)據(jù)可視化支撐技術(shù) 空間數(shù)據(jù)安全管理技術(shù) 2.55G、云網(wǎng)與空間計算：數(shù)字基礎(chǔ)設(shè)施建設(shè)構(gòu)筑更優(yōu)化的未來計算環(huán)境 2.5.15G、云網(wǎng)對空間計算的驅(qū)動 2.5.25G、云網(wǎng)與空間計算相關(guān)技術(shù)模塊 云化空間計算技術(shù) 算力網(wǎng)絡(luò)調(diào)度 算力分時復(fù)用 端邊異步渲染技術(shù) 端邊云協(xié)同部署架構(gòu) 服務(wù)彈性伸縮和動態(tài)調(diào)度技術(shù) 6網(wǎng)絡(luò)傳輸保障技術(shù) 2.5.35G標(biāo)準(zhǔn)化演進對空間計算的支持 2.5.4東數(shù)西算工程對空間計算的支持 3空間計算產(chǎn)業(yè)現(xiàn)狀 3.1產(chǎn)業(yè)發(fā)展趨勢和相關(guān)政策 213.25G+空間計算產(chǎn)業(yè)鏈情況 4.1空間計算+商業(yè)：打造新型營銷與購物體驗，推動精準(zhǔn)運營 4.1.1行業(yè)背景 25沉浸式購物體驗 虛擬化身與會員制的結(jié)合 “虛擬人”將逐漸在多場景、多領(lǐng)域進行融合、應(yīng)用、落地 數(shù)據(jù)感知與空間計算的融合推動精準(zhǔn)運營管理 4.1.2應(yīng)用案例 26沉浸式AR劇情秀 AR與虛擬人營銷 XR沉浸式數(shù)字街區(qū) 虛擬試穿試戴 4.1.3未來展望 294.2空間計算+文旅：重塑產(chǎn)業(yè)結(jié)構(gòu)，體驗歷史與未來 294.2.1行業(yè)背景 294.2.2應(yīng)用案例 29建筑可閱讀與文化地標(biāo) 博物館數(shù)字化升級 古跡復(fù)原，景區(qū)體驗升級 AR讓文化“活”起來，將城市記憶還給城市 4.3空間計算+工業(yè)：構(gòu)建新型工業(yè)數(shù)字化環(huán)境，推動產(chǎn)業(yè)效率提升 4.3.1行業(yè)背景 314.3.2行業(yè)應(yīng)用 314.3.3典型案例 324.4空間計算+會展：構(gòu)建虛實融合的雙會展空間，提供更具想象力的內(nèi)容體驗 4.4.1行業(yè)背景 334.4.2發(fā)展需求及趨勢 基于三維重建和渲染技術(shù)，打造會展行業(yè)虛實融合的線下展廳 基于空間計算復(fù)刻虛擬會展空間場景，打造線上線下雙線展會 基于會展中心的空間數(shù)據(jù)管理，實現(xiàn)“人對物”“人對人”的對應(yīng)關(guān)系 空間計算與虛擬現(xiàn)實等技術(shù)的深度融合，破局會展?fàn)I銷新體驗 4.4.3典型案例 354.5空間計算+金融：提升行業(yè)線上服務(wù)體驗，推進數(shù)字化轉(zhuǎn)型 74.5.1行業(yè)背景 354.5.2應(yīng)用案例 36銀行業(yè)三維數(shù)字虛擬營業(yè)廳 國外銀行聯(lián)合元宇宙平臺打造虛擬空間 364.5.3未來展望 364.6空間計算+游戲：由沉浸虛擬體驗到戶外物理現(xiàn)實延伸 364.6.1行業(yè)背景 364.6.2應(yīng)用案例 37 4.6.3未來趨勢 374.7空間計算+影視媒體：提供身臨其境的觀影體驗與較強的互動 4.7.1行業(yè)背景 374.7.2應(yīng)用案例 38開物AR點云數(shù)字孿生平臺保障新華社直播 虛擬虛擬人助力影視媒體 AT&T打造體育賽事直播新體驗 4.7.3未來挑戰(zhàn) 384.8空間計算+協(xié)同辦公：打造趨近現(xiàn)實的線上辦公體驗 394.8.1行業(yè)背景 394.8.2應(yīng)用案例 39 Meta/微軟集合虛擬現(xiàn)實技術(shù)打造元宇宙會議平臺 4.8.3存在問題及趨勢 5總結(jié)與展望 415.1技術(shù)發(fā)展建議 5.2產(chǎn)業(yè)發(fā)展建議 8學(xué)術(shù)界對元宇宙未來的光明前景已形成基本共識。元宇宙將成為數(shù)字經(jīng)濟發(fā)展的下一形態(tài)，為其帶來新的動力和增長點。元宇宙的核心特征是虛實融合，因此也將促進虛擬經(jīng)濟與實體經(jīng)濟深入融合，助力實體經(jīng)濟更好發(fā)展。元宇宙的高速發(fā)展離不開數(shù)字技術(shù)和信息基礎(chǔ)設(shè)施的支撐，這也為5G、AI、空間計算等相關(guān)技術(shù)與產(chǎn)業(yè)的融合發(fā)展帶來了新的機遇?？臻g計算最初指對地圖及其他地理位置數(shù)據(jù)進行計算和分析以實現(xiàn)定位與測量的技術(shù)。在過去主要應(yīng)用在全球衛(wèi)星定位系統(tǒng)（GPS）和地理信息系統(tǒng)（GIS）等宏觀領(lǐng)域。隨著XR、虛擬人、數(shù)字孿生等技術(shù)領(lǐng)域的發(fā)展，微觀空間的計算需求也在逐漸增加。本白皮書所討論的空間計算主要指微觀空間計算的相關(guān)技術(shù)及發(fā)展。有別于傳統(tǒng)的桌面計算和移動計算，空間計算并不局限于實體屏幕的矩形框，而是可以自由地在我們周圍的環(huán)境中流動。語音、視覺、手勢等其他更為自然的輸入方式將進一步豐富鼠標(biāo)、鍵盤、觸摸屏等傳統(tǒng)交互模式，使人們能夠以最適合自己當(dāng)前場景與業(yè)務(wù)流程的方式進行接入和交互。從核心技術(shù)維度考量，空間計算是由AI技術(shù)、三維重建、空間感知、用戶感知、空間數(shù)據(jù)管理等一系列技術(shù)支撐實現(xiàn)的。它是構(gòu)建元宇宙空間并實現(xiàn)與現(xiàn)實世界自由切換、相互融合的關(guān)鍵技術(shù)。從計算載體維度考量，空間計算可以分為端計算、云計算以及由5G作為重要媒介的云邊端協(xié)同計算。通過空間計算可以實現(xiàn)人、物、機器和虛擬空間的無縫銜接，構(gòu)建數(shù)字孿生體，創(chuàng)造虛實融合的新經(jīng)濟形態(tài)，最終驅(qū)動新一輪的產(chǎn)業(yè)變革，推動XR等元宇宙相關(guān)產(chǎn)業(yè)發(fā)展及落地。92.1三維重建：構(gòu)建下一代數(shù)字世界的基礎(chǔ)技術(shù)2.1.1三維重建的概念人類通過學(xué)習(xí)可以從單個或多個視角的圖像信息中推理和想象出物體或場景的三維幾何形狀信息，賦予計算機這種能力是計算機視覺和三維重建所追求的目標(biāo)。三維重建是指對三維物體建立適合計算機表達和處理的數(shù)學(xué)模型，是在計算機環(huán)境下對三維物體進行處理、操作和分析的基礎(chǔ)，也是在計算機中通過虛擬現(xiàn)實表達客觀世界的關(guān)鍵技術(shù)。具體到計算機視覺領(lǐng)域，三維重建是指根據(jù)單視圖或者多視圖的圖像重建三維信息的過程，根據(jù)相機采集到的圖片數(shù)據(jù)、深度圖數(shù)據(jù)或者兩種數(shù)據(jù)的融合重建出物體或場景的三維模型，從而建立真實世界的數(shù)字化表達。實現(xiàn)物理空間/物體的三維模型離不開空間點云的構(gòu)建，而三維重建作為生成高精度空間點云的核心算法，包含了圖像特征點的提取和匹配、運動恢復(fù)結(jié)構(gòu)、三維幾何重建、表面紋理重建等核心技術(shù)。三維重建的發(fā)展歷程離不開計算機視覺和深度學(xué)習(xí)技術(shù)的進步。二十世紀(jì)八十年代，第一屆國際計算機視覺大會ICCV在倫敦舉辦，標(biāo)志著現(xiàn)代計算機視覺研究的開端。進入二十一世紀(jì)以來，人工智能飛速發(fā)展，深度學(xué)習(xí)以及相關(guān)的神經(jīng)網(wǎng)絡(luò)等技術(shù)的出現(xiàn)又是一次巨大的突破，相較之前的手工定義特征，卷積神經(jīng)網(wǎng)絡(luò)的特征表達能力要高得多，使得三維重建有了更新的發(fā)展。2.1.2三維重建的關(guān)鍵技術(shù)模塊三維重建的主要流程是：首先采集物體的二維圖像信息，進而對相關(guān)數(shù)據(jù)進行分析處理，最后利用三維重建的相關(guān)技術(shù)重建真實環(huán)境中物體表面的輪廓信息。經(jīng)過數(shù)十年的發(fā)展與技術(shù)迭代，基于視覺的三維重建技術(shù)已經(jīng)衍生發(fā)展出多種實現(xiàn)方法，主要可分為接觸式和非接觸式。接觸式三維重建技術(shù)因可能對三維重建對象（物體/空間等）造成破壞及影響，近年來已經(jīng)較少使用，此處不做贅述。非接觸式可分為主動視覺法和被動視覺法?；谥鲃右曈X的三維重建1、激光掃描法激光掃描法是一種基于激光測距儀的三維重建技術(shù)方法，利用激光往返的時間差可以計算待測物體和儀器之間的距離。在對空間環(huán)境進行三維重建的時候，應(yīng)該使用多點、陣列式的激光，或者旋轉(zhuǎn)交叉的線狀激光掃描空間環(huán)境，保證采集到的環(huán)境三維數(shù)據(jù)的完整性。2、結(jié)構(gòu)光法基于結(jié)構(gòu)光方法的三維重建，涉及到三角測量原理、圖像處理等技術(shù)，為主動獲取信息的技術(shù)，常見的結(jié)構(gòu)光有：點結(jié)構(gòu)光、線結(jié)構(gòu)光、面結(jié)構(gòu)光等。一般通過人為方式將設(shè)定好的結(jié)構(gòu)光投射到待重建物體上，調(diào)制光線不同角度方向后，采用視覺傳感器來采集目標(biāo)物體的參數(shù)等信息，并輸入計算機分析計算，依據(jù)立體信息輔助提取物體的深度信息，以達到三維重建的目的。陰影法是一種簡單、可靠、低功耗的重建物體三維模型的方法。與傳統(tǒng)的結(jié)構(gòu)光法相比，這種方法對硬件性能要求較低，只需要將一臺相機面向被燈光照射的物體放置，通過移動光源前面的物體來捕獲移動的陰影，再觀察陰影的空間位置，從而重建出物體的三維結(jié)構(gòu)模型。TOF(Timeofflight)法是主動測距技術(shù)的一種，可從發(fā)射極向物體發(fā)射脈沖光，遇到物體反射后，接收器收到反射光時停止計時，由于光和聲在空氣中的傳播速度是不變的，從而通過發(fā)射到接收的時間差來確定物體的距離，進而確定產(chǎn)生的深度信息。5、雷達技術(shù)雷達作為常見的主動視覺傳感器在研究中得到了廣泛應(yīng)用，常見的方法可具體分為三角測量法和TOF測距法。類似于激光測距，雷達也是通過計算發(fā)射光束和接受光束之間的時間差獲取目標(biāo)物體的距離、深度等信息，可應(yīng)用于復(fù)雜條件的室外，實現(xiàn)避障、路徑規(guī)劃等功能。Kinect傳感器是最近幾年發(fā)展的一種消費級的3D攝像機，它利用鐳射光散斑測距的方法獲取場景的深度信息，Kinect傳感器中間的鏡頭為攝像機，左右兩端的鏡頭被稱為3D深度感應(yīng)器，可以同時獲取深度信息、彩色信息、以及其他信息等?；诒粍右曈X的三維重建傳統(tǒng)基于被動視覺的三維重建技術(shù)，其過程主要包括數(shù)據(jù)采集、位姿估計、幾何重建、結(jié)構(gòu)表達。首先通過視覺傳感器(一臺或多臺相機)獲取圖像序列，然后提取其中有用的信息，最后對這些信息進行逆向工程的建模，從而重建出物體的三維結(jié)構(gòu)模型，其典型技術(shù)如下：SFM是一種三維重建的方法，用于從運動中恢復(fù)結(jié)構(gòu)，實現(xiàn)3D重建。人的大腦可以從動的物體中取得其三維的信息，是因為大腦在動的2D圖像中找到了匹配的地方，然后通過匹配點之間的視差得到相對的深度信息。SFM的輸入是一段運動或者一時間系列的2D圖群，然后通過2D圖之間的匹配，恢復(fù)出該場景的三維結(jié)構(gòu)信息以及每張照片對應(yīng)的攝像機內(nèi)外參數(shù)，相當(dāng)于做相機標(biāo)定。攝像機標(biāo)定就是求解攝像機的內(nèi)外參數(shù)，攝像機的內(nèi)外參數(shù)描述了三維世界到二維照片像素的映射關(guān)系，從而恢復(fù)三維場景的結(jié)構(gòu)信息即稀疏點云。SFM中我們用來做重建的點是由特征匹配提供，這些匹配點天生不密集，所以稱為稀疏點云，通多視圖立體匹配（Multi-viewStereo，MVS）是計算機領(lǐng)域中一個核心問題。拍照通過相機把三維場景映射為二維，而多視圖立體匹配重建則剛好相反，其目的是通過不同視點拍攝的圖像，恢復(fù)出真實的三與在不同視角拍攝的圖像一起作為輸入，進行稠密點云重建。MVS可幾乎對照片中的每個像素點都進行匹配，幾乎重建每一個像素點的三維坐標(biāo)，這樣得到的點的密集程度可以較接近圖像。3、三維重建數(shù)據(jù)的網(wǎng)格表現(xiàn)三維重建數(shù)據(jù)目前主要采取非歐幾里得表示法進行表示，它可以較好地表示模型表面平滑度，提供模型固有幾何特性?；诜菤W幾里德幾何數(shù)據(jù)表示的結(jié)果類型主要是點云模型和三維網(wǎng)格模型。由于點云數(shù)據(jù)的非結(jié)構(gòu)化、缺乏連通性和不規(guī)則性，它們?nèi)匀粚Τ郊內(nèi)S重建的任務(wù)提出了挑戰(zhàn)。三維重建模型的點云輸出需要進一步的處理，才能用于現(xiàn)有的研究領(lǐng)域。三維網(wǎng)格模型相對于其他形式的模型來說，在形狀分辨率、平滑度和整體質(zhì)量方面產(chǎn)生了顯著的提升，在游戲、動畫制作、影視業(yè)中，三維網(wǎng)格模型的應(yīng)用也最為廣泛。網(wǎng)格生成算法的輸入一般為三維點云，輸出為三維網(wǎng)格。三維多邊形網(wǎng)格是構(gòu)成三維模型的頂點、邊和面的集合，通過三維空間中坐標(biāo)相連的頂點來表示曲面。三維網(wǎng)格也可以表示為圖形，其中節(jié)點表示頂點，邊表示頂點之間的連通性。一般來說，三維網(wǎng)格中頂點密集，包含信息量越大，所呈現(xiàn)的模型精確度越高，增強了模型的表征能力。4、渲染呈現(xiàn)在點云或者網(wǎng)格的基礎(chǔ)上，傳統(tǒng)圖形學(xué)方法實現(xiàn)3D渲染，分別是光柵化（rasterization）和光線追蹤（raytracing）兩種方法，都是對照相機拍照的光學(xué)過程進行數(shù)學(xué)物理建模來實現(xiàn)的，代表性企業(yè)是Unreal、基于人工智能的渲染與建模隨著人工智能、深度學(xué)習(xí)的出現(xiàn)，為三維重建領(lǐng)域提供了新的可能性，基于圖像的重建問題呈現(xiàn)出新的面貌?；谳^好計算機硬件水平和大量數(shù)據(jù)支撐，研究人員可以將三維重建與人工智能方法相結(jié)合，減少復(fù)雜的數(shù)據(jù)標(biāo)定和數(shù)學(xué)運算的過程，使得針對物體和物理空間的三維重建更加高效及便利。通常情況下，網(wǎng)絡(luò)主體結(jié)構(gòu)并不復(fù)雜，僅僅由樸素卷積層和全連接層簡單連接，組成較深層次的卷積神經(jīng)網(wǎng)絡(luò)，從而學(xué)習(xí)圖像的多維度多尺度特征，不需要復(fù)雜的標(biāo)定過程，也不需要對物體參數(shù)進行復(fù)雜的數(shù)學(xué)運算，即可獲得三維模型的重建結(jié)果。整個三維重建的過程可以理解為對一個函數(shù)的擬合，自變量是像素信息，因變量是圖像的深度信息，訓(xùn)練的時候還可以加入圖像語義信息，以提高神經(jīng)網(wǎng)絡(luò)對環(huán)境中目標(biāo)物體的識別和檢測能力，可以對目標(biāo)物體進行分割和優(yōu)化，提高重建模型的精確度。深度學(xué)習(xí)方法不同于傳統(tǒng)方法，不存在固定的公式和計算過程，而是發(fā)揮神經(jīng)網(wǎng)絡(luò)自主學(xué)習(xí)的能力，根據(jù)訓(xùn)練數(shù)據(jù)集自主調(diào)節(jié)模型參數(shù)，更大程度上依賴于數(shù)據(jù)集的豐富程度和構(gòu)建的神經(jīng)網(wǎng)絡(luò)的合理性。目前從求解精度、泛化能力以及場景適應(yīng)性來看的話，純基于AI的建模渲染還達不到傳統(tǒng)方法所能提供的能力，但基于神經(jīng)網(wǎng)絡(luò)的方法取代傳統(tǒng)重建的一些關(guān)鍵步驟的實現(xiàn)，二者互相融合，已取得了較好的成果。得益于人工智能、深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)的快速發(fā)展，基于AI的三維重建已經(jīng)成為目前計算機視覺研究領(lǐng)域的熱點，研究成果不斷涌現(xiàn)，未來可期。2.1.3三維重建技術(shù)的應(yīng)用現(xiàn)狀與展望基于視覺的三維重建具有速度快、實時性好等優(yōu)點，產(chǎn)業(yè)及科研等多個方向驅(qū)動其快速發(fā)展，研究成果已在商業(yè)、文旅、工業(yè)、會展等領(lǐng)域被廣泛應(yīng)用，可在空間場景識別、機器人、無人駕駛、SLAM、虛擬現(xiàn)實和3D打印等場景中發(fā)揮價值。目前商湯科技基于視覺的三維場景重建已經(jīng)可以進行大規(guī)模的高精度三維建模，可以實現(xiàn)小到單個物體，到商超景區(qū)，大到城區(qū)級的虛擬空間復(fù)刻，并在一定尺度范圍內(nèi)保持良好的模型精細度，每1萬平米場景內(nèi)，做到稠密點云平均誤差小于10厘米的精細度。有了三維高精度地圖之后，則可在多個行業(yè)領(lǐng)域進行賦能應(yīng)用，比如在現(xiàn)實場景中實現(xiàn)精準(zhǔn)定位以及無縫虛實融合的效果（AR在基于視覺重定位SLAM技術(shù)進行耦合應(yīng)用之后，還可以實時、準(zhǔn)確地獲取用戶的相機位姿（6DOF）。中比較耗時的模塊將會遷移到云端，利用云端的強大計算能力來實現(xiàn)高逼真的物理模擬、遮擋處理和虛實交互，以及精準(zhǔn)的光照估計、電影級的真實感繪制與虛實融合效果。未來，在三維重建與渲染技術(shù)的基礎(chǔ)上，AR將會和AI技術(shù)深度融合，借助大規(guī)模物理世界的高效三維數(shù)字化（包括提取出不同粒度的語義信息及人的行為（例如運動、消費、社交等行為）的數(shù)字化，AI所帶來的智能化進一步提升AR應(yīng)用的想象空間，融入到人們生活和工作的方方面面。虛實融合的場景規(guī)模也將會越來越大，未來會出現(xiàn)城市級甚至地球級的虛實融合。2.2空間感知：智能終端多樣化帶動更深度的空間智能服務(wù)2.2.1空間感知的概念空間感知是指獲取人、物在空間中狀態(tài)的能力，包括位置、方向、速度等，且可以建立周圍環(huán)境的幾何和語義模型，是AR導(dǎo)航、AR多人協(xié)作及多種空間應(yīng)用的基礎(chǔ)。通常來說，空間感知是通過一系列傳感器之間的數(shù)據(jù)校準(zhǔn)進行確認的。以智能手機為核心，GPS、光通信、藍牙、計算機視覺識別等不同的技術(shù)路線，可以帶來不同的空間感知系統(tǒng)，其對應(yīng)的精度、適應(yīng)性也不相同。智能手機、機器人、汽車等不同類型的智能設(shè)備要在在復(fù)雜空間中的開啟定位，并提供與位置相關(guān)的服務(wù)，都離不開空間感知。2.2.2空間感知的關(guān)鍵技術(shù)模塊定位、建圖和識別是空間感知的核心技術(shù)模塊。具體的講，定位可以分為局部定位和全局定位，傳統(tǒng)的SLAM算法通過視覺、IMU、激光雷達等設(shè)備實時估算設(shè)備在空間中的局部相對位置和姿態(tài)，全局定位則嘗試將當(dāng)前設(shè)備的觀測與離線地圖進行匹配，得到設(shè)備在空間中的絕對位置和姿態(tài)。建圖可以分為實時建圖和離線建圖，實時建圖是設(shè)備根據(jù)當(dāng)前運行輸入實時建立和更新環(huán)境的表示，離線建圖則是將離線采集的數(shù)據(jù)進行后處理得到環(huán)境的表示，兩者應(yīng)用側(cè)重不同，都是必不可缺部分。識別包括識別和追蹤場景中特定的平面物體或者三維物體，輸出其在環(huán)境中的六自由度位姿。識別還包括檢測環(huán)境中特定的平面,比如水平面和豎直面，可以用于虛擬物體的放置和虛實交互等。同步的定位和建圖（SLAM）實現(xiàn)設(shè)備運行期間，對空間環(huán)境的快速構(gòu)建并提供定位服務(wù)，涉及實時地圖數(shù)據(jù)標(biāo)識、地圖信息感知、數(shù)據(jù)關(guān)聯(lián)、實時構(gòu)圖、圖像檢索、特征點匹配、反向定位、回環(huán)檢測、偏移校正、多傳感器融合等技術(shù)。圖像檢索與特征點匹配技術(shù)是實現(xiàn)實時空間定位的關(guān)鍵環(huán)節(jié)，應(yīng)具備較高的匹配準(zhǔn)確率與成功率，同時基于對單次定位時長的實用性考量，圖像檢索與特征匹配應(yīng)具備較高效率。反向定位技術(shù)依賴圖像檢索及特征點匹配過程進行本體位姿推導(dǎo)，為保證復(fù)雜場景下導(dǎo)航高可用性，反向定位應(yīng)具備較高定位精度。為提高定位準(zhǔn)確度及定位效率，并兼容大規(guī)模、特征點稀缺場景，可引入多傳感器融合技術(shù)，基于GNSS先驗位置或融合其他傳感器進行位置估算，在該位置信息鄰近圖像幀進行局部搜索，提升定位效率及定位成功率。2.2.3空間感知技術(shù)的應(yīng)用現(xiàn)狀與展望定位與建圖是一個相當(dāng)古老的問題。前人數(shù)十年的研究工作，通過描述物理運動狀態(tài)以及空間幾何關(guān)系，設(shè)計出了各種復(fù)雜的模型和算法來解決這一問題，例如，里程計估算（包括視覺里程計、視覺慣性里程計和激光雷達里程計等基于圖像的全局重定位，位置識別，SLAM和三維重建。在理想條件下，這些傳感器和模型能夠準(zhǔn)確估計系統(tǒng)狀態(tài)。但在實際應(yīng)用中，傳感器測量誤差、不準(zhǔn)確的系統(tǒng)建模、復(fù)雜的環(huán)境動態(tài)影響和一些不符合真實環(huán)境的約束條件都會影響傳統(tǒng)模型的準(zhǔn)確性和可靠性。由于傳統(tǒng)模型的局限性以及近年來在機器學(xué)習(xí)（尤其是深度學(xué)習(xí)）領(lǐng)域的一系列進展，促使研究人員考慮將數(shù)據(jù)驅(qū)動（學(xué)習(xí)）方法視為一種解決問題新方案。描述了輸入傳感器數(shù)據(jù)（例如視覺、慣性、LIDAR或其他傳感器）與輸出目標(biāo)值（例如位置、方向、場景幾何或語義）之間的關(guān)系。傳統(tǒng)建模方法通過手動設(shè)計來實現(xiàn)特定領(lǐng)域的算法，而基于學(xué)習(xí)的方法則通過深度學(xué)習(xí)從大量數(shù)據(jù)中學(xué)到的相關(guān)知識來構(gòu)建這一映射關(guān)系。一些研究人員嘗試在已有建圖框架內(nèi)用深度學(xué)習(xí)方法替換定位和建圖的部分模塊，如將基于深度學(xué)習(xí)的特征匹配、回環(huán)檢測、稠密建圖等。另一些研究人員則嘗試完全基于深度學(xué)習(xí)的端到端的系統(tǒng)來解決定位和建圖的任務(wù)。兩種方法近年都取得了較大的發(fā)展，已經(jīng)在不少定位和建圖任務(wù)上超越了傳統(tǒng)算法的效果。近年來隨著神經(jīng)輻射場(NERF)等技術(shù)的涌現(xiàn)，展示出深度學(xué)習(xí)算法在三維視覺領(lǐng)域的巨大潛力和全新應(yīng)用可能性。端側(cè)的同步定位和建圖(SLAM)的跟蹤精度和穩(wěn)定性方面在近年也已經(jīng)取得長足的進展。依賴視覺、慣性測量單元的多傳感器融合的方案能夠比單傳感器方案對重復(fù)紋理、動態(tài)場景有更好的魯棒性，在長距離追蹤上的漂移可以做到低于1%。當(dāng)前，基于端的空間感知環(huán)境重建方案范圍受限、難以直接處理多人同步，對于高精度的空間感知所需的深度學(xué)習(xí)模型算力需求量大，端側(cè)計算往往需要犧牲部分性能，且?guī)砝m(xù)航和發(fā)熱的問題。通過云-邊-端結(jié)合的方式來實現(xiàn)大規(guī)模場景的高精度定位與重建已經(jīng)成為重要趨勢，得益于5G的高帶寬和低時延特性，通過離線采集環(huán)境的圖像數(shù)據(jù)并構(gòu)建高精度的視覺地圖，將具有復(fù)雜計算量的模塊放置在云端，然后通過結(jié)合設(shè)備本地的SLAM跟蹤能力并融合在視覺地圖中的定位結(jié)果，既可以解決大場景下SLAM跟蹤漂移丟失等問題，又可以滿足持久化AR內(nèi)容、多人交互、AR導(dǎo)航等需求。2.3用戶感知：多模態(tài)空間交互促進人與環(huán)境更深度的融合2.3.1用戶感知的概念感知是指一個人選擇、組織和解釋接受到的信息，以形成對外部世界有意義的描繪過程。信息的來源與形態(tài)具有多樣性，每種形態(tài)的數(shù)據(jù)都稱為一種模態(tài)，就像人可以通過聽覺、視覺、觸覺來感知語音、圖像、文本等多模態(tài)信息。在空間計算中，用戶感知分為兩個重要組成部分。一是對用戶表達的信息處理，即設(shè)備或系統(tǒng)對用戶形象、狀態(tài)、行為表達等信息的捕捉、分析與理解，二是此基礎(chǔ)上進行的認知引導(dǎo)及交互驅(qū)動。2.3.2用戶感知的關(guān)鍵技術(shù)模塊面部感知人臉技術(shù)是用戶感知中對用戶特征進行分析和應(yīng)用的重要一步，主要包括：人臉關(guān)鍵點檢測、人臉識別、人臉重建、眼球追蹤等。1、人臉關(guān)鍵點檢測人臉關(guān)鍵點檢測指在人臉圖像上，定位出人臉輪廓、眼睛、眉毛、嘴巴及鼻子等重要部位，關(guān)鍵點能反映各個部位的臉部特征，因此，需要定位出這些關(guān)鍵點的準(zhǔn)確位置。隨著技術(shù)的發(fā)展，人臉關(guān)鍵點的數(shù)量從最初的5個點逐步增長到100多個點，其中，68點標(biāo)注是至今最為通用的一種標(biāo)注方案。人臉關(guān)鍵點檢測是是諸如人臉識別、三維人臉重建、面部驅(qū)動等其他人臉相關(guān)任務(wù)的基礎(chǔ)。2、人臉識別人臉識別指對人臉進行識別區(qū)分從而檢測出生物體個體。其中2D人臉應(yīng)用研究時間長，方案成熟，但由于2D圖像信息源有限，因此在某些復(fù)雜的應(yīng)用場景中，存在一定局限性。3D人臉識別指使用3D結(jié)構(gòu)光、雙目立體視覺等方案，在獲得圖像源的基礎(chǔ)上，同時提供人臉的深度和3D結(jié)構(gòu)信息，基于混合信息進行處理的模型，比傳統(tǒng)只基于圖像的模型具有更高的識別準(zhǔn)確率與活體檢測正確率。3、人臉重建人臉重建指建立人臉的三維模型。早期的方法包括使用軟件進行手工建模，現(xiàn)在依然被影視游戲行業(yè)所大量使用。隨著傳感器硬件的不斷發(fā)展與成熟，一系列基于激光傳感器的三維掃描儀器逐漸成熟并被應(yīng)用到三維重建中。其中基于結(jié)構(gòu)光的人臉重建與識別方案，精度可達毫米級。此外，三維可變形人臉模型，作為經(jīng)典的三維人臉形狀和紋理統(tǒng)計模型，其技術(shù)從早期基于傳統(tǒng)的以analysis-by-Synthesis為代表的由粗到精優(yōu)化方法到如今基于深度學(xué)習(xí)模型的系數(shù)回歸，在人臉領(lǐng)域中一直有著重要的地位與廣泛的應(yīng)用。4、眼球追蹤眼球追蹤主要用于獲取并研究眼球運動，從而捕獲高幀率的實時微小視野轉(zhuǎn)動與變化信息，跟蹤眼球的注視點等，可用于注視點渲染，XR穿戴式設(shè)備降低眩暈感等方向。眼動追蹤技術(shù)基于眼球的生理結(jié)構(gòu)提煉出不同種類的特征，以實現(xiàn)追蹤。現(xiàn)階段眼動追蹤技術(shù)具有較高的多樣性，常見的有：瞳孔角膜反射技術(shù)、視網(wǎng)膜影像技術(shù)、基于眼睛建模的視覺中心計算技術(shù)、視網(wǎng)膜反射光強度檢測技術(shù)、角膜反射光強度檢測技術(shù)等。其中前三類需要搭配相機以拍攝眼部圖像，而后兩類僅需光敏傳感器元人體姿態(tài)的感知1、人體姿態(tài)估計人體姿態(tài)估計指根據(jù)圖像類輸入（圖像、視頻、深度圖等）來定位人體關(guān)鍵部位并建立人體表現(xiàn)形式（例如人體骨骼或mesh來作為人體姿態(tài)識別的輸入。傳統(tǒng)的姿態(tài)估計主要是基于圖結(jié)構(gòu)模型方法，但是由于精度和復(fù)雜度等原因，目前主流是采用基于深度學(xué)習(xí)的姿態(tài)估計方法，人體姿態(tài)估計當(dāng)前主要分為2D人體姿態(tài)估計從使用場景上主要分為單人和多人姿態(tài)檢測。肢體的非剛性和高自由度，會產(chǎn)生復(fù)雜的姿態(tài)、及自遮擋。復(fù)雜的環(huán)境可能會導(dǎo)致前景遮擋，或者多人的互遮擋。多人姿態(tài)估計分為top-down和bottom-up兩種方案。其中top-down是首先檢測人，然后對每個人進行姿勢估計，該類方法召回率較高，但精度受限于檢測的算法，且速度較慢；bottom-up的方法首先在輸入圖像中預(yù)測每個人的所有身體部位，然后通過其他算法對它們進行分組聚合，速度可以較快，精度一般低于top-down的方法。3D姿態(tài)估計根據(jù)使用人體模型的不同，分為3D關(guān)鍵點估計和3Dmesh估計兩種技術(shù)路線。其中3D關(guān)鍵點估計可分為單階段和多階段方法。單階段直接預(yù)測3D關(guān)鍵點的信息，但受限于2D-3D的映射是一個高度非線性問題，而且3D空間的搜索范圍更廣，預(yù)測難度較大。多階段則首先檢測2D關(guān)鍵點，然后將其擴展于深度相機的掃描重建，基于網(wǎng)絡(luò)隱式表達神經(jīng)渲染類等。2、手勢的識別和姿態(tài)追蹤手勢識別與姿態(tài)追蹤分為兩個技術(shù)路線，接觸式和非接觸式。接觸式的主流方案是數(shù)據(jù)手套，通過慣性傳感器、彎曲傳感器感知用戶手部各關(guān)節(jié)的變化情況，繼而可以計算用戶手部姿態(tài)的變化。除了彎曲傳感器外，學(xué)術(shù)界也有持續(xù)探索電磁場、肌電信號檢測的方案。除了感知用戶的姿態(tài)外，一些實驗室階段的數(shù)據(jù)手套可以完成觸感/力反饋模擬，極大提高了MR眼鏡交互的想象空間。非接觸式手勢識別和姿態(tài)追蹤，顧名思義，以非接觸式的傳感器作為輸入，感知用戶手勢姿態(tài)的變化。非接觸式的傳感器，用于手部姿態(tài)追蹤，常見的有彩色相機、灰度相機、深度相機、紅外相機等等。從方法上，非接觸式姿態(tài)追蹤有兩種主流的方法：數(shù)據(jù)驅(qū)動和模型擬合的方法。數(shù)據(jù)驅(qū)動方案的兼容性比較好，任何非接觸式傳感器都適合用數(shù)據(jù)驅(qū)動的方法完成手部姿態(tài)追蹤，需采集大量手部數(shù)據(jù)進行標(biāo)注，利用機器學(xué)習(xí)的方法完成用戶手部姿態(tài)的追蹤。根據(jù)不同的應(yīng)用場景，輸出的形式可以是2D關(guān)鍵點、3D關(guān)鍵點、3D姿態(tài)、手部尺寸表征量等等。模型擬合法多用于以深度相機作為輸入的場景，輸入深度圖，分割出手部區(qū)域并構(gòu)建點云，利用預(yù)先構(gòu)建的模型，通過優(yōu)化各關(guān)節(jié)角度、指骨長度、所有mesh面片頂點全部或部分變量來擬合當(dāng)前點云，優(yōu)化的結(jié)果即為當(dāng)前手部姿態(tài)的結(jié)果。其他感知與驅(qū)動1、語音交互該技術(shù)旨在讓機器能夠處理語音識別、語義理解，以及它們之間的交互，語音交互（人機交互）的各個系統(tǒng)模塊及關(guān)機技術(shù)組成如圖所示。2、空間音頻空間音頻相關(guān)的聲場渲染技術(shù)給予人聽聲辨位的能力，能聽出在虛擬世界中發(fā)言者的空間位置，實現(xiàn)人的聲臨其境之感，是虛擬世界與真實世界自然融合的關(guān)鍵技術(shù)。聲場渲染營造人在虛擬空間中的臨場感，強化音頻感知能力，可通過AI降噪，定向拾音等技術(shù)，利用AR眼鏡上的多個麥克風(fēng)采集音頻，并通過分析用戶的頭部運動，來判斷當(dāng)前人物處于空間的位置，通過IMU追蹤頭部動作，結(jié)合音效定位算法(HRTF)，實現(xiàn)音頻對頭部動作的實時反饋。聲場渲染技術(shù)讓虛擬世界中的虛擬人“進化出”聽聲辨位的能力，多用于基于XR的虛擬會議、虛擬社交、虛擬演出等場景中。3、多模態(tài)感知與理解多模態(tài)感知旨在讓機器能夠處理和理解多模態(tài)信息的能力，同時利用文本、圖像、語音等信息以及它們之間的交互，而不是只利用一種信息去做下游任務(wù)，只要能夠轉(zhuǎn)換成數(shù)字形式并且保留語義信息的數(shù)據(jù)，都能被機器加以利用。4、面部驅(qū)動人臉實時驅(qū)動可由聲音或圖像控制，通過對人臉結(jié)構(gòu)的掃描，建立一個包括廣譜語音和唇形的模式庫，利用機器學(xué)習(xí)來實現(xiàn)音像的同步化。因為虛擬化身的聲音恢復(fù)比實際要慢，并且特殊的聲音對應(yīng)的極限和隨后的嘴形之間有很大的轉(zhuǎn)換，因此，業(yè)內(nèi)采用了多種語言之間的協(xié)調(diào)聯(lián)系，以期開發(fā)更為自然、可靠的聲音圖像同步技術(shù)。2.3.3用戶感知技術(shù)的應(yīng)用現(xiàn)狀與展望用戶感知技術(shù)在空間技術(shù)的大量場景都有應(yīng)用，在實際應(yīng)用中通常面臨的如下問題：復(fù)雜環(huán)境與人類聲形體貌特征的多變性，使得技術(shù)在提升兼容性時，需依賴大量的真實數(shù)據(jù)，數(shù)據(jù)采集和標(biāo)注的難度及成本很高；在設(shè)備終端運行的算法技術(shù)需同時滿足低功耗、高效果、高效率的特點，這對算法迭代提出了很大的挑戰(zhàn)；使用云端計算能力的圖像及三維視覺算法對傳輸帶寬及延遲提出了更高要求等。隨著軟硬件技術(shù)能力的進步，用戶感知技術(shù)逐步邁向高質(zhì)量、多元化發(fā)展的新階段，具有技術(shù)水平不斷提高，技術(shù)種類逐漸拓展，應(yīng)用價值日益增長的特點。1、硬件配套產(chǎn)業(yè)鏈逐步完善。生產(chǎn)生活及研究中可應(yīng)用的傳感器梯隊拓展升級，多傳感器結(jié)合的關(guān)鍵難點突破，如ToF和LiDAR等傳感器數(shù)據(jù)加入極大提升了人體姿態(tài)估計的精度；XR穿戴式設(shè)備中配備齊全的多類傳感器組，使手部追蹤能力在此類終端上得到廣泛落地應(yīng)用。2、數(shù)據(jù)管理與資源化鏈路日益提高。采集標(biāo)注分析存儲產(chǎn)業(yè)升級，為人臉識別、人體姿態(tài)檢測、手勢識別追蹤等感知類算法輔助提供強有力支撐。3、軟硬件結(jié)合的多技術(shù)不斷融合與突破。如基于多通道3D全景聲場技術(shù)Ambisonics，可結(jié)合用戶位置與頭部追蹤技術(shù)生成聲場，提高對視覺、聽覺等多種感覺通道的一致性，使用戶獲得更加精準(zhǔn)的聽音辨位體驗。4、5G技術(shù)大幅提升網(wǎng)絡(luò)傳速效率，支持低時延的高速連接，提升端云協(xié)同計算與算力分配效率。未來，理想的人機交互方式將更關(guān)注于人機交互過程本身，并弱化人機交互界面的限制，而自然化、場景化和智能化將是人類感知與交互技術(shù)發(fā)展趨勢的主航道。2.4空間數(shù)據(jù)管理：未來場景推動數(shù)據(jù)技術(shù)迭代升級2.4.1空間數(shù)據(jù)的概念空間數(shù)據(jù)（SpatialData）是指用來表示空間實體的位置、形狀、大小及其分布特征諸多方面信息的數(shù)據(jù)，用來描述來自現(xiàn)實世界的目標(biāo)。本白皮書中，空間數(shù)據(jù)主要由視覺圖像數(shù)據(jù)轉(zhuǎn)換而來，所涉及的核心數(shù)據(jù)類型包括：點云、三維模型、表面模型、位置點、向量、路徑、圖片、網(wǎng)格等，數(shù)據(jù)體現(xiàn)出海量多模的特征。由于數(shù)據(jù)資產(chǎn)管理和未來大量多維分析計算能力的需求，海量多?？臻g數(shù)據(jù)需要入庫統(tǒng)管，庫內(nèi)需要提供原生數(shù)據(jù)類型、多模數(shù)據(jù)導(dǎo)入函數(shù)、空間計算算子等能力保證空間數(shù)據(jù)的采集、存儲、處理、生產(chǎn)、調(diào)用全生命周期的高效管理?？臻g數(shù)據(jù)管理技術(shù)是實現(xiàn)數(shù)據(jù)資產(chǎn)歸口和高效空間計算的重要保障，海量多?？臻g數(shù)據(jù)一庫統(tǒng)管成為熱點方向。2.4.2空間數(shù)據(jù)管理的關(guān)鍵技術(shù)模塊空間數(shù)據(jù)管理技術(shù)主要包括數(shù)據(jù)存儲管理技術(shù)、數(shù)據(jù)高效檢索技術(shù)、數(shù)據(jù)可視化支撐技術(shù)及數(shù)據(jù)安全技術(shù)四方面。空間數(shù)據(jù)存儲管理技術(shù)中間件存儲與原生庫內(nèi)存儲是空間數(shù)據(jù)存儲管理技術(shù)的兩大重要分支。為了實現(xiàn)多數(shù)據(jù)源、多尺度、多類型空間數(shù)據(jù)的統(tǒng)一集成管理，傳統(tǒng)GIS廠商致力于開發(fā)中間件形態(tài)的空間數(shù)據(jù)引擎來管理空間數(shù)據(jù)，用戶在多種數(shù)據(jù)管理系統(tǒng)中管理各類地理空間信息，但它將空間數(shù)據(jù)以二進制的方式存儲在數(shù)據(jù)庫中，數(shù)據(jù)庫自身并不需要具備直接解析空間數(shù)據(jù)的能力，所有的查詢訪問通過中間件提供的能力開展。與中間件模式并列，IT廠商為方便多模與通用數(shù)據(jù)的融合處理并提升大數(shù)據(jù)量處理性能，選擇從數(shù)據(jù)庫/數(shù)倉/數(shù)據(jù)湖等原生數(shù)據(jù)管理系統(tǒng)進行空間能力擴展，數(shù)據(jù)庫系統(tǒng)內(nèi)置了大量空間數(shù)據(jù)類型以及面向空間數(shù)據(jù)對象的分析計算函數(shù)，通過數(shù)據(jù)庫系統(tǒng)維護事務(wù)的完整性以及程序執(zhí)行的原子性，通過標(biāo)準(zhǔn)的SQL訪問模型提升用戶訪問的便利度。在商業(yè)數(shù)據(jù)庫領(lǐng)域，Oracle最早推出了OracleSpatial模塊支持空間數(shù)據(jù)的儲存，分析和計算，提供了一套SQL方案和函數(shù)，用來存儲、檢索、更新和查詢數(shù)據(jù)庫中的空間要素集合；開源數(shù)據(jù)庫軟件如數(shù)據(jù)庫；Milvus是開源領(lǐng)域優(yōu)秀的向量數(shù)據(jù)庫，能夠為萬億級向量數(shù)據(jù)建立索引，非常擅長處理由各種非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換而來的Embedding向量。近些年隨著云計算的興起，各類云廠商充分發(fā)揮云平臺的彈性和分布式的特征，針對空間數(shù)據(jù)的原生庫內(nèi)存儲計算能力也做了云化提升，這其中最有代表性的是阿里云借助自研Ganos云原生時空引擎統(tǒng)一了數(shù)據(jù)庫、大數(shù)據(jù)和數(shù)據(jù)湖多形態(tài)支持空間數(shù)據(jù)處理，覆蓋支持矢量、柵格、軌跡、點云、三維（包含矢量三維模型、BIM模型、精細化模型、白模、傾斜攝影模型等多種）、圖像、向量等全空間各種數(shù)據(jù)類型，擁有空間數(shù)據(jù)無損壓縮與冷熱存儲能力，將原來分散處理的數(shù)據(jù)進行一庫統(tǒng)管與融合計算，充分適應(yīng)空天計算、三維重建、空間感知、智能孿生等宏微觀領(lǐng)域，走在了國際前空間數(shù)據(jù)高效檢索技術(shù)高效空間數(shù)據(jù)索引構(gòu)建能力是實現(xiàn)空間數(shù)據(jù)快速檢索的重要保障?？臻g索引是指依據(jù)空間對象的位置和形狀或空間對象之間的某種空間關(guān)系按一定的順序排列的一種數(shù)據(jù)結(jié)構(gòu)，其中包含空間對象的概要信息，如對象的標(biāo)識、外接矩形及指向空間對象實體的指針。空間索引性能的優(yōu)越直接影響空間數(shù)據(jù)庫和空間計算系統(tǒng)的整體性能，常見的空間索引主要包括網(wǎng)格索引、R樹索引、GiST索引和向量索引。網(wǎng)格索引是將研究區(qū)域按一定規(guī)則用橫豎線分為小的網(wǎng)格，記錄每個網(wǎng)格所包含的空間對象，當(dāng)用戶進行空間查詢時，首先計算查詢對象所在的網(wǎng)格，然后通過該網(wǎng)格快速查詢所選的空間對象，針對矢量點/線、點云數(shù)據(jù)，網(wǎng)格索引提供了通用的快速檢索能力；R樹索引運用了空間分割的理念，用空間數(shù)據(jù)的最小外包矩形替代空間數(shù)據(jù)本身。它將空間對象按范圍劃分，對于海量點云數(shù)據(jù)、三維模型數(shù)據(jù)等按區(qū)域檢索有十分高效的性能；GiST索引允許定義規(guī)則來將任意類型的空間數(shù)據(jù)分布到一個平衡樹中，并且允許定義一個方法使用此表示形式來讓某些運算符來訪問；向量索引是指通過某種數(shù)學(xué)模型，對向量構(gòu)建的一種時間和空間上更高效的數(shù)據(jù)結(jié)構(gòu)。借助向量索引，我們能夠高效地查詢與目標(biāo)向量相似的若干個向量，十分適合圖像搜索這類高維向量檢索場景?？臻g數(shù)據(jù)可視化支撐技術(shù)空間數(shù)據(jù)可視化支撐是數(shù)據(jù)管理能力的直接體現(xiàn)。空間計算領(lǐng)域中在管理好海量空間數(shù)據(jù)的同時，還需要快速瀏覽數(shù)據(jù)庫中的大規(guī)模在線數(shù)據(jù)。傳統(tǒng)用于“底圖服務(wù)”的離線切片生產(chǎn)流程很難做到在線聯(lián)機處理。在空間計算領(lǐng)域，需要空間數(shù)據(jù)管理能力同時支持將原始數(shù)據(jù)存儲和可視化訪問進行關(guān)聯(lián)，建立一種新的可視化索引，并在此基礎(chǔ)上進行空間數(shù)據(jù)的快速顯示訪問?？祜@能力可為單個大表中的矢量/柵格數(shù)據(jù)創(chuàng)建稀疏金字塔，加速出圖顯示的效率，同時為了方便使用，可自定義金字塔的稀疏程度，自主控制創(chuàng)建耗時、額外存貯、訪問效率三者之間的平衡。針對三維空間數(shù)據(jù)，快顯能力可動態(tài)實現(xiàn)三維數(shù)據(jù)的快速的管理與切割，在保障三維模型精準(zhǔn)度的前提下，加快海量三維數(shù)據(jù)的渲染?？臻g數(shù)據(jù)安全管理技術(shù)空間數(shù)據(jù)安全管理為空間計算與信息安全交叉領(lǐng)域，密態(tài)數(shù)據(jù)管理、多方聯(lián)合計算、數(shù)據(jù)防篡改、隱私增強形成四大核心方向。空間計算涉及到空間數(shù)據(jù)的采集、存儲、處理、生產(chǎn)、調(diào)用等，保障這些數(shù)據(jù)在被管理和利用時的安全性是一個非常重要的技術(shù)維度。一方面，空間數(shù)據(jù)有很高的社會價值和商業(yè)價值，需要保證這些數(shù)據(jù)被管理的過程中不會被惡意竊取或者篡改；另一方面，很多空間數(shù)據(jù)會涉及到個體的隱私（如地理位置、geotag圖像等需要保證這些數(shù)據(jù)在被利用的過程中不會泄露個人隱私。空間數(shù)據(jù)管理中關(guān)鍵的安全技術(shù)包括較為成熟的傳統(tǒng)數(shù)據(jù)庫安全技術(shù)（如訪問控制、敏感數(shù)據(jù)發(fā)現(xiàn)和脫敏、數(shù)據(jù)審計、落盤加密、數(shù)據(jù)備份等以及新型數(shù)據(jù)庫安全技術(shù)：密態(tài)數(shù)據(jù)管理：保證敏感空間數(shù)據(jù)在采集、存儲、處理、生產(chǎn)、調(diào)用的全生命周期僅以密態(tài)形式出現(xiàn)，包括系統(tǒng)/數(shù)據(jù)庫管理員在內(nèi)的任何人無法直接訪問數(shù)據(jù)明文，從而避免數(shù)據(jù)泄露問題在服務(wù)器端發(fā)生。其核心技術(shù)包括可信執(zhí)行環(huán)境、同態(tài)加密等。多方聯(lián)合計算：在多個組織的數(shù)據(jù)在需要聯(lián)合使用的場景中，保證各參與方在不需要泄露各自數(shù)據(jù)前提下即可完成聯(lián)合計算任務(wù)，避免共享明文數(shù)據(jù)存在的數(shù)據(jù)泄露和個人隱私泄露問題，打破數(shù)據(jù)孤島。其核心技術(shù)包括空間數(shù)據(jù)多方安全計算、聯(lián)邦學(xué)習(xí)等。數(shù)據(jù)防篡改：解決數(shù)據(jù)在被管理和操作過程中，被惡意篡改而失真的情況，保證數(shù)據(jù)在被后續(xù)使用過程中的數(shù)據(jù)不可篡改性、歷史可追溯性和操作不可抵賴性，提供具有公信力的數(shù)據(jù)真實性舉證能力。其核心技術(shù)包括空間數(shù)據(jù)區(qū)塊鏈、可驗證數(shù)據(jù)結(jié)構(gòu)等。隱私增強計算：保護涉及個人空間數(shù)據(jù)在采集與發(fā)布階段中涉及的數(shù)據(jù)隱私，通過增強所采集發(fā)布數(shù)據(jù)的不可區(qū)分性來達到隱私保護目的，避免涉及個人空間數(shù)據(jù)在被使用過程中違反各國數(shù)據(jù)安全相關(guān)的法律法規(guī)。其核心技術(shù)包括空間數(shù)據(jù)泛化、差分隱私等。2.55G、云網(wǎng)與空間計算：數(shù)字基礎(chǔ)設(shè)施建設(shè)構(gòu)筑更優(yōu)化的未來計算環(huán)境2.5.15G、云網(wǎng)對空間計算的驅(qū)動5G空間計算正逐漸成為構(gòu)建元宇宙大型空間臨場體驗的基礎(chǔ)。隨著5G網(wǎng)絡(luò)建設(shè)的推進，移動式XR業(yè)務(wù)正在快速發(fā)展，對空間體驗的高動態(tài)、強交互、超沉浸要求愈發(fā)明顯。根據(jù)沉浸感對硬件指標(biāo)的分級，等級最高的深度沉浸需要單眼分辨率大于8K、視場角水平FOV超過200度，幀頻達到240幀，此外還需要支持如注視點渲染、眼球追蹤、全景聲場、觸覺反饋等高靈敏度的移動交互感知以及高穩(wěn)定性的實時追蹤定位。因此，空間計算相關(guān)技術(shù)作為XR業(yè)務(wù)的核心支撐，通過云上部署來降低終端要求、提升前端用戶體驗已成為必然趨勢。中國電信在業(yè)界率先提出算力網(wǎng)絡(luò)的概念，提供以算力為核心的數(shù)字信息基礎(chǔ)設(shè)施。算力網(wǎng)絡(luò)能夠根據(jù)不同業(yè)務(wù)需求，結(jié)合網(wǎng)絡(luò)實時狀態(tài)和計算資源實時狀況，將業(yè)務(wù)導(dǎo)入到最合適的計算節(jié)點，云、網(wǎng)、邊、端智能協(xié)同，實現(xiàn)用戶體驗最優(yōu)、計算資源利用率最優(yōu)以及網(wǎng)絡(luò)效率最優(yōu)。電信為各類空間計算能力提供異構(gòu)多樣、分布式的算力資源，又通過動態(tài)優(yōu)化連接特性為XR等典型業(yè)務(wù)提供更好的網(wǎng)絡(luò)連接以及QoS保障。5G云網(wǎng)從云化空間計算、端邊異步渲染、云邊端協(xié)同架構(gòu)、服務(wù)彈性伸縮和動態(tài)調(diào)度、網(wǎng)絡(luò)傳輸保障等技術(shù)方面與空間計算進行了結(jié)合，有效的推動了空間計算典型業(yè)務(wù)的發(fā)展。2.5.25G、云網(wǎng)與空間計算相關(guān)技術(shù)模塊云化空間計算技術(shù)空間計算面臨大規(guī)模三維重建、點云更新、實時動態(tài)遮擋以及大并發(fā)等問題，需要消耗大量的推理計算資源，因此引入云化空間計算技術(shù)，將三維重建、動態(tài)光場、圖像檢索、特征點匹配、語義分割等算法進行云化分布式部署，提供各種類型的能力接口供終端調(diào)用，通過匹配業(yè)務(wù)需求的確定性網(wǎng)絡(luò)進行協(xié)同保障，以支持超大規(guī)模場景體驗并有效降低終端側(cè)算力要求與電量消耗。如在終端完成針對周邊環(huán)境的特征采集之后，將相應(yīng)的信息極速傳送到邊緣節(jié)點，由邊緣節(jié)點針對空間完成定位處理，定位時可以依靠5G基站提供的粗定位大幅降低云端檢索算力消耗。算力網(wǎng)絡(luò)調(diào)度在元宇宙大規(guī)模的分布式應(yīng)用情況下，需要提供一個基于面向質(zhì)量、業(yè)務(wù)優(yōu)先級的算力調(diào)度能力，結(jié)合算力集群的負載，性能，以及網(wǎng)絡(luò)實時狀態(tài)，可以將業(yè)務(wù)引導(dǎo)到最合適的計算節(jié)點，通過調(diào)度能力為業(yè)務(wù)匹配最優(yōu)服務(wù)。算力調(diào)度應(yīng)支持靈活和可擴展的調(diào)度策略插件，通過插件搭配和參數(shù)設(shè)置，能夠?qū)崿F(xiàn)各種符合業(yè)務(wù)場景的調(diào)度自力更生，滿足不同業(yè)務(wù)場景的自定義調(diào)度需求。算力調(diào)度通過算網(wǎng)注冊的方式，將全網(wǎng)的算力、網(wǎng)絡(luò)資源信息進行上報，通過在算網(wǎng)大腦定義調(diào)度策略，可以保證調(diào)度可靠的算力集群，或者根據(jù)離終端最近的集群，降低時延，保障用戶的體驗，支持優(yōu)先調(diào)度至資源負載相對低的集群。通過算力調(diào)度可以將業(yè)務(wù)或者終端的請求合理進行分配和引導(dǎo)。算力分時復(fù)用空間計算需要龐大GPU算力支撐，支撐的過程存在算力的閑時浪費，通過將算力在不同時間用于不同業(yè)務(wù)，起到算力的分時復(fù)用，提高GPU資源利用率。直通虛擬機實時場景下，業(yè)務(wù)對于虛擬機IO要求較高，直通虛擬機通過裸盤直掛虛擬機，實現(xiàn)高IO高性能的虛擬化；搶占式虛擬機離線場景下，不需要保證資源連續(xù)性的計算資源，占用的計算資源可被正常虛機實例搶占。在空間計算的資源池中，GPU實例可以做到分鐘級快速發(fā)放，提供多種顯存，滿足圖形圖像場景，滿足科學(xué)計算、深度學(xué)習(xí)訓(xùn)練、推理等計算場景；同時價比。端邊異步渲染技術(shù)大型場景下的虛擬人及XR內(nèi)容的逼真動態(tài)呈現(xiàn)，使用光線追蹤模式計算，并朝著基于神經(jīng)網(wǎng)絡(luò)的輻射場和超分辨率渲染方向發(fā)展，需要消耗大量圖像處理和推理計算資源，因此引入端邊異步渲染技術(shù)，將復(fù)雜的場景渲染放在離用戶最近的邊緣或超邊緣，提供大碼流低時延保障，實時渲染輸出圖像并編碼推流至終端。將簡單的交互對象渲染放本地，調(diào)用終端側(cè)的渲染能力完成最終的渲染拼接以及虛實結(jié)合輸出。基于該種處理技術(shù)，既能充分利用邊緣節(jié)點計算能力，又可基于終端渲染能力實現(xiàn)虛實場景對接，剔除大量的數(shù)據(jù)或視頻流交互，有效減少網(wǎng)絡(luò)傳輸壓力。端邊云協(xié)同部署架構(gòu)采用端邊云協(xié)同架構(gòu)，將實時性處理要求高的模塊在邊緣節(jié)點云化部署，而管理類、運營類等實時處理要求相對低的模塊在中心云集中部署，以云邊協(xié)同的方式提供完整XR業(yè)務(wù)。同時采用云化微服務(wù)方式部署，根據(jù)業(yè)務(wù)峰谷情況進行資源的彈性伸縮。在行業(yè)類客戶的XR業(yè)務(wù)具有典型時域特征時，可在業(yè)務(wù)波谷期間釋放云資源給其他業(yè)務(wù)使用，提升云資源利用率同時也降低XR業(yè)務(wù)的綜合部署成本。同時基于算力網(wǎng)絡(luò)加云化的部署可進行多層次的協(xié)同，比如：同資源內(nèi)不同XR業(yè)務(wù)、用戶間的資源共享，跨資源池的XR業(yè)務(wù)間進行資源與容災(zāi)的協(xié)同、跨業(yè)務(wù)之間的資源共享等。空間計算涉及的業(yè)務(wù)多為用戶集中場景，比如商場、景區(qū)等城市活動空間，在這些區(qū)域的網(wǎng)絡(luò)邊緣部署空間計算及實時云渲染能力，能保障更低的業(yè)務(wù)時延，不同的能力亦可容器化部署到分布式邊緣云。為保障實時空間定位的基礎(chǔ)性能，可在終端側(cè)進行圖像特征描述，并與云端數(shù)據(jù)庫進行特征匹配，減少基礎(chǔ)視覺定位流量消耗，降低網(wǎng)絡(luò)要求。在中心云部署業(yè)務(wù)統(tǒng)一管理，實現(xiàn)空間計算和渲染算力的分時共享，靈活調(diào)度。用戶接入時，根據(jù)終端位置和邊緣節(jié)點忙閑狀態(tài)，將用戶接入最合適的邊緣節(jié)點提供服務(wù)，保障用戶獲得最佳體驗。當(dāng)邊緣節(jié)點滿負荷時，與云資源池協(xié)同進行資源動態(tài)擴容保障業(yè)務(wù)正常運行。服務(wù)彈性伸縮和動態(tài)調(diào)度技術(shù)在用戶使用量較大、并發(fā)請求較多時，可利用云服務(wù)彈性伸縮、動態(tài)可擴展的特性進行云端資源擴展，實現(xiàn)高并發(fā)支持與靈活拓展。將云端各種能力組件和應(yīng)用邏輯通過虛擬機或者容器的方式在邊緣云承載，并通過低延時傳輸完成被感知現(xiàn)實場景的傳輸和合成顯示內(nèi)容的推送。如何構(gòu)建彈性的部署方式，又能提供對于開發(fā)生態(tài)比較好的包容和可用性，成為構(gòu)架發(fā)展的重要影響因素和技術(shù)棧發(fā)展的關(guān)鍵挑戰(zhàn)。速硬件的橋梁，也是邊緣側(cè)一個方向。網(wǎng)絡(luò)傳輸保障技術(shù)5G網(wǎng)絡(luò)的商用以及千兆家寬的發(fā)展，在網(wǎng)絡(luò)上保障了XR應(yīng)用數(shù)據(jù)傳輸?shù)姆€(wěn)定性及安全性。邊緣計算的發(fā)展，促進云端計算和存儲資源的進一步下沉，在內(nèi)容傳輸及分發(fā)過程中，降低了數(shù)據(jù)傳輸時延?？臻g內(nèi)容需要經(jīng)過云端渲染編碼，再通過5G網(wǎng)絡(luò)傳輸?shù)浇K端，端到端處理時延直接決定了空間交互體驗的效果，較長的云化計算和傳輸時延將會影響交互和沉浸感，因此超低時延流化技術(shù)是云網(wǎng)計算和5G傳輸保障的重要前提，通過并行流化技術(shù)能夠有效提高處理及傳輸效率，大幅減少云化時延。未來會有大規(guī)模、高精度的XR內(nèi)容呈現(xiàn)，虛擬化身實時傳送，乃至傳輸整個虛擬場景進行多方交互的需求，需要5G確定性網(wǎng)絡(luò)保證空間計算業(yè)務(wù)的連續(xù)和穩(wěn)定。2.5.35G標(biāo)準(zhǔn)化演進對空間計算的支持5G標(biāo)準(zhǔn)化演進對XR等空間計算典型業(yè)務(wù)進行了大量的討論與支持。Mediadistribution涵蓋了從LTE遷移到5G的媒體分發(fā)服務(wù)，新興媒體服務(wù)和用例以及如何在5G中實現(xiàn)，其API部分涵蓋了沉浸式媒體服務(wù)的要求以及相關(guān)的API需求。S26.118:VirtualReality(VR)profilesfor介紹了XR類型的服務(wù)和應(yīng)用的基線技術(shù)，概述了基于XR服務(wù)26.501中定義了5G媒體流的架構(gòu)模型。TR26.928中拆分計算/渲染被標(biāo)識為新的交付類別。TR26.928提供了3GPPR17進一步提升了XR相關(guān)的用戶體驗，相關(guān)標(biāo)準(zhǔn)包括：TR26.998:Supportof5Gglass-typeinteroperabilityandcharacterization基于R16TS26.118中的技術(shù)定義，提供了參考測試材料和測試結(jié)果，以提高TR26.118中技術(shù)的可用性。征進行了深入的增強和擴展，并新增了UCBC（上行超寬帶）、RTBC（寬帶實時交互）和HCS（通信感知融合）三大場景，進一步支持了空間計算的相關(guān)需求。Rel-18對XR業(yè)務(wù)支持的發(fā)展方向包括以下方面：話業(yè)務(wù)增強等；3)通用媒體的分發(fā)功能增強服務(wù)，包括網(wǎng)絡(luò)性能增強、上行流增強、邊緣計算、物聯(lián)網(wǎng)等。5G-Advanced將支持城市級三維世界的構(gòu)建和更新，影視級高動態(tài)內(nèi)容的生成和傳輸，全鏈路XR業(yè)務(wù)的標(biāo)識和增強，推動數(shù)字化世界的定位、感知和交互體驗向現(xiàn)實世界逼近，讓XR全息通訊成為人們?nèi)粘ＩI特征、部署策略、重點研發(fā)方向以及應(yīng)用實踐，成為業(yè)界需要共同思考的問題。2.5.4東數(shù)西算工程對空間計算的支持2022年2月，國家發(fā)展改革委、中央網(wǎng)信辦、工業(yè)和信息化部、國家能源局聯(lián)合印發(fā)通知，同意在京津冀、長三角、粵港澳大灣區(qū)、成渝、內(nèi)蒙古、貴州、甘肅、寧夏等8地啟動建設(shè)國家算力樞紐節(jié)點，并規(guī)劃了10個國家數(shù)據(jù)中心集群。我國一體化大數(shù)據(jù)中心體系完成總體布局設(shè)計，“東數(shù)西算”工程正式全面啟動?！皷|數(shù)西算”工程可以實現(xiàn)東西部地區(qū)數(shù)據(jù)的互通，一方面，可以緩解東部地區(qū)算力資源捉襟見肘的現(xiàn)狀，降低建設(shè)數(shù)據(jù)中心的成本壓力，延伸東部地區(qū)發(fā)展空間。另一方面，將東部算力有效引導(dǎo)至西部，可以有效推動?xùn)|部地區(qū)相關(guān)產(chǎn)業(yè)轉(zhuǎn)移，有助于東西部建立長期有效的協(xié)作發(fā)展機制，進而推進西部大開發(fā)，促進區(qū)域數(shù)字經(jīng)濟平衡穩(wěn)定發(fā)展?？臻g計算中的環(huán)境三維重建，計算量大且需要持續(xù)更新，目前主要為離線處理，對實時性沒有要求，以8C32GGPU單節(jié)點計算單元為例，對1萬平米空間進行稀疏三維重建需要4-6小時，進行稠密三維重建需要近15小時。未來城市級空間三維重建需要采集海量的環(huán)境原始視頻數(shù)據(jù)和輔助地理位置信息數(shù)據(jù)，上傳到云端提取環(huán)境特征生成大規(guī)模三維點云地圖，會產(chǎn)生海量算力需求。因此將東部環(huán)境數(shù)據(jù)西輸，通過西部算力節(jié)點的低成本算力進行三維重建生成大型點云地圖，將極大提高重建速度并降低算力成本。生成的點云地圖自動下發(fā)到東部節(jié)點用于虛擬內(nèi)容的編排錨定和終端應(yīng)用的實時識別定位。從而實現(xiàn)在城市空間中持久化疊加虛擬內(nèi)容及進行精準(zhǔn)互動，營造虛實共融的立體空間體驗。節(jié)點計算單元為例，目前每秒事務(wù)處理量為50TPS，未來支撐城市級空間精準(zhǔn)定位，需要大量空間計算節(jié)點。對于時延要求高的定位請求在東部解算，對于時延要求不高的定位請求可直接在西部解算，可以較低成本應(yīng)對高并發(fā)的需求。3.1產(chǎn)業(yè)發(fā)展趨勢和相關(guān)政策隨著空間計算相關(guān)產(chǎn)業(yè)的快速發(fā)展，目前業(yè)界已在建模引擎、增強現(xiàn)實、高精度識別和定位、大規(guī)模地形渲染等方向開展布局和探索。蘋果、谷歌、華為等國內(nèi)外公司分別搭建各自的空間計算平臺以實現(xiàn)在的技術(shù)成熟度，目前與現(xiàn)實世界虛實融合的發(fā)展水平處于初級階段，距離優(yōu)秀的用戶體驗標(biāo)準(zhǔn)仍有一定距離。目前多個空間計算平臺用戶之間難以互通訪問，且戶外大規(guī)模區(qū)域內(nèi)的信息同步和即時響應(yīng)依然難以支撐消費級使用，對用戶的隱私數(shù)據(jù)保護也需要更加關(guān)注?？臻g計算作為元宇宙價值鏈中的重要一環(huán)，通過對物理世界進行有效感知實現(xiàn)信息管理與應(yīng)用，連接打通真實世界與虛擬世界。5G網(wǎng)絡(luò)作為空間計算的基礎(chǔ)設(shè)施可以為信息傳輸與實時控制提供一個穩(wěn)定的通道，助力對象感知、空間實時定位等相關(guān)技術(shù)的發(fā)展和應(yīng)用。5G與空間計算的融合將有效推動相關(guān)產(chǎn)業(yè)發(fā)展，通過突破現(xiàn)有技術(shù)、探索新興領(lǐng)域來孕育新的商機?，F(xiàn)階段，5G與空間計算的融合平臺處于萌芽階段，產(chǎn)業(yè)關(guān)聯(lián)性逐漸增強，網(wǎng)聯(lián)云控、多人實時、高性能同步定位與地圖創(chuàng)建、隱私數(shù)據(jù)保護等已成為5G空間計算聯(lián)合創(chuàng)新突破的重要方向。我國一直關(guān)注三維重建與渲染、空間感知、沉浸計算、自然交互等科學(xué)技術(shù)的發(fā)展。2016年將自然交互、虛擬現(xiàn)實等技術(shù)納入國家創(chuàng)新驅(qū)動發(fā)展戰(zhàn)略。2021年，國家各個部門相繼出臺了多個與虛擬現(xiàn)實、三維重建、物聯(lián)感知相關(guān)的政策，將建設(shè)數(shù)字中國納入第十四個五年規(guī)劃，旨在推動相關(guān)技術(shù)的發(fā)展，為實現(xiàn)新一輪科技爆發(fā)探索方向。2022年，隨著元宇宙的興起，5G+空間計算迎來了新的發(fā)展浪潮。表1我國空間計算相關(guān)政策《國家創(chuàng)新驅(qū)動發(fā)展戰(zhàn)《關(guān)于加快推進虛擬現(xiàn)準(zhǔn)構(gòu)建等方面提出了發(fā)展虛擬現(xiàn)實產(chǎn)業(yè)的重點任經(jīng)濟和社會發(fā)展第十四景目標(biāo)綱要》第五篇“加快數(shù)字化發(fā)展建設(shè)數(shù)字中國”提出虛《實景三維中國建設(shè)技等新技術(shù)在制造環(huán)節(jié)的深度應(yīng)用，探索形成一批展規(guī)劃的通知》《關(guān)于全面推進實景三通知提出實景三維是國家重要的新型基礎(chǔ)設(shè)施為《國務(wù)院辦公廳關(guān)于進《虛擬現(xiàn)實與行業(yè)應(yīng)用家廣播電視《數(shù)字中國建設(shè)整體布局規(guī)劃》數(shù)字消費業(yè)態(tài)、面向未來的智能化沉浸式服務(wù)體表2我國各省市空間計算相關(guān)政策《天津市穩(wěn)住外貿(mào)外資基本盤推進外貿(mào)創(chuàng)新發(fā)展若干措施》《廣州市國民經(jīng)濟和社會發(fā)展第十四個五年規(guī)要》會發(fā)展第十四個五年規(guī)標(biāo)綱要》堅持數(shù)字城市與現(xiàn)實城市同步規(guī)劃建設(shè)《浙江省數(shù)字經(jīng)濟發(fā)展《推動虛擬現(xiàn)實產(chǎn)業(yè)高《上海市數(shù)字經(jīng)濟發(fā)展加快研究部署未來虛擬世界與現(xiàn)實社會的終端技術(shù)研制。加快虛擬現(xiàn)實生態(tài)布《深圳市推動軟件產(chǎn)業(yè)工業(yè)互聯(lián)網(wǎng)、元宇宙等新興技術(shù)平臺軟《成都市培育元宇宙產(chǎn)在核心技術(shù)方面，成都將通過攻關(guān)區(qū)塊表3國外空間計算相關(guān)政策3.25G+空間計算產(chǎn)業(yè)鏈情況5G+空間計算產(chǎn)業(yè)鏈可大略分為終端設(shè)備、軟件工具、應(yīng)用和服務(wù)。其中，終端設(shè)備包括采集終端、顯示終端和關(guān)鍵器件；軟件工具包括SDK、空間計算云平臺和三維重建軟件等；應(yīng)用和服務(wù)包括娛樂、工業(yè)等應(yīng)用。終端設(shè)備層傳感器/相機國內(nèi)：速騰聚創(chuàng)、禾賽科技、北醒光子等采集設(shè)備國內(nèi)：數(shù)字綠土、大疆、如視等智能終端軟件工具層空間計算云平臺等三維重建軟件內(nèi)容應(yīng)用層國外：Esri等娛樂、工業(yè)等應(yīng)用國內(nèi)：天翼云圖、數(shù)字故宮等隨著互聯(lián)網(wǎng)基礎(chǔ)設(shè)施的完善，全球前沿科技公司都在元宇宙相關(guān)領(lǐng)域加速布局，互聯(lián)網(wǎng)正在由二維向三維空間進化?？臻g計算融合數(shù)字化建模渲染、識別、定位、檢索等技術(shù)，結(jié)合多形態(tài)的智能終端及5G網(wǎng)絡(luò)，在商業(yè)、文旅、工業(yè)、會展、金融、游戲、影視媒體、協(xié)同辦公等場景中已有多種落地，不斷創(chuàng)新應(yīng)用模式的同時，亦進一步驅(qū)動其技術(shù)與生態(tài)的發(fā)展。4.1空間計算+商業(yè)：打造新型營銷與購物體驗，推動精準(zhǔn)運營隨著城市的發(fā)展，商業(yè)綜合體應(yīng)運而生，它是多個使用功能不同的建筑空間組合而成的建筑群，其合理性在于節(jié)約用地、縮短交通距離、提高工作效率、發(fā)揮投資收益等。商業(yè)綜合體作為商業(yè)與城市關(guān)系復(fù)雜結(jié)合的一種新型建筑表現(xiàn)形式，是近些年來商業(yè)建筑發(fā)展的一個重要趨勢。隨著城市人口密度的增加，城市公共空間不足以支撐市民活動需求，商業(yè)綜合體承接了部分城市公共空間的功能，這要求商業(yè)空間從傳統(tǒng)的零售模式向以消費者為核心的體驗?zāi)Ｊ睫D(zhuǎn)變。多個城市發(fā)布的商業(yè)布局提及要引導(dǎo)購物中心進行差異化主題定位，增加體驗型、服務(wù)型業(yè)態(tài)，實現(xiàn)商旅文娛體融合發(fā)展，引領(lǐng)消費者尋求新的消費體驗。在日益劇烈的市場競爭中，如何體現(xiàn)出商業(yè)綜合體的差異、特點，如何做好物理與虛擬空間的運營，在一眾商業(yè)綜合體中脫穎而出，是商業(yè)綜合體普遍關(guān)注的問題?？臻g計算技術(shù)可以實現(xiàn)物理空間的復(fù)刻，進行商業(yè)場景虛擬世界的構(gòu)建，以幫助商業(yè)綜合體進行線上線下雙線運營。它可以結(jié)合增強現(xiàn)實（AR）、虛擬現(xiàn)實（VR）技術(shù)實現(xiàn)更新奇的體驗、更有趣的營銷互動；融合高清移動視頻監(jiān)控、IOT監(jiān)測設(shè)備、互動計算設(shè)備等讓商業(yè)綜合體感知商業(yè)的客戶情況、設(shè)備情況、商業(yè)情況，賦能商場的統(tǒng)一運營及管理，這些將是破局商業(yè)綜合體運營的有力推動。當(dāng)前XR等空間計算相關(guān)技術(shù)正在為商業(yè)綜合體帶來以下場景變革：沉浸式購物體驗沉浸式既包括人的感官體驗，又包括人的認知體驗。沉浸式商業(yè)即是圍繞“人、貨、場”來打造真實生動的感官體驗以吸引消費者關(guān)注，并通過增強認知體驗來引導(dǎo)最終的決策轉(zhuǎn)化。舉例來說，線下商業(yè)綜合體可結(jié)合混合現(xiàn)實技術(shù)來豐富商場空間內(nèi)容，營造沉浸互動購物氛圍讓消費者在商場內(nèi)可以駐留更長的時間，然后再通過AR廣告、AR紅包等趣味性互動活動讓消費者認知品牌；通過AR營銷互動、AR游戲等更有意思的方式吸引用戶，參與營銷活動、提升營銷轉(zhuǎn)換；通過AR導(dǎo)航能力，引導(dǎo)用戶到達品牌店鋪達成最終頭及其他傳感器數(shù)據(jù)并進行深度信息融合，可以實現(xiàn)精準(zhǔn)定位，同時可支持AR內(nèi)容的精準(zhǔn)疊加顯示和交互。適用復(fù)雜的線下場景環(huán)境如商業(yè)綜合體、停車場等，通過視覺定位能力和空間感知跟蹤能力，實現(xiàn)現(xiàn)實場景與虛擬世界的疊加融合，實現(xiàn)用戶線下體驗升級，為線下商家提供全新的營銷互動工具，打通線上線下服務(wù)。虛擬化身與會員制的結(jié)合人們可以使用不同的虛擬化身參與到商業(yè)活動，成為商業(yè)元宇宙中的數(shù)字分身，通過虛擬化身與會員制的結(jié)合，增強消費者與商業(yè)綜合體的粘性，強化品牌認同感，并可結(jié)合積分兌券、會員權(quán)益等帶給商業(yè)會員運營、變現(xiàn)的更多渠道?；谔摂M化身的輕社交，會員將體驗多樣的沉浸式社交場景，建立志同道合的社交關(guān)系。虛擬化身與商業(yè)綜合體的深度結(jié)合所蘊含的強連接屬性將創(chuàng)造巨大的商業(yè)價值，基于會員虛擬形象，將有力地連接商業(yè)與消費者、遠場與近場、虛擬與現(xiàn)實，可以衍生出會員權(quán)益、互動游戲、數(shù)字藏品等增值服務(wù)。譬如，高會員等級所獨有的權(quán)益裝扮、某場虛擬生日會的場景“門票”、商場發(fā)行的限量數(shù)字藏品等都是虛擬社交流量變現(xiàn)的重要途徑，從而實現(xiàn)線上產(chǎn)品的運營增值?！疤摂M人”將逐漸在多場景、多領(lǐng)域進行融合、應(yīng)用、落地隨著5G、人工智能與空間計算技術(shù)的融合發(fā)展，虛擬人有了更多的應(yīng)用可能。5G時代的虛擬助手可以實時且持續(xù)地升級AI算法，增強認知理解能力。通過實時高速連接的5G網(wǎng)絡(luò)，虛擬助手可快速拓展能力，從天文地理到詩詞歌賦，從人文歷史到數(shù)理化生，成為人們可以放心信賴的萬事通。元宇宙時代，每個人都需要一個以上的虛擬人助手，通過自然交互，他們可以為用戶提供和推薦個性化服務(wù)，使得商業(yè)服務(wù)“永不離線”。圍繞虛擬人助手的價值鏈逐漸形成，虛擬人制作、分發(fā)、服務(wù)，購買和訂閱服務(wù)將成為新的商業(yè)形式。在商業(yè)綜合體場景下，虛擬人助手可提供線上直播、導(dǎo)購，線下問答指引服務(wù)，更加真實地感受到虛擬環(huán)境。綜合體借助平臺虛擬人直播服務(wù)，定制直播，甚至是24小時直播，為品牌、商場帶來增量直播收入。消費者在到達商業(yè)綜合體進行線下消費時，可基于線下大屏的虛擬人助手進行引路、問答、根據(jù)用戶偏好針對性提供商品推薦介紹等，現(xiàn)實與虛擬完美結(jié)合，使娛樂體驗更加多元化，從而帶來轉(zhuǎn)化提升，有效為用戶提高消費決策效率和體驗。客戶還可以通過手機等終端設(shè)備，將虛擬人助手“放入口袋”，減少了傳統(tǒng)服務(wù)過程中的時間和空間限制，極大地提高了服務(wù)效率，隨時享受優(yōu)質(zhì)服務(wù)。零售行業(yè)售前售中售后均依賴于客服為消費者提供服務(wù)，客服成本急需控制和降低。虛擬虛擬人技術(shù)通過多模態(tài)交互能力從更多維度感知用戶表達，包括語音、表情、姿態(tài)、手勢等，更好傳達品牌概念，且有效提升服務(wù)質(zhì)量并降低了線下客服成本。數(shù)據(jù)感知與空間計算的融合推動精準(zhǔn)運營管理多類型的終端感知線下消費行為、融合客戶線上消費數(shù)據(jù)，利用5G實時回傳及大數(shù)據(jù)分析進行運營管理是商業(yè)綜合體不可或缺的能力。結(jié)合空間計算帶來的數(shù)字孿生綜合體的三維可視化，將推動商業(yè)綜合體的數(shù)字化轉(zhuǎn)型，提供深層次商業(yè)價值，同時提升消費者的個性化購物體驗，使消費者的生活更加便利。4.1.2應(yīng)用案例沉浸式AR劇情秀金科商業(yè)與中國電信天翼云圖合作打造全國首個全劇情AR導(dǎo)航、AR游戲商業(yè)元宇宙應(yīng)用——重慶金科樂方，并推出全新的商業(yè)品牌金META。該應(yīng)用嘗試從設(shè)計建造、運營管理上體現(xiàn)了元宇宙虛實融合的空間計算技術(shù)導(dǎo)向，結(jié)合金META產(chǎn)品體系落地九大功能模塊，以沉浸式場景，多業(yè)態(tài)組合，關(guān)注親子養(yǎng)成、全家庭享樂，打造智慧潮流生活中心。積極探索將元宇宙IP元素進行場景化嵌入，旨在強化元宇宙趣味屬性，加強場景化消費，塑造具有記憶點的場景，滿足個性化需求，帶動線下消費升級，用戶實地線下打開手機，即可進入虛實融合的數(shù)字世界。AR與虛擬人營銷鄭州正弘城定位“潮流、人文、藝術(shù)、生活”，希望打造國際化生活方式中心，商業(yè)部分總面積約30萬平，是華中地區(qū)重要的超大型商業(yè)綜合體之一。正弘城聯(lián)合電信、商湯等合作伙伴建設(shè)了覆蓋整個商業(yè)綜合體的AR導(dǎo)航營銷應(yīng)用。通過AR導(dǎo)航將基于商業(yè)綜合體IP所打造的AR數(shù)字內(nèi)容與立面、中庭、商家等空間串聯(lián)起來，形成了線上與線下融合、虛擬與現(xiàn)實融合的全場景營銷互動項目?；顒悠陂g，正弘城獨有的IP“SHERED”攜帶者再生能源降臨正弘元宇宙，消費者可通過完成AR劇情任務(wù)、搜集覆蓋全商場的AR寶箱、參與AR紅包雨活動等領(lǐng)取活動促銷卡券與禮物，豐富了營銷活動的表現(xiàn)與體驗形式。華潤萬象生活打造全國首家“天翼云圖”5G智慧商業(yè)綜合體項目合肥萬象城，依托5G云網(wǎng)、XR數(shù)字孿生、大數(shù)據(jù)、人工智能等技術(shù)，將線下商業(yè)空間進行3D高精度時空信息重建，打造出線上線下深度融間、VR數(shù)字云MALL“等一系列5G新型消費應(yīng)用，助力合肥萬象城實現(xiàn)智慧運營。此外，合肥萬象城開展空間計算技術(shù)相關(guān)的沉浸式線下營銷活動，探索5G+XR數(shù)字科技的融合創(chuàng)新，開創(chuàng)性開展“線下大型真人AR實景解謎游戲”，新奇的玩法迅速在抖音、小紅書上快速傳播，通過線上引流、線下轉(zhuǎn)化的新模式，拉動客流增長49萬人次、銷售額提升2200萬元。XR沉浸式數(shù)字街區(qū)杭州文三西路XR沉浸式數(shù)字街區(qū)帶給用戶AR街景、AR打卡點、3D互動彈幕等觀光新體驗，讓用戶在全新形式中體驗商業(yè)數(shù)字氛圍。利用比傳統(tǒng)GPS導(dǎo)航和地圖指示更精準(zhǔn)，視覺效果更佳的AR導(dǎo)航，實現(xiàn)AR虛擬人物解說、街景3D化展示等虛實融合的全新交互體驗，多維度和顧客深度連接，將線下流量二次轉(zhuǎn)化為線上流量。該元宇宙應(yīng)用中，易現(xiàn)先進科技利用AR云平臺能力為其構(gòu)建了數(shù)字孿生世界，讓文字、圖片、模型、三維場景動畫等虛擬信息與商區(qū)真實環(huán)境融為一體。在運營管理方面，通過數(shù)據(jù)采集、數(shù)據(jù)洞察感知用戶行為，通過營銷內(nèi)容管理賦能運營，旨在讓商場商鋪/品牌營銷活動可靈活運營、全方位挖掘用戶行為。虛擬試穿試戴時尚行業(yè)近年來積極尋求行業(yè)數(shù)字化解決方案，其中沉浸式體驗也是面向消費者的重要新手段。在疫情及成本各方面因素影響下，如何更好地強化線上消費體驗從而弱化線下依賴、發(fā)揮線上銷售潛力，已有越來越多時尚企業(yè)進行了探索嘗試并收獲成果。虛擬試穿戴技術(shù)即利用人體感知能力，識別跟蹤人臉關(guān)鍵眼鏡等。一方面可以在線上購物平臺，通過售前完成真實商品上身效果預(yù)覽，幫助消費者更精準(zhǔn)選購適合的商品，從而減少售后退換貨成本及糾紛；另一方面在線下門店，針對美妝、染發(fā)等試體驗相對操作成本較高的品類，也可通過虛擬試穿戴降低消費者顧慮，并借用虛擬商品的形式打破門店存貨限制，擴大客戶選購范圍。試妝、試戴眼鏡服務(wù)，消費者可在京東平臺及品牌官網(wǎng)直接體驗，也帶來消費者活躍度、轉(zhuǎn)化率的顯著提升。AR試鞋更成為鞋靴品類消費者心中有代表性的特色功能，眾多潮流新品借助虛擬試鞋成功觸達目標(biāo)用戶群，獲得良好轉(zhuǎn)化外也強化了品牌形象。4.1.3未來展望隨著空間計算技術(shù)的成熟，元宇宙產(chǎn)業(yè)的發(fā)展，商業(yè)運營將至少有以下兩方面的變革：1、信息維度的升級。以空間計算為基礎(chǔ)，在虛擬空間中復(fù)刻物理場景，將包括更豐富的信息內(nèi)容（從便民服務(wù)、互動體驗到廣告營銷商業(yè)信息維度從二維平面視圖升級為三維全景視界，信息層次更加豐富，信息的總量也將會呈現(xiàn)指數(shù)級增長。商業(yè)邏輯將被重塑，通過創(chuàng)作升級、計算升級、智能升級推動體驗升級、商業(yè)升級、治理升級、文明升級。2、用戶體驗的沉浸感更強，人機交互更加自然，產(chǎn)業(yè)生態(tài)會更加開放多元。隨著交互式終端、計算渲染、通信網(wǎng)絡(luò)等技術(shù)的發(fā)展成熟，可以預(yù)見當(dāng)XR設(shè)備日漸成熟后，或?qū)⒊蔀榇蟊娀?、成?guī)模的移動智能終端。基于空間計算進行商業(yè)空間運營的體驗將更加真實、更具備代入感，從而模糊了虛擬與現(xiàn)實的邊界，逐步走向虛實交融?？傮w而言，5G、空間計算等技術(shù)的發(fā)展普及，將帶來商業(yè)領(lǐng)域的巨大變革，未來的商業(yè)模式、社交方式、信息獲取渠道，以及內(nèi)容生產(chǎn)和消費都將會涌現(xiàn)出一系列創(chuàng)新模式。元宇宙概念下，沉浸式技術(shù)的發(fā)展演進將可能重塑“人、物、場”的生產(chǎn)關(guān)系，并大大提升生產(chǎn)力，將在商業(yè)場景發(fā)揮出更大價值，助力實體商業(yè)新型消費升級，打造出更有趣、更便捷、更創(chuàng)新的零售用戶體驗。4.2空間計算+文旅：重塑產(chǎn)業(yè)結(jié)構(gòu)，體驗歷史與未來4.2.1行業(yè)背景文旅產(chǎn)業(yè)包括文化、監(jiān)管、運營管理、游客用戶等多方角色?？臻g計算的三維感知輔助人類以三維的方式記錄文化，天然的與歷史文化層與現(xiàn)代文化層緊緊關(guān)聯(lián)。依托三維數(shù)據(jù)，監(jiān)管方與運營管理方即可以更加直觀、高效的方式，對文化歷史做好監(jiān)督、管理、維護，實現(xiàn)歷史文化價值長存。XR作為3D交互的代表手段，結(jié)合空間計算提供的高精位姿，為游客拓展了更加身臨其境的文化感知方式。新時代下，元宇宙結(jié)合各行業(yè)快速發(fā)展，空間計算與文旅產(chǎn)業(yè)服務(wù)更加密不可分，文旅元宇宙正在形成，有望成為數(shù)字文旅領(lǐng)域新業(yè)態(tài)。自2019疫情席卷全世界始，出境游和戶外游都轉(zhuǎn)入“冬眠”狀態(tài)，正是在這種產(chǎn)業(yè)寒冬下，XR等沉浸式技術(shù)為文旅行業(yè)帶來了體驗提升。在VR方面，人們可以足不出戶360全景云賞風(fēng)景，并基于自主化視角選擇畫面內(nèi)容。在AR方面，空間計算被廣泛應(yīng)用于文旅創(chuàng)新場景中，與文旅各系統(tǒng)數(shù)據(jù)互聯(lián)互通，為超大型文旅園區(qū)場景提供了服務(wù)到智慧化管理的有力支持，為文旅的數(shù)字化發(fā)展貢獻了新的角度和敘事方式。目前，主要景區(qū)或數(shù)字化相對發(fā)達的地方積極探索與AR進行融合創(chuàng)新的建設(shè)路徑。從建筑類的博物館、歷史建筑到自然風(fēng)景雄偉的4A、5A景區(qū)，再到人文和自然并存的新農(nóng)村，從主流的江浙滬到大西北的陜甘青，從歷史遺留建筑繁多的京津一帶和東北各首府到西南邊陲的貴州，再到遙遠的新疆，AR在文旅中的應(yīng)用可謂遍地開花，諸多景區(qū)紛紛入局，利用AR賦能，給與用戶更深層次的體驗，給景區(qū)帶來更多的流量。常用功能有相對基礎(chǔ)的導(dǎo)航導(dǎo)覽、全息講解、虛擬人導(dǎo)游講解，進階功能涉及全息真人演出、時空穿越、場景還原和歷史再現(xiàn)、AR現(xiàn)場互動和活動、AR空間裝飾、AR互動營銷、AR文創(chuàng)、元宇宙模式下的劇本殺等等。4.2.2應(yīng)用案例建筑可閱讀與文化地標(biāo)傳統(tǒng)的“建筑可閱讀”是掃碼即可有圖文語音講解建筑的相關(guān)情況，在AR賦能下的這一功能有了全新體驗，在天津慶王府和靜園的建筑可閱讀應(yīng)用中，大眾拍攝現(xiàn)實建筑系統(tǒng)識別后，不僅有建筑細部的特效和講解，同時還增加了建筑的歷史場景還原、靜物的活化、缺失損傷部位的再現(xiàn)、過往的建筑修復(fù)過程講解、AR文創(chuàng)、導(dǎo)航導(dǎo)覽等多元功能。此外，文化地標(biāo)是建筑空間計算的另一賦能應(yīng)用場景，例如上海外灘一帶的基礎(chǔ)AR內(nèi)容是導(dǎo)航導(dǎo)覽、空間特效、空間互動煙花秀，進階版則賦予了地標(biāo)特別的含義，如樓梯品牌廣告露出、城市音樂節(jié)場景空間秀等，進一步發(fā)揮地標(biāo)的商業(yè)價值。博物館數(shù)字化升級對于故宮、敦煌莫高窟等國