2022全息通信技術(shù)白皮書

全息通信技術(shù)白皮書（2022）全息通信技術(shù)白皮書（2022全息通信技術(shù)白皮書（2022）PAGEPAGE10目錄全息技術(shù)概述 2全息概念 2發(fā)展歷程 2全息技術(shù)在通信中的應(yīng)用 3一對多場景：全息演講或教學(xué) 3一對一場景：私人交流 4多對多場景：會議 5全息通信關(guān)鍵技術(shù) 6內(nèi)容采集 6彩色相機 6深度相機+彩色相機陣列 6算法處理 7非三維重建 8傳統(tǒng)三維重建算法 8基于深度學(xué)習(xí)的三維重建 123.3傳輸 13高帶寬 14低時延 14強安全 14大算力 15渲染技術(shù) 15多視圖立體渲染技術(shù) 15超多視點的虛擬立體內(nèi)容渲染技術(shù) 16多平面圖像渲染技術(shù) 19顯示技術(shù) 20穿戴式設(shè)備 20裸眼3D顯示設(shè)備 21全息通信技術(shù)案例 22微軟（MICROSOFT） 23谷歌（GOOGLE） 23螳螂慧視（MANTISVISION） 23總結(jié)和展望 24編寫單位和作者 25縮略語列表 26全息技術(shù)概述全息概念“全息”（Holography）即“全部信息”，這一概念是在1947年由英國匈牙利裔物理學(xué)家丹尼斯1971通信及人機交互等學(xué)科領(lǐng)域有著密切的聯(lián)系。發(fā)展歷程自1947年由丹尼斯段，分別是：傳統(tǒng)光學(xué)全息（Traditionalopticalholography），數(shù)字全息（Digitalholography）與計算全息（ComputationalHolography）。在每一個過程。新處理，數(shù)字全息是利用電荷耦合器件來代替?zhèn)鹘y(tǒng)的光學(xué)記錄材料來記錄全息Goodman1967年提出的。KozmaKelly21維顯示技術(shù)，與傳統(tǒng)光學(xué)全息術(shù)相比具有靈活、可重復(fù)性好的特點。全息技術(shù)在通信中的應(yīng)用6GXR、新型智慧城市、本文所涉及的內(nèi)容為狹義上的通信概念，即指人與人之間通過某種\h媒介進行的信息交流與傳遞。通訊質(zhì)量等問題；傳輸高質(zhì)量的視覺通訊內(nèi)容受制于傳輸帶寬而難以實現(xiàn)的問6G個問題，賦能全息通信應(yīng)用。用于以下三類場景：一對多場景、一對一場景和多對多場景。一對多場景：全息演講或教學(xué)升，學(xué)習(xí)效果進一步貼近線下演講或教學(xué)。（講者或授課者的信息）大于上行流（受眾的反饋），信息流呈現(xiàn)輻射狀。6G如圖1所示：圖1一對多場景一對一場景：私人交流正做到天涯若比鄰。信模式為點對點通信。2圖2一對一場景多對多場景：會議當全息技術(shù)和大帶寬網(wǎng)絡(luò)技術(shù)發(fā)展到一定階段，可以構(gòu)筑高質(zhì)量的互動通息顯示技術(shù)構(gòu)建高真實度的參會場景，實現(xiàn)身臨其境般的線上會議感受。所有其他人的全息影像和聲音，是一對一場景的復(fù)雜形式。3圖3多對多場景全息通信關(guān)鍵技術(shù)全息通信的關(guān)鍵技術(shù)包括內(nèi)容采集、算法處理、傳輸、渲染和顯示。內(nèi)容采集全息通信所需的動態(tài)三維內(nèi)容又稱作“體積視頻”（VolumetricVideo），其采集方式可以分為純彩色相機陣列采集和深度相機+彩色相機陣列采集。彩色相機動拍攝。360°圍繞式。180°360°圍成一圈，做成影棚的形態(tài)，這樣可以同時采集人體各個角度的影像。深度相機+彩色相機陣列高度、嘴唇的輪廓等細節(jié)。4場地要求也比較靈活。圖4深度相機+彩色相機陣列彩色相機紅外相機彩色相機紅外相機紅外投射器圖5掩膜編碼結(jié)構(gòu)光深度相機算法處理同的圖像，是一種相對“粗糙”的處理方式。非三維重建即視差圖，在同一行上平移虛擬相機位置，從而生成新的視角圖像。0.5。以此類推。融合，比如基于距離的線性融合等。傳統(tǒng)三維重建算法色相機的主動式。2DSFMSFMSFMMVSTOF返回光的時間或相位差來計算距離目標的距離。主動式算法如結(jié)構(gòu)光法和TOF法能夠精準構(gòu)建3D模型，但二者都需要較為精密的傳感器。6格三維數(shù)據(jù)，最后貼上彩色照片。圖6三維重建過程SFMSFM，StructurefromMotion，3D2D3D2D信息，在這一點上，原理和基于雙目視覺的三維重建相同。SFM2D2DSIFT，SURFAKAZE（SIFT）來匹配。SFMRANSAC（RandomSampleConsensus）。2D3DBundler[2]就是一種SFMBundler的匹配算法，并且對匹配進行了過濾去噪處理。MVSSFM的重建成果是稀疏三維點云，為了得到更好的深度結(jié)果，需要使用多視角立體視覺（MultipleViewStereo，MVS）算法。某種意義上講，SFM者可以在環(huán)境里面“穿行”，而后者更像在環(huán)境外“旁觀”。SFM（即一堆相鄰像素MVS接近圖像為我們展示出的清晰度。分存在極線幾何約束。（StructuredLight）（算被測物的三維形狀及深度信息。結(jié)構(gòu)光3D成像技術(shù)主要由4大部分組成：不可見光紅外線發(fā)射模組（IRProjector）不可見紅外光至被拍攝物體；不可見光紅外線接收模組（IR）紅外光；2D圖像處理芯片（非必須，有些結(jié)構(gòu)光供應(yīng)商提供的解決方案可利用主機AP體的深度信息。iPhoneXPrimeSense（光7和方向而不同，由此計算得到被拍攝物體深度信息。圖7散斑結(jié)構(gòu)光TOFTOF（TimeofFlight）（光）飛行時間，字面理解就是通過光的飛行時間來計算距離。TOFTOFDTOF（DirectTOF）（一般是正弦波TOFITOF（IndirectTOF）TOF像精度、應(yīng)用場景等方面又有差異，比較如下：工作距離精度功耗應(yīng)用場景TOF幾米至十幾米（和光源功率成正比）DTOF（1-2中遠距離精度比結(jié)構(gòu)光好高別、動作捕捉等結(jié)構(gòu)光消費級模組工作距離2工業(yè)級模組工作距離可達7米最高可達亞毫米級（0.5毫米）；近距離精度比TOF好中等金融刷臉支付；3D3D識別、動作捕捉等基于深度學(xué)習(xí)的三維重建少對圖片的依賴。Saxena等提出了利用監(jiān)督學(xué)習(xí)的辦法去預(yù)測照片的像素對應(yīng)的深度[3]ECCV2022NianticUCL3D3D[4]”則是基于前者的提升，無論從效果到性能均顯著優(yōu)于前者。GRAILNeRFAI2D3D[5]，CVPR2022。SimpleRecon3D從姿態(tài)圖像重建3D室內(nèi)場景通常分為兩個階段：圖像深度估計，深度合并（DepthMerging）和表面重建（SurfaceReconstruction）。過去的研究依賴于昂貴的3D卷積層，限制了其在資源受限環(huán)境中的應(yīng)用。來自Niantic和UCL等機構(gòu)的研究者利用強大的圖像先驗以及平面掃描特征2DCNN（SimpleRecon）70ms。而實時三維重建正是全息通信的關(guān)鍵技術(shù)之一。該研究的關(guān)鍵是將現(xiàn)有的元數(shù)據(jù)與典型的深度圖像特征一起注入到代價體積（CostVolume）3DHumanNeRF2D3DNeRF2020ECCV2NeRF論文數(shù)量已經(jīng)十分可觀。NeRFNeuralRadianceFields2D3DHumanNeRF三維重建。HumanNeRF3DT2D3DNeRF化對結(jié)果的影響等。HumanNeRF小時對特定數(shù)據(jù)的微調(diào)，即可生成改進后的結(jié)果。傳輸四個方面：高帶寬、低時延、強安全和大算力。高帶寬Mbps101080P32512dpi×424dpi1660100420MbpsMG。（效的滿足全息通信的帶寬需求。低時延延，需要處理節(jié)點具有高算力，并進一步縮減網(wǎng)絡(luò)本身的傳輸時延。此對于處理算法的優(yōu)化研究是當前的熱門方向。對于網(wǎng)絡(luò)本身的傳輸時延，5G20ms強安全延。對時延和安全性的折中考慮是未來網(wǎng)絡(luò)需要面對的難題之一。大算力MTPMEC來網(wǎng)絡(luò)可通過云端和邊緣端的快速部署解決全息通信的算力需求。渲染技術(shù)術(shù)、超多視點的虛擬立體內(nèi)容渲染技術(shù)和多平面圖像技術(shù)。VR3D3D解決方案。多視圖立體渲染技術(shù)量等方面不斷努力，并推出一系列技術(shù)與解決方案。虛擬現(xiàn)實圖形管道原理圖形應(yīng)用程序為顯示設(shè)備渲染一個3D3D像機并根據(jù)攝像機的位置對場景中的幾何圖形執(zhí)行計算。渲染引擎執(zhí)行像素陰VR3D性能要求。單通道立體(SPS)渲染技術(shù)NVIDIAPascal（SPS）渲染的技術(shù)來幫VRSPSGPUx(FOV)Pascal180FOV圖靈多視圖渲染技術(shù)VRNVIDIAGPU的多視圖渲染擴展了單通道立體渲染。MVR4FOV4超多視點的虛擬立體內(nèi)容渲染技術(shù)設(shè)計了不同的渲染方式以提升設(shè)備的畫面性能。逐視點渲染法方法，也可以采用光線跟蹤的方法。100場景的實時渲染。基于幾何著色器的逐視點渲染法可一次性地在一個紋理上渲染出多個視點的圖像，這樣可以極大地節(jié)省多視點渲染時間。GPUinstancing技術(shù)[6]，隨著場景品質(zhì)需求的提升，需要在場景里繪制越來越多的物體，CPUGPU的壓力都會上升。在場景中有大量重復(fù)物體需要繪制時，使用GPUInstancingdrawcall光線跟蹤法8檢測，最后通過著色程序就可以生成相應(yīng)的光場圖像。圖8基于光線跟蹤的集成成像算法向2K以下的顯示設(shè)備且可繪制的場景有限[7]?；谏疃刃畔⒌某嘁朁c渲染基于深度信息的渲染（Depth-Image-BasedRendering，DIBR）在虛擬場景的渲染過程中十分常用[8]DIBR缺點是造成渲染質(zhì)量的下降。DIBR，一類為多參考視點的DIBR[9]DIBR10°以內(nèi)觀看視角的光場顯示設(shè)備。多參考視點的DIBR需要多個深度參考[10]來插值出中間視點。DIBRDIBRDIBR左右視圖實現(xiàn)對遮擋區(qū)域的信息互補?；趲缀蜗嚓P(guān)性的超多視點渲染所示，其對應(yīng)的EPI圖像為三條直線[11]。圖9虛擬點在錯切排列下的采集以及對應(yīng)的EPI圖像EPI則對應(yīng)的EPIEPI圖EPI圖像上由這兩視點生成相應(yīng)的EPI多平面圖像渲染技術(shù)3D（multi-planeimage，MPI）（包括遮擋元素alphaMPIMPIMPI10MPIdRGBARGBalpha（透明度MPIMPIalpha圖10多平面圖像（MPI）示意圖SFMRGB-DMPIDeepStereo、NeRFNeRFMPILLFF[12]NeX[13]等方法渲3-5ms200-300fps。顯示技術(shù)3D3D穿戴式設(shè)備VR，VR睛。VR（左眼一個，右眼一個），經(jīng)過光學(xué)元件的放大和調(diào)整，顯示在用戶眼前的特定位置上。AR眼鏡，又稱作“增強現(xiàn)實頭顯”。當前增強現(xiàn)實頭顯變得越來越普遍，3D3D構(gòu)的體三維技術(shù)和光場立體顯示技術(shù)。3D線，所以亮度有了很大改善[14]。建出三維圖像[15]。體三維顯示技術(shù)呈現(xiàn)的圖像就像是一個真實的三維物體一暗示，可實現(xiàn)多人、多角度、同一時間裸眼觀察。光場三維顯示技術(shù)如圖11線[16]2D的3D影像。圖11光場立體顯示技術(shù)示意圖全息通信技術(shù)案例1849·烏梅奇第一次實現(xiàn)電話通信；1877術(shù)普及并創(chuàng)立電話公司（AT&T）；1973丁功能讓“視頻通信”成為普通消費者亦觸手可及的功能；2014100105G105G6G術(shù)的普及，“全息通信”將會融入我們的生活。以下是幾例走在世界前列的“全息通信”技術(shù)案例。微軟（Microsoft）SIGGRAPH2015[17]，IRRGB、IR由視覺上重要（敏感）區(qū)域的自動檢測引導(dǎo)的自適應(yīng)網(wǎng)格劃分；網(wǎng)格跟蹤以創(chuàng)建時間上相關(guān)的子序列；MPEG谷歌（Google）5I/O大會上，谷歌公布了其多年研究成果——全息視頻聊天技術(shù)ProjectStarline。ProjectStarline3D和普通的視頻電話會議相比，用戶感覺就像坐在真人面前一樣。通過Starline相互交流的人，不需要佩戴任何眼鏡或者頭盔，就像坐在對面聊天一樣[18]。該系統(tǒng)三維采集部分仍采用了深度相機+彩色相機的組合（RGBD），系統(tǒng)包括三組RGBD相機、跟蹤相機等。其投入商用，但其顛覆傳統(tǒng)視頻通話的浸入感讓所有體驗者都眼前一亮。螳螂慧視（MantisVision）螳螂慧視科技有限公司于2019年推出全息視頻采集系統(tǒng)原型，并在其以色12多組深度相機+彩色相機（RGBD）21RGBD（兩組彩色相機組成）。圖12螳螂慧視標準全息影棚總結(jié)和展望5G6G到商用的距離。問題：采集設(shè)備集成度較低，設(shè)備占用空間較大；不佳，而可接受的實時性又會以犧牲圖像質(zhì)量為代價；性未納入當前解決方案的考慮；缺乏能提供整體技術(shù)方案的廠商，產(chǎn)業(yè)鏈需要整合。5G6G當前全息通信中存在的問題，促進全息通信產(chǎn)業(yè)的發(fā)展。的發(fā)展，全息通信在不遠的將來會為人類世界帶來全新的交流體驗。縮略語列表縮略語英文全名中文解釋6G6thGeneration第六代移動通信技術(shù)XRExtendedReality擴展現(xiàn)實MTPMotiontoPhotons運動到成像MECMobileEdgeComputing移動邊緣計算SFMStructu