計(jì)算攝像學(xué)專題第3講課件

計(jì)算攝像學(xué)專題第三講戴瓊海清華大學(xué)自動(dòng)化系計(jì)算攝像學(xué)專題第三講戴瓊海第三講提綱全光函數(shù)一光場(chǎng)概念與理論二光場(chǎng)的多光照拓展三第三講提綱全光函數(shù)一光場(chǎng)概念與理論二光場(chǎng)的多光照拓展三第三講提綱全光函數(shù)一光場(chǎng)概念與理論二光場(chǎng)的多光照拓展三第三講提綱全光函數(shù)一光場(chǎng)概念與理論二光場(chǎng)的多光照拓展三視覺場(chǎng)景信息視覺在人類對(duì)世界的感知、理解、交互中的重要意義

視覺信息的采集(采樣)、表示（數(shù)學(xué)定義）、重建（恢復(fù)）、感知(理解)、渲染(顯示)、編輯（交互）、通訊(編碼與傳輸)……

涉及學(xué)科領(lǐng)域：計(jì)算視覺、計(jì)算機(jī)圖形學(xué)、圖像信號(hào)處理、(計(jì)算攝像學(xué))

如何表示視覺信息是研究視覺信息的基礎(chǔ)與核心視覺場(chǎng)景信息視覺在人類對(duì)世界的感知、理解、交互中的重要意義全光函數(shù)plenoptic(拉丁plenus:full，optic:vision)plenopticfunction[Adelson91]空間中的某個(gè)位置(3D)沿著某個(gè)方向(2D)在某個(gè)具體的時(shí)間(1D)具有某個(gè)波長(zhǎng)(1D)為7維函數(shù)涵蓋動(dòng)態(tài)場(chǎng)景中的任意光線集全光函數(shù)plenoptic(拉丁plenus:full單通道圖像為光線的強(qiáng)度也可記為P(x,y)從單一位置點(diǎn)看見的光線固定某一時(shí)刻對(duì)可見光各波長(zhǎng)分量作平均單通道圖像為光線的強(qiáng)度顏色圖像為光線的強(qiáng)度從單一位置點(diǎn)看固定某一時(shí)刻以波長(zhǎng)為變量顏色圖像為光線的強(qiáng)度視頻為光線的強(qiáng)度從單一位置點(diǎn)看以時(shí)間為變量以波長(zhǎng)為變量視頻為光線的強(qiáng)度全息視頻為光線的強(qiáng)度以視點(diǎn)位置為變量以時(shí)間為變量以波長(zhǎng)為變量全息視頻為光線的強(qiáng)度全光函數(shù)描述了物理存在的任何視覺信息包含了不可見光等電磁輻射信息沒有經(jīng)過任何物理處理涵蓋時(shí)變及波長(zhǎng)變化情況（如磷光）波長(zhǎng)分量一般離散化為R,G,B通道實(shí)際系統(tǒng)的輻射度范圍受限LDR與HDR全光函數(shù)雖然不可能獲得，但其作用：為視覺信息的研究提供了基礎(chǔ)理論工具全光函數(shù)描述了物理存在的任何視覺信息全光函數(shù)基于全光函數(shù)子集的圖像采集系統(tǒng)傳統(tǒng)圖像(和的2D子集)全景圖[Chen95](和的2D全集)視頻序列(

,

,

,

,

,的3D子集)光場(chǎng)[Levoy96,Gortler96](,,,,的4D子集)動(dòng)態(tài)光場(chǎng)[Wilburn05](,,,,,的5D子集)全光函數(shù)基于全光函數(shù)子集的圖像采集系統(tǒng)第三講提綱全光函數(shù)一光場(chǎng)概念與理論二光場(chǎng)的多光照拓展三第三講提綱全光函數(shù)一光場(chǎng)概念與理論二光場(chǎng)的多光照拓展三光場(chǎng)Thelightfieldisafunctionthatdescribestheamountoflighttravelingineverydirectionthrougheverypointinspace.MichaelFaradaywasthefirsttopropose(inan1846lectureentitled"ThoughtsonRayVibrations")thatlightshouldbeinterpretedasafield,muchlikethemagneticfieldsonwhichhehadbeenworkingforseveralyears.ThephraselightfieldwascoinedbyAlexanderGershuninaclassicpaperontheradiometricpropertiesoflightinthree-dimensionalspace(1936).Thephrasehasbeenredefinedbyresearchersincomputergraphicstomeansomethingslightlydifferent[citationneeded].[Levoy96]光場(chǎng)ThelightfieldisafunctiLightField(光場(chǎng))[McMillan95]在3D空間，使用規(guī)則的離散采樣(,,,,)生成連續(xù)空間的新

視角圖像維度仍然過高如何簡(jiǎn)化？4D光場(chǎng)光線沿著光軸方向輻射度不變自由空間假設(shè)LightField(光場(chǎng))[McMillan95]在3光場(chǎng)

空間含遮擋物(5D)自由空間，輻射度恒定(4D)由內(nèi)向外由外向內(nèi)自由空間自由空間自由空間自由空間光場(chǎng)空間4D光場(chǎng)-繪制對(duì)目標(biāo)光線進(jìn)行參數(shù)定位以下將[Levoy96]提出的4D光場(chǎng)簡(jiǎn)稱為光場(chǎng)4D光場(chǎng)-繪制對(duì)目標(biāo)光線進(jìn)行參數(shù)定位以下將[Levoy9光場(chǎng)–參數(shù)化L(x,y,,)光場(chǎng)–參數(shù)化L(x,y,,)光場(chǎng)–參數(shù)化雙平面參數(shù)法[Levoy96]最常用的參數(shù)化方法檢索簡(jiǎn)單（圖像陣列）繪制簡(jiǎn)單（投影幾何）缺陷：只覆蓋了一個(gè)方向覆蓋360度視角需要至少6套光板光板之間的切換引入artifacts光場(chǎng)–參數(shù)化雙平面參數(shù)法[Levoy96]光場(chǎng)–參數(shù)化基于雙平面參數(shù)法的新視角繪制視角匯聚與視角平行？規(guī)則的4D圖像集光場(chǎng)–參數(shù)化基于雙平面參數(shù)法的新視角繪制光場(chǎng)–2D繪制繪制步驟：對(duì)于給定的視角，將st和uv平面分別投影到虛擬視角xy上對(duì)于目標(biāo)圖像上的每個(gè)像素，將投影得到的(u,v,s,t)進(jìn)行查表獲得光強(qiáng)L(u,v,s,t)2*投影+查表獲得每個(gè)像素值，復(fù)雜度低光場(chǎng)–2D繪制光場(chǎng)–2D繪制加權(quán)樣本最近鄰U,V加權(quán)U,V,S,T加權(quán)光場(chǎng)–2D繪制加權(quán)樣本最近鄰U,V加權(quán)U,V,S,T加權(quán)光場(chǎng)繪制示例光場(chǎng)繪制示例光場(chǎng)–優(yōu)缺點(diǎn)優(yōu)點(diǎn)繪制速度快繪制復(fù)雜度與場(chǎng)景復(fù)雜度無關(guān)繪制真實(shí)感較強(qiáng)缺點(diǎn)數(shù)據(jù)量大（雖然壓縮率高120:1[Levoy96]）不可編輯（無模型）光場(chǎng)–優(yōu)缺點(diǎn)優(yōu)點(diǎn)深度輔助光場(chǎng)繪制無深度信息深度信息輔助需對(duì)多個(gè)像素進(jìn)行加權(quán)深度輔助光場(chǎng)繪制無深度信息深度信息輔助需對(duì)多個(gè)像素進(jìn)行加權(quán)動(dòng)態(tài)可調(diào)光場(chǎng)繪制假想對(duì)象平面st可變的情況動(dòng)態(tài)可調(diào)光場(chǎng)繪制假想對(duì)象平面st可變的情況動(dòng)態(tài)可調(diào)光場(chǎng)繪制動(dòng)態(tài)可調(diào)光場(chǎng)繪制光場(chǎng)的進(jìn)一步思考4D光場(chǎng)還能簡(jiǎn)化嗎？簡(jiǎn)化帶來采集的便利、重建質(zhì)量的下降如何在降低維度的過程中盡可能地保留重要的全光信息第三部分將介紹光場(chǎng)的擴(kuò)展(維度的增加)光場(chǎng)的進(jìn)一步思考4D光場(chǎng)還能簡(jiǎn)化嗎？基于圖像繪制vs.基于模型繪制基于圖像繪制與基于模型繪制的折中如何分析？數(shù)據(jù)采樣密度對(duì)繪制的影響圖像信號(hào)處理算法優(yōu)化需求數(shù)據(jù)量高需求數(shù)據(jù)量低

復(fù)雜度高

復(fù)雜度低基于圖像繪制vs.基于模型繪制基于圖像繪制與基于模型繪制全光采樣理論P(yáng)lenopticSamplingPlenopticSampling[Chai00]使用傅里葉信號(hào)分析研究光場(chǎng)繪制獲得光場(chǎng)采樣與光場(chǎng)繪制的關(guān)系簡(jiǎn)化假設(shè)無遮擋朗泊漫反射表面將4維簡(jiǎn)化為2維進(jìn)行信號(hào)分析STSUVU全光采樣理論P(yáng)lenopticSamplingPlen采樣率分析圖像采集數(shù)量與深度層數(shù)量的不同組合可獲得相同的虛擬視角繪制質(zhì)量采樣率分析圖像采集數(shù)量與深度層數(shù)量的不同組合可獲得相同的虛擬采樣率分析3個(gè)深度層，32Х32圖像集，過采樣采樣率分析3個(gè)深度層，32Х32圖像集，過采樣采樣率分析3個(gè)深度層，16Х16圖像集，采樣采樣率分析3個(gè)深度層，16Х16圖像集，采樣采樣率分析3個(gè)深度層，8Х8圖像集，最優(yōu)采樣采樣率分析3個(gè)深度層，8Х8圖像集，最優(yōu)采樣采樣率分析3個(gè)深度層，4Х4圖像集，欠采樣采樣率分析3個(gè)深度層，4Х4圖像集，欠采樣采樣率分析3個(gè)深度層，2Х2圖像集，欠采樣采樣率分析3個(gè)深度層，2Х2圖像集，欠采樣采樣率分析幾何信息與采樣率的折中，由最小采樣曲線決定目標(biāo)圖像的分辨率影響最小采樣曲線的偏移采樣率分析幾何信息與采樣率的折中，由最小采樣曲線決定光場(chǎng)—采集與應(yīng)用Sphericalgantry[Levoy96]相機(jī)自由度：2光照自由度：2360度的光場(chǎng)及反射場(chǎng)

捕獲

應(yīng)用：文物記錄與保護(hù)光場(chǎng)—采集與應(yīng)用Sphericalgantry[L光場(chǎng)—采集與應(yīng)用

多相機(jī)陣列128相機(jī)系統(tǒng)(Stanford’05)64相機(jī)系統(tǒng)(Tsinghua’07)應(yīng)用動(dòng)態(tài)光場(chǎng)捕獲虛擬光圈成像時(shí)空高分辨率插值HDR光場(chǎng)成像光場(chǎng)—采集與應(yīng)用多相機(jī)陣列光場(chǎng)—采集與應(yīng)用光場(chǎng)—采集與應(yīng)用光場(chǎng)—采集與應(yīng)用光場(chǎng)—采集與應(yīng)用全光函數(shù)plenoptic(拉丁plenus:full，optic:vision)plenopticfunction[Adelson91]空間中的某個(gè)位置(3D)沿著某個(gè)方向(2D)在某個(gè)具體的時(shí)間(1D)具有某個(gè)波長(zhǎng)(1D)為7維函數(shù)涵蓋動(dòng)態(tài)場(chǎng)景中的任意光線集全光函數(shù)plenoptic(拉丁plenus:full光場(chǎng)

空間含遮擋物(5D)自由空間，輻射度恒定(4D)由內(nèi)向外由外向內(nèi)自由空間自由空間自由空間自由空間光場(chǎng)空間光場(chǎng)–2D繪制繪制步驟：對(duì)于給定的視角，將st和uv平面分別投影到虛擬視角xy上對(duì)于目標(biāo)圖像上的每個(gè)像素，將投影得到的(u,v,s,t)進(jìn)行查表獲得光強(qiáng)L(u,v,s,t)2*投影+查表獲得每個(gè)像素值，復(fù)雜度低光場(chǎng)–2D繪制平面攝像機(jī)陣列高分辨率或動(dòng)態(tài)范圍圖像高速視頻虛擬光圈成像平面攝像機(jī)陣列高分辨率或動(dòng)態(tài)范圍圖像高速視頻虛擬光圈成像光場(chǎng)—采集與應(yīng)用

多相機(jī)陣列128相機(jī)系統(tǒng)(Stanford’05)64相機(jī)系統(tǒng)(Tsinghua’07)應(yīng)用動(dòng)態(tài)光場(chǎng)捕獲虛擬光圈成像時(shí)空高分辨率插值HDR光場(chǎng)成像光場(chǎng)—采集與應(yīng)用多相機(jī)陣列光場(chǎng)相機(jī)4000×4000像素

÷292×292透鏡

=14×14像素/透鏡Contax中檔相機(jī)Kodak1600萬(wàn)像素底片光學(xué)微透鏡陣列125微米微透鏡光場(chǎng)相機(jī)4000×4000像素÷292×2傳統(tǒng)相機(jī)與光場(chǎng)相機(jī)傳統(tǒng)相機(jī)與光場(chǎng)相機(jī)傳統(tǒng)相機(jī)與光場(chǎng)相機(jī)uv-planest-plane傳統(tǒng)相機(jī)與光場(chǎng)相機(jī)uv-planest-plane光場(chǎng)圖像光場(chǎng)圖像視角截取截取=對(duì)每個(gè)微透鏡中央像素求和視角截取截取=對(duì)每個(gè)微透鏡中央像素求和數(shù)字重聚焦重聚焦=從不同的微透鏡提取像素求和數(shù)字重聚焦重聚焦=從不同的微透鏡提取像素求和數(shù)字重聚焦數(shù)字重聚焦數(shù)字視角調(diào)整視角調(diào)整=移動(dòng)所有微透鏡的截取窗數(shù)字視角調(diào)整視角調(diào)整=移動(dòng)所有微透鏡的截取窗數(shù)字視角調(diào)整數(shù)字視角調(diào)整數(shù)字視角調(diào)整數(shù)字視角調(diào)整光場(chǎng)—采集與應(yīng)用重聚焦、視角調(diào)整、光照處理只采集一張圖像解決所有處理都基于數(shù)字處理犧牲空間分辨率，換取光線角度信息光場(chǎng)—采集與應(yīng)用重聚焦、視角調(diào)整、光照處理光場(chǎng)顯微鏡傳統(tǒng)顯微鏡為看到對(duì)象切片，調(diào)節(jié)載物臺(tái)，手動(dòng)聚焦光場(chǎng)顯微鏡[Levoy06]與光場(chǎng)相機(jī)類似，捕捉光場(chǎng)，計(jì)算聚焦特點(diǎn)：多視角及三維重建犧牲空間分辨率光場(chǎng)顯微鏡傳統(tǒng)顯微鏡第三講提綱全光函數(shù)一光場(chǎng)基本概念與理論二光場(chǎng)的多光照拓展三第三講提綱全光函數(shù)一光場(chǎng)基本概念與理論二光場(chǎng)的多光照拓展三光場(chǎng)

4D光場(chǎng)：捕捉從對(duì)象發(fā)出的4D光線集合光場(chǎng)4D光場(chǎng)：捕捉從對(duì)象發(fā)出的4D光線集光照變化下的場(chǎng)景采集入射光場(chǎng)：進(jìn)入對(duì)象的光線集光照變化下的場(chǎng)景采集入射光場(chǎng)：進(jìn)入對(duì)象的光線反射場(chǎng)入射光場(chǎng)：進(jìn)入對(duì)象的光線集，屬全光函數(shù)的采樣4D光場(chǎng)：Lo(θo,φo,x,y)4D(入射)光場(chǎng)：Li(θi,φi,x,y)θ,φ

:

采集視點(diǎn)或光照視點(diǎn)的二維坐標(biāo)x,y：對(duì)象的二維參數(shù)化反射場(chǎng)：對(duì)象表面對(duì)光線進(jìn)行傳遞變換所構(gòu)成的場(chǎng)R(Lo;Li)=R(θo,φo,xo,yo;θi,φi,xi,yi)Lo∝LiR(Lo;Li)輸出光線只與作用到該點(diǎn)的入射光線有關(guān)，6D反射場(chǎng)：R(θo,φo,x,y；θi,φi)4D反射場(chǎng)：R(x,y；θi,φi)⊕反射場(chǎng)入射光場(chǎng)：進(jìn)入對(duì)象的光線集，屬全光函數(shù)的采樣⊕4D反射場(chǎng)每個(gè)光源對(duì)應(yīng)采集一張圖像4D反射場(chǎng)每個(gè)光源對(duì)應(yīng)采集一張圖像4D反射場(chǎng)2D光照具有可加性4D反射場(chǎng)2D光照具有可加性重光照2D圖像2D+光照2D重光照：根據(jù)對(duì)象在一個(gè)或多個(gè)光照下的外觀，就算目標(biāo)光照下的對(duì)象外觀重光照2D圖像2D+光照2D重光LightStage[Debevec2000]LightStage[Debevec2000]LightStage采集圖像OriginalResolution:6432LightStage采集圖像OriginalResolu反射函數(shù)6432反射函數(shù)6432反射函數(shù)環(huán)境光照?qǐng)D反射函數(shù)光照積繪制像素1Demo反射函數(shù)環(huán)境光照?qǐng)D反射函數(shù)光照積繪制像素1DemoTheLightStage:

60-secondexposureTheLightStage:

60-secondexp反射場(chǎng)遠(yuǎn)距離環(huán)境光照反射場(chǎng)遠(yuǎn)距離環(huán)境光照反射場(chǎng)有近距離遮擋物，該重光照框架是否成立？反射場(chǎng)有近距離遮擋物，該重光照框架是否成立？LightStage單視角多光照只適用于遠(yuǎn)距離光照框架假設(shè)物體上每個(gè)點(diǎn)具有相同的環(huán)境光照?qǐng)D近距離光照或遮擋物使得

每個(gè)物體點(diǎn)的環(huán)境光照?qǐng)D不一需要維度更高的反射場(chǎng)函數(shù)及其圖形學(xué)方法LightStage單視角多光照8D反射場(chǎng)8D反射場(chǎng)函數(shù)8D反射場(chǎng)處理互遮擋的重光照問題8D反射場(chǎng)8D反射場(chǎng)函數(shù)8D反射場(chǎng)處理互遮擋的重光照問題反射場(chǎng)8D反射場(chǎng)函數(shù)[Masselus2003]反射場(chǎng)8D反射場(chǎng)函數(shù)6D反射場(chǎng)6D圖像2D+視角2D+光照2D6D反射場(chǎng)6D圖像2D+視角2D+光照2D光場(chǎng)—采集與應(yīng)用Sphericalgantry[Levoy96]相機(jī)自由度：2光照自由度：2360度的光場(chǎng)及反射場(chǎng)

捕獲

應(yīng)用：文物記錄與保護(hù)光場(chǎng)—采集與應(yīng)用Sphericalgantry[L多視點(diǎn)多光照采集對(duì)靜態(tài)對(duì)象,數(shù)據(jù)維度—6D[Matusik2002]多視點(diǎn)多光照采集對(duì)靜態(tài)對(duì)象,數(shù)據(jù)維度—6D[Ma多視點(diǎn)多光照采集VisualHullSurfaceLightfieldSurfaceReflectanceFieldsAlphaMattes多視點(diǎn)多光照采集VisualSurfaceLightfie多視點(diǎn)多光照采集VisualHullSurfaceLightfieldSurfaceReflectanceFieldsAlphaMattes多視點(diǎn)多光照采集VisualSurfaceLightfie多視點(diǎn)多光照采集多視點(diǎn)多光照采集總結(jié)全光函數(shù)是空間光線的集合

光場(chǎng)是全光函數(shù)的4D參數(shù)化與簡(jiǎn)化

光場(chǎng)可實(shí)現(xiàn)虛擬視角的實(shí)時(shí)繪制

光場(chǎng)采樣定律：深度與采樣率的折中

光場(chǎng)的應(yīng)用：光場(chǎng)相機(jī)與光場(chǎng)顯微鏡

光場(chǎng)的擴(kuò)展：場(chǎng)景重光照總結(jié)全光函數(shù)是空間光線的集合計(jì)算攝像學(xué)專題第三講戴瓊海清華大學(xué)自動(dòng)化系計(jì)算攝像學(xué)專題第三講戴瓊海第三講提綱全光函數(shù)一光場(chǎng)概念與理論二光場(chǎng)的多光照拓展三第三講提綱全光函數(shù)一光場(chǎng)概念與理論二光場(chǎng)的多光照拓展三第三講提綱全光函數(shù)一光場(chǎng)概念與理論二光場(chǎng)的多光照拓展三第三講提綱全光函數(shù)一光場(chǎng)概念與理論二光場(chǎng)的多光照拓展三視覺場(chǎng)景信息視覺在人類對(duì)世界的感知、理解、交互中的重要意義

視覺信息的采集(采樣)、表示（數(shù)學(xué)定義）、重建（恢復(fù)）、感知(理解)、渲染(顯示)、編輯（交互）、通訊(編碼與傳輸)……

涉及學(xué)科領(lǐng)域：計(jì)算視覺、計(jì)算機(jī)圖形學(xué)、圖像信號(hào)處理、(計(jì)算攝像學(xué))

如何表示視覺信息是研究視覺信息的基礎(chǔ)與核心視覺場(chǎng)景信息視覺在人類對(duì)世界的感知、理解、交互中的重要意義全光函數(shù)plenoptic(拉丁plenus:full，optic:vision)plenopticfunction[Adelson91]空間中的某個(gè)位置(3D)沿著某個(gè)方向(2D)在某個(gè)具體的時(shí)間(1D)具有某個(gè)波長(zhǎng)(1D)為7維函數(shù)涵蓋動(dòng)態(tài)場(chǎng)景中的任意光線集全光函數(shù)plenoptic(拉丁plenus:full單通道圖像為光線的強(qiáng)度也可記為P(x,y)從單一位置點(diǎn)看見的光線固定某一時(shí)刻對(duì)可見光各波長(zhǎng)分量作平均單通道圖像為光線的強(qiáng)度顏色圖像為光線的強(qiáng)度從單一位置點(diǎn)看固定某一時(shí)刻以波長(zhǎng)為變量顏色圖像為光線的強(qiáng)度視頻為光線的強(qiáng)度從單一位置點(diǎn)看以時(shí)間為變量以波長(zhǎng)為變量視頻為光線的強(qiáng)度全息視頻為光線的強(qiáng)度以視點(diǎn)位置為變量以時(shí)間為變量以波長(zhǎng)為變量全息視頻為光線的強(qiáng)度全光函數(shù)描述了物理存在的任何視覺信息包含了不可見光等電磁輻射信息沒有經(jīng)過任何物理處理涵蓋時(shí)變及波長(zhǎng)變化情況（如磷光）波長(zhǎng)分量一般離散化為R,G,B通道實(shí)際系統(tǒng)的輻射度范圍受限LDR與HDR全光函數(shù)雖然不可能獲得，但其作用：為視覺信息的研究提供了基礎(chǔ)理論工具全光函數(shù)描述了物理存在的任何視覺信息全光函數(shù)基于全光函數(shù)子集的圖像采集系統(tǒng)傳統(tǒng)圖像(和的2D子集)全景圖[Chen95](和的2D全集)視頻序列(

,

,

,

,

,的3D子集)光場(chǎng)[Levoy96,Gortler96](,,,,的4D子集)動(dòng)態(tài)光場(chǎng)[Wilburn05](,,,,,的5D子集)全光函數(shù)基于全光函數(shù)子集的圖像采集系統(tǒng)第三講提綱全光函數(shù)一光場(chǎng)概念與理論二光場(chǎng)的多光照拓展三第三講提綱全光函數(shù)一光場(chǎng)概念與理論二光場(chǎng)的多光照拓展三光場(chǎng)Thelightfieldisafunctionthatdescribestheamountoflighttravelingineverydirectionthrougheverypointinspace.MichaelFaradaywasthefirsttopropose(inan1846lectureentitled"ThoughtsonRayVibrations")thatlightshouldbeinterpretedasafield,muchlikethemagneticfieldsonwhichhehadbeenworkingforseveralyears.ThephraselightfieldwascoinedbyAlexanderGershuninaclassicpaperontheradiometricpropertiesoflightinthree-dimensionalspace(1936).Thephrasehasbeenredefinedbyresearchersincomputergraphicstomeansomethingslightlydifferent[citationneeded].[Levoy96]光場(chǎng)ThelightfieldisafunctiLightField(光場(chǎng))[McMillan95]在3D空間，使用規(guī)則的離散采樣(,,,,)生成連續(xù)空間的新

視角圖像維度仍然過高如何簡(jiǎn)化？4D光場(chǎng)光線沿著光軸方向輻射度不變自由空間假設(shè)LightField(光場(chǎng))[McMillan95]在3光場(chǎng)

空間含遮擋物(5D)自由空間，輻射度恒定(4D)由內(nèi)向外由外向內(nèi)自由空間自由空間自由空間自由空間光場(chǎng)空間4D光場(chǎng)-繪制對(duì)目標(biāo)光線進(jìn)行參數(shù)定位以下將[Levoy96]提出的4D光場(chǎng)簡(jiǎn)稱為光場(chǎng)4D光場(chǎng)-繪制對(duì)目標(biāo)光線進(jìn)行參數(shù)定位以下將[Levoy9光場(chǎng)–參數(shù)化L(x,y,,)光場(chǎng)–參數(shù)化L(x,y,,)光場(chǎng)–參數(shù)化雙平面參數(shù)法[Levoy96]最常用的參數(shù)化方法檢索簡(jiǎn)單（圖像陣列）繪制簡(jiǎn)單（投影幾何）缺陷：只覆蓋了一個(gè)方向覆蓋360度視角需要至少6套光板光板之間的切換引入artifacts光場(chǎng)–參數(shù)化雙平面參數(shù)法[Levoy96]光場(chǎng)–參數(shù)化基于雙平面參數(shù)法的新視角繪制視角匯聚與視角平行？規(guī)則的4D圖像集光場(chǎng)–參數(shù)化基于雙平面參數(shù)法的新視角繪制光場(chǎng)–2D繪制繪制步驟：對(duì)于給定的視角，將st和uv平面分別投影到虛擬視角xy上對(duì)于目標(biāo)圖像上的每個(gè)像素，將投影得到的(u,v,s,t)進(jìn)行查表獲得光強(qiáng)L(u,v,s,t)2*投影+查表獲得每個(gè)像素值，復(fù)雜度低光場(chǎng)–2D繪制光場(chǎng)–2D繪制加權(quán)樣本最近鄰U,V加權(quán)U,V,S,T加權(quán)光場(chǎng)–2D繪制加權(quán)樣本最近鄰U,V加權(quán)U,V,S,T加權(quán)光場(chǎng)繪制示例光場(chǎng)繪制示例光場(chǎng)–優(yōu)缺點(diǎn)優(yōu)點(diǎn)繪制速度快繪制復(fù)雜度與場(chǎng)景復(fù)雜度無關(guān)繪制真實(shí)感較強(qiáng)缺點(diǎn)數(shù)據(jù)量大（雖然壓縮率高120:1[Levoy96]）不可編輯（無模型）光場(chǎng)–優(yōu)缺點(diǎn)優(yōu)點(diǎn)深度輔助光場(chǎng)繪制無深度信息深度信息輔助需對(duì)多個(gè)像素進(jìn)行加權(quán)深度輔助光場(chǎng)繪制無深度信息深度信息輔助需對(duì)多個(gè)像素進(jìn)行加權(quán)動(dòng)態(tài)可調(diào)光場(chǎng)繪制假想對(duì)象平面st可變的情況動(dòng)態(tài)可調(diào)光場(chǎng)繪制假想對(duì)象平面st可變的情況動(dòng)態(tài)可調(diào)光場(chǎng)繪制動(dòng)態(tài)可調(diào)光場(chǎng)繪制光場(chǎng)的進(jìn)一步思考4D光場(chǎng)還能簡(jiǎn)化嗎？簡(jiǎn)化帶來采集的便利、重建質(zhì)量的下降如何在降低維度的過程中盡可能地保留重要的全光信息第三部分將介紹光場(chǎng)的擴(kuò)展(維度的增加)光場(chǎng)的進(jìn)一步思考4D光場(chǎng)還能簡(jiǎn)化嗎？基于圖像繪制vs.基于模型繪制基于圖像繪制與基于模型繪制的折中如何分析？數(shù)據(jù)采樣密度對(duì)繪制的影響圖像信號(hào)處理算法優(yōu)化需求數(shù)據(jù)量高需求數(shù)據(jù)量低

復(fù)雜度高

復(fù)雜度低基于圖像繪制vs.基于模型繪制基于圖像繪制與基于模型繪制全光采樣理論P(yáng)lenopticSamplingPlenopticSampling[Chai00]使用傅里葉信號(hào)分析研究光場(chǎng)繪制獲得光場(chǎng)采樣與光場(chǎng)繪制的關(guān)系簡(jiǎn)化假設(shè)無遮擋朗泊漫反射表面將4維簡(jiǎn)化為2維進(jìn)行信號(hào)分析STSUVU全光采樣理論P(yáng)lenopticSamplingPlen采樣率分析圖像采集數(shù)量與深度層數(shù)量的不同組合可獲得相同的虛擬視角繪制質(zhì)量采樣率分析圖像采集數(shù)量與深度層數(shù)量的不同組合可獲得相同的虛擬采樣率分析3個(gè)深度層，32Х32圖像集，過采樣采樣率分析3個(gè)深度層，32Х32圖像集，過采樣采樣率分析3個(gè)深度層，16Х16圖像集，采樣采樣率分析3個(gè)深度層，16Х16圖像集，采樣采樣率分析3個(gè)深度層，8Х8圖像集，最優(yōu)采樣采樣率分析3個(gè)深度層，8Х8圖像集，最優(yōu)采樣采樣率分析3個(gè)深度層，4Х4圖像集，欠采樣采樣率分析3個(gè)深度層，4Х4圖像集，欠采樣采樣率分析3個(gè)深度層，2Х2圖像集，欠采樣采樣率分析3個(gè)深度層，2Х2圖像集，欠采樣采樣率分析幾何信息與采樣率的折中，由最小采樣曲線決定目標(biāo)圖像的分辨率影響最小采樣曲線的偏移采樣率分析幾何信息與采樣率的折中，由最小采樣曲線決定光場(chǎng)—采集與應(yīng)用Sphericalgantry[Levoy96]相機(jī)自由度：2光照自由度：2360度的光場(chǎng)及反射場(chǎng)

捕獲

應(yīng)用：文物記錄與保護(hù)光場(chǎng)—采集與應(yīng)用Sphericalgantry[L光場(chǎng)—采集與應(yīng)用

多相機(jī)陣列128相機(jī)系統(tǒng)(Stanford’05)64相機(jī)系統(tǒng)(Tsinghua’07)應(yīng)用動(dòng)態(tài)光場(chǎng)捕獲虛擬光圈成像時(shí)空高分辨率插值HDR光場(chǎng)成像光場(chǎng)—采集與應(yīng)用多相機(jī)陣列光場(chǎng)—采集與應(yīng)用光場(chǎng)—采集與應(yīng)用光場(chǎng)—采集與應(yīng)用光場(chǎng)—采集與應(yīng)用全光函數(shù)plenoptic(拉丁plenus:full，optic:vision)plenopticfunction[Adelson91]空間中的某個(gè)位置(3D)沿著某個(gè)方向(2D)在某個(gè)具體的時(shí)間(1D)具有某個(gè)波長(zhǎng)(1D)為7維函數(shù)涵蓋動(dòng)態(tài)場(chǎng)景中的任意光線集全光函數(shù)plenoptic(拉丁plenus:full光場(chǎng)

空間含遮擋物(5D)自由空間，輻射度恒定(4D)由內(nèi)向外由外向內(nèi)自由空間自由空間自由空間自由空間光場(chǎng)空間光場(chǎng)–2D繪制繪制步驟：對(duì)于給定的視角，將st和uv平面分別投影到虛擬視角xy上對(duì)于目標(biāo)圖像上的每個(gè)像素，將投影得到的(u,v,s,t)進(jìn)行查表獲得光強(qiáng)L(u,v,s,t)2*投影+查表獲得每個(gè)像素值，復(fù)雜度低光場(chǎng)–2D繪制平面攝像機(jī)陣列高分辨率或動(dòng)態(tài)范圍圖像高速視頻虛擬光圈成像平面攝像機(jī)陣列高分辨率或動(dòng)態(tài)范圍圖像高速視頻虛擬光圈成像光場(chǎng)—采集與應(yīng)用

多相機(jī)陣列128相機(jī)系統(tǒng)(Stanford’05)64相機(jī)系統(tǒng)(Tsinghua’07)應(yīng)用動(dòng)態(tài)光場(chǎng)捕獲虛擬光圈成像時(shí)空高分辨率插值HDR光場(chǎng)成像光場(chǎng)—采集與應(yīng)用多相機(jī)陣列光場(chǎng)相機(jī)4000×4000像素

÷292×292透鏡

=14×14像素/透鏡Contax中檔相機(jī)Kodak1600萬(wàn)像素底片光學(xué)微透鏡陣列125微米微透鏡光場(chǎng)相機(jī)4000×4000像素÷292×2傳統(tǒng)相機(jī)與光場(chǎng)相機(jī)傳統(tǒng)相機(jī)與光場(chǎng)相機(jī)傳統(tǒng)相機(jī)與光場(chǎng)相機(jī)uv-planest-plane傳統(tǒng)相機(jī)與光場(chǎng)相機(jī)uv-planest-plane光場(chǎng)圖像光場(chǎng)圖像視角截取截取=對(duì)每個(gè)微透鏡中央像素求和視角截取截取=對(duì)每個(gè)微透鏡中央像素求和數(shù)字重聚焦重聚焦=從不同的微透鏡提取像素求和數(shù)字重聚焦重聚焦=從不同的微透鏡提取像素求和數(shù)字重聚焦數(shù)字重聚焦數(shù)字視角調(diào)整視角調(diào)整=移動(dòng)所有微透鏡的截取窗數(shù)字視角調(diào)整視角調(diào)整=移動(dòng)所有微透鏡的截取窗數(shù)字視角調(diào)整數(shù)字視角調(diào)整數(shù)字視角調(diào)整數(shù)字視角調(diào)整光場(chǎng)—采集與應(yīng)用重聚焦、視角調(diào)整、光照處理只采集一張圖像解決所有處理都基于數(shù)字處理犧牲空間分辨率，換取光線角度信息光場(chǎng)—采集與應(yīng)用重聚焦、視角調(diào)整、光照處理光場(chǎng)顯微鏡傳統(tǒng)顯微鏡為看到對(duì)象切片，調(diào)節(jié)載物臺(tái)，手動(dòng)聚焦光場(chǎng)顯微鏡[Levoy06]與光場(chǎng)相機(jī)類似，捕捉光場(chǎng)，計(jì)算聚焦特點(diǎn)：多視角及三維重建犧牲空間分辨率光場(chǎng)顯微鏡傳統(tǒng)顯微鏡第三講提綱全光函數(shù)一光場(chǎng)基本概念與理論二光場(chǎng)的多光照拓展三第三講提綱全光函數(shù)一光場(chǎng)基本概念與理論二光場(chǎng)的多光照拓展三光場(chǎng)

4D光場(chǎng)：捕捉從對(duì)象發(fā)出的4D光線集合光場(chǎng)4D光場(chǎng)：捕捉從對(duì)象發(fā)出的4D光線集光照變化下的場(chǎng)景采集入射光場(chǎng)：進(jìn)入對(duì)象的光線集光照變化下的場(chǎng)景采集入射光場(chǎng)：進(jìn)入對(duì)象的光線反射場(chǎng)入射光場(chǎng)：進(jìn)入對(duì)象的光線集，屬全光函數(shù)的采樣4D光場(chǎng)：Lo(θo,φo,x,y)4D(入射)光場(chǎng)：Li(θi,φi,x,y)θ,φ

:

采集視點(diǎn)或光照視點(diǎn)的二維坐標(biāo)x,y：對(duì)象的二維參數(shù)化反射場(chǎng)：對(duì)象表面對(duì)光線進(jìn)行傳遞變換所構(gòu)成的場(chǎng)R(Lo;Li)=R(θo,φo,xo,yo;θi,φi,xi,yi)Lo∝LiR(Lo;Li)輸出光線只與作用到該點(diǎn)的入射光線有關(guān)，6D反射場(chǎng)：R(θo,φo,x,y；θi,φi)4D反射場(chǎng)：R(