數(shù)字光場成像系統(tǒng)信號處理

FIELDPHOTOGRAPHYAMasterDissertationSubmittedtoUniversityofElectronicScienceandTechnologyofChina Xia Prof.Chen SchoolofPhysical了拍攝景物維度的信息，并且能夠通過計算機成像技術(shù)解決因散焦而模糊不鏡陣列的光場成像系統(tǒng)在光場方面的優(yōu)勢，從理論、模擬和信息處理三個層取到的光場信息處理，得到需要的圖像。步長，為系統(tǒng)的模擬和仿真做了參數(shù)上的優(yōu)化。然后基于平臺構(gòu)建了基能得到不同聚焦點的清晰圖像。本文根據(jù)傅里葉切片成像理論對仿真得到的：光場成像系統(tǒng)，再聚焦，傅里葉切片成像理論，計算Sharpimageisachievedonlyinthedepthoffieldwithonesinglefocalpointsincetraditionalopticalimagingtechniquesmayleadtolossoflightinformation.Lightfieldphotographymakesupforthesedefectsinprinciplesoftraditionalopticalphotographybyrecordingmoreinformationofthescenetaken.Besides,itcanalsosolvesuchproblemsasthree-dimensionalscenereconstruction,obscuresduetodefocusrefocusingandmultiplefocusingobjectpointsbycomputationalimagingtechnology.Moreover,basedonthemicro-lensarray,thelight-fieldphotographysystemalsohasadvantagesassmallvolume,lightweightandbeingeasytocarryandsoon.Asaresult,thissystemthereisaverylargeprospectsinpracticalapplications.Lightfieldphotographyincorporateshardwaredesignofopticalsystemandthesoftwarealgorithmsofsignalprocessing.Sincethecomplexitiesofthelightimagingsystemandthelimitsoftheexperimentconditions,lightimagingsystemswithgoodperformancehaveahighrequirementonthesystemframeworkbuilding.Besides,difficultiesinobtainingoriginaldataoftenmakeithardertodothedigitalprocessinginallkindsoflightphotographysystems,whicharebadforresearchesonmethodsofsignalprocessingandysis.Basedonthelightfieldphotographyalgorithms,advantagesinlightfieldinformationcapturingoflightfieldsystembasedonthemicro-lensarrayareshowninthispaper.Inaddition,throughstudiesonlightfieldphotographytheory,simulationandinformationprocessing,kindsofperformancesandparametersofthesystemareyzedandreconstructionofspecifiedimagesareobtainedafterprocessingthefour-dimensionallightfieldinformation.Atfirst,thispaperyzesthepotentialdepthoffield,rangeoffieldofviewandsamplingstepalongwithparametersoptimizationinsimulationfordigitallightfieldphotographysystem.Then,asimulationmodelofdigitallightfieldphotographysystembasedonmicro-lensarrayisbuiltonthe platform,andisusedtoverifysimulationresults.Thedesignofthissimulationmodelisbasedongeometricalopticsprinciples.Itcanprovidebasicsimulationsystemforvariouskindsoflightfieldphotographysystembasedonmicro-lensarray.Sincetheinformationofthelightfieldofthesamesceneintheshootingrangeisinvariableandtheimagesofdifferentfocuseschangeonlywhenthepositionoftheselectedapertureplaneorimageplanischanged.Therefore,whenthecoordinatetransformationoflightfieldisdone,sharpimagesofdifferentfocalpointareobtainedafterlightfieldphotographycomputing.Thefour-dimensionlightfielddataobtainedfromsimulationisprocessedbasingonthetheoryofFourierslicephotographytheoremandfocusingatanypositionisrealized.:lightfieldphotographysystem,refocusing,Fourierslicephotographtheorem,computationalimaging第一章緒 引 成像技術(shù)上的聚焦問 數(shù)字成像技術(shù)的發(fā)展趨 光場成像的發(fā)展及應 的結(jié)構(gòu)框 第二章光場成像原 光場的概念及數(shù)學參數(shù)化表 光場多相機光場單相機光場基于小孔陣列的光場基于微透鏡陣列的光場光場的記 傳統(tǒng)成像系統(tǒng)的光場的記 基于微透鏡陣列的光場成像系統(tǒng)的光場的記 光場圖像的三種視 原始光場圖 子孔徑圖 核線圖 成像原理及公 相片的形成及記 成像公 第三章數(shù)字光場成像系統(tǒng)的模 基于微透鏡陣列的光場成像系 系統(tǒng)光學元件參 系統(tǒng)允許景深范 系統(tǒng)的視場范 三維成像景物的模型構(gòu) 三維景物的成像表 三維景物的取樣步 基于微透鏡陣列的光場成像系統(tǒng)的模型構(gòu)建與仿 系統(tǒng)中通過各光學元件的傳輸仿 系統(tǒng)構(gòu)建流 系統(tǒng)構(gòu)建參數(shù)及仿真效 第四章仿真系統(tǒng)信號的再聚焦處 光場的視覺轉(zhuǎn) 再聚焦的算法實 傅立葉切片成像理 再聚焦算法實現(xiàn)及效 尋找每個宏像素位 積分成像的再聚焦算 基于傅里葉切片成像理論的再聚焦算 拓展景深技 第五章總 5.1的工作總 5.2未來工作展 致 參考文 體光波強弱的振幅信息、反映了物體光波距離遠近的相位信息。然而由于現(xiàn)有的各種記錄光信息的材料，例如感光膠片、COMS光學傳感器、CCD等都只能首先，在原理上，傳統(tǒng)光學成像技術(shù)只能得到三維物體在某個角度平面的投影的清晰像。而其景深，即清晰成像的深度范圍，受到光學系統(tǒng)的孔徑大小和光學傳感器單元的有限寬度的限制。事實上，光學傳感器單元寬度受到工業(yè)制作生產(chǎn)的各方面限制，對景深的影響并不十分大，不能得到本質(zhì)改變，可以認為是一定。此時，如果要使得清晰圖像的范圍擴大，即增大景深，一般采用減小光學系統(tǒng)的孔徑的方法，但是這時會減小圖像分辨率和信噪比，影響成像效果。而在孔徑尺寸一定的情況下，要想對同一物體在不同深度位置清晰成像，則必須通過成光場中有多少光線，而只能告訴我們這些光線效果的總和。打個比方，本文主要是介紹了一種如何使用低成本的方法——增大像素和擴大數(shù)據(jù) 圖1-1孔徑大小、時間和景深之間的孔徑大小f/11，時間8/80秒第一個，也是最明顯的問題是，物體前的聚焦問題。總所周知，聚焦差第二個問題表現(xiàn)在透鏡孔徑的大小與景深的。由幾何光學可知，孔徑增大會造成景深變小。雖然小孔徑可以使得景深范圍得到拓展，使得不在焦平面上11如圖1-1中一直揮手，但是在后兩張圖1-1(b)和圖1-1(c)中，手變得模糊。因定的漸暈，在實際的相機中，如果通過折射或者反射來改變光線方向，折射在9的計間是是沒有解決。尤其是當人們在拍攝柔和光線的清晨或者晚上，或者是室內(nèi)環(huán)境光下拍攝，在這些弱光的拍攝環(huán)境下，時間依舊很長，而減小孔徑就更加突出這短。和鏡頭質(zhì)量。在傳統(tǒng)的技術(shù)中，只能通過以上兩個方面解決困擾攝影技術(shù)成大增長和計算成像（Computationalimaging）技術(shù)。10MP圖像分辨率率及顯示器和的輸出分辨率。例如,對于最常見的攝影應用——打印分辨率和寸的大小，就減少光子收集的每個像素的數(shù)量,導致低動態(tài)范圍（dynamicrange）限制。然而，這并不是說實現(xiàn)這樣高分辨率是很簡單的事。在高效和 圖1-2Demosaicking算法下的顏色處(a)馬賽克RGB濾波器；(b)顏色處理后圖；(c)b衡色彩校正減少由于不平衡照明譜；相機內(nèi)圖像銳化,圖像撤銷領(lǐng)域引入的失的最終的技術(shù)像重建和處理過程中，能夠得到的圖像信息。另外，光場成像還能夠通過數(shù)多視角大景深及物體三維立體圖重建[7]（1-5）。 圖1-3普通與數(shù)字再聚焦技術(shù)(a)聚焦；(b)聚焦在后；(c)全聚事實上光場成像技術(shù)的可以追溯到1903年Ives發(fā)明的雙目視差顯示系 1-4后來在立體全息成像中廣泛使用。這種方式對Ives的裝置進行了改進，將微透鏡存在略微的差別。相比于Ives的裝置，每個像素點的角度分辨率增加了。向各個方向的，并提出可以通過幾何分析，對連續(xù)變化的空間不同點的光輻1-5基于光場顯微成像技術(shù)（LFM）基于光場顯微成像技術(shù)（LFM）基于光場顯微成像技術(shù)（LFM）1948年，全息成像技術(shù)的出現(xiàn)，才使得光場形象化。Gabor通過將兩束相干光圖文記錄下來，并在一定情況下照明，再現(xiàn)物光波，得到全息圖像顯60-70年代，Okoshi、Montebello、Dudnikov、Dudley的提高，提出了全光場理論（plenoptictheory）[12]MarcLevoy在1996年光場渲染理論（Lightfieldrendering，LFR）[13]式。2005年，RenNg2006年，Levoy在顯微成像領(lǐng)域發(fā)揮了LFR理論，發(fā)明了光場顯微鏡（LightField，、大學、東南大學、光電所等各大科研機構(gòu)也開始關(guān)注光場成像技術(shù)，在光場成像和集成成像等方面多有研究。近年來，光場成像技術(shù)在市場應用上也開始逐漸受到人們的關(guān)注。2006年，由美籍Ren．Ng成立了Lytro公司以研究集成化光場相機，并于2011年推出了手持光場相機。與普通照相機相比，Lytro光場相機無需機械對焦，拍攝場另外德國Raytnx公司推出了面向工業(yè)與科研用的光場相機系列，PelicanImaging公司推出了應用于智能的光場相機。拍攝、安全、科學儀器、攝影傳媒、醫(yī)療影像等各個領(lǐng)域，并向集成化、實1.5的結(jié)構(gòu)框成像景物模型構(gòu)建的特點，對光場相機的光學元件參數(shù)設(shè)計和仿真，最終實第四章從原理上分析光場成像圖像信息特點，詳細介紹了圖像再聚焦的普通相機的并不是記錄了大部分進入相機的光線的信息。例如,一張的幾何分布規(guī)律，為后期對比光場、記錄和數(shù)據(jù)處理做了原理上的鋪墊。光場（lightfield）A.Gershun1936年提出，并定義其為光輻射在空間各個位置向各個方向的[10]。1992年，E.Adelsom和J.Bergen將光場理論function（plenoptic如圖2-1a。由于光線在自由空間傳輸時，波長（頻率）一般不發(fā)生變化，可以不考慮。因此，對于某一時刻的在自由空間的光線來說，用5維變量的函數(shù)sutvyθzφxsutvyθzφxus 圖2-1五維全光函數(shù)和光場函數(shù)表Levoy的光場函數(shù)論表征光線，這樣描述一條光線只需要四個變量。因此，光場渲染理論提出用,成像系統(tǒng)都可以看做是兩個相互平行的兩個平面組成的。感光器平面定位（xy）反應了光線的分布位置，則光瞳面坐標（uv）表示光線的傳輸方向。在簡化的二維光線空間坐標中也能夠簡單的表示光線與坐標的關(guān)系，如圖2-1(c)。接著S.J.Gortler等人同時提出用“流明圖”（Lumigraph）對光場的分布的衍射、等波動性。Z.Zhang和M.Levoy了用魏格納分布函數(shù)（Wignerdistributionfunction）來表征光的波動場分布情況[15]。同時其傅里葉變換——模糊光場算法才能夠?qū)崿F(xiàn)所需成像效果。光場的從結(jié)構(gòu)上看，可以分為多相機組（cameraarray）對物體成像，這樣不同的視角方向的光場方向采樣有不同的相機全接收并描述的光場信息。Aaron.Isaksen等人發(fā)明設(shè)計的二維移動平臺[17]（2-3(a)）

圖2-2基于機械臂移動相機的光場裝的光場。Isaksen的裝置原理類似，移動二維平臺改變相機方位，最終實現(xiàn)了改變焦點（圖2-3(b)、圖2-3(c)）、拓展景深（圖2-3(d)、圖2-3(e)）和遮蔽物成像（圖2-3(f)、圖2-3(g)）的特點。多相機光場靈感來源于2002年，由J.C.Yang設(shè)計[18]，如圖2-4。其裝置8×11個透鏡陣列對物體同時多方位成像，再由連接后來J.C.Yang對原裝置進行改進，設(shè)計出由88個機陣列組成的多相機（圖2-5(b)）。Stanford大學的研究人員設(shè)計了針對不同類型配置不同的機陣列[21]（2-5(c)）。多相機陣列的光場具有加大成像系統(tǒng)視角信息和視場范圍的優(yōu)勢。合成孔徑成像技術(shù)的提出就是基于這種光場的方式，并具有靈活調(diào)節(jié)焦點和拓展景深的優(yōu)勢。但是，很顯然，這種方式的光場設(shè)備十分大，不具備便攜性。與提供幫助。 圖2-3基于二維移動平臺的光場及應二維移動平臺的光場裝置聚焦；(c)聚焦在后(d)拓展景深；(e)普通(f)普通；(g)遮蔽物成圖2-4采用透鏡陣列和平板掃描儀的光場裝 圖2-5多相機典型裝置J.C.Yang可獨立調(diào)節(jié)姿態(tài)多相機陣列l(wèi)ens，物 光 主透 場鏡微透鏡陣物 光 主透 感光 全光相機設(shè)計結(jié)構(gòu)；(b)采用中繼鏡頭的全光相（26b2005年，n.Ng在全光相機的基礎(chǔ)上，合理化相機尺寸，設(shè)計并制作出手持式全光相機（hndhldplenopticmera[3]，如圖27。從外觀上來看，尺寸明顯減小，和普通相機大小基本差不多。為了降低中繼鏡頭產(chǎn)生的漸暈效應及相機尺寸，R.g通過結(jié)構(gòu)工藝設(shè)計處理，將感光器直接安裝在微透鏡陣列的像焦面上。的耦合難度，衍射彌散斑的率可能會增加。如果因此提出宏像素內(nèi)的邊緣像

手持式光場相機的光學結(jié)構(gòu)；(b).umsaine.oiev（Plenopticera2.0ouusedplnpticmer[2]，如圖28aa/ba、b就可以平衡好光場的方向分辨率和空間分辨率，使成

abab圖2-8感光器在虛物面的后面；(b)感光器在虛物面的前類似結(jié)構(gòu)的設(shè)計還有出自P.Green等人之手的多孔徑相機（multi-aperture這樣合成的即是不同光圈下的圖像。不過這種系統(tǒng)由于要對透鏡孔徑做環(huán)形2007年可編程孔徑相機（programmableaperturecamera）C.K.Liang等人提出而面世[27,28]。這種相機通過多次采樣，感光器每次只能接收到由特定決定位置的子孔徑光線。旋轉(zhuǎn)面板、圖軸和液晶陣列等操作可以變換編碼。這種相機分辨率高，但是存在過長、圖像信噪比差，數(shù)據(jù)處理量大等對光場調(diào)制，而是在傅里葉頻域?qū)鈭稣{(diào)制。這種相機將編碼掩膜前置在感夠得到光場頻譜，在通過傅里葉變化轉(zhuǎn)換為空間域的光場。圖2-9采用前置透鏡-相機前置透鏡-棱鏡鏡頭與外觀；(b)相機拍攝及細T.E.Bishop設(shè)計的超分辨率重構(gòu)相機（super-resolutionreconstructioncamera)像的過程建立模型，在數(shù)學上可以用貝葉斯模型（Bayesianmodel）表示，用概率基于光場處理算法方面的改進的方法還有：A.Levin等人對光場信號使像素位移變化數(shù)字對焦的超分辨重構(gòu)[34,35]；J.Lim等根據(jù)亞像素位移信息采取凸集投影(POCS，projectionontoconvexsets)的超分辨數(shù)字對焦[36,37]?；谛】钻嚵械墓鈭隹钻嚵袑墓鈭鲋械目臻g分辨率取決于小孔陣列數(shù)，光場方向分辨率取決 針孔陣列感光圖2-10基于微透鏡陣列的光場

微透鏡陣列感光器圖2-11基于微透鏡陣列的光場采樣 ss 2-12(a)針孔采樣；(b)微透鏡采測點的光線傳輸過程，使得景深信息及物信息不能確知。這些在特定場景中的。這種整體化的思想能夠簡化我們思考和計算的過程。由于所有的光線都從光瞳進入，所以光分散權(quán)重可以認為均勻。另外，關(guān)于遮光的問題也不存在，因為我們可以假定內(nèi)部系統(tǒng)是理想無窮盡大的。在本文中,使用參數(shù)化的光場如圖2-13示，它描述了每個射線相交點的兩個平面：觀測點平面、鏡頭內(nèi)光瞳平面。兩個平面的參數(shù)化的光場函數(shù)表示光場非常適合內(nèi)部的光場相機，因為中的每一個射線都可以簡單的認為是uux (a)光學系統(tǒng)光線簡圖；(b)笛卡爾坐標系的光線空在圖213示的射線圖中描述了一條光線通過鏡頭光圈的uu,因為u表示鏡頭光瞳大小，阻擋了光場通過光瞳的角度和方向，決定了光線最終到感光器的方向。另外，令作為空間參考坐標軸。當然一般的存在于三的光線，鏡頭平面的交點u,v和感光器平面的交點,則可以表達。沿著光線的方向描述的光場的值為,,u,)，二維簡化為,u。ux (a)光學系統(tǒng)光線簡圖；(b)笛卡爾坐標系的光線空示。左邊的光線在笛卡兒光線空間中顯示為一個點(x,u)。一般的，在系統(tǒng)實物圖 2-15(a)光學系統(tǒng)光線簡圖；(b)光線空對比圖213的樣了u軸上特種圖像本文基于兩個概念處理光場最后產(chǎn)生的。一是認為是在理想的虛擬相機中對合成仿真形成圖像。如圖2-16(a)藍色光線在虛擬聚焦平面的一個像素的形成。這個藍色圓錐光線在光線空間對應的是一個傾斜的藍線，如圖2-過對理想光場成像系統(tǒng)幾何追蹤得到藍色線的光強，如圖2-16(a)藍色光所顯示。器像素對應于圖2-16(d)光線空間的陰影框。對這些格子和估計出理想的成像xu 2-16光線在虛擬聚焦平面的一個像素的形成(b)光場的兩個維度，得到剩下兩個維度變化的圖像，是光場壓縮成二維圖像的原始光場圖bc原始光場圖像（rawlightfieldphotograph）是直接感光器上的信息得到的圖像。原始圖像展現(xiàn)了光通過不同的（uv）平面后到達感光器xy平面上形成的圖bc 2-17(c)原始圖c處細節(jié)圖；(d)15(b)圖2-18(a)子孔徑通過一個微透鏡成像在微透鏡共軛面感光器上為一個像素；(b)每個子孔徑通過微透鏡陣列成像核線圖像（epipolarimages）是三種視圖中最抽象的。每個核線視圖是將光場隨之增加大約12個像素。圖2-17(b)、圖2-17(c)顯示了（xu）核線圖像的垂直分布bbc 2-19子孔徑圖像；(b)b處細節(jié)孩藍色衣服應該離的鼻子（豎直線）較遠；而圖2-19(c)中的鼻子斜率大于藍色線小于垂直線，這說明是坐在兩個的中間的。所以核線圖像又稱ab abcd 2-20核線圖像對應空間位置；(b)ab在傳統(tǒng)相機中，是記錄在放置在相機像平面位置的感光材料上。老式相機中，材料可能是鹵化銀材料，當材料遇光時，光子能夠使得銀晶體變化。在數(shù)電子在感光器的每個像素元中。感光成像的每個位置的點都是到達感光器平部分通常被鍍膜金屬線覆蓋，所以光線從無陰影方向?qū)暙I的光。然而，圖)是在理想情況下，藍色的錐狀光線通過光場相機的形成一個像素。此錐狀線對應于右邊二維光線空間圖中的藍色垂直線，因為所有通過孔徑內(nèi)的光線經(jīng)過光學系統(tǒng)后在像中x的位置成像，但是孔徑值u不同。當然，上不同的像素具有不同的x，在光線空間中對應不同的豎線。事實上，圖)的光線空間鋪滿了豎線，表示由上不同的像素的一束錐狀光線之和。最后的投影相片保uuxx 焦深度的。例如簡單的滑動透鏡就能夠改變成像聚焦的深度。圖2-22(a)中可到相對鏡頭更遠的深度時，其在光線圖像中對于的是負斜率直線。光線空間的斜線可以理解為在像平面u光線空間中x方向的像截距也會隨之線性改變。如果成像匯聚點比x平面離鏡頭更遠，那么像空間和空間的運動變化方向一致。如果聚焦成像點在運動變化方向相反，如圖222(b)。圖像在視覺上很明顯的反應出相對變化率，即光線空間圖中的斜率，這個斜率取決于成像交點與x22 (a)成像平面在x平面后方；(b)成像平面在x1傳統(tǒng)成像的和其在感光器中所示輻照度成正比。經(jīng)典輻射測量表面，通過透鏡孔徑到成像面一點的輻照度等于所有通過透鏡的輻照度的積分[38]：1EF(x,

F2

L(x,y,u,v)cos4 其中，F(xiàn)EF(xy表示底片平面（x,y）出的輻射強L(xy,uv表示透鏡孔徑面與成像面間的光場；θ表示光線（x,y,u,v）與底片F(xiàn)L(x,y,u,v)=L(x,y,u,v)cos4 F11EF(x.y)

F2

(x.y,u, (2-先需要確定系統(tǒng)的采樣步長、物置范圍等參數(shù)做估計。同時，本章還提出了的方法，主要以光場相機模型（2-7(a)）的數(shù)字光場成像系統(tǒng)仿真為例說明。FF數(shù)匹配，這樣才能達到最佳效果，如圖3-1(b)有F

(3-N

dx

(3-系統(tǒng)孔徑為f/4系統(tǒng)孔徑為f/8系統(tǒng)孔徑為f/2.8（x,yx'y'11 z' zyxz，得： y

z孔徑（u,v）P(xyz映射到微透鏡平面，映射范圍為一光斑。為簡化計算，我們只計算一維方向的u，v方向可以類比，如圖3-2。 得Lz (LL

(3-m L2(fP(xyzz

LzzLf

(3-z Ld0

(3- 則光場相機可能的景深范圍為fDd

DFN m2ω2arctan(dxNm

(3-L范圍內(nèi)，其視場范圍為LtanωdxNmLtanωdxNm(式(3-8)帶入得到(

N

mN,N,EIA19563-3。本文構(gòu)建了一個由三個切片在不同深度和位置處構(gòu)成的模型，如圖3-4所示。 標準分辨率圖EIA1956 對于其視場角范圍可見景物投影。所以在構(gòu)建的三維模型中，被部分遮擋的面33-5a。左上角和右下角由于被遮擋而不顯示，從圖3-5(d)可知，光場成像系統(tǒng)能夠有更大的視角，得到的信息。 (a)三維景物成像表面模型；(b)底層圖像也在微透鏡的焦平面[23]，如圖3-6可知，像素元A、B點在經(jīng)過微透鏡成像為平行CDEG B'A'=2dxG'E'DCLFxsampleLFdx

(3-(3-(3- 由物方視場角2ω

d 2 理想透鏡高斯成像公式

ff

(3-當透鏡處于同一介質(zhì)中，存在f P (Xc-Xa,Yc-Ya)/L=(Xp-Xa,Yp- 根據(jù)幾何光學原理構(gòu)建系統(tǒng)，其思想為：物點P(x,y,z)經(jīng)過主透鏡成像至個微透鏡陣列，而是AC區(qū)域內(nèi)所涉及的微透鏡陣列，用矩陣Micro表示。P’關(guān)于某個微透鏡Micro(i,j)成像為P(i,j)，其在感光器平面的投影即感光器接收到的陣列為矩陣Iij，過程如圖3-8所示。微透鏡選取和像素區(qū)網(wǎng)格化的代碼段為例子，如圖3-9和圖3-10所示：BBCPOA?? (Mijx-O1x)^2+(Mijy-(pijstx-p_cX)^z+(pijsty-%Mijx，Mijy指(i,j)位置微透鏡中心坐標%AB指主透鏡在微透鏡平面光場的區(qū)域大小%O1x，O1y指主透鏡中心通過P’投影的O’坐%pijx，pijy指(i,j)位置微透鏡成像的(s,t)位置像素點 事實上，方形孔徑比圓形孔徑的光場利用率高，光通量更大[41]R.Ng所聚焦光場相機（20”，如圖2-8）在內(nèi)的其他基于微透鏡陣列的光ccb )第四章仿真系統(tǒng)信號的再聚焦即在一次后的相片經(jīng)過處理后得到成像景深內(nèi)的任意焦點的清晰照。通過光場的視角變換，和再聚焦算法，就能實現(xiàn)這能。本章介紹了對光場成像信號如圖4-1RF’[23]表示的光場，顯然這種表示只有坐標是改變的，光場值是不變的。所以光場在x' y' LF'(x',y',u,v)LF(u ,v ,u,v)LF(u(1),v(1),u,(4-其中F'F FE(F)(x',y) LF(u(1),v(1),u, F2 u

F4-1,uuEF(x,y) L(u,v,x, (4-uxux 4-2(a)子孔徑成像；(b)（focu（在傳統(tǒng)光學成像系統(tǒng)中都是由機械（成像面（itlrfousin（itlzoomin方法從式(4-2)可知，通過對子孔徑圖像進行（u（1-1/α，v（1-1/α）的移動，并α倍，最后再疊加得到再聚焦的圖像。而在頻域?qū)崿F(xiàn)的數(shù)字再聚焦是則是基于傅里葉切片成像理論，將到的光場重新投影到所需聚焦平面F’處，其實就TheoremOperator P[LF](x,y)2F2LF(u(1),v(1),u, NN（N>M,xM)f(,xM)f(x1,,xN)dxM NSM為表示切片算子(SlicingOperator)，可用0將數(shù)據(jù)從N維降到MN（N>MSN[f](x

,

)f

,

, Operator： Operator： f令FNN維傅里葉變換算子（FourierTransformFN[f](u)f(x)exp(2i(x傅里葉逆變換算子為P[L] I4B[L 2F22 根據(jù)R.Ng(GeneralizedFourierSlicingFFFMINBSN N

(4- M即N維函數(shù)GN通過積分投影后降到M維函數(shù)GM與GN通過N得到的函數(shù)gN 4-3 0 1 0

11 1 11 B B1

I4BF2(F2I4B 2 2P F2(F2I4B 2 4 FP2F

2F BB

(4-

BTB11

P

4

(4- F 2

S4

F 2[G](k,k)1G(k,k,(1)k,(1)k (4- F PF2 宏像素間是不的，且間隔盡可能小。在感光器的選擇中，要求能夠完整接收列的，所以，我們需要先找出宏像素的位置，再對宏像素進行重新編碼排列[44]。這么做對于其他橫縱排列（如蜂窩排列）或型排列的微透鏡陣列成像尤其重宏像素的尋找方法并不局限于一種，可以根據(jù)圖像識別的方法[40]，也可以參4-4(a)尋找宏像素區(qū)域；(b)2-11可知，每個宏像素是通過主透鏡的光場經(jīng)過對應的單個微透鏡成像uxvyuxvyuxyyxyvv4-5(a)尋找宏像素中心及宏像素區(qū)；(b)透鏡及蜂窩狀微透鏡排列，這種算法簡便有效的優(yōu)勢更加明顯，如圖4-5。列組合就能得到子孔徑圖像，結(jié)果如圖4-6。 1/α，v（1-1/α）并擴大α倍，最后再積分得到再聚焦的圖像，再聚焦的位置由α決定。 圖4-7；(b)(c)聚焦在底面（后后得到再聚焦。最后得到聚焦在遠、中、近處的再聚焦，如圖4-8。 10×10296×296時，傅里葉切片成像再聚焦算法耗時（平孔徑帶來了長時間和低信噪比。光場成像系統(tǒng)能夠通過改變投影位置將記錄標變換，如圖4-9所示。 (u’- u’- F

(s’-

uu

圖4-9其中1, L'(u',v',s',t')L(s'

u's',t'

' ,

s'u',v'

t' 由第1.2的時間變長的困擾，在數(shù)字光場成像系統(tǒng)中都被解決。因此，通過計算成像，圖像景深的拓展得以實現(xiàn)，如圖410（景深范圍內(nèi)的較為清晰的的圖像。圖4-105.1的工作總一，對基于微透鏡陣列的數(shù)字光場成像系統(tǒng)的允許的景深范圍、視場范圍、序?qū)崿F(xiàn)仿真。分析建立了三維成像景物模型構(gòu)建的特點，對光場相機的光學5.2致值此即將畢業(yè)之際，除了學成的喜悅，離別的憂傷也縈繞在心，不禁感喟不已。七年的求學生活，電子科技大學了我的成長與成熟，我也深深地愛上了成電與。在這里，有我相伴七年的好伙伴、有關(guān)心我的老師、有青澀甜蜜的回憶、有青春的蕩氣回腸與無悔、有成長的疼痛與領(lǐng)悟。成電、，是我?guī)熼T下，三年來導師的諄諄教誨使我受益匪淺。導師在學術(shù)科研方面開闊的感謝和我一起度過生涯的教研室。感謝在科研上的幫助和感謝宋博韜同學。你不僅給與我歡樂與愛戀，還在我低谷時期一直支持和關(guān)愛我，忍受我因為壓力變得暴脾氣，忍受我的，而我能給你的實在太最后，我要特別感謝養(yǎng)育我的父母及家人！多年來無微不至的、悉心的照顧和無私的愛我銘感在心。我父母，給我最大的包容和自由，是我最愛的人。，是溫暖的港灣，是動力的源泉。愿親友們平安喜樂！參考文[1]昌，熊秉衡.信息光學理論與計算[M].：科學,2009,135-B.Newhall.ThedaguerreotypeinAmerica[M].America：CourierDoverPublications,1976,B.Keelan.Handbookofimagequality:characterizationandprediction[M].America:CRCPress,P.Askey.Digitalcamerastimeline[J].DigitalPhotographyReview2006,14(21):123-R.Ramanath,W.A.Sander,W.E.Snyder,etal.DemosaickingmethodsforBayercolorJournalofElectronicimaging,2002,11(3):306-M.Levoy.Lightfieldsandcomputationalimaging[J].IEEEComputer,2006,39(8):46-M.Levoy,R.Ng,A.Adams,etal.Lightfieldmicroscopy[C].ACMTransactionsonGraphics(TOG).ACM,2006,25(3):924-934Ives.F.Parallaxstereogramandprocessofmakingsame[P].U.S.Patent725,567.1903-4-Gershun.Andreī.Thelightfield[M].(P.MoonandG.Timoshenko).JournalofMathematicsandPhysics,Vol.XVIII,MassachusettsInstituteofTechnology,1939,51-151E.H.Adelson,J.R.Bergen.TheplenopticfunctionandtheelementsofearlyComputationalmodelsofvisualprocessing,1991,1(2):121-M.Levoy,P.Hanrahan.Lightfieldrendering[C].Proceedingsofthe23rdannualconferenceonComputergraphicsandinteractivetechniques.ACM,1996:31-42GortlerSJ,GrzeszczukR,SzeliskiR,etal.Thelumigraph[C].Proceedingsofthe23rdannualconferenceonComputergraphicsandinteractivetechniques.ACM,1996:43-54Z.Zhang,M.Levoy.WignerdistributionsandhowtheyrelatetothelightComputationalPhotography(I),2009IEEEInternationalConferenceonIEEE,2009:1-M.Levoy,Stanfordsphericalgantry[J]../projects/gantry,A.Isaksen,L.McMillan,GortlerSJ.Dynamicallyreparameterizedlightfields[C].Proceedingsofthe27thannualconferenceonComputergraphicsandinteractivetechniques.ACMPress/Addison-WesleyPublishingCo.,2000:297-306YangJC.Alightfieldcameraforimagebasedrendering[D].MassachusettsInstituteTechnology：DepartmentofElectricalEngineeringandComputerYangJC,EverettM,BuehlerC,etal.Areal-timedistributedlightfieldcamera[C].Proceedingsofthe13thEurographicsworkshoponRendering.EurographicsAssociation,2002:77-86.ZhangC,ChenT.Aself-reconfigurablecameraarray[C].ACMSIGGRAPH2004ACM,2004:WilburnB,JoshiN,VaishV,etal.HighperformanceimagingusinglargecameraAdelsonEH,WangJYA.Singlelensstereowithaplenopticcamera[J].IEEEtransactionsonpatternysisandmachineinligence,1992,14(2):99-106NgR,LevoyM,BrédifM,etal.Lightfieldphotographywithahand-heldplenopticcamera[R].Standford:ComputerScienceTechnicalReportCSTR,2005A.Lumsdaine,T.Georgiev.Thefocusedplenopticcamera[C].ComputationalPhotography(I),2009IEEEInternationalConferenceon.IEEE,2009:1-8GreenP,SunW,MatusikW,etal.Multi-aperturephotography[C].ACMTransactionsonGraphics(TOG).ACM,2007,26(3):68C.K.Liang,G.Liu,H.H.Chen.Lightfieldacquisitionusingprogrammableaperturecamera[C].ImageProcessing,2007.ICIP2007.IEEEInternationalConferenceon.IEEE,2007,5:C.K.Liang,T.H.Lin,B.Y.Wong,etal.Programmableaperturephotography:multiplexedlightfieldacquisition[C].ACMTransactionsonGraphics(TOG).ACM,2008,27(3):55A.Veeraraghavan,R.Raskar,A.Agrawal,etal.Dappledphotography:Maskenhancedcamerasforheterodynedlightfieldsandcodedaperturerefocusing[J].ACMTransactionsonGraphics,2007,26(3):69A.Veeraraghavan,A.Agrawal,R.Raskar,etal.Non-refractivemodulatorsforencodingandcapturingsceneappea