基于圖像的繪制技術(shù)綜述

1、精選優(yōu)質(zhì)文檔-傾情為你奉上基于圖像的繪制技術(shù)綜述摘要：基于圖像的繪制技術(shù)（Image-based Rendering，IBR）近年來引起廣泛的關(guān)注，目前的基于圖像的繪制技術(shù)（IBR）可以根據(jù)他們依賴場景幾何信息的程度分為三類：無幾何信息的IBR 繪制、部分幾何信息的IBR 繪制和全部幾何信息的IBR 繪制。通過對三類技術(shù)特征及其數(shù)學描述的討論，從中得出結(jié)論：在IBR 技術(shù)中圖像和幾何信息的雙重應(yīng)用表明IBR 和傳統(tǒng)的基于三維幾何的圖形學可以統(tǒng)一成一個有機整體。1 引言由于基于圖像的繪制技術(shù)（Image-Based Rendering）在從電影特效（The"Matrix"）到

2、大場景虛擬漫游、遠程現(xiàn)實等方面的廣泛應(yīng)用，其發(fā)展非常迅速，相繼出現(xiàn)了一系列高效的技術(shù)方法。和傳統(tǒng)的基于模型的繪制相比，基于圖像的繪制有如下的優(yōu)點：圖形繪制獨立于場景復雜性，僅與所要生成畫面的分辨率有關(guān)；預先存儲的圖像(或環(huán)境映照) 既可以是計算機合成的，也可以是實際拍攝的畫面，兩者也可以混合使用；算法對計算資源的要求不高，可以在普通工作站和個人計算機上實現(xiàn)復雜場景的實時顯示。本文把IBR 技術(shù)分成無幾何信息的繪制、基于部分幾何信息的繪制和基于完全幾何信息的繪制三類1。由于各種繪制技術(shù)和方法是相互關(guān)聯(lián)的統(tǒng)一體，而不是完全彼此脫離的，所以分類界限并不是十分的嚴格，如圖1 示。從近幾年研究的側(cè)重點和

3、成果顯示來看，目前越來越多的研究集中于圖像和幾何信息之間相結(jié)合的方法，這樣能使繪制效果更加完美逼真。2 無幾何信息的IBR 繪制無幾何信息的IBR 繪制方法都是基于全光函數(shù)及其變形的。早期的全光函數(shù)(PlenOptic Function)是由Adelson 和Bergen 命名的，簡單的講它描述了構(gòu)成場景的所有可能的環(huán)境映照（Environment map）。若記錄光線的照相機的位置為(Vx,Vy,Vz)，光線的方向為(,)，光波波長為，光強隨時間t 變化，則全光函數(shù)可以表示為：P7=P(Vx,Vy,Vz,t)在上式中， 場景內(nèi)的所有光線構(gòu)成了一個全光函數(shù)?；诖耍琁BR 技術(shù)可以歸結(jié)為以離散

4、的樣本圖。像重構(gòu)連續(xù)的全光函數(shù)的過程，即采樣、重建和重采樣過程。表1 給出了在各種對視域假定和限制情況下7D 的全光函數(shù)被簡化為從6D 到2D的各種形式， 以及一些文中提到的有代表性表示方法。2.1 全光模型（PlenOptic Modeling）McMillian 和Bishop 在文獻7中對全光函數(shù)做了簡化，假設(shè)場景的光波不變，且場景不隨時間發(fā)生變化， 則可以忽略場景的波長 和時間參數(shù)t，全光函數(shù)從而簡化為5 維函數(shù)，即：P5=P(Vx,Vy,Vz,)這是一個柱面全景圖的集合，這種表示在所有五維上都存在大量的冗余，而且方法中沒有解決立體對應(yīng)的問題。有關(guān)5D 全光函數(shù)其他的應(yīng)用實例可見文獻2

5、中。2.2 光場（Light Field）和光亮度（Lumigraph）繪制Light Field 和Lumigraph 的研究表明，若我們在包圍場景的一個包圍盒外對場景進行觀察，且場景中的每一個矢量方向只存在一根光線（即場景無遮擋），則5D 的全光函數(shù)可以簡化為4D 的光場函數(shù)：P4=P(u,v,s,t)上式中(u,v)和(s,t)是兩個參數(shù)化的平面，若場景的包圍盒是一個6 面體，則我們需要6 組這樣的參數(shù)化平面表示場景的所有光線。在Light Field 系統(tǒng)中，為了得到均勻的采樣圖像，他們采用了專門的裝置來采集圖像樣本，同時為了減少繪制的走樣，圖像數(shù)據(jù)預先進行了濾波處理。這Lumigra

6、ph 的繪制利用了場景的部分幾何信息，因此它不需要專門的圖像采集裝置，從而減少了場景的采樣密度。兩種方法的缺點是只解決了沒有遮擋的、光照固定的、靜態(tài)對象的表示及繪制問題，而沒有解決完全的虛擬環(huán)境漫游。2.3 面全光函數(shù)(The surface plenoptic function-SPF)SPF 首先在文獻3中被提出，Cha 等分析了IBR 繪制中的光譜特性，觀察全光函數(shù)的生成，很明顯，自由空間中的每一條光線都有個光源。可能是像太陽那樣的某個發(fā)光體發(fā)出來的，也可能是被物體阻擋反射的。如果物體是透明的，還會有折射現(xiàn)象。2.4 同心拼圖(Concentric Mosaics)文獻4中Shum 等把

7、照相機固定在一個圓軌跡上運動，照相機光心朝外，從而得到3D 形式的全光函數(shù)，我們稱之為同心拼圖。光場(Light Fields) 技術(shù)把全光函數(shù)縮小到了4D 表達，但數(shù)據(jù)量仍然十分龐大而且不容易采集。同心拼圖技術(shù)有效的解決了這些問題，使得數(shù)據(jù)采集變得非常簡便，并且是以3D 的形式表達，從而提供了很好的應(yīng)用前景。Sun 等在文獻5中，設(shè)計了一個簡化的同心圓拼圖系統(tǒng)，以往的同心圓拼圖系統(tǒng)難點在于普通用戶對參考圖像精確拍攝時相機旋轉(zhuǎn)問題，而在此系統(tǒng)中，相機的位置不用精確控制，而是從預先拍攝的圖像中估計出來的。其中利用了立體技術(shù)代替?zhèn)鹘y(tǒng)的計算機視覺方法估計確定相機位置。其中的不足在于特征匹配錯誤導致的

8、相機位置估計不準確，有待進一步的改進。3 基于部分幾何信息的繪制有一類IBR 繪制只需要很少的輸入圖像，但繪制依賴于圖像之間的匹配信息。因為幾何信息在這種方法中并不是直接明顯的，所以稱這類方法為基于部分的幾何信息的繪制。該方法同時采用幾何及圖像作為基本元素來繪制畫面的技術(shù)，根據(jù)一定的標準，動態(tài)地將部分場景簡化為映射到簡單幾何體上的紋理圖像，若簡化引起的誤差小于給定閾值，就直接利用紋理圖像取代原場景幾何來繪制畫面。這種繪制技術(shù)可以在一定誤差條件下，以較小的代價來快速生成場景畫面，同時仍保持正確的前后排序，所生成的圖形質(zhì)量也很高。3.1 視圖插值技術(shù)（View interpolation）給定兩幅

9、圖像樣本，若它們之間的光流信息已知，則可以重構(gòu)出任意視點的新圖像，這就是Chen 和Williams6的視圖插值技術(shù)。這種方法在兩幅樣本的視點很近時非常有效，否則繪制會出現(xiàn)“折疊”現(xiàn)象。另外當兩幅樣本圖像之間的距離過大時，圖像的共同區(qū)域?qū)浅Ｐ。瑥亩绊懤L制結(jié)果。當圖像樣本的拍攝朝著同一個方向時，視圖插值方法效果最好。Sun 等在文獻7中提出一種新的基于匹配（Matching-Based）的視圖插值技術(shù)，將大的場景區(qū)域劃分成小的子區(qū)域，把虛擬相機的新視圖插值到預先拍攝圖像的臨近區(qū)域。其中的子區(qū)域是三角形的，這種方法避免了對預捕獲圖像的相機位置的限制。3.2 視圖變形技術(shù)（View morph

10、ing）Seitz 和Dyer8的視圖變形技術(shù)可以用兩幅輸入圖像生成兩個參考視點連線之間的任何新的場景數(shù)據(jù)。另外，Nguyen 等提出一種假定深度信息已知把真實相機所有的參數(shù)信息傳遞給虛擬相機的基于電磁波的算法， 這種方法使IBR問題轉(zhuǎn)變成一個在虛擬相機圖像平面上進行非均勻的插值的問題，可以在所有象素點一次性的高效完成9。3.3 邊界光場（Boundary Light Fields）石教英等提出一種基于3D 全光函數(shù)和場景幾何相結(jié)合的方法-邊界光場不像同心拼圖那樣把光線束載體定在原始的全光采樣點，而是以景物幾何為自然的光線束載體，實際上是將場景的幾何信息與圖像數(shù)據(jù)混合在2D 運動的IBR 系統(tǒng)

11、中。邊界光場方法克服可無幾何信息輔助的同心拼圖的一些缺陷，利用自適應(yīng)的全光采樣模式，根據(jù)場景復雜度或用戶要求組織采樣數(shù)據(jù)，降低了場景的數(shù)據(jù)量，糾正了較大的深度變形。但仍無法擺脫3D 全光函數(shù)的限制，保持數(shù)值視差10。4 基于完全幾何信息的繪制這一類繪制的前提是已知完全的場景的三維信息，這種信息可以是場景的深度信息，也可以是場景的三維坐標，傳統(tǒng)的三維理映射就歸于此類。4.1 三維折疊變換（3D warping）當輸入的一幅或多幅參考圖像中每一個象素的深度信息已知時，三維折疊變換可以方便地生成參考視點鄰近區(qū)域的新視點場景，投影參考圖像的一個象素到已知的三維空間，隨后重投影該點到新視點的圖像平面就可

12、以得到新的視點場景。三維折疊變換有一個缺陷就是容易在視覺效果上產(chǎn)生“裂縫”，這是因為視域的限制，這些邊界空缺是由于當視線旋轉(zhuǎn)時沒有及時更新完整的新圖像信息，結(jié)果會導致視覺上的“空洞”。4.2 層次深度圖像（Layered depth image，LDI）為解決三維折疊變換中輸出圖像的“空洞”和“裂痕”，Shade 等學者提出了層次深度圖像的繪制方法在這種方法中，輸入圖像的每一個像素存儲了一個鏈表，這個鏈表保存了從視點出發(fā)的一條光線與場景的每個交點（包括被遮擋的不可見的部分）的顏色信息和深度信息。4.3 基于視點的紋理映射(View-dependent texture maps)紋理映射方法被廣

13、泛應(yīng)用于高度真實感圖形的繪制。它需要完全場景的三維模型，對于合成場景，可以用CAD 工具生成幾何模型；而對于真實場景，用三維掃描儀或視覺方法也可以生成三維模型，不幸的是視覺技術(shù)和三維掃描儀不足以建立精確的三維模型。因此Debevec 等學者提出了三維折疊變換和多幅圖像組合的方法進行紋理映射，部分地實現(xiàn)了傳統(tǒng)紋理影射所不能實現(xiàn)的視覺效果。文獻11中提出了用雙向紋理函數(shù)對表面紋理繪制的新方法。文獻利用LDI 和Warping 技術(shù)形成柔和陰影的方法，基于圖像的繪制最終也是要實現(xiàn)諸如陰影、反射、透明度等光照效果的，這在許多文獻中都已經(jīng)越來越多的被關(guān)注，如文獻12中提出利用空間變化的雙向反射分布函數(shù)（

14、SBRDF）對表面反射效果的恢復。5 總結(jié)與展望本文對目前基于圖像的繪制技術(shù)（IBR）做了綜述性介紹，并討論了各個分類中相關(guān)的表示方法的特征及其數(shù)學描述。通過對各 種IBR 技術(shù)的分析可以得出結(jié)論：圖像和幾何實際上是一個連續(xù)的統(tǒng)一體。隨著計算機圖形學、虛擬現(xiàn)實和多媒體通信等領(lǐng)域中對復雜真實感場景的需求與日俱增，該技術(shù)必將獲得更大發(fā)展。盡管對基 于圖像的繪制技術(shù)的研究已經(jīng)取得了若干令人振奮的成果，但下述幾個方面仍然是今后研究的熱點和難點問題，迫切需要引起研 究人員的高度關(guān)注：場景的高效表達；繪制的性能問題；圖像的采集；表面細節(jié)的恢復。參考文獻：1 ZHANG Cha . A Survey on

15、Image-Based Rendering: Representation, Sampling and CompressionJ,SP:IC(19),2004(1):1-28.2 Kang S B, Szeliski R. 3D Scene Data Recovery Using Omni-directional Baseline Stereo A.IEEE Computer Vision and Pattern Recognition (CVPR 96)C,1996:364-370.3 Wood D N. Surface light field for 3D PhotographyA.Com

16、puter Graphics(SIGGRAPH'00)C,2000:287-296.4 Shun H Y and He L W. Rendering with concentric mosaicsA. In Proc. SIGGRAPH 99C,1999:299-306.5 Sun X, Dubois E. A simplified concentric mosaics system with non-uniformly distributed pre-captured imagesA.Proc. Visual Communications and Image Processing,

17、(Beijing, China), SPIE vol. 5960C,2005:1255-1266.6 Chen S, Williams L. View interpolation for image synthesisA.(SIGGRAPH'93)C,1993:279-288.7 Sun X, Dubois E. A matching-based view interpolation scheme A.Proc. IEEE Int. Conf. Acoustics Speech Signal Processing(Philadelphia, PA)C,2005:877-880.8 Se

18、itz S M, Dyer C M. View morphing A.In Computer Graphics Proceedings, Annual Conference Series,Proc.SIGGRAPH'96 (New Orleans)C.August 1996:21-30.9 Nguyen H T, Do M N. Image-based rendering with depth information using the propagation algorithm A. Proc. of IEEE ICASSPC. Philadelphia, 2005.10 梅春暉,石教英.邊界光場J.計算機輔助設(shè)計與圖形學學報,2003,15(8),972-978.11 Liu X G, Zhang J D, Zhang J D.Synthesis and rende