開題報(bào)告典范

.基于多攝像機(jī)的物體三維重建方法研究二 選題依據(jù)從二維數(shù)字圖像獲取場(chǎng)景三維信息是計(jì)算機(jī)視覺的基本任務(wù)。近二十多年來(lái)，基于被動(dòng)視覺的立體視覺方法在三維信息的獲取方面取得了很大的成功，被廣泛應(yīng)用于例如物體三維建模、自主機(jī)器人導(dǎo)航、基于視覺的產(chǎn)品質(zhì)量檢測(cè)和醫(yī)療圖像處理等諸多方面。隨著集成電路的快速發(fā)展，當(dāng)今廉價(jià)的數(shù)字?jǐn)z像機(jī)可提供與以往高端攝像機(jī)相比擬的成像質(zhì)量，加之計(jì)算機(jī)計(jì)算能力的提升，使得使用多個(gè)廉價(jià)數(shù)字?jǐn)z像機(jī)從不同視點(diǎn)拍攝場(chǎng)景的圖像，之后在可接受的時(shí)間內(nèi)，由這些圖像有效地生成場(chǎng)景的三維模型，最后合成新視點(diǎn)的圖像這一過(guò)程成為現(xiàn)實(shí)。主觀需求和客觀條件的具備使得在計(jì)算機(jī)圖形學(xué)、機(jī)器視覺和圖像處理領(lǐng)域，基于多攝像機(jī)的物體三維重建技術(shù)受到了極大的重視，該技術(shù)突破了傳統(tǒng)雙攝像機(jī)三維重建技術(shù)的局限性，通過(guò)定義適當(dāng)?shù)哪Ｐ?，利用冗余信息獲得了更稠密、更精確的場(chǎng)景三維信息。由多個(gè)攝像機(jī)重建三維場(chǎng)景的方法主要可分為兩大類：多攝像機(jī)立體重建（Multiple Cameras Stereo Reconstruction）和體積方法重建（Volumetric Reconstruction）。1多攝像機(jī)立體重建是三維重建的經(jīng)典方法1。 該方法在不同的輸入圖像的子集上執(zhí)行立體對(duì)應(yīng)性算法，這些子集通常由2-6幅鄰近的圖像組構(gòu)成，由此得到多幅從不同視點(diǎn)觀察到的表示空間3D點(diǎn)的視差圖，之后基于多幅這樣的存在噪音的視差圖進(jìn)行諸如網(wǎng)面數(shù)據(jù)對(duì)齊、幾何數(shù)據(jù)融合等操作推斷場(chǎng)景物體的表面。實(shí)現(xiàn)該方法的關(guān)鍵在于確定精確的對(duì)應(yīng)性。2基于體積的重建方法在離散的3D空間中重建場(chǎng)景，將待重建的場(chǎng)景包括在一個(gè)重建體積中，該重建體積指定重建執(zhí)行的空間區(qū)域。重建體積被分割成體素（voxel），在真實(shí)世界空間中形成了一個(gè)體素空間?；隗w積的三維重建方法即確定可以精確表示場(chǎng)景物體的體素的集合。對(duì)沒有透明物體存在的場(chǎng)景來(lái)說(shuō)，所有的體素處于三種狀態(tài)中的一種：表面體素表示場(chǎng)景中物體的表面，內(nèi)部體素對(duì)任何攝像機(jī)都不可見，代表重建表面的內(nèi)部體積，空體素代表空的空間。當(dāng)前已有的方法包括體積交集方法（Volumetric Intersection）、體素顏色方法（Voxel Coloring）和層次集方法（Level Set Methods）。n 體積交集方法使用從參考圖像觀測(cè)的物體的輪廓重建表面和內(nèi)部的體素。這些算法首先執(zhí)行圖像分割算法，將輸入圖形分割成為包括前景和背景的二值圖像，前景表示待重建的物體，之后對(duì)每幅圖像中的前景區(qū)域進(jìn)行反投影，由于已知各攝像機(jī)的內(nèi)外部參數(shù)，可以求得這些反投影的光線在空間中的交集，形成一個(gè)體積，該體積即為場(chǎng)景的三維重建。體積交集方法可以從多攝像機(jī)簡(jiǎn)單有效地重建場(chǎng)景4，但其也存在兩個(gè)關(guān)鍵的缺陷：首先，圖像的前景和背景分割作為一個(gè)經(jīng)典問(wèn)題，始終沒有得到很好的解決，因此不能對(duì)所有的場(chǎng)景自動(dòng)地完成前景背景分割；其次，由于使用二值圖像進(jìn)行處理，這類算法舍棄了原圖像中有用的顏色信息，無(wú)法處理表面具有孔洞的物體。n 體素顏色方法確定空體素，將其從體素空間中雕刻去除。該方法假設(shè)點(diǎn)在漫反射的表面上是顏色一致的，意即，同一空間點(diǎn)在所有可視該點(diǎn)的攝像機(jī)中的成像像素點(diǎn)都是同一顏色。因此，如果一個(gè)體素投影到所有可視該點(diǎn)的攝像機(jī)中都是一致的顏色，則該體素被認(rèn)為是一個(gè)表面體素，被賦以它的投射顏色；反之，如果某個(gè)體素在投射到多幅圖像中的顏色不一致，則被認(rèn)作是空體素，應(yīng)該被雕刻去掉。當(dāng)所有的可視體素都各自投射到相應(yīng)圖像平面，并得到相應(yīng)一致的顏色時(shí)，體素顏色算法終止，最后得到的體素集是與相應(yīng)圖像顏色一致的場(chǎng)景模型。最近體素顏色方法見5。n Faugeras和Keriven6提出使用層次集方法進(jìn)行多攝像機(jī)三維重建。首先基于多攝像機(jī)對(duì)應(yīng)性準(zhǔn)則推導(dǎo)歐拉拉各朗日方程，得到偏微分方程，用于指導(dǎo)初始表面沿內(nèi)部朝向的法向量方向向待三維重建的真實(shí)表面運(yùn)動(dòng)。層次集方程組在重建的體積上進(jìn)行計(jì)算，與其它基于體積的方法不同，該方法不在立方體體素上，而是在離散的三維網(wǎng)格的每個(gè)頂點(diǎn)上評(píng)估層次集方程組。層次集方法與體素顏色方法類似，也可自動(dòng)改變表面拓?fù)浣Y(jié)構(gòu)，除此之外，還可對(duì)任意放置的攝像機(jī)進(jìn)行可視性建模78。多攝像機(jī)立體重建方法在圖像空間尋找對(duì)應(yīng)性，然后這些對(duì)應(yīng)性轉(zhuǎn)化到真實(shí)世界中的三維點(diǎn)和線段，這種混合圖像和真實(shí)世界空間的處理的一個(gè)主要的難點(diǎn)在于精確的對(duì)應(yīng)性的確定，盡管已經(jīng)提出了眾多的改進(jìn)方法，但由于存在噪音和各種不可避免的誤差，和僅在二維圖像空間進(jìn)行匹配本身存在的一些諸如遮擋等病態(tài)問(wèn)題，對(duì)應(yīng)性算法的可靠性依然很低，對(duì)三維重建結(jié)果產(chǎn)生也很大的影響。對(duì)應(yīng)性算法的缺陷主要?dú)w因于在圖像空間推理遮擋區(qū)域的困難性。與之相比，基于體積的三維重建方法能夠容易地建模遮擋區(qū)域，因而成為近年來(lái)研究多攝像機(jī)三維重建方法的一個(gè)熱點(diǎn)。主要參考文獻(xiàn)：1. P. Narayanan, P. Rander, and T. Kanade, “Constructing Virtual Worlds Using Dense Stereo”, Proc. International Conference on Computer Vision (ICCV), 1998.2. Ko Nishino and Katsushi Ikeuchi, “Robust Simultaneous Registration of Multiple Range Images”, The 5th Asian Conference on Computer Vision(ACCV), January 2002.3. F.Dellaert, S.M.Seitz, C.E.Thorpe and S.Thrun, “Structure from Motion without Correspondence”, Proc. Computer Vision and Pattern Recognition (CVPR), Vol. 2, pp. 13-15, June. 2000.4. Matthew Brand, Kongbin Kang and David B. Cooper, “Algebraic solution for the visual hull”, Proc. Computer Vision and Pattern Recognition (CVPR), Vol. 1, pp. 30-35, 2004.5. G.G.Slabaugh, W.B.Culbertson, T.Malzbender, M.R.Stevens and R.W.Schafer, “Methods for Volumetric Reconstruction of Visual Scenes”, International Journal of Computer Vision, Vol. 57(3), pp. 179-199, Jan. 2004.6. O. Faugeras and R. Keriven, “Complete Dense Stereovision Using Level Set Methods”, IEEE Transactions on Image Processing, Vol. 7, pp. 336-344, Mar. 1998.7. P. Pons, G.Hermosillo, R.Keriven and O.Faugeras，“How To Deal with Point Correspondences and Tangential Velocities in the Level Set Framework”, Proc. International Conference on Computer Vision (ICCV), 2003.8. O.Faugeras, J.Gomes and R.Keriven, “Computational stereo a variational method”, Geometric Level Set Methods in Imaging, Vision and Graphics, Chapter Variational Principles in Computational Stereo. S. Osher and N. Paragios Eds. Springer-Verlag, 2003.三 研究?jī)?nèi)容本課題研究多攝像機(jī)三維重建技術(shù)的若干問(wèn)題，待三維重建的物體表面限定為完全漫反射表面。具體研究如下四個(gè)方面內(nèi)容：1多攝像機(jī)三維重建系統(tǒng)高精度魯棒標(biāo)定方法作為多攝像機(jī)三維重建的基礎(chǔ)工作，研究用于高精度標(biāo)定多攝像機(jī)系統(tǒng)的魯棒易用的方法，具體研究非完全會(huì)聚配置的多攝像機(jī)標(biāo)定。所謂攝像機(jī)非完全會(huì)聚配置，意即沒有所有攝像機(jī)都可視的共同區(qū)域。當(dāng)前的自標(biāo)定技術(shù)一般可靠性較低，難以用于三維建模等對(duì)精度要求較高的場(chǎng)合，因此必須考慮使用標(biāo)定物的標(biāo)定方法，然而由于多攝像機(jī)非完全會(huì)聚配置，標(biāo)定物不能同時(shí)在所有攝像機(jī)上成像，為將所有攝像機(jī)標(biāo)定到同一世界坐標(biāo)系，必須移動(dòng)標(biāo)定物。研究的重點(diǎn)在于兩方面：在保證易用的前提下，使用何種標(biāo)定物，使能夠魯棒提取標(biāo)定物特征，特別是對(duì)于多維標(biāo)定物在圖像中處于半遮擋或具有較大的射影變形的狀態(tài)時(shí)的魯棒特征提?。会槍?duì)標(biāo)定物特征，設(shè)計(jì)標(biāo)定算法，使能得到精確的標(biāo)定結(jié)果。2. 基于多攝像機(jī)的大范圍三維重建方法研究使用多個(gè)攝像機(jī)對(duì)大范圍場(chǎng)景三維重建的方法。與通常的SFM方法重建城市三維地圖等應(yīng)用不同，本研究?jī)?nèi)容中的大范圍場(chǎng)景是相對(duì)于完全會(huì)聚配置的攝像機(jī)系統(tǒng)具有的公共可視區(qū)域而言，具有的相對(duì)較大的場(chǎng)景。本研究方法使用固定位置的多個(gè)攝像機(jī)，各相鄰攝像機(jī)具有公共可視區(qū)域，不相鄰攝像機(jī)可能具有公共可視區(qū)域。經(jīng)典的多攝像機(jī)立體重建方法和SFM方法通常采用分別重建具有較大公共可視區(qū)域的各立體圖像對(duì)，之后對(duì)立體圖像對(duì)之間的重疊區(qū)域進(jìn)行表面數(shù)據(jù)融合，即拼接形成單一的場(chǎng)景表面。這些方法一般不重建公共區(qū)域小于設(shè)定閾值的立體圖像對(duì)。本研究的目標(biāo)是探索一種三維重建方法，使得重建過(guò)程在一個(gè)統(tǒng)一的框架下進(jìn)行，無(wú)表面拼接過(guò)程，所有的圖像信息得以充分地利用，得到場(chǎng)景無(wú)孔洞的紋理映射的三維模型。3基于多攝像機(jī)的物體完整表面三維重建方法研究多攝像機(jī)三維重建多連通結(jié)構(gòu)物體完整表面的方法。通常的多連通結(jié)構(gòu)的物體即相互分離的多個(gè)目標(biāo)物體。同時(shí)重建多個(gè)目標(biāo)物體的完整表面時(shí)，多個(gè)目標(biāo)物體之間存在嚴(yán)重的相互遮擋，傳統(tǒng)的多攝像機(jī)立體重建方法僅在立體圖像對(duì)內(nèi)部數(shù)幅圖像間求解對(duì)應(yīng)性，對(duì)目標(biāo)物體表面的某點(diǎn)而言，僅是所有可視該點(diǎn)的攝像機(jī)的一個(gè)子集對(duì)決定該點(diǎn)位置產(chǎn)生影響，其它的攝像機(jī)提供的信息則因?yàn)椴辉诹Ⅲw圖像對(duì)內(nèi)部而被舍棄（導(dǎo)致一攝像機(jī)的圖像雖然與某立體圖像對(duì)中圖像有交集但不在其中的可能原因有重建策略影響或交集太小等因素），由此導(dǎo)致了重建精度損失。研究的重點(diǎn)在于如何合理地利用可從圖像得到的所有信息，有效地重建完整表面。4基于多攝像機(jī)的三維重建系統(tǒng)實(shí)現(xiàn)方法;.四 研究方案針對(duì)研究?jī)?nèi)容，本課題擬分別采用如下研究方法和技術(shù)路線：1多攝像機(jī)三維重建系統(tǒng)高精度魯棒標(biāo)定方法擬使用平面平行線段模板作為標(biāo)定物，平行線段線間距恒定且已知。選擇二維標(biāo)定物的理由如下：第一，當(dāng)前已證明僅使用自由移動(dòng)的一維標(biāo)定物無(wú)法完全標(biāo)定攝像機(jī)，必須對(duì)一維標(biāo)定物的運(yùn)動(dòng)加以限制，如使用一端固定的線段上的點(diǎn)作為標(biāo)定點(diǎn)等，但不適用于非完全會(huì)聚配置的多攝像機(jī)系統(tǒng)。用于非完全會(huì)聚配置的多攝像機(jī)系統(tǒng)標(biāo)定的易于操作的一維標(biāo)定物運(yùn)動(dòng)約束有待探求；第二，當(dāng)存在較大的射影變形時(shí)，三維標(biāo)定物的標(biāo)定特征在圖像中難以提取并確定對(duì)應(yīng)性，且移動(dòng)三維標(biāo)定物與易用的宗旨不符。選擇平行線段作為標(biāo)定物特征的理由主要在于該特征便于提取，在具有較大的射影變形圖像中僅提取線段走向與提取點(diǎn)特征相比相對(duì)容易，并且當(dāng)標(biāo)定物部分處于攝像機(jī)可視區(qū)域內(nèi)時(shí)，仍可自動(dòng)確定對(duì)應(yīng)性。提取特征并正確確定對(duì)應(yīng)性后，對(duì)包含所有對(duì)應(yīng)性的特征值矩陣使用非線性特征值最小化方法，獲得射影意義下的透視投影矩陣，之后利用平行線段的線間距已知，將射影坐標(biāo)系確定為歐氏坐標(biāo)系。本方案實(shí)現(xiàn)的關(guān)鍵在于：魯棒地提取特征并正確確定對(duì)應(yīng)性；有效的數(shù)值計(jì)算方法。2. 基于多攝像機(jī)的大范圍三維重建方法擬使用曲面演化的思想多攝像機(jī)三維重建大范圍場(chǎng)景。曲面演化方法有別于傳統(tǒng)的三維重建方法，該方法不將三維重建分作立體匹配（matching）、多網(wǎng)面對(duì)齊（registration）、多網(wǎng)面幾何數(shù)據(jù)融合（integration）等步驟，而是將場(chǎng)景中物體表面看作在空間中移動(dòng)變形，即演化的曲面，演化的目的是讓該曲面盡可能合理地解釋所有視點(diǎn)的圖像。擬將待重建的表面作為所有圖像的函數(shù)，定義合適的相似性測(cè)度，求使該相似性測(cè)度最大的物體表面的函數(shù)，將三維重建問(wèn)題轉(zhuǎn)化為求解泛函極值的問(wèn)題，之后使用變分原理求泛函極值，計(jì)算歐拉方程，得到求解極值的必要條件，即一套偏微分方程組，由其推導(dǎo)出曲面演化的方向和速度，隨時(shí)間進(jìn)行多次迭代。通常在空間體素頂點(diǎn)上計(jì)算以實(shí)現(xiàn)曲面演化，體素頂點(diǎn)所成象素的相似性測(cè)度在所有可視該點(diǎn)的攝像機(jī)的圖像上評(píng)估。伴隨基于體素的大范圍場(chǎng)景重建方法出現(xiàn)的一個(gè)問(wèn)題即算法復(fù)雜度與重建精度相互制約：低空間分辨率（使用較大的體素）降低算法復(fù)雜度，同時(shí)降低重建精度，高空間分辨率雖然能提高重建精度，然而增加了算法復(fù)雜性。擬采用多分辨率空間的策略，隨距離由近至遠(yuǎn)，采用由高至低的分辨率。本方案符合研究的目標(biāo)，即在一個(gè)統(tǒng)一的框架下進(jìn)行重建過(guò)程，無(wú)須表面拼接過(guò)程，所有的圖像信息得以充分地利用。3基于多攝像機(jī)的物體完整表面三維重建方法擬使用基于層次集（Level Set）曲面演化的方法。層次集方法主要是從界面?zhèn)鞑サ妊芯款I(lǐng)域中逐步發(fā)展起來(lái)的，它是處理封閉運(yùn)動(dòng)界面隨時(shí)間演化過(guò)程中幾何拓?fù)渥兓挠行У挠?jì)算工具。Osher等人于1988年首先提出依賴時(shí)間的運(yùn)動(dòng)曲面的層次集描述，其主要思想是將移動(dòng)的曲面作為零層次集嵌入高一維的層次集函數(shù)中，由曲面的演化方程得到層次集函數(shù)的演化方程，而嵌入的曲面總是其零層次集，最終只要確定零層次集即可確定移動(dòng)曲面演化的結(jié)果。層次集方法能夠自動(dòng)處理演化過(guò)程中幾何拓?fù)涞淖兓?，因此適用于多連通結(jié)構(gòu)物體的多攝像機(jī)三維重建。Faugeras和Keriven8于1998年提出使用層次集方法進(jìn)行曲面演化多攝像機(jī)三維重建。原方法描述為：以基于曲面演化的多攝像機(jī)三維重建方法為基礎(chǔ)，使用層次集（level set）方法處理演化過(guò)程，將由歐拉方程所得的偏微分方程組沿曲面法向方向的分量作為曲面演化速度，計(jì)算層次集函數(shù)的演化速度，使得由層次集函數(shù)的零層次集表示的物體表面的曲面朝著最大化相似性測(cè)度的方向移動(dòng)。原方法使用物體表面的微分幾何屬性驅(qū)動(dòng)曲面演化，使用交叉相關(guān)性（cross correlation）作為相似性測(cè)度。該方法能獲得相當(dāng)好的重建結(jié)果。該方法認(rèn)為可視某點(diǎn)的所有攝像機(jī)對(duì)決定該點(diǎn)位置的影響因子相同，可能會(huì)導(dǎo)致重建精度問(wèn)題（由其演示視頻可看出對(duì)存在嚴(yán)重遮擋的多連通結(jié)構(gòu)物體（雙環(huán)）的三維重建結(jié)果部分區(qū)域有較大誤差）。另外算法的收斂性沒有得到證明，即有時(shí)可能得不到正確結(jié)果，本研究?jī)?nèi)容擬以Faugeras和Keriven8的方法為基礎(chǔ)，從考慮可視任一點(diǎn)的所有攝像機(jī)對(duì)決定該點(diǎn)位置的影響因子出發(fā)，解決精確重建多連通結(jié)構(gòu)的物體存在的問(wèn)題；對(duì)該方法的原理，結(jié)合推導(dǎo)步驟作幾何解釋，說(shuō)明收斂性，若可能，給出收斂條件并證明。4基于多攝像機(jī)的三維重建系統(tǒng)實(shí)現(xiàn)方法利用3套IEEE1394接口三目圖像采集傳輸板建立9個(gè)視點(diǎn)的三維重建實(shí)驗(yàn)系統(tǒng)，研究大范圍場(chǎng)景多攝像機(jī)三維重建方法。各視點(diǎn)攝像機(jī)位置大致呈一字型排列，觀察同一方向。使用本課題研究的標(biāo)定方法標(biāo)定各攝像機(jī)的參數(shù)。所有攝像機(jī)同步采集場(chǎng)景圖像，應(yīng)用基于曲面演化的多攝像機(jī)三維重建技術(shù)，生成紋理映射的場(chǎng)景三維模型，并評(píng)估重建質(zhì)量。利用20套IEEE1394接口三目圖像采集傳輸板建立60個(gè)視點(diǎn)的三維重建實(shí)驗(yàn)系統(tǒng)，研究獲取多連通結(jié)構(gòu)物體完整稠密表面的多攝像機(jī)三維重建方法。20套三目立體視覺系統(tǒng)位于正十二面體的20個(gè)頂點(diǎn)上，觀察方向一致朝向正十二面體內(nèi)部。使用本課題研究的標(biāo)定方法標(biāo)定各攝像機(jī)的參數(shù)。所有攝像機(jī)同步采集場(chǎng)景圖像，應(yīng)用基于層次集曲面演化的多攝像機(jī)三維重建技術(shù)，生成水密的紋理映射的物體三維模型，并評(píng)估重建質(zhì)量。五 研究工作進(jìn)度安排理論研