基于神經(jīng)網(wǎng)絡(luò)的圖像3D建模算法設(shè)計(jì)與實(shí)現(xiàn)

1、基于神經(jīng)網(wǎng)絡(luò)的圖像3D建模算法設(shè)計(jì)與實(shí)現(xiàn)摘要：隨著計(jì)算機(jī)的發(fā)明和普及，網(wǎng)絡(luò)速度和計(jì)算能力的快速增長(zhǎng)深刻地影響和改變著人們的生產(chǎn)生活方式，其中以3D技術(shù)的影響最為突出。圖像3D建模技術(shù)，是目前圖像處理領(lǐng)域主要的研究方向之一。本文主要研究如何從圖像中提取3D信息。包括多種不同的基于多視角圖像3D建模方法以及最新的基于神經(jīng)網(wǎng)絡(luò)的圖像3D建模方法。最后，本文還重現(xiàn)了基于多角度單張圖像對(duì)3D物體的重建算法。該實(shí)驗(yàn)基于Matlab平臺(tái)，圖像數(shù)據(jù)及訓(xùn)練網(wǎng)絡(luò)來(lái)源于卡耐基梅隆大學(xué)計(jì)算機(jī)視覺(jué)課程。實(shí)驗(yàn)結(jié)果顯示該算法能夠生成準(zhǔn)確的2D圖片深度圖，并較為完整的重建了圖片的3D模型。關(guān)鍵詞：圖像處理；神經(jīng)網(wǎng)絡(luò)；3D重建

2、；點(diǎn)云算法Abstract:Withtheinventionandpopularizationofcomputers,therapidgrowthofnetworkspeedandcomputingabilityhasprofoundlyaffectedandchangedpeople'slifestyles,especiallyforthe3Dtechnology.Inparticular,image3Dmodelingtechnologyisoneofthemainresearchdirectionsinthefieldofimageprocessing.Therefore,thi

3、spapermainlyconsidershowtoextract3Dinformationfromsingle2Dimage.Itmainlyanalyzesavarietyofdifferent3Dmodelingmethodsbasedonmulti-viewimagesandneuralnetworks.Finally,thispaperalsoreproducesthereconstructionalgorithmfor3Dobjectsbasedonmulti-anglesingleimages.ThisexperimentwasbasedontheMatlabsoftware,a

4、ndtheimagedatacomesfromthecomputervisionclassatCarnegieMellonUniversity.Theexperimentalresultsshowthatthisalgorithmcangenerateaccurate2Dimagedepthmapsandreconstructthe3Dmodeloftheimagescompletely.Keywords:Imageprocessing;Neuralnetwork;3Dreconstruction;Pointcloudalgorithm摘要LAbstractL目錄U.1 引言11.1 研究背景

5、及意義11.2 圖像3D建模12 多視角圖像在3D圖像建模中的應(yīng)用32.1 基于深度圖重建42.2 基于點(diǎn)云重建52.2.1 點(diǎn)云重建算法62.2.2 點(diǎn)云重建結(jié)果82.3 本章小結(jié)93神經(jīng)網(wǎng)絡(luò)在3D圖像處理中的應(yīng)用93.1 人工神經(jīng)網(wǎng)絡(luò)93.2 卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionNeuralNetworks,CNN)103.2.1 卷積層103.2.2 下采樣層113.2.3 激活函數(shù)層113.3 卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用133.4 本章小結(jié)1343D圖像建模仿真實(shí)驗(yàn)144.1 理論背景144.2 實(shí)驗(yàn)步驟164.3 實(shí)驗(yàn)結(jié)果194.4 本章小結(jié)195結(jié)論與展望19參考文獻(xiàn)19致謝21II1引言

6、1.1 研究背景及意義近年來(lái)，隨著阿凡達(dá)、捉妖記等為代表的3D高票房影片出現(xiàn)。3D電影獨(dú)特的空間表現(xiàn)力為電影藝術(shù)的展現(xiàn)開(kāi)辟了新的維度，推動(dòng)了當(dāng)代電影市場(chǎng)的空前繁榮。有關(guān)3D電影的制作問(wèn)題也引起了廣泛的討論。除了直接使用昂貴的立體深度攝像機(jī)直接引導(dǎo)三維場(chǎng)景外，還可以在原始二維圖像的基礎(chǔ)上進(jìn)行轉(zhuǎn)換1。利用預(yù)測(cè)的深度信息，通過(guò)不同的方法重建二維圖像，實(shí)現(xiàn)基于深度圖像的三維圖像繪制（DIBR）技術(shù)。3D場(chǎng)景圖像的構(gòu)建關(guān)鍵因素在于獲取圖像對(duì)應(yīng)的深度圖。因此，如果能夠從二維圖像中準(zhǔn)確估計(jì)出深度，具不但能夠應(yīng)用于2D電影轉(zhuǎn)制3D電影領(lǐng)域，還能廣泛應(yīng)用于其它計(jì)算機(jī)視覺(jué)領(lǐng)域。目前，計(jì)算機(jī)領(lǐng)域存在著一個(gè)固有的瓶頸

7、，即當(dāng)三維世界的信息被映射成二維圖像時(shí)，不可避免地會(huì)造成局部空間結(jié)構(gòu)信息和表面形狀信息缺失。這將導(dǎo)致物體形狀2的錯(cuò)誤重建。在圖像語(yǔ)義分割方面，也會(huì)造成遮擋、粘連等投影方向的多目標(biāo)分割網(wǎng)。因此，該技術(shù)也可應(yīng)用于語(yǔ)義分割，姿態(tài)估計(jì)，場(chǎng)景理解。綜上可得，一旦能夠精確地恢復(fù)二維圖像的深度圖，整個(gè)計(jì)算機(jī)視覺(jué)領(lǐng)域?qū)?huì)向前邁出堅(jiān)實(shí)的一步。1.2 圖像3D建模我們生活在一個(gè)三維的世界中，但對(duì)它的觀察通常是用相機(jī)拍攝的二維影像的形式。因此在計(jì)算機(jī)視覺(jué)領(lǐng)域，一個(gè)關(guān)鍵目標(biāo)是恢復(fù)這些基于2D圖像的3D結(jié)構(gòu)。對(duì)真實(shí)物體或場(chǎng)景的三維幾何進(jìn)行建模是一項(xiàng)非常具有挑戰(zhàn)性的任務(wù)，目前研究人員已經(jīng)采用了不同的工具和方法，例如計(jì)算機(jī)

8、輔助設(shè)計(jì)（CAD）工具、胳膊探測(cè)器、活動(dòng)方法和被動(dòng)的基于圖像的方法等。其中，基于單幅圖像的3D模型重建方法是本文主要研究的主題，它提供了一種基于小部分成本獲取準(zhǔn)確3D內(nèi)容的快速方法。基于單幅圖像的三維重建算法的方法可以被描述為一一通過(guò)給定一組物體或第1頁(yè)（共21頁(yè)）場(chǎng)景的照片，根據(jù)已知材料，視點(diǎn)和照明的假設(shè)估計(jì)最有可能解釋這些照片的3D形狀條件（見(jiàn)圖1-1）。該定義強(qiáng)調(diào)了該任務(wù)的假設(shè)，即材料，視角和照明已知的假設(shè)。因此，如果沒(méi)有進(jìn)一步的假設(shè)，單一算法就不能單獨(dú)從照片正確重建3D幾何模型。在一組合理的假設(shè)下，例如剛性的朗伯紋理表面，最先進(jìn)的技術(shù)甚至可以從數(shù)百萬(wàn)張照片中對(duì)物體進(jìn)行高度詳細(xì)的重建。圖

9、1-1基于圖像的三維重建進(jìn)行這種推理的嘗試很多，可以追溯到該領(lǐng)域的最早幾年。盡管如此，目前研究進(jìn)展緩慢的原因有幾個(gè)：首先，這項(xiàng)任務(wù)本身就是不合適的。因?yàn)閷?duì)象總是出現(xiàn)在自我遮擋下，并且有無(wú)數(shù)的3D結(jié)構(gòu)可能會(huì)引起特定的2D視角。解決這個(gè)問(wèn)題的方法是通過(guò)學(xué)習(xí)統(tǒng)計(jì)模型來(lái)識(shí)別哪些3D結(jié)構(gòu)是可能的，哪些不是。其次，即使有了這樣的統(tǒng)計(jì)模型，推論也是棘手的。這包括將圖像像素映射到3D表示的子任務(wù)，在相同結(jié)構(gòu)的不同圖像之間檢測(cè)和建立對(duì)應(yīng)關(guān)系以及處理該3D空間中表示的多模態(tài)的子任務(wù)。第三，目前還不清楚3D結(jié)構(gòu)如何最好地表現(xiàn)出來(lái)，例如，通過(guò)密集的體素，通過(guò)定義多面體網(wǎng)格的頂點(diǎn)，邊和面的集合，或其他類(lèi)型的表示。最后，

10、由于地面實(shí)況三維數(shù)據(jù)收集起來(lái)很困難且成本很高，因此迄今為止數(shù)據(jù)集的規(guī)模和范圍相對(duì)有限。在本文中，我們使用基于多視角單幅圖片的點(diǎn)云算法來(lái)學(xué)習(xí)生成3D結(jié)構(gòu)模型,并通過(guò)神經(jīng)網(wǎng)絡(luò)算法進(jìn)行概率推理，從而從2D圖像中恢復(fù)3D結(jié)構(gòu)。第2頁(yè)（共21頁(yè)）2多視角圖像在3D圖像建模中的應(yīng)用本章主要討論幾種當(dāng)前流行的多視圖（multi-viewstereo,MVS）算法在3D圖像重建中的應(yīng)用。圖2-1、2-2展示了現(xiàn)代MVS算法所使用的兩種輸出場(chǎng)景表示法：深度圖和點(diǎn)云法。同時(shí)值得注意的是，由于點(diǎn)云重建通過(guò)基于點(diǎn)的渲染技術(shù)可視化4,因此可能會(huì)呈現(xiàn)完整紋理映射網(wǎng)格模型的外觀，但它們只是具有顏色的獨(dú)立3D點(diǎn)圖2-2基于點(diǎn)云重建為了評(píng)估MVS算法的準(zhǔn)確性，研究人員進(jìn)行了定量評(píng)估來(lái)驗(yàn)證。2006年，Seitz,Curless,Diebel,Scharstein和Szeliski等人為MVS定量評(píng)估奠定了基礎(chǔ)5,該算法評(píng)估了兩個(gè)低分辨率（640X480）圖像對(duì)象數(shù)據(jù)集上的MVS算法。這個(gè)評(píng)估被稱(chēng)為MiddleburyMVS評(píng)估。雖然使用低分辨率圖像可能并不能等同于高分辨率數(shù)碼相機(jī)，但它具有將校準(zhǔn)誤差影響降至最低的優(yōu)勢(shì)：因?yàn)檩^高的圖像分辨率需要更精確和可重復(fù)性的機(jī)械設(shè)備（例如，機(jī)器人手臂）。幾年之后，StrechaHa