雙目立體視覺(jué)三維重建技術(shù)

雙目立體視覺(jué)三維重建技術(shù)盧毅;李曉艷;徐熙平【摘要】使用兩臺(tái)CCD相機(jī)采集目標(biāo)物體的二維圖像，并對(duì)相機(jī)進(jìn)行標(biāo)定產(chǎn)生類似于人類的視差效果.再對(duì)二維圖像進(jìn)行立體匹配及深度信息的提取,最終完成目標(biāo)物體的三維重建.【期刊名稱】《長(zhǎng)春工業(yè)大學(xué)學(xué)報(bào)（自然科學(xué)版）》【年（卷），期】2015（036）006【總頁(yè)數(shù)】5頁(yè)（P678-682）【關(guān)鍵詞】雙目視覺(jué);像機(jī)標(biāo)定;立體匹配;深度提取;三維重建【作者】盧毅;李曉艷;徐熙平【作者單位】長(zhǎng)春理工大學(xué)光電工程學(xué)院，吉林長(zhǎng)春130022;長(zhǎng)春理工大學(xué)光電工程學(xué)院，吉林長(zhǎng)春130022;長(zhǎng)春理工大學(xué)光電工程學(xué)院，吉林長(zhǎng)春130022【正文語(yǔ)種】中文【中圖分類】TP391.70引言通過(guò)計(jì)算機(jī)或機(jī)器人實(shí)現(xiàn)像人類那樣靈活、高效的視覺(jué)，是科技工作者多年來(lái)為之努力的目標(biāo)。計(jì)算機(jī)視覺(jué)是計(jì)算機(jī)把采集的圖像經(jīng)過(guò)圖像處理、人工智能等手段來(lái)模擬人類或生物視覺(jué)系統(tǒng)功能，其研究的目標(biāo)是通過(guò)一幅或多幅二維圖像認(rèn)知（識(shí)別、理解、描述和存儲(chǔ)）三維場(chǎng)景信息（如形狀、大小、位置、姿態(tài)等幾何信息）的能力，雙目立體視覺(jué)是其重要分支之一［1-2］。根據(jù)仿生物學(xué)視覺(jué)系統(tǒng)原理，利用兩個(gè)CCD相機(jī)從不同的角度獲取兩幅數(shù)字圖像，通過(guò)立體匹配計(jì)算出兩幅圖像像素的位置偏差（即視差）來(lái)獲取這一場(chǎng)景的立體幾何信息與深度信息，并建立三維坐標(biāo)，重建該場(chǎng)景的三維形狀與位置關(guān)系［3-4］。雙目立體視覺(jué)系統(tǒng)由圖像采集、攝像機(jī)標(biāo)定、特征提出、立體匹配、三維信息恢復(fù)和三維信息重建等6部分組成［5-6］。Marr認(rèn)為計(jì)算機(jī)視覺(jué)是一個(gè)信息處理的過(guò)程，并分為3個(gè)層次，即計(jì)算理論層次、表達(dá)與算法層次和硬件實(shí)現(xiàn)層次，Marr視覺(jué)系統(tǒng)處理過(guò)程如圖1所示［7-8］。圖1Marr視覺(jué)系統(tǒng)處理過(guò)程1攝像機(jī)標(biāo)定雙目立體視覺(jué)系統(tǒng)利用兩臺(tái)CCD相機(jī)獲取兩幅二維圖像，通過(guò)相關(guān)算法，計(jì)算機(jī)得到該場(chǎng)景的三維坐標(biāo)及深度信息，進(jìn)而提取深度信息及三維重建。該場(chǎng)景中某點(diǎn)的三維坐標(biāo)與二維圖像中對(duì)應(yīng)點(diǎn)之間關(guān)系是由CCD相機(jī)的幾何模型決定的，幾何模型的參數(shù)就是攝像機(jī)的參數(shù)，它包括內(nèi)參數(shù)和夕卜參數(shù)。攝像機(jī)的參數(shù)通過(guò)實(shí)驗(yàn)獲得，實(shí)驗(yàn)及計(jì)算的過(guò)程就叫做攝像機(jī)的標(biāo)定［9-10］。CCD相機(jī)的成像模型在雙目立體視覺(jué)系統(tǒng)中，三維場(chǎng)景中的點(diǎn)與二維圖像中對(duì)應(yīng)點(diǎn)之間的聯(lián)系通過(guò)建立相機(jī)成像的幾何模型來(lái)確立。小孔透視成像幾何模型是一種最常用的幾何模型，它包括光心、光軸和成像平面三部分，其原理如圖2所示。圖2小孔透視成像幾何模型CCD相機(jī)標(biāo)定坐標(biāo)系從三維場(chǎng)景投影到相機(jī)二維像平面的過(guò)程中，主要涉及以下坐標(biāo)系。1.2.1圖像像素坐標(biāo)系用來(lái)表示三維場(chǎng)景中的點(diǎn)在二維圖像上的投影，坐標(biāo)用（u,v）表示像素在數(shù)組中的行數(shù)和列數(shù)，原點(diǎn)在平面圖像的左上角，u軸水平向右，v軸水平向下。1.2.2圖像物理坐標(biāo)系表征圖像像素的位置而像素沒(méi)有實(shí)際物理意義，用坐標(biāo)（x，y）來(lái)表示，原點(diǎn)在平面圖像中心。圖像坐標(biāo)系如圖3所示。圖3圖像坐標(biāo)系1.2.3相機(jī)坐標(biāo)系相機(jī)光心為原點(diǎn)，X、Y軸與圖像坐標(biāo)系X、Y光軸平行，光軸為Z軸與平面圖像的交點(diǎn)稱圖像主點(diǎn)，用（Xc，Yc，Zc）表示。1.2.4世界坐標(biāo)系表示三維場(chǎng)景點(diǎn)的絕對(duì)坐標(biāo)，也叫絕對(duì)坐標(biāo)系，用（Xw，Yw，Zw）表示。相機(jī)坐標(biāo)系與世界坐標(biāo)系如圖4所示。圖4相機(jī)坐標(biāo)系與世界坐標(biāo)系CCD相機(jī)標(biāo)定參數(shù)圖3描述了物理坐標(biāo)系與像素坐標(biāo)系之間的關(guān)系，設(shè)主點(diǎn)O1在u，v坐標(biāo)系的坐標(biāo)為（u0，v0），每一個(gè)像素在u和v軸上物理尺寸為dx和dy，在不考慮畸變的情況下，變換關(guān)系如下：用矩陣形式表示如下：圖4描述了相機(jī)坐標(biāo)系和世界坐標(biāo)系的關(guān)系，也就是外參數(shù)。夕卜參數(shù)表示相機(jī)在世界坐標(biāo)系中的位置和方向，用旋轉(zhuǎn)矩陣R和平移矢量T來(lái)表示。三維場(chǎng)景中某點(diǎn)P在世界坐標(biāo)系和相機(jī)坐標(biāo)系下的齊次坐標(biāo)分別為（Xw,Yw,Zw,1）T和（Xc,Yc,Zc,1）T，它們之間的關(guān)系為：由式（1）~式（3）得：式中：K—相機(jī)內(nèi)參數(shù);s——扭轉(zhuǎn)因子；P——3x4的投影矩陣。2雙目視覺(jué)立體匹配技術(shù)立體匹配研究的主要內(nèi)容是三維場(chǎng)景中不同角度拍攝的二維圖像像素之間的對(duì)應(yīng)關(guān)系，目的在于獲取精確的視差圖，進(jìn)而完成深度檢測(cè)。立體匹配過(guò)程大多采用灰度圖像進(jìn)行匹配，但二維圖像受到鏡頭畸變、圖像噪聲、物體幾何特征和光照等原因的影響，得到的圖像會(huì)有所差異。多種匹配方法都包含3個(gè)基本問(wèn)題，即匹配基元、匹配準(zhǔn)則和匹配算法。從采集到的二維圖像中提取對(duì)應(yīng)的圖像特征，是立體匹配的核心步驟。用來(lái)描述圖像特征的元素稱之為基元，它包含特征點(diǎn)、邊緣、區(qū)域、相位和灰度圖像等。匹配基元的選取結(jié)果直接影響到視差圖的效果，成功的基元匹配應(yīng)具有唯一性、穩(wěn)定性、不變性、可區(qū)分性和有效解決歧義匹配的能力。源圖像中的一個(gè)特征點(diǎn)，在對(duì)應(yīng)的待匹配圖像中可能存在多個(gè)相似的候選匹配基元。因此必須引入一定的約束準(zhǔn)則作為輔助判據(jù)，來(lái)得到唯一正確的對(duì)應(yīng)關(guān)系。匹配準(zhǔn)則就是要去除不符合要求的干擾因素，提高抗誤匹配的能力，減少算法的計(jì)算量。采用廣為應(yīng)用的極限約束準(zhǔn)則來(lái)作為匹配準(zhǔn)則，如圖5所示。圖5極限約束準(zhǔn)則原理示意圖立體匹配的實(shí)質(zhì)就是研究如何在一定的約束準(zhǔn)則下，實(shí)現(xiàn)最佳搜索?，F(xiàn)有的基于區(qū)域的匹配算法主要分為全局最優(yōu)搜索算法和局部最優(yōu)搜索算法。文獻(xiàn)［11］提出立體匹配算法的實(shí)現(xiàn)過(guò)程分為4步，即匹配代價(jià)計(jì)算、代價(jià)值聚合、視差計(jì)算和視差精度提升。3雙目視覺(jué)三維重建方法雙目立體視覺(jué)的三維重建就是指從采集到的兩幅二維圖像中恢復(fù)目標(biāo)物體的三維坐標(biāo)及幾何形狀的過(guò)程。三維目標(biāo)物體的深度信息隱含在兩幅二維圖像中，通過(guò)深度計(jì)算提取出這些隱含在二維圖像中的深度信息，再經(jīng)過(guò)空間點(diǎn)集的三維重建算法來(lái)進(jìn)行三維重建。雙目成像系統(tǒng)中兩臺(tái)CCD相機(jī)的光學(xué)中心之間的距離為基線B，空間某點(diǎn)坐標(biāo)投射到像平面坐標(biāo)分別為（x1，y1）和（x2，y2），雙目成像系統(tǒng)如圖6所示。兩臺(tái)CCD相機(jī)拍攝的同一目標(biāo)體上P點(diǎn)的兩幅圖像坐標(biāo)分別為（Xleft，Yleft）和（Xright，Yright），目標(biāo)物體上P點(diǎn)的深度距離為：式（5）中，視差為Disparity^Xleft-Yleft，基線B和焦距f為已知量，可以計(jì)算出P點(diǎn)的三維坐標(biāo)。這種通過(guò)左右投影點(diǎn)計(jì)算出空間點(diǎn)坐標(biāo)的方法，稱為點(diǎn)對(duì)點(diǎn)運(yùn)算。利用相關(guān)軟件對(duì)目標(biāo)體的三維坐標(biāo)進(jìn)行計(jì)算，顯示出三維模型經(jīng)過(guò)紋理粘貼得到真實(shí)三維模型。圖6雙目成像系統(tǒng)示意圖雙目立體成像視差圖如圖7所示。應(yīng)用本系統(tǒng)對(duì)復(fù)雜目標(biāo)進(jìn)行三維重構(gòu)，實(shí)驗(yàn)結(jié)果如圖8所示。圖7雙目立體成像視差圖圖8復(fù)雜目標(biāo)的三維重建圖像圖8（a）為未經(jīng)過(guò)旋轉(zhuǎn)的立體圖，立體感不強(qiáng)，效果不明顯；（6）和（c）為三維空間內(nèi)經(jīng)過(guò)旋轉(zhuǎn)的圖像，圖中直線為物體旋轉(zhuǎn)的中心軸線，立體感較強(qiáng)；（d）為被測(cè)目標(biāo)的三維點(diǎn)云圖像。4結(jié)語(yǔ)介紹了基于雙目立體視覺(jué)對(duì)目標(biāo)體進(jìn)行三維重建的方法，著重分析了相機(jī)的標(biāo)定、立體匹配算法及深度信息的提取，實(shí)現(xiàn)了通過(guò)拍攝兩幅二維圖像重建三維場(chǎng)景的目標(biāo)，并達(dá)到了良好的效果。參考文獻(xiàn)：[1]MinglunGong,Yee-HongYang.Genetic-asedstereoalgorithmanddisparitymapevaluation[J].InternationalJournalofComputerVision,2002(1/3):63-77.[2]KrystianMikolajczyk,CordeliaSchmid.Scale&affineinvariantinterestpointdetectors[J].InternationalJournalofComputerVision,2004(1):63-86[3]劉慶華，唐伯良，董戎萍.雙目立體匹配圖像對(duì)的預(yù)處理研究[J].計(jì)算機(jī)工程與設(shè)計(jì)，2005,26(3):793-795.[4]邱茂林，馬頌德，李毅.計(jì)算機(jī)視覺(jué)中攝像機(jī)定標(biāo)綜述[J].自動(dòng)化學(xué)報(bào)，2000,26(1):43-45.[5]羅桂娥，劉小群.區(qū)域與特征相結(jié)合的立體匹配算法[J].計(jì)算機(jī)安全，2011(5):14-17.[6]裴婭男.單幅圖像三維目標(biāo)定位及重建[J].長(zhǎng)春工業(yè)大學(xué)學(xué)報(bào)：自然科學(xué)版，2014,35(6):660-667.[7]曹之樂(lè)，嚴(yán)中紅，王洪.雙目立體視覺(jué)匹配技術(shù)綜述[J].重慶理工大學(xué)學(xué)報(bào)，2015,29(2):14-17.[8]張梁，徐錦法，夏青元.雙目立體視覺(jué)的無(wú)人機(jī)位姿估計(jì)算法及驗(yàn)證[J].哈爾濱工業(yè)大學(xué)學(xué)報(bào)，2014,46(5):66-71.[9]戴玉艷，朱燦焰，季愛(ài)明，等.一種基于圖像處理的雙目視覺(jué)校準(zhǔn)方法[J].電子