雙目視覺地圖像立體匹配系統(tǒng)說明書文檔

1、文案大全文案大全雙目視覺的圖像立體匹配系統(tǒng)文檔1引言計算機視覺技術(shù)的發(fā)展將光與影的藝術(shù)和計算機的邏輯性緊密結(jié)合起來，而雙目立體視覺技術(shù)更將這種結(jié)合從平面二次元上升到立體的角度，為我們的生產(chǎn)生活提供了新的技術(shù)和工具，例如已經(jīng)被普遍運用的電影技術(shù)，研發(fā)中的虛擬現(xiàn)實、谷歌視覺眼鏡、汽車自動駕駛技術(shù)，即將上市的淘寶虛擬實景購物等，不斷改變著我們的生活，另外雙目立體視覺在軍事、醫(yī)學(xué)、工業(yè)等領(lǐng)域都有其重要的作用，是機器感知物體幾何層級的基礎(chǔ)，因此對雙目視覺的理論研究成為推動立體視覺乃至計算機視覺技術(shù)在各個領(lǐng)域創(chuàng)造更高價值的重要因素。在雙目視覺的研究和運用中，最重要的一個階段無疑為將平面圖像轉(zhuǎn)化為可計算機可

2、識別的立體模型，這里將用到立體匹配技術(shù)，目前雙目視覺研究領(lǐng)域用到的立體匹配算法及其衍生算法有很多種，算法的效率和匹配精度將直接影響到算法運用的響應(yīng)時間和準確度，1當(dāng)今各種視覺智能設(shè)備的發(fā)展需要將立體匹配過程直接嵌入到單片機中，這種場景下，算法的效率和匹配精度將直接決定不同運算性能的嵌入式設(shè)備的選擇和產(chǎn)品推廣后的用戶體驗度，也將直接決定設(shè)備成本，因此研究出更加速度快、精度高的立體匹配算法在各領(lǐng)域都具有劃時代的重要意義。2系統(tǒng)方案設(shè)計2.雙1目視覺的圖像立體匹配系統(tǒng)說起立體視覺系統(tǒng)，要從人的雙眼說起，人眼是一個典型的雙目視覺系統(tǒng)，每只眼睛是一個攝像機，兩只平行的眼睛是兩臺平行的攝像機，因為兩只眼睛

3、的位置不同，看到的圖像是有差異的，這個差異就是立體視覺的基礎(chǔ)，視覺信號傳入大腦，大腦利用其強大的匹配能力，就可以基本確定圖像中的物體的立體信息，或者叫做圖像的深度信息。隨著人們知識和生產(chǎn)生活的發(fā)展，需要通過仿真立體視覺的原理，讓計算機獲取到圖像從向發(fā)展，即獲取圖像的深度信息，以實現(xiàn)一些和空間視覺有關(guān)的需求，這就出現(xiàn)了機器立體視覺技術(shù)。Object圖Object圖2.1立體視覺原理示意圖如圖是一張立體視覺原理示意圖，和為兩臺攝像機，物體上的點分別對應(yīng)左右圖像上點和2通過算法找到圖像左右圖像上對應(yīng)的點12這個過程則是立體匹配。求解1、構(gòu)成的三角形，我們就能得到點的坐標(biāo)，也就能得到的深度，如圖所示。

4、圖2.2標(biāo)準雙目視覺系統(tǒng)投影成像示意圖其中，點O1和點0r分別是左右兩個攝像頭的光學(xué)中心位置，即兩個攝像頭成像坐標(biāo)系的光學(xué)原點，為左右兩個攝像頭的焦距，在這里，點（）以O(shè)l為坐標(biāo)中心，左攝像頭成像坐標(biāo)系為坐標(biāo)系，由相似三角形的性質(zhì)，有：uUbZfXxfvrll-,一bZXZY因此找到點在左右圖像上對應(yīng)的ai和ar則是重中之重，一個好的立體匹配算法對雙目視覺系統(tǒng)起到了決定性作用，我們將在本文接下來的章節(jié)對最有代表性的算法做具體介紹。雙目立體視覺之間模擬了人眼視覺構(gòu)造，因此雙目視覺在各個領(lǐng)域都具有廣泛的運用，比如機器人導(dǎo)航領(lǐng)域，雙目視覺可以被運用在汽車自動駕駛，機器人自動導(dǎo)航；在虛擬現(xiàn)實領(lǐng)域，通過

5、對雙目視覺的研究，人們可以虛擬出立體視覺，極大豐富了人類生活；在航空航天領(lǐng)域，雙目視覺已經(jīng)運用在飛行器自動導(dǎo)航和飛行器避障；在工業(yè)上，雙目視覺被運用在機械自動化制造，工業(yè)監(jiān)測等方面。一個完整的雙目立體視覺系統(tǒng)通常包括圖像獲取、攝像機標(biāo)定、圖像矯正、立體匹配和深度恢復(fù)五個方面：（1）圖像獲取通過模擬雙目的方式，利用平行的兩臺攝像機對左右眼圖像進行獲取。（2）立體標(biāo)定通過圖像特征點獲取，建立攝像機的幾何成像模型（3）圖像矯正把實際中非共面行對準的兩幅圖像，校正成共面行對準，因為當(dāng)兩個圖像平面是完全共面行對準時，計算立體視差是最簡單的7（4）立體匹配通過算法對圖像進行立體匹配，建立圖像的立體模型。深

6、度恢復(fù)通過匹配結(jié)果，恢復(fù)圖像的立體感。2.2雙目視覺的圖像立體匹配系統(tǒng)框圖在進行圖像的立體匹配之前，需要得到可匹配的圖像，既使得左右雙眼圖片在平面上完全行對準，這時計算立體視覺差是最簡單的，而這種行對準圖像是可以通過圖像校正完成的，但由于每對攝像機的參數(shù)（位置、畸變等）不同，在校正時需要拿到攝像頭的標(biāo)正值，因此在校正前需要對攝像頭進行標(biāo)定?？偟牧鞒虉D如圖3.所1示：圖3.1系統(tǒng)設(shè)計框圖通過采集左右攝像頭的圖像和標(biāo)定圖像進行反復(fù)對比標(biāo)定，得到圖像的標(biāo)定參數(shù)，進而進行圖像校正，校正后的圖像即可通過立體匹配算法進行深度匹配。3設(shè)備選型及硬件系統(tǒng)詳細設(shè)計3.設(shè)1備選型本系統(tǒng)選用不同型號的兩個攝像頭作為

7、雙目視覺采集攝像機。3.2硬件系統(tǒng)設(shè)計系統(tǒng)所用硬件系統(tǒng)配置如下：C四核處理器、內(nèi)存、顯示卡軟件設(shè)計及測試4.開1發(fā)環(huán)境編譯器：0視覺庫：4.概2要設(shè)計4.2流.程1圖4.2主.要2函數(shù)及實現(xiàn)功能3詳細設(shè)計圖.像1采集本論文采用對雙目圖像進行采集，攝像機用到是視覺平行的兩臺攝像頭，如圖4.所1示：圖4.1圖像采集用的雙目攝像頭說明：將攝像頭使用連接線與電腦相連接，使用在同一時間對圖像進行采集，為了攝像頭標(biāo)定參數(shù)無變化，整個實驗過程中需要保持攝像頭位置不變，否則實驗會不準確。立.體2標(biāo)定在實際拍攝中，有的攝像頭會產(chǎn)生畸變，且采集到的圖像極線相交，為了降低后續(xù)圖像匹配的難度，我們需要得到兩個攝像頭的

8、焦距、主點坐標(biāo)、傾斜系數(shù)、畸變系數(shù)以及它們之間的旋轉(zhuǎn)矢量，現(xiàn)多采用張定友棋盤格標(biāo)定法對攝像頭進行標(biāo)定，他利用了攝像頭拍攝的圖像與實物間存在線性關(guān)系，表達式如下：一.TOC o 1-5 h z:，s$Krrrt123I51()其中，代表攝像機的內(nèi)參數(shù)矩陣，表示實物投影到圖像平面上的齊次坐標(biāo)，和是攝像機的外參數(shù)，分別代表以攝像機為中心的坐標(biāo)系相對世界坐標(biāo)系的旋轉(zhuǎn)矩陣和平移向量。采用棋盤格能夠得到多個角點的位置，解方程組得到攝像機的內(nèi)外參數(shù)1。5和的標(biāo)定都采用了張定友定標(biāo)法，因為標(biāo)定工具箱較標(biāo)定結(jié)果更為準確，因此，本文采用對攝像機進行進行標(biāo)定，本文用,以為邊長的黑白棋盤格進行標(biāo)定，如圖所示：圖為邊長

9、的棋盤格標(biāo)定圖像標(biāo)定具體步驟如下：(1)使用左右攝像頭采集同一時間下同一標(biāo)定板圖像，采集過程中，應(yīng)讓標(biāo)定圖像處于攝像頭視野的中間位置(2)分別讀取攝像頭圖像對兩個攝像頭進行單獨標(biāo)定，本文采集了15張標(biāo)定圖完成標(biāo)定，每個攝像頭的標(biāo)定結(jié)果單獨儲存。()將左右攝像頭文件讀入的標(biāo)定工具箱，進行立體標(biāo)定。標(biāo)定圖像如下圖4.和44.5圖4.左4攝像頭標(biāo)定圖像集圖4.5右攝像頭標(biāo)定圖像集單攝像頭標(biāo)定結(jié)果表左攝像頭標(biāo)定結(jié)果參數(shù)結(jié)果焦距主點409.05右7191.06314.3傾斜系數(shù)0.000.00畸變-0.18610.00000像素誤差0.004470.00000表右攝像頭標(biāo)定結(jié)果參數(shù)結(jié)果焦距主點337.右

10、9右8103.305615.0傾斜系數(shù)0.000.00畸變-0.018-0.00000像素誤差如圖4.和64.分7布表示標(biāo)定時棋盤標(biāo)定板和兩個攝像機的位置關(guān)系：圖4.6圖4.6棋盤標(biāo)定板與左攝像機位置關(guān)系圖4.7棋盤標(biāo)定板與右攝像機位置關(guān)系立體標(biāo)定結(jié)果讀取左右攝像機的標(biāo)定參數(shù)，進行立體標(biāo)定后，其結(jié)果如表4.所3示：表立體攝像頭標(biāo)定結(jié)果攝像頭參數(shù)結(jié)果左攝像頭焦距士主點402.3025181.025410.12傾斜系數(shù)0.000.00畸變0右攝像頭焦距919.299061.85846.35主點402.3025181.025410.12傾斜系數(shù)0.000.00畸變-0.23129.73679-00.

11、002605.010.000000.066201.793310.00雙目攝像頭旋轉(zhuǎn)矢量士0.016100.00116轉(zhuǎn)化矢量2雙攝像機與棋盤標(biāo)定板的位置關(guān)系如圖4.所8示：Extrinsicparameters圖4.8雙攝像機與棋盤標(biāo)定板的位置關(guān)系4.3校.正3為了在立體匹配時，左右攝像機圖像的平面是行對準的，需要對圖像進行校正，而圖像校正，使用圖像庫里的算法比較適合，采用算法比利用攝像機標(biāo)定參數(shù)，對圖像進行校正1，6其過程如圖4.所9示：圖4.圖9像校正過程實現(xiàn)過程如下：分別讀取立體標(biāo)正后的標(biāo)定參數(shù)，之后使用自帶的庫進行消除畸變和圖像校正矯正的結(jié)果分別對比4.1和04.1可1知，如圖4.1和

12、04.1分1別為左攝像機和右攝像機校正前后的圖像對比：圖左0圖左0右攝像機校正前左1左1右攝像機校正后圖4.3立.體4匹配經(jīng)過校正后的圖像左右平面為行對準的，之后即可使用不同的立體匹配算法對左右圖像進行立體匹配，為了之后做算法的效率和匹配精度的性能分析，本文在算法運行的同時，通過打印時間戳的方法獲取其運行時長。并通過操作系統(tǒng)監(jiān)控其對內(nèi)存、的占用情況?；趫D像分割的置信傳播立體匹配算法匹配圖4.1圖4.1算2法流程圖局部匹配求初始視差圖由于優(yōu)化方式不同，立體匹配通常可以分為局部匹配和全局匹配算法1。本7文首先采用局部匹配算法求得初始視差圖。要判斷兩個像素點的相似度，僅憑單個像素顯然是不夠的。當(dāng)兩

13、個像素塊反映同一個場景時，這兩個像素塊的像素值就會比較相似。最常見的圖像塊是邊長為奇數(shù)的正方形，關(guān)鍵點位置就是正方形的中心，可通過比較兩個塊內(nèi)像素的匹配代價函數(shù)，來衡量兩個正方形圖像塊的相似度。經(jīng)典的局部匹配代價函數(shù)有絕對誤差和算法誤差平方和算法和歸一化積相關(guān)算法M.Ns.1t.1Sa(s,t)E(Si，j)|.(s,tE(T)其中，E(Si，J)、E(T)分別表示處子圖、模板的平均灰度值。算法和實現(xiàn)較簡單，運行時間短，但容易受到光線等影響，影響匹配精度，因算法求初始視差圖。此本文采用算法求初始視差圖。得到初始視差值后，為剔除匹配不正確的點，本文采用一致性校驗法校驗視差圖，即先以左攝像頭采集圖

14、片作為目標(biāo)圖片，右攝像頭采集圖片作為待匹配圖，在右圖求得與左圖像素點匹配的點后，再以右攝像頭圖片作為目標(biāo)圖片，在左圖求得與右圖像素點匹配的點，若兩次匹配后找到的點一致，則視為正確的匹配點，若不一致，則一定至少有一次匹配是錯誤的，則剔除該點得到的視差值。（二）利用分割圖片的分割結(jié)果擬合各像素塊經(jīng)過分割圖片后視各圖片模塊在同一平面，根據(jù)各區(qū)域內(nèi)校驗后仍為正確的視覺點，計算出各區(qū)域內(nèi)的視覺方程，并組成視覺模板集。（三）通過置信傳播算法，進行全局最優(yōu)分配第二步中獲取的視覺平面模板只是根據(jù)各個區(qū)域內(nèi)部視差分布而獲得的,并沒有考慮區(qū)域間的相互作用,存在較大誤差，之后需要使用置信傳播算法對其進行全局匹配，將

15、每個視覺模板作為一個節(jié)點，利用全局的置信傳播進行不斷的迭代推算，直到最終收斂。利用算子的特征提取立體匹配算法匹配1立體圖像對飛直方圖均衡化特征點匹配匹配點優(yōu)化求特征點視差對離散視差圖插值輸出視差圖）圖算法流程圖（一）直方圖均衡化普通攝像頭拍攝的照片常常會出現(xiàn)這樣的情況，在某些強度值出現(xiàn)的頻率比其他強度值高，呈現(xiàn)出來的照片會是灰蒙蒙的。通常情況下，一張圖片各像素的強度值都均衡分布，才會被認為是一張質(zhì)量高的圖片。在這種情況下，便需要用直方圖均衡化使圖片的直方圖居于平穩(wěn)。但是直方圖均衡化也有它的缺點，就是容易模糊掉有的像素點，而在圖像本真像素非常重要的雙目視覺立體匹配中，我們無法確定直方圖均衡化對匹

16、配的影響是否會利大于弊。于是本文用中提供的函數(shù)進行直方圖均衡化處理，比較均衡化前后對立體匹配的影響。（）直方圖均衡化前立體匹配結(jié)果（）直方圖均衡化前立體匹配結(jié)果（）直方圖均衡化后立體匹配結(jié)果圖4.1直4方圖均衡化前后立體匹配結(jié)果的比較分別對、B三組不同立體圖像對進行試驗，所得結(jié)果如下，其中，（）、（）、（1分別為直方圖均衡化前的匹配結(jié)果，（）、（）、（2為對應(yīng)的立體圖像對直方圖均衡化后的匹配結(jié)果。表4.直5方圖均衡化前后立體匹配結(jié)果比較實驗圖片總特征點數(shù)正確匹配數(shù)正確率實驗圖片總特征點數(shù)正確匹配數(shù)正確率A（1）161062.5%A（2）514588.24%B（1）9888.89%B（2）121

17、191.67%C（1）221568.18%（2由表可得，直方圖均衡化后算子特征點匹配數(shù)增多，正確率提高。（二）匹配特征點后優(yōu)化，排除匹配錯誤的點，得到離散的視差圖，通過雙線性插值得到最終視差圖。特征點優(yōu)化利用的是算法，該算法利用少量數(shù)據(jù)集，對特定的數(shù)學(xué)實體進行估算，利用不少于8個匹配對來估算基礎(chǔ)矩陣，剩下的匹配對均以這個基礎(chǔ)矩陣為標(biāo)準來衡量，不滿足時則舍棄。因此當(dāng)8個匹配對自身正確率不高時，留下的支撐對也會越來越少，因此找到正確的個匹配對很重要。本文利用的（）函數(shù)找到正確的基礎(chǔ)矩陣。運行效果如下圖所示：（）優(yōu)化前匹配結(jié)果（）極線優(yōu)化后匹配結(jié)果圖優(yōu)化前后對比去掉匹配錯誤的點后，就可以求特征點的視

18、差了，由于之前已經(jīng)完成校正，因此兩張圖的極線是平行的，可直接通過特征點橫坐標(biāo)相減得到視差值，此時的視差值還是離散的，需根據(jù)實物的數(shù)學(xué)形態(tài)等進行插值，即可得到最終的視差圖。4.4結(jié)構(gòu)化實現(xiàn)代.1碼測.試2本次設(shè)計一共進行了四組實驗，前三組利用網(wǎng)站得到的標(biāo)圖分別用兩種本次設(shè)計一共進行了四組實驗，前三組利用網(wǎng)站得到的標(biāo)圖分別用兩種算法進行匹配，第四組實驗使用雙目攝像頭采集圖片，經(jīng)過相同的標(biāo)定、校正過程，最后兩種不同的算法實現(xiàn)匹配，四組對照試驗組的匹配結(jié)果如下。1、基于圖像分割的置信傳播立體匹配算法匹配結(jié)果第一組：右視圖匹配圖左視圖第6一組試驗結(jié)果圖第二組：左視圖右視圖匹配圖圖4.1第7二組試驗結(jié)果圖第三組：匹配圖左視圖右視圖圖4.1第8三組試驗結(jié)果圖第四組：左視圖右視圖匹配圖圖4.1第9四組試驗結(jié)果圖算子的特征提取立體匹配算法匹配結(jié)果第一組：左視圖右視圖匹配圖圖4.2第0一組試驗結(jié)果圖第二組：左視圖右視圖匹配圖圖4.2第1二組試驗結(jié)果圖第三組：左視圖右視圖匹配圖圖4.2