立體視覺匹配

1、立體視覺匹配4分開放分類：人工智能圖像處理計算機視覺收藏分享到頂2編輯詞條目錄1背景2發(fā)展與現(xiàn)狀3問題描述展開全部摘要糾錯編輯摘要立體視覺匹配(Stereo Correspondence )的目標(biāo)是從不同視點圖像中找到匹配的對應(yīng)點。 立體視覺匹配(Stereo Corresp on de nee )是計算機視覺 中的一個重要而又非常困難的問題， 它的目標(biāo)是從不同 視點圖像中找到匹配的對應(yīng)點。立體視覺匹配-背景人類的雙目立體視覺 系統(tǒng)是一個非常智能的系統(tǒng)。 場景中的光線在人眼這個精密的成像系統(tǒng)中被采集，通過神經(jīng)中樞 被送入包含有數(shù)以億計的 神經(jīng)元的大腦中被并行的處理，得到了實時的高清晰度的準(zhǔn)確的

2、深度感覺信息。憑借著大腦的智能與人類的知識，即使是高度近視的人，在摘掉眼鏡之后仍然能夠得到比較準(zhǔn)確的深度感。這樣智能的系統(tǒng)， 使得人類對環(huán)境的適應(yīng)能力大大提高， 很多復(fù)雜的動作能夠得以完成：如行走、體育運動、駕駛車輛以及進行科學(xué)實驗等。相比之下，機器的立體視覺系統(tǒng)則要落后得多。相機采集到的圖像數(shù)據(jù)中可能存在較大的噪聲，相機參數(shù)也有可能不對稱；用于處理圖像的計算機大部分還是馮$cdot$諾依曼結(jié)構(gòu)的串行計算機，處理能力與人腦相差甚遠(yuǎn)。計算機視覺的研究歷史也不長：上世紀(jì)七十年代末之前的視覺研究主要集中于生理學(xué)和心理學(xué)上；在大衛(wèi)馬爾提出了視覺計算模型 以后,人們才慢慢的開始利用計算機和數(shù)學(xué)模型進行視

3、覺處理。早期的立體視覺，由于受限于硬件條件，只能對圖像上的特征點進行匹配，得到離散點的深度信息。然而，計算機硬件的發(fā)展非常迅速，正如摩爾定律所指出的，每18個月，計算機的硬件價格就下降一半，而性能則提高一倍。當(dāng)計算機的處理能力不斷提高的時候，人們開始嘗試計算整幅圖的稠密對應(yīng)關(guān)系，同時也開始采用一些更加復(fù)雜更加準(zhǔn)確的數(shù)學(xué)工具進行計算。當(dāng)前計算機立體視覺的水平與人類的雙目視覺水平還相距甚遠(yuǎn)，對它的研究仍然是一個非?；钴S的領(lǐng)域。大量的學(xué)校、公司以及研究機構(gòu)的研究人員仍然在進行著對計算機立體視覺的 研究，這是因為計算機立體視覺與人眼立體視覺相比，主要有以下不可替代的優(yōu)點：精度高。 人眼的立體感知能力雖

4、然很強， 能夠很輕松的正確判斷出兩個物體的深度順 序，但是卻無法得到其精確的距離信息。然而，使用計算機立體視覺，通過精確的標(biāo)定，使 用合適的計算方法， 在匹配正確的情況下可以得到非常精確的深度和位置等數(shù)值信息， 這使 得機器人的精密控制、三維模型重建等工作可以更好的完成。* 擴展能力強大。 由于計算機硬件和軟件不像人類的器官那樣不可改變， 計算機立體視 覺可以從各個方面對其進行擴展， 以滿足不同應(yīng)用的需求。 首先， 計算機立體視覺并不限于 雙目視覺， 很多系統(tǒng)使用了三相機、 多相機甚至相機矩陣采集圖像。 相機的擺放方式除了類 似人眼的水平擺放， 還可以采用垂直擺放、 環(huán)繞擺放以及立體擺放等多種

5、靈活的方式， 有一 些系統(tǒng)的相機間的關(guān)系還可以根據(jù)需要進行動態(tài)變化。 此外，除了可見光， 使用特殊的相機， 還可以采集到其它各種類型的輸入數(shù)據(jù)， 如紅外線、核磁共振等。 所以說，計算機立體視覺 技術(shù)具有強大的擴展能力，能夠提供比人眼立體視覺系統(tǒng)更豐富的信息。* 除了以上的兩個特點，計算機還具有 連續(xù)工作時間長 、不易損壞 、保密性好 、沒有培 訓(xùn)成本 、 結(jié)果易于保存和復(fù)制 等優(yōu)點。由此看來，對于立體視覺匹配的研究，能夠大大的增強計算機或機器人對環(huán)境的感知能力， 使得機器人能夠更好的適應(yīng)環(huán)境、更加智能，從而能夠更好的為人們服務(wù)。如今立體視覺技術(shù)主要應(yīng)用于如下一些領(lǐng)域： 三維環(huán)境感知與建模 、機

6、器人導(dǎo)航 、物體跟蹤 與檢測以及 圖像分割 等。隨著立體視覺技術(shù)的進一步發(fā)展， 可能會有更多的領(lǐng)域使用這項技 術(shù)。立體視覺匹配 - 發(fā)展與現(xiàn)狀如前所述，計算機視覺起始于大衛(wèi)馬爾等人提出的視覺的可計算模型。最簡單的的匹配算法利用匹配點周圍一個固定大小的窗口的灰度分布， 在一個可能的視差范圍內(nèi)， 通過尋找兩 個對應(yīng)窗口圖像向量的歸一化相關(guān)值的最大值得到視差，這一類方法也被稱為“區(qū)域匹配” 方法( Area Matching )。區(qū)域匹配的一個假設(shè)是空間的平面是所謂的正平面，也就是與相 機平面平行的平面， 而實際的場景中存在著大量的非正平面， 因此人們開始考慮利用一些更 有意義的特征點 ( 感興趣點

7、 )來進行匹配， 這種方法也被稱為特征匹配 ( Feature Matching ) 方法，如 Marr 和 Poggio 提出了多尺度的匹配算法，利用不同的 Laplacian 過零點以及 梯度進行匹配。立體視覺匹配的另一個挑戰(zhàn)在于匹配的歧義性： 對于一幅圖上的某個像素或特征， 另一幅圖 像可能有若干特征與之相似， 如何選擇正確的匹配是一個困難而又必須解決的問題。 Barn 提 出了松弛標(biāo)號法( Relaxation-Labeling )，利用平滑性和投票的策略解決歧義性問題；Pollard等人定義了離散視差的視差梯度，通過限制視差梯度減小歧義情況下的錯匹配；Marr和Poggio 以及Zi

8、tnick和Kanade采用了合作的匹配框架， 試圖通過多個特征的匹配信息以及唯一性假設(shè)來解決歧義。更好的方法是采用全局的方法進行求解，把多個像素或特征的視差求解歸一到一個能量框架下。使用了能量優(yōu)化的框架之后，能量函數(shù)的定義和 優(yōu)化變成了兩個較為獨立的問題，可以分別加以研究和解決。在定義能量函數(shù)方面，不同的算法采用不同的匹配信息和不同的先驗假設(shè)來描述能量函數(shù)中的不同部分，通過這些假設(shè)把大量的特征聯(lián)系起來，聯(lián)合求解以消除歧義。在能量優(yōu)化方法方面，較傳統(tǒng)的有模擬退火(Simulated Annealing)算法、最可靠有限算法等。近些年，基于圖切割(Graph-Cuts)和置信度傳遞(Belief

9、-Propogation )的優(yōu)化算法逐漸被廣泛采用。以上算法的速度都較慢， 主要原因在于當(dāng)平滑函數(shù)為一般函數(shù)的時候，以上的能量優(yōu)化函數(shù)是一個NP難題。為了提高效率，一些研究人員考慮采用具有低階多項式復(fù)雜度的動態(tài)規(guī)劃算法，此時需要把優(yōu)化局限于單條掃描線或把多連通的圖變成一棵樹。立體視覺匹配-問題描述i/plz 1f/JLcBc7圖1 ：標(biāo)準(zhǔn)配置下雙目立體視覺的幾何模型和視差的定義。圖中c和c'分別為參考相機和匹配相機的光心，Z為空間中點P的深度，B為基線長度，視差定義為P點在兩相機中成像的水平坐標(biāo)的差值x - x'。立體視覺匹配問題的輸入為若干不同視角的相機采集的圖像，輸出是這

10、些圖像上的點的對應(yīng)關(guān)系。圖1為標(biāo)準(zhǔn)配置下雙目立體視覺 的幾何模型。C和c'為兩相機的光心，f為焦距， B為兩光心的連線，也稱為基線，過光心且垂直于成像平面的直線稱為光軸。所謂標(biāo)準(zhǔn)配置是指兩個相機的光軸垂直于基線且互相平行。設(shè)兩相機的焦距相等，且相機的坐標(biāo)系的水平坐標(biāo)與基線方向平行，則空間中的點P在兩相機上成的像具有相同的豎直坐標(biāo)，這個特點也叫立體視覺的 夕卜極線(Epipolar Line)(所謂的外極線是指外極平面和圖像平面的交 線，其中外極平面是包含兩個焦點和空間點的平面)約束。對于一般配置的相機(如圖 2 )，通過相機標(biāo)定和配準(zhǔn)，可以得到標(biāo)準(zhǔn)配置下的圖像。如無特殊說明，本文余下的部分所涉及的立體匹配問題，都是建立在標(biāo)準(zhǔn)配置下的幾何模型。1圖2 :一般位置的相機的立體成像幾何模型。通過相機的標(biāo)定和配準(zhǔn)，我們可以得到標(biāo)準(zhǔn)配置下的圖像，如圖中的虛線所示。圖中的$c$和$c'$為左右相機的光心，e和e'稱為外極點，M為三維空間中的一點，m和m'分別為M在兩相機上的成的像。設(shè)P點投影到兩相機后的圖像分別為X和X'， 我們說x和X'是一對對應(yīng)點。如果我們用X和X'來表示它們的水平坐標(biāo)，這兩個點的對應(yīng)關(guān)系可以由如下定義的