雙目立體視覺(jué)系統(tǒng)

1、雙目立體視覺(jué)系統(tǒng)，1。學(xué)生：雙目立體視覺(jué)系統(tǒng)，2。立體視覺(jué)是機(jī)器視覺(jué)的一個(gè)重要分支。立體視覺(jué)的研究目的是使機(jī)器具有通過(guò)二維圖像識(shí)別三維環(huán)境信息的能力。這種能力不僅能使機(jī)器感知幾何信息(形狀、位置、姿勢(shì)、運(yùn)動(dòng)等)。)的對(duì)象，而且還描述、存儲(chǔ)、識(shí)別和理解它們以滿足特定要求。背景，雙目立體視覺(jué)系統(tǒng)，3。立體視覺(jué)通過(guò)設(shè)計(jì)和模仿人類(lèi)視覺(jué)獲得物體的深度信息。它在逆向工程、測(cè)試測(cè)量、文化產(chǎn)業(yè)、公共安全、視覺(jué)導(dǎo)航、地圖生成、航空測(cè)量等領(lǐng)域具有良好的應(yīng)用價(jià)值。二維信息和三維信息的結(jié)合也為一些具體的工程問(wèn)題提供了方法，如目標(biāo)識(shí)別的圖像分割。背景，雙目立體視覺(jué)系統(tǒng)，4，1:雙目視覺(jué)系統(tǒng)模型2:雙目視覺(jué)系統(tǒng)關(guān)鍵技術(shù)系

2、統(tǒng)校準(zhǔn)立體匹配3D重建和后續(xù)處理，主要內(nèi)容，雙目立體視覺(jué)系統(tǒng)，5。雙目視覺(jué)系統(tǒng)模型，通過(guò)雙目觀察可以獲得物體的深度信息。6、雙目立體視覺(jué)三維測(cè)量原理(三角測(cè)量)，雙目立體視覺(jué)三維測(cè)量是基于視差原理。計(jì)算公式：7，視差和深度的關(guān)系，這是成反比的：8，視差和深度的關(guān)系，在同一深度的視差是一樣的，9，亞像素，在一些精度要求高的場(chǎng)合，有必要進(jìn)一步細(xì)化視差(參考文獻(xiàn)，10，雙目立體視覺(jué)三維測(cè)量原理(三角測(cè)量)，雙目立體視覺(jué)三維測(cè)量是基于視差原理。計(jì)算公式：雙目立體視覺(jué)系統(tǒng)，11，3D坐標(biāo)計(jì)算，雙目立體視覺(jué)系統(tǒng)，12，光軸平行模型的3D坐標(biāo)計(jì)算，則3D坐標(biāo)為(X/W，Y/W，Z/W)。光軸會(huì)聚模型(1)的

3、三維坐標(biāo)計(jì)算可以求解x，y和z。在實(shí)際應(yīng)用中，由于數(shù)據(jù)總是有噪聲，x，y和z可以用最小二乘法求解。光軸會(huì)聚模型的3D坐標(biāo)計(jì)算(2)，光軸會(huì)聚模型的3D坐標(biāo)計(jì)算(3)，兩個(gè)攝像機(jī)的光軸與基線形成的夾角( 1，2)；基線是兩個(gè)照相機(jī)的物鏡的光學(xué)中心的連接線(b)；兩臺(tái)攝像機(jī)的焦點(diǎn)(F1，F(xiàn)2)；光軸會(huì)聚模型的3D坐標(biāo)計(jì)算(3)，在o1 o 2 P :在PPo1:最終結(jié)果是：19，1:雙目視覺(jué)系統(tǒng)模型2:雙目視覺(jué)系統(tǒng)關(guān)鍵技術(shù)系統(tǒng)標(biāo)定立體匹配3D重建及后續(xù)處理，主要內(nèi)容，雙目立體視覺(jué)系統(tǒng)、雙目系統(tǒng)標(biāo)定、攝像機(jī)標(biāo)定、雙目系統(tǒng)標(biāo)定、徑向畸變、切向畸變、雙目系統(tǒng)標(biāo)定、結(jié)構(gòu)相關(guān)，這些參數(shù)稱(chēng)為攝像機(jī)內(nèi)部參數(shù)；M

4、2完全由攝像機(jī)相對(duì)于世界坐標(biāo)系的方向決定，這稱(chēng)為攝像機(jī)外部參數(shù)。確定某個(gè)攝像機(jī)的內(nèi)部和外部參數(shù)稱(chēng)為攝像機(jī)校準(zhǔn)。它僅通過(guò)攝像機(jī)內(nèi)的雙目系統(tǒng)進(jìn)行校準(zhǔn)。兩臺(tái)攝像機(jī)用于同時(shí)觀察周?chē)h(huán)境。如果外部參數(shù)由R1、t 1、R2和t2表示，R1和t1表示C1攝像機(jī)和世界坐標(biāo)系之間的相對(duì)位置，而R2和t2表示C2攝像機(jī)和世界坐標(biāo)系之間的相對(duì)位置。對(duì)于任意點(diǎn)P，如果其在世界坐標(biāo)系、C1坐標(biāo)系和C2坐標(biāo)系中的非齊次坐標(biāo)分別為Xw、Xc1和Xc2，則兩個(gè)攝像機(jī)之間的幾何關(guān)系可由以下R和T表示：25，1:雙目視覺(jué)系統(tǒng)模型2:雙目視覺(jué)系統(tǒng)關(guān)鍵技術(shù)系統(tǒng)標(biāo)定立體匹配3D重建及后續(xù)處理、主要內(nèi)容、雙目立體視覺(jué)系統(tǒng)、立體匹配的主要

5、難點(diǎn)是、立體匹配的約束條件。 這些規(guī)則是根據(jù)所選擇的匹配原語(yǔ)表達(dá)真實(shí)物理世界的一些固有屬性所必須遵循的，從而提高系統(tǒng)的消歧匹配能力和計(jì)算效率。 一個(gè)優(yōu)秀的匹配算法應(yīng)該充分利用盡可能多的輔助信息或約束來(lái)提高匹配質(zhì)量。1:唯一性約束意味著一幅圖像中的一個(gè)像素最多只能對(duì)應(yīng)于第二幅圖像中的一個(gè)像素。例外是當(dāng)有遮擋時(shí)，將沒(méi)有相應(yīng)的點(diǎn)。立體匹配必須滿足這個(gè)約束。2.連續(xù)約束對(duì)象的表面通常是平滑的，因此對(duì)象表面上的每個(gè)點(diǎn)在圖像上的投影是連續(xù)的，并且其視差也是連續(xù)的。然而，由于遮擋問(wèn)題，連續(xù)性約束在對(duì)象的邊界處不成立，例如邊界兩側(cè)的兩點(diǎn)。3.特征兼容性約束在兩個(gè)或多個(gè)圖像上的對(duì)象表面上的點(diǎn)的投影在某些對(duì)象度量

6、中是相似的(例如灰度、灰度梯度變化和其他幾何形狀)。例如，如果空間中的某個(gè)點(diǎn)在一條直線上，它在圖像中的投影也應(yīng)該在一條直線上。比如。當(dāng)找到相應(yīng)的點(diǎn)時(shí)，該約束限制了搜索范圍。立體聲匹配約束，4。排序約束因?yàn)閳D像是真實(shí)世界的投影，如果在真實(shí)世界中P在Q的左邊，那么在圖像中P仍然在Q的左邊。然而，如果視點(diǎn)的方向變化很大，這種約束可能不被滿足。5.互對(duì)應(yīng)約束假設(shè)搜索從左圖像開(kāi)始，并在右圖像上找到相應(yīng)的點(diǎn)拒絕。如果任務(wù)相反，搜索只從一個(gè)點(diǎn)開(kāi)始，但是找不到E，那么匹配是不可靠的，應(yīng)該被排除。該約束有助于排除那些由于遮擋、高亮或噪聲而不存在的點(diǎn)。6.視差限制約束)7。核線約束，33。對(duì)極幾何，基線：左右攝像

7、機(jī)光學(xué)中心之間的連接；極平面：空間點(diǎn)，由兩個(gè)攝像機(jī)的光學(xué)中心確定的平面；極點(diǎn)：兩個(gè)攝像機(jī)的基線和圖像平面的交點(diǎn)；極線：極平面和像平面的交點(diǎn)?；€，34，對(duì)極幾何，動(dòng)機(jī)：在哪里找到匹配點(diǎn)？極平面極線和極線約束的匹配點(diǎn)必須在極線、35、極線方程上，左右圖像對(duì)應(yīng)點(diǎn)之間的關(guān)系可用本質(zhì)矩陣表示?；揪仃囉糜跀z像機(jī)校準(zhǔn)。公式：pr和pl分別是齊次相機(jī)坐標(biāo)向量。該公式描述了pr點(diǎn)位于與矢量Epl相關(guān)的極線上。本質(zhì)矩陣是具有兩個(gè)相等非零奇異值和秩2的奇異矩陣。36，校正圖像，目的：規(guī)范核線約束中的核線分布，進(jìn)一步提高匹配效率。校正后的圖像不需要偏光片方程，因?yàn)閷?duì)應(yīng)的匹配點(diǎn)在圖像對(duì)應(yīng)的掃描線上。37，校正圖像，

8、其中所有的極線是平行的，38，校正圖像，將極點(diǎn)拉到無(wú)窮大。39，校正圖像，校正后，圖像匹配方法，42，區(qū)域匹配，基于局部/窗口的算法3360計(jì)算匹配點(diǎn)的特定窗口中的相似性。全局算法：能量方程：模擬退火，動(dòng)態(tài)規(guī)劃，圖形切割)等。圖像匹配法，圖像匹配法，圖像匹配法，圖像匹配法，圖像匹配法，48，特征匹配VS區(qū)域匹配，特征匹配：速度快，匹配效率高；特征提取可以達(dá)到亞像素級(jí)的高精度；匹配元素是對(duì)象的幾何特征，對(duì)光照變化不敏感。重建需要配合。密集匹配):重建不需要擬合；速度慢，效率低；對(duì)于沒(méi)有紋理和沒(méi)有明顯紋理的圖像，匹配效果不理想；對(duì)光強(qiáng)、對(duì)比度和光照條件敏感。圖像匹配法，50，多個(gè)攝像機(jī)，在三個(gè)攝像機(jī)中增加第三個(gè)攝像機(jī)可以消除雙目圖像點(diǎn)造成的不確定性。實(shí)質(zhì)上，第三圖像可以用于檢查前兩個(gè)圖像中的假設(shè)匹配：首先重建與前兩個(gè)圖像中的匹配點(diǎn)相對(duì)應(yīng)的三維空間點(diǎn)，然后將其投影到第三圖像。如果在第三幅圖像的重投影點(diǎn)周?chē)鷽](méi)有一致的點(diǎn)，則該匹配一定是錯(cuò)誤的匹配。51，結(jié)構(gòu)燈。光學(xué)投影儀將一定圖案的結(jié)構(gòu)光投射到物體表面，形成