計(jì)算機(jī)視覺(jué)的三維感知

計(jì)算機(jī)視覺(jué)的三維感知第1頁(yè)，課件共33頁(yè)，創(chuàng)作于2023年2月7.1立體視覺(jué)一、概述立體視覺(jué)或雙目立體視覺(jué)（Stereo或binocularVision），或簡(jiǎn)稱(chēng)為體視。體視是人類(lèi)獲取環(huán)境三維信息的主要途徑。人類(lèi)視覺(jué)系統(tǒng)體視可經(jīng)受各種干擾，在各種光照條件和光度學(xué)及幾何學(xué)畸變的條件下仍能可靠地提供立體信息。體視可經(jīng)受對(duì)比度的變化，在一幅圖相對(duì)于另一幅圖有明顯的模糊或擴(kuò)展時(shí)，仍能工作良好。體視的處理是快速和實(shí)時(shí)的，并能很好地處理物體運(yùn)動(dòng)的情況體視對(duì)深度信息檢測(cè)的分辨率很高。理想條件（孤立邊緣）下能可靠地分辨小于1秒弧的視差。這相當(dāng)于在1米的觀察距離上確定大約相距0.8毫米的兩個(gè)特征的相對(duì)深度，或在50厘米遠(yuǎn)處的0.2毫米的相對(duì)深度。第2頁(yè)，課件共33頁(yè)，創(chuàng)作于2023年2月

1、工作原理d---P點(diǎn)距透鏡中心的距離d＋---視差（disparity）f--透鏡的焦距，b--兩透鏡中心之間的距離（基線距離）圖7.1立體視覺(jué)原理第3頁(yè)，課件共33頁(yè)，創(chuàng)作于2023年2月

由上式可知，對(duì)于一組給定的攝象機(jī)參數(shù)，提高場(chǎng)景點(diǎn)深度計(jì)算精度的有效途徑是增長(zhǎng)基線距離b，即增大場(chǎng)景點(diǎn)對(duì)應(yīng)的視差。同時(shí)也帶來(lái)一些問(wèn)題，主要有： （1）隨著基線距離的增加，兩個(gè)攝象機(jī)的共同可視范圍減??； （2）場(chǎng)景點(diǎn)對(duì)應(yīng)的視差值增大，則搜索對(duì)應(yīng)點(diǎn)的范圍增大，出現(xiàn)多義性的機(jī)會(huì)也增大； （3）由于透視投影引起的變形導(dǎo)致兩個(gè)攝象機(jī)獲取的兩幅圖象中不完全相同，這就給確定共軛對(duì)帶來(lái)了困難。第4頁(yè)，課件共33頁(yè)，創(chuàng)作于2023年2月外極線幾何（Epipolargeometry)第5頁(yè)，課件共33頁(yè)，創(chuàng)作于2023年2月外極線幾何（Epipolargeometry)外極面(Epipolarplans)所有通過(guò)二個(gè)攝像機(jī)光心的平面每個(gè)空間點(diǎn)有一個(gè)外極面外極線(Epipolarlines)外極面與圖像的交線外極面上的空間點(diǎn)投影到每個(gè)圖像平面中的外極線上外極點(diǎn)（Epipoles)

每個(gè)圖像中的外極線都通過(guò)該圖像中的外極點(diǎn)外極點(diǎn)與另一個(gè)攝像機(jī)的光心的投影對(duì)應(yīng)立體視覺(jué)攝像機(jī)的光軸平行時(shí)外極點(diǎn)在無(wú)窮遠(yuǎn)處第6頁(yè)，課件共33頁(yè)，創(chuàng)作于2023年2月外極線--如果已知空間點(diǎn)在一個(gè)圖象平面中的成象點(diǎn)要尋找在另一圖象平面中的對(duì)應(yīng)點(diǎn)時(shí)，只需沿此圖象平面中的外極線搜索即可第7頁(yè)，課件共33頁(yè)，創(chuàng)作于2023年2月

圖示系統(tǒng)中，視差與光軸交角有關(guān)。對(duì)于任一光軸交角，在空間中總存在一個(gè)視差為零的表面。比這一表面遠(yuǎn)的物體，其視差大于零；比這一表面近的物體，其視差小于零。這三組視差可用于解決匹配不確定問(wèn)題。第8頁(yè)，課件共33頁(yè)，創(chuàng)作于2023年2月距離和深度距離是指從觀察者到物體的客觀實(shí)際距離；深度（depth）是指由觀察者感覺(jué)到的主觀距離，通常是測(cè)量相對(duì)于定位點(diǎn)或某個(gè)空間點(diǎn)的距離。立體視覺(jué)處理的組成：尋找在兩幅圖象中都便于區(qū)分的特征，或用于匹配的基元（primitive）把左、右兩幅圖象中的有關(guān)特征進(jìn)行匹配，即解決特征匹配的方法問(wèn)題確定攝象機(jī)的相對(duì)幾何位置和有關(guān)參數(shù)，即攝象機(jī)的校準(zhǔn)（Calibration）根據(jù)視差計(jì)算成象物體相對(duì)攝象機(jī)的距離深度信息內(nèi)插。（即：攝象機(jī)模型、特征提取、特征匹配、視差和深度計(jì)算、深度信息內(nèi)插五部分）第9頁(yè)，課件共33頁(yè)，創(chuàng)作于2023年2月

上圖是由兩個(gè)攝象機(jī)得到的真實(shí)圖象對(duì)。立體重建的關(guān)鍵是特征點(diǎn)匹配，從左圖中任取一點(diǎn)p1，計(jì)算機(jī)如何找到在右圖中與它的對(duì)應(yīng)點(diǎn)p2。即匹配問(wèn)題。第10頁(yè)，課件共33頁(yè)，創(chuàng)作于2023年2月2、匹配基元的選擇搜索對(duì)應(yīng)點(diǎn)時(shí)的多義性的解決1.在單幅圖象作預(yù)處理時(shí)通過(guò)抽取圖象局部結(jié)構(gòu)較為豐富的描述來(lái)減少錯(cuò)誤對(duì)應(yīng)的可能性2.在兩幅圖的對(duì)應(yīng)點(diǎn)間作匹配時(shí)應(yīng)用選擇性規(guī)則來(lái)限制搜索空間匹配基元的類(lèi)型1.在所有圖象點(diǎn)上抽取的量測(cè):

這類(lèi)匹配基元一般是在每個(gè)象素位置處都產(chǎn)生一個(gè)描述。這些特征表示圖象中的局部結(jié)構(gòu)狀態(tài).屬于這類(lèi)的匹配基元有以下幾種：(1)象素灰度(2)局部區(qū)域的灰度函數(shù)。在各種大小窗口中求得的灰度分布的導(dǎo)數(shù)可用于產(chǎn)生描述各點(diǎn)周?chē)Y(jié)構(gòu)的矢量(3)卷積圖象的符號(hào).把圖象與各種大小的算子卷積后，圖象中各點(diǎn)的符號(hào)可作為原始圖象特征的描述。第11頁(yè)，課件共33頁(yè)，創(chuàng)作于2023年2月

2.圖象特征這種匹配基元較為符號(hào)化，它檢測(cè)圖象中包含豐富信息的結(jié)構(gòu)所在的位置，例如圖象中的邊緣，這些邊緣可能與景物中表面之間的邊界相對(duì)應(yīng)。與象素相比圖象特征數(shù)量較少(1)卷積圖象中的過(guò)零點(diǎn)。這種方法是由Marr和Poggio，Marr和Hildreth提出和發(fā)展的。它雖然也可用于檢測(cè)邊緣，但是更確切說(shuō)這種方法的目的是檢測(cè)穩(wěn)定的、稠密的表面標(biāo)志。按這種方法任何小的影調(diào)變化或小的紋理變化只要穩(wěn)定都是一個(gè)特征(2)邊緣。這種基元試圖抽取景物中表面之間或不同顏色區(qū)域之間的實(shí)際邊界。這種匹配基元上還可以帶有如邊緣方向、對(duì)比度、長(zhǎng)度、邊緣曲率等附加信息第12頁(yè)，課件共33頁(yè)，創(chuàng)作于2023年2月

物體的外輪廓線一般不能作為匹配的特征，如右圖，曲面上的外輪廓線不是物體表面法線方向的不連續(xù)點(diǎn)，而是曲面可見(jiàn)部分與不可見(jiàn)部分的分界線。與視點(diǎn)有關(guān)。第13頁(yè)，課件共33頁(yè)，創(chuàng)作于2023年2月3、匹配規(guī)則（matchingrules）約束條件---這些約束條件是根據(jù)對(duì)匹配環(huán)境所作的假設(shè)產(chǎn)生的1.相容性（Compatibility）約束 如果兩個(gè)匹配基元確實(shí)是由同一物理標(biāo)記產(chǎn)生的，那么它們就可以匹配起來(lái)一種是基于光度學(xué)不變性的性質(zhì)另一種相似性的假設(shè)是根據(jù)幾何學(xué)不變性

2.唯一性約束

-圖象中的每個(gè)匹配基元最多只能有一個(gè)視差值

3.連續(xù)性約束

-視差值的變化在圖象中幾乎處處平滑第14頁(yè)，課件共33頁(yè)，創(chuàng)作于2023年2月

4.外極線約束 利用外極線約束可以將二維搜索問(wèn)題變?yōu)橐痪S搜索問(wèn)題。如圖，空間某一距離區(qū)間內(nèi)的一條直線段對(duì)應(yīng)外極線上的一個(gè)有限區(qū)間。第15頁(yè)，課件共33頁(yè)，創(chuàng)作于2023年2月圖7.3兩個(gè)視網(wǎng)膜上成象對(duì)應(yīng)關(guān)系的多義性第16頁(yè)，課件共33頁(yè)，創(chuàng)作于2023年2月體現(xiàn)約束條件的匹配規(guī)則1.對(duì)相似性測(cè)量的本質(zhì)作出規(guī)定的規(guī)則(1)區(qū)域的統(tǒng)計(jì)量(2)邊界的統(tǒng)計(jì)量(3)點(diǎn)的統(tǒng)計(jì)量2.視差梯度限制規(guī)則(1)排序約束(2)視差梯度范圍限制(3)由粗到細(xì)的匹配規(guī)則第17頁(yè)，課件共33頁(yè)，創(chuàng)作于2023年2月4、算法簡(jiǎn)介立體視覺(jué)算法可分成兩大類(lèi)：以密集的基元測(cè)量為基礎(chǔ)，稱(chēng)為基于區(qū)域（area-based）的算法。這類(lèi)算法的典型例子是利用小區(qū)域上的相關(guān)技術(shù)可得到較稠密的深度數(shù)據(jù),數(shù)據(jù)的精度較差適合于景物中的深度變化小的情形以在圖象中相對(duì)比較稀少的、較為符號(hào)化的特征為基礎(chǔ)，稱(chēng)為基于特征（feature-based）的算法只能得到較稀疏的深度數(shù)據(jù)深度數(shù)據(jù)的精度較高可用于深度變化大的景物混合算法在匹配的不同階段分別使用上述兩類(lèi)算法以期達(dá)到更高的性能第18頁(yè)，課件共33頁(yè)，創(chuàng)作于2023年2月邊緣匹配例

該算法使用的邊緣特征是通過(guò)高斯函數(shù)的一階導(dǎo)數(shù)獲得的。在有噪聲的情況下，使用高斯梯度來(lái)計(jì)算邊緣更加穩(wěn)定。使用邊緣匹配的立體視覺(jué)算法步驟如下： （1）用四個(gè)不同寬度的高斯濾波器對(duì)立體圖象對(duì)中的每一幅圖象進(jìn)行濾波，其中前一次濾波的寬度是下一次濾波器寬度的兩倍。這一計(jì)算可以反復(fù)通過(guò)對(duì)最小的濾波器進(jìn)行卷積來(lái)有效地實(shí)現(xiàn)； （2）在某一行上計(jì)算各邊緣的位置； （3）通過(guò)比較邊緣的方向和強(qiáng)度粗略地進(jìn)行邊緣匹配。顯然，水平邊緣是無(wú)法進(jìn)行匹配的； （4）通過(guò)在精細(xì)尺度上進(jìn)行匹配，可以得到精細(xì)的視差估計(jì)。第19頁(yè)，課件共33頁(yè)，創(chuàng)作于2023年2月二、Marr-Poggio-Grimson算法（MPG算法）以不同大小的算子與圖象卷積，并從中抽取過(guò)零點(diǎn)作為匹配基元；采用從粗到細(xì)的匹配策略，應(yīng)用在低分辨率下匹配得到的信息來(lái)限制高分分辨時(shí)匹配的搜索空間。這樣做的優(yōu)點(diǎn)是既具有較大的深度敏感范圍，又有較高的空間定位準(zhǔn)確性1.匹配基元的選擇2.匹配基元的屬性用過(guò)零點(diǎn)兩邊的符號(hào)變化和過(guò)零點(diǎn)輪廓來(lái)表示匹配基元的特征第20頁(yè)，課件共33頁(yè)，創(chuàng)作于2023年2月的選擇dmax=概率分布表明在的間距內(nèi)有另一個(gè)同符號(hào)過(guò)零點(diǎn)的概率低于0.05。這意味著如果圖象中這個(gè)區(qū)域的視差小于，那么在的范圍內(nèi)搜索時(shí)只發(fā)現(xiàn)正確的概率是0.95

如果搜索區(qū)域擴(kuò)大到，所有匹配中的50%是正確和無(wú)多義性的.但可利用連續(xù)性約束加以消除取后，我們?cè)赿max的距離內(nèi)只能得到一個(gè)點(diǎn)的深度值。這只表示景物在粗通道時(shí)的深度圖4.粗通道信息對(duì)細(xì)通道匹配的導(dǎo)引第21頁(yè)，課件共33頁(yè)，創(chuàng)作于2023年2月圖7.6粗通道信息對(duì)細(xì)通道匹配的導(dǎo)引圖7.5特征點(diǎn)的匹配第22頁(yè)，課件共33頁(yè)，創(chuàng)作于2023年2月4.粗通道信息對(duì)細(xì)通道匹配的導(dǎo)引如果粗、細(xì)通道算子的寬度分別為和。那么在粗細(xì)通道中合適的搜索范圍分別為和。假設(shè)，那么要發(fā)現(xiàn)這點(diǎn)的視差只根據(jù)細(xì)通道的信息是不行的，因?yàn)槠ヅ潼c(diǎn)在搜索范圍以外。但匹配點(diǎn)將在粗匹配的范圍之內(nèi)。因此，這時(shí)可求得粗通道中的視差粗通道得到的匹配可為精確的視差提供一個(gè)近似的估計(jì)值。如果所選的濾波器的大小合適，則可保證相鄰?fù)ǖ乐g大致相隔一倍頻程，即，通道所用算子的寬度大致為63,35,17,9和4個(gè)象素第23頁(yè)，課件共33頁(yè)，創(chuàng)作于2023年2月三、Baker-Binford算法1.基于圖象灰度相關(guān)的相似性量測(cè)如窗口是M×N的矩形.設(shè)，左、右窗口中第i行、第j列象素的灰度分別為和差異性量測(cè)函數(shù)定義為

2.動(dòng)態(tài)規(guī)劃（dynamicProgramming）匹配方法兩個(gè)波形之間的對(duì)應(yīng)關(guān)系可被概括成路徑規(guī)劃問(wèn)題（圖7-7）第24頁(yè)，課件共33頁(yè)，創(chuàng)作于2023年2月路上處點(diǎn)P表示右圖在處的點(diǎn)與左圖處的點(diǎn)相匹配路徑成本可用前段中所述差異性量測(cè)函數(shù)來(lái)定義，把路徑成本定義為沿掃描線的積分圖7.7動(dòng)態(tài)規(guī)劃匹配問(wèn)題第25頁(yè)，課件共33頁(yè)，創(chuàng)作于2023年2月DP算法設(shè)，表示右圖中在處周?chē)叶确植寂c左圖在處周?chē)叶确植嫉南嗨菩粤繙y(cè)，路徑成本可定義為沿路徑的相似性量測(cè)之和。設(shè)是從起點(diǎn)到點(diǎn)最佳路徑的最小成本。DP算法可表示為(1)(2)第26頁(yè)，課件共33頁(yè)，創(chuàng)作于2023年2月3.（Baker-Binford）算法(1)基于邊緣的相關(guān)(2)基于灰度的相關(guān)圖7.9外極線上的邊緣以及灰度分布第27頁(yè)，課件共33頁(yè)，創(chuàng)作于2023年2月立體視覺(jué)研究中的新動(dòng)向三目或多目立體視覺(jué)和全景視圖遮擋問(wèn)題引入MarkovRandomFieldapproach第28頁(yè)，課件共33頁(yè)，創(chuàng)作于2023年2月立體視覺(jué)中的不連續(xù)性和遮擋問(wèn)題O和O’是攝像機(jī)的光心不連續(xù)性發(fā)生在B’,C’,E’,F’遮擋發(fā)生在[A,C],[D,F]第29頁(yè)，課件共33頁(yè)，創(chuàng)作于2023年2月立體視覺(jué)處理中的困難噪聲：光照的變化，圖像的模糊，傳感器的噪聲無(wú)紋理的區(qū)域?yàn)榱说玫搅Ⅲw視覺(jué)的匹配，紋理區(qū)域的信息需要擴(kuò)展到無(wú)紋理區(qū)深度的不連續(xù)性信息的傳播應(yīng)不超越物體的邊界遮擋在參考視圖中被遮擋的象素不能與另一個(gè)視圖相匹配第30頁(yè)，課件共33頁(yè)，創(chuàng)作于2023年2月有遮擋時(shí)立體匹配的問(wèn)題在一個(gè)臺(tái)階處出現(xiàn)的遮擋情況:前景－F;背景－B,C,D,E。按一般的SSD