計(jì)算機(jī)視覺(jué)7課件

第七章立體視覺(jué)7.1立體視覺(jué)基礎(chǔ)7.2立體成像7.3立體匹配7.4多基線立體成像7.5測(cè)距成像7.6物體形狀恢復(fù)方法7.7主動(dòng)視覺(jué)1computervision7.1立體視覺(jué)基礎(chǔ)深度圖（DepthMap）獲取場(chǎng)景中各點(diǎn)的深度信息是計(jì)算機(jī)視覺(jué)系統(tǒng)的一個(gè)重要任務(wù)。場(chǎng)景中的各點(diǎn)相對(duì)于攝像機(jī)的距離形成的一個(gè)二維圖像，此圖像中每一個(gè)像素值表示場(chǎng)景中某一點(diǎn)與攝像機(jī)之間的距離。計(jì)算機(jī)視覺(jué)系統(tǒng)中獲取場(chǎng)景深度圖的技術(shù)可以分為被動(dòng)測(cè)距和主動(dòng)測(cè)距兩大類(lèi)。2computervision7.1立體視覺(jué)基礎(chǔ)被動(dòng)測(cè)距傳感視覺(jué)系統(tǒng)接收來(lái)自場(chǎng)景中發(fā)射或反射的光能量，形成有關(guān)場(chǎng)景光能量的分布函數(shù)（即灰度圖象），然后在這些圖像的基礎(chǔ)上恢復(fù)場(chǎng)景的深度信息。實(shí)例：雙目視覺(jué)系統(tǒng)，三目視覺(jué)系統(tǒng)主動(dòng)測(cè)距傳感視覺(jué)系統(tǒng)首先向場(chǎng)景中發(fā)射能量，然后接收?qǐng)鼍爸袑?duì)所發(fā)射能量的反射能量。實(shí)例：雷達(dá)測(cè)距系統(tǒng)3computervision7.1立體視覺(jué)基礎(chǔ)主動(dòng)測(cè)距方法主動(dòng)測(cè)距傳感系統(tǒng)也稱(chēng)為測(cè)距成像系統(tǒng)（RangeFinder）雷達(dá)測(cè)距系統(tǒng)三角測(cè)距系統(tǒng)激光測(cè)距系統(tǒng)主動(dòng)測(cè)距傳感和被動(dòng)測(cè)距傳感的主要區(qū)別在于視覺(jué)系統(tǒng)是否通過(guò)接收自身發(fā)射的能量來(lái)測(cè)距。5computervision7.1立體視覺(jué)基礎(chǔ)主動(dòng)視覺(jué)與被動(dòng)視覺(jué)主動(dòng)視覺(jué)和主動(dòng)測(cè)距傳感是兩個(gè)概念，主動(dòng)視覺(jué)是一種理論框架。主動(dòng)視覺(jué)主要研究的是通過(guò)主動(dòng)的控制攝像機(jī)位置、方向、焦距、縮放、光圈、聚散度等參數(shù)；或者說(shuō)是通過(guò)視覺(jué)和行為的結(jié)合來(lái)獲得穩(wěn)定的、實(shí)時(shí)的感知。6computervision7.2立體成像FigureThesailorshownintheleftpictureis,likemostpeople,abletoperformstereopsisandgainasenseofdepthfortheobjectswithinhiseldofview.Therightphotographisfromthe1953film“TheWaroftheWorlds",anditshowsaclose-upofthefaceofathree-eyedMartianwarrior.Whysuchaconfigurationmayprovebeneficial?7computervision7.2立體成像基本的雙目立體視覺(jué)的幾何關(guān)系是：有兩個(gè)完全相同的攝像機(jī)構(gòu)成；兩個(gè)攝像機(jī)構(gòu)成的圖像平面位于一個(gè)平面；兩個(gè)攝像機(jī)的坐標(biāo)軸相互平行，且x軸重合，攝像機(jī)之間在x方向上的間距稱(chēng)為基線距離B；在這個(gè)模型中，場(chǎng)景中同一個(gè)特征點(diǎn)在兩個(gè)攝像機(jī)圖像平面上的成像位置是不同的；將場(chǎng)景中同一點(diǎn)在兩個(gè)不同圖像中的投影點(diǎn)稱(chēng)為共軛對(duì)，其中一個(gè)投影點(diǎn)是另一個(gè)投影點(diǎn)的對(duì)應(yīng)（correspondence）求共軛對(duì)就是求解兩幅圖像中點(diǎn)的對(duì)應(yīng)性問(wèn)題。9computervision7.2立體成像基本的雙目立體視覺(jué)的幾何關(guān)系是：視差（disparity）：兩幅圖像重疊時(shí)的共軛對(duì)之間的位置之差（共軛對(duì)點(diǎn)之間的距離）。視差攝像機(jī)A平面攝像機(jī)B平面重疊10computervision7.2立體成像基本的雙目立體視覺(jué)的幾何關(guān)系是：外極平面（epipolar

plans）：通過(guò)兩個(gè)攝像機(jī)中心和場(chǎng)景特征點(diǎn)的平面。外極線（epipolarlines）：外極平面與圖像平面的交線外極點(diǎn)（epipoles）：同一個(gè)圖像平面上的所有外極線交于的同一點(diǎn)。11computervision7.2立體成像依據(jù)雙目立體視覺(jué)幾何關(guān)系的深度計(jì)算假設(shè)場(chǎng)景中的P點(diǎn)在左右攝像機(jī)圖像平面中的投影點(diǎn)分別為Pl和Pr，同時(shí)不失一般性假設(shè)坐標(biāo)系原點(diǎn)與左透鏡中心重合。比較相似三角形PMCl和PlLCl，可得到：同理，可從相似三角形PNCr和PrRCr中得到：13computervision7.2立體成像BClLPlMN(x,y,z)PPrRzFCrPMCl和PlLClPNCr和PrRCr14computervision7.2立體成像依據(jù)雙目立體視覺(jué)幾何關(guān)系的深度計(jì)算結(jié)合以下公式：可以得到：其中F是焦距，B是基線距離，是視差。各種場(chǎng)景中的點(diǎn)的深度就可以通過(guò)計(jì)算視差來(lái)實(shí)現(xiàn)。視差一般是整數(shù)。對(duì)于一組給定的攝像機(jī)參數(shù)，提高場(chǎng)景點(diǎn)深度計(jì)算的精度有效途徑是增加基線距離B，即增大場(chǎng)景點(diǎn)對(duì)應(yīng)的視差。15computervision7.2立體成像視差與光軸的交角有關(guān)，對(duì)于任意一個(gè)光軸交角，在空間中總存在一個(gè)視差為零的表面；d>0d<0d=0光軸零視差曲面立體基線17computervision7.2立體成像視差與光軸的交角有關(guān)，對(duì)于任意一個(gè)光軸交角，在空間中總存在一個(gè)視差為零的表面；比這一表面遠(yuǎn)的物體，其視差大于零；比這一表面近的物體，其視差小于零；d>0d<0d=0光軸零視差曲面立體基線18computervision7.2立體成像最一般的立體成像是一個(gè)運(yùn)動(dòng)攝像機(jī)連續(xù)獲取場(chǎng)景中的圖像，形成立體圖像序列，或間隔一定距離的兩個(gè)攝像機(jī)同時(shí)獲取場(chǎng)景圖像，形成立體成像對(duì)。19computervision7.3立體成像從原理上講根據(jù)“立體圖象對(duì)”抽取深度信息的處理應(yīng)包括以下四部分：在圖象中尋找在兩幅圖象中都便于區(qū)分的特征或用于匹配的基元（primitive）。把左、右兩幅圖象中的相關(guān)特征進(jìn)行匹配，即解決特征匹配的方法問(wèn)題。確定攝象機(jī)的相對(duì)幾何位置和有關(guān)參數(shù)，即攝象機(jī)的校準(zhǔn)（Calibration），目的是將二維圖像坐標(biāo)空間中的點(diǎn)對(duì)應(yīng)到三維世界坐標(biāo)空間中。根據(jù)視差計(jì)算成象物體相對(duì)攝象機(jī)的距離。21computervision7.3立體匹配立體匹配的匹配規(guī)則約束立體匹配：立體成像的深度信息測(cè)量的一個(gè)重要步驟就是尋找立體成像對(duì)中的共軛對(duì)，即求解對(duì)應(yīng)問(wèn)題。問(wèn)題：實(shí)際中求解對(duì)應(yīng)問(wèn)題是非常困難的，一是計(jì)算量大，二是匹配的準(zhǔn)確度要求高。解決：為了求解對(duì)應(yīng)，建立了許多約束來(lái)減少對(duì)應(yīng)點(diǎn)誤匹配，并最終得到正確的匹配特征點(diǎn)的對(duì)應(yīng)。22computervision7.3立體匹配外極線約束對(duì)于兩幅從不同角度獲取的同一場(chǎng)景的圖像來(lái)說(shuō)，傳統(tǒng)的特征點(diǎn)搜索方法是首先在一幅圖像中選擇一個(gè)特征點(diǎn)，然后在第二幅圖像上搜索對(duì)應(yīng)的特征點(diǎn)。這是一個(gè)二維搜索問(wèn)題。因?yàn)橐环鶊D像上的特征點(diǎn)一定位于一幅圖像上對(duì)應(yīng)的外極線上，因此在匹配的過(guò)程中只要求的外極線，則在外極線上而不用在整個(gè)二維圖像平面上求解對(duì)應(yīng)解，從而轉(zhuǎn)化到一維搜索。如果已知目標(biāo)與攝像機(jī)之間的距離在某一區(qū)間內(nèi)，則搜索范圍還可以限制在外極線上的一個(gè)小區(qū)間內(nèi)。23computervision7.3立體匹配一致性約束立體視覺(jué)通常有兩個(gè)或兩個(gè)以上攝像機(jī)組成，各攝像機(jī)的特性一般是不同的，如果場(chǎng)景中對(duì)應(yīng)點(diǎn)處的光強(qiáng)相差很大時(shí)，直接進(jìn)行相似性匹配，得到的匹配值變化也會(huì)很大。一般在進(jìn)行匹配之前，必須對(duì)圖像進(jìn)行規(guī)范化處理，設(shè)參考攝像機(jī)和其他攝像機(jī)的圖像函數(shù)分別為f0(i,j)和fk(i,j)，在m×n圖像窗內(nèi)規(guī)范化圖像函數(shù)為：其中μ是圖像窗內(nèi)光強(qiáng)均值，σ是光強(qiáng)分布參數(shù)25computervision7.3立體匹配一致性約束在m×n圖像窗內(nèi)規(guī)范化圖像函數(shù)為：其中μ是圖像窗內(nèi)光強(qiáng)均值，σ是光強(qiáng)分布參數(shù)相似評(píng)價(jià)函數(shù)為差值絕對(duì)值之和（SAD）26computervision7.3立體匹配邊緣匹配算法步驟：用四個(gè)不同寬度的高斯濾波其對(duì)立體圖像對(duì)中的每一幅圖象進(jìn)行濾波，其中前一次濾波的寬度是下一次濾波寬度的兩倍，這一過(guò)程可以反復(fù)通過(guò)對(duì)最小的濾波其進(jìn)行不斷的卷積實(shí)現(xiàn)。在某一行上計(jì)算各邊緣的位置。通過(guò)比較邊緣的方向和強(qiáng)度粗略的進(jìn)行邊緣匹配，顯然，水平邊緣是無(wú)法進(jìn)行匹配的。通過(guò)在精細(xì)尺度上進(jìn)行匹配，可以得到精細(xì)的視差估計(jì)。29computervision7.3立體匹配區(qū)域相關(guān)性：雖然邊緣特征是圖像的基本特征，但是邊緣特征往往對(duì)應(yīng)著物體的邊界，而物體邊界的深度值一般是不確定的；物體邊界深度值可以是物體封閉邊緣的深度距離和背景點(diǎn)深度距離之間的任意一個(gè)值。曲面物體的封閉邊緣時(shí)物體的輪廓影像邊緣，在兩幅圖像平面中觀察到的輪廓影像邊緣與真實(shí)的物體邊緣并不是相對(duì)應(yīng)的。所以就需要尋找另一種特征進(jìn)行匹配，這里選擇立體圖像對(duì)中識(shí)別興趣點(diǎn)（InterestingPoint），然后使用區(qū)域相關(guān)法進(jìn)行匹配。30computervision7.3立體匹配區(qū)域相關(guān)性：候選匹配點(diǎn)要選擇具有很大變化的區(qū)域中的點(diǎn)，一般認(rèn)為圖像中有足夠多相互分離的區(qū)域可以用于候選匹配點(diǎn)的選擇。在以某一點(diǎn)為中心的窗函數(shù)中，使用窗內(nèi)所有像素來(lái)計(jì)算在不同方向上的變化量，是這個(gè)中心點(diǎn)在不同方向上顯著性的一個(gè)好測(cè)度。31computervision7.3立體匹配區(qū)域相關(guān)性：選擇上述方向變量的最小值為中心像素點(diǎn)(xc,yc)的興趣值為了避免將多個(gè)相鄰點(diǎn)選為同一個(gè)特征對(duì)應(yīng)的興趣點(diǎn)，可以將特征點(diǎn)選在興趣測(cè)度函數(shù)具有局部最大值的地方。兩幅圖像中特征確定后，就可以使用許多不同方法進(jìn)行特征匹配。常用的匹配搜索方法是在一個(gè)小的窗函數(shù)內(nèi)搜索匹配，這個(gè)小窗函數(shù)是以滿(mǎn)足外極線約束的。32computervision7.3立體匹配區(qū)域相關(guān)性：兩幅圖像f1和f2，設(shè)待匹配的候選特征點(diǎn)對(duì)的視差為(dx,dy),則以特征點(diǎn)為中心的區(qū)域之間相似性測(cè)度可以有相關(guān)系數(shù)r(dx,dy)定義為：在每一個(gè)像素上使用閾值化處理后的具有正負(fù)符號(hào)的梯度值，而不是圖像灰度值，可以改善相關(guān)性的計(jì)算精度。33computervision7.3立體匹配立體匹配的討論通過(guò)基于特征的立體匹配算法產(chǎn)生的對(duì)應(yīng)于圖像特征點(diǎn)的場(chǎng)景稀疏深度圖，即只得到的是特征點(diǎn)的深度而不是整幅圖像上所有像素點(diǎn)的深度，所以是稀疏的。如果要得到所有像素點(diǎn)的深度，則必須利用表面內(nèi)插算法或逼近算法在特征點(diǎn)深度值之間計(jì)算出特征點(diǎn)之間像素的深度值來(lái)。立體重建過(guò)程中的難點(diǎn)在于:(1)特征點(diǎn)的選擇(2)匹配算法的選擇。參見(jiàn)：Marr-Poggio-Grimson算法，Baker-Binford算法

。34computervision7.4多基線立體成像理想情況下，一幅圖像上的每一個(gè)特征點(diǎn)只能與另一幅圖像上的唯一的一個(gè)特征點(diǎn)相對(duì)應(yīng)，即特征的唯一性約束。實(shí)際情況下，特征點(diǎn)不明顯會(huì)出現(xiàn)對(duì)應(yīng)的多義性（ambiguity），即一幅圖像上的一個(gè)特征點(diǎn)對(duì)應(yīng)另一幅圖像的若干個(gè)對(duì)應(yīng)點(diǎn)，其中只有一個(gè)是真正的對(duì)應(yīng)點(diǎn)，其它的是假的對(duì)應(yīng)點(diǎn)。為了消除對(duì)應(yīng)點(diǎn)的多義性，提出了一種基于多基線的立體成像方法。M.Okutami,T.Kanade,Amultiplebaselinesstereo,IEEETransonPatternAnalysisandMachineIntelligence,15(4):353-36335computervision7.4多基線立體成像假定n個(gè)攝像機(jī)具有相同的焦距F，其位置分別為P0,P1…Pn-1，對(duì)應(yīng)的n-1個(gè)基線用B1,B2…Bn-1表示，f0(x)和fi(x)表示在位置P0和Pi處同步獲取的圖像，組成一個(gè)立體圖像對(duì)。36computervision7.4多基線立體成像已知場(chǎng)景中一點(diǎn)Z的深度值為zr，則f0(x)和fi(x)形成的立體視差dr(i)為：圖像亮度函數(shù)f0(x)和fi(x)在Z點(diǎn)附近可表示為：其中，f(x)是理想圖像，n0(x),ni(x)服從正態(tài)分布N(0,σ2n)的噪聲。在一定大小窗口W中，立體視差變量d(i),立體圖像的方差之和（SSD）為：37computervision7.4多基線立體成像設(shè)ζr和ζ分別是真實(shí)和候選場(chǎng)景點(diǎn)深度值的倒數(shù)，即ζr=1/zr，ζ=1/z，則：替換的SSD為：其中ei(x,ζ)成為匹配平價(jià)函數(shù)，ei(x,ζ)的數(shù)學(xué)期望為：38computervision7.4多基線立體成像N個(gè)攝像機(jī)形n-1個(gè)SSD函數(shù)，將所有的SSD函數(shù)相加形成了一個(gè)總的評(píng)價(jià)函數(shù)假設(shè)亮度函數(shù)f(x)在x和x+a處有相同的模式，即則它們的匹配評(píng)價(jià)函數(shù)期望關(guān)系是：在ζr和ζf=ζr+a/(BiF)兩個(gè)地方得到的評(píng)價(jià)函數(shù)最小，但是假的匹配深度值的倒數(shù)ζf隨著基線的變化而變化，而真的匹配深度值的倒數(shù)ζr與基線無(wú)關(guān)，經(jīng)過(guò)累加真的匹配深度成為最小值。39computervision7.5從X恢復(fù)形狀的方法除了立體匹配算方，從灰度圖像提取形狀信息的其它方法都統(tǒng)稱(chēng)為從X恢復(fù)形狀方法（ShapefromX）。如果物體上至少有一個(gè)點(diǎn)的實(shí)際深度是已知的，那么統(tǒng)一目標(biāo)上的其它點(diǎn)的深度可以通過(guò)對(duì)局部表面方向求積分得到。從X恢復(fù)形狀方法是一種間接的深度計(jì)算方法。光度立體從明暗灰度形狀從紋理恢復(fù)形狀從運(yùn)動(dòng)恢復(fù)形狀40computervision7.5從X恢復(fù)形狀的方法光度立體光度立體：是使用不同方向上的三個(gè)光源來(lái)獲取統(tǒng)一場(chǎng)景的三幅圖象，通過(guò)場(chǎng)景中物