計(jì)算機(jī)視覺(jué)與應(yīng)用 課件 8.1 計(jì)算機(jī)視覺(jué)三維重構(gòu)的理論基礎(chǔ)

8.1計(jì)算機(jī)視覺(jué)三維重構(gòu)的理論基礎(chǔ)CONTENTS目錄立體視覺(jué)概念與應(yīng)用場(chǎng)景01攝像機(jī)成像模型02CONTENTS目錄立體視覺(jué)概念與應(yīng)用場(chǎng)景01攝像機(jī)成像模型02立體視覺(jué)(SteroscopicVision)以雙眼單視為基礎(chǔ)，其形成是由于兩眼在觀察一個(gè)三維物體時(shí)，由于兩個(gè)眼球之間存在距離,因而存在視差角,物體在兩眼視網(wǎng)膜上的成像存在相似性及一定的差異，形成雙眼視差(BinocularDisparity)。視中樞成像時(shí)，雙眼水平視差信息形成了感知物體的三維形狀及該物體與人眼的距離或視野中兩個(gè)物體相對(duì)關(guān)系的深度知覺(jué)。三維視覺(jué)技術(shù)被越來(lái)越廣泛應(yīng)用于智能無(wú)人系統(tǒng)（無(wú)人車(chē)、無(wú)人機(jī)）、機(jī)器人、智能制造、文物保護(hù)和醫(yī)療健康等多個(gè)行業(yè)。立體視覺(jué)概念與應(yīng)用場(chǎng)景CONTENTS目錄立體視覺(jué)概念與應(yīng)用場(chǎng)景01攝像機(jī)成像模型02攝像機(jī)的透視投影模型如圖8-1-1所示，描述的是三維空間點(diǎn)通過(guò)透鏡投影為圖像平面上的點(diǎn)的過(guò)程，為了定量描述光學(xué)成像過(guò)程，首先定義世界坐標(biāo)系、相機(jī)坐標(biāo)系、圖像物理坐標(biāo)系和圖像像素坐標(biāo)系。攝像機(jī)成像模型(1)圖像坐標(biāo)系、攝像機(jī)坐標(biāo)系、世界坐標(biāo)系圖2-1-1中??為相機(jī)的光心。相機(jī)坐標(biāo)系C-X_C、Y_C、Z_C是依據(jù)拍攝時(shí)相機(jī)的方位建立的，因此要對(duì)重構(gòu)對(duì)象的位置有一個(gè)公有的確立準(zhǔn)則，必須在場(chǎng)景中選擇一個(gè)參考坐標(biāo)系作為基準(zhǔn)，這個(gè)坐標(biāo)系就稱(chēng)為世界坐標(biāo)系O_w-X_w、Y_w、Z_w，世界坐標(biāo)系可以根據(jù)我們的實(shí)際需要人為設(shè)定。世界坐標(biāo)系和相機(jī)間的關(guān)系可用一個(gè)旋轉(zhuǎn)矩陣R和一個(gè)平移向量t來(lái)詮釋。物點(diǎn)在世界坐標(biāo)系的為(X_w,Y_w,Z_w)。對(duì)應(yīng)的相機(jī)坐標(biāo)系下為(????,????,????)，兩個(gè)坐標(biāo)系之間的關(guān)系用齊次和矩陣形式表示如下式：攝像機(jī)成像模型攝像機(jī)采集的圖像以標(biāo)準(zhǔn)的電視信號(hào)的形式經(jīng)高速圖像采集系統(tǒng)變換為數(shù)字圖像，并輸入計(jì)算機(jī)。每幅圖像都是M×N數(shù)組，M行N列的圖像中的每一個(gè)元素（也就是像素）的數(shù)值就是圖像點(diǎn)的亮度（也就是圖像灰度）。如圖8-1-2所示：攝像機(jī)成像模型(u,v)就是以像素為單位的圖像坐標(biāo)系坐標(biāo)。由于(u,v)只表示像素位于數(shù)組中的列數(shù)和行數(shù)，并沒(méi)有用物理單位表示出該像素在圖像中的位置。因此，需要在建立以物理單位（如毫米）表示的圖像坐標(biāo)系，也就是我們圖中所表示的XOY坐標(biāo)系。在X-Y坐標(biāo)系中，原點(diǎn)O通常定義為攝像機(jī)光軸與圖像平面的交點(diǎn)，該點(diǎn)一般就位于圖像中心處，但由于一些原因，也會(huì)發(fā)生偏離。二維攝像機(jī)坐標(biāo)系到圖像坐標(biāo)系的變換可以用下面的矩陣進(jìn)行描述：攝像機(jī)成像模型圖像物理坐標(biāo)系是一個(gè)圖像平面上的二維直角坐標(biāo)系,其原點(diǎn)為光軸與圖像平面的交點(diǎn)，橫軸與掃描線相平行。由相似三角形的對(duì)應(yīng)邊等比定理即可得出：攝像機(jī)成像模型用齊次坐標(biāo)與矩陣形式寫(xiě)出：圖像素坐標(biāo)系是用來(lái)描述點(diǎn)在圖像平面矩陣的第幾行、列坐標(biāo)系，故其原點(diǎn)O_0的位置如圖8-1-3所示，??軸和??軸分別與??軸和??軸平行，坐標(biāo)(??，??)代表該像素點(diǎn)在圖上的行數(shù)和列數(shù)，其單位是像素，將它與圖像物理坐標(biāo)系建立聯(lián)系，點(diǎn)(??,??)代表的是以毫米為物理單位圖像坐標(biāo)系的坐標(biāo)。坐標(biāo)系的原點(diǎn)〖O〗_1也就是圖像平面的主點(diǎn)。則有以下關(guān)系式：式中????、????——分別為像素的橫縱向尺寸。用齊次坐標(biāo)與矩陣形式表示如下：攝像機(jī)成像模型整合上述坐標(biāo)變換：式中相機(jī)標(biāo)定的目的就是借助于標(biāo)定板或者對(duì)同一場(chǎng)景不同視角下拍攝的圖像序列的特征信息來(lái)求解兩相機(jī)之間的相對(duì)位姿和內(nèi)參。攝像機(jī)成像模型(2)對(duì)極幾何（EpipolarGeometry）對(duì)極幾何是視圖幾何理論的基礎(chǔ)，其描述了同一場(chǎng)景兩幅圖像之間的視覺(jué)幾何關(guān)系。兩圖像（左右視圖）間的內(nèi)在幾何關(guān)系稱(chēng)為對(duì)極幾何，對(duì)極幾何描述的主要是兩圖像平面與對(duì)極平面的幾何關(guān)系。對(duì)極平面是繞基線轉(zhuǎn)動(dòng)的平面束,由空間點(diǎn)確定，對(duì)極幾何獨(dú)立于場(chǎng)景結(jié)構(gòu)，只依賴(lài)于兩相機(jī)的內(nèi)部參數(shù)、外部參數(shù)（兩相機(jī)的相對(duì)位姿）,如圖8-1-4所示。攝像機(jī)成像模型圖中兩相機(jī)的中心分別為c和c^'，兩圖像平面分別為I和I^'，X為共同視域中的場(chǎng)景空間點(diǎn)，它在兩幅圖像平面上的像點(diǎn)分別為x和x^'。對(duì)于一幅圖像而言，它是圖像平面與以基線為軸的平面束的相交的幾何（基線是指連接攝像機(jī)中心的直線），對(duì)極幾何描述的是左右兩幅圖像(點(diǎn)x和x^'對(duì)應(yīng)的圖像)與以CC’為軸的平面束的相交的幾何。直線CC’為基線，以該基線為軸存在一個(gè)平面束，該平面束與兩幅圖像平面相交，該平面束中不同平面與兩幅圖像相交于不同直線。點(diǎn)x、x’與攝像機(jī)中心C和C’是共面的，并且與空間點(diǎn)X也是共面的，這5個(gè)點(diǎn)共面于平面π。這是一個(gè)最本質(zhì)的約束，即5個(gè)點(diǎn)決定了一個(gè)平面π。由該約束，可以推導(dǎo)出一個(gè)重要性質(zhì)：由圖像點(diǎn)x和x’反投影的射線共面，并且在平面π上。在這里需要了解對(duì)極平面束、對(duì)極平面、對(duì)極點(diǎn)、對(duì)極線等幾個(gè)概念，其中對(duì)極平面束（epipolarpencil）是指以基線為軸的平面束。對(duì)極平面（epipolarplane）是指任何包含基線的平面都稱(chēng)為對(duì)極平面，或者說(shuō)是對(duì)極平面束中的平面。對(duì)極點(diǎn)（epipole）是攝像機(jī)的基線與每幅圖像的交點(diǎn)。對(duì)極線（epipolarline）是指對(duì)極平面與圖像的交線。攝像機(jī)成像模型3）基礎(chǔ)矩陣基礎(chǔ)矩陣是對(duì)極幾何的代數(shù)表達(dá)方式，基礎(chǔ)矩陣描述了圖像中任意對(duì)應(yīng)點(diǎn)x?x’之間的約束關(guān)系，基本矩陣是由該方程定義的：攝像機(jī)成像模型其中x?x’是兩幅圖像的任意一對(duì)匹配點(diǎn)。由于每一組點(diǎn)的匹配提供了計(jì)算F系數(shù)的一個(gè)線性方程，當(dāng)給定至少7個(gè)點(diǎn)（3×3的齊次矩陣減去一個(gè)尺度，以及一個(gè)秩為2的約束），方程就可以計(jì)算出未知的F。我們記點(diǎn)的坐標(biāo)為，又因?yàn)镕為：所以可得到方程：即相應(yīng)方程式為:攝像機(jī)成像模型給定n組點(diǎn)的集合，則有如下方程：如果存在確定（非零）解，則系數(shù)矩陣A的秩最多是8。由于F是齊次矩陣，所以如果矩陣A的秩為8，則在差一個(gè)尺度因子的情況下解是唯一的?？梢灾苯佑镁€性算法解得。如果由于點(diǎn)坐標(biāo)存在噪聲則矩陣A的秩可能大于8（也就是等于9，由于A是n×9的矩陣）。這時(shí)候就需要求最小二乘解，這里就可以用奇異值分解(SingularValueDecomposition，以下簡(jiǎn)稱(chēng)SVD)來(lái)求解，f的解就是系數(shù)矩陣A最小奇異值對(duì)應(yīng)的奇異向量，也就是A奇異值分解后A=UDV^T中矩陣V的最后一列矢量，這是在解矢量f在約束∥f∥下取∥Af∥最小的解。以上算法是解基本矩陣的基本方法，稱(chēng)為8點(diǎn)算法。上述求解后的F不一定能滿(mǎn)足秩為2的