計算機視覺的多視幾何課件

計算機視覺的多視幾何吳毅紅中國科學院自動化研究所模式識別國家重點實驗室計算機視覺的多視幾何吳毅紅1主要內(nèi)容1.單視幾何（應用單幅圖像測量）2.兩視幾何（EpipolarGeometry約束）空間平面與Homography3.三視幾何（TrifocalGeometry約束）主要內(nèi)容1.單視幾何（應用單幅圖像測量）21.單視幾何成像平面攝像機坐標系ZXYOMm成像平面O1.單視幾何成像平面攝像機坐標系ZXYOMm成像平面O31.單視測量目標、內(nèi)容研究的意義國內(nèi)外研究的現(xiàn)狀算法1.單視測量目標、內(nèi)容41.單視測量從單幅圖像中恢復場景的全部或部分三維信息運用射影幾何理論，探索利用單幅圖像實現(xiàn)場景測量所需的圖像信息以及場景信息，從而實現(xiàn)對場景中距離、面積、體積等的測量目標、內(nèi)容1.單視測量從單幅圖像中恢復場景的全部或部分三維信息目標、51.單視測量利用超聲波、激光等來測量，很容易受到外界不可預測反射等因素的影響基于圖像的測量技術，因其所需的只是場景圖像，所以更靈活、方便、即時、準確具有非常廣泛的應用前景，如法庭取證、交通事故現(xiàn)場的測量、建筑物測量等等很多方面研究的意義1.單視測量利用超聲波、激光等來測量，很容易受到外界不可預61.單視測量用兩幅或多幅圖像對場景進行重建以后進行測量的方法以及攝影測量學的方法有很大的局限性利用單幅圖像對場景進行測量，已引起人們的關注A.CriminisiUniversityofOxford目前，國內(nèi)外在此方面還沒有系統(tǒng)的研究研究現(xiàn)狀1.單視測量用兩幅或多幅圖像對場景進行重建以后進行測量的方71.單視測量空間平面與其圖像間的關系可由平面Homography:H來表示(一個的矩陣).一般將空間平面假設為即X-Y

平面,則：

算法成像平面攝像機坐標系ZXYOMmXwYw平面測量1.單視測量空間平面與其圖像間的關系可由平面Homograp81.單視測量

如果4個空間點已知，則由它們可線性求解H：算法然后通過將圖像點反投到空間平面，實現(xiàn)空間平面上的測量平面測量距離\面積\夾角1.單視測量如果4個空間點已知，則由它們可91.單視測量已知一個空間平面的homography和此平面法向量方向的一組平行線、某個線段的距離，或已知另一個平面的位置，可測：算法空間測量體積、身高、兩個平面的距離、兩個平面內(nèi)的兩個點之間的距離1.單視測量已知一個空間平面的homography101.單視測量算法物體體積的測量結果：V1Realvolume: 109265.0cm3

Measuredvalue: 110018.9cm3

Relativeerror: 0.69%

V2Realvolume: 26826.7cm3

Measuredvalue: 26628.2cm3

Relativeerror: 0.74%1.單視測量算法物體體積的測量結果：112.兩視幾何外（對）極幾何（Epipolargeometry）基本矩陣、本質(zhì)矩陣重建景物平面與單應矩陣（Homography）主要內(nèi)容2.兩視幾何外（對）極幾何（Epipolargeomet122.兩視幾何外極幾何外極幾何是研究兩幅圖像之間存在的幾何。它和場景結構無關，只依賴于攝像機的內(nèi)外參數(shù)。研究這種幾何可以用在圖像匹配、三維重建方面?；靖拍睿夯€；外極點；外極線；外極平面；基本矩陣；本質(zhì)矩陣2.兩視幾何外極幾何外極幾何是研究兩幅圖像之間存在的幾何。132.兩視幾何外極幾何外極線Mmm'l'ee'lOO'm'TFm=0基線外極點外極平面對極線基本矩陣，的矩陣2.兩視幾何外極幾何外極線Mmm'l'ee'lOO'm'T142.兩視幾何基線：連接兩個攝象機光心O（O’）的直線外極點：基線與像平面的交點外極平面：過基線的平面外極線：對極平面與圖像平面的交線基本矩陣F：對應點對之間的約束外極幾何2.兩視幾何基線：連接兩個攝象機光心O（O’）的直線外極152.兩視幾何外極幾何世界坐標系Ou攝像機坐標系v圖像坐標系O’R0,t0R’,t’如果將世界坐標系取在第一個攝像機坐標系上，則：R,t2.兩視幾何外極幾何世界坐標系Ou攝像機坐標系v圖像坐標系16基本矩陣F：

是一秩為2的3×3矩陣，自由度為72.兩視幾何外極幾何對象的數(shù)學表達：Mmm'l'ee'lOO'm'TFm=0外極點：光心：基本矩陣F：2.兩視幾何外極幾何對象的數(shù)學表達：Mmm17本質(zhì)矩陣E：

是一秩為2的3×3矩陣，自由度為52.兩視幾何外極幾何對象的數(shù)學表達：Mmm'l'ee'lOO'm'TFm=0外極線：（用法向量表示）對象之間的關系式：本質(zhì)矩陣E：2.兩視幾何外極幾何對象的數(shù)學表達：Mmm182.兩視幾何外極幾何Mmm'l'ee'lOO'm'TFm=0對象之間的關系式：F不是一個一一對應的變換。如果，m，m’是一對對應點，則：反之，不成立。2.兩視幾何外極幾何Mmm'l'ee'lOO'm'TFm=192.兩視幾何H是一個射影變換矩陣，投影矩陣對和對應相同的基本矩陣?；揪仃?.兩視幾何H是一個射影變換矩陣，投影矩202.兩視幾何在兩幅圖像之間，基本矩陣將點m映射為對應的對極線，將對極點映射為0。不能提供對應點間的一一對應?；揪仃嚨淖儞Q作用Mmm'l'ee'lOO'm'TFm=0F0F2.兩視幾何在兩幅圖像之間，基本矩陣將點m映射為對應的212.兩視幾何空間中一點在兩幅圖像上的成像分別為：極點極線基本矩陣的代數(shù)推導mm'l'ee'lCC'm'TFm=0M因此：2.兩視幾何空間中一點222.兩視幾何基于代數(shù)誤差的線性估計---8、7點算法基于幾何誤差的非線性優(yōu)化基于RANSAC思想的自動估計算法基本矩陣F的估計方法2.兩視幾何基于代數(shù)誤差的線性估計---8、7點算法基本矩232.兩視幾何一對對應點，之間滿足約束：展開可以得到約束方程為：基本矩陣F的估計方法8點算法:2.兩視幾何一對對應點242.兩視幾何當n>=8時，可以線性求解f。對于n對對應的圖像點對可得到n個這樣的方程構造向量:構造矩陣:從而:基本矩陣F的估計方法8點算法:2.兩視幾何當n>=8時，可以線性求解f。對于n252.兩視幾何基于代數(shù)誤差的估計方法是滿足某些約束下使最小的算法8點算法：步驟：1)由對應點(n>=8)集構造矩陣A；2)對A進行奇異值分解，由向量構造矩陣F（3）對F進行SVD分解得到基本矩陣的估計基本矩陣F的估計方法8點算法:2.兩視幾何基于代數(shù)誤差的估計方法是滿足某些約束下使基本矩262.兩視幾何8點算法估計基本矩陣F

的結果與圖像點的坐標系有關。當圖像數(shù)據(jù)有噪聲，即對應點不精確時，由8點算法給出的基本矩陣F的解精度很低。存在一種規(guī)一化坐標系，在此坐標系下估計的基本矩陣優(yōu)于其它坐標系?；揪仃嘑的估計方法8點算法:2.兩視幾何8點算法估計基本矩陣F的結果與圖像點的坐272.兩視幾何規(guī)一化變換：1)對圖像點做位移變換，使得圖像的原點位于圖像點集的質(zhì)心；2)對圖像點做縮放變換，使得圖像點分布在以質(zhì)心為圓心半徑為的圓內(nèi)?；揪仃嘑的估計方法8點算法:H2.兩視幾何規(guī)一化變換：1)對圖像點做位移變換，使得圖像28規(guī)一化8點算法：由對應點，求F1)對兩幅圖像分別做規(guī)一化變換,得到新的對應點集；2)有新的對應點集和8點算法估計；3）基本矩陣

2.兩視幾何基本矩陣F的估計方法8點算法:規(guī)一化8點算法：由對應點292.兩視幾何

如果求解的基本矩陣F不滿足約束，即那么不存在向量e使得Fe=0，則在圖像中的對極線不交于同一點(對極點e

)。由于基本矩陣的秩為2，因此基本矩陣僅具有7個自由度，所以已知7對匹配點便足以確定基本矩陣。基本矩陣F的估計方法7點算法:2.兩視幾何如果求解的基本矩陣F不滿足約束302.兩視幾何利用SVD分解的方法得到兩個對應于系數(shù)矩陣A

的右零空間的基向量和的矩陣基和，然后利用det(F)=0性質(zhì)來解出F通解中的比例因子，來確定所要估計的基本矩陣。由于基本矩陣行列式為零所對應的約束是一個三次方程，因此最后所可能得到的基本矩陣的解的個數(shù)對應于上述三次方程實數(shù)解的個數(shù)，最多可以得到3個解。基本矩陣F的估計方法7點算法:2.兩視幾何利用SVD分解的方法得到兩個對應于系數(shù)矩陣A312.兩視幾何將估計基本矩陣的問題化為數(shù)學的最優(yōu)化問題，然后使用某種優(yōu)化迭代算法求解.算法如下：（1）構造基于幾何意義的目標函數(shù)（2）選取8點算法的結果作為迭代算法的初始值（3）選取一種迭代方法（L-M方法），迭代求解最小化問題基本矩陣F的估計方法基于幾何誤差的優(yōu)化:2.兩視幾何將估計基本矩陣的問題化為數(shù)學的最優(yōu)化問題，然后322.兩視幾何常用準則：(1)點到對應極線距離的平方和(2)反投影距離基本矩陣F的估計方法基于幾何誤差的優(yōu)化:構造基于幾何意義的目標函數(shù)2.兩視幾何常用準則：(1)點到對應極線距離的平方和基本矩332.兩視幾何mm'l'ee'lOO’基本矩陣F的估計方法基于幾何誤差的優(yōu)化:準則(1)點到對應極線距離的平方和2.兩視幾何mm'l'ee'lOO’基本矩陣F的估計方法34其中和是通過一定的方法進行射影重建所得到空間點的反投影圖像點.2.兩視幾何準則(2)反投影距離基本矩陣F的估計方法基于幾何誤差的優(yōu)化:mm'ee'OO’其中和是通過一定的方法進行射影重建所得到35基于準則(2)步驟：1.由線性算法求出基本矩陣的初始值;2.由對應點和基本矩陣射影重建得到三維空間點坐標；3.由三維空間點得到新的圖像點：.2.兩視幾何基本矩陣F的估計方法基于幾何誤差的優(yōu)化:基于準則(2)步驟：2.兩視幾何基本矩陣F的估計方法基362.兩視幾何例：利用RANSAC思想估計直線給定7點，找最匹配的直線，使有效點到直線的距離小于0.8個單位，找到的點集為{1,2,3,4,5,6}，然后用最小二乘法計算直線方程。x01123234578645910yPOINTXY1234567001122323344102理想直線基本矩陣F的估計方法RANSAC估計2.兩視幾何例：利用RANSAC思想估計直線x011372.兩視幾何前面所講的所有的方法都假設沒有錯誤匹配點(Outliers)。實際處理過程中可能會出現(xiàn)錯誤的匹配點?？梢杂肦ANSAC方法剔除錯誤的匹配點基本思想：1.通過迭代地隨機抽取最小點集來找出能夠使得所謂Inliers所占比例最高的最小點集2.用此最小點集估計的基本矩陣和所識別出的Inliers一起進行進一步非線性優(yōu)化，從而得到最終的基本矩陣估計值基本矩陣F的估計方法RANSAC估計2.兩視幾何前面所講的所有的方法都假設沒有錯誤匹配點(Ou382.兩視幾何本質(zhì)矩陣E(EssentialMatrix)由攝像機的外參數(shù)確定，與攝像機內(nèi)參數(shù)無關。本質(zhì)矩陣EO攝像機坐標系v圖像像素坐標系O’uxymm’2.兩視幾何本質(zhì)矩陣E(EssentialMat392.兩視幾何

本質(zhì)矩陣E當攝像機內(nèi)參數(shù)K已知時，當F被求出時，重建即要求出R，t。tR2.兩視幾何本質(zhì)矩陣E當攝像機內(nèi)參數(shù)K已知時，當F40給定一基本矩陣F，構造投影矩陣對2.兩視幾何重建有了投影矩陣和圖像點就可以通過三角化實現(xiàn)重建給定一基本矩陣F，構造投影矩陣對2.兩視幾何重建有了412.兩視幾何重建H是一個4×4的可逆射影變換矩陣，則HH2.兩視幾何重建H是一個4×4的可逆射影變換矩陣，則HH422.兩視幾何例子

2.兩視幾何例子432.兩視幾何例子2.兩視幾何例子44概念已知基本矩陣F確定單應矩陣H已知單應矩陣H確定基本矩陣F無窮遠平面的單應矩陣2.兩視幾何景物平面與單應矩陣概念2.兩視幾何景物平面與單應矩陣45兩幅圖像上的點如果來自空間的同一個平面，則在它們之間存在一個射影變換，可以用一個33矩陣表示，稱為單應矩陣,記為H。xπmm'ee'2.兩視幾何景物平面與單應矩陣概念H33兩幅圖像上的點如果來自空間的同一個平面，則在它們之間存在一個46建立世界坐標系，使得X-Y

平面為空間平面，即為平面，則2.兩視幾何景物平面與單應矩陣概念建立世界坐標系，使得X-Y平面為空間平面，即為47若是空間平面上的點在兩幅圖像上對應點對，則存在矩陣H使得s為非零常數(shù)因子，H是一3×3矩陣，一般可由4對對應點求得。2.兩視幾何景物平面與單應矩陣概念2.兩視幾何景物平面與單應矩陣概念48若兩視點投影矩陣為則空間平面的單應矩陣H可表示為2.兩視幾何景物平面與單應矩陣概念若兩視點投影矩陣為2.兩視幾何景物平面與單應矩陣概念492.兩視幾何景物平面與單應矩陣由F確定H給定三對對應點：它們對應的空間的景物點為：M1，M2，M3則這三個景物點唯一確定了一個空間平面如果F已求出，則這個平面的H也可以求出：e,e’H2.兩視幾何景物平面與單應矩陣由F確定H給定三對對應點：502.兩視幾何景物平面與單應矩陣由F確定Hxπmm'ee'2.兩視幾何景物平面與單應矩陣由F確定Hxπmm'ee'51一.由共面的4對對應點求得H二.由直線和確定極點e'

三.

由6個點，其中4個點共面，來求解基本矩陣F：2.兩視幾何景物平面與單應矩陣由H確定F一.由共面的4對對應點求得H由6個點，其中4個點共面，來52當空間平面為無窮遠平面時，對應的單應矩陣為無窮遠平面的H：如果H已知后，則可進行標定、重建。2.兩視幾何景物平面與單應矩陣無窮遠平面的單應矩陣當空間平面為無窮遠平面時，對應的單應矩陣為無窮遠平面的H：53引言點、線關聯(lián)關系基本矩陣、投影矩陣3.三視幾何主要內(nèi)容引言3.三視幾何主要內(nèi)容54兩幅圖像之間存在約束：基本矩陣F；三幅圖像之間存在約束：三焦張量T（TrifocalTensor）；四幅或更多幅圖像之間不存在獨立的約束，它們可以由F和T生成。3.三視幾何引言兩幅圖像之間存在約束：基本矩陣F；3.三視幾何引言55三幅圖像間的獨立的幾何約束O’’LOO’ll’l''3.三視幾何兩幅圖像間不能對直線產(chǎn)生約束LOO’ll’引言三幅圖像間的獨立的幾何約束O’’LOO’ll’l''3.三56三焦張量由三個33矩陣{T1，T2，T3}組成。3.三視幾何在兩幅圖像之間有約束：在三幅圖像之間有約束：其中，l，l’，l’’為在三幅圖像中對應的直線。引言三焦張量由三個33矩陣{T1，T2，T3}組成。3.三視57線-線-線點-線-線點-線-點點-點-線點-點-點點、線關聯(lián)關系3.三視幾何線-線-線點-線-線點-線-點點-58點、線關聯(lián)關系Point–line–line3.三視幾何點、線關聯(lián)關系Point–line–line3.三59點、線關聯(lián)關系Point–line–point3.三視幾何點、線關聯(lián)關系Point–line–point3.60點、線關聯(lián)關系Point–point–point3.三視幾何點、線關聯(lián)關系Point–point–point3.61基本矩陣與三焦張量之間存在關系：由三焦張量和外極點可得到一組投影矩陣：基本矩陣、投影矩陣3.三視幾何基本矩陣與三焦張量之間存在關系：基本矩陣、投影矩陣3.三視62小結1.單視幾何：應用于單幅圖像測量2.兩視幾何：基本矩陣、外極點、空間平面與單應矩陣3.三視幾何：三焦張量參考文獻：R.Hartley,A.Zisserman.MultipleViewGeometryinComputerVision.CambridgeUniversityPress,2000.小結1.單視幾何：應用于單幅圖像測量參考文獻：63計算機視覺的多視幾何吳毅紅中國科學院自動化研究所模式識別國家重點實驗室計算機視覺的多視幾何吳毅紅64主要內(nèi)容1.單視幾何（應用單幅圖像測量）2.兩視幾何（EpipolarGeometry約束）空間平面與Homography3.三視幾何（TrifocalGeometry約束）主要內(nèi)容1.單視幾何（應用單幅圖像測量）651.單視幾何成像平面攝像機坐標系ZXYOMm成像平面O1.單視幾何成像平面攝像機坐標系ZXYOMm成像平面O661.單視測量目標、內(nèi)容研究的意義國內(nèi)外研究的現(xiàn)狀算法1.單視測量目標、內(nèi)容671.單視測量從單幅圖像中恢復場景的全部或部分三維信息運用射影幾何理論，探索利用單幅圖像實現(xiàn)場景測量所需的圖像信息以及場景信息，從而實現(xiàn)對場景中距離、面積、體積等的測量目標、內(nèi)容1.單視測量從單幅圖像中恢復場景的全部或部分三維信息目標、681.單視測量利用超聲波、激光等來測量，很容易受到外界不可預測反射等因素的影響基于圖像的測量技術，因其所需的只是場景圖像，所以更靈活、方便、即時、準確具有非常廣泛的應用前景，如法庭取證、交通事故現(xiàn)場的測量、建筑物測量等等很多方面研究的意義1.單視測量利用超聲波、激光等來測量，很容易受到外界不可預691.單視測量用兩幅或多幅圖像對場景進行重建以后進行測量的方法以及攝影測量學的方法有很大的局限性利用單幅圖像對場景進行測量，已引起人們的關注A.CriminisiUniversityofOxford目前，國內(nèi)外在此方面還沒有系統(tǒng)的研究研究現(xiàn)狀1.單視測量用兩幅或多幅圖像對場景進行重建以后進行測量的方701.單視測量空間平面與其圖像間的關系可由平面Homography:H來表示(一個的矩陣).一般將空間平面假設為即X-Y

平面,則：

算法成像平面攝像機坐標系ZXYOMmXwYw平面測量1.單視測量空間平面與其圖像間的關系可由平面Homograp711.單視測量

如果4個空間點已知，則由它們可線性求解H：算法然后通過將圖像點反投到空間平面，實現(xiàn)空間平面上的測量平面測量距離\面積\夾角1.單視測量如果4個空間點已知，則由它們可721.單視測量已知一個空間平面的homography和此平面法向量方向的一組平行線、某個線段的距離，或已知另一個平面的位置，可測：算法空間測量體積、身高、兩個平面的距離、兩個平面內(nèi)的兩個點之間的距離1.單視測量已知一個空間平面的homography731.單視測量算法物體體積的測量結果：V1Realvolume: 109265.0cm3

Measuredvalue: 110018.9cm3

Relativeerror: 0.69%

V2Realvolume: 26826.7cm3

Measuredvalue: 26628.2cm3

Relativeerror: 0.74%1.單視測量算法物體體積的測量結果：742.兩視幾何外（對）極幾何（Epipolargeometry）基本矩陣、本質(zhì)矩陣重建景物平面與單應矩陣（Homography）主要內(nèi)容2.兩視幾何外（對）極幾何（Epipolargeomet752.兩視幾何外極幾何外極幾何是研究兩幅圖像之間存在的幾何。它和場景結構無關，只依賴于攝像機的內(nèi)外參數(shù)。研究這種幾何可以用在圖像匹配、三維重建方面?；靖拍睿夯€；外極點；外極線；外極平面；基本矩陣；本質(zhì)矩陣2.兩視幾何外極幾何外極幾何是研究兩幅圖像之間存在的幾何。762.兩視幾何外極幾何外極線Mmm'l'ee'lOO'm'TFm=0基線外極點外極平面對極線基本矩陣，的矩陣2.兩視幾何外極幾何外極線Mmm'l'ee'lOO'm'T772.兩視幾何基線：連接兩個攝象機光心O（O’）的直線外極點：基線與像平面的交點外極平面：過基線的平面外極線：對極平面與圖像平面的交線基本矩陣F：對應點對之間的約束外極幾何2.兩視幾何基線：連接兩個攝象機光心O（O’）的直線外極782.兩視幾何外極幾何世界坐標系Ou攝像機坐標系v圖像坐標系O’R0,t0R’,t’如果將世界坐標系取在第一個攝像機坐標系上，則：R,t2.兩視幾何外極幾何世界坐標系Ou攝像機坐標系v圖像坐標系79基本矩陣F：

是一秩為2的3×3矩陣，自由度為72.兩視幾何外極幾何對象的數(shù)學表達：Mmm'l'ee'lOO'm'TFm=0外極點：光心：基本矩陣F：2.兩視幾何外極幾何對象的數(shù)學表達：Mmm80本質(zhì)矩陣E：

是一秩為2的3×3矩陣，自由度為52.兩視幾何外極幾何對象的數(shù)學表達：Mmm'l'ee'lOO'm'TFm=0外極線：（用法向量表示）對象之間的關系式：本質(zhì)矩陣E：2.兩視幾何外極幾何對象的數(shù)學表達：Mmm812.兩視幾何外極幾何Mmm'l'ee'lOO'm'TFm=0對象之間的關系式：F不是一個一一對應的變換。如果，m，m’是一對對應點，則：反之，不成立。2.兩視幾何外極幾何Mmm'l'ee'lOO'm'TFm=822.兩視幾何H是一個射影變換矩陣，投影矩陣對和對應相同的基本矩陣?；揪仃?.兩視幾何H是一個射影變換矩陣，投影矩832.兩視幾何在兩幅圖像之間，基本矩陣將點m映射為對應的對極線，將對極點映射為0。不能提供對應點間的一一對應。基本矩陣的變換作用Mmm'l'ee'lOO'm'TFm=0F0F2.兩視幾何在兩幅圖像之間，基本矩陣將點m映射為對應的842.兩視幾何空間中一點在兩幅圖像上的成像分別為：極點極線基本矩陣的代數(shù)推導mm'l'ee'lCC'm'TFm=0M因此：2.兩視幾何空間中一點852.兩視幾何基于代數(shù)誤差的線性估計---8、7點算法基于幾何誤差的非線性優(yōu)化基于RANSAC思想的自動估計算法基本矩陣F的估計方法2.兩視幾何基于代數(shù)誤差的線性估計---8、7點算法基本矩862.兩視幾何一對對應點，之間滿足約束：展開可以得到約束方程為：基本矩陣F的估計方法8點算法:2.兩視幾何一對對應點872.兩視幾何當n>=8時，可以線性求解f。對于n對對應的圖像點對可得到n個這樣的方程構造向量:構造矩陣:從而:基本矩陣F的估計方法8點算法:2.兩視幾何當n>=8時，可以線性求解f。對于n882.兩視幾何基于代數(shù)誤差的估計方法是滿足某些約束下使最小的算法8點算法：步驟：1)由對應點(n>=8)集構造矩陣A；2)對A進行奇異值分解，由向量構造矩陣F（3）對F進行SVD分解得到基本矩陣的估計基本矩陣F的估計方法8點算法:2.兩視幾何基于代數(shù)誤差的估計方法是滿足某些約束下使基本矩892.兩視幾何8點算法估計基本矩陣F

的結果與圖像點的坐標系有關。當圖像數(shù)據(jù)有噪聲，即對應點不精確時，由8點算法給出的基本矩陣F的解精度很低。存在一種規(guī)一化坐標系，在此坐標系下估計的基本矩陣優(yōu)于其它坐標系?；揪仃嘑的估計方法8點算法:2.兩視幾何8點算法估計基本矩陣F的結果與圖像點的坐902.兩視幾何規(guī)一化變換：1)對圖像點做位移變換，使得圖像的原點位于圖像點集的質(zhì)心；2)對圖像點做縮放變換，使得圖像點分布在以質(zhì)心為圓心半徑為的圓內(nèi)?；揪仃嘑的估計方法8點算法:H2.兩視幾何規(guī)一化變換：1)對圖像點做位移變換，使得圖像91規(guī)一化8點算法：由對應點，求F1)對兩幅圖像分別做規(guī)一化變換,得到新的對應點集；2)有新的對應點集和8點算法估計；3）基本矩陣

2.兩視幾何基本矩陣F的估計方法8點算法:規(guī)一化8點算法：由對應點922.兩視幾何

如果求解的基本矩陣F不滿足約束，即那么不存在向量e使得Fe=0，則在圖像中的對極線不交于同一點(對極點e

)。由于基本矩陣的秩為2，因此基本矩陣僅具有7個自由度，所以已知7對匹配點便足以確定基本矩陣。基本矩陣F的估計方法7點算法:2.兩視幾何如果求解的基本矩陣F不滿足約束932.兩視幾何利用SVD分解的方法得到兩個對應于系數(shù)矩陣A

的右零空間的基向量和的矩陣基和，然后利用det(F)=0性質(zhì)來解出F通解中的比例因子，來確定所要估計的基本矩陣。由于基本矩陣行列式為零所對應的約束是一個三次方程，因此最后所可能得到的基本矩陣的解的個數(shù)對應于上述三次方程實數(shù)解的個數(shù)，最多可以得到3個解。基本矩陣F的估計方法7點算法:2.兩視幾何利用SVD分解的方法得到兩個對應于系數(shù)矩陣A942.兩視幾何將估計基本矩陣的問題化為數(shù)學的最優(yōu)化問題，然后使用某種優(yōu)化迭代算法求解.算法如下：（1）構造基于幾何意義的目標函數(shù)（2）選取8點算法的結果作為迭代算法的初始值（3）選取一種迭代方法（L-M方法），迭代求解最小化問題基本矩陣F的估計方法基于幾何誤差的優(yōu)化:2.兩視幾何將估計基本矩陣的問題化為數(shù)學的最優(yōu)化問題，然后952.兩視幾何常用準則：(1)點到對應極線距離的平方和(2)反投影距離基本矩陣F的估計方法基于幾何誤差的優(yōu)化:構造基于幾何意義的目標函數(shù)2.兩視幾何常用準則：(1)點到對應極線距離的平方和基本矩962.兩視幾何mm'l'ee'lOO’基本矩陣F的估計方法基于幾何誤差的優(yōu)化:準則(1)點到對應極線距離的平方和2.兩視幾何mm'l'ee'lOO’基本矩陣F的估計方法97其中和是通過一定的方法進行射影重建所得到空間點的反投影圖像點.2.兩視幾何準則(2)反投影距離基本矩陣F的估計方法基于幾何誤差的優(yōu)化:mm'ee'OO’其中和是通過一定的方法進行射影重建所得到98基于準則(2)步驟：1.由線性算法求出基本矩陣的初始值;2.由對應點和基本矩陣射影重建得到三維空間點坐標；3.由三維空間點得到新的圖像點：.2.兩視幾何基本矩陣F的估計方法基于幾何誤差的優(yōu)化:基于準則(2)步驟：2.兩視幾何基本矩陣F的估計方法基992.兩視幾何例：利用RANSAC思想估計直線給定7點，找最匹配的直線，使有效點到直線的距離小于0.8個單位，找到的點集為{1,2,3,4,5,6}，然后用最小二乘法計算直線方程。x01123234578645910yPOINTXY1234567001122323344102理想直線基本矩陣F的估計方法RANSAC估計2.兩視幾何例：利用RANSAC思想估計直線x0111002.兩視幾何前面所講的所有的方法都假設沒有錯誤匹配點(Outliers)。實際處理過程中可能會出現(xiàn)錯誤的匹配點。可以用RANSAC方法剔除錯誤的匹配點基本思想：1.通過迭代地隨機抽取最小點集來找出能夠使得所謂Inliers所占比例最高的最小點集2.用此最小點集估計的基本矩陣和所識別出的Inliers一起進行進一步非線性優(yōu)化，從而得到最終的基本矩陣估計值基本矩陣F的估計方法RANSAC估計2.兩視幾何前面所講的所有的方法都假設沒有錯誤匹配點(Ou1012.兩視幾何本質(zhì)矩陣E(EssentialMatrix)由攝像機的外參數(shù)確定，與攝像機內(nèi)參數(shù)無關。本質(zhì)矩陣EO攝像機坐標系v圖像像素坐標系O’uxymm’2.兩視幾何本質(zhì)矩陣E(EssentialMat1022.兩視幾何

本質(zhì)矩陣E當攝像機內(nèi)參數(shù)K已知時，當F被求出時，重建即要求出R，t。tR2.兩視幾何本質(zhì)矩陣E當攝像機內(nèi)參數(shù)K已知時，當F103給定一基本矩陣F，構造投影矩陣對2.兩視幾何重建有了投影矩陣和圖像點就可以通過三角化實現(xiàn)重建給定一基本矩陣F，構造投影矩陣對2.兩視幾何重建有了1042.兩視幾何重建H是一個4×4的可逆射影變換矩陣，則HH2.兩視幾何重建H是一個4×4的可逆射影變換矩陣，則HH1052.兩視幾何例子

2.兩視幾何例子1062.兩視幾何例子2.兩視幾何例子107概念已知基本矩陣F確定單應矩陣H已知單應矩陣H確定基本矩陣F無窮遠平面的單應矩陣2.兩視幾何景物平面與單應矩陣概念2.兩視幾何景物平面與單應矩陣108兩幅圖像上的點如果來自空間的同一個平面，則在它們之間存在一個射影變換，可以用一個33矩陣表示，稱為單應矩陣,記為H。xπmm'ee'2.兩視幾何景物平面與單應矩陣概念H33兩幅圖像上的點如果來自空間的同一個平面，則在它們之間存在一個109建立世界坐標系，使得X-Y

平面為空間平面，即為平面，則2.兩視幾何景物平面與單應矩陣概念建立世界坐標系，使得X-Y平面為空間平面，即為110若是空間平面上的點在兩幅圖像上對應點對，則存在矩陣H使得s為非零常數(shù)因子，H是一3×3矩陣，一般可由4對對應點求得。2.兩視幾何景物平面與單應矩陣