機(jī)器視覺-第8章-多視圖幾何與三維重建VIP

機(jī)器視覺：8.多視圖幾何與三維重構(gòu)圖像拼接雙目立體視覺系統(tǒng)運動恢復(fù)結(jié)構(gòu)三維重構(gòu)極線幾何與基礎(chǔ)矩陣總結(jié)極線幾何與基礎(chǔ)矩陣極線幾何本質(zhì)矩陣基礎(chǔ)矩陣基礎(chǔ)矩陣的求解方法1.2本質(zhì)矩陣Part14本質(zhì)矩陣對歸一化相機(jī)拍攝的兩個視點圖像之間的極線幾何關(guān)系進(jìn)行代數(shù)描述。歸一化相機(jī)的內(nèi)參矩陣為單位矩陣，即本質(zhì)矩陣——概念

1.2本質(zhì)矩陣Part15向量叉乘可通過下式重新定義：本質(zhì)矩陣——數(shù)學(xué)知識

1.2本質(zhì)矩陣Part16假設(shè)兩個相機(jī)均為歸一化相機(jī)，相機(jī)的內(nèi)參矩陣均為單位矩陣。因此，像素坐標(biāo)和空間點坐標(biāo)的關(guān)系如下：本質(zhì)矩陣——推導(dǎo)

因此，像素坐標(biāo)系的齊次坐標(biāo)與空間點在相機(jī)坐標(biāo)系下的非齊次坐標(biāo)相同。1.2本質(zhì)矩陣Part17

本質(zhì)矩陣——推導(dǎo)本質(zhì)矩陣1.2本質(zhì)矩陣Part18

本質(zhì)矩陣——推導(dǎo)

1.2本質(zhì)矩陣Part19結(jié)論本質(zhì)矩陣——推導(dǎo)

1.2本質(zhì)矩陣Part110結(jié)論本質(zhì)矩陣——推導(dǎo)

1.3基礎(chǔ)矩陣Part111基礎(chǔ)矩陣對一般透視相機(jī)拍攝的兩個視點的圖像之間的極線幾何關(guān)系進(jìn)行代數(shù)描述。與本質(zhì)矩陣不同的是，基礎(chǔ)矩陣對相機(jī)的內(nèi)參矩陣沒有要求?；A(chǔ)矩陣——概念1.3基礎(chǔ)矩陣Part112求解基礎(chǔ)矩陣的思路是將其變換到歸一化相機(jī)上。基礎(chǔ)矩陣——推導(dǎo)

1.3基礎(chǔ)矩陣Part113結(jié)論基礎(chǔ)矩陣——推導(dǎo)

1.3基礎(chǔ)矩陣Part114

基礎(chǔ)矩陣——小結(jié)1.4基礎(chǔ)矩陣的求解方法Part115

基礎(chǔ)矩陣——八點法求解

1.4基礎(chǔ)矩陣的求解方法Part116

基礎(chǔ)矩陣——八點法求解

1.4基礎(chǔ)矩陣的求解方法Part117

基礎(chǔ)矩陣——八點法求解1.4基礎(chǔ)矩陣的求解方法Part118

基礎(chǔ)矩陣——歸一化八點法求解1.4基礎(chǔ)矩陣的求解方法Part119基礎(chǔ)矩陣——歸一化八點法求解

運動恢復(fù)結(jié)構(gòu)運動恢復(fù)結(jié)構(gòu)問題歐式結(jié)構(gòu)恢復(fù)透視結(jié)構(gòu)恢復(fù)N視圖的運動恢復(fù)結(jié)構(gòu)問題2.1運動恢復(fù)結(jié)構(gòu)問題Part221

問題描述2.1運動恢復(fù)結(jié)構(gòu)問題Part222在三維重構(gòu)及SLAM領(lǐng)域，常用的運動恢復(fù)結(jié)構(gòu)有兩種具體形式:歐式結(jié)構(gòu)恢復(fù)和透視結(jié)構(gòu)恢復(fù)。歐式結(jié)構(gòu)恢復(fù)適用于相機(jī)內(nèi)參數(shù)已知、外參數(shù)未知的情況，通常用于掃地機(jī)器人或者自動駕駛車輛，可以預(yù)先標(biāo)定好相機(jī)的內(nèi)參數(shù)，用于運動恢復(fù)結(jié)構(gòu)問題的求解。透視結(jié)構(gòu)恢復(fù)適用于相機(jī)內(nèi)參數(shù)、外參數(shù)均未知的情況，通常用于從互聯(lián)網(wǎng)上下載一組數(shù)據(jù)集而不知道相機(jī)具體參數(shù)的情況。兩種典型的運動恢復(fù)結(jié)構(gòu)問題2.2歐式結(jié)構(gòu)恢復(fù)Part223

歐式結(jié)構(gòu)恢復(fù)問題（相機(jī)內(nèi)參數(shù)已知，外參數(shù)未知）2.2歐式結(jié)構(gòu)恢復(fù)Part224

兩視圖的歐式結(jié)構(gòu)恢復(fù)

2.2歐式結(jié)構(gòu)恢復(fù)Part225（1）利用SVD方法分解本質(zhì)矩陣兩視圖的歐式結(jié)構(gòu)恢復(fù)

2.2歐式結(jié)構(gòu)恢復(fù)Part226

兩視圖的歐式結(jié)構(gòu)恢復(fù)（4）通過重構(gòu)單個或多個點找出正確解

2.2歐式結(jié)構(gòu)恢復(fù)Part227歐式結(jié)構(gòu)恢復(fù)的歧義問題歐式結(jié)構(gòu)恢復(fù)無法估計場景的絕對尺度，恢復(fù)出來的歐式結(jié)構(gòu)與真實場景之間相差一個相似變換，恢復(fù)的場景與真實場景之間僅存在相似變換的重構(gòu)稱為度量重構(gòu)，如圖所示。度量重構(gòu)2.3透視機(jī)構(gòu)恢復(fù)Part228透視結(jié)構(gòu)恢復(fù)的問題（相機(jī)內(nèi)參數(shù)、外參數(shù)均未知）

2.3透視機(jī)構(gòu)恢復(fù)Part229透視結(jié)構(gòu)恢復(fù)的歧義問題

透視結(jié)構(gòu)恢復(fù)歧義2.3透視機(jī)構(gòu)恢復(fù)Part230兩視圖的透視結(jié)構(gòu)恢復(fù)

2.3透視機(jī)構(gòu)恢復(fù)Part231兩視圖的透視結(jié)構(gòu)恢復(fù)

2.4N視圖的運動恢復(fù)結(jié)構(gòu)問題Part232

n張圖像進(jìn)行運動恢復(fù)結(jié)構(gòu)

N視圖的運動恢復(fù)結(jié)構(gòu)問題2.4N視圖的運動恢復(fù)結(jié)構(gòu)問題Part233光束平差法（BundleAdjustments）對場景中任意三維點，由從每個視圖所對應(yīng)的的相機(jī)的光心發(fā)射出來并經(jīng)過圖像中對應(yīng)特征點后的光線，都將交于一個真實值的點，對于所有三維點，則形成相當(dāng)多的光束；實際過程中由于噪聲等存在，每條光線幾乎不可能匯聚于真實值的一點，因此在求解過程中，需要不斷對待求信息進(jìn)行調(diào)整，來使得最終光線能交于一個重構(gòu)點。光束平差法的直觀解釋2.4N視圖的運動恢復(fù)結(jié)構(gòu)問題Part234光束平差法（BundleAdjustments）

光束平差法的直觀解釋雙目立體視覺系統(tǒng)平行視圖非平行視圖3.1平行視圖Part336基礎(chǔ)矩陣的另一種形式

3.1平行視圖Part337基礎(chǔ)矩陣的另一種形式

3.1平行視圖Part338極線幾何特例：平行視圖極線幾何的一種特例是當(dāng)兩個相機(jī)的成像區(qū)域平行，且兩個區(qū)域在同一平面上，稱為平行視圖。平行視圖如下圖所示。平行視圖3.1平行視圖Part339極線幾何特例：平行視圖

平行視圖3.1平行視圖Part340極線幾何特例：平行視圖

平行視圖

3.1平行視圖Part341平行視圖的三角測量

平行視圖模型的俯視圖3.1平行視圖Part342平行視圖的三角測量由兩幅平行視圖圖像經(jīng)過計算獲得下方的視差圖，圖中顏色越淺的部分對應(yīng)視差值越大，距離相機(jī)也越近。由于遮擋現(xiàn)象的存在，被遮擋部分點的深度信息是無法獲取的，在視差圖中以黑色像素標(biāo)出。所有點的視差計算后，進(jìn)一步可得到這些點的三維坐標(biāo)，即目標(biāo)的三維點云信息。視差圖與深度圖3.2非平行視圖Part343非平行視圖

雙目視覺圖像校正原理3.2非平行視圖Part344

雙目視覺圖像校正原理非平行視圖3.2非平行視圖Part345

雙目視覺圖像校正原理

非平行視圖3.2非平行視圖Part346

雙目視覺圖像校正原理

非平行視圖3.2非平行視圖Part347

雙目視覺圖像校正結(jié)果

非平行視圖圖像拼接特征點提取與匹配單應(yīng)性矩陣求解圖像配準(zhǔn)圖像融合4.1特征點提取與匹配Part449特征點提取與匹配圖像拼接的基礎(chǔ)是特征點的檢測與匹配。常用的特征點檢測算法有SIFT、ORB和SURF，在第5章中已經(jīng)詳細(xì)介紹了三種特征點檢測算法的步驟。在對需要匹配的兩張圖像進(jìn)行特征提取之后，會得到兩張圖像的關(guān)鍵點和對應(yīng)的描述子。根據(jù)兩張圖片對應(yīng)描述子向量的相近程度，進(jìn)行匹配。在5.2節(jié)中介紹了特征匹配的幾種方法，使用基本的暴力匹配法進(jìn)行匹配如下圖所示。在利用這些特征匹配方法進(jìn)行初步匹配后，可以使用RANSAC算法對初步匹配的結(jié)果進(jìn)行篩選。暴力匹配示意圖Part450單應(yīng)性變換

4.2單應(yīng)性矩陣的求解Part451世界坐標(biāo)系和像素坐標(biāo)系之間的關(guān)系

4.2單應(yīng)性矩陣的求解Part452世界坐標(biāo)系和像素坐標(biāo)系之間的關(guān)系

4.2單應(yīng)性矩陣的求解不同相機(jī)視角下的投影結(jié)果Part453單應(yīng)性矩陣?yán)肧IFT等特征點檢測算法可以得到對應(yīng)圖像之間的匹配點，利用這些匹配點的坐標(biāo)即可求解出單應(yīng)性矩陣。求解單應(yīng)性矩陣最少需要4對點，具體步驟如下：由：可以得到：4.2單應(yīng)性矩陣的求解

Part454單應(yīng)性矩陣

4.2單應(yīng)性矩陣的求解

Part455單應(yīng)性矩陣

4.2單應(yīng)性矩陣的求解

Part456單應(yīng)性矩陣

4.2單應(yīng)性矩陣的求解

Part457單應(yīng)性矩陣

4.2單應(yīng)性矩陣的求解

Part458單應(yīng)性矩陣

4.2單應(yīng)性矩陣的求解

Part459圖像配準(zhǔn)

4.3圖像配準(zhǔn)Part460圖像配準(zhǔn)根據(jù)內(nèi)點集中的所有匹配點，計算所得的單應(yīng)性矩陣即為最優(yōu)解，可以在圖像拼接中達(dá)到比較好的效果，如下圖所示：4.3圖像配準(zhǔn)特征點匹配結(jié)果Part461圖像配準(zhǔn)根據(jù)之前所求出的單應(yīng)性矩陣，對圖像做透視變換，即可得到與基準(zhǔn)圖像相同視角下的圖像，如下圖所示：4.3圖像配準(zhǔn)圖像配準(zhǔn)結(jié)果Part462圖像融合

4.4圖像融合圖像融合結(jié)果三維重構(gòu)Part564三維重構(gòu)的常見方法基于視覺幾何的方法：這類方法利用相機(jī)的幾何關(guān)系和對應(yīng)點之間的幾何約束來恢復(fù)三維結(jié)構(gòu)，例如基于三角測量的方法和基于立體視覺的方法?；诮Y(jié)構(gòu)光的方法：這類方法利用結(jié)構(gòu)光投射的模式和相機(jī)捕捉的圖像來恢復(fù)物體表面的三維結(jié)構(gòu)，例如利用激光投射的方法和利用編碼光條的方法?；谏疃葘W(xué)習(xí)的方法：近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，越來越多的研究將深度學(xué)習(xí)應(yīng)用于三維重建領(lǐng)域，例如利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行三維重建。5.1三維重構(gòu)Part565三維重構(gòu)的常見方法本章將重點介紹基于視覺幾何的方法基于視覺幾何的三維重建方法是一種通過分析圖像之間的幾何關(guān)系來恢復(fù)物體或場景的三維結(jié)構(gòu)的技術(shù)。5.1三維重構(gòu)基于視覺幾何的三維重建方法主要流程Part566基于視覺幾何的三維重建方法相關(guān)搜索5.1三維重構(gòu)

Part567基于視覺幾何的三維重建方法相關(guān)搜索5.1三維重構(gòu)

Part568基于視覺幾何的三維重建方法相關(guān)搜索5.1三維重構(gòu)

Part569基于視覺幾何的三維重建方法5.1三維重構(gòu)

增量重建Part570基于視覺幾何的三維重建方法5.1三維重構(gòu)

增量重建Part571基于視覺幾何的三維重建方法5.1三維重構(gòu)圖像配準(zhǔn)（ImageRegistration）：在開始重建之后，通過PnP問題的求解，可以解算出新的相機(jī)的位姿，同時將新的圖像不斷加入到系統(tǒng)中；在PnP過程中外點會造成較大的影響，因此一般會采用RANSAC等較為魯棒的算法。三角化（Triangulation）：根據(jù)新配準(zhǔn)的圖像來計算場景點，并將新的場景點并將其與原有的場景點進(jìn)行融合。增量重建Part572基于視覺幾何的三維重建方法5.1三維重構(gòu)

增量重建Part573基于視覺幾何的三維重建方法稀疏模型5.1三維重構(gòu)稀疏模型是指在初始階段通過相關(guān)搜索和增量重建得到的模型。相關(guān)搜索通過分析輸入數(shù)據(jù)中的特征，比如圖像或點云數(shù)據(jù)，來識別場景中的關(guān)鍵特征點或結(jié)構(gòu)。增量重建則是指通過逐步添加新的數(shù)據(jù)來不斷完善模型。在稀疏模型階段，通常會得到一個粗略的場景結(jié)構(gòu)，其中包含一些關(guān)鍵點和基本形狀的信息。Part574基于視覺幾何的三維重建方法稠密模型5.1三維重構(gòu)稠密模型是在稀疏模型的基礎(chǔ)上進(jìn)一步完善得到的模型。在這個階段，通常會利用稀疏模型中的關(guān)鍵點和結(jié)構(gòu)信息，通過填充和插值等方法，將場景中的空白區(qū)域填充得更加密集和細(xì)致。這個過程可以使用各種算法和技術(shù)，比如三維重建算法、體素填充等，以提高模型的密度和準(zhǔn)確度。Part575基于視覺幾何的三維重建方法3D模型5.1三維重構(gòu)3D模型是指最終得到的完整的三維場景模型。在稠密模型的基礎(chǔ)上，通過進(jìn)一步的處理和優(yōu)化，比如表面平滑、紋理映射等，得到一個高質(zhì)量的三維模型。這個模型可以用于各種應(yīng)用，比如虛擬現(xiàn)實、游戲開發(fā)、工程設(shè)計等領(lǐng)域。Part576基于視覺幾何的三維重建方法三維重建結(jié)果5.1三維重構(gòu)前面介紹了相關(guān)搜索和增量重建兩個關(guān)鍵步驟，在此基礎(chǔ)上可以根據(jù)任務(wù)需要對重建結(jié)果進(jìn)行上色等操作。下圖展示了利用7.5萬張圖像重建的羅馬場景。上部是部分原始圖像，下部分為重構(gòu)的三維點云。Part577基于視覺幾何的三維重建方法三維重建結(jié)果5.1三維重構(gòu)基于視覺幾何的三維重建結(jié)果總結(jié)小結(jié)參考文獻(xiàn)Part679通過極線幾何約束，當(dāng)已知一張圖像中的特征點檢測對應(yīng)圖像的匹配點時，可以將搜索范圍縮小到對應(yīng)的極線上，從而大大提高了搜索效率?；A(chǔ)矩陣描述了同一空間點在二相機(jī)投影的對應(yīng)關(guān)系，基礎(chǔ)矩陣可通過八點法求解。、運動恢復(fù)結(jié)構(gòu)能夠從多張圖像中恢復(fù)出相機(jī)的參數(shù)以及目標(biāo)物體三維結(jié)構(gòu)，在圖像拼接、三維重構(gòu)等領(lǐng)域有廣泛應(yīng)用。通過雙目相機(jī)對應(yīng)點的視差，可以得到點的深度信息。利用單應(yīng)性變換關(guān)系可以實現(xiàn)圖像拼接?；谝曈X幾何的三維重建通過