計(jì)算機(jī)視覺三維測量與建模 課件 【ch04】由運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)

第四章計(jì)算機(jī)視覺三維測量與建模由運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)南京航空航天大學(xué)研究生教育教學(xué)改革專項(xiàng)（優(yōu)質(zhì)教學(xué)資源建設(shè)）項(xiàng)目資助01對(duì)極幾何】9在基于影像的三維重建處理之前，參考影像上的像素點(diǎn)m對(duì)應(yīng)的三維空間點(diǎn)M在場景中的準(zhǔn)確位置是未知的，但它必然在一條通過攝影中心C且與成像平面相交于班點(diǎn)的直線（視線）上。直線，在待匹配的影像的像平面上的投影是線l’，那么在這個(gè)像平面上的對(duì)應(yīng)的投影點(diǎn)班'也要在這條線上。更進(jìn)一步，所有位于C、C’和雅三點(diǎn)所確定的平面上的空間點(diǎn)，在兩幅影像上的投影都會(huì)落在直線l和l’上?？芍?，每個(gè)點(diǎn)的對(duì)應(yīng)點(diǎn)都在l’上，反之亦然。對(duì)極幾何對(duì)極幾何基礎(chǔ)矩陣F有一些重要的特性（1）如果西是一對(duì)攝像機(jī)矩陣(P，P’)的基礎(chǔ)矩陣，則五是按相反順序?qū)?P',P)的基礎(chǔ)矩陣。（2）對(duì)于第一幅影像中的任意點(diǎn)班，對(duì)應(yīng)在另一幅影像上的極線為l’=Fm。類似地，I=F^Tp'表示與第二幅影像中的m'對(duì)應(yīng)于第一幅影像的極線。（3）對(duì)于任何點(diǎn)班（e除外），極線l’=Fm包含第二幅影像中的極點(diǎn)e'。因此，對(duì)于所有點(diǎn)m，e滿足e’^T(Fmi)=0，總有(e^T)=0，因此eTF=0，即e'是萬的左零向量。類似地，F(xiàn)e=0，即e是田的右零向量。對(duì)極幾何本質(zhì)矩陣E（EssentialMatrix）是由攝像機(jī)的外參數(shù)確定的，與攝像機(jī)的內(nèi)參數(shù)元素?zé)o關(guān)。本質(zhì)矩陣就是在歸一化影像空間坐標(biāo)條件下的基礎(chǔ)矩陣的特例，基礎(chǔ)矩陣是本質(zhì)矩陣在不考慮攝像機(jī)內(nèi)參標(biāo)定矩陣的推廣。與基礎(chǔ)矩陣相比，本質(zhì)矩陣西具有較小的自由度和附加的性質(zhì)。對(duì)極幾何02影像的單應(yīng)變換】9影像的單應(yīng)變換影像的單應(yīng)變換03求解二視圖的基礎(chǔ)矩陣01八點(diǎn)算法基礎(chǔ)求解二視圖的基礎(chǔ)矩陣以用八點(diǎn)算法求解二視圖的基礎(chǔ)矩陣有兩個(gè)步驟：建立線性方程4f=0，由系數(shù)短陣A的最小奇異值對(duì)應(yīng)的奇異向量f求出初始線性解區(qū)。根據(jù)奇異性約束，使Frobenius范數(shù)1取得最小值的作為最終的解。八點(diǎn)算法的優(yōu)點(diǎn)是容易實(shí)現(xiàn)，且線性求解的運(yùn)行速度快；然而缺點(diǎn)也很明顯，即該算法對(duì)噪聲敏感。12求解二視圖的基礎(chǔ)矩陣02歸一化八點(diǎn)算法在實(shí)踐中，將方程組歸一化非常重要。系數(shù)矩陣A的元素是由影像像素坐標(biāo)計(jì)算而來的，數(shù)值變換區(qū)間相差多個(gè)數(shù)量級(jí)。這種情況下SVD分解極易受坐標(biāo)值測量噪聲的干擾，而使結(jié)果不穩(wěn)定。03非線性最小二乘算法八點(diǎn)算法最小化的誤差是一個(gè)代數(shù)錯(cuò)誤，然而理想的最小化目標(biāo)函數(shù)是一個(gè)幾何意義上的標(biāo)量?？梢圆扇〉恼`差測量是點(diǎn)與外極線之間的距離D（m，l）。假設(shè)每個(gè)特征點(diǎn)上的噪聲都是獨(dú)立的零均值高斯，所有點(diǎn)的標(biāo)準(zhǔn)差都相同，則以下形式的最小化會(huì)產(chǎn)生最大似然解。求解二視圖的基礎(chǔ)矩陣求解二視圖的基礎(chǔ)矩陣首先對(duì)待處理的影像進(jìn)行高斯濾波平滑處理，去除影像中的高斯噪聲，有效抑制高斯噪聲這樣的高頻分量。高斯°波就是對(duì)整幅影像進(jìn)行加權(quán)平均的過程，每個(gè)像素點(diǎn)的值都由其本身和鄰域內(nèi)的其他像素灰度值經(jīng)過加權(quán)平均后得到。例如，使用3x3的高斯模板加權(quán)平均公式如下：01Canny算法的具體實(shí)現(xiàn)過程如下。02在高斯濾波后，計(jì)算像素的梯度幅值和具體方向。該步驟可選用的算子包括Sobel算子、Prewitt算子、Roberts交叉算子等。通常使用較多的是Sobel算子。求解二視圖的基礎(chǔ)矩陣01隨機(jī)抽樣一致性檢驗(yàn)RANSAC下面總結(jié)了二視圖的對(duì)極幾何求解過程。在兩幅影像上分別使用特征提取算法提取特征點(diǎn)，并且對(duì)兩幅影像的特征點(diǎn)進(jìn)行特征匹配，獲得初始匹配點(diǎn)對(duì)。從所有的匹配點(diǎn)對(duì)中，隨機(jī)抽樣選取7組匹配點(diǎn)對(duì)，根據(jù)7組點(diǎn)對(duì)，計(jì)算一個(gè)基礎(chǔ)矩陣F并統(tǒng)計(jì)能夠滿足F的正常值，inlier）個(gè)效。求解二視圖的基礎(chǔ)矩陣01隨機(jī)抽樣一致性檢驗(yàn)RANSAC統(tǒng)計(jì)inlier的比例，如果滿足式（4.25）中的F＞95%，則繼續(xù)下一步；否則，跳回第（2）步。使用所有的inlier，重新計(jì)算一個(gè)優(yōu)化的F。根據(jù)開尋找新的匹配點(diǎn)對(duì)。再一次使用所有的匹配點(diǎn)對(duì)，優(yōu)化F。求解二視圖的基礎(chǔ)矩陣02RANSAC舉例使用魯棒算法能夠根據(jù)兩幅影像的像點(diǎn)特征對(duì)應(yīng)，求解二視圖的基礎(chǔ)矩陣衛(wèi)。根據(jù)RANSAC算法剔除誤匹配可以有效地改善衛(wèi)的求解效率和精度。圖4.5給出了一組檢驗(yàn)RANSAC算法的實(shí)驗(yàn)圖，圖片內(nèi)容為北京市密云區(qū)古北水鎮(zhèn)景區(qū)的復(fù)古建筑照片，兩幅影像分別為在進(jìn)行RANSAC驗(yàn)證前、后的特征匹配對(duì)應(yīng)結(jié)果。求解二視圖的基礎(chǔ)矩陣兩個(gè)視圖射影幾何的計(jì)算要求匹配點(diǎn)對(duì)所對(duì)應(yīng)的內(nèi)容是在三維場景中的，并且運(yùn)動(dòng)不僅僅是純旋轉(zhuǎn)。如果觀察到的三維場景只覆蓋一個(gè)平面區(qū)域，則基礎(chǔ)矩陣最多只能確定三個(gè)自由度。當(dāng)攝像機(jī)的運(yùn)動(dòng)是純旋轉(zhuǎn)時(shí)也是奶此。只有一個(gè)投影中心，是不能觀測到深度信息的。在沒有噪聲的情況下，對(duì)這些退化情況的檢測不會(huì)太困難。但實(shí)際采集的數(shù)據(jù)是存在噪聲的，方程中剩余的自由度是由噪聲決定的，此時(shí)估計(jì)退化問題就顯得更加困難。求解二視圖的基礎(chǔ)矩陣可以用與4.3節(jié)中介紹的二視圖幾何計(jì)算類似的方式確定三視圖或四視圖兒何。由于滿足三視圖或四視圖幾何的結(jié)構(gòu)點(diǎn)肯定也會(huì)滿足二視圖幾何的結(jié)構(gòu)，因此可以采用級(jí)聯(lián)的方式進(jìn)行匹配。求解二視圖的基礎(chǔ)矩陣04攝像機(jī)位置姿態(tài)和場景結(jié)構(gòu)恢復(fù)攝像機(jī)位置姿態(tài)和場景結(jié)構(gòu)恢復(fù)攝像機(jī)位置姿態(tài)和場景結(jié)構(gòu)恢復(fù)對(duì)于每一幅新添加的影像視圖，首先確定它在現(xiàn)有重建結(jié)構(gòu)中的位置姿態(tài)參數(shù)，然后更新重建結(jié)構(gòu)，如圖4.8所示。攝像機(jī)位置姿態(tài)和場景結(jié)構(gòu)恢復(fù)關(guān)聯(lián)三個(gè)點(diǎn)是恢復(fù)影像的姿態(tài)所需條件最少的情況，稱為透視三點(diǎn)（Perspective-3-Point，P3P）問題。擴(kuò)展到更多的點(diǎn)，此時(shí)問題被稱為PnP(Perspective-n-Point)。PnP描述了己知n個(gè)三維空間點(diǎn)以及它們的對(duì)應(yīng)匹配影像上的像點(diǎn)坐標(biāo)時(shí)，如何求解影像的位姿。如圖4.9所示，實(shí)際上，最少3組不共線的匹配點(diǎn)對(duì)就可以估計(jì)一幅影像的位置姿態(tài)。攝像機(jī)位置姿態(tài)和場景結(jié)構(gòu)恢復(fù)05光束法平差】9攝像機(jī)拍照的時(shí)候，三維空間點(diǎn)投影到影像上的過程是實(shí)際投影。根據(jù)影像的肉外參數(shù)和像平面點(diǎn)的匹配信息，可以用三角測量重建三維空間點(diǎn)坐標(biāo)。將重建得到的三維空間點(diǎn)按照影像的投影矩陣進(jìn)行再次虛擬投影，會(huì)得到在影像上的第二次投影的像素坐標(biāo)，即重投影。圖4.10表示了一個(gè)簡單的SfM光束法平差中的空間點(diǎn)和像平面點(diǎn)的對(duì)應(yīng)關(guān)系。光束法平差是以一個(gè)投影光束作為平差計(jì)算的基本單元，以透視投影的成像方程作為數(shù)學(xué)模型的基本方程。光束法平差】9最小二乘（LeastSquares,LS）法是對(duì)過擬合模型的一種最優(yōu)解估計(jì)方法，它是應(yīng)用最為廣泛的一種凸優(yōu)化求解方法。過擬合的情形也可以稱為超定系統(tǒng)(Overdetermined

System)。在一組包含未知數(shù)的方程組中，如果方程的數(shù)量大于未知數(shù)的數(shù)量，那么這個(gè)系統(tǒng)就是一個(gè)超定系統(tǒng)。超定方程組一般是沒有解析解的，只能求近似解。最小二乘法就是求超定方程組近似解的一種方法。在高斯白噪聲的假設(shè)條件下，最小二乘解等價(jià)于極大仙然估計(jì)解。光束法平差在非線性最小二乘法中，高斯——牛頓(Gauss-Newton，GN)算法具有收斂速度快的特點(diǎn)，因此被廣泛采用。光束法平差列文伯格-馬奎特(Levenberg-Marguardt，LM)算法是一種帶有阻尼項(xiàng)的改化GN算法。通過阻尼項(xiàng)的調(diào)節(jié)作用，該算法在初始解遠(yuǎn)離最優(yōu)解時(shí)，有最速下降法的特點(diǎn)；在當(dāng)前解靠近最優(yōu)解時(shí)，收斂速率較快，相當(dāng)于GN算法。列文伯格——馬奎特(Levenberg-Marguardt，LM)算法是一種帶有阻尼項(xiàng)的改化GN算法。通過阻尼項(xiàng)的調(diào)節(jié)作用，該算法在初始解遠(yuǎn)離最優(yōu)解時(shí)，有最速下降法的特點(diǎn)；在當(dāng)前解靠近最優(yōu)解時(shí)，收斂速率較快，相當(dāng)于GN算法。光束法平差光束法平差光束法平差光束法平差06應(yīng)用舉例目前，關(guān)于改進(jìn)和完善SIM技術(shù)的研究主要集中在兩個(gè)方面：(1）實(shí)時(shí)性，同時(shí)計(jì)算多個(gè)攝像機(jī)的歐氏重建，即實(shí)時(shí)在線地估計(jì)攝像機(jī)的位置姿態(tài)參數(shù)，甚至在未知攝像機(jī)參數(shù)的情況下估計(jì)內(nèi)參數(shù)，這類研究在增強(qiáng)現(xiàn)實(shí)應(yīng)用中具有重要的作用：(2）規(guī)模性，研究奶何有效地重構(gòu)出涵蓋更長的攝像機(jī)拍照軌跡，獲得更大、更復(fù)雜的三維場景結(jié)構(gòu)，這類研究主要面向城市類型的大規(guī)模建模應(yīng)用。目前，關(guān)于改進(jìn)和完善SIM技術(shù)的研究主要集中在兩個(gè)方面：（1）實(shí)時(shí)性，同時(shí)計(jì)算多個(gè)攝像機(jī)的歐氏重建，即實(shí)時(shí)在線地估計(jì)攝像機(jī)的位置姿態(tài)參數(shù)，甚至在未知攝像機(jī)參數(shù)的情況下估計(jì)內(nèi)參數(shù)，這類研究在增強(qiáng)現(xiàn)實(shí)應(yīng)用中具有重要的作用；（2）規(guī)模性，研究奶何有效地重構(gòu)出涵蓋更長的攝像機(jī)拍照軌跡，獲得更大、更復(fù)雜的三維場景結(jié)構(gòu)，這類研究主要面向城市類型的大規(guī)模建模應(yīng)用。應(yīng)用舉例07