第六章-最小二乘影像匹配

華北水利水電學(xué)院數(shù)字?jǐn)z影測(cè)量DigitalPhotogrammetry第六章最小二乘影像匹配回顧[一]數(shù)字影像匹配基本算法（重點(diǎn)）常見(jiàn)的五種基本匹配算法五種相似性測(cè)度都沒(méi)有考慮幾何變形；協(xié)方差函數(shù)C考慮了部分灰度變形（常量b）；相關(guān)系數(shù)ρ考慮了線性灰度畸變(ay+b)；效果優(yōu)劣依次：ρ，C，S2，S，R；（1）相關(guān)函數(shù)（2）協(xié)方差函數(shù)

（3）相關(guān)系數(shù)（4）差平方和（5）差絕對(duì)值和第六章最小二乘影像匹配LeastSquaresImageMatching內(nèi)容安排（重點(diǎn)）[一]最小二乘影像匹配原理（重點(diǎn)）[二]單點(diǎn)最小二乘影像匹配[三]最小二乘影像匹配的精度第六章最小二乘影像匹配LeastSquaresImageMatching[一]最小二乘影像匹配原理1.概述（1）德國(guó)斯圖加特大學(xué)Ackermann教授提出了一種新的影像匹配方法——最小二乘影像匹配。（2）最小二乘影像匹配可以達(dá)到1/10甚至1/100像素的高精度，即子像素級(jí)Subpixel。（3）實(shí)際應(yīng)用中，一般將基于灰度的匹配或基于特征的匹配作為粗匹配，而將最小二乘影像匹配作為精匹配。第六章最小二乘影像匹配LeastSquaresImageMatching[一]最小二乘影像匹配原理（4）優(yōu)點(diǎn)：最小二乘影像匹配中可以非常靈活地引入各種已知參數(shù)和條件，從而可以進(jìn)行整體平差。既可解決“單點(diǎn)”的影像匹配問(wèn)題，以求其“視差”；也可以直接解求其空間坐標(biāo)。同時(shí)解決“多點(diǎn)”影像匹配或“多片”影像匹配?？煞奖阋搿按植顧z測(cè)”，從而大大地提高影像匹配的可靠性。第六章最小二乘影像匹配LeastSquaresImageMatching[一]最小二乘影像匹配原理2.原理“灰度差的平方和最小”

V第六章最小二乘影像匹配LeastSquaresImageMatching[一]最小二乘影像匹配原理2.原理僅僅認(rèn)為影像灰度只存在偶然誤差

誤差方程式第六章最小二乘影像匹配LeastSquaresImageMatching[一]最小二乘影像匹配原理2.原理按

vv＝min原則進(jìn)行影像匹配的數(shù)字模型。若在此系統(tǒng)中引入系統(tǒng)變形的參數(shù)，按

vv＝min的原則，解求變形參數(shù)，就構(gòu)成了最小二乘影像匹配系統(tǒng)。優(yōu)點(diǎn):靈活,可靠和高精度;缺點(diǎn):如當(dāng)初始值不太準(zhǔn)時(shí)，系統(tǒng)的收斂性等問(wèn)題有待解決。第六章最小二乘影像匹配LeastSquaresImageMatching[一]最小二乘影像匹配原理3.系統(tǒng)誤差影像灰度的系統(tǒng)變形有兩大類：輻射畸變；幾何畸變。1）輻射畸變照明及被攝影物體輻射面的方向大氣與攝影機(jī)物鏡所產(chǎn)生的衰減攝影處理?xiàng)l件的差異以及影像數(shù)字化過(guò)程中所產(chǎn)生的誤差等等第六章最小二乘影像匹配LeastSquaresImageMatching[一]最小二乘影像匹配原理3.系統(tǒng)誤差2）幾何畸變攝影機(jī)方位不同所產(chǎn)生的影像的透視畸變影像的各種畸變豎直航空攝影的情況下，地形高差則是幾何畸變的主要因素第六章最小二乘影像匹配LeastSquaresImageMatching[一]最小二乘影像匹配原理4.基本思想在影像匹配中引入這些變形參數(shù)（灰度畸變和幾何畸變參數(shù)），同時(shí)按最小二乘的原則

vv＝min，解求這些參數(shù)，以達(dá)到提高影像匹配精度的目的，就是最小二乘影像匹配基本思想。第六章最小二乘影像匹配LeastSquaresImageMatching[一]最小二乘影像匹配原理5.僅考慮輻射的線性畸變的最小二乘匹配——相關(guān)系數(shù)誤差方程：按

vv＝min的原則第六章最小二乘影像匹配LeastSquaresImageMatching法方程式

[一]最小二乘影像匹配原理5.僅考慮輻射的線性畸變的最小二乘匹配——相關(guān)系數(shù)第六章最小二乘影像匹配LeastSquaresImageMatching[一]最小二乘影像匹配原理5.僅考慮輻射的線性畸變的最小二乘匹配——相關(guān)系數(shù)對(duì)g1，g2中心化處理

第六章最小二乘影像匹配LeastSquaresImageMatching[一]最小二乘影像匹配原理5.僅考慮輻射的線性畸變的最小二乘匹配——相關(guān)系數(shù)消除了兩個(gè)灰度分布的系統(tǒng)的輻射畸變后，其殘余的灰度差的平方和為第六章最小二乘影像匹配LeastSquaresImageMatching相關(guān)系數(shù)

vv是噪聲的功率

g12為信號(hào)的功率

[一]最小二乘影像匹配原理5.僅考慮輻射的線性畸變的最小二乘匹配——相關(guān)系數(shù)第六章最小二乘影像匹配LeastSquaresImageMatching[一]最小二乘影像匹配原理5.僅考慮輻射的線性畸變的最小二乘匹配——相關(guān)系數(shù)信噪比

相關(guān)系數(shù)與信噪比之間的關(guān)系

可見(jiàn)，以相關(guān)系數(shù)最大作為影像匹配搜索同名點(diǎn)的準(zhǔn)則，其實(shí)質(zhì)是搜索“信噪比為最大”的灰度序列。第六章最小二乘影像匹配LeastSquaresImageMatching[一]最小二乘影像匹配原理6.僅考慮影像相對(duì)移位的一維最小二乘匹配

假設(shè)兩個(gè)一維灰度函數(shù)g1(x),g2(x),除隨機(jī)噪聲外，g2(x)相對(duì)于g1(x)只存在零次幾何變形——移位量

x。Δx誤差方程式線性化第六章最小二乘影像匹配LeastSquaresImageMatching[一]最小二乘影像匹配原理6.僅考慮影像相對(duì)移位的一維最小二乘匹配離散的數(shù)字影像而言，灰度函數(shù)的導(dǎo)數(shù)g2′

(x)可由差分代替

用灰度差分表達(dá)的誤差方程式第六章最小二乘影像匹配LeastSquaresImageMatching[一]最小二乘影像匹配原理6.僅考慮影像相對(duì)移位的一維最小二乘匹配解得影像的相對(duì)移位

最小二乘影像匹配是非線性系統(tǒng)，必須進(jìn)行迭代。迭代過(guò)程收斂的速度取決于初值，因此必須已知初匹配的結(jié)果。第六章最小二乘影像匹配LeastSquaresImageMatching[二]單點(diǎn)最小二乘影像匹配1.基本思想

兩個(gè)二維影像之間的幾何變形，不僅僅存在著相對(duì)移位，而且還存在著圖形變化。只有充分地考慮影像的幾何變形，才能獲得最佳的影像匹配。

兩個(gè)二維影像之間的幾何變形1第六章最小二乘影像匹配LeastSquaresImageMatching[二]單點(diǎn)最小二乘影像匹配2.基本公式因影像匹配窗口尺寸均很小，一般只考慮一次畸變：

幾何變形

灰度畸變+幾何變形

有時(shí)只考慮仿射變形或一次正形變換。若同時(shí)再考慮到右方影像相對(duì)于左方影像的線性灰度畸變，則：x2y2第六章最小二乘影像匹配LeastSquaresImageMatching[二]單點(diǎn)最小二乘影像匹配3.誤差方程建立經(jīng)線性化后，

式中未知數(shù)是待定參數(shù)的改正值，它們之初值分別為

觀測(cè)值是相應(yīng)像素的灰度差。第六章最小二乘影像匹配LeastSquaresImageMatching[二]單點(diǎn)最小二乘影像匹配3.誤差方程建立誤差方程式系數(shù)

由于在數(shù)字影像匹配中，灰度均是按規(guī)則格網(wǎng)排列的離散陣列，且采樣間隔為常數(shù)，可被視為單位長(zhǎng)度，故上式中的偏導(dǎo)數(shù)均用差分代替：

第六章最小二乘影像匹配LeastSquaresImageMatching[二]單點(diǎn)最小二乘影像匹配4.法方程式建立

逐個(gè)像元（在目標(biāo)區(qū)內(nèi)）建立誤差方程式，其矩陣形式為：

在建立誤差方程式時(shí)，可采用以目標(biāo)區(qū)中心為坐標(biāo)原點(diǎn)的局部坐標(biāo)系。由誤差方程式建立法方程式

第六章最小二乘影像匹配LeastSquaresImageMatching5.計(jì)算步驟幾何畸變改正x2=a0+a1x+a2yy2=b0+b1x+b2y重采樣g2(a0+a1x+a2y,b0+b1x+b2y)輻射畸變改正

h0+h1g2計(jì)算相關(guān)系數(shù)判斷是否繼續(xù)迭代最小二乘影像匹配計(jì)算參數(shù)改正值dh0,dh1,da0…計(jì)算變形參數(shù)h0,h1,a0…計(jì)算最佳匹配點(diǎn)位結(jié)束是否最小二乘法匹配流程圖第六章最小二乘影像匹配LeastSquaresImageMatching[二]單點(diǎn)最小二乘影像匹配5.計(jì)算步驟幾何變形改正。根據(jù)幾何變形改正參數(shù)a0,a1,a2,b0,b1,b2將左方影像窗口的影像坐標(biāo)變換至右方影像陣列：重采樣。由于換算所得之坐標(biāo)x2，y2一般不可能是右方影像陣列中的整數(shù)行列號(hào)，因此重采樣是必須的。第六章最小二乘影像匹配LeastSquaresImageMatching[二]單點(diǎn)最小二乘影像匹配5.計(jì)算步驟輻射畸變改正。利用由最小二乘影像匹配所求得輻射畸變改正參數(shù)h0,h1；對(duì)上述重采樣的結(jié)果作輻射改正若相關(guān)系數(shù)小于前一次迭代后所求得的相關(guān)系數(shù)，則可認(rèn)為迭代結(jié)束.也可以根據(jù)幾何變形參數(shù)是否小于某個(gè)預(yù)定的閾值。

第六章最小二乘影像匹配LeastSquaresImageMatching[二]單點(diǎn)最小二乘影像匹配5.計(jì)算步驟采用最小二乘影像匹配，解求變形參數(shù)的改正值dh0,dh1,da0,…。計(jì)算變形參數(shù)

第六章最小二乘影像匹配LeastSquaresImageMatching對(duì)于輻射畸變參數(shù)滿足：

[二]單點(diǎn)最小二乘影像匹配5.計(jì)算步驟第六章最小二乘影像匹配LeastSquaresImageMatching[二]單點(diǎn)最小二乘影像匹配5.計(jì)算步驟計(jì)算最佳匹配的點(diǎn)位.可用梯度的平方為權(quán)，在左方影像窗口內(nèi)對(duì)坐標(biāo)作加權(quán)平均：匹配精度取決于影像灰度的梯度

第六章最小二乘影像匹配LeastSquaresImageMatching[三]最小二乘影像匹配的精度

最小二乘匹配算法，可以根據(jù)以及法方程式系數(shù)矩陣的逆矩陣，求得其精度指標(biāo)。第六章最小二乘影像匹配LeastSquaresImageMatching[三]最小二乘影像匹配的精度n為目標(biāo)區(qū)像元個(gè)數(shù)。由于上式右邊是的無(wú)偏估計(jì)，所以第六章最小二乘影像匹配LeastSquaresImageMatching信噪比方差[三]最小二乘影像匹配的精度第六章最小二乘影像匹配LeastSquaresImageMatching[三]最小二乘影像匹配的精度相關(guān)系數(shù)與信噪比之間的關(guān)系

第六章最小二乘影像匹配LeastSquaresImageMatching[三]最小二乘影像匹配的精度可得到一些很重要的結(jié)論

相關(guān)系數(shù)愈大則精度愈高信噪比愈大，則匹配的精度愈高影像匹配的精度還與影像的紋理結(jié)構(gòu)有關(guān)，即與有關(guān)。特別是當(dāng)愈大，則影像匹配精度愈高。當(dāng)，即目標(biāo)窗口內(nèi)灰度沒(méi)有變化（如湖水表面、雪地等）時(shí)，則無(wú)法進(jìn)行影像匹配。第六章最小二乘影像匹配LeastSquaresImageMatching本講小結(jié)[一]最小二乘影像匹配原理（重點(diǎn)）最小二乘影像匹配優(yōu)點(diǎn)、原理、基本思想[二]單點(diǎn)最小二乘影像