超分辨率重建技術(shù)在圖像匹配中的應(yīng)用

超分辨率重建技術(shù)在圖像匹配中的應(yīng)用

一、超分辨率重建技術(shù)圖像的匹配是各種數(shù)據(jù)處理和應(yīng)用程序的基礎(chǔ)，匹配效果對(duì)后續(xù)數(shù)據(jù)處理的影響具有重要意義。遙感圖像的多源化使得信息量豐富的同時(shí),其圖像數(shù)據(jù)間的差異也對(duì)圖像匹配提出了挑戰(zhàn)。目前對(duì)于同一傳感器、不同時(shí)相的遙感圖像匹配技術(shù)已經(jīng)比較成熟,而對(duì)于不同尺度、多源遙感圖像之間的配準(zhǔn),則是目前研究的熱點(diǎn)和難點(diǎn),長(zhǎng)期以來(lái)一直未能很好地解決。YvesDufournaud等研究了不同空間分辨率圖像的匹配問(wèn)題,建立了高分辨率圖像的多尺度表達(dá),在尺度空間中提取角點(diǎn),將傳統(tǒng)的一對(duì)一配對(duì)變?yōu)橐粚?duì)多的匹配。Lowe在1999年首先提出了SIFT(scaleinvariantfeaturetransform),即尺度不變特征變換算法,引起了國(guó)內(nèi)外攝影測(cè)量與遙感界的廣泛關(guān)注,并在2004年對(duì)其進(jìn)行了完善。YvesDufournaud和Lowe等利用尺度空間思想模擬出分辨率相近的圖像進(jìn)行匹配,本文將超分辨重建技術(shù)引入圖像匹配中,擬通過(guò)超分辨率重建技術(shù)提高低分辨率圖像分辨率,從而縮小圖像間分辨率差異,提高圖像配準(zhǔn)精度。國(guó)內(nèi)外學(xué)者在超分辨率算法研究方面做了許多工作,致力于改善圖像超分辨率重建的效果,獲得更高分辨率的圖像,然而將超分辨率技術(shù)應(yīng)用到不同空間分辨率圖像匹配上的卻很少。唐斌兵等提出了一種利用先驗(yàn)圖像的灰度分布作為約束的圖像超分辨率重建的新方法,利用最小鑒別信息構(gòu)造重建圖像與先驗(yàn)圖像的約束,約束結(jié)果使得重建圖像與給定的先驗(yàn)圖像具有最相似的灰度分布。黃全亮等在基于特征圖像的配準(zhǔn)過(guò)程中引入了超分辨技術(shù),經(jīng)過(guò)仿真試驗(yàn)比較,結(jié)果表明超分辨率后特征點(diǎn)的定位更準(zhǔn)確。本文采用文獻(xiàn)的方法對(duì)利用高分辨率圖像作為先驗(yàn)信息對(duì)圖像進(jìn)行超分辨率重建,圖像特征提取及匹配基于文獻(xiàn)及。二、超分辨率重建算法1.圖像數(shù)學(xué)模型圖像的采集、傳輸和記錄等過(guò)程中,光學(xué)系統(tǒng)的像差、大氣的擾動(dòng)、運(yùn)動(dòng)模糊、離散采樣以及系統(tǒng)噪聲等不良因素都會(huì)造成圖像細(xì)節(jié)模糊、分辨率下降。用矩陣-向量的方式來(lái)描述圖像的退化過(guò)程,低分辨率圖像的數(shù)學(xué)模型可表示為式中,x表示高分辨率圖像;yk表示第k幀低分辨圖像;nk表示零均值加性高斯噪聲;Dk、Ck和Fk分別表示下采樣矩陣,模糊矩陣和幾何變換矩陣。令Hk=DkCkFk,則有式中,Hk稱為退化矩陣。上式是常用的圖像重建模型。超分辨率重建就是利用已有的觀測(cè)數(shù)據(jù)和其他相關(guān)信息,通過(guò)建立的數(shù)學(xué)模型獲取在一定準(zhǔn)則下高分辨率圖像x的較好估計(jì),它是成像退化過(guò)程的逆過(guò)程。2.正則化項(xiàng)及約束算子的選擇由于圖像超分辨率重建問(wèn)題是對(duì)一個(gè)病態(tài)問(wèn)題求逆的過(guò)程,則在確定一個(gè)低分辨率圖像序列的條件下,必定存在一個(gè)圖像集合是滿足給定條件。對(duì)這一問(wèn)題的解決的可行方法是依據(jù)先驗(yàn)知識(shí),對(duì)解空間進(jìn)行約束,并使方程收斂于某個(gè)最優(yōu)解。正則化方法主要是通過(guò)加入恰當(dāng)?shù)募s束信息,即引入有關(guān)高分辨率圖像的先驗(yàn)信息約束,一方面改進(jìn)逆問(wèn)題的不適定性,另一方面引入新的信息,改善圖像的分辨率。為獲得高分辨率圖像,就必須合理利用相關(guān)的先驗(yàn)信息。一般來(lái)說(shuō),超分辨處理所能達(dá)到的效果,與所觀測(cè)數(shù)據(jù)的完全性和先驗(yàn)信息等因素有關(guān)。先驗(yàn)信息的開(kāi)發(fā)與合理利用,是利用正則化方法提高圖像分辨率的關(guān)鍵問(wèn)題之一。正則化方法構(gòu)造附加約束把不適定問(wèn)題轉(zhuǎn)化為適定問(wèn)題,通常需要求解如下表達(dá)形式的目標(biāo)泛函的極小值式中,d(x)=‖y-Hx‖2為數(shù)據(jù)擬合項(xiàng),保證原問(wèn)題“相鄰近”問(wèn)題的解在真解的鄰域內(nèi)連續(xù)地依賴于觀測(cè)數(shù)據(jù);p(x)為正則項(xiàng),保證問(wèn)題解的穩(wěn)定性;α為正則化參數(shù),起權(quán)衡數(shù)據(jù)項(xiàng)和正則項(xiàng)的作用。正則化項(xiàng)對(duì)未知圖像x形成了一個(gè)約束,它根據(jù)圖像的先驗(yàn)信息對(duì)解進(jìn)行約束,通常是基于一階微分或二階微分的高通濾波器算子。這種思想體現(xiàn)出超分辨率重建問(wèn)題的本質(zhì)就是在充分?jǐn)M合觀測(cè)數(shù)據(jù)的前提下,使某種奇異性度量最小,從而尋找理想的解x。因而,如何選取約束算子是區(qū)分不同正則化方法的標(biāo)志。正則化項(xiàng)的構(gòu)造,關(guān)鍵在于確定解的先驗(yàn)信息的具體形式。正則化參數(shù)起著對(duì)解的折中作用,α越大,其重構(gòu)圖像灰度越接近先驗(yàn)圖像灰度。因此,在α選取上,原則上認(rèn)為先驗(yàn)圖像越接近于原始高分辨率圖像,α取值越大。但是,由于實(shí)際應(yīng)用中高分辨率圖像f往往是不可獲得的,需要采取合理的方法計(jì)算α值。約束算子的選擇是基于正則化超分辨率圖像重建算法的關(guān)鍵。人眼視覺(jué)認(rèn)為空間灰度分布相似的兩幅圖像具有相同的清晰度,因此利用與原始圖像空間灰度分布相似的清晰圖像作為一種清晰特征,可以對(duì)圖像的盲重建結(jié)果進(jìn)行約束。對(duì)于隨機(jī)變量X,概率密度函數(shù)q(x)未知,先驗(yàn)概率密度函數(shù)為p(x),對(duì)函數(shù)q(x)的估計(jì)應(yīng)滿足以下兩個(gè)條件記k為先驗(yàn)特征圖像;f為待求的超分辨率圖像,則有進(jìn)一步假設(shè)∑∑k(i,j)=∑∑f(i,j),則最小鑒別信息以此作為正則化的約束項(xiàng),即令p(x)=I(f(x),k(x)),代入式(3)中進(jìn)行迭代求解。本文中以高分辨率圖像作為先驗(yàn)特征圖像k,具體的求解方法可參考文獻(xiàn)。三、匹配邊緣點(diǎn)的提取在不同空間分辨率下的圖像匹配,由于圖像間存在的尺度差異及輻射差異等,傳統(tǒng)的圖像匹配算法可能難以得到匹配結(jié)果?？紤]到邊緣對(duì)于輻射差異及尺度差異具有一定的魯棒性,可以引入邊緣檢測(cè)算法對(duì)不同空間分辨率圖像進(jìn)行匹配。Canny算子是應(yīng)用較為廣泛的邊緣檢測(cè)算子之一,具有較好的邊緣檢測(cè)效果。具體算法包括4個(gè)步驟:高斯濾波平滑、梯度計(jì)算、非極大值抑制、雙閾值檢測(cè)。在提取邊緣線后,為了提高后續(xù)的特征匹配效率和正確率,須去除較破碎的邊緣線。本文通過(guò)計(jì)算邊緣線的長(zhǎng)度,設(shè)定邊緣線長(zhǎng)度閾值,刪除小于閾值的邊緣線。Canny算子提取到待匹配圖像的邊緣點(diǎn)后,采用特征點(diǎn)匹配的方式找出點(diǎn)間的對(duì)應(yīng)關(guān)系,本文采用成本函數(shù)法匹配邊緣點(diǎn),如圖1所示。首先將待匹配圖像邊緣點(diǎn)坐標(biāo)a(x2,y2)代入仿射變形公式,計(jì)算其在參考圖像上的預(yù)測(cè)位置A(x1,y1),仿射變形公式中的參數(shù)由SIFT匹配結(jié)果計(jì)算得出。然后以預(yù)測(cè)位置為圓心,取半徑為5像素的圓形模板,將參考圖像中位于模板內(nèi)的邊緣點(diǎn)M(x,y)代入成本函數(shù)式(7)中式中,α、β分別為距離權(quán)重和方向權(quán)重;α取值為邊緣點(diǎn)M與預(yù)測(cè)位置最大距離的倒數(shù);β取值為邊緣點(diǎn)M與預(yù)測(cè)位置最大方向差的倒數(shù);d為邊緣點(diǎn)M與預(yù)測(cè)位置的距離,θ1、θ2分別為待匹配圖像邊緣點(diǎn)a與參考圖像邊緣點(diǎn)M的梯度方向。計(jì)算出各邊緣點(diǎn)的C值,C最大的點(diǎn)為可能的匹配點(diǎn)Mp。按照上述步驟計(jì)算Mp點(diǎn)在待匹配圖像上的C值,若C值最大的點(diǎn)為a,則判定為匹配點(diǎn)。具體方法可以查閱文獻(xiàn)。最后對(duì)匹配點(diǎn)對(duì)進(jìn)行去誤匹配操作,得到最終的匹配結(jié)果,本文采用最小二乘法計(jì)算x,y方向偏差值,去除偏差大于1的點(diǎn)。四、試驗(yàn)和結(jié)果分析1.試驗(yàn)設(shè)計(jì)和平臺(tái)試驗(yàn)圖像數(shù)據(jù)為L(zhǎng)andsatETM+同一區(qū)域第8波段圖像與第6波段圖像,標(biāo)示分辨率分別為15m、60m,圖像大小分別為400dpi×400dpi、100dpi×100dpi,如圖2所示,試驗(yàn)采用的平臺(tái)為Matlab。試驗(yàn)流程圖如圖3所示。2.插值約束后圖像超分辨率首先,對(duì)Band6圖像進(jìn)行超分辨率插值,采用的方法為雙三次卷積法,得到大小為400dpi×400dpi的圖像。接著,采用文獻(xiàn)提出的最小鑒別信息約束方法對(duì)插值后圖像進(jìn)行超分辨率復(fù)原。本試驗(yàn)中降質(zhì)點(diǎn)擴(kuò)散函數(shù)為高斯函數(shù),窗口大小為8dpi×8dpi,σ=2,正則化參數(shù)α=0.9,超分辨率重建結(jié)果如圖4所示。3.匹配精度分析本文采用SIFT算法計(jì)算Canny邊緣特征點(diǎn)匹配算法需要的初始匹配參數(shù),若圖像間差異過(guò)大,則需要人工選取至少3對(duì)同名點(diǎn)進(jìn)行粗匹配來(lái)獲得初始匹配參數(shù);采用仿射模型作為兩幅圖像的幾何變換模型由匹配點(diǎn)對(duì)按照仿射變換模型計(jì)算幾何變換參數(shù),由于缺乏理論值作參照,本文采用均方根誤差(RMSE)衡量匹配的總體精度1)ETM+Band8和ETM+Band6的匹配結(jié)果如圖5所示,得到匹配點(diǎn)對(duì)29對(duì),根據(jù)匹配點(diǎn)對(duì)求得的幾何變換參數(shù)及RMSE如表1。2)ETM+Band8和插值后ETM+Band6的匹配結(jié)果如圖6所示,得到匹配點(diǎn)對(duì)340對(duì),根據(jù)匹配點(diǎn)對(duì)求得的幾何變換參數(shù)及RMSE如表2。3)ETM+Band8和基于正則化超分辨率重建后ETM+Band6的匹配結(jié)果如圖7所示,得到匹配點(diǎn)對(duì)422對(duì),根據(jù)匹配點(diǎn)對(duì)求得的幾何變換參數(shù)及RMSE如表3。4.基于cancy邊緣點(diǎn)的匹配如匹配結(jié)果圖所示,正則化超分辨率重建后圖像匹配點(diǎn)對(duì)相對(duì)于原始圖像數(shù)目增加,同時(shí)分布區(qū)域更加均勻,RMSE減小,說(shuō)明正則化超分辨率重建后的配準(zhǔn)誤差減小。超分辨率重建恢復(fù)了圖像遺失的部分信息,使得圖像細(xì)節(jié)信息更加豐富,能夠提取更多的特征;正則化修正圖像插值后的錯(cuò)誤信息,使得提取的特征較為正確。本文提取圖像的Canny邊緣點(diǎn)進(jìn)行圖像匹配,有利于充分發(fā)揮圖像超分辨率重建的作用,結(jié)果顯示經(jīng)過(guò)正則化超分辨率重建后圖像匹配效果及配準(zhǔn)精度得到改善。Canny邊緣特征點(diǎn)匹配能夠得到較多的匹配點(diǎn),但也存在誤匹配現(xiàn)象,通過(guò)最小二乘法去除偏差較大的點(diǎn)最終可以獲得較小的配準(zhǔn)誤差。對(duì)于具有明顯邊緣的圖像來(lái)說(shuō)能夠取得較多的匹配點(diǎn),具有很好的配準(zhǔn)效果。五、基于圖像超分辨率重建的算法多源遙感圖像匹配是近年來(lái)研究的熱點(diǎn)和難點(diǎn)。通過(guò)超分辨率重建技術(shù)可以提高圖像的空間分辨率,從而縮小圖像間的分辨率差異。本文利用高分辨率圖像