基于向量相似度匹配準(zhǔn)則的圖像配準(zhǔn)與拼接_秦佳

1、30卷第6期2013年6月微電子學(xué)與計(jì)算機(jī)MI C R O E L E C T R O N I C S &C OM P U T E R V o l .30N o .6J u n e 2013收稿日期:2012-08-30;修回日期:2012-10-11基金項(xiàng)目:國家自然科學(xué)基金資助項(xiàng)目(60808028基于向量相似度匹配準(zhǔn)則的圖像配準(zhǔn)與拼接秦佳1,2,楊建峰1,薛彬1,卜凡1,2(1中國科學(xué)院西安光學(xué)精密機(jī)械研究所光譜成像技術(shù)重點(diǎn)實(shí)驗(yàn)室,陜西西安710119;2中國科學(xué)院研究生院,北京100049摘要:針對圖像配準(zhǔn)與拼接中存在的特征點(diǎn)誤匹配問題,提出了基于向量相似度的特征匹配準(zhǔn)則.首先

2、在尺度空間檢測S I F T (S c a l e I n v a r i a n t F e a t u r e T r a n s f o r m a t i o n 特征點(diǎn),生成包含特征點(diǎn)信息的S I F T 向量.采用向量相似度方法進(jìn)行特征點(diǎn)匹配,并通過互映射原理進(jìn)一步篩選,刪除誤匹配點(diǎn)對.然后用隨機(jī)抽樣一致性算法計(jì)算初始投影變換矩陣,并用L e v e n b e r g -M a r q u a r d t (L -M 算法對矩陣求精.最后通過圖像融合實(shí)現(xiàn)了圖像拼接.實(shí)驗(yàn)結(jié)果表明該準(zhǔn)則提高了特征點(diǎn)匹配精度,能處理存在投影變換的圖像配準(zhǔn)與拼接.關(guān)鍵詞:圖像拼接;特征匹配;尺度不變特征

3、變換;向量相似度;互映射原理中圖分類號(hào):T P 751文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1000-7180(201306-0022-04I m a g e R e gi s t r a t i o n a n d M o s a i c B a s e d o n V e c t o r S i m i l a r i t y M a t c h i n g P r i n c i p l e Q I N J i a 1,2,Y A N G J i a n -f e n g 1,X U E B i n 1,B U F a n 1,2(1K e y L a b o r a t o r y o f S p

4、 e c t r u m I m a g i n g T e c h n o l o g y ,X i a n I n s t i t u t e o f O p t i c s a n d P r e c i s i o n M e c h a n i c s ,C h i n e s e A c a d e m y o f S c i e n c e s ,X i a n 710119,C h i n a ;2G r a d u a t e U n i v e r s i t y o f C h i n e s e A c a d e m y o f S c i e n c e s ,B

5、e i j i n g 100049,C h i n a A b s t r a c t :T o r e s o l v e t h e m i s m a t c h i n g p r o b l e m i n i m a g e r e g i s t r a t i o n a n d i m a g e m o s a i c ,t h i s p a p e r p r o p o s e s a n i m p r o v e d f e a t u r e m a t c h i n g p r i n c i p l e b a s e d o n v e c t o r

6、 s i m i l a r i t y .F i r s t ,b y d e t e c t i n g f e a t u r e p o i n t s i n s c a l e s p a c e ,S I F T (S c a l e I n v a r i a n t F e a t u r e T r a n s f o r m a t i o n v e c t o r s ,w h i c h r e p r e s e n t l o c a l p r o p e r t i e s ,a r e c o m p u t e d ;t h e f e a t u r

7、e p o i n t s a r e m a t c h e d b y u s i n g v e c t o r s i m i l a r i t y m e t h o d a n d m i s m a t c h i n g p o i n t c o u p l e s a r e f u r t h e r d e l e t e d w i t h t h e a p p l i c a t i o n o f m u t u a l m a p p i n g t h e o r y .A n d t h e n ,t h e t r a n s f o r m m a

8、t r i x i s c a l c u l a t e d b y r a n d o m s a m p l e c o n s e n s u s a l g o r i t h m.F u r t h e r m o r e ,i t i s o p t i m i z e d b y L e n v e n b e r g -M a r q u a r d t (L -M a l g o r i t h m.F i n a l l y ,t h r o u g h i m a g e f u s i o n ,i m a g e m o s a i c i s r e a l i

9、z e d .T h e e x p e r i m e n t a l r e s u l t s i n d i c a t e n e w p r i n c i p l e i m p r o v e s t h e m a t c h i n g p r e c i s i o n .T h e m e t h o d c a n d e a l w i t h i m a g e r e g i s t r a t i o n a n d m o s a i c w i t h p r o je c t i v e t r a n sf o r m a t i o n .K e y

10、 w o r d s :i m ag e m o s a i c ;f e a t u r e m a t chi n g ;s c a l e i n v a r i a n t f e a t u r e t r a n s f o r m a t i o n ;v e c t o r s i m i l a r i t y ;m u t u a l m a p p i n gt h e o r y 1引言探月工程二期將首次實(shí)現(xiàn)我國地外天體的軟著陸,使我國掌握深空探測和空間科學(xué)領(lǐng)域的核心技術(shù),獲得月球及地月空間的科學(xué)數(shù)據(jù).全景相機(jī)作為著陸探測器的重要載荷之一,將和其他載荷互相配合,共同完成

11、月表形貌與地質(zhì)構(gòu)造調(diào)查的科學(xué)目標(biāo).其中一項(xiàng)重要的任務(wù)是對巡視區(qū)進(jìn)行全景成像1-2.全景成像是指將拍攝獲得的具有重疊區(qū)域的月表圖像,在不降低圖像分辨率的條件下,拼接成單幅大視場圖像.全景成像有效地?cái)U(kuò)展了單幅圖像的場景范圍,為后續(xù)的科學(xué)研究奠定了基礎(chǔ)3-4.圖像配準(zhǔn)與圖像融合是圖像拼接技術(shù)的兩個(gè)關(guān)鍵步驟.圖像配準(zhǔn)方法一般可分為基于區(qū)域的方法第6期秦佳,等:基于向量相似度匹配準(zhǔn)則的圖像配準(zhǔn)與拼接法和基于特征的方法,其中采用最多的是基于圖像特征的配準(zhǔn)方法.尺度不變特征變換(S I F T5算法可以處理兩幅圖像之間發(fā)生平移,旋轉(zhuǎn),仿射變換,光照變換,視角變化情況下的匹配問題,是目前被廣泛采用的算法.研究

12、者針對基于S I F T特征的圖像配準(zhǔn)與拼接進(jìn)行了大量的探索,但是在特征匹配方面大部分采用的是基于距離的匹配方法.由于S I F T 描述符向量維度高,傳統(tǒng)基于距離的匹配方法6判定匹配關(guān)系將產(chǎn)生較大偏差.同時(shí),由于曝光、光照、拍攝角度等差異,誤匹配可能比正確的匹配具有更近距離,進(jìn)而導(dǎo)致誤匹配.本文從向量相似度角度,提出了基于向量相似度的特征匹配準(zhǔn)則,并結(jié)合互映射原理進(jìn)一步提高了特征匹配精度,成功實(shí)現(xiàn)了圖像拼接,驗(yàn)證了準(zhǔn)則的有效性.2S I F T特征匹配算法簡介S I F T配準(zhǔn)算法2由D a v i dG.L o w e于1999年提出,2004年完善總結(jié).該算法利用圖像關(guān)鍵點(diǎn)的S I F

13、T特征向量進(jìn)行匹配,是國內(nèi)外特征點(diǎn)配準(zhǔn)領(lǐng)域的研究熱點(diǎn).2.1檢測尺度空間極值點(diǎn)一幅二維圖像在不同尺度下的尺度空間表示可由圖像與高斯核卷積得到:L(x,y,=G(x,y,*I(x,y(1式中,G(x,y,為高斯卷積核.要提取穩(wěn)定的具有尺度無關(guān)的特征點(diǎn),需在二維平面空間和D O G (D i f f e r e n c eo fG a u s s i a n尺度空間中同時(shí)檢測局部極值點(diǎn).其中每一個(gè)像素要跟同一尺度周圍鄰域8個(gè)像素和相鄰尺度對應(yīng)位置周圍鄰域9×2個(gè)像素總共26個(gè)像素進(jìn)行比較,僅保留極值點(diǎn)進(jìn)行后續(xù)計(jì)算.2.2確定關(guān)鍵點(diǎn)位置和尺度極值點(diǎn)的搜索是在離散空間中進(jìn)行的,檢測到的極值點(diǎn)

14、并不是真正意義上的極值點(diǎn),需使用子像元插值得到連續(xù)空間極值點(diǎn).通過擬合三維二次函數(shù)以精確定位關(guān)鍵點(diǎn)的位置和尺度,同時(shí)剔除低對比度的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn),提高特征點(diǎn)的抗噪聲能力.2.3分配關(guān)鍵點(diǎn)方向利用關(guān)鍵點(diǎn)鄰域像素的梯度方向分布特性,在以關(guān)鍵點(diǎn)為中心的鄰域窗口內(nèi)采樣,并用直方圖統(tǒng)計(jì)鄰域像素的梯度方向,梯度直方圖范圍為0 360°,分為36個(gè)柱,每10°一個(gè)柱.直方圖的峰值代表了該特征點(diǎn)處鄰域內(nèi)圖像梯度的主方向,為了提高算子魯棒性,取大于等于主峰值80%能量的方向?yàn)檩o方向.2.4生成特征向量將坐標(biāo)軸旋轉(zhuǎn)為關(guān)鍵點(diǎn)的方向,然后以特征點(diǎn)為中心取16×16個(gè)像素的窗口

15、,分成16個(gè)4×4的子區(qū)域,在每個(gè)子區(qū)域上計(jì)算8個(gè)方向的梯度直方圖,一個(gè)4×4的子區(qū)域可以得到8維的描述符,則16個(gè)子區(qū)域可以得到128維的方向描述符,即形成一個(gè)128維的S I F T特征向量.2.5特征向量匹配生成圖像的S I F T特征向量后,采用相似性判定準(zhǔn)則進(jìn)行匹配判斷,得到滿足準(zhǔn)則的S I F T匹配點(diǎn)對.目前經(jīng)常被采用的是最近鄰距離比值方法(N N D R,其主要思想在于當(dāng)采用高維度空間的特征描述符進(jìn)行歐氏距離度量時(shí),誤匹配點(diǎn)對間可能具有相同或相似距離,正確匹配相比誤匹配有著明顯小的距離.另外歸一化互相關(guān)(N C C算法及K L T 追蹤算法也是常用的匹配算法

16、.3向量相似度匹配準(zhǔn)則3.1向量相似度準(zhǔn)則相似度是指兩個(gè)對象之間的相似程度.根據(jù)研究對象的不同,出現(xiàn)了多種相似度的細(xì)化概念,如向量相似度、系統(tǒng)相似度、形狀相似度等等.相似性函數(shù)是用函數(shù)的方法來表征兩向量相似的程度,根據(jù)向量中元素的不同,相似性函數(shù)可分為二元向量的相似性函數(shù)和一般向量的相似性函數(shù)7.由于S I F T 特征點(diǎn)描述符為128維向量,所以采用一般向量的相似性函數(shù)判定相似性.這樣尋找匹配點(diǎn)就轉(zhuǎn)化為判定向量相似問題了.從向量方向和大小的角度綜合表征向量間的相似程度.設(shè)向量X=(x1,x2, x n,Y=(y1,y2,y n,向量相似度為,定義如下:定義1向量X與Y的范數(shù)相似度為=1-X-

17、YX(2式中,X,Y分別為向量X,Y的向量范數(shù).定義2向量X與Y的方向相似度為=1-90°(3=a c o sX,YX×Y(4式中,X,Y為向量X,Y的向量內(nèi)積.定義3向量相似度為向量范數(shù)相似度與向量方向相似度的乘積,即:32微電子學(xué)與計(jì)算機(jī)2013年=×(5進(jìn)一步分析可知,若向量X 與Y 為歸一化向量,當(dāng)0<<90°時(shí),(0,1,取值越大,兩向量越接近.具體應(yīng)用時(shí),判斷特征點(diǎn)匹配就是比較特征向量的向量相似度與閾值的關(guān)系.3.2互映射匹配為進(jìn)一步剔除誤匹配點(diǎn)對,引入了互映射理論.根據(jù)互映射原理,即匹配點(diǎn)對之間映射關(guān)系的對稱性.對分別位于參考圖

18、像和待配準(zhǔn)圖像上的匹配點(diǎn)對p ,q 可以表示為p <=>q ,匹配映射時(shí)應(yīng)存在兩點(diǎn)間的對應(yīng)關(guān)系p q 和p q .具體計(jì)算時(shí)若兩點(diǎn)映射僅是單向映射關(guān)系,則剔除該點(diǎn)對,若是雙向映射關(guān)系則保留點(diǎn)對.最終的匹配結(jié)果為參考圖像與待配準(zhǔn)圖像的匹配點(diǎn)對集合與待配準(zhǔn)圖像與參考圖像的匹配點(diǎn)對集合的交集.4實(shí)驗(yàn)結(jié)果與分析為了驗(yàn)證基于向量相似度的匹配準(zhǔn)則,提取圖像的S I F T 特征點(diǎn)8,在不同閾值下進(jìn)行特征匹配實(shí)驗(yàn),并與傳統(tǒng)基于距離的匹配準(zhǔn)則作對比分析,如圖表1所示.在P e n t i u m (R 2.95G H z ,內(nèi)存1G B 的P C 機(jī)上采用M a t l a b 7.0軟件平臺(tái)實(shí)現(xiàn)

19、.本文準(zhǔn)則的最佳閾值為0.99,傳統(tǒng)基于距離的匹配準(zhǔn)則的最佳閾值為D a v i d G.L o w e 推薦的0.6.基于本文匹配準(zhǔn)則下不同閾值的對比如表1所示.閾值的微小改變(從0.98到0.99,消除了誤匹配點(diǎn)對,說明了本文準(zhǔn)則較高的靈敏度.表1中2(a ,(b 是傳統(tǒng)基于距離的匹配準(zhǔn)則與本文提出準(zhǔn)則的對比實(shí)驗(yàn)結(jié)果.均取最佳閾值時(shí),本文準(zhǔn)則在沒有明顯減少匹配點(diǎn)對的情況下誤匹配率由5.6%降至0,提高了匹配精度,保證了圖像配準(zhǔn)的準(zhǔn)確性.本文提出的匹配準(zhǔn)則,考慮了向量各維度間的差異,即向量方向間的重合度,也就是方向相似度.同時(shí)也考慮了向量整體數(shù)值差異,即范數(shù)相似度.體現(xiàn)了向量同時(shí)具有方向和大

20、小的本質(zhì),更加真實(shí)地反映了向量的相似程度,在判別條件上要比基于距離的匹配準(zhǔn)則苛刻,因此匹配精度更高.表1中3(a ,(b 是基于本文準(zhǔn)則下加入互映射匹配前后的實(shí)驗(yàn)結(jié)果對比.可以看出,加入互映射匹配后,誤匹配點(diǎn)對被剔除,誤匹配率由3.7%下降到0.8%.加入互映射匹配使由傳統(tǒng)的單向匹配判別,增加為雙向匹配判別,提高了判別的穩(wěn)定性以及重復(fù)性,降低了誤匹配率.大量實(shí)驗(yàn)表明,當(dāng)存在較多誤匹配點(diǎn)對時(shí),互映射匹配能更好地消除誤匹配點(diǎn)對.本文算法與傳統(tǒng)算法的對比分析如表1所示.表1本文匹配準(zhǔn)則與傳統(tǒng)匹配準(zhǔn)則的對比1(a1(b 2(a 2(b 3(a 3(b 匹配算法本文算法本文算法傳統(tǒng)算法本文算法本文算法本

21、文算法閾值0.980.990.60.990.980.98匹配點(diǎn)數(shù)19073143122269255誤匹配點(diǎn)數(shù)4080102誤匹配率2.105.603.70.85投影矩陣計(jì)算本文采用魯棒性的隨機(jī)樣本一致性算法(RA N S A C 迭代求精,對匹配點(diǎn)對進(jìn)行提純,得到內(nèi)點(diǎn)集合,并結(jié)合最小二乘法計(jì)算兩幅圖像的變換關(guān)系,最后得到初始投影矩陣.由于特征點(diǎn)檢測的誤差以及線性解法的結(jié)果往往不穩(wěn)定,因此就要通過上一步得到的內(nèi)點(diǎn)集合對投影矩陣進(jìn)行非線性優(yōu)化,本文采用了L -M (L e v -e n b e r g -M a r qu a r d t 算法優(yōu)化投影矩陣,得到了精度較高的投影矩陣.6圖像融合由于拍

22、攝時(shí)間或者相機(jī)曝光時(shí)間等拍攝參數(shù)的不同,使采集到的圖像間存在較大的亮度差異,直接拼接會(huì)產(chǎn)生明顯的亮度差異以及拼縫.在拼接前,本文先進(jìn)行了亮度調(diào)整,首先對兩幅待拼接圖像匹配的特征點(diǎn)求鄰域亮度平均值,然后使用最小二乘法擬合出亮度差異函數(shù),調(diào)整圖像亮度,減小待拼接圖像的亮度差異,滿足人眼視覺特性.其中兩圖像亮度間的關(guān)系可以表示為I '=a I +b (6式中,I ,I 為兩圖像亮度函數(shù),a ,b 為變換參數(shù).采用漸入漸出法消除拼縫,重疊區(qū)域像素的權(quán)值與像素點(diǎn)到重疊區(qū)域邊界距離有關(guān),公式為I (x ,y =w I 1(x ,y +(1-w I 2(x ,y (7為了驗(yàn)證該準(zhǔn)則,使用全景相機(jī)拍攝

23、得到若干幅圖像,對圖像進(jìn)行配準(zhǔn),拼接,得到了如圖1所示的拼接圖像,圖像無明顯拼縫,過渡自然.本文圖像拼接算法流程如圖2所示.7結(jié)束語應(yīng)用向量相似度準(zhǔn)則及互映射原理匹配S I F T 特征點(diǎn),利用匹配點(diǎn)對得到了兩幅圖像之間的亮度變換關(guān)系,最后通過重采樣實(shí)現(xiàn)了圖像拼接.特征點(diǎn)42第6期秦佳,等:基于向量相似度匹配準(zhǔn)則的圖像配準(zhǔn)與拼接法 圖1兩幅室外圖像的拼接結(jié)果 圖2本文算法流程圖 匹配實(shí)驗(yàn)表明,本文準(zhǔn)則克服了傳統(tǒng)基于距離匹配方法只衡量特征向量整體差異而忽略向量各分量差異的弊病,有效地剔除了誤匹配點(diǎn)對,利用互映射原理對匹配點(diǎn)對進(jìn)行雙向判斷,進(jìn)一步剔除了誤匹配點(diǎn),兩次匹配有效地提高了匹配精度,據(jù)此實(shí)

24、現(xiàn)了效果良好的圖像配準(zhǔn)與拼接.實(shí)際上,S I F T 向量各維度對描述該特征點(diǎn)信息的重要程度是不同的,而本文并沒有考慮各個(gè)分量的權(quán)重關(guān)系,如果能按照一定規(guī)則賦予向量各維度以不同的權(quán)重,理論上將會(huì)有更高的匹配精度.參考文獻(xiàn):1曾丹,史浩,張琦.多相似內(nèi)容圖像的特征匹配J .計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)報(bào),2011,23(10:1725-1733.2易盟,郭寶龍,張旭.基于復(fù)合Z e r n i k e 矩相角估計(jì)的圖像配準(zhǔn)J .光學(xué)精密工程,2012,20(5:1117-1125.3張錕,張昌芳,李杰.利用特征點(diǎn)序列截?cái)嗟膱D像匹配判決算法J .中國圖像圖形學(xué)報(bào),2011,16(6:1051-1056.

25、4郝志成,朱明.基于多約束準(zhǔn)則匹配算法的序列圖像配準(zhǔn)J .光學(xué)學(xué)報(bào),2010,30(3:702-707.5L o w e D G.D i s t i n c t i v e i m a ge f e a t u r e s f r o m s c a l e -i n v a r -i a n t d e y p o i n t s J .I n t e r n a t i o n a l J o u r n a l o f C o m p u t e r V i s i o n ,2004,60(2:91-110.6B e i s J S ,L o w e G.S h a p e i n d e x i n g u s i n g a p p r o x i m a t e n e a r e s t -n e i g hb o r s e a rc h i n h i g hd i me n s i o n a l s p a c e s C /P r o c e e d i n g s of I E E E C o m p u t e r S o c i e t y C o n f e r -e n c