一種多特征提取的實(shí)時魯棒圖像配準(zhǔn)算法

一種多特征提取的實(shí)時魯棒圖像配準(zhǔn)算法

1無人機(jī)錄像圖像旋轉(zhuǎn)的影響因素隨著傳感器成像能力的快速普及和成像，航空相機(jī)成像設(shè)備已經(jīng)成為推動地面成像的主要手段，在戰(zhàn)場調(diào)查、公共安全、災(zāi)難分析、環(huán)境評估等領(lǐng)域發(fā)揮著重要作用。目前，手動分析和處理航色圖像的內(nèi)容已成為計(jì)算機(jī)視覺、模式識別和智能視覺監(jiān)控的研究熱點(diǎn)和先鋒。實(shí)時、魯棒的圖像配準(zhǔn)是航拍視頻電子穩(wěn)像、全景圖拼接和地面運(yùn)動目標(biāo)自動檢測與跟蹤的前提和關(guān)鍵技術(shù),其目的是精確估計(jì)序列幀間的幾何變換關(guān)系.考慮到載臺運(yùn)動、攝像機(jī)平移、旋轉(zhuǎn)、縮放等因素,航拍序列的圖像配準(zhǔn)需要解決下列問題:(1)旋轉(zhuǎn)變化:載機(jī)轉(zhuǎn)彎、光電吊艙轉(zhuǎn)動造成的圖像旋轉(zhuǎn)變化.(2)尺度變化:載機(jī)飛行高度差異、傳感器觀測鏡頭縮放帶來的圖像尺度變化.(3)亮度變化:光照與大氣狀況變化,以及攝像機(jī)自動白平衡,使得航拍序列中同一地物的灰度發(fā)生較大畸變.(4)視頻抖動:由于無人機(jī)機(jī)身重量較輕,其運(yùn)動特性比較復(fù)雜,在飛行過程中容易受到外界環(huán)境因素影響,采集到的視頻序列中往往出現(xiàn)抖動;為了從空中一定高度獲取地面的高分辨率影像,航空機(jī)載成像設(shè)備往往采用長焦距鏡頭,這使得成像平臺的微小運(yùn)動將引起圖像序列幀間的較大偏移,嚴(yán)重降低畫面的可視性.(5)場景變化:一方面,紋理豐富的復(fù)雜場景(如建筑物密集的城區(qū))中往往含有數(shù)量眾多的圖像特征,而過多的特征會影響算法的實(shí)時性;另一方面,紋理單一的場景(如田地)卻因?yàn)槿狈ψ銐蛱卣?引起配準(zhǔn)性能下降.(6)實(shí)時性:算法的處理速度是決定其能否實(shí)際應(yīng)用的關(guān)鍵.圖1給出航拍視頻中經(jīng)常出現(xiàn)的一些典型問題示例,其中,圖1(a)-圖1(d)給出幀間可能出現(xiàn)的幾何變化和亮度畸變,包括:載機(jī)機(jī)動造成圖像間出現(xiàn)大幅度的平移、旋轉(zhuǎn)、尺度變化(圖1(a),(b)),飛行中的載臺振動引發(fā)的運(yùn)動模糊(圖1(c)),環(huán)境亮度突變(圖1(d))等;圖1(e)給出一組場景復(fù)雜度變化下的航拍序列示例,該序列由無人機(jī)從低空獲取,拍攝的場景中交替出現(xiàn)了紋理和特征豐富的城區(qū)建筑(圖1(e),#289,#980),以及特征匱乏的農(nóng)田(圖1(e),#365,#607).可以看出,圖像的各類畸變和場景復(fù)雜度的反差給穩(wěn)定的特征提取和匹配帶來嚴(yán)峻挑戰(zhàn),如何在上述復(fù)雜條件下,進(jìn)行精確、魯棒、實(shí)時的圖像配準(zhǔn)是機(jī)載成像偵查系統(tǒng)設(shè)計(jì)的關(guān)鍵.2局部不變特征描述許多經(jīng)典的航拍視頻配準(zhǔn)算法都基于光流約束,但該類算法存在以下不足:首先,算法的推導(dǎo)建立在圖像序列的高頻采樣假設(shè)基礎(chǔ)上,即以某一點(diǎn)為中心的較小圖像窗口在幀間只有微小的平移量.當(dāng)無人機(jī)機(jī)動、攝像機(jī)鏡頭擺動造成圖像間存在較大位置、角度變化時(如圖1(a),(b)),算法性能會急劇降低;其次,光流約束方程是建立在色彩強(qiáng)度不變的假設(shè)之上,因此該類算法對環(huán)境亮度變化、噪聲干擾等引起的圖像灰度畸變(如圖1(d))比較敏感.由于在圖像發(fā)生幾何變化和灰度畸變下表現(xiàn)出良好的穩(wěn)定性,近年來,基于局部不變特征(Localinvariantfeature)的圖像配準(zhǔn)算法受到國內(nèi)外學(xué)者的普遍關(guān)注,所謂不變特征是指在圖像在幾何變化、光照變化、噪聲干擾時仍保持穩(wěn)定性的圖像局部特征點(diǎn)或特征區(qū)域,該類算法的處理步驟主要包括不變特征檢測和不變特征描述兩部分.不變特征檢測的目的是在待匹配圖像上獨(dú)立檢測出內(nèi)容相同的區(qū)域.Lindeberg率先提出在歸一化高斯拉普拉斯尺度空間,通過局部極值檢測定位特征所在的位置和尺度.Lowe同時在圖像二維空間和雙高斯差圖像上(DifferenceofGaussian,DoG)進(jìn)行局部極值檢測,確定關(guān)鍵點(diǎn),最終實(shí)現(xiàn)算子對尺度和方向的不變性,為了增加后繼匹配的穩(wěn)定性,Lowe在后處理中引入了去除低對比度和邊緣點(diǎn)、增加輔方向等機(jī)制.2002年,Matas提出了一種最大穩(wěn)定極值區(qū)域檢測算法MSER(MaximallyStableExtremalRegions),用一種類似分水嶺算法的思路對相似區(qū)域進(jìn)行分割和定位特征.2006年Grabner采用箱濾波器快速的得到尺度空間,并提出一種Fast-Hessian檢測算法,采用海森矩陣定位特征.Mikolajczyk通過大量實(shí)驗(yàn)比較,指出尺度歸一化高斯拉普拉斯函數(shù)的極值是最穩(wěn)定的圖像特征,可精確定位不變特征位置和尺度.不變特征描述子是決定匹配性能的關(guān)鍵,描述子可區(qū)分性高低將決定圖像匹配的魯棒性.典型的局部不變特征描述子可以大致分為以下幾類:(1)基于直方圖分布的描述子.如SIFT、LBP(LocalBinaryPattern)、PCA-SIFT、SpinImages、GLOH(Gradientlocationandorientationhistogram)等;(2)基于變換域的描述子,如傅里葉變換、離散余弦變換、Gabor變換、小波變換等;(3)基于微分的描述子,如微分不變量,方向可調(diào)濾波器(Steerablefilter)等;(4)其它描述子,如不變矩等.做為一種性能優(yōu)異的不變特征配準(zhǔn)算法,SIFT算法受到國內(nèi)外學(xué)者的廣泛關(guān)注.Milolajczyk在光照變化、旋轉(zhuǎn)、縮放、模糊、壓縮等條件下對11種典型描述子進(jìn)行性能評估,結(jié)果表明SIFT描述子的性能最優(yōu).我們用10組航拍視頻序列對SIFT算法進(jìn)行測試,結(jié)果表明該算法可有效解決前述航拍序列配準(zhǔn)的問題(1)～(4),即圖像幾何變化、亮度畸變和大幅度抖動,但是,SIFT算法仍難以克服問題(5)、(6):一方面,由于需要用高斯卷積構(gòu)建圖像多尺度空間、加之高維描述子構(gòu)造與檢索等問題,使得SIFT算法計(jì)算復(fù)雜,無法滿足系統(tǒng)在線實(shí)時處理的要求.另一方面,該算法的特征檢測數(shù)量和場景的復(fù)雜程度密切相關(guān),在紋理豐富的場景(如圖1(e),#298,#980)中,SIFT會提取出大量的特征點(diǎn),給后繼特征描述和匹配帶來沉重的計(jì)算負(fù)擔(dān);而對于紋理簡單的場景(如圖1(e),#365,#607),檢測和匹配的特征點(diǎn)數(shù)急劇減少,匹配性能會降低.針對航拍視頻快速、穩(wěn)健配準(zhǔn)面臨的上述難點(diǎn)問題,本文在對不變特征檢測和匹配的各個環(huán)節(jié)進(jìn)行優(yōu)化設(shè)計(jì)的基礎(chǔ)上,提出一種新的基于場景復(fù)雜度與不變特征的航拍視頻實(shí)時配準(zhǔn)算法,包括快速尺度空間構(gòu)建、基于場景復(fù)雜度的不變特征檢測、基于描述子誤差分布統(tǒng)計(jì)特性的特征搜索匹配和魯棒模型參數(shù)估計(jì)四部分(圖2).首先,針對航拍視頻序列中存在的圖像幾何變化、光照變化、抖動等問題(問題1～問題4),算法將多尺度Harris角點(diǎn)和SIFT描述子相結(jié)合,進(jìn)行不變特征點(diǎn)提取與匹配,并用RANSAC算法去除誤匹配點(diǎn),用LM算法優(yōu)化估計(jì)幀間變換模型參數(shù),保證了圖像匹配的精度和魯棒性;然后,針對場景復(fù)雜度變化下的檢測特征數(shù)量大幅波動問題(問題5),算法通過計(jì)算圖像的多尺度Harris角點(diǎn)響應(yīng)分布,動態(tài)估計(jì)當(dāng)前場景的復(fù)雜度,并以此精確控制檢測的特征點(diǎn)數(shù)目;最后,針對算法實(shí)時性問題(問題6),算法主要從以下四個方面加以解決:(1)用積分圖和均值濾波模擬高斯卷積,快速構(gòu)建圖像尺度空間;(2)以多尺度Harris角點(diǎn)響應(yīng)為依據(jù),在保證檢測特征點(diǎn)質(zhì)量的同時,精確控制檢測特征點(diǎn)數(shù),從而降低后繼特征描述與匹配的復(fù)雜度;(3)在特征匹配時,用SIFT描述子誤差分布的統(tǒng)計(jì)特性構(gòu)造級聯(lián)濾波器,在保證匹配結(jié)果的同時,大幅度縮小特征搜索空間;(4)在參數(shù)估計(jì)時,采用改進(jìn)的RANSAC算法,用預(yù)測的出格點(diǎn)概率動態(tài)修正隨機(jī)采樣次數(shù),減少RANSAC迭代次數(shù),加快參數(shù)估計(jì)速度.3基于場景復(fù)雜度和不變特性的實(shí)時匹配算法3.1實(shí)驗(yàn)2:基于建立新多尺度空間考慮到載機(jī)飛行高度差異和傳感器觀測鏡頭縮放帶來的圖像尺度變化,檢測算法需要在多個可能的尺度上獨(dú)立檢測出不變特征點(diǎn),因此,在特征檢測前先要構(gòu)建尺度空間圖像.尺度空間理論是將圖像與某變換核進(jìn)行卷積運(yùn)算,得到基于該變換核的圖像序列.Koendetink和Lindeberg等學(xué)者證明具有線性、平移不變性、旋轉(zhuǎn)不變性的高斯卷積核是實(shí)現(xiàn)線性尺度空間的唯一變換核.但是,隨著高斯核窗寬的增大,高斯卷積的計(jì)算量會急劇增加,無法滿足在線處理的要求.根據(jù)中心極限定理,對一個重要函數(shù)族而言,將函數(shù)族中任意一個成員不斷與自己卷積,最終將生成一個高斯函數(shù).這意味著,如果我們選擇一個新的平滑核函數(shù),并且重復(fù)施加在圖像上,通過卷積的結(jié)合律性質(zhì),則最終的結(jié)果就像我們使用了高斯函數(shù)來平滑該圖像一樣.基于此,本文采用矩形核函數(shù)卷積和降采樣相結(jié)合的方式構(gòu)造圖像多尺度空間,并用積分圖加速計(jì)算.一幅二維圖像,在不同尺度下的尺度空間表示可近似由圖像與矩形核函數(shù)M卷積并亞采樣得到:L(x,y,σ,i)=↓M(x,y,σ)*L(x,y,i-1)(1)其中,L代表圖像的尺度空間,i代表尺度,(x,y)代表圖像的像素位置,σ代表均值濾波的窗寬半徑,σ值越小,表示圖像被平滑的越少,相應(yīng)的尺度也就越小.大尺度對應(yīng)于圖像的概貌特征,小尺度對應(yīng)于圖像的細(xì)節(jié)特征.為了加速計(jì)算,在對第i級圖像L(x,y,i)進(jìn)行卷積前,首先計(jì)算L(x,y,i)對應(yīng)的積分圖S(x,y,i),從而式(1)可以改寫為式(2),且均值濾波的計(jì)算量與窗寬大小無關(guān).尺度空間的階數(shù)O由圖像大小和亞采樣率R共同決定.在沒有圖像縮放比率的先驗(yàn)信息時,本文實(shí)驗(yàn)中采用固定的亞采樣率R,根據(jù)圖像大小計(jì)算階數(shù)O:式中s為圖像亞采樣后的最小尺寸.實(shí)驗(yàn)中,對于原始大小為320×240的圖像序列,給定亞采樣率R=1.414,s=20,則可構(gòu)造一個6階的多尺度空間.實(shí)驗(yàn)表明,上述尺度空間構(gòu)建算法不僅大幅度減少了計(jì)算量,而且精度可以滿足后繼特征檢測和匹配的要求.3.2基于積分圖的角點(diǎn)檢測算法考慮到拍攝景物、地貌的差異,航拍視頻序列中經(jīng)常出現(xiàn)場景復(fù)雜度交替變化的情況(如圖1e所示).由于在設(shè)計(jì)時缺乏對場景具體特性的考慮,許多圖像配準(zhǔn)算法在特征檢測時往往采用預(yù)先設(shè)置的固定參數(shù),使得該類算法的檢測、匹配性能和處理速度會隨著場景復(fù)雜度大幅度波動,無法滿足無人機(jī)系統(tǒng)在線實(shí)時處理的要求.與之不同,我們認(rèn)為,針對航拍視頻序列配準(zhǔn)設(shè)計(jì)的特征檢測算子應(yīng)同時具有以下三個特點(diǎn):(1)可重復(fù)性,(2)可區(qū)分性,(3)場景自適應(yīng)性.可重復(fù)性反映的是圖像發(fā)生幾何和灰度變化時,算子獨(dú)立檢測出相同圖像區(qū)域的能力,可重復(fù)性越高,則可能被匹配的點(diǎn)數(shù)越大;可區(qū)分性指的是檢測的特征點(diǎn)具有獨(dú)特的紋理,特征可區(qū)分性越強(qiáng),則匹配的魯棒性越高;場景自適應(yīng)性指的是算子參數(shù)可隨著場景復(fù)雜度動態(tài)調(diào)整,在各種場景中均能精確控制輸出特征點(diǎn)的數(shù)量和質(zhì)量,該特性對整個算法的匹配速度至關(guān)重要.基于此,本節(jié)提出一種基于場景復(fù)雜度的不變特征檢測算法,將多尺度Harris角點(diǎn)響應(yīng)作為場景復(fù)雜度的依據(jù),根據(jù)響應(yīng)分布函數(shù)在線動態(tài)估計(jì)最優(yōu)參數(shù),在保證算子可重復(fù)性和可區(qū)分性同時,精確控制檢測的特征點(diǎn)數(shù)量,滿足特征描述和匹配對精度和實(shí)時性的要求.作為一種重要的圖像局部特征,角點(diǎn)具有豐富的紋理和良好的可區(qū)分性.Harris算子利用局部自相關(guān)函數(shù)矩陣M的特征值檢測角點(diǎn),具有良好的旋轉(zhuǎn)和亮度仿射不變性,不受攝像機(jī)姿態(tài)及光照的影響.但該算子對圖像的尺度變化比較敏感,當(dāng)無人機(jī)飛行高度發(fā)生變化、或者攝像機(jī)鏡頭縮放時,不能保持檢測特征的可重復(fù)性.因此,本文在特征檢測時,首先采用積分圖快速構(gòu)建尺度空間圖像(見第3.1節(jié)),然后采用多尺度Harris角點(diǎn)檢測算法,在多個尺度上進(jìn)行角點(diǎn)檢測:式(4)中M(x,y,i)為圖像在尺度i上的局部自相關(guān)函數(shù)矩陣,L(x,y,i)x和L(x,y,i)y代表尺度i上(x,y)點(diǎn)的水平和垂直梯度,w(x,y)為高斯窗,用于降低矩形窗帶來的噪聲干擾.矩陣M(x,y,i)的兩個特征值λ1,λ2和局部自相關(guān)函數(shù)的主曲率成正比.當(dāng)兩個特征值都高時,局部自相關(guān)函數(shù)是尖峰狀,窗口強(qiáng)度在任意方向上移動都會增加,這就表示是角點(diǎn).為了回避特征值的計(jì)算,Harris的角點(diǎn)響應(yīng)R采用式(5):R(x,y,i)=detM(x,y,i)-λ·(traceM(x,y,i))2(5)式中detM=λ1λ2,traceM=λ1+λ2,λ是經(jīng)驗(yàn)常數(shù),通常取0.04～0.06.在獲得多尺度圖像的角點(diǎn)響應(yīng)后,傳統(tǒng)的角點(diǎn)提取算法一般選取角點(diǎn)周圍的一個圓形模板,通過比較中心點(diǎn)和模板其他點(diǎn)的響應(yīng)值,提取響應(yīng)的局部極值點(diǎn).由于不考慮圖像的自身特點(diǎn),對于紋理豐富的場景,該算法會檢測出數(shù)量眾多的角點(diǎn),不僅嚴(yán)重降低了后繼特征描述和匹配的速度,而且使大量的計(jì)算浪費(fèi)在可區(qū)分性差的低質(zhì)量角點(diǎn)上.與傳統(tǒng)算法不同,本文在非極大值抑制時,引入一個根據(jù)場景圖像的復(fù)雜度自適應(yīng)調(diào)整的參數(shù)T(k),并根據(jù)下式檢測特征點(diǎn):式中c(x,y,i)表示尺度i上檢測的角點(diǎn),R(x,y,i)和R(x′,y′,i)分別表示模板中心點(diǎn)和非中心點(diǎn)的角點(diǎn)響應(yīng)值.T(k)表示序列中第k幀的非極大值抑制閾值,它決定了圓形模板中心點(diǎn)和模板其他點(diǎn)的角點(diǎn)響應(yīng)差別,T(k)值越大,表明特征點(diǎn)的角點(diǎn)響應(yīng)與周圍反差越大,局部角點(diǎn)響應(yīng)空間分布呈明顯的單峰分布,相應(yīng)的,提取的特征數(shù)量減少;反之,T(k)值減小,提取的特征數(shù)量會增加.在線處理時,參數(shù)T(k)會根據(jù)場景復(fù)雜度和擬檢測的特征點(diǎn)數(shù)K動態(tài)選取.綜上,基于場景復(fù)雜度的不變特征檢測算法計(jì)算過程如下:(1)對于輸入圖像,用式(1)(2)快速構(gòu)建尺度空間,并用式(5)(6)計(jì)算圖像多尺度Harris角點(diǎn)響應(yīng);(2)遍歷整個尺度空間,計(jì)算每一個象素的局部角點(diǎn)響應(yīng)差異ψ(x,y,i)j的最小值ψ(x,y,i):(3)遍歷結(jié)束后,計(jì)算離散型隨機(jī)變量ψ(x,y,i)的概率p(ψ)和分布函數(shù)F(ψ):p(ψ)=nψΝ?F(ψ)=p(ψ)=nψN?F(ψ)=∑t≤ψp(t)(9)式中nψ表示角點(diǎn)響應(yīng)差異為ψ的象素?cái)?shù)目,N是尺度空間圖像中象素的總數(shù).(4)根據(jù)分布函數(shù)F(ψ)和擬檢測的特征點(diǎn)數(shù)K,計(jì)算當(dāng)前幀最優(yōu)的特征點(diǎn)檢測閾值T(k):Τ(k)=argminψ(F(ψ)＞1-Κ/Ν)(10)(5)將閾值T(k)帶入式(6),重新遍歷尺度空間,檢測出角點(diǎn)響應(yīng)差異最高的前K個高質(zhì)量特征點(diǎn)的位置和對應(yīng)的特征尺度.在線配準(zhǔn)時,當(dāng)給定擬檢測的特征點(diǎn)數(shù)K后,上述算法可根據(jù)當(dāng)前拍攝場景的復(fù)雜度,動態(tài)選擇最優(yōu)閾值T(k),在保證檢測特征點(diǎn)質(zhì)量的同時精確控制特征點(diǎn)數(shù),確保了系統(tǒng)在各種地貌環(huán)境下圖像匹配的實(shí)時性和穩(wěn)定性.3.3圖像多尺度特征點(diǎn)的提取在采用第上節(jié)檢測算法得到特征點(diǎn)的位置和尺度信息后,需要對特征點(diǎn)鄰域圖像進(jìn)行提取和規(guī)范化,盡量降低圖像間可能存在的尺度縮放、旋轉(zhuǎn)的影響,獲得內(nèi)容一致的子圖像.本文從特征點(diǎn)所在的尺度圖像L(x,y,i)上選擇矩形鄰域作為支撐區(qū)域,計(jì)算128維SIFT描述子.由于維數(shù)較高,直接用128維SIFT描述子做特征匹配時運(yùn)算量大,不適于航拍視頻的實(shí)時配準(zhǔn).作者通過大量實(shí)驗(yàn),發(fā)現(xiàn)正確匹配點(diǎn)對的SIFT描述子形狀具有很強(qiáng)的相似性,其統(tǒng)一形態(tài)特征的誤差呈現(xiàn)明顯的高斯分布.依據(jù)該特性,本文提出一種新的搜索匹配策略,其基本思想是根據(jù)離線訓(xùn)練的描述子各維特征的誤差分布,設(shè)計(jì)一個級聯(lián)分類器,在匹配時濾除誤匹配點(diǎn).為了獲得匹配點(diǎn)描述子的誤差分布,同時驗(yàn)證這種誤差分布具有良好的穩(wěn)定性,我們從CMU的捕食者無人機(jī)航拍視頻數(shù)據(jù)庫和部分自建數(shù)據(jù)庫中,挑選了多組有表性的航拍視頻序列進(jìn)行測試.視頻序列中包含了不同地貌環(huán)境、不同飛行高度、不同運(yùn)動模式、不同光照變化等情況(見圖5,No.1～No.6).在計(jì)算時,先采用本文提出的基于時空相關(guān)的自適應(yīng)特征檢測算法,定位出圖像多尺度特征點(diǎn);然后用SIFT描述子對規(guī)范化的支撐區(qū)域進(jìn)行特征描述;在特征匹配時,采用RANSAC算法進(jìn)一步去圖像中的誤匹配點(diǎn).用?i和?′i分別代表一對正確匹配點(diǎn)的描述子,則匹配點(diǎn)描述子誤差εi和描述子方差的誤差εVari分別為:方差表示的是描述子各維特征的離散程度,它包含了描繪子特征形狀的整體信息,因此,比較兩個描述子方差的差異可以從宏觀上判定描述子之間的相似性,而分析描述子每一維的誤差則從微觀上刻畫描述子特征向量的相似性.在實(shí)驗(yàn)中,用本文算法對三組捕食者無人機(jī)航拍序列進(jìn)行自動特征檢測與匹配,共得到6,2117對正確匹配點(diǎn),每一對正確匹配點(diǎn)包含兩個128維描述子.分別計(jì)算所有匹配點(diǎn)對的匹配點(diǎn)描述子誤差εi和描述子方差的誤差evari.其中εi共計(jì)6,2117×128個樣本,描述子方差εvari共計(jì)6,2117個樣本.圖3分別給出兩種誤差的分布曲線,航拍圖像的統(tǒng)計(jì)結(jié)果表明,匹配點(diǎn)描述子和描述子方差的相對誤差εi和evari均表現(xiàn)出明顯的“單峰性”、“對稱性”和“有界性”(見圖3),誤差分布近似于一個高斯分布.其中98.9%的匹配點(diǎn)對描述子方差的誤差evari落在區(qū)間[-0.5×10-4,0.5×10-4]中,99.8%的匹配點(diǎn)對描述子誤差ei落在區(qū)間[-0.02,0.02]中.基于此,算法在匹配時先計(jì)算描述子的形態(tài)特征,并據(jù)此快速濾除無關(guān)特征點(diǎn).圖4給出快速匹配算法流程圖.其中Tvar和Te分別表示描述子方差和每一維的誤差閾值,該參數(shù)由正確匹配點(diǎn)的統(tǒng)計(jì)分布給出(見圖3).實(shí)驗(yàn)結(jié)果表明,該方法可在在保證匹配性能不變的同時,快速濾除大量無關(guān)誤匹配點(diǎn),減少搜索空間,提高特征搜索配速度,詳細(xì)實(shí)驗(yàn)分析參見第4節(jié)圖7.3.4估計(jì)匹配點(diǎn)的確定和迭代優(yōu)化模型參數(shù)的魯棒估計(jì)是計(jì)算機(jī)視覺領(lǐng)域的一個核心問題,其關(guān)鍵在于對不符合實(shí)際模型的“出格點(diǎn)(outliers)”的處理上.本文采用RANSAC算法去除誤匹配點(diǎn).并采用實(shí)際匹配點(diǎn)與估計(jì)匹配點(diǎn)之間的歐式距離作為判決準(zhǔn)則,確定內(nèi)點(diǎn)和出格點(diǎn),其中變換模型選用仿射模型.在基本的RANSAC算法中,重復(fù)抽樣次數(shù)K由外點(diǎn)概率ε,抽樣點(diǎn)對數(shù)S和K次抽樣至少有一次全部為內(nèi)點(diǎn)的概率P得到,這種固定抽樣次數(shù)的方法會嚴(yán)重影響估計(jì)算法的處理速度,為此本文采用文獻(xiàn)中改進(jìn)的RANSAC算法,在抽樣結(jié)束后根據(jù)當(dāng)前內(nèi)點(diǎn)的個數(shù)動態(tài)更新出格點(diǎn)概率和采樣次數(shù),加快算法速度.為了進(jìn)一步提高配準(zhǔn)精度,本文在去除誤匹配點(diǎn)后,先用最小二乘法估計(jì)幀間仿射模型參數(shù),提供較為精確的迭代優(yōu)化初始值,然后用LM算法對變換模型參數(shù)進(jìn)行迭代優(yōu)化.4照片照片配準(zhǔn)和圖像增穩(wěn)以本文算法為核心,用VC++6.0開發(fā)了一個實(shí)時航拍視頻序列配準(zhǔn)、鑲嵌與電子穩(wěn)像系統(tǒng).系統(tǒng)硬件配置為IntelCore(TM)2DuoCPUE8400@3.0GHz,2GDDR2內(nèi)存.對10組無人機(jī)航拍視頻序列的測試結(jié)果表明,系統(tǒng)可在各類場景中穩(wěn)定、準(zhǔn)確、實(shí)時的進(jìn)行圖像配準(zhǔn)和增穩(wěn),對320×240的航拍序列的平均速度達(dá)到20.7幀/秒.本節(jié)首先從不同場景下的特征點(diǎn)檢測數(shù)量、正確匹配點(diǎn)數(shù)和計(jì)算時間三方面對本文算法進(jìn)行定量性能評估,并給出算法對航拍視頻序列的實(shí)時匹配和鑲嵌結(jié)果;然后用包含不同復(fù)雜度場景的航拍視頻序列做測試數(shù)據(jù),將本文算法與SIFT算法進(jìn)行分析比較.4.1自適應(yīng)檢測算法驗(yàn)證在實(shí)驗(yàn)中選用圖5所示的10組無人機(jī)航拍視頻序列作為測試庫,測試數(shù)據(jù)來自卡耐基梅隆大學(xué)的VSAM捕食者無人機(jī)數(shù)據(jù)庫(圖5,No.1-No.7)和自建無人機(jī)航拍視頻數(shù)據(jù)庫(圖5,No.10).測試序列共計(jì)7255幀,分辨率為320×240,拍攝的場景涵蓋紋理簡單的鄉(xiāng)間公路和田野(圖5,No.1～No.4,No.8),紋理豐富的城區(qū)建筑物(圖5,No.6～No.9,No.10),拍攝目標(biāo)有地面運(yùn)動的車輛(圖5,No.1～No.7)、坦克和行人(圖5,No.8),序列中圖像間包括大幅度抖動、角度旋轉(zhuǎn)、尺度縮放、亮度突變以及視角變化等情況.首先選用第六組測試序列(圖5,No.6),分析比較固定閾值和基于場景復(fù)雜度的自適應(yīng)閾值的特征點(diǎn)檢測算法性能.序列No.6是一段美國捕食者無人機(jī)對地面車輛的跟蹤拍攝視頻,序列長度為1518幀,拍攝場景中包括森林、草地、田野、公路、城市建筑等,圖像的復(fù)雜度始終發(fā)生動態(tài)變化.試驗(yàn)中,分別選擇三組固定的非極大值閾值T和本文自適應(yīng)檢測算法進(jìn)行比較,其中T的取值分別為T=5,T=20,T=50.圖6(a)和圖6(b)分別給出檢測特征點(diǎn)數(shù)和非極大值抑制的閾值T隨時間變化的曲線.可以看出,固定閾值的方法(圖6(a))檢測的特征點(diǎn)數(shù)與場景復(fù)雜度密切相關(guān),波動幅度大.對于包含建筑物等紋理豐富場景,特征點(diǎn)數(shù)會急劇上升(圖6(a),第310幀),增加了后繼特征描述和匹配的計(jì)算負(fù)擔(dān);而對于草地、田野等紋理簡單的場景,該類算法的檢測點(diǎn)數(shù)又迅速降低(圖6(a),第500幀,第1250幀),無法保證穩(wěn)定、可靠的匹配.此外,該類算法難以選擇一個合適的參數(shù)去適應(yīng)場景的變化.與之不同,本文算法能夠場景復(fù)雜度實(shí)時、動態(tài)的選擇最優(yōu)的自適應(yīng)閾值(圖6(b)),當(dāng)場景復(fù)雜時升高閾值,反之則降低,從而在各種場景下檢測的特征點(diǎn)數(shù)始終保持不變(圖6(a)),這一獨(dú)特優(yōu)點(diǎn)保證了后繼的特征描述和匹配的實(shí)時性和魯棒性.為了分析基于描述子誤差分布的級聯(lián)濾波算法性能,我們選擇了10對航拍圖像,分辨率為320×240,并采用本文提出的特征點(diǎn)檢測算法,精確控制檢測特征點(diǎn)數(shù),分析級聯(lián)濾波前后匹配性能的變化.實(shí)驗(yàn)中檢測點(diǎn)數(shù)分別設(shè)置為200,400,800和1600,從圖7可以看出,級聯(lián)濾波前后,平均匹配點(diǎn)數(shù)幾乎不發(fā)生改變(圖7(a)),而平均匹配時間明顯減少(圖7(b)).當(dāng)檢測特征點(diǎn)數(shù)為1600時,級聯(lián)濾波可使匹配時間從2500ms降低至1500ms,計(jì)算時間減少了40%,而匹配點(diǎn)數(shù)僅有輕微下降.上述分析結(jié)果表明,基于描述子誤差分布特性設(shè)計(jì)的級聯(lián)濾波可在保證匹配性能的同時降低匹配時間.為了進(jìn)一步獲得算法配準(zhǔn)性能的統(tǒng)計(jì)結(jié)果,用圖5所示十組航拍序列對算法進(jìn)行測試,測試圖像序列共計(jì)7255幀,分辨率為320×240,拍攝的場景涵蓋鄉(xiāng)間公路、田野、建筑物,拍攝目標(biāo)有車輛、坦克和行人,實(shí)驗(yàn)中檢測特征點(diǎn)數(shù)設(shè)置為150.圖8給出部分特征匹配結(jié)果示例,包括圖像的復(fù)雜度變化(見圖8(a),(b))、幾何變化(圖8(c)～(f))等情況,圖中用圓圈標(biāo)明不變特征的支撐區(qū)域,直線標(biāo)明匹配的特征點(diǎn)對.表1詳細(xì)給出算法在不同場景下的匹配點(diǎn)數(shù)和處理速度.其中,定義匹配點(diǎn)比率=匹配點(diǎn)對/檢測特征點(diǎn)數(shù),該參數(shù)值越高,表明檢測的特征點(diǎn)可重復(fù)性和可區(qū)分性越強(qiáng).可以看出,本文算法在各種場景下均能夠找到足夠數(shù)量的匹配點(diǎn)(表1,第四列):對測試的十組序列,匹配點(diǎn)數(shù)最低為49.03(表1,No.9),最高為85.21(表1,No.6),對整個測試序列的7255幀圖像平均匹配點(diǎn)對為67.44(表1,最后1行,第4列),平均匹配點(diǎn)比率達(dá)到44.83%(表1,最后1行,第5列),取得了令人滿意的結(jié)果.在處理速度方面,算法的計(jì)算量不隨場景的復(fù)雜度發(fā)生改變,能夠在各種地貌條件下快速、穩(wěn)定的進(jìn)行圖像配準(zhǔn),對7255幀320x240的測試序列平均計(jì)算時間為48.53ms(表1,最后1行,第6列),平均處理速度達(dá)到20.7幀/秒(表1,最后1行,第7列),完全能夠滿足航拍視頻實(shí)時配準(zhǔn)的要求.4.2sift的匹配算法本節(jié)將本文算法與SIFT算法用于航拍序列配準(zhǔn),從檢測特征點(diǎn)數(shù)、處理速度等方面進(jìn)行性能評估.實(shí)驗(yàn)中SIFT算法采用Lowe發(fā)布的C語言編寫的應(yīng)用程序.圖9給出兩種算法對第10組航拍序列(圖5,No.10)的處理結(jié)果,圖像分辨率為320×240,序列長度1632幀,該序列中交替出現(xiàn)了紋理簡單田地和紋理復(fù)雜的建筑物.可以看出,