物體識別中的特征-基于SIFT特征提取、描述、匹配

1、物體識別中的局部特征提取基于SIFT算法的檢測、描述和匹配基于圖像進行物體識別的過程待訓(xùn)練的圖像包含感興趣的的物體特征提取（檢測子）使感興趣的物體區(qū)別于其他部分特征描述（描述子）形成獨特的特征向量特征庫特征提取特征匹配待識別的圖像包含待識別的物體特征提取使感興趣的物體區(qū)別于其他部分特征描述形成獨特的特征向量在特征庫中進行匹配判斷識別情況圖像特征l全局特征l大小、灰度分布、顏色、全局邊緣l局部特征l點、線l角點l區(qū)域內(nèi)的邊緣l局部極值特征提取中的常見問題 物體所在環(huán)境復(fù)雜l光照l對比度l雜散背景l(fā)目標被遮擋 物體運動導(dǎo)致的識別困難l平移、旋轉(zhuǎn)l尺度變化l彷射變換l視點變化（例如站在立體物體不同側(cè)

2、面，看到的圖像可能大不相同）局部特征用于識別的要求局部特征：l重復(fù)性 l可區(qū)分性 l準確性 l數(shù)量以及效率 l不變性 圖像變化圖像變化對應(yīng)特征不變性對應(yīng)特征不變性亮度亮度不變性對比度對比度不變性平移平移不變性旋轉(zhuǎn)旋轉(zhuǎn)不變性尺度變化尺度不變性仿射變換仿射不變性視角變化立體物體多角度建模傳統(tǒng)的局部特征提取l 成像匹配的核心問題是將同一目標在不同時間、不同分辨率、不同光照、不同位姿情況下所成的像相對應(yīng)。l傳統(tǒng)的匹配算法往往是直接提取角點、線或邊緣，對環(huán)境的適應(yīng)能力較差。l需要一種魯棒性強、能夠適應(yīng)不同光照、不同位姿等情況下能夠有效識別目標的方法。7 7 19991999年年British Colum

3、biaBritish Columbia大學(xué)大學(xué)David G.LoweDavid G.Lowe教授教授總結(jié)了現(xiàn)有的基于不變量技術(shù)的總結(jié)了現(xiàn)有的基于不變量技術(shù)的特征檢測方法，并正式提出了一種基于尺度空間的、對圖像縮放、旋轉(zhuǎn)甚至仿射特征檢測方法，并正式提出了一種基于尺度空間的、對圖像縮放、旋轉(zhuǎn)甚至仿射變換保持不變性的圖像局部特征描述算子變換保持不變性的圖像局部特征描述算子SIFTSIFT（scale-invariant feature scale-invariant feature transformtransform），），這種算法在這種算法在20042004年被加以完善。年被加以完善。Davi

4、d G. LoweComputer Science Department2366 Main MallUniversity of British ColumbiaVancouver, B.C., V6T 1Z4, Canada E-mail: lowecs.ubc.caSIFT算法SIFT算法的主要特點lSIFT特征是圖像的局部特征，其對平移、旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性。l對視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性。 l獨特性好，信息量豐富，適用于在海量特征數(shù)據(jù)庫中進行快速、準確的匹配。 l多量性，即使少數(shù)的幾個物體也可以產(chǎn)生大量SIFT特征向量。 l可擴展性，可以很方便的與其他形

5、式的特征向量進行聯(lián)合。9 9Original image courtesy of David Lowe尺度空間l我們我們要精確表示的物體都是通過一定的尺度來反映的。現(xiàn)實世要精確表示的物體都是通過一定的尺度來反映的?，F(xiàn)實世界界的物體的物體也總是通過不同尺度的觀察而得到不同的變化。也總是通過不同尺度的觀察而得到不同的變化。l尺度尺度空間理論最早在空間理論最早在19621962年提出，其主要思想是通過對原始圖年提出，其主要思想是通過對原始圖像像進行進行尺度變換，獲得圖像多尺度下的尺度空間表示序列，對尺度變換，獲得圖像多尺度下的尺度空間表示序列，對這些序列這些序列進行尺度進行尺度空間主輪廓的提取，并以

6、該主輪廓作為一種空間主輪廓的提取，并以該主輪廓作為一種特征向量，實現(xiàn)邊緣特征向量，實現(xiàn)邊緣、角、角點檢測和不同分辨率上的特征提取等。點檢測和不同分辨率上的特征提取等。l尺度尺度空間中各尺度圖像的模糊程度逐漸變大，能夠模擬人在距空間中各尺度圖像的模糊程度逐漸變大，能夠模擬人在距離離目標目標由近到遠時目標在視網(wǎng)膜上的形成過程由近到遠時目標在視網(wǎng)膜上的形成過程。尺度是自然存在的，不是人為創(chuàng)造的！高斯卷積只是表現(xiàn)尺度空間的一種形式尺度空間l尺度空間就是將要處理的維函數(shù)（計算機視覺中為維），嵌入到一族單參數(shù)函數(shù)族中。這個單參數(shù)函數(shù)族就叫做尺度空間。l單參數(shù)函數(shù)族的生成方法就是將要處理的函數(shù)與核函數(shù)進行卷

7、積。l核函數(shù)選擇的核心原則是保證在生成的單參數(shù)函數(shù)族中，局部極值的穩(wěn)定性和數(shù)目隨單參數(shù)的增加的遞減性。l由于幾個條件的約束導(dǎo)致，對連續(xù)函數(shù)必須使用高斯函數(shù)做為卷積核。對離散函數(shù)要使用高斯函數(shù)的某種離散近似。圖像多尺度表示 根據(jù)尺度理論，高斯卷積核是實現(xiàn)尺度變換的唯一變換核，也是唯一的線性核： 一幅二維圖像，在不同尺度下的尺度空間表示可由圖像與高斯核卷積得到： 2222/ )(221),(yxeyxG),(*),(),(yxIyxGyxL圖像多尺度表示 稱為尺度空間因子，其值越小則表征該圖像被平滑的越少相應(yīng)的尺度也就越小。 大尺度對應(yīng)于圖像的概貌特征，小尺度對應(yīng)于圖像的細節(jié)特征。SIFT算法步驟

8、檢測檢測尺度關(guān)鍵點（空間尺度關(guān)鍵點（空間極值點極值點 ）精確精確定位關(guān)鍵點，定位關(guān)鍵點，去除低對比度點和不穩(wěn)定邊緣點去除低對比度點和不穩(wěn)定邊緣點為每個關(guān)鍵點指定方向參數(shù)為每個關(guān)鍵點指定方向參數(shù)關(guān)鍵點描述子的生成關(guān)鍵點描述子的生成1515所謂所謂關(guān)鍵點，就是在不同關(guān)鍵點，就是在不同尺度空間尺度空間的圖像下檢測出的具有的圖像下檢測出的具有方向信息方向信息的的局部極局部極值點值點。根據(jù)歸納根據(jù)歸納，特征，特征點具有的三個特征：點具有的三個特征： 尺度尺度 方向方向 大小大小1. 1. 哪些點是哪些點是SIFTSIFT中要查找的關(guān)鍵點（特征點）？中要查找的關(guān)鍵點（特征點）？ 這些點是一些十分突出的點不

9、會因光照條件的改變而消失，比如角點、這些點是一些十分突出的點不會因光照條件的改變而消失，比如角點、邊緣點、暗區(qū)域的亮點以及亮區(qū)域的暗點，既然兩幅圖像中有相同的景物，邊緣點、暗區(qū)域的亮點以及亮區(qū)域的暗點，既然兩幅圖像中有相同的景物，那么使用某種方法分別提取各自的穩(wěn)定點，這些點之間會有相互對應(yīng)的匹配那么使用某種方法分別提取各自的穩(wěn)定點，這些點之間會有相互對應(yīng)的匹配點。點。 關(guān)鍵點檢測相關(guān)問題 關(guān)鍵點檢測相關(guān)問題17172 2. . 高斯高斯模糊模糊 高斯模糊是在高斯模糊是在Adobe PhotoshopAdobe Photoshop等圖像處理軟件中廣泛使用的處理等圖像處理軟件中廣泛使用的處理效果，

10、通常用它來減小圖像噪聲以及降低細節(jié)層次。這種模糊技術(shù)生成效果，通常用它來減小圖像噪聲以及降低細節(jié)層次。這種模糊技術(shù)生成的圖像的視覺效果是好像經(jīng)過一個半透明的屏幕觀察圖像。的圖像的視覺效果是好像經(jīng)過一個半透明的屏幕觀察圖像。 關(guān)鍵點檢測相關(guān)問題 在實際應(yīng)用中，在計算高斯函數(shù)的離散近似時，在大概在實際應(yīng)用中，在計算高斯函數(shù)的離散近似時，在大概33距離之外的像距離之外的像素都可以看作不起作用，這些像素的計算也就可以忽略素都可以看作不起作用，這些像素的計算也就可以忽略。 通常，圖像處理程序只需要計算通常，圖像處理程序只需要計算(61) (61)18183.高斯高斯模板大小的模板大小的選擇選擇關(guān)鍵點檢測

11、相關(guān)問題l高斯金子塔的構(gòu)建過程可分為兩步：高斯金子塔的構(gòu)建過程可分為兩步：（1 1）對圖像做高斯平滑；）對圖像做高斯平滑；（2 2）對圖像做降采樣。）對圖像做降采樣。 為了讓尺度體現(xiàn)其連續(xù)性，在簡單為了讓尺度體現(xiàn)其連續(xù)性，在簡單降降采樣采樣的基礎(chǔ)上加上了高斯濾波。的基礎(chǔ)上加上了高斯濾波。一幅圖像可以產(chǎn)生幾組（一幅圖像可以產(chǎn)生幾組（octaveoctave）圖像，一組圖像包括幾層圖像，一組圖像包括幾層（intervalinterval）圖像。）圖像。 19194. 4. 高斯金字塔高斯金字塔關(guān)鍵點檢測相關(guān)問題2020高斯圖像金字塔共高斯圖像金字塔共o o組、組、s s層，層，則有則有：尺度空間坐

12、標；尺度空間坐標；s ssub-levelsub-level層坐標；層坐標；0 0初始尺度；初始尺度；S S每組層數(shù)每組層數(shù)關(guān)鍵點檢測相關(guān)問題 高斯金字塔的組內(nèi)尺度與組間尺度高斯金字塔的組內(nèi)尺度與組間尺度0( )2sSs2121組內(nèi)尺度是指同一組（組內(nèi)尺度是指同一組（octave）內(nèi)的）內(nèi)的尺度關(guān)系，組內(nèi)相鄰層尺度化簡為：尺度關(guān)系，組內(nèi)相鄰層尺度化簡為：112Sss組間尺度是指不同組直接的尺度關(guān)組間尺度是指不同組直接的尺度關(guān)系，相鄰組的尺度可化為：系，相鄰組的尺度可化為：1( )2s SSoos222s SsSSoo 由此可見，相鄰兩組的同一層尺度為由此可見，相鄰兩組的同一層尺度為2倍的關(guān)系倍

13、的關(guān)系關(guān)鍵點檢測相關(guān)問題2222最后可將組內(nèi)和組間尺度歸為：最后可將組內(nèi)和組間尺度歸為：i i金字塔組數(shù)金字塔組數(shù)n n每一組的層數(shù)每一組的層數(shù)1212( ,)inkkk12Sk 關(guān)鍵點檢測相關(guān)問題2323上一組圖像的底層是由前一上一組圖像的底層是由前一組圖像的倒數(shù)第二層圖像隔組圖像的倒數(shù)第二層圖像隔點采樣生成的。點采樣生成的。這樣這樣可以保持尺度的連續(xù)性?？梢员３殖叨鹊倪B續(xù)性。關(guān)鍵點檢測相關(guān)問題2424對應(yīng)對應(yīng)DOGDOG算子，我們要構(gòu)建算子，我們要構(gòu)建DOGDOG金字塔金字塔我們可以通過高斯差分圖我們可以通過高斯差分圖像看出圖像上的像素值變像看出圖像上的像素值變化情況。（如果沒有變化，化情

14、況。（如果沒有變化，也就沒有特征。特征必須也就沒有特征。特征必須是變化盡可能多的點。）是變化盡可能多的點。）DOGDOG圖像描繪的是目標的圖像描繪的是目標的輪廓。輪廓。關(guān)鍵點檢測相關(guān)問題5 5. . 高斯差分（高斯差分（DOGDOG）金字塔）金字塔2525 中間的檢測點和它同尺度的中間的檢測點和它同尺度的8個相鄰點和上下相鄰尺度對應(yīng)的個相鄰點和上下相鄰尺度對應(yīng)的92個點共個點共26個點比較，以確保在尺度空間和二維圖像空間都檢測到極個點比較，以確保在尺度空間和二維圖像空間都檢測到極值點。值點。 l DoG的局部極值點的局部極值點 關(guān)鍵點是由關(guān)鍵點是由DOGDOG空間的局部極值點組成的。空間的局部

15、極值點組成的。為了尋找為了尋找DoGDoG函數(shù)的極值點，函數(shù)的極值點，每一個像素點要和它所有的相鄰點比較，看其是否比它的圖像域和尺度域每一個像素點要和它所有的相鄰點比較，看其是否比它的圖像域和尺度域的相鄰點大或者小。的相鄰點大或者小。26 122DDXXX 27 12TDD XDXX28DOG算子會產(chǎn)生較強的邊緣響應(yīng)，需要剔除不穩(wěn)定的邊緣響應(yīng)點。獲取特征點處的Hessian矩陣， D的主曲率和H的特征值成正比，通過一個2x2的Hessian矩陣H的特征值表示： H的特征值和為特征值。假設(shè)是較大的特征值，而是較小的特征值，令 ，則 兩個特征值相等時最小，隨著的增大而增大。讓該比值小于一定的閾值。

16、為了檢測主曲率是否在某域值r下，只需檢測 成立時將關(guān)鍵點保留，反之剔除。在Lowe的文章中，取r10。2929 通過尺度不變性求極值點，可以使其具有縮放不變的性質(zhì)，利用關(guān)鍵通過尺度不變性求極值點，可以使其具有縮放不變的性質(zhì)，利用關(guān)鍵點鄰域像素的梯度方向分布特性，我們可以為每個關(guān)鍵點指定方向參數(shù)點鄰域像素的梯度方向分布特性，我們可以為每個關(guān)鍵點指定方向參數(shù)方向，方向，從而使描述子對圖像旋轉(zhuǎn)具有不變性。從而使描述子對圖像旋轉(zhuǎn)具有不變性。,IIgradI x yxy22,1,1,1,1m x yL xyL xyL x yL x y1,1,1,tan1,1,L x yL x yx yL xyL xyl

17、 像素點的梯度表示像素點的梯度表示梯度幅值：梯度方向：我們通過求每個極值點的梯度來為極值點賦予方向。我們通過求每個極值點的梯度來為極值點賦予方向。3030l 方向方向直方圖的生成直方圖的生成 確定關(guān)鍵點的方向采用梯度直方圖統(tǒng)計法，統(tǒng)計以關(guān)鍵點為原點，確定關(guān)鍵點的方向采用梯度直方圖統(tǒng)計法，統(tǒng)計以關(guān)鍵點為原點，一定區(qū)域內(nèi)的圖像像素點對關(guān)鍵點方向生成所作的貢獻。一定區(qū)域內(nèi)的圖像像素點對關(guān)鍵點方向生成所作的貢獻。3131關(guān)鍵點主方向：極值點周圍區(qū)域梯度直方圖的關(guān)鍵點主方向：極值點周圍區(qū)域梯度直方圖的主主峰值峰值,也是特征點方向也是特征點方向關(guān)鍵點輔方向：關(guān)鍵點輔方向：在梯度方向直方圖中，當存在另一個相

18、當于主峰值在梯度方向直方圖中，當存在另一個相當于主峰值 當某方向當某方向80%能量的峰值時，則能量的峰值時，則將將該該方向方向認為是該關(guān)鍵點的輔認為是該關(guān)鍵點的輔方向方向，生成一個新的特征向量生成一個新的特征向量。l 關(guān)鍵點的主方向與輔方向關(guān)鍵點的主方向與輔方向特征檢測3232 圖像的關(guān)鍵圖像的關(guān)鍵點和特征已點和特征已檢測完畢，每個關(guān)鍵點有三個檢測完畢，每個關(guān)鍵點有三個信息：位置、尺度、方向；同時也就使關(guān)鍵點具備平移、縮信息：位置、尺度、方向；同時也就使關(guān)鍵點具備平移、縮放、和旋轉(zhuǎn)不變性。放、和旋轉(zhuǎn)不變性。l描述的目的 l描述的目的是在計算關(guān)鍵點后，用一組向量將這個關(guān)鍵點描述出來，這個描述子不

19、但包括關(guān)鍵點，也包括關(guān)鍵點周圍對其有貢獻的像素點。用來作為目標匹配的依據(jù)，也可使關(guān)鍵點具有更多的不變特性，如光照變化、3D視點變化等。l 描述的思路l通過對關(guān)鍵點周圍圖像區(qū)域分塊，計算塊內(nèi)梯度直方圖，生成具有獨特性的向量，這個向量是該區(qū)域圖像信息的一種抽象，具有唯一性。3333 3434 下圖是一個下圖是一個SIFT描述子事例。其中描述子由描述子事例。其中描述子由228維向量表征，也即是維向量表征，也即是22個個8方向的方向方向的方向直方圖組成。直方圖組成。左圖的種子點由左圖的種子點由88單元組成。每一個小單元組成。每一個小格都代表了特征點鄰域所在的尺度空間的一個像素，箭頭方向代表了像素梯度格

20、都代表了特征點鄰域所在的尺度空間的一個像素，箭頭方向代表了像素梯度方向，箭頭長度代表該像素的幅值。然后在方向，箭頭長度代表該像素的幅值。然后在44的窗口內(nèi)計算的窗口內(nèi)計算8個方向的梯度個方向的梯度方向直方圖。繪制每個梯度方向的累加可形成一個種子點，如右圖所示：一個方向直方圖。繪制每個梯度方向的累加可形成一個種子點，如右圖所示：一個特征點由特征點由4個種子點的信息所組成。個種子點的信息所組成。3535 LoweLowe實驗結(jié)果實驗結(jié)果表明表明：描述子描述子采用采用4 44 48 8128128維向量表征維向量表征，綜合效果最優(yōu)綜合效果最優(yōu)（不變性與獨（不變性與獨特性）。特性）。3636 是關(guān)鍵點所在組（是關(guān)鍵點所在組（octave）的組內(nèi)尺度，）的組內(nèi)尺度，1. 確定確定計算計