局部不變性特征描述子

關(guān)于局部不變性特征描述子第一頁，共九十八頁，編輯于2023年，星期一1.圖像分析的目的從圖像中獲取待研究目標(biāo)的有用信息，讓計算機(jī)機(jī)具有認(rèn)識、理解、識別圖像的能力圖像描述：用一組數(shù)字量或符號(描述子)來表征圖像中被描述物體的某些特征3.1基本概念第二頁，共九十八頁，編輯于2023年，星期一圖像中的區(qū)域(目標(biāo))，可用其內(nèi)部(如組成區(qū)域的象素集合)表示，也可用其外部(如組成區(qū)域邊界的象素集合)表示關(guān)心區(qū)域的反射性質(zhì)如灰度、顏色、紋理等關(guān)心區(qū)域的形狀等選定了表達(dá)方法，還需要對目標(biāo)進(jìn)行描述，使計算機(jī)能充分利用所能獲得的分割或者其他結(jié)果表達(dá)是直接具體的表示目標(biāo)。好的表達(dá)方法應(yīng)具有節(jié)省存儲空間、易于特征計算等優(yōu)點描述是較抽象的表示目標(biāo)。好的描述應(yīng)在盡可能區(qū)別不同目標(biāo)的基礎(chǔ)上對目標(biāo)的尺度、平移、旋轉(zhuǎn)等不敏感第三頁，共九十八頁，編輯于2023年，星期一2.特征提取的廣義定義根據(jù)待識別的圖像的特點，通過計算機(jī)的計算產(chǎn)生的一組原始特征來表示原始圖像，稱之為特征形成，一般稱為特征提取。3.狹義定義特征提取：在原始特征基礎(chǔ)上選擇一些主要特征作為判別用的特征，以達(dá)到降低特征空間維數(shù)的目的?？蓞^(qū)別性、可靠性、獨立性好、數(shù)量少特征選擇：原始樣本處于一個高維空間中，采用某種變換技術(shù)，將高維特征變換或映射到低維空間，得到最具代表性的較少的綜合低維特征。

第四頁，共九十八頁，編輯于2023年，星期一色圖像特征形顏色特征亮度信息特征（光譜）幾何形狀邊緣特征紋理特征空間關(guān)系色調(diào)、顏色、陰影、反差形狀、大小、空間布局、紋理

圖像特征第五頁，共九十八頁，編輯于2023年，星期一特征類別像素級特征：從每一個像素點計算的特征，如顏色、位置局部特征：從局部的區(qū)域計算的特征，如關(guān)鍵點（興趣點）、局部區(qū)域，等全局特征：從整個圖像級提取的特征形態(tài)特征vs.紋理特征第六頁，共九十八頁，編輯于2023年，星期一紋理特征紋理是一個模糊的概念，無統(tǒng)一的定義由許多互相接近的、互相編織的元素構(gòu)成，并常富有周期性，如小成分構(gòu)造，最典型的如紡織品纖維的結(jié)構(gòu)紋理描述很少用到邊緣檢測特點：不是基于像素點的特征，它需要在包含多個像素點的區(qū)域中進(jìn)行統(tǒng)計計算局部區(qū)域中像素位置之間的相關(guān)性第七頁，共九十八頁，編輯于2023年，星期一局部特征不是關(guān)鍵，其若干不變性（旋轉(zhuǎn)不變性、尺度不變性、仿射不變性、灰度不變性等）才是局部特征研究發(fā)展的關(guān)鍵！熵、能量、部分矩具有旋轉(zhuǎn)不變性，還具有尺度不變性不變性：假設(shè)有一個函數(shù)f(x)和變換G，如果滿足f(G(x))=f(x)，也就是作用在自變量x上的變換并不改變函數(shù)的值，則稱f具有G不變性。協(xié)變性：如果f和G滿足交換律，即f(G(x))=G(f(x))，則f對于變換G具有協(xié)變性。3.2局部特征第八頁，共九十八頁，編輯于2023年，星期一幾何變形包括5部分：平移，Euclidean（平移+旋轉(zhuǎn)），相似（平移+旋轉(zhuǎn)+縮放），仿射變換，透視變換圖像幾何變換的實質(zhì)：改變像素的空間位置或估算新空間位置上的像素值圖像幾何變換的一般表達(dá)式其中，[u,v]為變換后圖像像素的笛卡爾坐標(biāo)，[x,y]為原始圖像中像素的笛卡爾坐標(biāo)。第九頁，共九十八頁，編輯于2023年，星期一1）平移變換

若圖像像素點平移到，則變換函數(shù)為

寫成矩陣表達(dá)式為：其中，和分別為x和y的坐標(biāo)平移量。注意：平移后的景物與原圖像相同，但“畫布”一定是擴(kuò)大了。否則就會丟失信息。第十頁，共九十八頁，編輯于2023年，星期一2）比例縮放

若圖像坐標(biāo)縮放到()倍，則變換函數(shù)為：其中,分別x和y坐標(biāo)的縮放因子，其大于1表示放大，小于1表示縮小。第十一頁，共九十八頁，編輯于2023年，星期一3）旋轉(zhuǎn)變換

將輸入圖像繞笛卡爾坐標(biāo)系的原點逆時針旋轉(zhuǎn)θ角度，則變換后圖像坐標(biāo)為：這個計算公式計算出的值為小數(shù)，而坐標(biāo)值為正整數(shù)這個計算公式計算的結(jié)果值所在范圍與原來的值所在的范圍不同因此需要前期處理：擴(kuò)大畫布，取整處理，平移處理旋轉(zhuǎn)后處理：插值

第十二頁，共九十八頁，編輯于2023年，星期一4）仿射變換

圖像仿射變換提出的意義是采用通用的數(shù)學(xué)影射變換公式，來表示前面給出的幾何變換。平移、比例縮放和旋轉(zhuǎn)變換都是一種稱為仿射變換的特殊情況。第十三頁，共九十八頁，編輯于2023年，星期一仿射變換性質(zhì)仿射變換有6個自由度（對應(yīng)變換中的6個系數(shù)），因此，仿射變換后互相平行直線仍然為平行直線，三角形映射后仍是三角形。但卻不能保證將四邊形以上的多邊形映射為等邊數(shù)的多邊形。仿射變換的乘積和逆變換仍是仿射變換。仿射變換能夠?qū)崿F(xiàn)平移、旋轉(zhuǎn)、縮放等幾何變換。第十四頁，共九十八頁，編輯于2023年，星期一5）透視變換把物體的三維圖像表示轉(zhuǎn)變?yōu)槎S表示的過程，稱為透視變換，也稱為投影映射，其表達(dá)式為:

透視變換也是一種平面映射，并且可以保證任意方向上的直線經(jīng)過透視變換后仍然保持是直線。透視變換具有9個自由度（其變換系數(shù)為9個），故可以實現(xiàn)平面四邊形到四邊形的映射。第十五頁，共九十八頁，編輯于2023年，星期一局部特征性質(zhì)局部圖像特征描述的核心問題是不變性、魯棒性和可區(qū)分性。不變性：指局部特征不隨圖像大的變形而改變。對于大的圖像變形往往需要先對這些變形進(jìn)行建模，然后再設(shè)計不受這些變形影響的特征檢測算法。魯棒性：指局部特征對于小的變形應(yīng)該不敏感。這類變形包括圖像噪聲、離散化效應(yīng)、壓縮、圖像模糊等，以及由于數(shù)學(xué)建模而引入的小的幾何或成像形變等?？蓞^(qū)分性：特征具有區(qū)別不同類別的能力?？蓞^(qū)分性的強(qiáng)弱往往和其不變性是矛盾的。一個具有眾多不變性的特征描述子，其區(qū)分局部圖像內(nèi)容的能力就稍弱；而如果一個非常容易區(qū)分不同局部圖像內(nèi)容的特征描述子，它的魯棒性往往比較低。第十六頁，共九十八頁，編輯于2023年，星期一局部特征應(yīng)用舉例圖像配準(zhǔn)圖像表示目標(biāo)識別全景圖像拼接。。。局部特征的發(fā)展趨勢快速、低存儲第十七頁，共九十八頁，編輯于2023年，星期一SIFT——里程碑式的工作SURF3.3典型算法第十八頁，共九十八頁，編輯于2023年，星期一尺度3.3.1尺度空間理論廣義尺度制圖尺度地圖比例尺圖上距離與實際距離之比大比例尺→小范圍、詳細(xì)信息地理尺度觀測尺度研究的空間范圍或大小如：大尺度覆蓋大的研究區(qū)域分辨率測量尺度區(qū)分目標(biāo)的最小可分辨單元(如：像元)運行尺度有效尺度地學(xué)現(xiàn)象發(fā)生的空間范圍一定環(huán)境中發(fā)揮效應(yīng)的尺度如：森林比樹的運行尺度大空間尺度時間尺度語義尺度第十九頁，共九十八頁，編輯于2023年，星期一尺度空間方法的基本思想：在視覺信息(圖像信息)處理模型中引入一個被視為尺度的參數(shù)，通過連續(xù)變化尺度參數(shù)獲得不同尺度下的視覺處理信息，然后綜合這些信息以深入地挖掘圖像的本質(zhì)特征。尺度空間方法將傳統(tǒng)的單尺度視覺信息處理技術(shù)納入尺度不斷變化的動態(tài)分析框架中，因此更容易獲得圖像的本質(zhì)特征。圖像的尺度空間表達(dá)指的是圖像在所有尺度下的描述。3.3.1尺度空間理論第二十頁，共九十八頁，編輯于2023年，星期一尺度空間理論是通過對原始圖像進(jìn)行尺度變換，獲得圖像多尺度下的尺度空間表示序列，對這些序列進(jìn)行尺度空間主輪廓的提取，并以該主輪廓作為一種特征向量，實現(xiàn)邊緣、角點檢測和不同分辨率上的特征提取等。尺度空間表示是一種基于區(qū)域而不是基于邊緣的表達(dá)，它無需關(guān)于圖像的先驗知識。尺度空間理論屬于CV中圖像的多分辨率分析。3.3.1尺度空間理論第二十一頁，共九十八頁，編輯于2023年，星期一金字塔多分辨率一個金字塔表達(dá)，通常結(jié)合濾波和二次抽樣連續(xù)地減少圖像尺寸來生成。常用的金字塔結(jié)構(gòu)有Gaussian金字塔、Laplacian金字塔、小波金字塔等。金字塔影像是一種較老的尺度表示方法，結(jié)合了降采樣操作和平滑處理，它的一個很大的好處是：自下而上每一層的像素數(shù)都不斷減少，這會大大減少計算量，而缺點是這種自下而上的金字塔在尺度量化方向顯得較為粗糙。第二十二頁，共九十八頁，編輯于2023年，星期一金字塔影像圖像金字塔是以多分辨率來解釋圖像的一種結(jié)構(gòu)。一般按照2n(n=0,1,2…)取平均得到。最底層的影像對應(yīng)原始影像。通過每2x2=4個像素平均，即可構(gòu)成2級影像級，如此類推，即可構(gòu)成多級金字塔影像。每一級(2i)影像的像素總數(shù)對于前一級(2i-1)影像以4的倍數(shù)縮小(也可通過3x3=9個平均像素來建立影像級)。常采用的是高斯金字塔影像生成算法，構(gòu)成金字塔的層數(shù)，應(yīng)當(dāng)根據(jù)影像的分辨率、影像可能的噪聲、影像的大小及相關(guān)計算速度來確定。第二十三頁，共九十八頁，編輯于2023年，星期一圖像的多尺度空間表達(dá)尺度空間表示是一種基于區(qū)域而不是邊緣的表達(dá)對于一個N維信號，它的尺度空間

定義為:

L(x:t)=K*f(x,t)其中t

為尺度參數(shù)，K

為尺度空間核。第二十四頁，共九十八頁，編輯于2023年，星期一圖像的多尺度空間表達(dá)尺度空間表示通過平滑獲得，可描述為

空間，分別為位置參數(shù)和尺度參數(shù)。尺度參數(shù)可以是離散的，也可以是連續(xù)的。所有尺度上空間采樣點個數(shù)是相同的(尺度空間表示法在各個尺度上圖像的分辨率都是一樣的)。應(yīng)該具有尺度伸縮等不變性。

第二十五頁，共九十八頁，編輯于2023年，星期一高斯尺度空間高斯函數(shù)作為卷積核生成的尺度空間是目前最完善的尺度空間之一，根據(jù)Koendrink和Lindeber的研究表明，在多種合理假設(shè)前提下，唯一可能的尺度空間核是Gaussian核。因此，一幅二維圖像的尺度空間可表示為：

第二十六頁，共九十八頁，編輯于2023年，星期一高斯尺度空間當(dāng)采用不同尺度的平滑函數(shù)對同一圖像進(jìn)行濾波時，得到的一簇圖像就是原始圖像相對于該平滑函數(shù)的尺度空間，σ為尺度空間坐標(biāo)。構(gòu)建高斯尺度空間的主要思想是在精細(xì)尺度上的信息隨著尺度參數(shù)值的增加而逐漸地被抑制，尺度從粗到細(xì)的變化過程中，不會產(chǎn)生新的結(jié)構(gòu)。在高斯尺度空間下，只是對圖像作了卷積，圖像的分辨率和像素仍然沒有改變，只是細(xì)節(jié)平滑了，而傳統(tǒng)的影像金字塔關(guān)鍵在降采樣，顯然分辨率降底了。第二十七頁，共九十八頁，編輯于2023年，星期一不同尺度因子下的圖像第二十八頁，共九十八頁，編輯于2023年，星期一高斯尺度空間通過高斯濾波得到的尺度空間表示了圖像在不同尺度下的低頻信號，而代表邊緣以及角點等特征的高頻信號丟失?？梢栽诓煌直媛蕦由贤ㄟ^在不同的尺度上應(yīng)用合適的函數(shù)來表示一個特征（如邊緣和角點）。在高斯尺度空間，同一類型特征點和邊緣在不同的尺度上具有因果性，即當(dāng)尺度變化時，新的特征點可能出現(xiàn)，而老的特征點可能移位或消失。這種因果性帶來的含糊性是固有的，不可避免的，不能企求消除，但可以減小。第二十九頁，共九十八頁，編輯于2023年，星期一3.3.2尺度不變特征變換ScaleInvariantFeatureTransform（SIFT）1999年BritishColumbia大學(xué)的大衛(wèi).勞伊（DavidG.Lowe）教授總結(jié)了現(xiàn)有的基于不變量技術(shù)的特征檢測方法，并正式提出了一種基于尺度空間的、對圖像縮放、旋轉(zhuǎn)甚至仿射變換保持不變性的圖像局部特征描述算子－SIFT（尺度不變特征變換），這種算法在2004年被加以完善。DavidG.LoweComputerScienceDepartment

2366MainMall

UniversityofBritishColumbia

Vancouver,B.C.,V6T1Z4,CanadaE-mail:lowe@cs.ubc.ca

第三十頁，共九十八頁，編輯于2023年，星期一SIFT簡介將一幅圖像映射（變換）為一個局部特征向量集；特征向量具有平移、縮放、旋轉(zhuǎn)不變性，同時對光照變化、仿射及投影變換也有一定不變性。OriginalimagecourtesyofDavidLowe第三十一頁，共九十八頁，編輯于2023年，星期一SIFT特點SIFT特征是圖像的局部特征，其對旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性，對于視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性。獨特性(Distinctiveness)好，信息量豐富，適用于在海量特征數(shù)據(jù)庫中進(jìn)行快速、準(zhǔn)確的匹配。多量性，即使少數(shù)的幾個物體也可以產(chǎn)生大量SIFT特征向量。經(jīng)過優(yōu)化的SIFT算法可滿足一定的速度需求?？蓴U(kuò)展性，可以很方便的與其他形式的特征向量進(jìn)行聯(lián)合。第三十二頁，共九十八頁，編輯于2023年，星期一SIFT算法可以解決的問題目標(biāo)的自身狀態(tài)、場景所處的環(huán)境和成像器材的成像特性等因素影響圖像配準(zhǔn)/目標(biāo)識別跟蹤的性能。SIFT算法在一定程度上可解決目標(biāo)的旋轉(zhuǎn)、縮放、平移（RST）圖像仿射/投影變換（視點viewpoint）光照影響（illumination）目標(biāo)遮擋（occlusion）雜物場景（clutter）噪聲第三十三頁，共九十八頁，編輯于2023年，星期一SIFT算法實現(xiàn)步驟簡述SIFT實質(zhì)可以歸為在不同尺度空間上查找特征點（關(guān)鍵點）的問題。第三十四頁，共九十八頁，編輯于2023年，星期一SIFT算法實現(xiàn)步驟檢測尺度空間極值點

精確定位極值點

為每個關(guān)鍵點指定方向參數(shù)

關(guān)鍵點描述子的生成第三十五頁，共九十八頁，編輯于2023年，星期一關(guān)鍵點檢測哪些是關(guān)鍵點（特征點）？

這些點是一些十分突出的點，不會因光照條件的改變而消失，比如角點、邊緣點、暗區(qū)域的亮點以及亮區(qū)域的暗點，既然兩幅圖像中有相同的景物，那么使用某種方法分別提取各自的穩(wěn)定點，這些點之間會有相互對應(yīng)的匹配點。所謂關(guān)鍵點，就是在不同尺度空間的圖像下檢測出的具有方向信息的局部極值點。特征點具有的三個特征：尺度，方向，大小第三十六頁，共九十八頁，編輯于2023年，星期一高斯金字塔高斯金字塔的構(gòu)建過程可分為兩步：

1）對圖像做高斯平滑；

2）對圖像做降采樣。為了讓尺度體現(xiàn)其連續(xù)性，在簡單下采樣的基礎(chǔ)上加上了高斯濾波。一幅圖像可以產(chǎn)生幾組（octave）圖像，一組圖像包括幾層（interval）圖像。上一組圖像的底層是由前一組圖像的倒數(shù)第二層圖像隔點采樣生成的。這樣可以保持尺度的連續(xù)性。第三十七頁，共九十八頁，編輯于2023年，星期一第三十八頁，共九十八頁，編輯于2023年，星期一高斯差分尺度函數(shù)為了有效的在尺度空間檢測到穩(wěn)定的關(guān)鍵點，提出了高斯差分（DifferenceofGaussian，DOG）尺度空間DOG在計算上只需相鄰尺度高斯平滑后圖像相減，因此簡化了計算！第三十九頁，共九十八頁，編輯于2023年，星期一高斯差分金字塔可以通過高斯差分圖像觀察圖像上的像素值變化情況。如果沒有變化，也就沒有特征。特征必須是變化盡可能多的點。DOG圖像描繪的是目標(biāo)的輪廓。第四十頁，共九十八頁，編輯于2023年，星期一第四十一頁，共九十八頁，編輯于2023年，星期一1）DOG的局部極值點關(guān)鍵點是由DOG空間的局部極值點組成的。為了尋找DOG函數(shù)的極值點，每一個像素點要和它所有的相鄰點比較，看其是否比它的圖像域和尺度域的相鄰點大或者小。中間的檢測點和它同尺度的8個相鄰點和上下相鄰尺度對應(yīng)的9×2個點共26個點比較，以確保在尺度空間和二維圖像空間都檢測到極值點。一個點如果在DOG尺度空間本層以及上下兩層的26個鄰域中是最大或最小值時，就認(rèn)為該點是圖像在該尺度下的一個特征點。第四十二頁，共九十八頁，編輯于2023年，星期一2）精確定位極值點通過擬和三維二次函數(shù)以精確確定關(guān)鍵點的位置和尺度（達(dá)到亞像素精度），同時去除低對比度的關(guān)鍵點和不穩(wěn)定的邊緣響應(yīng)點（因為DOG算子會產(chǎn)生較強(qiáng)的邊緣響應(yīng)），以增強(qiáng)匹配穩(wěn)定性、提高抗噪聲能力。第四十三頁，共九十八頁，編輯于2023年，星期一2）精確定位極值點位置1）在檢測到極值點后，對差分算子進(jìn)行二階泰勒展開，求泰勒公式的極大偏移量，精確定位檢測到的極值點。

求導(dǎo)，并令其為0，所得精確位置為：在求出極大偏移量后，若其值大于0.5則表示極值點更靠近相鄰的點；若小于0.5則不動。第四十四頁，共九十八頁，編輯于2023年，星期一去除低對比度極值點2）由于線性尺度空間不能保證對比度不變性，因此在精確定位好后，通過上面求得的式子，要去除低對比度點。計算公式如下：在Lowe的論文中提到當(dāng)D(X)小于0.3時就定義此極值點為低對比度點，此點將被去除掉。第四十五頁，共九十八頁，編輯于2023年，星期一邊緣響應(yīng)的去除3）一個定義不好的高斯差分算子的極值在橫跨邊緣的地方有較大的主曲率，而在垂直邊緣的方向有較小的主曲率。由于這樣的邊緣點容易受到圖像噪聲的影響，因此也要去除這些不穩(wěn)定的邊緣點。

主曲率通過一個2x2的Hessian矩陣H求出，在Hessian特征點檢測中有提到如何通過Hessian矩陣求邊緣點的方法。

第四十六頁，共九十八頁，編輯于2023年，星期一3）為每個關(guān)鍵點指定方向參數(shù)通過尺度不變性求極值點，可以使其具有縮放不變的性質(zhì)。利用關(guān)鍵點鄰域像素的梯度方向分布特性為每個關(guān)鍵點指定方向參數(shù)，使算子具備旋轉(zhuǎn)不變性。

像素的梯度表示：梯度幅值：

梯度方向：第四十七頁，共九十八頁，編輯于2023年，星期一方向直方圖的生成

以關(guān)鍵點為中心的鄰域窗口內(nèi)采樣，并用直方圖統(tǒng)計鄰域像素的梯度方向。梯度直方圖的范圍是0～360度，其中每10度一個柱，總共36個柱。隨著距中心點越遠(yuǎn)的鄰域其對直方圖的貢獻(xiàn)也響應(yīng)減小。Lowe論文中還提到要使用高斯函數(shù)對直方圖進(jìn)行平滑，減少突變的影響。第四十八頁，共九十八頁，編輯于2023年，星期一關(guān)鍵點的主方向與輔方向關(guān)鍵點主方向：極值點周圍區(qū)域梯度直方圖的主峰值，也是特征點方向。關(guān)鍵點輔方向：在梯度方向直方圖中，當(dāng)存在另一個相當(dāng)于主峰值80%能量的峰值時，則將這個方向認(rèn)為是該關(guān)鍵點的輔方向。第四十九頁，共九十八頁，編輯于2023年，星期一關(guān)鍵點檢測完畢圖像的關(guān)鍵點已檢測完畢，每個關(guān)鍵點有三個信息：位置、尺度、方向；同時也就使關(guān)鍵點具備平移、縮放、和旋轉(zhuǎn)不變性。第五十頁，共九十八頁，編輯于2023年，星期一4）關(guān)鍵點描述子的生成在局部特征的設(shè)計中最關(guān)鍵的一步就是特征描述符的設(shè)計，而判斷一個特征描述符好壞的重要依據(jù)就是其高可區(qū)分性。在關(guān)鍵點計算后，用一組向量將這個關(guān)鍵點描述出來，這個描述子不但包括關(guān)鍵點，也包括關(guān)鍵點周圍對其有貢獻(xiàn)的像素點。思路：通過對關(guān)鍵點周圍圖像區(qū)域分塊，計算塊內(nèi)梯度直方圖，生成具有獨特性的向量，這個向量是該區(qū)域圖像信息的一種抽象，具有唯一性。第五十一頁，共九十八頁，編輯于2023年，星期一SIFT關(guān)鍵點描述子生成步驟旋轉(zhuǎn)主方向：將坐標(biāo)軸旋轉(zhuǎn)為關(guān)鍵點的方向，以確保旋轉(zhuǎn)不變性。生成描述子：對于一個關(guān)鍵點產(chǎn)生128個數(shù)據(jù)，即最終形成128維的SIFT特征向量。歸一化處理：將特征向量的長度歸一化，則可以進(jìn)一步去除光照變化的影響。第五十二頁，共九十八頁，編輯于2023年，星期一關(guān)鍵點描述子生成舉例以關(guān)鍵點為中心取16×16的窗口。每一個小格都代表了特征點鄰域所在的尺度空間的一個像素，箭頭方向代表了像素梯度方向，箭頭長度代表該像素的幅值。然后在每4×4的小塊上計算8個方向的梯度方向直方圖，繪制每個梯度方向的累加值，即可形成一個種子點。如下圖所示：一個特征點由4個種子點的信息所組成。第五十三頁，共九十八頁，編輯于2023年，星期一Lowe實驗結(jié)果表明：描述子采用4×4×8＝128維向量表征，綜合效果最優(yōu)（不變性與獨特性）。第五十四頁，共九十八頁，編輯于2023年，星期一歸一化處理在求出4×4×8的128維特征向量后，此時SIFT特征向量已經(jīng)去除了尺度變化、旋轉(zhuǎn)等幾何變形因素的影響。而圖像的對比度變化相當(dāng)于每個像素點乘上一個因子，光照變化是每個像素點加上一個值，但這些對圖像歸一化的梯度沒有影響。因此將特征向量的長度歸一化，則可以進(jìn)一步去除光照變化的影響。對于一些非線性的光照變化，SIFT并不具備不變性，但由于這類變化影響的主要是梯度的幅值變化，對梯度的方向影響較小，因此作者通過限制梯度幅值的值來減少這類變化造成的影響。第五十五頁，共九十八頁，編輯于2023年，星期一描述子具體計算1）確定計算描述子所需的圖像區(qū)域

描述子梯度方向直方圖由關(guān)鍵點所在尺度的模糊圖像計算產(chǎn)生。圖像區(qū)域的半徑通過下式計算：

是關(guān)鍵點所在組（octave）的組內(nèi)尺度，第五十六頁，共九十八頁，編輯于2023年，星期一描述子具體計算2）將坐標(biāo)移至關(guān)鍵點主方向

那么旋轉(zhuǎn)角度后新坐標(biāo)為：第五十七頁，共九十八頁，編輯于2023年，星期一描述子具體計算3）將產(chǎn)生的圖像區(qū)域劃分成4×4的小塊，對每個小塊統(tǒng)計其每個像素的梯度值和方向，形成梯度直方圖。整個圖像塊就表示為4×4×8=128為的特征向量。4）描述子向量元素門限化及門限化后的描述子向量規(guī)范化。

第五十八頁，共九十八頁，編輯于2023年，星期一實驗結(jié)果第五十九頁，共九十八頁，編輯于2023年，星期一原圖平滑后圖像實驗結(jié)果——不同尺度第六十頁，共九十八頁，編輯于2023年，星期一實驗結(jié)果——旋轉(zhuǎn)不變性第六十一頁，共九十八頁，編輯于2023年，星期一關(guān)鍵點匹配分別對模板圖（參考圖，referenceimage）和實時圖（觀測圖，observationimage）建立關(guān)鍵點描述子集合。目標(biāo)的識別是通過兩點集內(nèi)關(guān)鍵點描述子的比對來完成。具有128維的關(guān)鍵點描述子的相似性度量采用歐式距離。第六十二頁，共九十八頁，編輯于2023年，星期一關(guān)鍵點匹配窮舉匹配原圖像目標(biāo)圖像第六十三頁，共九十八頁，編輯于2023年，星期一關(guān)鍵點匹配模板圖中關(guān)鍵點描述子：實時圖中關(guān)鍵點描述子：任意兩描述子相似性度量：要得到配對的關(guān)鍵點描述子，需滿足：第六十四頁，共九十八頁，編輯于2023年，星期一關(guān)鍵點匹配關(guān)鍵點的匹配可以采用窮舉法來完成，但是這樣耗費的時間太多。一般都采用一種叫kd樹的數(shù)據(jù)結(jié)構(gòu)來完成搜索。搜索的內(nèi)容是以目標(biāo)圖像的關(guān)鍵點為基準(zhǔn)，搜索與目標(biāo)圖像的特征點最鄰近的原圖像特征點和次鄰近的原圖像特征點。Kd樹是一個平衡二叉樹。第六十五頁，共九十八頁，編輯于2023年，星期一實驗結(jié)果第六十六頁，共九十八頁，編輯于2023年，星期一SIFT應(yīng)用——物體識別第六十七頁，共九十八頁，編輯于2023年，星期一SIFT應(yīng)用——圖像拼接第六十八頁，共九十八頁，編輯于2023年，星期一SIFT應(yīng)用——筆跡鑒定第六十九頁，共九十八頁，編輯于2023年，星期一SIFT應(yīng)用——匹配

來自網(wǎng)友的創(chuàng)意——周正龍的老虎圖1周正龍的華南虎照片與年畫上的華南虎照片12點匹配圖2周正龍的華南虎照片與真實的華南虎照片0點匹配第七十頁，共九十八頁，編輯于2023年，星期一改進(jìn)PCA-SIFTASIFT——AffineSIFTLPP-SIFT。。。第七十一頁，共九十八頁，編輯于2023年，星期一PCA-SIFTPCA-SIFT與標(biāo)準(zhǔn)SIFT有相同的亞像素位置，尺度和主方向。但在第4步計算描述子的設(shè)計，采用了主成分分析的技術(shù)。用特征點周圍的41×41的像素計算它的主元，并用PCA-SIFT將原來的2×39×39維的向量降成20維，以達(dá)到更精確的表示方式。它的主要步驟為：對每一個關(guān)鍵點，在關(guān)鍵點周圍提取一個41×41的像素于給定的尺度，旋轉(zhuǎn)到它的主方向

；計算39×39水平和垂直的梯度，形成一個大小為3042的矢量；用預(yù)先計算好的投影矩陣n×3042與此矢量相乘；這樣生成一個大小為n的PCA-SIFT描述子。第七十二頁，共九十八頁，編輯于2023年，星期一3.3.3加速穩(wěn)健特征Speeded-UpRobustFeatures（SURF）2006年由HerbertBayetal.在ECCV會議提出，是一種穩(wěn)健的圖像識別和描述算法。SURF是SIFT的改進(jìn)，SURF標(biāo)準(zhǔn)版本比SIFT要快數(shù)倍——積分圖像Haar求導(dǎo)，并且其作者聲稱在不同圖像變換方面比SIFT更穩(wěn)健。特點：使用積分圖像完成圖像卷積（相關(guān)）操作;使用Hessian矩陣檢測特征值；使用基于分布的描述符（局部信息）。第七十三頁，共九十八頁，編輯于2023年，星期一SURF步驟搜尋圖像關(guān)鍵點采用Hessian矩陣的行列式在尺度空間搜尋主要的關(guān)鍵點非極大值抑制設(shè)置特征點的方向生成特征向量第七十四頁，共九十八頁，編輯于2023年，星期一Hessian矩陣二維空間函數(shù)f(x,y)的Hessian矩陣為函數(shù)的偏導(dǎo)數(shù)組成：為對稱矩陣每一個像素點都可以求出一個Hessian矩陣第七十五頁，共九十八頁，編輯于2023年，星期一Hessian矩陣Hessian矩陣的行列式為：行列式的值是H矩陣的特征值的乘積，可以利用判定結(jié)果的符號將所有點分類，根據(jù)行列式式取值的正負(fù)，來判別該點是或不是極值點：正數(shù)為極值點！可以通過設(shè)置行列式值的閾值來檢測主要的特征點。第七十六頁，共九十八頁，編輯于2023年，星期一Hessian矩陣由于特征點需要具備尺度無關(guān)性，所以在進(jìn)行Hessian矩陣構(gòu)造前，需要對其進(jìn)行高斯濾波。經(jīng)過濾波后再進(jìn)行Hessian的計算，H(x,σ)在x方向尺度為σ的定義為：

其中，Lxx(x,σ)是高斯二階偏導(dǎo)數(shù)在x處與圖像I的卷積。第七十七頁，共九十八頁，編輯于2023年，星期一變換圖像特征點是在原圖像的變換圖像上尋找，然后將其位置反映射到原圖中。在SURF中，是由原圖每個像素的Hessian矩陣行列式的近似值構(gòu)成。其行列式近似公式如下：

其中，0.9是作者給出的一個經(jīng)驗值，也稱為斑狀（Blob）響應(yīng)。第七十八頁，共九十八頁，編輯于2023年，星期一變換圖像求Hessian時要先高斯平滑，然后求二階導(dǎo)數(shù)，這在離散的像素點是用模板卷積完成。兩種操作可以合在一起用一個模板代替。

高斯拉普拉斯（LaplaceofGaussian，LoG）模版示例：LxxLyyLxy第七十九頁，共九十八頁，編輯于2023年，星期一DxxDyyDxyLoG近似為了加速卷積運算，從SIFT中用DoG近似LoG的做法得到啟示，用盒子型濾波器（boxfilters）代替二階高斯差分模板進(jìn)行近似——因為可以采用積分圖快速算法！第八十頁，共九十八頁，編輯于2023年，星期一積分圖像積分圖像：指當(dāng)前像素點所在位置距原點（0,0）所包圍面的所有灰度之和。綠色的部分為當(dāng)前像素點，紅色為積分區(qū)域第八十一頁，共九十八頁，編輯于2023年，星期一積分圖像計算圖像中任意一塊矩形區(qū)域的灰度之和S只需要利用矩形4個頂點（A，B，C，D）的積分值Si即可：優(yōu)點：任何一個垂直矩形區(qū)域的面積只需要進(jìn)行3次+/-法就能計算。卷積可以用積分圖實現(xiàn)快速計算。只需要在函數(shù)定義之前計算各個坐標(biāo)點的積分圖像，然后就能方便的求出hessian的特征值。第八十二頁，共九十八頁，編輯于2023年，星期一Blob響應(yīng)實驗結(jié)果第八十三頁，共九十八頁，編輯于2023年，星期一在尺度空間搜尋主要的關(guān)鍵點SIFT：同一個組（octave）的層中的圖片尺寸(即大小)相同，但是尺度(即模糊程度)不同，而不同的octave中的圖片尺寸大小也不相同。即：高斯平滑+降采樣。每層圖像依賴于前一層圖像，并且圖像需要重設(shè)尺寸，因此，這種計算方法運算量較大。SURF：申請增加圖像核的尺寸，這也是SIFT算法與SURF算法在使用金字塔原理方面的不同。允許尺度空間多層圖像同時被處理，不需對圖像進(jìn)行二次抽樣，從而提高算法性能。第八十四頁，共九十八頁，編輯于2023年，星期一SIFT：在進(jìn)行高斯模糊時，高斯模板大小是始終不變的，只是在不同的octave之間改變圖片的大小。SURF：圖片的大小是一直不變的，不同的octave得到的待檢測圖片是改變高斯模糊尺寸大?。磳obfilter進(jìn)行尺度變換）得到的。當(dāng)然，同一個octave中個的圖片用到的高斯模板尺度也不同。SURF采用這種方法節(jié)省了降采樣過程，其處理速度自然也就提上去了。構(gòu)建尺度空間第八十五頁，共九十八頁，編輯于2023年，星期一說明：假定初始模版大小為9×9，尺度為1.2，對應(yīng)于高斯核中的σ=1.2（第一層）。之后，不斷增加模版的大小，得到下一層。優(yōu)點：提高效率（可以利用積分圖有關(guān)的快速計算）。由于沒有對圖像進(jìn)行降采樣，所以不存在混疊現(xiàn)象。構(gòu)建尺度空間第八十六頁，共九十八頁，編輯于2023年，星期一建立高斯金字塔，金字塔分為多個Octaves，每個Octave分為4個Scalelevels。第一級的Octave的模塊大小為9、15、21、27（相差6），第二級為15、27、39、51（相差12），第三級為27、51、75、99（相差24）。每一級第一個level的大小為上一級第二個level的大小。繼續(xù)建立高斯金字塔，直到filter的大小大于原圖像的大小為止。構(gòu)建尺度空間具體步驟第八十七頁，共九十八頁，編輯于2023年，星期一精確