SIFT特征匹配技答辯課件

1、胡汝坤2008.12.02SIFT特征匹配技術(shù)第1頁，共23頁。SIFT優(yōu)點SIFT簡介SIFT實現(xiàn)第2頁，共23頁。SIFT簡介2004年總結(jié)了現(xiàn)有的基于不變量技術(shù)的特征檢測方法的基礎(chǔ)上提出。SIFT算子：一種基于尺度空間的、對圖像縮放、旋轉(zhuǎn)甚至仿射變換保持不變性的圖像局部特征描述算子。其全稱是Scale Invariant Feature Transform，即尺度不變特征變換。 第3頁，共23頁。SIFT的優(yōu)點SIFT特征是圖像的局部特征，其對旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性，對視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性獨特性(Distinctiveness)好，信息量豐富，適用于

2、在海量特征數(shù)據(jù)庫中進行快速、準(zhǔn)確的匹配。 第4頁，共23頁。SIFT的優(yōu)點多量性，即使少數(shù)的幾個物體也可以產(chǎn)生大量SIFT特征向量高速性，經(jīng)優(yōu)化的SIFT匹配算法甚至可以達到實時的要求?？蓴U展性，可以很方便的與其他形式的特征向量進行聯(lián)合。 第5頁，共23頁。圖像多尺度表示 高斯卷積核是實現(xiàn)尺度變換的唯一變換核，也是唯一的線性核：一幅二維圖像，在不同尺度下的尺度空間表示可由圖像與高斯核卷積得到： 第6頁，共23頁。圖像多尺度表示 稱為尺度空間因子，其值越小則表征該圖像被平滑的越少相應(yīng)的尺度也就越小。大尺度對應(yīng)于圖像的概貌特征，小尺度對應(yīng)于圖像的細節(jié)特征。第7頁，共23頁。SIFT算法簡介 SIF

3、T算法首先在尺度空間進行特征檢測，并確定關(guān)鍵點(Keypoints)的位置和關(guān)鍵點所處的尺度。然后使用關(guān)鍵點鄰域梯度的主方向作為該點的方向特征，以實現(xiàn)算子對尺度和方向的無關(guān)性。 第8頁，共23頁。SIFT中的特征點在圖像二維平面空間和DOG(Difference -Of-Gaussian)尺度空間中同時檢測局部極值以作為特征點。DOG算子：第9頁，共23頁。DOG空間的創(chuàng)建對各階(后一階是前一階圖像大小的1/4)圖像迭代進行高斯平滑：第10頁，共23頁。SIFT中的特征點在DOG空間通過計算局部最值獲得初始特征點：第11頁，共23頁。SIFT中的特征點對DOG空間中所有可以求得的局部最值合并為

4、候選特征點。接著，去除低對比度的關(guān)鍵點和不穩(wěn)定的邊緣響應(yīng)點(因為DOG算子會產(chǎn)生較強的邊緣響應(yīng))，以增強匹配穩(wěn)定性、提高抗噪聲能力。第12頁，共23頁。SIFT中的特征點對于圖像上的點，計算其在每一尺度(由 標(biāo)示)下DoG算子的響應(yīng)值，這些值連起來得到特征尺度軌跡曲線。特征尺度曲線的局部。極值點即為該特征的尺度。第13頁，共23頁。精煉特征點得到候選的特征點后，還需要利用其周圍的數(shù)據(jù)對特征點進行精確的定位。SIFT特征是通過擬和三維二次函數(shù)來精確確定特征點的位置和尺度的。在候選的特征點處用泰勒展開式得到： (1)第14頁，共23頁。精煉特征點其中： ; D是在候選特征點處的值。令 可得特征點的

5、精確位置和尺度。 (2)第15頁，共23頁。精煉特征點將(2)式代入(1)式可得： 可以用來衡量特征點的對比度，即如果 則為不穩(wěn)定的特征點。第16頁，共23頁。計算特征點的方向 利用關(guān)鍵點鄰域像素的梯度方向分布特性為每個關(guān)鍵點指定方向參數(shù)，使算子具備旋轉(zhuǎn)不變性。 以關(guān)鍵點為中心的鄰域窗口內(nèi)用直方圖統(tǒng)計鄰域像素的梯度方向。梯度直方圖的范圍是0360度，其中每10度一個柱，總共36個柱。第17頁，共23頁。計算特征點的方向 直方圖的峰值則代表了該關(guān)鍵點處鄰域梯度的主方向，即作為該關(guān)鍵點的方向。下圖是采用7個柱時使用梯度直方圖為關(guān)鍵點確定主方向的示例。鄰域半徑：r=10 。第18頁，共23頁。計算特

6、征點的方向 當(dāng)存在另一個相當(dāng)于主峰值80%能量的峰值時，則將這個方向認(rèn)為是該關(guān)鍵點的輔方向。一個關(guān)鍵點可能會被指定具有多個方向（一個主方向，一個以上輔方向），這可以增強匹配的魯棒性。 第19頁，共23頁。生成SIFT特征向量至此，圖像的關(guān)鍵點已檢測完畢，每個關(guān)鍵點有三個信息：位置、所處尺度、方向。由此可以確定一個SIFT特征區(qū)域。特征向量聯(lián)合了鄰域方向性信息，增強了算法抗噪聲的能力，同時對于含有定位誤差的特征匹配也提供了較好的容錯性。 第20頁，共23頁。生成SIFT特征向量例如：以關(guān)鍵點為中心取88的窗口.首先將每一個像素的梯度方向旋轉(zhuǎn)為特征點的主方向，然后利用高斯平滑濾波為每一個方向做加權(quán)，再在每一個子窗口中計算它的方向直方圖.第21頁，共23頁。生成SIFT特征向量通常對每個關(guān)鍵點使用44共16個種子點來描述，這樣對于一個關(guān)鍵點就可以產(chǎn)生128個