基于sift特征點(diǎn)的圖像匹配方法研究

1、會計(jì)學(xué)1基于基于sift特征點(diǎn)的圖像匹配方法研究特征點(diǎn)的圖像匹配方法研究第1頁/共82頁第2頁/共82頁圖像匹配：圖像匹配： 圖像匹配是指通過一定的匹配算法在兩幅或多幅圖圖像匹配是指通過一定的匹配算法在兩幅或多幅圖像之間識別同名點(diǎn)，如二維圖像匹配中通過比較目標(biāo)區(qū)像之間識別同名點(diǎn)，如二維圖像匹配中通過比較目標(biāo)區(qū)和搜索區(qū)中相同大小的窗口的相關(guān)系數(shù)，取搜索區(qū)中相和搜索區(qū)中相同大小的窗口的相關(guān)系數(shù)，取搜索區(qū)中相關(guān)系數(shù)最大所對應(yīng)的窗口中心點(diǎn)作為同名點(diǎn)。關(guān)系數(shù)最大所對應(yīng)的窗口中心點(diǎn)作為同名點(diǎn)。 其實(shí)質(zhì)是在基元相似性的條件下，運(yùn)用匹配準(zhǔn)則的其實(shí)質(zhì)是在基元相似性的條件下，運(yùn)用匹配準(zhǔn)則的最佳搜索問題。最佳搜索問

2、題。 圖像匹配主要可分為以圖像匹配主要可分為以灰度灰度為基礎(chǔ)的匹配和以為基礎(chǔ)的匹配和以特征特征為基礎(chǔ)的匹配。為基礎(chǔ)的匹配。第3頁/共82頁第4頁/共82頁第5頁/共82頁第6頁/共82頁第7頁/共82頁第8頁/共82頁第9頁/共82頁的圖像信息丟失而引起的匹配精度降低。的圖像信息丟失而引起的匹配精度降低。這類方法主要的特點(diǎn)是在收斂速度、統(tǒng)計(jì)這類方法主要的特點(diǎn)是在收斂速度、統(tǒng)計(jì)模型、匹配精度及最終的估計(jì)誤差方面均模型、匹配精度及最終的估計(jì)誤差方面均出現(xiàn)了較為成熟的研究成果，并且原理簡出現(xiàn)了較為成熟的研究成果，并且原理簡單容易理解。單容易理解。第10頁/共82頁。第11頁/共82頁到相關(guān)值進(jìn)而完成

3、圖像匹配。到相關(guān)值進(jìn)而完成圖像匹配。第12頁/共82頁第13頁/共82頁第14頁/共82頁第15頁/共82頁第16頁/共82頁第17頁/共82頁特特征征點(diǎn)點(diǎn)第18頁/共82頁直直線線第19頁/共82頁區(qū)區(qū)域域第20頁/共82頁第21頁/共82頁第22頁/共82頁第23頁/共82頁第24頁/共82頁第25頁/共82頁),( ),(),( ),(),(XLXLXLXLXHyyxyxyxx其中，其中， 表示高斯二階偏導(dǎo)在表示高斯二階偏導(dǎo)在X X處與圖像處與圖像I I的卷積。的卷積。 、 具有相似的含義。具有相似的含義。 ),(XLxx),(XLxy),(XLyy第26頁/共82頁第27頁/共82頁第

4、28頁/共82頁第29頁/共82頁第30頁/共82頁第31頁/共82頁第32頁/共82頁第33頁/共82頁第34頁/共82頁第35頁/共82頁第36頁/共82頁3.3.13.3.1剛體變換模型剛體變換模型剛體變換是平移、旋轉(zhuǎn)與縮放的組合，適用于具有相同視角，但剛體變換是平移、旋轉(zhuǎn)與縮放的組合，適用于具有相同視角，但拍攝位置不同的來自同一傳感器的兩幅圖像的配準(zhǔn)。剛體變換模拍攝位置不同的來自同一傳感器的兩幅圖像的配準(zhǔn)。剛體變換模型下，若點(diǎn)型下，若點(diǎn) ， 分別為參考圖像和待配準(zhǔn)圖像中對應(yīng)的分別為參考圖像和待配準(zhǔn)圖像中對應(yīng)的兩點(diǎn)，則它們之間滿足以下關(guān)系：兩點(diǎn)，則它們之間滿足以下關(guān)系：yxttyxyx1

5、122.cos sinsin- cos),(11yx),(22yx第37頁/共82頁3.3.23.3.2仿射變換模型仿射變換模型如果第一幅圖像中的一條直線經(jīng)過變換后，映射到第二幅圖像上仍然為直如果第一幅圖像中的一條直線經(jīng)過變換后，映射到第二幅圖像上仍然為直線，且平行直線仍舊被映射為平行直線，這樣的變換稱為仿射變換。該變線，且平行直線仍舊被映射為平行直線，這樣的變換稱為仿射變換。該變換保持直線間的平行關(guān)系，但由于引入了縮放參數(shù)，故它不能保持直線段換保持直線間的平行關(guān)系，但由于引入了縮放參數(shù)，故它不能保持直線段的長度和角度的長度和角度 ，若點(diǎn)，若點(diǎn) ， 分別為參考圖像和待配準(zhǔn)圖像中對應(yīng)分別為參考圖

6、像和待配準(zhǔn)圖像中對應(yīng)的兩點(diǎn)，則它們之間滿足以下關(guān)系：的兩點(diǎn)，則它們之間滿足以下關(guān)系：),(11yx),(22yxyxttyxaaaayx111110010022. 第38頁/共82頁3.3.33.3.3投影變換模型投影變換模型如果第一幅圖像中的一條直線經(jīng)過變換后，映射到第二幅圖像上依然為直如果第一幅圖像中的一條直線經(jīng)過變換后，映射到第二幅圖像上依然為直線，但平行關(guān)系不再保持，則稱這樣的變換稱為投影變換。投影變換具有線，但平行關(guān)系不再保持，則稱這樣的變換稱為投影變換。投影變換具有8 8個(gè)參數(shù)，可以將成像設(shè)備的運(yùn)動(dòng)（如平移、旋轉(zhuǎn)、縮放等）描述得更為個(gè)參數(shù)，可以將成像設(shè)備的運(yùn)動(dòng)（如平移、旋轉(zhuǎn)、縮放等

7、）描述得更為全面。若點(diǎn)全面。若點(diǎn) ， 分別為參考圖像和待配準(zhǔn)圖像中對應(yīng)的兩點(diǎn)，分別為參考圖像和待配準(zhǔn)圖像中對應(yīng)的兩點(diǎn)，則它們之間滿足以下關(guān)系：則它們之間滿足以下關(guān)系：),(11yx),(22yx1 .1 1 11 765432 1022yxmmmmmmmmyx第39頁/共82頁3.3.43.3.4非線性變換模型非線性變換模型 若第一幅圖像中的一條直線經(jīng)變換后，映射至第二幅圖像上不再是直線，若第一幅圖像中的一條直線經(jīng)變換后，映射至第二幅圖像上不再是直線，我們把這樣的變換稱為非線性變換。在二維空間中，點(diǎn)我們把這樣的變換稱為非線性變換。在二維空間中，點(diǎn) 經(jīng)非線性變經(jīng)非線性變換至點(diǎn)換至點(diǎn) 變換公式為：

8、變換公式為：F F表示把第一幅圖像映射到第二幅圖像上的任意一種函數(shù)形式。典型的非表示把第一幅圖像映射到第二幅圖像上的任意一種函數(shù)形式。典型的非線性變換如多項(xiàng)式變換，在線性變換如多項(xiàng)式變換，在2D2D空間中，多項(xiàng)式函數(shù)可寫成如下形式：空間中，多項(xiàng)式函數(shù)可寫成如下形式：),(11yx),(22yx),(),(1122yxFyx.210211112120101110002yayxaxayaxaax.210211112120101110002ybyxbxbybxbby第40頁/共82頁 在得到兩幅圖像間的變換參數(shù)后，要將輸入圖像做相應(yīng)參數(shù)的變換，在得到兩幅圖像間的變換參數(shù)后，要將輸入圖像做相應(yīng)參數(shù)的變

9、換，使之與參考圖像處于同一坐標(biāo)系下，則校正后的輸入圖像與參考圖像可使之與參考圖像處于同一坐標(biāo)系下，則校正后的輸入圖像與參考圖像可用作后續(xù)的圖像融合、目標(biāo)變化檢測處理或圖像鑲嵌；用作后續(xù)的圖像融合、目標(biāo)變化檢測處理或圖像鑲嵌； 涉及輸入圖像變換后所得點(diǎn)坐標(biāo)不一定為整像素?cái)?shù)，則應(yīng)進(jìn)行涉及輸入圖像變換后所得點(diǎn)坐標(biāo)不一定為整像素?cái)?shù)，則應(yīng)進(jìn)行插值插值處理處理。常用的插值算法有最近鄰域法、雙線性插值法和立方卷積插值法。常用的插值算法有最近鄰域法、雙線性插值法和立方卷積插值法。第41頁/共82頁3.5關(guān)鍵點(diǎn)匹配K-dK-d樹是一個(gè)平衡二叉樹樹是一個(gè)平衡二叉樹第42頁/共82頁旋轉(zhuǎn)不變量。旋轉(zhuǎn)不變量。第43頁

10、/共82頁第44頁/共82頁第45頁/共82頁4.SIFT算法-尺度空間的生成第46頁/共82頁),(),(),(yxIyxGyxL),(yxG2222/ )(221),(yxeyxG),(),(),(*),(),(),(yxLkyxLyxIyxGkyxGyxD第47頁/共82頁 下圖所示不同下圖所示不同下圖像尺度空間：下圖像尺度空間：關(guān)于尺度空間的理解說明：關(guān)于尺度空間的理解說明：2k2k中的中的2 2是必須的，尺度空間是連續(xù)的。在是必須的，尺度空間是連續(xù)的。在 Lowe Lowe的論文中，將第的論文中，將第0 0層的初始尺度定為層的初始尺度定為1.61.6（最模糊），圖片的初始尺度定為（最

11、模糊），圖片的初始尺度定為0.50.5（最清晰）。在檢測極值點(diǎn)前對原始圖像的高斯平滑以致圖像丟失高頻信息，（最清晰）。在檢測極值點(diǎn)前對原始圖像的高斯平滑以致圖像丟失高頻信息，所以所以 Lowe Lowe 建議在建立尺度空間前首先對原始圖像長寬擴(kuò)展一倍，以保留原始建議在建立尺度空間前首先對原始圖像長寬擴(kuò)展一倍，以保留原始圖像信息，增加特征點(diǎn)數(shù)量。尺度越大圖像越模糊。圖像信息，增加特征點(diǎn)數(shù)量。尺度越大圖像越模糊。第48頁/共82頁中向上采樣重建一個(gè)圖像。中向上采樣重建一個(gè)圖像。第49頁/共82頁第50頁/共82頁第51頁/共82頁高斯金字塔高斯金字塔4.SIFT算法-圖像金字塔的構(gòu)建第52頁/共8

12、2頁生成的高斯差分圖像生成的高斯差分圖像4.SIFT算法-圖像金字塔的構(gòu)建第53頁/共82頁DoG尺度空間局部極值檢測尺度空間局部極值檢測第54頁/共82頁第55頁/共82頁第56頁/共82頁L尺度。尺度。22)1,() 1,(), 1(), 1(),(yxLyxLyxLyxLyxm), 1(), 1(/()1,() 1,(2tan),(yxLyxLyxLyxLayx),(yxm),(yx第57頁/共82頁由梯度方向直方圖確定主梯度方向由梯度方向直方圖確定主梯度方向第58頁/共82頁),(ji),(jim),(ji第59頁/共82頁第60頁/共82頁第61頁/共82頁n可擴(kuò)展性強(qiáng)，可以很方便的

13、與其他形式的可擴(kuò)展性強(qiáng)，可以很方便的與其他形式的特征向量進(jìn)行聯(lián)合。特征向量進(jìn)行聯(lián)合。第62頁/共82頁視角變化視角變化旋轉(zhuǎn)旋轉(zhuǎn)+尺度變尺度變化化第63頁/共82頁光照光照變化變化尺度尺度變化變化第64頁/共82頁 來自網(wǎng)友的創(chuàng)意來自網(wǎng)友的創(chuàng)意周正龍的老虎周正龍的老虎圖圖1 1周正龍的華南周正龍的華南虎照片與年畫上的虎照片與年畫上的華南虎照片華南虎照片1212點(diǎn)匹點(diǎn)匹配配圖圖2 2周正龍的華南周正龍的華南虎照片與真實(shí)的華虎照片與真實(shí)的華南虎照片南虎照片0 0點(diǎn)匹配點(diǎn)匹配4.SIFT實(shí)驗(yàn)結(jié)果第65頁/共82頁 SIFTSIFT在圖像的不變特征提取方面擁有無與倫比的優(yōu)勢，但其在圖像的不變特征提取方面

14、擁有無與倫比的優(yōu)勢，但其并不是完美的，仍然存在著實(shí)時(shí)性不高、有時(shí)特征點(diǎn)較少、對邊緣并不是完美的，仍然存在著實(shí)時(shí)性不高、有時(shí)特征點(diǎn)較少、對邊緣模糊的目標(biāo)無法準(zhǔn)確提取特征點(diǎn)等缺陷。自從模糊的目標(biāo)無法準(zhǔn)確提取特征點(diǎn)等缺陷。自從19991999年，年，SIFTSIFT算法問算法問世以來，人們從未停止對它的優(yōu)化和改進(jìn)。世以來，人們從未停止對它的優(yōu)化和改進(jìn)。4.匹配算法的主要方法第66頁/共82頁第67頁/共82頁CSIFTCSIFT4.匹配算法的主要方法第68頁/共82頁SURFSURF SIFTSURF特征點(diǎn)檢測用不同尺度的圖片與高斯函數(shù)做卷積用不同大小的box filter與原始圖像(integra

15、l image)做卷積，易于并行方向特征點(diǎn)鄰接矩形區(qū)域內(nèi)，利用梯度直方圖計(jì)算特征點(diǎn)鄰接圓域內(nèi)，計(jì)算x、y方向上的Haar小波響應(yīng)描述符生成20*20(單位為pixel)區(qū)域劃分為4*4(或2*2)的子區(qū)域，每個(gè)子域計(jì)算8bin直方圖20*20(單位為sigma)區(qū)域劃分為4*4子域，每個(gè)子域計(jì)算5*5個(gè)采樣點(diǎn)的Haar小波響 應(yīng)，記錄dx, dy, |dx|,|dy|。4.匹配算法的主要方法第69頁/共82頁第70頁/共82頁第71頁/共82頁第72頁/共82頁 由此可見，由此可見，SIFTSIFT在尺度和旋轉(zhuǎn)變換的情況下效果最在尺度和旋轉(zhuǎn)變換的情況下效果最好，好，SURFSURF在亮度變化下

16、匹配效果最好，在模糊方面優(yōu)于在亮度變化下匹配效果最好，在模糊方面優(yōu)于SIFTSIFT，而尺度和旋轉(zhuǎn)的變化不及，而尺度和旋轉(zhuǎn)的變化不及SIFTSIFT，旋轉(zhuǎn)不變上比，旋轉(zhuǎn)不變上比SIFTSIFT差很多。速度上看，差很多。速度上看，SURFSURF是是SIFTSIFT速度的速度的3 3倍。而倍。而PCA-PCA-SIFTSIFT在模糊和放射方面匹配比較好。在模糊和放射方面匹配比較好。第73頁/共82頁第74頁/共82頁第75頁/共82頁圖像匹配：圖像匹配： 圖像匹配是指通過一定的匹配算法在兩幅或多幅圖圖像匹配是指通過一定的匹配算法在兩幅或多幅圖像之間識別同名點(diǎn)，如二維圖像匹配中通過比較目標(biāo)區(qū)像之間識別同名點(diǎn)，如二維圖像匹配中通過比較目標(biāo)區(qū)和搜索區(qū)中相同大小的窗口的相關(guān)系數(shù)，取搜索區(qū)中相和搜索區(qū)中相同大小的窗口的相關(guān)系數(shù)，取搜索區(qū)中相關(guān)系數(shù)最大所對應(yīng)的窗口中心點(diǎn)作為同名點(diǎn)。關(guān)系數(shù)最大所對應(yīng)的窗口中心點(diǎn)作為同名點(diǎn)。 其實(shí)質(zhì)是在基元相似性的條件下，運(yùn)用匹配準(zhǔn)則的其實(shí)質(zhì)是在基元相似性的條件下，運(yùn)用匹配準(zhǔn)則的