全向圖像的尺度不變特征匹配

1、基于全向圖像的尺度不變特征匹配摘要對于普通透視攝像機拍攝的照片的匹配，人們已經(jīng)提出了很多種基于尺度空間分析理論的尺度不變匹配算法，其中尺度空間被定義為高斯函數(shù)的卷積。本文的工作在于提供一種適用于廣角圖像的匹配方法。給定一個輸入圖像，我們將該圖像映射到球面上，通過與球面散射方程進行卷積得到其尺度空間表示。使用這種方法，空間中的一個點的尺度空間反映就能夠不會因為攝像機角度的旋轉(zhuǎn)而改變。之后尺度不變特性就能夠在尺度空間的極小范圍內(nèi)產(chǎn)生。給定了這一系列的尺度不變特征后，我們通過計算一個圓形的支持點（它的尺度與特征尺度相關(guān)）來得到該點的特征描述。我們將這種方法和原始的針對透視圖像的SIFT算法比較發(fā)現(xiàn)，

2、我們得出的結(jié)果顯示了更好的匹配效果。第一章 簡介廣角攝像機是一種幾乎能夠得到半球面的視角的圖像的成像設(shè)備。例如，由一個攝像頭和一個反射鏡組成的折反射攝像機，和魚眼鏡頭。和小視角透視攝像機相比，這些攝像機在很多機器人程序例如視覺定位方面具有明顯優(yōu)勢。其中一個主要優(yōu)勢是它們在微小的旋轉(zhuǎn)和翻轉(zhuǎn)變化時具有更高的準度，尤其是當景象中存在輕微的不連續(xù)的情況下。另外，這些廣角攝像機在有關(guān)軌跡預(yù)測和基于視覺的導(dǎo)航等應(yīng)用上存在明顯優(yōu)勢，因為在廣角的情況下比較大的成像范圍更能將物體的運動包含在內(nèi)。本文的目的是提出一種能夠適用于廣角攝像機的圖像特征匹配方法。這種方法已經(jīng)成功應(yīng)用于視覺測距 和景象重現(xiàn)。該方法也可用于

3、基于視覺的同步定位與尋址。雖然在這方面之前已經(jīng)有很多有效的匹配技術(shù)，但這些技術(shù)僅限于透視攝像機。相關(guān)工作盡管現(xiàn)在有大量關(guān)于廣角攝像機的資料，但大部分僅限于介紹這種攝像機的幾何原理或者成像過程，或者是專門針對情緒檢測給出一系列的對應(yīng)特征78。盡管這些是適用廣角攝像機的關(guān)鍵問題，但是研究對應(yīng)于這些攝像機的匹配技術(shù)的論文較少。對于很多應(yīng)用例如點特征匹配，尋找特征點和產(chǎn)生特征算子的算法往往是被機械地執(zhí)行，此時全景圖像被當成透視圖像并選用固定大小的算子，例如高斯算子，應(yīng)用于整個圖像。這種方法可能在適用于小的基本運動，即在相鄰的兩幅圖像之間的特征點位置僅存在微小的變化，但這種方法并不適用于大范圍的基本運動

4、。因此我們必須考慮設(shè)計一種算法能夠適用于全景圖像?，F(xiàn)在人們已經(jīng)提出了大量的廣角特征匹配技術(shù)。其中一部分利用尺度空間分析，既將一副圖像通過連續(xù)的高斯卷積得到尺度遞增的多個圖像。得到了這樣一系列的尺度空間圖像后，通過在尺度空間內(nèi)基于某些顯著性矩陣尋找局部極值點來得到尺度不變特征點的位置。例如，SIFT算法和Harris-Laplace算法就是檢測尺度不變特征點的。參考文獻11里也提到了一種尺度不變特征區(qū)域檢測算法。這些運用尺度空間進行分析的算法也被擴展運用到尋找尺度和仿射變換都不變的特征點。除了尺度空間分析以外，人們也研究了其它一些方法。參考文獻14中提到了一種新的方法，即尺度不變特征是通過特征點

5、周圍一定半徑內(nèi)的灰度強度值的熵矩陣來確定的。參考文獻15當中提到了一種組合方法，第一種基于圖像中區(qū)域的幾何特征，第二種基于局部的強度剖面。文獻16中提到了另一種基于強度的方法，其中最穩(wěn)定極值區(qū)域在多個灰度閾值水平的圖像的連接處得到。本文中我們研究了一種基于SIFT的方法?，F(xiàn)在，我們將此方法限制于非仿射變換的尺度不變特征檢測，在這種情況下SIFT算法已經(jīng)證明能夠提供較好的結(jié)果17。像之前探討的一樣，SIFT需要輸入圖像I（x，y）的多個尺度空間表示。對于透視圖像而言，圖像L（x，y，t）在尺度t下的尺度空間表示是通過原圖像與高斯函數(shù)的卷積得到，其公式為： (1)尺度空間分析的一個重要條件是圖像中

6、的某一點在尺度空間中的映射應(yīng)該是空間不變的18。在圖像處理中，這就意味著當攝像機旋轉(zhuǎn)時，原圖像中的任意一點在尺度空間中的映射應(yīng)當與它的位置無關(guān)。然而，對于廣角圖像，一個點周圍的局部區(qū)域可能會由于圖像的扭曲變形，在發(fā)生旋轉(zhuǎn)時產(chǎn)生變形。因此，單純地對廣角圖像使用高斯卷積來進行尺度空間分析的結(jié)果并不理想。因此我們設(shè)想通過將原圖像與球面散射方程卷積得到其尺度空間圖像，其中球面散射方程可以看作是定義在球面上的高斯方程，詳見文獻19。盡管在關(guān)于折反射攝像機的光流估計中已經(jīng)使用過了球面投影，并且在廣角圖像的尺度空間分析中也討論了這一點，我們?nèi)钥紤]在廣角圖像特征匹配算法中運用這一想法。本文中，我們提出了一種解

7、決廣角圖像特征匹配的新方法，即使用原圖像與球面投影方程進行卷積得到尺度空間圖像，其中我們在頻域中用球面進行補償。之后，就能在尺度空間的極值處得到尺度不變特征點。給定了一系列由位置和尺度限定的尺度不變特征點后，進而得到特征點的描述符，其中特征點的支持區(qū)域是球面內(nèi)的圓而不是原圖像水平面內(nèi)的圓。通過與原始的SIFT算法進行比較，我們發(fā)現(xiàn)這種方法在圖像匹配方面效果有明顯改善。B論文提綱第二部分中我們介紹了通過在頻域進行卷積所必須的符號和得到尺度空間圖像所涉及到的理論。第三部分中我們詳細介紹了整個算法，包含了所使用的參數(shù)。第四部分中列出了此方法與原始的SIFT算法在匹配效果上的對比以及一些思考。第五部分

8、介紹了我們的結(jié)論。第二章球面尺度空間球面方程在歐式空間內(nèi)，二維球面是由三維球面內(nèi)距離某一給定點小于某一半徑的所有點組成的。二維球面上的一個點可以定義為這樣一個向量，它具有兩個分量，分別是緯度，和經(jīng)度，如下： （2）那么對于任意一個定義在單位球面上的可積的平方方程來說，方程可以被擴展成一系列球面方程黨的線性組合： （3）其中系數(shù)是f的傅里葉球面轉(zhuǎn)換，即： （4）這里有，并且表示各個函數(shù)的復(fù)合。球面方程是定義在球面上的拉普拉斯方程的解。對于一個給定點，球面方程如下： （5）其中，并且是關(guān)聯(lián)的勒讓德多項式。那么我們就能用一系列球面方程來表示任何一個廣角中心投影圖像，假設(shè)存在一個攝像機模型，它將圖像中

9、的每一個像素對應(yīng)于空間中的一束光線，即對應(yīng)于球面上的一個點，即：. （6）B球面散射方程Bulow19提出了球面（熱）散射方程的一個解。這個涉及到北極的球面散射方程是： （7）其中kt是尺度因子。我們不妨設(shè)k=1。這個方程是帶調(diào)和函數(shù)，可以被寫成帶調(diào)和函數(shù)的和。圖片1表示了這個方程在任意尺度t下從兩個不同位置投影到魚眼鏡頭上的圖像。從這幅圖像中我們可以清楚地看到方程的形狀隨著該點在圖像中位置的不同而不同。C球面卷積對于所有的旋轉(zhuǎn)，我們定義算子表示將球面上的某一點旋轉(zhuǎn)到新的位置。這些旋轉(zhuǎn)可以用Euler angles來界定。對球面上任意兩個方程來說，我們有圖像和球面卷積方程，卷積定義為22： （

10、8）像之前在圖1中展示的一樣，盡管我們能夠通過將魚眼圖像進行球面散射方程投影來在原圖像上進行卷積，但是本文中我們使用頻域卷積。對于在頻域中球面上平方可積的方程f和對稱濾波器h，Driscoll和Healy將它們的卷積定義為22：定理1：對于方程卷積的變形是下列轉(zhuǎn)換的逐點的乘積： （9）其中是卷積的光譜?；氐?中關(guān)于球面散射方程的解，我們將其帶入到9中就得到了下列球面散射的定義： （10）我們必須注意到這里包含了一個附加的因子。這是由于在7的解中考慮到卷積是限制在旋轉(zhuǎn)，并且這個方程關(guān)于z軸對稱的。給定一系列的過濾方程，對于球面上一個給定點的卷積結(jié)果就可以得到: (11)D離散的球面傅里葉變換本文

11、中，我們使用來產(chǎn)生向前向后兩個方向的球面傅里葉變換。如圖像2，這就需要原圖像首先表示成的圖像，圖像中的樣本點為： （12） （13）其中b是樣本帶寬。在接下來的實驗中，我們選擇帶寬，使得它成為可以存儲的最大值。相反的離散SFT的結(jié)果是一個表示的過濾后的圖像，可以通過它得到原來的廣角圖像。第三章實際執(zhí)行在這一部分我們列出了我們尋找對于任意廣角攝像機都適用的尺度不變特征和特征描述符的過程。A尺度不變圖像對于一個給定的輸入圖像，一系列的尺度空間圖像是這樣得到的：1） 將廣角圖像變換為圖像，在此過程中使用帶寬的12和13中給出的樣本點。2） 使用從4中得到球面傅里葉變換系數(shù)。3） 使用10在頻域?qū)γ總€

12、尺度進行過濾從而得到光譜。4） 對于每個過濾后的光譜，使用找到在11中定義的反向SIFT。輸出是一系列的用表示的尺度空間圖像。5） 通過圖像反過來尋找原來的廣角圖像。結(jié)果是一系列用原來的廣角圖像表示的尺度空間圖像。盡管使用表示的圖像也可以處理得到結(jié)果，但是我們?nèi)匀贿x擇反過來尋找到原圖像。這樣一來，在特征檢測當中，我們就能假設(shè)在的像素的局部區(qū)域內(nèi)圖像近似于透視圖像，這樣在尋找關(guān)鍵點計算梯度的時候就可以當做透視圖像進行。這個假設(shè)在圖像上的真實度低一些，尤其在靠近極的地方。B尺度選擇尺度選擇是基于SIFT算法。給定SIFT算法后，首先將圖像面積擴大兩倍，再用來平滑，這就等同于用來平滑原來尺寸的圖像。

13、對于我們的攝像機，我們找到了球面余緯度的角度，使得圖像中心有0.8像素的移動，并令初始尺度。對于接下來的實驗中用到的攝像機，初始尺度接下來一系列的尺度空間圖像的尺度就得到了： （14）C特征檢測對于一系列的尺度空間圖像，所有鄰近的尺度空間圖像的差值圖像。它們是從那些找到了SIFT特征的圖像得到的。這些特征點是在尺度空間中與周圍最近的26個點相比較是極值，并且鄰近，絕對值高于某個閾值的那些點。在接下來的試驗中， 我們將此閾值設(shè)為0.0125（對于輸入圖像這個值在0到1之間）。邊緣的影響通過限制D的曲率的最大和最小值的顯著性的最小比值r來去除掉，其中這個最小比值r是從Hessian矩陣中得到的。只

14、有當這個曲率的最大值與最小值的比值時該特征點才會被保留。最終，特征點的位置和尺度使用3D的二次多項式來插值得到。 D特征描述對于尺度不變特征匹配算法，例如SIFT算法，特征尺度是用來定義一個透視圖像當中一個圓形支持區(qū)域，該區(qū)域內(nèi)部的像素點被用來產(chǎn)生特征描述符。在這種通過球面散射得到尺度空間圖像的情形下，特征尺度定義了一個球面上以特征點為圓心的支持區(qū)域。只有在特征點周圍的支持區(qū)域內(nèi)部的像素點才會對特征描述符產(chǎn)生影響。參照圖3（a），該圖展示了球面內(nèi)特征點周圍的圓形支持區(qū)域。其中角度是連接球心與球面上特征點的直線產(chǎn)生的。角度是圍繞該直線的旋轉(zhuǎn)角度。在接下來的實驗中，我們設(shè)定義支持區(qū)域大小的最大角度

15、，其中是該圖像的尺度。之后，我們將圖像上所有點投影到球面上一個固定大小為像素的區(qū)域內(nèi)，這個大小也是在尺度不變特征匹配的相關(guān)研究中一貫使用的大小2324。參照圖3（b），在這一小區(qū)域內(nèi)坐標和角度有如下相關(guān)關(guān)系： （15） （16）圖3Resampling region on the image within a circular support region defined on the sphere to a fixed sized patch下面我們再看圖3（b），廣角圖像中的輪廓展示了球面上的圓形支持區(qū)域。右邊的圖像表示了在這個像素點周圍的一小片區(qū)域。對于每一小片區(qū)域P，可以得到一個SIF

16、T描述符。SIFT描述符是一個128維的向量，它由個梯度方向所占比重的柱狀圖組成，每一個包含8個柱。找到SIFT描述符之后，我們通過小片區(qū)域內(nèi)相鄰像素之間的差異來得到梯度值： （17）第四章實驗和結(jié)果我們希望知道與將圖像當作透視圖像進行匹配的這種原始的SIFT算法相比，我們的算法在匹配效果上是否有所改進。為了做到這一點，我們考慮做一個基于視覺的定位程序，其目的是對在移動平臺上的廣角攝像機得到的連續(xù)圖像之間進行特征匹配。A輸入數(shù)據(jù)輸入的數(shù)據(jù)是一系列圖像序列，這些圖像來自于一個裝有魚眼鏡頭的分辨率的相機。相鄰圖像之間的大致間隔是兩米。圖4展示了室外環(huán)境中三個連續(xù)圖像?？偣灿?500張以上的圖像。對

17、每一張圖像，我們找到了兩組尺度不變特征。第一組是直接將圖像當作透視圖像，使用原始的SIFT算法得到的。第二組是運用我們的方法，即尺度空間圖像是通過與球面散射方程進行卷積得到的，并且特征描述符是定義在球面上的一個圓形支持區(qū)域。B效果比較為了比較兩種方式的優(yōu)劣，我們使用了召回率和準確率。這種方法和其它一些類似文獻中使用的方法是一致的，例如文獻2324。它們被定義如下：召回率等于正確匹配次數(shù)與匹配正確總次數(shù)之比，準確率等于錯誤匹配次數(shù)與總匹配次數(shù)之比。對于任意兩幅圖像，我們使用最少的特征點，找到在歐式距離下相鄰最近的兩個特征描述符。我們并不是為兩個特征描述符之間的距離設(shè)定閾值，而是根據(jù)兩個相距最近的

18、描述符的之比進行限定，這是度量圖像匹配的模糊性的一個手段。這個想法是一個可信的匹配只能在這種情況下出現(xiàn)，即一幅圖像中的特征點只能與另一幅圖像中唯一一個特征點的距離較近。這已經(jīng)在文獻24中給出了說明，即使用這種比值作為閾值的匹配方式從效果上要好于單純地將兩個特征點之間距離作為閾值的匹配方式。C選擇正確的匹配為了判定一個匹配是否正確，我們使用極線約束，并假設(shè)操作環(huán)境是嚴格的。我們使用標準的照相機，我們使用五點算法25在圖像對之間解決重要矩陣E并用RANSAC來去除離群值。找到重要矩陣之后，只有最佳匹配特征點會被用于去除離群值。之后，對于圖像中任意兩個特征點X和X，當?shù)臅r候，匹配才被認為是正確的。D結(jié)果我們的結(jié)果是兩個不同的基線分離：基線1表示的是每個連續(xù)圖像之間的匹配；基線2表示的是每相隔兩個連續(xù)圖像之間的匹配。我們?yōu)槊總€匹配計算了召回率和一次準確率，以及所有圖