圖像拼接實驗報告

1、圖像拼接1、 實驗原理及實驗結(jié)果圖像拼接就是將一系列針對同一場景的有重疊部分的圖片拼接成整幅圖像，使拼接后的圖像最大程度地與原始場景接近，圖像失真盡可能小?；趕ift算法則能夠?qū)D像旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性，對視角變化，仿射變換，噪聲也能保持一定程度的穩(wěn)定性。本次實驗運用sift匹配算法來提取圖像的特征點，采用隨機抽樣一致性算法求解單應(yīng)性矩陣并剔除錯誤的匹配對。最后用加權(quán)平均融合法將兩幀圖像進行拼接。具體過程為：首先選取具有重疊區(qū)域的兩幀圖像分別作為參考圖像和待拼接圖像，然后使用特征提取算法提取特征點，并計算特征點描述子，根據(jù)描述子的相似程度確定互相匹配的特征點對。再根據(jù)特征點對計

2、算出待拼接圖像相對于參考圖像的單應(yīng)性矩陣，并運用該矩陣對待拼接圖像進行變換，最后將兩幀圖像進行融合，得到拼接后的圖像。1.特征點檢測與匹配特征點檢測與匹配中的尺度空間理論的主要思想就是利用高斯核對原始圖像進行尺度變換，獲得圖像多尺度下的尺度空間表示序列，再對這些序列就行尺度空間的特征提取。二維的高斯核定義為：gx, y,=122e-(x2+y2)22對于二維圖像i(x, y)，在不同尺度下的尺度空間表示i(x, y,)可由圖像i(x, y)與高斯核的卷積得到：lx, y,=gx, y,*i(x, y)其中，*表示在x 和 y方向上的卷積，l表示尺度空間，(x, y)代表圖像i上的點。為了提高在

3、尺度空間檢測穩(wěn)定特征點的效率，可以利用高斯差值方程同原圖像進行卷積來求取尺度空間極值：dx, y,=gx, y,k-gx, y,*ix, y= lx, y,k-lx, y,其中k為常數(shù)，一般取k=2。 sift算法將圖像金字塔引入了尺度空間，首先采用不同尺度因子的高斯核對圖像進行卷積以得到圖像的不同尺度空間，將這一組圖像作為金字塔圖像的第一階。接著對其中的2倍尺度圖像(相對于該階第一幅圖像的2倍尺度)以2倍像素距離進行下采樣來得到金字塔圖像第二階的第一幅圖像，對該圖像采用不同尺度因子的高斯核進行卷積，以獲得金字塔圖像第二階的一組圖像。再以金字塔圖像第二階中的2倍尺度圖像以2倍像素距離進行下采樣

4、來得到金字塔圖像第三階的第一幅圖像，對該圖像采用不同尺度因子的高斯核進行卷積，以獲得金字塔圖像第三階的一組圖像。這樣依次類推，從而獲得了高斯金字塔圖像。每一階相鄰的高斯圖像相減，就得到了高斯差分圖像，即dog圖像。對dog尺度空間每個點與相鄰尺度和相鄰位置的點逐個進行比較，得到的局部極值位置即為特征點所處的位置和對應(yīng)的尺度。為了尋找尺度空間的極值點，dog尺度空間中中間層的每個像素點都需要跟同一層的相鄰8個像素點以及它上一層和下一層的9個相鄰像素點總共26個相鄰像素點進行比較，以確保在尺度空間和二維圖像空間都檢測到局部極值。圖像的高斯濾波保證了特征點不受噪聲影響，dog圖像保證了特征點不受亮度

5、差的影響，在高斯差分圖像空間提取極值點保證了尺度不變性。剔除不好特征點時，利用高斯差分算子檢測到的特征點中，含有一些低對比度的特征點和不穩(wěn)定的邊緣特征點，需要進行剔除。使用泰勒級數(shù)將尺度空間方程dx, y,展開：dx=d+dtxx+12xt2dx2x其中x=x, y,t, dx和2dx2分別為一階和二級偏導數(shù)矩陣。式中的一階和二階導數(shù)可以通過附近區(qū)域的差分近似求得,求導并令其為零得出精確的極值位置x：x=-2d-1x2 dx則有dx=d+12dtx如果dx0.03，則保留該特征點，否則就丟棄。為了去除不穩(wěn)定的邊緣特征點，可以獲取特征點處的hessian矩陣，主曲率可以通過一個2×2的

6、hessian矩陣h求出：h=dxxdxydxydyy設(shè)和分別為h陣的最大特征值和最小特征值,且=r，則dx, y,的主曲率與特征值的大小成正比。令：trh=dxx+dyy=+deth=dxxdyy-dxy2=trh2deth=(+)2=(r+1)2r 若trh2deth<(r+1)2r （一般取r=10），則保留該特征點，否則就丟棄。為了實現(xiàn)特征點的選編不變性，可以利用特征點的主方向來實現(xiàn)。 (x, y)處的梯度值和方向分別為：mx,y=(lx+1,y-l(x-1,y)2+(lx,y+1-l(x,y-1)2x,y=tan-1(lx,y+1-l(x,y-1)/ lx+1,y-l(x-1,

7、y)在以特征點為中心的鄰域內(nèi)進行采樣，并用直方圖統(tǒng)計鄰域像素的梯度方向。梯度直方圖的范圍0°360°，其中每45°一個柱，共8個柱。梯度直方圖的峰值則代表了該特征點處鄰域梯度的主方向。這樣對于每一個關(guān)鍵點，就擁有了三個信息：位置，尺度以及方向。接下來就是為每一個關(guān)鍵點建立一個特征描述符。首先將坐標軸旋轉(zhuǎn)為特征點的方向，以保證旋轉(zhuǎn)不變性，接下來以特征點為中心取16×16的窗口，然后在每個4×4的圖像小塊上計算8個方向的梯度方向直方圖，繪制每個梯度方向的累加值。此圖中一共有4×4×8=128個數(shù)據(jù)，形成一個128維的sift特征

8、向量即特征描述符。這種鄰域領(lǐng)域方向性信息聯(lián)合的思想增強了算法抗噪聲的能力，同時對于含有定位誤差的特征匹配也提供了較好的容錯性。此時，sift特征向量已經(jīng)去除了尺度變化、旋轉(zhuǎn)等幾何變形因素的影響，再繼續(xù)將特征向量的長度歸一化，則可以進一步去除光照變化的影響。提取出圖像的特征點之后，就要進行特征點的匹配。本次實驗以兩個特征點描述子之間的歐氏距離作為特征點匹配的相似度準則。假設(shè)特征點p和q的特征描述子分別為desp和desq，則其歐氏距離定義為：d=i=0127(despi-desq(i)2 關(guān)鍵點的匹配可以采用窮舉法。以待匹配圖像的特征點ri為基準，在參考圖像中搜索與其最鄰近的特征點sif以及次鄰

9、近的特征點sis，若滿足d(ri,sif)d(ri,sis)<threshold則認為sif與ri為匹配的特征點對。通過對閾值的設(shè)定，可以將兩幀圖像中沒有匹配點的特征點去掉，只留下匹配的特征點對。實驗采用matlab編程，分別對一組交大圖書館的圖像以及一組標準庫中的圖像進行特征點提取與匹配，結(jié)果如下圖。2.單應(yīng)性矩陣計算設(shè)原圖像中一點的坐標為（x，y，1）t，進行變換后該點的坐標為（x，y，1）t，則二者之間具有以下關(guān)系：x''y''z''=h11h12h13h21h22h23h31h32h33xy1x'y'1=1z'

10、;'x''y''z''其中h=h11h12h13h21h22h23h31h32h33，為單應(yīng)性矩陣（homography matrix）。通常令h33=1來歸一化矩陣，這樣，待求解的矩陣參數(shù)有8個，需要4個特征點對來求解。求解算法如下：從匹配的特征點對集s中取出 4 對不共線的點對，坐標為(xi , yi)，(xi' , yi')|i=1，2，3，4xi'h31xi+h32yi+h33=h11xi+h12yi+h13yi'h31xi+h32yi+h33=h21xi+h22yi+h13可得：x1y11000x

11、20x30x40y20y30y40101010 000x1y110x20x30x40y20y30y4010101 -x'1x1-x'1y1 -y'1x1-y'1y1-x'2x2-y'2x2-x'3x3-y'3x3-x'4x4-y'4x4-x'2y2-y'2y2-x'3y3-y'3y3-x'4y4-y'4y4 -x1'-y1'-x2'-y2'-x3'-y3'-x4'-y4' h11h12h13h21h22h

12、23h31h321=00000000即： ah = 0對矩陣a進行奇異值分解得a=udvt=ud11d19d91d99v11v19v91v99th=v19v99v99上式h各個元素即為所求。3.匹配點對過濾（ransac）由于用窮舉法得到的匹配的特征點對中會存在錯誤的匹配，影響兩幅圖像之間轉(zhuǎn)換矩陣的求解精度，最后影響到全景圖的拼接效果。在這里，傳統(tǒng)的最小二乘法容易失效，需要有一種方法來剔除匹配點對集合中錯誤的匹配對，并根據(jù)剔除了錯誤匹配對后集合中剩下的匹配點對計算出精確的 轉(zhuǎn)換矩陣。所以在本次實驗中利用ransac算法來計算單應(yīng)性矩陣。隨機抽樣一致性算法，即ransac（random samp

13、le consensus）算法，它是根據(jù)一組包含異常數(shù)據(jù)的樣本數(shù)據(jù)集，計算出數(shù)據(jù)的數(shù)學模型參數(shù)，得到有效樣本數(shù)據(jù)的算法。該算法的主要思想是通過多次的采樣求解符合樣本的數(shù)學模型參數(shù)，從中選取最符合整個樣本數(shù)據(jù)集合的模型作為最佳模型，而符合最佳模型的樣本點認為是精確的樣本點（內(nèi)點），不符合最佳模型的樣本點則認為是存在誤差的樣本點（外點）。具體做法如下：將待拼接圖像中剩余的特征點分別通過上一步求出的單應(yīng)性矩陣映射到參考圖像中，然后計算映射點的位置與該匹配點對的實際位置之間的歐式距離， d=(h11xi+h12yi+h13h31xi+h32yi+h33-xi')2+(h21xi+h22yi+h

14、23h31xi+h32yi+h33-yi')2若距離小于閾值t，將其加入內(nèi)點集合，記下內(nèi)點集合中匹配點個數(shù)c，反之則加入外點集；重復上述過程k次；取k次計算結(jié)果中內(nèi)點數(shù)目c最大的匹配點集合作為精確的匹配對集合；根據(jù)初步精確的匹配對集合重新計算h矩陣。運用ransac算法得到的精確匹配對如下圖，對比可以看出，ransac算法剔除了許多錯誤的匹配對，明顯的提高了匹配精度。（其中閾值t設(shè)定為20）采用ransac算法得到的匹配特征點用單應(yīng)性矩陣變換后的圖像4.圖像拼接在兩組圖像中，將第二幅作為參考圖像，用所求的h矩陣將第一幅圖像進行轉(zhuǎn)換，圖像經(jīng)過配準變換之后，再經(jīng)過圖像融合即可完成整個圖像的

15、拼接的工作。拼接后的圖像在過渡區(qū)域會產(chǎn)生明顯的拼接縫隙，圖像融合的目的就是使配準后的圖像重疊區(qū)域的像素點平滑過渡，其主要思想是采用一定的策略確定重疊區(qū)域像素點的灰度值。目前主要有直接平均融合法，中值濾波融合法，加權(quán)平均融合法和多分辨率樣條技術(shù)融合法。本次實驗采用了加權(quán)融合法來實現(xiàn)圖像融合過程，拼接后的圖像包含三部分，只屬于第一或者第二幀圖像的部分只需要保持原來的像素值，而重疊部分的像素值由原始兩幅圖像的加權(quán)和構(gòu)成，若f(x,y)表示融合后像素值，f1x,y和f2x,y為原始圖像，則有fx,y=w1x,y*f1x,y+w2x,y*f2x,y (w1+w2=1)其中w1和w2為權(quán)值。為了得到滿意的

16、融合效果，需要根據(jù)不同的輸入圖像和算法參數(shù)來調(diào)整w1和w2的取值。經(jīng)過融合后的圖像下圖所示，由圖可以看出，兩圖像較好地完成了拼接，在重疊處基本達到了平滑過渡。2、 實驗總結(jié)與分析實驗中得到的特征點數(shù)據(jù)如下表所示：交大圖書館圖像標準圖像圖像尺寸320*240575*576參考圖像由sift所得的特征點數(shù)2661196待拼接圖像由sift所得的特征點數(shù)2631345未利用ransac算法的特征點匹配對數(shù)96349利用ransac算法的特征點匹配對數(shù)87269由表格可以看出，sift算法可以有效地找到圖像中的特征點，并能根據(jù)128維的特征描述符進行有效的粗匹配。而ransac能夠在粗匹配的基礎(chǔ)上有效地剔除匹配錯誤點，得到精確匹配的特征點對，為后續(xù)的圖像的幾何變換和拼接提供了基礎(chǔ)。一次實驗中計算所得的單應(yīng)性矩陣時，循環(huán)次數(shù)為100，所得結(jié)果分別為:h1=1.1464-0.0597-335.13360.13160.9979-28.81662.2923×10-4-8.2880×10-51，模型誤差為e=25.8711；h2=1.6082-0.2905-402.00510.46741.4394-196.08830.0013-6.2426×10-51，模型誤差為e=11.7153。通