圖像拼接報(bào)告

1、圖像拼接學(xué)習(xí)1為什么要進(jìn)行圖像拼接在很多研究領(lǐng)域需要一些分辨率很高的超高清、全景圖像。而現(xiàn)有的全景相機(jī)、廣角鏡頭等設(shè)備不僅昂貴，而且存在失真的現(xiàn)象。所以要使用圖像無縫拼接技術(shù)將很多張具有部分重疊區(qū)域的圖像進(jìn)行拼接，從而得到一幅寬視角的全景圖像，滿足人們?cè)诟黝I(lǐng)域研究的需要。2圖像拼接的流程一、圖像拼接的流程：大致可分為三部分：圖像預(yù)處理，圖像配準(zhǔn)，圖像融合。詳細(xì)分為：預(yù)處理一特征點(diǎn)搜索一特征點(diǎn)篩選一兩幅圖像中的特征點(diǎn)配對(duì)一根據(jù)配對(duì)點(diǎn)找到不同圖片之間的映射變換關(guān)系一圖形融合3圖像的預(yù)圖處理圖像預(yù)處理包括：噪聲去除、灰度處理、幾何畸變的校正等圖像處理。4圖像配準(zhǔn)提取參考圖像和待拼接圖像中的特征信息，

2、然后在提取出的特征信息中尋找最佳的匹配。圖像配準(zhǔn)算法主要包括三類：基于圖像像素的方法、基于圖像特征的配準(zhǔn)算法和基于圖像區(qū)域配準(zhǔn)算法。4.1基于特征的圖像配準(zhǔn)算法一、為什么選用這種方法：這種方法提取了圖像的特征，壓縮了圖像信息的數(shù)據(jù)量，因此在匹配時(shí)計(jì)算量小，速度較快。而且能保持圖像位移、旋轉(zhuǎn)、比例等方面的特征。并且圖像特征具有很好的獨(dú)特性以相互區(qū)分，對(duì)位置變化敏感，匹配精度高。二、算法介紹：首先對(duì)兩幅待匹配的圖像進(jìn)行特征提取，將這些特征作為控制結(jié)構(gòu)，然后利用提取到的特征結(jié)構(gòu)來完成圖像特征之間的匹配，通過控制結(jié)構(gòu)的匹配關(guān)系建立圖像之間的映射變換關(guān)系。匹配的特征可以是邊緣、輪廓、直線等。常用的匹配特

3、征主要有點(diǎn)特征、線特征和區(qū)域特征。三、算法種類：常用的特征點(diǎn)提取算法有Susan算法、Harris算法、SIFT算法等。4.2Harris角點(diǎn)檢測(cè)算法4.2.1角點(diǎn)的數(shù)學(xué)定義：角點(diǎn)是圖像灰度一階導(dǎo)數(shù)所對(duì)應(yīng)的最大值的位置；角點(diǎn)是圖像中兩條或兩條以上邊緣的交點(diǎn)；角點(diǎn)是圖像中灰度變化最大的位置；角點(diǎn)位置的一階導(dǎo)數(shù)最大，二階導(dǎo)數(shù)為零；角點(diǎn)是圖像中物體邊緣變換不連續(xù)的位置；角點(diǎn)是二維圖像亮度變化劇烈的位置。4.2.2Harris角點(diǎn)檢測(cè)的優(yōu)點(diǎn)：Harris算子是一種有效的特征點(diǎn)提取算子，其優(yōu)點(diǎn)總結(jié)如下：計(jì)算簡(jiǎn)單：Harris算子中只用到灰度的一階差分以及濾波，操作簡(jiǎn)單，整個(gè)過程的自動(dòng)化程度高。提取的點(diǎn)特

4、征均勻而且合理：Harris算子對(duì)圖像中的每個(gè)點(diǎn)都計(jì)算其特征值，然后在鄰域中選取最優(yōu)點(diǎn)。實(shí)驗(yàn)表明:在紋理信息豐富的區(qū)域，Harris算子可以提取出大量有用的特征點(diǎn)。而在紋理信息少的區(qū)域，提取的特征點(diǎn)則較少?？梢远康奶崛√卣鼽c(diǎn)：Harris算子最后一步是對(duì)所有的局部極值進(jìn)行排序，所以可以根據(jù)需要提取一定數(shù)量的最優(yōu)點(diǎn)。Harris算子在計(jì)算時(shí)用到了圖像數(shù)據(jù)的一階導(dǎo)數(shù)，具有各向同性。因此對(duì)圖像旋轉(zhuǎn)、亮度變化、視角變化和噪聲的影響具有較好的魯棒性。4.2.3Harris角點(diǎn)檢測(cè)算法該算法的原理可以簡(jiǎn)單描述為以下幾個(gè)過程：一、選取一個(gè)矩形窗口沿不同方向做小段平移。依據(jù)所設(shè)定窗口在圖像不同區(qū)域邊沿不同方

5、向移動(dòng)時(shí)，窗口的局部灰度變化情況來確定是不是圖像的角點(diǎn)。局部灰度變化有三種情況：當(dāng)這個(gè)小窗口在邊緣內(nèi)部區(qū)域，小窗口沿任意方向進(jìn)行小段平移，圖像的灰度變化都很小，局部自相關(guān)函數(shù)很平坦；邊緣內(nèi)部掃描邊緣內(nèi)部的局部自相關(guān)函數(shù)當(dāng)小窗口位于邊緣區(qū)域。沿邊緣方向進(jìn)行小段平移，灰度變化較小。當(dāng)沿垂直邊緣方向進(jìn)行小段移動(dòng)，灰度變化會(huì)很大。邊緣區(qū)域掃描邊緣區(qū)域的局部自相關(guān)函數(shù)當(dāng)小窗口位于角點(diǎn)區(qū)域，窗口在各個(gè)方向上小的移動(dòng)，灰度變化都很明顯，局部自相掃描角點(diǎn)區(qū)域的局部自相關(guān)函數(shù)二、根據(jù)上步，相對(duì)應(yīng)灰度的改變量為：通過灰度的變化構(gòu)造出自相關(guān)函數(shù)：E&Y)-r“一r1/hIIFX,y是微小位移量，u，v為像素點(diǎn)坐標(biāo)。

6、Wuv為高斯窗口在像素元(u,v)的系數(shù)。三、推導(dǎo)函數(shù)，得到函數(shù)解的表達(dá)式：EkV)=遲山計(jì)-人十皿”-小別IM異-Aa2+Bv-2C,.將與自相關(guān)函數(shù)相聯(lián)系的矩陣M代入上式后，式可以表示為：其中，E(x,y)與局部自相關(guān)函數(shù)很接近，M是像素點(diǎn)(x,y)的自相關(guān)矩陣，描述了這個(gè)自相關(guān)函數(shù)在原點(diǎn)的形狀，x，y表示原始圖像灰度的梯度，A，B，C，Wu，v，M分別為下式：5A-X20/i,y)-I;)（氛6）G7）（3）B-Y1y)-h(x,y)C-XYh(x,y)-IJyh(x)y)ni.-expL-(aACM=(:B設(shè)入1和入2為M矩陣的特征值，那么就可以通過判斷入1和入2的大小關(guān)系，確定當(dāng)前坐

7、標(biāo)點(diǎn)是否是角點(diǎn)。：兩個(gè)特征值都比較小，則該點(diǎn)為平坦區(qū)域；：一個(gè)特征比較大，一個(gè)比較小，則該點(diǎn)位于邊緣區(qū)域。：兩個(gè)特征值都比較大，說明在該點(diǎn)的圖像灰度自相關(guān)函數(shù)的兩個(gè)正交方向上的極值曲率均較大，就可以判定這個(gè)點(diǎn)是角點(diǎn)。四、將上述方法轉(zhuǎn)化成能在實(shí)際運(yùn)算中使用的方法：在實(shí)際應(yīng)用算法中，往往不直接求解矩陣M的特征值入和入2,使用相關(guān)矩陣M的跡Tr(M)和矩陣M的行列式值Det(M)代替特征值的求取，定義4.2式的局部區(qū)域最大值為角點(diǎn)。T-Der(M)-kTr(M(4.2)由于高對(duì)比度的邊界點(diǎn)被誤檢的概率很高，所以Harris角點(diǎn)檢測(cè)算法，對(duì)減號(hào)右邊部分進(jìn)行了修正，將k設(shè)定為Harris算子的參數(shù)，一般

8、取0.040.06。慶KM)-譏-AB-C-所以(4.2)式中的T可定義為角點(diǎn)邊緣響應(yīng)函數(shù)CRF:CRFI也就是說，CRF函數(shù)最大值所對(duì)應(yīng)的點(diǎn)就是角點(diǎn)。4.3角點(diǎn)篩選一、篩選的好處：篩選出角點(diǎn)響應(yīng)大的點(diǎn)，減少了關(guān)鍵點(diǎn)數(shù)量，從而減小了計(jì)算量。：剔除誤檢測(cè)的角點(diǎn)，從而提高了算法精度。：使關(guān)鍵點(diǎn)在整幅圖像內(nèi)分布均勻。二、自適應(yīng)非極大值抑制算法的首次篩選：目的：利用該算法從每張圖片的角點(diǎn)中篩選出500個(gè)特征明顯點(diǎn)。原理：遍歷關(guān)鍵點(diǎn)，并且有一個(gè)半徑r,初始值為無限遠(yuǎn)。當(dāng)r不斷減小時(shí)，保留在半徑r以內(nèi)其它關(guān)鍵點(diǎn)R值均小于中心點(diǎn)R值的關(guān)鍵點(diǎn)，將其加入隊(duì)列。隊(duì)列內(nèi)的關(guān)鍵點(diǎn)數(shù)達(dá)到預(yù)設(shè)值后停止搜索。公式和方法：r

9、,=uiin|x,-Xj|.st./（X,）rn.uw.t/fxj）,XjtlX是關(guān)鍵點(diǎn)的2維坐標(biāo)，G是所有關(guān)鍵點(diǎn)的集合，c=0.9。i這里我設(shè)定每幅圖像各提取500個(gè)關(guān)鍵點(diǎn)。首先找出整幅圖片R值最大的關(guān)鍵點(diǎn)Rmax，加入隊(duì)列，并且得到Rmax*0.9的值。遍歷所有關(guān)鍵點(diǎn)，若關(guān)鍵點(diǎn)x的RRmax*0.9,該點(diǎn)ii的半徑設(shè)為無限遠(yuǎn)；若該關(guān)鍵點(diǎn)x的R0.9R的點(diǎn)x，iiji記錄兩點(diǎn)間的距離r。最后將所有r排序，找出r最大的500個(gè)點(diǎn)。i三、通過判斷歐式距離方法的再次篩選：目的：從上部中的500個(gè)的特征明確點(diǎn)中篩選出兩圖像重疊區(qū)域的待匹配點(diǎn)。公式和方法:首先從兩幅圖片的500個(gè)特征點(diǎn)中篩選出配對(duì)的點(diǎn)

10、。篩選的方法是先計(jì)算500個(gè)特征點(diǎn)兩兩之間的歐氏距離:式中x為第i個(gè)對(duì)象的第k個(gè)因子值，x為第j個(gè)對(duì)象的第ikjkk個(gè)因子值。按照距離由小到大排序,用最小的距離和第二小的距離的比值可以很好的進(jìn)行篩選。使用距離的比值能夠獲得更高的truepositive，同時(shí)控制較低的falsepositive。我使用的閾值是rl/r20.5。比值小于0.5的則是配對(duì)點(diǎn)，大于的則不是。4.4角點(diǎn)匹配算法：使用隨機(jī)抽樣一致性（RANSAC）算法，將待匹配點(diǎn)進(jìn)行匹配。目的：尋找一個(gè)最佳單應(yīng)性矩陣H，矩陣大小為3X3。RANSAC目的是找到最優(yōu)的參數(shù)矩陣使得滿足該矩陣的數(shù)據(jù)點(diǎn)個(gè)數(shù)最多。由于單應(yīng)性矩陣有8個(gè)未知參數(shù)，至

11、少需要8個(gè)線性方程求解，對(duì)應(yīng)到點(diǎn)位置信息上，一組點(diǎn)對(duì)可以列出兩個(gè)方程，則至少包含4組匹配點(diǎn)對(duì)。.V其中（x,y）表示目標(biāo)圖像角點(diǎn)位置，（x,y）為場(chǎng)景圖像角點(diǎn)位置，s為尺度參數(shù)。RANSAC算法：從匹配數(shù)據(jù)集中隨機(jī)抽出4個(gè)樣本并保證這4個(gè)樣本之間不共線，計(jì)算出單應(yīng)性矩陣，然后利用這個(gè)模型測(cè)試所有數(shù)據(jù)，并計(jì)算滿足這個(gè)模型數(shù)據(jù)點(diǎn)的個(gè)數(shù)與投影誤差（即代價(jià)函數(shù)）。若此模型為最優(yōu)模型，則對(duì)應(yīng)的代價(jià)函數(shù)最小。當(dāng)此函數(shù)大于某經(jīng)驗(yàn)閾值th,則認(rèn)為此匹配點(diǎn)對(duì)是偽匹配；若小于閾值時(shí)，將點(diǎn)確定為配對(duì)點(diǎn)。#%苦也Jr和+見x+%步驟：1.隨機(jī)從數(shù)據(jù)集中隨機(jī)抽出4個(gè)樣本數(shù)據(jù)（此4個(gè)樣本之間不能共線），計(jì)算出變換矩陣H,

12、記為模型M；2計(jì)算數(shù)據(jù)集中所有數(shù)據(jù)與模型M的投影誤差，若誤差小于閾值，加入內(nèi)點(diǎn)集I；3如果當(dāng)前內(nèi)點(diǎn)集I元素個(gè)數(shù)大于最優(yōu)內(nèi)點(diǎn)集l_best，則更新l_best=l,同時(shí)更新迭代次數(shù)k;4如果迭代次數(shù)大于k,則退出;否則迭代次數(shù)加1,并重復(fù)上述步驟；注：迭代次數(shù)k在不大于最大迭代次數(shù)的情況下，是在不斷更新而不是固定的；店=log（l-jj）一1噸-十）其中，p為置信度，一般取0.995；w為內(nèi)點(diǎn)的比例;m為計(jì)算模型所需要的最少樣本數(shù)=4；4.5獲取映射關(guān)系圖5-5給出了兩幅圖像拼接的示意圖，圖中和分別代表參考圖像A和待拼接圖像B的坐標(biāo)系。XoY中的一條掃描線可以用直線方程Y=Y0表示，同一直線經(jīng)過

13、仿射變換變換到XoY就變成以下的參數(shù)方程：y二幼。兀+冏j+人，從圖中可以求出落在圖B中的線段的起點(diǎn)X和X2終點(diǎn)。只要當(dāng)x分別取0和widthB時(shí)就可以得出X和X2了。重疊區(qū)域的長(zhǎng)度為：如此就可以方便地求出圖像和圖像變換后區(qū)域的重疊部分以及重疊區(qū)域內(nèi)像素點(diǎn)的對(duì)應(yīng)關(guān)系。在圖像合并過程中,圖像像素的取值方法將會(huì)影響到整個(gè)拼接的結(jié)果。5圖像融合5.1圖像融合介紹圖像融合就是將不同來源的同一對(duì)象的圖像數(shù)據(jù)在空間配準(zhǔn)以后，采用一定的算法將各圖像數(shù)據(jù)中所含的信息互補(bǔ)性地結(jié)合起來產(chǎn)生新圖像數(shù)據(jù)的技術(shù)。圖像融合可分為：像素級(jí)融合、特征級(jí)融合和決策級(jí)融合。常用融合方法分為三種:加權(quán),均值,多分辨率融合技術(shù)。處理顏色亮度的平滑過渡的插值方法有最鄰近插值法,雙線插值法,立方插值法。5.3加權(quán)平均融合方法加權(quán)平均融合法類似于平均值法,但重疊區(qū)域的像素值不再是簡(jiǎn)單的疊加,而是先進(jìn)行加權(quán)后再疊加平均。設(shè)代表融合后的圖像，和分別代表待拼接的兩幅圖像,則有：fXy)(3)匸兀f(叩)二“叭(x,y)fD+w2(r3y)f2(工j)(也刃匸匕c托),厶G)(工丿)匸.人這里可和w2分別是第一幅圖像和第二幅圖像中重疊區(qū)域?qū)?yīng)像素的權(quán)值，并且滿足w1+w2=1,0w11,02w21。選擇適當(dāng)?shù)臋?quán)值，可以使重疊區(qū)域?qū)崿F(xiàn)平滑過渡