圖像融合-圖像拼接實習(xí)報告論文.doc

圖像融合圖像拼接1）綜述圖像融合的方法；2) 選擇合適的目標(biāo)（可以使風(fēng)景、建筑、汽車等），自行用數(shù)碼相機采集子圖像；3）將子圖像轉(zhuǎn)換為灰度圖像;4）設(shè)計圖像算法并編寫程序，實現(xiàn)兩幅圖像的拼接；提示：1）拍攝的左右子圖像，必須是在相同距離、同等光照下拍攝的正面圖像；2）要有一個明確的標(biāo)識出現(xiàn)在左右圖像中。3）可以先用windows畫圖工具生成簡單圖像進行算法測試，然后在用真實圖像。1 引言12 圖像融合拼接的方法22.1 圖像配準(zhǔn)32.2 圖像處理32.2.1中值濾波法消除拼接縫42.2.2利用小波變換的方法消除拼接縫42.2.3利用加權(quán)平滑的方法消除拼接縫53 圖像拼接算法5參考文獻(xiàn)5附件：程序6圖像融合圖像拼接摘 要：選擇圖像拼接就是想兩張圖像拼接在一起是別人看不出來是兩張圖片，能完美的將兩張圖片拼接在一起。圖像拼接技術(shù)可以解決由于相機等成像儀器的視角和大小的限制，不能產(chǎn)生很大圖片的問題。所謂 “圖像拼接”就是將兩幅或者兩幅以上相鄰間具有部分重疊的圖像進行無縫拼接， 生成一張具有較寬視角的高分辨率圖像或者360度視角的全景的技術(shù)，涉及到計算機視覺，計算機圖形學(xué)，圖像處理以及一些數(shù)學(xué)工具等。該技術(shù)為圖像降運動物體去除，模糊消除噪，視場擴展，空間解析的提高，和動態(tài)范圍增強提供了可能性。對圖像拼接的兩個主要過程：圖像配準(zhǔn)和圖像融合分別進行了詳細(xì)介紹。圖像配準(zhǔn)是圖像拼接的核心技術(shù)，本文還對現(xiàn)有的圖像配準(zhǔn)方法進行歸類總結(jié)，對每個配準(zhǔn)算法進行優(yōu)缺點描述。對目前現(xiàn)有以及常用的圖像融合方法也進行了詳細(xì)的介紹。最后提出了圖像拼接技術(shù)不足。關(guān)鍵詞：圖像拼接 圖像配準(zhǔn) 圖像融合1 引言這個學(xué)期我們學(xué)習(xí)了圖像處理這門課程，這么課程主要是講解了對于圖片的處理以及一下如何處理圖片的方法。圖像拼接現(xiàn)在在我們的生活中越來越多的出現(xiàn)了，我們可以看到許多圖像都是有圖像融合、圖像拼接技術(shù)做出來了。我們有時候會遇見一些狀況，我們出去玩的時候由于地方太小了，我們的照相機不能找到全部的圖片，現(xiàn)在我們學(xué)習(xí)了圖像拼接技術(shù)?？梢詫⑽覀冃枰障嗟臇|西照成兩份，然后在通過拼接技術(shù)來完成一副完好的圖像這個就是我們李忠學(xué)歷這個技術(shù)的需要?，F(xiàn)在圖像拼接技術(shù)最早是用于航空航天領(lǐng)域，現(xiàn)在已經(jīng)廣泛的應(yīng)用于數(shù)字視頻、模擬現(xiàn)實技術(shù)以及圖像分析領(lǐng)域。圖像拼接的前提條件是相鄰圖像之間有一部分在邏輯上是相同的, 即必須有一定的重合。拼接的主要工作就是確定相鄰圖像在寬度,高度上的重疊程度去掉重疊, 進行平滑連接得到全景圖像。這就是圖像融合圖像拼接技術(shù)。下面是一張經(jīng)過拼接的圖片，經(jīng)過三張粉筆拍出來的照片經(jīng)過拼接處理之后得到的。上面那一幅圖就是有三張圖片拼接而成的一張圖片，我們不會以為他是拼接出來的。因為圖片拼接技術(shù)現(xiàn)在已經(jīng)很成熟了，我們可以處理各種各樣的圖片。完成我們需要的圖片。但是我們只是可以做到肉眼上的看不到圖像拼接的縫隙，但是在計算機上還是可以驗證出來圖片是不是被拼接的。2 圖像融合拼接的方法圖像拼接的前提條件是相鄰圖像之間有一部分在邏輯上是相同的，即必須有一定的重合。拼接的只要工作就是確定相鄰圖像在寬度、高度上的重疊程度，去掉重疊，進行拼花連接得到全景圖像，圖像拼接的一般步驟：（1）借助攝像設(shè)備拍攝場景圖像序列；（2）講所有幀圖像數(shù)字化，以便于計算機進行處理；（3）對于圖像進幾何校正（非必須），是相同的場景在圖像重疊所在的圖像具有相同的形狀個一直的空間相對位置；（4）確定配準(zhǔn)算法，用算法對圖像進行配準(zhǔn)定位；（5）進行圖像融合，消除拼接的接縫；（6）輸出完整圖像。其中圖像拼接的一般過程又可以歸納為主要是圖像配準(zhǔn)和圖像融合兩個步驟。當(dāng)然對于一些幾何嚴(yán)重變形的圖像需要在配準(zhǔn)之前進行圖像幾何校正。其中圖像配準(zhǔn)是圖像拼接的核心。12.1 圖像配準(zhǔn)所謂的圖像配準(zhǔn)就是把同一場景在不同時刻，不同視角，不同傳感器下拍攝的圖片進行空間上的對齊與灰度上的融合。圖像配準(zhǔn)的依據(jù)是圖像之間的相似性。由圖像的獲取方式，將配準(zhǔn)問題大致的分為四類：(1)不同的觀察點獲取的圖像之間的配準(zhǔn)(多觀察點配準(zhǔn))，一般選用透視變換的方法，主要應(yīng)用在計算機視覺中；(2)不同的時間獲取的圖像之間的配準(zhǔn)(時間序列配準(zhǔn))。方法特點是需要容忍圖像的差異和形變對配準(zhǔn)造成的影響，(3)不同傳感器獲取的圖像之間的配準(zhǔn)(多模態(tài)配準(zhǔn))。(4)場景到模型的配準(zhǔn)(模板匹配)。圖像配準(zhǔn)理論上可以定義為：兩幅待配準(zhǔn)的圖像。2.2 圖像處理圖像融合的主要問題是如何使拼接的兩幅圖像在拼接之后不出現(xiàn)明顯的拼接接縫,在亮度上沒有明顯的差別。目前圖像融合的方法很多,主要的方法有三種:重疊區(qū)域圖像數(shù)據(jù) 的拼接合并時只使用一次。重疊區(qū)域圖像數(shù)據(jù)在合并時簡單取平均；重疊區(qū)域圖像數(shù)據(jù)在進行數(shù)據(jù)融合時采用淡入淡出的思想,使拼接后的圖像過渡區(qū)平滑自然。經(jīng)典的算量大, 精度低.塊匹配,計算量大,精度高。網(wǎng)格匹配，很難選擇好初始步長。(3)基于特征的方 法可分為四個步驟:特征提取,征匹配,換模型評估,像插值和重采樣,常特變圖用的插值方法有三種: 最近鄰插值,樣條插值,和雙線性插值。確定了圖像配準(zhǔn)的方法,圖像拼接的方法也 就隨之而確定出來了,目前基于特征的圖像拼接方法最為常見。把基于像素的方法和基于特征的方法相結(jié)合起來是一個行之有效的方法。 圖1 拼接前圖 圖2拼接前圖圖3拼接后完成圖圖4拼接前圖將圖3和圖4在進行一次拼接得到圖5 第二次拼接的完成圖圖6 拼接前圖在通過拼接圖5與圖6得到圖7完成拼接圖7 經(jīng)過三次拼接所得成品圖2.2.1中值濾波法消除拼接縫中值濾波法是對接縫附近的區(qū)域進行中值濾波。對與周圍灰度值差比較大的象素取與周圍象素接近的值，從而消除光強的不連續(xù)性。中值濾波器處理接縫附近的狹長地帶。該方法速度快，但質(zhì)量一般。平滑的結(jié)果會使圖像的分辨率下降，使圖像細(xì)節(jié)分辨不出，產(chǎn)生圖像模糊。2.2.2利用小波變換的方法消除拼接縫小波變換方法也是目前比較常用的一種方法，他充分利用小波變換的多分辨率特性，很好地解決了拼接圖像的接縫問題。其原理為：由于小波變換具有帶通濾波器的性質(zhì)，在不同尺度下的小波變換分量，實際上占有一定的頻寬，尺度j 越大，該分量的頻率越高，因此每一個小波分量所具有的頻寬不大，把要拼接的兩幅圖像先按小波分解的方法將他們分解成不同頻率的小波分量，只要分解得足夠細(xì)，小波分量的頻寬就能足夠小。然后在不同尺度下，選取不同的拼接寬度，把2 個圖像按不同尺度下的小波分量先拼接下來，然后再用恢復(fù)程序，恢復(fù)到整個圖像。這樣得到的圖像可以很好地兼顧清晰度和光滑度2 個方面的要求。但是，小波變換也存在缺點，如小波變換的算法比較復(fù)雜，需要在小波變換域內(nèi)先進行拼接處理，在計算過程中涉及到大量的浮點運算和邊界處理問題，對實際生產(chǎn)中的大容量圖像進行處理時計算機內(nèi)存開銷很大，且處理時間較長，拼接速度慢。2.2.3利用加權(quán)平滑的方法消除拼接縫在實際中，使用較多的方法還有對重疊區(qū)域進行加權(quán)平滑的方法。這種方法的思路是：圖像重疊區(qū)域中象素點的灰度值Pixel 由兩幅圖像中對應(yīng)點的灰度值LPixel 和RPixel 加權(quán)平均得到，即：P ixel 一k X LPixel + ( l 一k ) X RPixel 其中：k 是漸變因子，滿足條件：o k 1 ，在重疊區(qū)域中，按照從左圖像到右圖像的方向，k 由1 漸變至0 ，由此實現(xiàn)了在重疊區(qū)域中由左邊重疊區(qū)慢慢過渡到右邊重疊區(qū)的平滑拼接。23 圖像拼接算法圖像拼接中的關(guān)鍵步驟是圖像配準(zhǔn),圖像拼接的算法在很大程度上也是由圖像配準(zhǔn)的方法決定的。歸納目前圖像配準(zhǔn)的文獻(xiàn)?？梢园褕D像配準(zhǔn)方法分為3類:(1)基于頻域的(相位相關(guān)度方法)Fourier變換位移理論:設(shè)f2(x,y)為 f1(x,y)在 x 和 y 方向分別平移 x0 和y0 后的圖像, 即: f2(x,y)=f1(x- x0,y- y0).若 f1 和 f2 對應(yīng)的傅立葉變換分別為 F1(u,v)和 F2(u,v)則它們之間有如下 關(guān) 系: F2(u,v)=F1(u,v)e - j(ux +vy ), 則 f1(x,y)和 f2(x,y)的互功率譜其 中 F*2 表示 F2 的復(fù)共軛。進行傅立葉逆變換, 在(x,y)空間的 (x0,y0)處將形成一個單位脈沖函數(shù),脈沖位置即為兩幅被配準(zhǔn)圖像間的相對平移量和。傅立葉變換處理具有平移旋轉(zhuǎn)的圖像一般是先進行旋轉(zhuǎn),再進行平移。該方法具有簡單而精確的特點,后來成為了最有前途的圖像配準(zhǔn)算法之一,但是相位相關(guān)度法一般需要比較大的重疊比例(通常要求配準(zhǔn)圖像之間有50% 的重疊比例),如果重 疊比例較小,則容易造成平移矢量的錯誤估計,從而較難實現(xiàn)圖像的配準(zhǔn)。(2)基于像素灰度級的方法:一般是取出待匹配圖像的重疊部分有特征的像素,通過評價函數(shù)給出待配準(zhǔn)圖像與基準(zhǔn)圖像之間的相似度值。常用的評價函數(shù)有互相關(guān)。如果兩幅圖像完全匹配則，互相關(guān)系數(shù)達(dá)到最大值。還有利用兩幅圖像灰度差值平方和最小的評價函，使得根E 取得最小值的像素區(qū)域位置,即為最佳匹配位置。3參考文獻(xiàn)1中 文 核 心 期 刊 微 計 算 機 信 息 管 控 一 體 化 )2006 年 第 22 卷 第 10-3 期 2現(xiàn)場總線技術(shù)應(yīng)用 200 例-256-3賀彬，王國宇。不同視點圖像拼接算法附件：程序源程序：#include stdafx.h#include Zoom.h#include cdib.h#include #include LPBYTE WINAPI Zoom(CDib* pDibBase , LONG Begin, LONG End)/ 基準(zhǔn)圖象的寬度和高度LONG lWidth, lHeight;lWidth = pDibBase-m_lpBMIH-biWidth;lHeight= pDibBase-m_lpBMIH-biHeight;/ 計算結(jié)果圖象的存儲大小尺寸CSize sizeBase;sizeBase = pDibBase-GetDibSaveDim();/ 截圖后圖像的寬度和高度LONGlNewWidth;LONGlNewHeight;/ 截圖后的圖象CDib* m_pDibResult; /如果輸入的Begin 小于0 則if(BeginlWidth)End=lWidth;/ 計算截圖后的圖像實際寬度/ 此處直接加0.5是由于強制類型轉(zhuǎn)換時不四舍五入，而是直接截去小數(shù)部分lNewWidth = (LONG) (End-Begin);/ 計算圖像高度lNewHeight = lHeight;/ 將此圖象用CDib類封裝m_pDibResult = new CDib(CSize(lNewWidth,lNewHeight), 8); / 計算結(jié)果圖象的存儲大小尺寸CSize sizeSaveResult;sizeSaveResult = m_pDibResult-GetDibSaveDim();/ 拷貝調(diào)色板memcpy(m_pDibResult-m_lpvColorTable, pDibBase-m_lpvColorTable, m_pDibResult-m_nColorTableEntries*sizeof(RGBQUAD);/ 應(yīng)用調(diào)色板m_pDibResult-MakePalette();/ 指向BITMAPINFO結(jié)構(gòu)的指針（Win3.0）LPBITMAPINFOHEADER lpbmi;/ 指向BITMAPCOREINFO結(jié)構(gòu)的指針LPBITMAPCOREHEADER lpbmc;/ 循環(huán)變量（象素在新DIB中的坐標(biāo)）LONGi;LONGj;/ 象素在源DIB中的坐標(biāo)LONGi0;LONGj0;/ 獲取指針lpbmi = (LPBITMAPINFOHEADER)m_pDibResult-m_lpImage;lpbmc = (LPBITMAPCOREHEADER)m_pDibResult-m_lpImage;/ 對于其它格式的DIBlpbmc-bcWidth = (unsigned short) lNewWidth;lpbmc-bcHeight = (unsigned short) lNewHeight; / 分配內(nèi)存給合并后的圖象 LPBYTE lpImgResult; lpImgResult = (LPBYTE)new unsigned charsizeSaveResult.cx * sizeSaveResult.cy; / 分配內(nèi)存給合并后的圖象 LPBYTE lpBase; lpBase = (LPBYTE)new unsigned charsizeBase.cx * sizeBase.cy; /指向源圖象的指針 LPBYTE lpImage ; lpImage = pDibBase-m_lpImage;/ 針對圖像每行進行操作for(i = 0; i l