圖像融合報(bào)告

1、Multifocus image fusion using region segmentation and spatial frequencyxoulongxia專業(yè)：計(jì)算機(jī)科學(xué)與技術(shù)一一 研究背景二二 研究動(dòng)態(tài)三三 研究內(nèi)容四四 文章理解五五 想 法研究背景 定義 圖像融合（Image Fusion）是通過對源圖像間冗余信息和互補(bǔ)信息進(jìn)行處理，使得到的融合圖像可靠性增強(qiáng)，能更客觀地、更精確地和更全面地對某一場景進(jìn)行圖像描述，更加適合人眼和機(jī)器視覺感知，更加有利于圖像分割、特征提取和目標(biāo)識(shí)別等更深層次的圖像處理任務(wù)。 高效的圖像融合方法可以根據(jù)需要綜合處理多源通道的信息，從而有效地提高了圖像信

2、息的利用率、系統(tǒng)對目標(biāo)探測識(shí)別地可靠性及系統(tǒng)的自動(dòng)化程度。其目的是將單一傳感器的多波段信息或不同類傳感器所提供的信息加以綜合，消除多傳感器信息之間可能存在的冗余和矛盾，以增強(qiáng)圖像中信息透明度，改善解譯的精度、可靠性以及使用率，以形成對目標(biāo)的清晰、完整、準(zhǔn)確的信息描述。 例如，對于聚集不同的多幅對準(zhǔn)圖像，如果圖像中的一些景物在其中的一幅圖像中很清晰，而在別的圖像中較為模糊的話，那么可以采取圖像融合的方法獲得一幅新的圖像，融合后的圖像比融合前的任意一幅圖像具有更多的信息量。圖一：左聚焦圖像圖一：左聚焦圖像 圖二：右聚焦圖像圖二：右聚焦圖像 圖三：融合圖像圖三：融合圖像研究動(dòng)態(tài) 圖像融合近年來在很多

3、領(lǐng)域都有了越來越多的應(yīng)用和發(fā)展。在醫(yī)學(xué)上，醫(yī)學(xué)圖像的配準(zhǔn)和融合為醫(yī)生提供更加豐富、可靠的圖像依據(jù)，以便更加直觀地利用這些信息并結(jié)合臨床經(jīng)驗(yàn)做出準(zhǔn)確診斷；隨著遙感技術(shù)的發(fā)展，高空間分辨率、波譜分辨率和時(shí)間分辨率的圖像數(shù)據(jù)已經(jīng)問世；根據(jù)各種不同類型的多光譜數(shù)據(jù)信息之間存在著重疊和互補(bǔ)，利用圖像融合技術(shù)對遙感圖像進(jìn)行融合，近年來在土地動(dòng)態(tài)監(jiān)測、防洪防災(zāi)和軍事偵察方面得到應(yīng)用。 在圖像融合目標(biāo)識(shí)別方面，國外從70年以已開始研究被動(dòng)微波紅外復(fù)合的雙模(雙傳感器)尋的系統(tǒng)，進(jìn)入80年代后，更多型式的雙模(雙傳感器)尋的系統(tǒng)如：半主動(dòng)雷達(dá)紅外、主動(dòng)毫米波雷達(dá)、激光紅外等型式的雙模尋的系統(tǒng)大量出現(xiàn)，其主要的目

4、的就是企圖通過多種不同類型的傳感器系統(tǒng)的組合和信號(hào)的綜合利用使整個(gè)系統(tǒng)在性能上取得互補(bǔ)，以提高尋的系統(tǒng)總的性能指標(biāo)。研究內(nèi)容 目前，國內(nèi)外學(xué)術(shù)界在圖像融合領(lǐng)域已取得了豐碩的研究成果。在理論和方法方面主要有主成分分析法、演化計(jì)算法、神經(jīng)網(wǎng)絡(luò)法、小波變換法和模糊邏輯等圖像融合方法：在融合效果客觀評價(jià)方面，有shannon提出的信息熵、交叉熵、互信息、聯(lián)合熵以及均方根誤差、均值、標(biāo)準(zhǔn)差、平均誤差、偏差、相對偏差、空間頻率、灰度標(biāo)準(zhǔn)差、相關(guān)系數(shù)、信噪比和峰值信噪比等客觀評價(jià)標(biāo)準(zhǔn)。 一般情況下，圖像融合由低到高分為三個(gè)層次：像素級(jí)融合、特征級(jí)融合、決策級(jí)融合。 像素級(jí)融合是在嚴(yán)格配準(zhǔn)的條件下，直接在傳感

5、器采集所得的圖像原始數(shù)據(jù)層上進(jìn)行處理，可用來提高信號(hào)的靈敏度與信噪比，以利于目視觀測與特征提取。 像素級(jí)圖像融合具有明顯的局限性：它要處理的圖像數(shù)據(jù)量太大，處理代價(jià)高；這種融合是在信息的最低層進(jìn)行，傳感器原始信息的不確定性、不完全性和不穩(wěn)定性要求在進(jìn)行融合時(shí)有較高的糾錯(cuò)處理能力；要求各傳感器信息之間有精確到一個(gè)像素的配準(zhǔn)精度；數(shù)據(jù)通信量大，抗干擾能力差。 特征級(jí)圖像融合是中間層次上的融合，它是先提取來自傳感器的原始信息的特征，產(chǎn)生特征矢量,然后對特征矢量進(jìn)行融合處理。一般來說，提取的特征信息應(yīng)該是像素信息的充分表示量或充分估計(jì)量，然后按照特征信息對多傳感器數(shù)據(jù)進(jìn)行綜合分析和處理。 特征級(jí)圖像融

6、合的主要優(yōu)點(diǎn)有：由于提取傳感器原始信息的特征信息，信息得到了壓縮，有利于實(shí)時(shí)處理。 決策級(jí)圖像融合是最高層次的融合，包含檢測、分類、識(shí)別和融合，在決策級(jí)圖像融合之前，每種傳感器已經(jīng)被獨(dú)立完成了決策和分類任務(wù)，融合工作實(shí)質(zhì)上是做出全局的最優(yōu)決策。決策級(jí)圖像融合的優(yōu)點(diǎn)主要表現(xiàn)為：它能在增加或減少一個(gè)或多個(gè)傳感器的情況下工作，對傳感器沒有特殊的要求，因此，它具有很強(qiáng)的容錯(cuò)性、很好的開放性、融合中心處理代價(jià)小，較短的處理時(shí)間等特點(diǎn)。同時(shí)由于處理的數(shù)據(jù)量較小，信息通信量小，抗干擾能力強(qiáng)，還能有效的反映環(huán)境或目標(biāo)各個(gè)側(cè)面的不同類型信息。 由于是最高級(jí)別的融合，需要以前面級(jí)別的融合結(jié)果作為輸入，所以預(yù)處理的

7、代價(jià)非常高。文章理解 本文中，我們提出一種在空間域?qū)嵭械牟⑶疫m合多聚焦圖像的融合。直觀的想法是圖像被人們理解為區(qū)域或?qū)ο蠹?jí)別用來代替像素級(jí)別。這包含三個(gè)步驟：圖像的分割、區(qū)域的明確計(jì)算和融合圖像的構(gòu)建。 第一步，通過簡單的求均值的方法合并兩個(gè)源圖像。 第二步，被融合的圖像使用歸一化分割(Ncut)方法分割，根據(jù)這個(gè)結(jié)果圖像被劃分開。 第三步，兩個(gè)源圖像相匹配的區(qū)域使用空間頻率的方法相融合。實(shí)驗(yàn)方案1、Region segmentation using normalized cuts （基于歸一化分割方法的區(qū)域分割）被分割的圖像是由點(diǎn)集組成的，節(jié)點(diǎn)之間的相互聯(lián)系就構(gòu)成了加權(quán)無向圖G = (V,E

8、)。我們給出 normalized cuts （Ncut）的定義： 其中， 表示所有從節(jié)點(diǎn)A到節(jié)點(diǎn)B的連接， 表示從節(jié)點(diǎn)A到所有結(jié)點(diǎn)的連接。)V ,B(assoc)B,A(cut)V ,A(assoc)B,A(cut)B,A(NcutBt ,Au)t ,u(W)B,A(cutVt ,Au)t ,u(W)V ,A(assoc 計(jì)算流程 （1）定義一個(gè)給定的圖像和權(quán)重函數(shù)的特征描述矩陣； （2）假定一個(gè)加權(quán)圖G=（V,E），計(jì)算邊緣權(quán)值，得出的W和D的信息矩陣的W表達(dá)式如下： X(i)為節(jié)點(diǎn)i的位置空間，F(xiàn)(i)=I(i)為強(qiáng)度值，矩陣D是NN的對角矩陣，對角線上的d(i)=W(i,j)； （3）

9、解答(D-W)X=DX特征向量的最小特征值； （4）使用特征向量找出第二小的特征值，并找出劃分的點(diǎn)以便于把Ncut的值減小至最低范圍； （5）檢查Ncut的值，最簡單的是依據(jù)第一個(gè)計(jì)算特征向量的柱狀圖，然后計(jì)算在最大值和最小值之間的二進(jìn)特征向量的比率，在實(shí)驗(yàn)中，設(shè)置一個(gè)像上述的比率閾值，小于閾值的特征向量是不穩(wěn)定的（本實(shí)驗(yàn)設(shè)置閾值為0.06）。 我們還可以按照第（2）進(jìn)一步的細(xì)化。2、Spatial frequency（空間頻率）空間頻率源于人們的目視系統(tǒng)，表明在一個(gè)圖像中的全部活動(dòng)程度，一個(gè)圖像塊的空間頻率定義如下： 假定一個(gè)像素為MN的圖像，行頻率RF(row frequencies)，列

10、頻率CF(column frequencies),則 F(m,n)是圖像F在位置(m,n)的像素灰度值圖像的總的空間頻率：3、Multifocus image fusion using regions clarity （區(qū)域明確的多聚焦圖像融合） 融合的過程（1）獲得檢錄圖像A和B的臨時(shí)融合圖像平均值；（2）使用歸一化的分割算法把臨時(shí)融合圖像分割為幾個(gè)區(qū)域；（3）使用第(2)步的結(jié)論劃分圖像A和B；（4）計(jì)算每一個(gè)劃分的A和B區(qū)域的空間頻率；（5）比較兩個(gè)源圖像相匹配的區(qū)域空間頻率，以決定哪一部分用于構(gòu)建融合圖像， 是第i個(gè)區(qū)域的融合圖像， 和 是圖像A和B的第i個(gè)區(qū)域的空間頻率。iRoFAi

11、SFBiSF （6）挑選所有相融后的區(qū)域組建最后的圖像。 如果有三個(gè)或更多的源圖像，使用第(2)步的結(jié)論劃分所有的源圖像，然后計(jì)算每個(gè)區(qū)域的空間頻率，選擇具有最大值的空間頻率，最后按照(6)重建所有區(qū)域相融后的圖像。4、Experimental results（實(shí)驗(yàn)處理） 通過對不同源融合圖像組合的比較得出我們實(shí)驗(yàn)的好壞，這里有三種方法可供我們選擇： a.wavelet-based fusion method（基于小波的融合方法） b.Region-based activity measurement（基于區(qū)域的放射性活度測量） 用于反映已分解系數(shù)的活動(dòng)程度，系數(shù)是通過選擇最大值組合成的。 c.Window-based verification（基于窗口的驗(yàn)證） 本文的圖像融合是由normalized cuts algorithm和wavelet-based approach來完成的。 本文設(shè)定參數(shù)為：103010r,.,.XI 評價(jià)指標(biāo) 本文使用 和交互信息(mutual info