《光電圖像處理》08－圖像融合

1、光電圖像處理 （八）圖像融合電子工程學(xué)院光電子技術(shù)系主 要 內(nèi) 容8.1 信息融合概述8.2 圖像融合簡(jiǎn)介8.3 圖像配準(zhǔn)方法8.4 圖像融合方法8.5 融合效果評(píng)價(jià)主 要 內(nèi) 容8.1 信息融合概述8.2 圖像融合簡(jiǎn)介8.3 圖像配準(zhǔn)方法8.4 圖像融合方法8.5 融合效果評(píng)價(jià)1. 什么是信息融合(information Fusion)？ 數(shù)據(jù)融合技術(shù)是隨雷達(dá)信息處理及C3I系統(tǒng)的發(fā)展而發(fā)展起來(lái)的。它對(duì)各種數(shù)據(jù)源進(jìn)行綜合、過(guò)濾、相關(guān)、識(shí)別和融合，得出戰(zhàn)場(chǎng)態(tài)勢(shì)圖、進(jìn)行態(tài)勢(shì)威脅與判別，制定出作戰(zhàn)行動(dòng)方案，供指揮員決策參考。數(shù)據(jù)融合的過(guò)程就是各種信息源處理、控制及決策的一體化過(guò)程。C3I：Comm

2、and（指揮），Control（控制）、Communication（通信），intelligence （情報(bào)）。3I系統(tǒng)，1953年首先在美國(guó)研制和建立，由于其對(duì)提高軍隊(duì)指揮效能和作戰(zhàn)能力具有重要作用，因而受到世界各國(guó)高度重視 。 C4I：C3I+Computers2. 什么是圖像融合？ 圖像融合(Image Fusion)是用特定的算法將兩幅或多幅圖像綜合成一幅新的圖像。融合結(jié)果由于能利用兩幅(或多幅) 圖像在時(shí)空上的相關(guān)性及信息上的互補(bǔ)性，并使得融合后得到的圖像對(duì)場(chǎng)景有更全面、清晰的描述，從而更有利于人眼的識(shí)別和機(jī)器的自動(dòng)探測(cè)。圖像傳感器A圖像傳感器B冗余信息互補(bǔ)信息起源：20世紀(jì)70年代

3、初3. 圖像融合技術(shù)的研究現(xiàn)狀及發(fā)展 20世紀(jì)70年代初，美國(guó)研究機(jī)構(gòu)發(fā)現(xiàn)，利用計(jì)算機(jī)技術(shù)對(duì)多個(gè)獨(dú)立的連續(xù)聲納信號(hào)進(jìn)行融合后，可以自動(dòng)檢測(cè)出敵方潛艇的位置。這一嘗試使得信息融合作為一門(mén)獨(dú)立的技術(shù)首先在軍事應(yīng)用中得到青睞。發(fā)展：20世紀(jì)80年代20世紀(jì)末 20世紀(jì)80年代后，對(duì)信息融合技術(shù)的研究更加活躍；國(guó)際上，關(guān)于信息融合的專著論文等數(shù)量可觀；圖像融合在軍事和民用等諸多領(lǐng)域得到廣泛的應(yīng)用。完善：20世紀(jì)末今 由于其研究領(lǐng)域覆蓋范圍的廣泛性、多傳感器數(shù)據(jù)形式的多樣性以及融合處理的多樣性和復(fù)雜性，信息融合理論至今尚未形成系統(tǒng)的理論框架和有效的通用融合模型和算法。大部分研究工作都是針對(duì)特定應(yīng)用領(lǐng)域的

4、問(wèn)題來(lái)展開(kāi)的。4. 圖像融合的應(yīng)用領(lǐng)域 近年來(lái)，圖像融合(Image Fusion) 技術(shù)得到迅猛發(fā)展，在遙感探測(cè)、安全導(dǎo)航、醫(yī)學(xué)圖像分析、反恐檢查、環(huán)境保護(hù)、交通監(jiān)測(cè)、清晰圖像重建、災(zāi)情檢測(cè)與預(yù)報(bào)等領(lǐng)域都有著重大的應(yīng)用價(jià)值。 醫(yī)學(xué)圖像分析： 醫(yī)學(xué)圖像分析：PETCTFused image 遙感遙測(cè)：SpatialSpectral +panchromatic &high geometric resolutionmulti-/hyperspectral image &low geometric resolutionmulti-/hyperspectral &high geometric reso

5、lution 遙感遙測(cè)全色高幾何分辨率多/高光譜低幾何分辨率Surveillance and TargetingNavigationSatellitesGuidance/Detection Systems監(jiān)視和瞄準(zhǔn) 主 要 內(nèi) 容8.1 信息融合概述8.2 圖像融合簡(jiǎn)介8.3 圖像配準(zhǔn)方法8.4 圖像融合方法8.5 融合效果評(píng)價(jià)1. 不同成像傳感器圖像的融合電視圖像(TV/Visible Image)紅外/紫外圖像(Infrared /UV Image)合成孔徑雷達(dá)(Synthetic Aperture Radar，SAR)超聲圖像(Ultrasonic Image)X-RAY,CT,PET核

6、磁共振(Magnetic resonance imaging,MRI)因此，紅外圖像融合包括與不同成像傳感器圖像的融合，及不同波段的紅外圖像的融合。2. 圖像融合的層次（或級(jí)） 像素（pixels)級(jí)融合 對(duì)應(yīng)像素的融合。 特征(Feature)級(jí)融合 對(duì)應(yīng)特征的融合 決策(decision-making)級(jí)融合 在、 級(jí)基礎(chǔ)上，通過(guò)分類、識(shí)別和綜合評(píng)價(jià)，進(jìn)行的最后決策。像素級(jí)融合決策級(jí)融合特征級(jí)融合可見(jiàn)光圖像遠(yuǎn)紅外圖像融合結(jié)果一融合結(jié)果二可見(jiàn)光圖像紅外圖像融合結(jié)果一融合結(jié)果二Focus on right partFocus on left partImage taken using auto

7、 focus functionFused image3. 圖像融合的基本流程圖像預(yù)處理主 要 內(nèi) 容8.1 信息融合概述8.2 圖像融合簡(jiǎn)介8.3 圖像配準(zhǔn)方法8.4 圖像融合方法8.5 融合效果評(píng)價(jià)IRMMWRADARSATIRSMR T2CTPETMR T1Multi-modality Registration Examples1. 圖像配準(zhǔn)簡(jiǎn)介 圖像配準(zhǔn)是是像素級(jí)圖像融合的先決條件，從不同探測(cè)器、不同時(shí)間、不同角度所獲得的兩幅或多幅圖像在空間上的最佳匹配。其中一幅是參考圖像數(shù)據(jù)，其它圖像作為待配準(zhǔn)圖像與之匹配。 圖1 待配準(zhǔn)圖像圖2 參考圖像2. 配準(zhǔn)原理 上面圖1與圖2之間存在一個(gè)縮放

8、、旋轉(zhuǎn)、平移的關(guān)系，圖像配準(zhǔn)的目標(biāo)就是找到這三種變換的對(duì)應(yīng)關(guān)系。即：其中g(shù)表示二維空間坐標(biāo)變換。配準(zhǔn)的目的就是要找出最佳坐標(biāo)，灰度變換參數(shù)。Figure 3: Feature DetectionFigure 4: Feature Matching(Images adapted from Zitova,2003 )Image RegistrationImage RegistrationFigure 5: Transformation Model EstimationFigure 6: Image Resampling and Transformation(Images adapted from

9、Zitova,2003 )3. 配準(zhǔn)步驟 圖像配準(zhǔn)的過(guò)程也就是“確定空間變換模型求解變換模型參數(shù)”的過(guò)程。 1) 搜索空間 2)特征空間 3)搜索策略 4)相似性度量 搜索空間是待配準(zhǔn)的圖像坐標(biāo)之間所有可能的變換關(guān)系。例如：剛體變換仿射變換投影變換非線性變換等3. 配準(zhǔn)步驟 圖像配準(zhǔn)的過(guò)程也就是“確定空間變換模型求解變換模型參數(shù)”的過(guò)程。 1)搜索空間 2)特征空間 3)搜索策略 4)相似性度量 從待配準(zhǔn)的圖像中提取出來(lái)用于匹配的特征，包括邊緣、輪廓、面目標(biāo)拐角、曲線上的交叉點(diǎn)和高曲率的點(diǎn)等地物特征以及人工選取的配準(zhǔn)控制點(diǎn)等外部特征。 3. 配準(zhǔn)步驟 圖像配準(zhǔn)的過(guò)程也就是“確定空間變換模型求解

10、變換模型參數(shù)”的過(guò)程。 1)搜索空間 2)特征空間 3)搜索策略 4)相似性度量 在搜索空間尋找最佳的變換模型參數(shù)的過(guò)程中所采用的方法。 3. 配準(zhǔn)步驟 圖像配準(zhǔn)的過(guò)程也就是“確定空間變換模型求解變換模型參數(shù)”的過(guò)程。 1)搜索空間 2)特征空間 3) 搜索策略 4)相似性度量 衡量搜索空間中不同的參數(shù)變換模型的優(yōu)異程度。 圖像幾何變換 對(duì)圖像進(jìn)行重新采樣和插值 配準(zhǔn)實(shí)例待匹配圖像 參考圖像匹配圖像 與參考圖像的疊加效果通過(guò)相關(guān)判據(jù)求出匹配點(diǎn)求解仿射變換參數(shù) 特征點(diǎn)匹配點(diǎn)(c)Original imagesResultsExample 1Original imagesResultsExampl

11、e 2主 要 內(nèi) 容8.1 信息融合概述8.2 圖像融合簡(jiǎn)介8.3 圖像配準(zhǔn)方法8.4 圖像融合方法8.5 融合效果評(píng)價(jià)簡(jiǎn)單組合式圖像融合方法邏輯濾波器法數(shù)學(xué)形態(tài)法圖像代數(shù)法空間域融合方法HSI變換PCA變換高通濾波法(HPF)塔式分解法變換域融合方法小波變換法1.常用的融合方法2. 空間域融合方法常見(jiàn)的融合規(guī)則： 對(duì)應(yīng)像素取最大值 對(duì)應(yīng)像素取最小值 對(duì)應(yīng)像素取平均值 加權(quán)平均法 邏輯運(yùn)算簡(jiǎn)單組合融合（取?。┤诤蠈?shí)例對(duì)應(yīng)像素取平均融合實(shí)例對(duì)應(yīng)像素加權(quán)平均融合實(shí)例 RGB-IHS變換法。 Brovery 變換法。3. 顏色空間變換法 IHS(Intensity，Hue， Saturation)

12、(1) RGB-IHS變換法 IRBG IHS柱形空間對(duì)任何3個(gè)0,1范圍內(nèi)的R、G、B值都可以用下面的公式轉(zhuǎn)換到對(duì)應(yīng)IHS模型中的I、H、S分量： R G B R G B H Ip S 彩 色 合 成 H I SIHS變換 Ip代替I IHS逆變換 高空間分辨率全色影像 P代替I分量 。逆變換過(guò)程中可有不同的變換模式，HIS變換過(guò)程也有多種模式，因此該方法有多種模型。(2) Brovey 變換法 Brovery 變換是一種顏色歸一化變換方法，它將RGB影像進(jìn)行多光譜波段顏色歸一化，并將高分辨率全色影像與各個(gè)波段灰度值分別相乘得到融合影像。融合后的第 i個(gè)波段影像的灰度值原波段影像的灰度值高分

13、辨率影像的灰度值 (3) 小波變換法 首先，將已經(jīng)配準(zhǔn)后的兩幅（或多幅）圖像分別進(jìn)行小波變換，分解為小波系數(shù)；然后，將其對(duì)應(yīng)的小波系數(shù)依據(jù)一定的準(zhǔn)則進(jìn)行融合，最后，將融合的系數(shù)進(jìn)行逆變換，進(jìn)行圖像重構(gòu)，即可獲得融合后的圖像。 該方法充分利用了小波分解的多尺度、多分辨特性。低頻小波變換示意圖分解步驟Wavelet Transform 小波1級(jí)及2級(jí)分解圖示 小波變換圖像融合流程 融合規(guī)則 多數(shù)融合算法都是基于這樣的假設(shè)，即圖像中的特征都表現(xiàn)在小波系數(shù)絕對(duì)值大的地方，因此出現(xiàn)了一些基本規(guī)則：取最大值加權(quán)平均法 方差協(xié)方差準(zhǔn)則 梯度準(zhǔn)則局部能量法小波單尺度分解融合舉例Panchromatic Ima

14、geMultispectral ImageRGBBasis: IHS transform and filtering in the Fourier domain.FFTFourierSpectrumFFTFourierSpectrumHPFPanHPLPFILPIHSRGBIHS-1ILP+PanHPHSFFT-1(4) Ehlers FusionOriginal panchromatic imagePanchromatic Spectrum|F(u)|Cut-off FrequencyfnFiltered Panchromatic SpectrumFiltersetting effectsF

15、iltered panchromatic imageFused imageEffects in the spatial domainFiltered Panchromatic Spectrum|F(u)|Cut-off FrequencyfnFiltersetting effectsFiltered panchromatic imageFused imageEffects in the spatial domainFiltered Panchromatic Spectrum|F(u)|Cut-off FrequencyfnFiltersetting effectsFiltered panchr

16、omatic imageFused imageEffects in the spatial domain主 要 內(nèi) 容8.1 信息融合概述8.2 圖像融合簡(jiǎn)介8.3 圖像配準(zhǔn)方法8.4 圖像融合方法8.5 融合效果評(píng)價(jià) 經(jīng)過(guò)各種方法融合后的圖像質(zhì)量，需要客觀的評(píng)價(jià)，評(píng)價(jià)方法大致可以分為：主觀評(píng)價(jià)定量評(píng)價(jià) 依靠人的主觀感覺(jué)對(duì)融合圖像效果進(jìn)行評(píng)價(jià)。由于受到人的視覺(jué)特性、心理狀態(tài)、感興趣目標(biāo)不同等因素的影響，采用主觀評(píng)價(jià)方法對(duì)圖像融合效果進(jìn)行客觀的評(píng)價(jià)十分困難。 經(jīng)過(guò)各種方法融合后的圖像質(zhì)量，需要客觀的評(píng)價(jià)，評(píng)價(jià)方法大致可以分為：主觀評(píng)價(jià)定量評(píng)價(jià) 定量評(píng)價(jià)可以對(duì)圖像融合質(zhì)量進(jìn)行客觀定量的分析，通過(guò)不

17、同的評(píng)價(jià)指標(biāo)來(lái)區(qū)分融合結(jié)果的優(yōu)劣。其中： 一般定量評(píng)價(jià)采用的指標(biāo)：1. 熵：2. 交叉熵：3. 交互信息量：4. 空間頻率 ：圖像融合實(shí)例 不同小波，采用能量法：(a) 可見(jiàn)光圖像 (b) 紅外圖像 (c) Haar小波 (d) W5/3小波(e)Daubechies9/7小波 圖(a)為一幅花叢可見(jiàn)光圖像，沒(méi)有目標(biāo)；圖(b)是該場(chǎng)景的紅外圖像，一支隱藏的手槍(目標(biāo))清晰可見(jiàn)，融合的目的是提高圖像的信息量。從圖 (c)， (d)，(e)可以看到，融合后，目標(biāo)和目標(biāo)的背景都得到了很好的保留。小波濾波器熵(信息量)交叉熵(相關(guān)性)交互信息量空間頻率Haar7.4965109.49349.49106.3215W53小波7.4858108.626010.05736.9452Daubechies9/77.6847105.079415.34037.1245從表中可以看到，采用Daubechies9/7小波進(jìn)行