光電圖像處理：第八章 圖像融合及應(yīng)用

第八章圖像融合及應(yīng)用Charpter08ImageFusionanditsApplication主要內(nèi)容信息融合概述圖像融合簡介圖像配準(zhǔn)方法圖像融合方法融合效果評價1.什么是信息融合(informationFusion)？

數(shù)據(jù)融合技術(shù)是隨雷達(dá)信息處理及C3I系統(tǒng)的發(fā)展而發(fā)展起來的。它對各種數(shù)據(jù)源進行綜合、過濾、相關(guān)、識別和融合，得出戰(zhàn)場態(tài)勢圖、進行態(tài)勢威脅與判別，制定出作戰(zhàn)行動方案，供指揮員決策參考。數(shù)據(jù)融合的過程就是各種信息源處理、控制及決策的一體化過程。C3I——Command（指揮），Control（控制）、Communication（通信），intelligence（情報）。Ｃ3I系統(tǒng)，1953年首先在美國研制和建立，由于其對提高軍隊指揮效能和作戰(zhàn)能力具有重要作用，因而受到世界各國高度重視。

C4I——C3I+Computers一、信息融合概述2.什么是圖像融合？

圖像融合(ImageFusion)是用特定的算法將兩幅或多幅圖像綜合成一幅新的圖像。融合結(jié)果由于能利用兩幅(或多幅)圖像在時空上的相關(guān)性及信息上的互補性，并使得融合后得到的圖像對場景有更全面、清晰的描述，從而更有利于人眼的識別和機器的自動探測。圖像傳感器A圖像傳感器B冗余信息互補信息一、信息融合概述起源：20世紀(jì)70年代初3.圖像融合技術(shù)的研究現(xiàn)狀及發(fā)展一、信息融合概述20世紀(jì)70年代初，美國研究機構(gòu)發(fā)現(xiàn)，利用計算機技術(shù)對多個獨立的連續(xù)聲納信號進行融合后，可以自動檢測出敵方潛艇的位置。這一嘗試使得信息融合作為一門獨立的技術(shù)首先在軍事應(yīng)用中得到青睞。發(fā)展：20世紀(jì)80年代－20世紀(jì)末3.圖像融合技術(shù)的研究現(xiàn)狀及發(fā)展一、信息融合概述20世紀(jì)80年代后，對信息融合技術(shù)的研究更加活躍；國際上，關(guān)于信息融合的專著論文等數(shù)量可觀；圖像融合在軍事和民用等諸多領(lǐng)域得到廣泛的應(yīng)用。完善：20世紀(jì)末－今3.圖像融合技術(shù)的研究現(xiàn)狀及發(fā)展一、信息融合概述由于其研究領(lǐng)域覆蓋范圍的廣泛性、多傳感器數(shù)據(jù)形式的多樣性以及融合處理的多樣性和復(fù)雜性，信息融合理論至今尚未形成系統(tǒng)的理論框架和有效的通用融合模型和算法。大部分研究工作都是針對特定應(yīng)用領(lǐng)域的問題來展開的。國內(nèi)出版物參考書國內(nèi)出版物國內(nèi)出版物[1]覃征等,數(shù)字圖像融合,西安交通大學(xué)出版社,2005年[2]張永生等,天基多源遙感信息融合—理論算法與應(yīng)用系統(tǒng),科學(xué)出版社,2005[3]韓崇昭等,多源信息融合,清華大學(xué)出版社,2006[4]那彥,焦李成等,基于多分辨分析理論的圖像融合方法(研究生系列教材),西安電子科技大學(xué)出版社,2007[5]李振華等,圖像融合—理論與應(yīng)用,高等教育出版社,2007[6]胡良梅等,基于信息融合的圖像理解方法研究,合肥工業(yè)大學(xué)出版社,2007.[7]郭雷,李暉暉等,圖像融合,電子工業(yè)出版社,2008[8]劉衛(wèi)光等,圖像信息融合與識別,電子工業(yè)出版社,20084.圖像融合的應(yīng)用領(lǐng)域一、信息融合概述近年來，圖像融合(ImageFusion)技術(shù)得到迅猛發(fā)展，在遙感探測、安全導(dǎo)航、醫(yī)學(xué)圖像分析、反恐檢查、環(huán)境保護、交通監(jiān)測、清晰圖像重建、災(zāi)情檢測與預(yù)報等領(lǐng)域都有著重大的應(yīng)用價值。AnatomicalimagingprovidedbyCTandMRFunctionalimagingprovidedbyPET一、信息融合概述醫(yī)學(xué)圖像分析：一、信息融合概述PETCTFusedimagePatientwithhepatoceullularcarcinomaCTscan(left)showsonlyliverdiseasePET/CTfusion(right)showsmultiplediseasesitesintheabdomenSinglescannerstudyFusedPET/CT遙感遙測：一、信息融合概述SpatialSpectral

+panchromatic&highgeometricresolutionmulti-/hyperspectralimage&lowgeometricresolutionmulti-/hyperspectral&highgeometricresolution遙感遙測SurveillanceandTargetingNavigationSatellitesGuidance/DetectionSystems一、信息融合概述一、信息融合概述Multi

View

Blander(MVB)

喀什天山2號反恐演習(xí)一、信息融合概述天府廣場高清全景一、信息融合概述主要內(nèi)容信息融合概述圖像融合簡介圖像配準(zhǔn)方法圖像融合方法融合效果評價1、不同成像傳感器圖像的融合電視圖像(TV/VisibleImage)紅外/紫外圖像(Infrared/UVImage)合成孔徑雷達(dá)(SyntheticApertureRadar，SAR)超聲圖像(UltrasonicImage)X-RAY,CT,PET核磁共振(Magneticresonanceimaging,MRI)二、圖像融合簡介因此，紅外圖像融合包括與不同成像傳感器圖像的融合，及不同波段的紅外圖像的融合。2、圖像融合的層次（或級）二、圖像融合簡介①像素（pixels)級融合

——對應(yīng)像素的融合。②特征(Feature)級融合

——對應(yīng)特征的融合③決策(decision-making)級融合

——在①、②級基礎(chǔ)上，通過分類、識別和綜合評價，進行的最后決策。像素級融合決策級融合特征級融合二、圖像融合簡介可見光圖像遠(yuǎn)紅外圖像融合結(jié)果一融合結(jié)果二二、圖像融合簡介可見光圖像紅外圖像融合結(jié)果一融合結(jié)果二二、圖像融合簡介FocusonrightpartFocusonleftpartImagetakenusingautofocusfunctionFusedimage二、圖像融合簡介3、圖像融合的基本流程圖像預(yù)處理二、圖像融合簡介主要內(nèi)容信息融合概述圖像融合簡介圖像配準(zhǔn)方法圖像融合方法融合效果評價WhatisImageRegistration/Alignment/Matching?Theaboveimageisrotatedandshiftedwithrespecttotheleftimage.ChangeDetection19752000SatelliteimagesofDeadSea,UnitedNationsEnvironmentProgramme(UNEP)websiteApplicationExamples

19902005SatelliteimagesofAmonahilltop,PeaceNowwebsiteChangeDetection(cont’d)IRMMWRADARSATIRSMRT2CTPETMRT1Multi-modalityRegistrationExamples2圖像配準(zhǔn)(ImageRegistration)簡介

圖像配準(zhǔn)是是像素級圖像融合的先決條件，從不同探測器、不同時間、不同角度所獲得的兩幅或多幅圖像在空間上的最佳匹配。其中一幅是參考圖像數(shù)據(jù)，其它圖像作為待配準(zhǔn)圖像與之匹配。

圖1待配準(zhǔn)圖像圖2參考圖像三、圖像配準(zhǔn)方法配準(zhǔn)原理圖1與圖2之間存在一個旋轉(zhuǎn)(Rotation)、平移(Translation)、縮放(Scaling)的關(guān)系，圖像配準(zhǔn)的目標(biāo)就是找到這三種變換的對應(yīng)關(guān)系。即：其中T表示二維空間坐標(biāo)變換。配準(zhǔn)的目的就是要找出最佳坐標(biāo)，灰度變換參數(shù)。三、圖像配準(zhǔn)方法FeatureDetectionFeatureMatching(ImagesadaptedfromZitova,2003)ImageRegistrationImageRegistrationTransformationModelEstimationImageResamplingandTransformation配準(zhǔn)步驟圖像配準(zhǔn)的過程也就是“確定空間變換模型——求解變換模型參數(shù)”的過程。

1.搜索空間2.特征空間

3.搜索策略

4.相似度量

待配準(zhǔn)的圖像坐標(biāo)之間所有可能存在的變換關(guān)系。例如：剛體變換仿射變換投影變換

…三、圖像配準(zhǔn)方法配準(zhǔn)步驟圖像配準(zhǔn)的過程也就是“確定空間變換模型——求解變換模型參數(shù)”的過程。

1.搜索空間2.特征空間

3.搜索策略

4.相似度量

從待配準(zhǔn)的圖像中提取用于匹配的特征，如：亮度(灰度)；特征點：角點、邊緣、輪廓、交叉點、高曲率的點等；人工選取的控制點。三、圖像配準(zhǔn)方法配準(zhǔn)步驟圖像配準(zhǔn)的過程也就是“確定空間變換模型——求解變換模型參數(shù)”的過程。

1.搜索空間2.特征空間

3.搜索策略

4.相似度量

在搜索空間尋找最佳的變換模型參數(shù)的過程中所采用的方法。

全視場搜索(FS)

2D對數(shù)搜索(2DLS)三步搜索(3SS)

菱形搜索(ds)三、圖像配準(zhǔn)方法配準(zhǔn)步驟圖像配準(zhǔn)的過程也就是“確定空間變換模型——求解變換模型參數(shù)”的過程。

1.搜索空間2.特征空間

3.搜索策略

4.相似度量

衡量搜索空間中不同的參數(shù)變換模型的優(yōu)異程度。

互相關(guān)均方差互信息HausdorffDistance三、圖像配準(zhǔn)方法圖像幾何變換

對圖像進行重新采樣和插值

配準(zhǔn)實例待匹配圖像

參考圖像匹配圖像

與參考圖像的疊加效果三、圖像配準(zhǔn)通過相關(guān)判據(jù)求出匹配點求解仿射變換參數(shù)

特征點匹配點三、圖像配準(zhǔn)(c)OriginalimagesResultsExample1OriginalimagesResultsExample2主要內(nèi)容信息融合概述圖像融合簡介圖像配準(zhǔn)方法圖像融合方法融合效果評價簡單組合式圖像融合方法邏輯濾波器法數(shù)學(xué)形態(tài)法圖像代數(shù)法空間域融合方法HIS變換PCA變換高通濾波法(HPF)塔式分解法變換域融合方法小波變換法四、圖像融合方法常用的融合方法四、圖像融合方法1、空間域融合方法常見的融合規(guī)則：

對應(yīng)像素取最大值對應(yīng)像素取最小值對應(yīng)像素取平均值加權(quán)平均法邏輯運算加權(quán)融合實例（未配準(zhǔn)）簡單組合融合（取?。┤诤蠈嵗龑?yīng)像素取平均融合實例對應(yīng)像素加權(quán)平均融合實例

RGB-IHS變換法。

Brovery變換法。四、圖像融合方法2、顏色空間變換法IHS(Intensity，Hue，Saturation)

四、圖像融合方法(1)RGB-IHS變換法

IRBG

IHS柱形空間對任何3個[0,1]范圍內(nèi)的R、G、B值都可以用下面的公式轉(zhuǎn)換到對應(yīng)IHS模型中的I、H、S分量：

（5）RGB-IHS變換法

RGB

R’G’B’

HIp’S

彩色合成

HISIHS變換Ip’代替I

IHS逆變換高空間分辨率全色影像IP代替I分量。逆變換過程中可有不同的變換模式,HIS變換過程也有多種模式,因此該方法有多種模型。四、圖像融合方法(1)RGB-IHS變換法

(2)Brovery變換法Brovery變換是一種顏色歸一化變換方法，它將RGB影像進行多光譜波段顏色歸一化，并將高分辨率全色影像與各個波段灰度值分別相乘得到融合影像。原波段影像的灰度值高分辨率影像的灰度值融合后的第i個波段影像的灰度值四、圖像融合方法

四、圖像融合方法3、小波變換法將已經(jīng)配準(zhǔn)后的兩幅（或多幅）圖像分別進行小波變換，分解為小波系數(shù)；將其對應(yīng)的小波系數(shù)依據(jù)一定的準(zhǔn)則進行融合；最后，將融合的系數(shù)進行逆變換，進行圖像重構(gòu)，即可獲得融合后的圖像。該方法充分利用了小波分解的多尺度、多分辨特性?；静襟E四、圖像融合方法

小波1級及2級分解圖示小波變換圖像融合流程四、圖像融合方法融合規(guī)則四、圖像融合方法取最大值加權(quán)平均法

方差協(xié)方差準(zhǔn)則

梯度準(zhǔn)則局部能量法多數(shù)融合算法都是基于這樣的假設(shè)，即圖像中的特征都表現(xiàn)在小波系數(shù)絕對值大的地方。因此，出現(xiàn)了以下一些基本規(guī)則：小波變換圖像融合Malab代碼四、圖像融合方法[X,map]=imread('E:\Fusion_img\TV_002.bmp');X1=X;map1=map;subplot(2,2,1);image(X1);colormap(map1);title('電視圖像');[X,map]=imread('E:\Fusion_img\IR_002.bmp');X2=X;map2=map;subplot(2,2,2);image(X2);colormap(map2);title('紅外圖像');[c1,l1]=wavedec2(X1,1,'sym4');[c2,l2]=wavedec2(X2,1,'sym4');c=0.5*(1.2*c1+0.8*c2);XX=waverec2(c,l1,'sym4');subplot(2,2,3);image(XX);title('融合結(jié)果一');Csize1=size(c1);fori=1:Csize1c1(i)=0.8*c1(i);endCsize2=size(c2);forj=1:Csize2c2(j)=1.2*c2(j);endc=0.6*(c1+c2);XXX=waverec2(c,l2,'sym4');subplot(2,2,4);image(XXX);title('融合結(jié)果二');小波單尺度分解融合舉例四、圖像融合方法PanchromaticImageMultispectralImageRGBBasis:IHStransformandfilteringintheFourierdomain.FFTFourier

SpectrumFFTFourier

SpectrumHPFPanHPLPFILPIHSR‘G‘B‘IHS-1ILP+PanHPHSFFT-14、EhlersFusion四、圖像融合方法OriginalpanchromaticimagePanchromaticSpectrum四、圖像融合方法4、EhlersFusion|F(u)|Cut-offFrequencyfnFilteredPanchromaticSpectrumFiltersettingeffectsFilteredpanchromaticimageFusedimageEffectsinthespatialdomainFilteredPanchromaticSpectrum|F(u)|Cut-offFrequencyfnFiltersettingeffectsFilteredpanchromaticimageFusedimageEffectsinthespatialdomainFilteredPanchromaticSpectrum|F(u)|Cut-offFrequencyfnFiltersettingeffectsFilteredpanchromaticimageFusedimageEffectsinthespatialdomain主要內(nèi)容信息融合概述圖像融合簡介圖像配準(zhǔn)方法圖像融合方法融合效果評價五、融合效果評價經(jīng)過各種方法融合后的圖像質(zhì)量，需要客觀的評價，評價方法大致可以分為：主觀評價定量評價

依靠人的主觀感覺對融合圖像效果進行評價。由于受到人的視覺特性、心理狀態(tài)、感興趣目標(biāo)不同等因素的影響，采用主觀評價方法對圖像融合效果進行客觀的評價十分困難。

五、融合效果評價經(jīng)過各種方法融合后的圖像質(zhì)量，需要客觀的評價，評價方法大致可以分為：主觀評價定量評價

定量評價可以對圖像融合質(zhì)量進行客觀定量的分析，通過不同的評價指標(biāo)來區(qū)分融合結(jié)果的優(yōu)劣。如：基于統(tǒng)計特性基于信息量基于清晰度(1)灰度偏差：融合圖象與原始圖象間的灰度差異，較小則表明融合后的圖象較好地保留了原始圖象的灰度信息。五、融合效果評價1.基于統(tǒng)計特性的評價指標(biāo)(2)均方差：理想圖像和融合圖像之間的差異。五、融合效果評價

2.基于信息量的評價指標(biāo)(1)熵(Shannon)：衡量圖像中信息量的豐富程度。(2)交叉熵：反映了兩幅圖像所含信息量的相對差異。對稱形式的交叉熵稱為對稱交叉熵,即交叉熵越小，融合圖像從原始圖像中得到的信息量越多。五、融合效果評價(4)互信息(MutualInformation,MI)：反映了兩幅圖象間的信息聯(lián)系。(3)相關(guān)熵：衡量圖像中信息量的豐富程度。

2.基于信息量的評價指標(biāo)其中五、融合效果評價(2)空間頻率(1)平均梯度

3.基于清晰度的評價指標(biāo)五、融合效果評價(2)峰值信噪比（PSNR）(1)信噪比（SNR）

4.基于信噪比的評價指標(biāo)圖像融合實例(a)可見光圖像