案例9 圖像拼接和圖像融合

案例9圖像融合和拼接崔麗對(duì)來(lái)自多個(gè)傳感器的多源信息進(jìn)行多級(jí)別、多方面和多層次的處理和綜合，從而獲得更豐富、更準(zhǔn)確、更可靠的有用信息。信息融合是一種多層次、多方面的處理過(guò)程，這個(gè)過(guò)程對(duì)多源信息進(jìn)行檢測(cè)、結(jié)合、相關(guān)、估計(jì)和組合，以達(dá)到精確的狀態(tài)估計(jì)和身份估計(jì)記憶完整、及時(shí)的態(tài)勢(shì)估計(jì)和威脅估計(jì)?！狫.LlinasandW.Edward信息融合（InformationFusion）圖像融合是將兩個(gè)或兩個(gè)以上的傳感器在同一時(shí)間或不同時(shí)間獲取的關(guān)于某個(gè)具體場(chǎng)景的圖像或圖像序列信息加以綜合，以生成新的有關(guān)此場(chǎng)景解釋的信息處理過(guò)程。圖像融合是是指將多源信道所采集到的關(guān)于同一目標(biāo)的圖像數(shù)據(jù)經(jīng)過(guò)圖像處理和計(jì)算機(jī)技術(shù)等，最大限度的提取各自信道中的有利信息，最后綜合成高質(zhì)量的圖像，以提高圖像信息的利用率、改善計(jì)算機(jī)解譯精度和可靠性、提升原始圖像的空間分辨率和光譜分辨率。圖像融合（ImageFusion）圖像融合是以圖像為研究對(duì)象的信息融合，它把對(duì)同一目標(biāo)或場(chǎng)景的用不同傳感器獲得的不同圖像，或用同種傳感器以不同成像方式或在不同成像時(shí)間獲得的不同圖像，融合為一幅圖像，在一幅融合圖像中能反應(yīng)多重原始圖像的信息，已達(dá)到對(duì)目標(biāo)和場(chǎng)景的綜合描述，使之更適合視覺(jué)感知或計(jì)算機(jī)處理。它綜合了傳感器、信號(hào)處理、圖像處理和人工智能等技術(shù)的新興學(xué)科。多源圖像多傳感器圖像：成像機(jī)理不同的獨(dú)立傳感器獲得的圖像（不包括遙感圖像）如前視紅外圖像和可見(jiàn)光圖像CT圖像和MRI圖像前視紅外線圖像和毫米波雷達(dá)圖像融合圖像源分類多源圖像遙感多光源圖像：成像機(jī)理不同的傳感器或同種傳感器不同工作模式獲得的遙感圖像如:SPOT衛(wèi)星的多光譜圖像和全色圖像QuickBird衛(wèi)星的多光譜圖像和全色圖像多源圖像多聚焦圖像：光學(xué)傳感器的不同成像方式（指不同聚焦點(diǎn)）獲得的圖像多源圖像時(shí)間序列（動(dòng)態(tài)）圖像：同種圖像傳感器以相同成像方式在離散時(shí)刻拍攝的圖像圖像配準(zhǔn)、圖像融合、特征提取、識(shí)別與決策圖像融合分三個(gè)層次：像素級(jí)嚴(yán)格配準(zhǔn)的條件下，直接進(jìn)行信息綜合?；跀?shù)據(jù)層面，主要完成多源圖像中目標(biāo)和背景信息的直接融合。最低層次的圖像融合，準(zhǔn)確性最高，能夠提供其他層次處理所具有的細(xì)節(jié)信息。處理的信息量較大。特征級(jí)與處理和特征提取后獲得的景物信息如邊緣，形狀，紋理和區(qū)域等信息進(jìn)行綜合與處理。中間層次信息融合，即保留了足夠數(shù)量的重要信息，有可對(duì)信息進(jìn)行壓縮，有利于實(shí)時(shí)處理決策級(jí)根據(jù)一定的準(zhǔn)則以及每個(gè)決策的可信度做出最優(yōu)決策。最高層次的信息融合，實(shí)時(shí)性好，并且具有一定的容錯(cuò)能力。基于認(rèn)知模型的方法，需要大型數(shù)據(jù)庫(kù)和專家決策系統(tǒng)進(jìn)行分析、推斷、識(shí)別。圖像融合的處理過(guò)程1.圖像增強(qiáng)空間域增強(qiáng)點(diǎn)運(yùn)算：線性變換，非線性變換，直方圖均衡化，歸一化。鄰域運(yùn)算：圖像平滑，銳化頻域增強(qiáng)塔式分解增強(qiáng)，F(xiàn)ourier變換增強(qiáng)，濾波彩色增強(qiáng)偽彩色增強(qiáng)，假彩色增強(qiáng)，彩色變換圖像代數(shù)運(yùn)算插值法，比值法，混合運(yùn)算法，分辨率融合多光譜圖像增強(qiáng)主成分分析，K-T變換圖像融合預(yù)處理2.圖像矯正和配準(zhǔn)基于灰度信息的圖像配準(zhǔn)基于灰度的一些統(tǒng)計(jì)信息來(lái)度量圖像的相似度。優(yōu)點(diǎn)簡(jiǎn)單易行，缺點(diǎn)計(jì)算量大，對(duì)噪聲敏感。三種方法互相關(guān)法序貫相似度檢測(cè)匹配交互信息法基于變換域圖像配準(zhǔn)方法圖像間的平移，旋轉(zhuǎn)，縮放在頻域上有對(duì)應(yīng)，對(duì)抗噪聲有一定的魯棒性2.圖像矯正和配準(zhǔn)基于特征的圖像配準(zhǔn)方法基于灰度和變換域有如下不足：受光照影響大，對(duì)灰度變換敏感搜索空間會(huì)出現(xiàn)很多局部極值點(diǎn)，涉及到閾值的設(shè)定處理信息量大，計(jì)算復(fù)雜度高對(duì)旋轉(zhuǎn)，尺度變換以及遮掩等敏感基于特征的方法圖像中特征數(shù)較少，特征間的匹配度量歲位置變動(dòng)很大，可以利用圖像輪廓特征間的幾何約束關(guān)系，對(duì)干擾變形等有較強(qiáng)的適應(yīng)能力——比如指紋中的特征點(diǎn)匹配，紋線匹配步驟：1）特征提取：特征點(diǎn)（角點(diǎn)，高曲率點(diǎn)），直線段，邊緣，輪廓，閉合區(qū)域，特征結(jié)構(gòu)以及統(tǒng)計(jì)特征，矩不變量，重心等2）特征匹配3）圖像轉(zhuǎn)換——完成圖像整理變換互相關(guān)法：

它是一種匹配度量，通過(guò)計(jì)算模板圖像和搜索窗口之間的互相關(guān)值，來(lái)確定匹配的成都，互相關(guān)最大時(shí)的搜索窗口決定了末班圖像在待匹配圖像中的位置。

對(duì)圖像I和一個(gè)尺寸小于I的模板T，歸一化二維交叉相關(guān)函數(shù)定義如下：C(u,v)表示了模板在圖像上位移(u,v)位置的相似成都簡(jiǎn)單介紹幾種圖像匹配算法基于變換域的圖像配準(zhǔn)1.平移檢測(cè)clear;I=imread('cameraman.tif');%參數(shù)[25,30]可以修改，修改后平移距離對(duì)應(yīng)改變

,得到圖像平移后圖像TIse=translate(strel(1),[3525]);TI=imdilate(I,se);imshow(TI);%Fourier變換FI=fft2(I);FTI=fft2(TI);%相關(guān)量hgl=FI.*conj(FTI)./(abs(FI.*conj(FTI)));%逆Fourier變換得到deta函數(shù)deta=abs(ifft2(hgl));%顯示突變點(diǎn)x=1:size(I,1);y=1:size(I,2);mesh(x,y,deta);%求出平移變換點(diǎn)[x0,y0]=find(deta==max(max(deta)));Matlab程序（變換域的配準(zhǔn)）2.旋轉(zhuǎn)變化子函數(shù)：極坐標(biāo)轉(zhuǎn)化functionPI=Car2PIm(I)%I=imread('standard_lena.bmp');[MI,NI]=size(I);M2=MI/2;N2=NI/2;PMax=round(sqrt(M2^2+N2^2))+1;PMin=sqrt(2);PI=zeros(PMax,361);fori=1:M2forj=1:N2p=sqrt(i^2+j^2);theta=atan(j/i);p=round(p)+1;%360*/PMaxtheta=round(theta*180/pi)+1;PI(p,theta)=I(i+M2,N2-j+1);PI(p,180-theta)=I(M2-i+1,N2-j+1);PI(p,180+theta)=I(M2-i+1,j+N2);PI(p,360-theta)=I(i+M2,j+N2);endend%imshow(PI,[]);%imwrite(PI,'Lena_cui.tif');clear;I=imread('cameraman.tif');%TI=imrotate(I,-30,'crop');%imwrite(TI,'RT.tif');TI=imread('RT.tif');TI=TI(:,:,1);%MFI=abs(fft2(I));%MFTI=abs(fft2(TI));PMFI=Car2PIm(I);PMFTI=Car2PIm(TI);hgl=fft2(PMFI).*conj(fft2(PMFTI))./(abs(fft2(PMFI)).*conj(fft2(PMFTI)));deta=abs(ifft2(hgl));x=1:size(PMFI,1);y=1:size(PMFI,2);%mesh(x,y,deta);[x0,y0]=find(deta==max(max(deta)));有問(wèn)題拼接圖像邊緣的融合藝術(shù)照片的效果照片做舊老照片翻新紋理映射電腦設(shè)計(jì)搞怪多光譜圖像融合問(wèn)題圖像尺寸融合位置確定時(shí)域和頻域的處理選擇圖像融合實(shí)際需要，大長(zhǎng)照片拍攝和制作問(wèn)題拼接位置定位算法——識(shí)別邊界是否有平移旋轉(zhuǎn)，要去掉這些帶來(lái)的影響對(duì)于變形的處理，視點(diǎn)不同帶來(lái)的影響，能否從圖像中獲取拼接后的邊界融合選擇合適的濾波器進(jìn)行模糊化處理進(jìn)而銳化處理，突出邊緣，采用圖像局部增強(qiáng)方法拼接圖像大小處理是否涉及到圖像的縮放圖像拼接預(yù)處理待融合圖像局部大小統(tǒng)一，確定融合位置小波分解獲得各個(gè)頻段的信息對(duì)各個(gè)頻段進(jìn)行融合處理將處理后的頻段，進(jìn)行小波逆變換，重構(gòu)圖像——完成圖像融合關(guān)鍵是融合函數(shù)的設(shè)計(jì)基于小波的圖像融合小波系數(shù)，高頻逼近系數(shù)，低頻融合決策改進(jìn)，比如把點(diǎn)改為區(qū)域的，把單小波改為多小波。融合策略工具箱實(shí)現(xiàn)imagefusionDemo演示Matlab實(shí)現(xiàn)loadmask;X1=X;loadbust;X2=X;[XFUS,TXFUS,TX1,TX2]=wfusimg(X1,X2,'db2',5,'max','max','plot');subplot(1,3,1)imshow(X1,[]);subplot(1,3,2);imshow(X2,[]);subplot(1,3,3)imshow(XFUS,[]);Matlab代碼實(shí)現(xiàn)低通如何融合高通如何融合設(shè)計(jì)融合函數(shù)找尋有趣圖像進(jìn)行融合嘗試各種融合策略例1.圖像拼接-周安琪（10級(jí)）%讀入彩色圖片im=imread('照片007.jpg');im1=imread('照片008.jpg');%變灰度圖片imm=rgb2gray(im);imm1=rgb2gray(im1);%格式轉(zhuǎn)換f=double(imm);g=double(imm1);%第二幅圖的第一列g(shù)1=g(:,1);%第一幅圖的每一列與第二幅圖的第一列求距離，此處用的是列各點(diǎn)差的和fori=1:size(g,2)d(i)=sum(abs(f(:,i)-g1));end%求出最小距離者，即為對(duì)應(yīng)最為相似的列m=min(d);%找出最相似列標(biāo)a=find(d==m);%取出拼接相疊加的部分圖像x=imm(:,a:size(imm,2));y=imm1(:,1:(size(imm,2)-a+1));figureimshow(x);figureimshow(y);主程序%模極大值找邊緣，分別對(duì)兩個(gè)待拼接圖像的重疊部分進(jìn)行求邊緣運(yùn)算。[ed,tang]=waveedge(x,0.1);[ed1,tang1]=waveedge(y,0.1);h=tang-tang1;theat=hist(h);%求拼接部分角度差的眾數(shù)%z=mode(mode(theat));%進(jìn)行旋轉(zhuǎn)z=7;rotate=imrotate(imm1,z);%重新規(guī)劃圖像大小r=imresize(rotate,1/4);%z由角度變弧度z=z/360*(2*pi);[m,n]=size(g);%圖像矯正——旋轉(zhuǎn)fori=1:mforj=1:nA(i,j)=round(abs(i*cos(z)-j*sin(z)));B(i,j)=round(abs(i*cos(z)-j*sin(z)));endend

%旋轉(zhuǎn)后的拼接過(guò)程fori=1:mforj=1:nifA(i,j)==0x=1;elseifA(i,j)>=mx=m;elsex=A(i,j);endendifB(i,j)>=ny=n;elseifB(i,j)==0y=1;elsey=B(i,j);endendF(i,j)=g(x,y);endendF=uint8(F);F=imresize(F,1/4);figure;imshow(F)

rotate=[];fori=1:size(g,1)forj=1:size(g,2)

rotate(i,j)=[cos(z)-sin(z);sin(z),cos(z)]*([g(i,j)])';endendimshow(uint8(rotate));

%小波變換檢測(cè)法，輸入變量I為原始圖像，T為閾值%返回值：ed為邊緣，tang為邊緣點(diǎn)的角度記錄。function[ed,tang]=waveedge(I,T)X=double(I);s1=size(X,1);s2=size(X,2);%多尺度m=1.0;dt=2^m;%構(gòu)造高斯函數(shù)的一階導(dǎo)數(shù)N=20;%高斯濾波器長(zhǎng)度，支集范圍A=-1/sqrt(2*pi);%幅度f(wàn)ori=1:N;forj=1:N;x=i-(N+1)/2;y=j-(N+1)/2;fx(i,j)=A*(x/dt^2).*exp(-(x.*x+y.*y)/(2*dt^2));fy(i,j)=A*(y/dt^2).*exp(-(x.*x+y.*y)/(2*dt^2));endend;%能量歸一化fx=fx/norm(fx);fy=fy/norm(fy);%對(duì)圖象做小波變換Gx=conv2(X,fx,'same');Gy=conv2(X,fy,'same');G=sqrt((Gx.*Gx)+(Gy.*Gy));%求梯度%%確定梯度方向ang=zeros(s1,s2);%角度子函數(shù)：小波變換邊緣檢測(cè)fori=1:s1;forj=1:s2if(abs(Gx(i,j))>eps*100)%x的絕對(duì)值足夠大p=atan(Gy(i,j)/Gx(i,j))*180/pi;%反正切求角度值(1,4象限)if(p<0)%負(fù)的幅角（2、4象限）p=p+360;end;if(Gx(i,j)<0&p>180)%2象限的特殊處理p=p-180;elseif(Gx(i,j)<0&p<180)%3象限的特殊處理p=p+180;endelse%90或270度if(Gy(i,j)>0)p=90;elsep=270;endendang(i,j)=p;%幅角endend;ed=zeros(s1,s2);%%尋找各個(gè)方向極值點(diǎn)fori=2:s1-1forj=2:s2-1if((ang(i,j)>=(-22.5)&ang(i,j)<=22.5)|...(ang(i,j)>=(180-22.5)&ang(i,j)<=(180+22.5)))%0/180if(G(i,j)>G(i+1,j)&G(i,j)>G(i-1,j))ed(i,j)=G(i,j);endelseif((ang(i,j)>=(90-22.5)&ang(i,j)<=(90+22.5))|...(ang(i,j)>=(270-22.5)&ang(i,j)<=(270+22.5)))%90/270if(G(i,j)>G(i,j+1)&G(i,j)>G(i,j-1))ed(i,j)=G(i,j);endelseif((ang(i,j)>=(45-22.5)&ang(i,j)<=(45+22.5))|...(ang(i,j)>=(225-22.5)&ang(i,j)<=(225+22.5)))%45/225if(G(i,j)>G(i+1,j+1)&G(i,j)>G(i-1,j-1))ed(i,j)=G(i,j);endelse%135/215if(G(i,j)>G(i+1,j-1)&G(i,j)>G(i-1,j+1))ed(i,j)=G(i,j);endendendendME=max(max(ed).');%最大幅值ed=ed/ME;%%確定邊緣form=1:s1forn=1:s2if(ed(m,n)>T)ed(m,n)=1;elseed(m,n)=0;endendend%繪制圖像figuresubplot(1,2,1)imshow(I)title('原圖像')subplot(1,2,2)imshow(ed)title('小波邊緣')%求特征點(diǎn)的角度l=size(ed,1);w=size(ed,2);tang=zeros(l,w);%角度f(wàn)ori=1:l;forj=1:wifed(i,j)==1if(abs(Gx(i,j))>eps*100)%x的絕對(duì)值足夠大p=atan(Gy(i,j)/Gx(i,j))*180/pi;%反正切求角度值(1,4象限)if(p<0)%負(fù)的幅角（2、4象限）p=p+360;end;if(Gx(i,j)<0&p>180)%2象限的特殊處理p=p-180;elseif(Gx(i,j)<0&p<180)%3象限的特殊處理p=p+180;endelse%90或270度if(Gy(i,j)>0)p=90;elsep=270;endendtang(i,j)=p;%幅角endendend;不旋轉(zhuǎn)直接小波分解拼接小波邊緣提取旋轉(zhuǎn)匹配過(guò)程水平平移過(guò)程1.圖片矯正過(guò)程中大小的變化過(guò)程如何糾正？簡(jiǎn)單補(bǔ)零操作。2.步驟如下：圖像配準(zhǔn)融合方案——小波分解融合在得到融合圖像之后，對(duì)圖像進(jìn)行直方圖均勻化及裁剪，使圖像更加美觀。后處理拼接結(jié)果例2.藝術(shù)圖片制作——預(yù)處理圖像分析，對(duì)于彩色圖像進(jìn)行分通道顯示，并通過(guò)直方圖進(jìn)行灰度值分析。RGB通道，HSI通道或者YUV通道等。實(shí)現(xiàn)圖像類型轉(zhuǎn)換函數(shù)見(jiàn)RGb2hsi.m函數(shù)。觀察直方圖和各通道圖像，選取適用于背景分離的圖像通道，即待分離圖像和背景圖像的灰度值區(qū)分度大的圖像通道。如何提取前景感興趣區(qū)域確定閾值T，一般可選擇圖像均值作為閾值，也可以參考圖像方差，對(duì)閾值進(jìn)行修正。這里也可以加一些直觀的限制，以達(dá)到更好獲得感興趣的區(qū)域。Matlab均值函數(shù)和方差函數(shù)分別為mean2和var2。具體方式為：Y=mean2(X)，X為輸入矩陣，Y為矩陣X的均值Theta=std2(X)，X為輸入矩陣，Y為矩陣X的均方差。對(duì)所選通道圖像進(jìn)行閾值化處理，化為二值圖像，1為前景圖像白色，0為背景圖像黑色。對(duì)獲得的前景圖像進(jìn)行修復(fù)，包括形態(tài)學(xué)的開(kāi)閉運(yùn)算，填補(bǔ)漏洞處理等。Matlab形態(tài)學(xué)運(yùn)算可通過(guò)bwmorph實(shí)現(xiàn)，圖像填補(bǔ)漏洞函數(shù)imfill。具體方式為：bwmorph是對(duì)二值圖像的形態(tài)學(xué)算子。形態(tài)學(xué)方法在圖像處理領(lǐng)域有著重要應(yīng)用。BW2=bwmorph(BW1,OPERATION)表示對(duì)二值圖像BW1作用上某一個(gè)形態(tài)學(xué)運(yùn)算。BW2=BWMORPH(BW1,OPERATION,N)表示對(duì)二值圖像BW1作用上某一個(gè)形態(tài)學(xué)運(yùn)算N次。若N為inf，表示重復(fù)該運(yùn)算直到圖像不再變化為止。OPERAT