典型相關(guān)分析(CCA)附算法應(yīng)用及程序

1、典型相關(guān)分析摘要利用典型相關(guān)分析的思想,提出了解決了當(dāng)兩組特征矢量構(gòu)成的總體協(xié)方差矩陣奇異時(shí),典型投影矢量集的求解問題,使之適合于高維小樣本的情形,推廣了典型相關(guān)分析的適用范圍.首先,探討了將典型分析用于模式識別的理論構(gòu)架,給出了其合理的描述.即先抽取同一模式的兩組特征矢量,建立描述兩組特征矢量之間相關(guān)性的判據(jù)準(zhǔn)則函數(shù),然后依此準(zhǔn)則求取兩組典型投影矢量集,通過給定的特征融合策略抽取組合的典型相關(guān)特征并用于分類.最后,從理論上進(jìn)一步剖析了該方法之所以能有效地用于識別的內(nèi)在本質(zhì).該方法巧妙地將兩組特征矢量之間的相關(guān)性特征作為有效判別信息,既達(dá)到了信息融合之目的,又消除了特征之間的信息冗余,為兩組特

2、征融合用于分類識別提出了新的思路.一、典型相關(guān)分析發(fā)展的背景隨著計(jì)算機(jī)技術(shù)的發(fā)展,信息融合技術(shù)已成為一種新興的數(shù)據(jù)處理技術(shù),并已取得了可喜的進(jìn)展.信息融合的3個(gè)層次像素級、特征級、決策級。特征融合，對同一模式所抽取的不同特征矢量總是反映模式的不同特征的有效鑒別信息，抽取同一模式的兩組特征矢量，這在一定程度上消除了由于主客觀因素帶來的冗余信息，對分類識別無疑具有重要的意義典型相關(guān)分析(CanoniealComponentAnalysis:CCA)是一種處理兩組隨機(jī)變量之間相互關(guān)系的統(tǒng)計(jì)方法。它的意義在于:用典型相關(guān)變量之間的關(guān)系來刻畫原來兩組變量之間的關(guān)系!實(shí)現(xiàn)數(shù)據(jù)的融合和降維!降低計(jì)算復(fù)雜程度

3、。二、典型相關(guān)分析的基本思像CCA勺目的是尋找兩組投影方向，使兩個(gè)隨機(jī)向量投影后的相關(guān)T性達(dá)到最大。具體講,設(shè)有兩組零均值隨機(jī)變量xc1，c2，.cp和yd1，d2，.dqTTccAtr先要找到一又t投影方向i和使得投影1yT和U1lx之間具有最大的相關(guān)性，u1和v1為第一對典型變量；同理，尋找第二對投影方向2和2,得到第二對典型變量U2和v2,使其與第一對典型變量不相關(guān)，且U2和v2之間又具有最大相關(guān)性。這樣下去，直到x與y的典型變量提取完畢為止。從而x與y之間的相關(guān)性分析，只需通過分析少數(shù)幾對典型變量的關(guān)系即可達(dá)到目的。三、CCA!法詳解By=by+bryi+（2）+br（2）E 31El

4、燈T理JarExrTfa-rExj;TPr5vxa'考慮到：的極值只與和的方向有關(guān)，而與它們的大小無關(guān)，為了得到唯一解不失一般性，加入限制條件：TSxxTSyy1問題變?yōu)樵诩s束條件式下，求使準(zhǔn)則函數(shù)式取最大值的典型投影矢量對和求解上述優(yōu)化問題，可定義拉格朗日函數(shù)：上=記為0-3(屋5/-1)?隼禺|3-1)|(5)M1分別對和求導(dǎo)數(shù)，并令為零，得到：=p-入1&工口=0,條=SmQ一p0.%P=%S”a3盧aSB-3_(一。aSvpR=X1aSxyQ=11.PTiSy.v3=入3口T£3=入2,再對上式兩端分別左乘和T得T12記為:Xi=*=(Q%B)T=RSna=X

5、2f(6)(8)(10)(11)(12)對H進(jìn)行奇異值分解:分別將Tx,Tx=宜入"/：I-HviTUi2Ui2viTx與Tx,Tx,Tx看做是變換后的特(13)征分量:X = ( oJk .0% )T = (%, 5 ，0cd)'犬=K* = (Pij?r Pa. 8加/=(3" 再, Bn=倒y.投影后的組合特征用于分類，其中變換矩陣為:w=(14)(15)(16)(17)。Wy四、典型相關(guān)分析應(yīng)用實(shí)例欲研究兒童形態(tài)與肺通氣功能的關(guān)系，測得某小學(xué)40名812歲健康兒童（身高X1,體重X2,胸圍X3）與肺通氣功能（肺活量Y1,靜息通氣Y2和每分鐘最大通氣量Y3）,

6、分析兒童形態(tài)和肺通氣指標(biāo)的相關(guān)性，確定典型變量的對數(shù)。x1=140.6,135.7,140.2,152.1,132.2,147.1,147.5,130.6,154.9,142.4,136.5,162,148.9,136.3,159.5,165.9,134.5,152.5,138.2,144.2;x2=43.7,39.5,48,52,36,45,47,38,48,42,38,58,42,33,49,55,41,53,35.5,42;x3=77,63,75,88,62,78,76,61,87,74,69,95,80,68,87,93,61,83,66,76;y1=2.6,2,2.6,2.8,2.1

7、,2.8,3.1,2,2.9,2.33,1.98,3.29,2.7,2.4,2.98,3.1,2.25,2.96,2.13,2.52;y2=7,7,6.1,10.1,7.4,9.25,8.78,5.31,10.6,11.1,7.77,3.35,10.1,7.8,11.77,13.14,8.75,6.6,6.62,5.59;y3=108,91,101,112,97,92,95,77,80,76,49,58,82,76,88,110,75,71,105,82;1）仿真結(jié)果分析結(jié)：Matlab2014，程序見附錄）R1=0.9282R2=0.5302R3=0.0081R1=0.9282R2=0.53

8、02R3=0.0081(2)結(jié)果分析：三幅分別對應(yīng)不同特征值所對應(yīng)的兒童形態(tài)與肺通氣功能的關(guān)系，顯然，第一幅圖的線性關(guān)系最好，即兒童形態(tài)與肺通氣功能的相關(guān)性最大，變化趨勢一致，進(jìn)行特征融合以達(dá)到降維的目的。六、心得體會通過本次大作業(yè)，對小樣的典型相關(guān)分析查閱了很多文獻(xiàn)，對文獻(xiàn)的閱讀的辨別能力有了很大提升，抓住文獻(xiàn)中的重點(diǎn)要點(diǎn)，進(jìn)行深一步的理解；其次在程序的編寫中，CCA勺編寫從原理到算法解析再到算法的邏輯結(jié)構(gòu)，一步步的將CCA勺思想理解透徹并體現(xiàn)在MATLAB勺程序中，在程序編寫的過程中也遇到了很多挫折和編譯失敗的困惑，但是通過網(wǎng)上查閱和向教員請教以及同學(xué)的詢問，一一得到解決，最終完成了本次大

9、作業(yè)的撰寫，其中也收獲到了很多東西，學(xué)到了很多，希望以后能扎實(shí)學(xué)習(xí)，更進(jìn)一步。附錄：clearallclcx1=140.6,135.7,140.2,152.1,132.2,147.1,147.5,130.6,154.9,142.4,136.5,162,148.9,136.3,159.5,165.9,134.5,152.5,138.2,144.2;x2=43.7,39.5,48,52,36,45,47,38,48,42,38,58,42,33,49,55,41,53,35.5,42;x3=77,63,75,88,62,78,76,61,87,74,69,95,80,68,87,93,61,83,

10、66,76;y1=2.6,2,2.6,2.8,2.1,2.8,3.1,2,2.9,2.33,1.98,3.29,2.7,2.4,2.98,3.1,2.25,2.96,2.13,2.52;y2=7,7,6.1,10.1,7.4,9.25,8.78,5.31,10.6,11.1,7.77,3.35,10.1,7.8,11.77,13.14,8.75,6.6,6.62,5.59;y3=108,91,101,112,97,92,95,77,80,76,49,58,82,76,88,110,75,71,105,82mx1=sum(x1)/20;mx2=sum(x2)/20;mx3=sum(x3)/20;

11、my1=sum(y1)/20;my2=sum(y2)/20;my3=sum(y3)/20;d=1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1;x1=x1-mx1.*d;x2=x2-mx2.*d;x3=x3-mx3.*d;y1=y1-my1.*d;y2=y2-my2.*d;y3=y3-my3.*d;%b=imread('1.jpg');%a=imread('2.jpg');%c=rgb2gray(a);%d=rgb2gray(b);%c=double(imresize(c,128,128);%d=double(imresize(d,

12、128,128);%zushu=size(X,1);A=x1',x2',x3'B=y1',y2',y3'Wx,Wy,r,n,m=CCA_algorithm(A,B);%CCA_zq.(Z,zushu,2)Z=WxY=WyU1=Wx(:,1);U2=Wx(:,2);U3=Wx(:,3);V1=Wy(:,1);V2=Wy(:,2);V3=Wy(:,3);figure(1);plot(U1,V1,'*');figure(2);plot(U2,V2,'r*');figure(3);plot(U2,V2,'gA

13、9;)%CCA函數(shù)調(diào)用：functionU,V,nmuta,nmutatwo,U_replace,V_replace=CCA_algorithm(X,Y)%計(jì)算典型相關(guān)分析的程序n=size(X,1);p=size(X,2);q=size(Y,2);X=X-repmat(mean(X,1),n,1);Y=Y-repmat(mean(Y,1),n,1);Z=XY;Covz=cov(Z);S11=Covz(1:p,1:p);S22=Covz(p+1:end,p+1:end);S12=Covz(1:p,p+1:end);%S21=Covz(p+1:end,1:p);S21=S12'k=1;I

14、p=eye(p);Iq=eye(q);ifrank(S11)=pS11=S11+k*Ip;endifrank(S22)=qS22=S22+k*Iq;end%避免出現(xiàn)復(fù)數(shù)，不使用S11A(-1/2)K=S11A(-1/2)*S12*S22A(-1/2);d=rank(K);U1,S1,V1=svd(K,0);U2=U1(:,1:d);V2=V1(:,1:d);A=S11A(-1/2)*U2;B=S22A(-1/2)*V2;%A=S11A(1/2)U2;%B=S22A(1/2)V2;U=X*A;V=Y*B;nmuta=diag(S1);nmuta=nmuta(1:d);%使用下面的效果是一樣的M1=inv(S11)*S12*inv(S22)*S21;M2=inv(S22)*S21*inv(S11)*S12;V1,D1=eig(M1);V2,D2=eig(M2);%歸一化gu1=V1'*S11*V1;gu1=1./sqrt(diag(gu1);gu1=repmat(gu1',p,1);a=V1.*gu1;gu2=V2'*S22*V2;gu2=1./sqrt(diag(gu2);gu2=repmat(gu2',q,1);b=V2.*gu2;d1=size(find(