《模式識別與智能信息處理實踐》實驗報告.doc

1、.模式識別與智能信息處理實踐實驗報告書專業(yè)： 學(xué)號： 姓名： 計算機(jī)科學(xué)與工程學(xué)院2011.6.20實驗一 聚類分析一、實驗?zāi)康耐ㄟ^聚類分析實驗，加深對聚類分析基本思想、方法的理解和掌握。二、實驗內(nèi)容了解動態(tài)、靜態(tài)聚類算法的特點；熟練掌握k-均值算法或?qū)哟尉垲愃惴ǎ痪帉懩軐嶋H模式樣本正確分類的算法程序。掌握動態(tài)聚類算法的基本思想；認(rèn)識類別數(shù)、初始類心的選擇對k-均值算法聚類結(jié)果的影響；編寫能對實際模式樣本正確分類的k-均值算法程序。三、方法手段設(shè)類別數(shù)為k，選取k個初始聚類中心，按最小距離原則將各模式分配到k類中的某一類，不斷地計算類心和調(diào)整各模式的類別使每個模式特征矢量到其所屬類別中心的距

2、離平方之和最小 。四、k-均值算法（1）從D中隨機(jī)取k個元素，作為k個簇的各自的中心。（2）分別計算剩下的元素到k個簇中心的相異度，將這些元素分別劃歸到相異度最低的簇。（3）根據(jù)聚類結(jié)果，重新計算k個簇各自的中心，計算方法是取簇中所有元素各自維度的算術(shù)平均數(shù)。（4）將D中全部元素按照新的中心重新聚類。（5）重復(fù)第4步，直到聚類結(jié)果不再變化。五、k-均值程序運行結(jié)果（1）改變初始類心，觀察對聚類結(jié)果的影響若選初始類心是1 2 3時的結(jié)果為其分為1類共39個，分為2類共61個，分為3類共50個，其中被分為第1類的樣本為51 53 78 101 103 104 105 106 108 109 110

3、 111 112 113 116 117 118 119 121 123 125 126 129 130 131 132 133 135 136 137 138 140 141 142 144 145 146 148 149，被分為第2類的樣本為52 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 102 107 114 115 120 122 124 127 128

4、 134 139 143 147 150，被分為第3類的樣本為1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50。若選初始類心是2 4 5時其聚類結(jié)果為其分為1類共96個，分為2類共22個，分為3類共個32，其中被分為第1類的樣本為51 52 53 54 55 56 57 59 60 62 63 64 65 66 67 68 69 70 71 72 73 74 75

5、76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 95 96 97 98 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150，被分為第2類的樣本為 2 3 4 7 9 10 13 14

6、25 26 30 31 35 39 42 43 46 48 58 61 94 99，被分為第3類的樣本為1 5 6 8 11 12 15 16 17 18 19 20 21 22 23 24 27 28 29 32 33 34 36 37 38 40 41 44 45 47 49 50。可見，初始類心的選擇對于K均值算法的影響較大。（2）改變類別數(shù)k，比較其對類內(nèi)距離平方和的大小的影響若k=3且選初始類心是1 2 3時，其最終各類中心的距離為1.1657 0.8230 4.0783，若k=4且選初始類心是1 2 3 4時，其最終各類中心的距離為1.3049 0.4917 4.0783 1.39

7、28，可見，改變類別數(shù)k，其對類內(nèi)距離平方和的大小有直接的影響，且k越大, 其類內(nèi)距離平方和距離越小。六、實驗總結(jié)影響k-均值算法結(jié)果的因素有:初始類心的選擇以及k值的選擇，且k-均值算法適用于k值已知的情況，即類別號已知的情況。七、Kmeans程序function y=my_Kmeans(k,mid)k=3;%類數(shù)mid=1 2 3; %隨便給三個聚類中心%從文本文件讀入數(shù)據(jù)放入X中X=load('iris.txt','height','weight');num=size(X,1);%獲得X維數(shù)大小for i=1:k Z(i,:)=X(mid(

8、i),:);%獲取k個聚類中心的初始坐標(biāo) end%計算新的聚類中心，K-均值算法的核心部分temp=;while(isequal(Z,temp) %聚類中心是否變化,若不變化則停止循環(huán) temp=Z; class=cell(k,1);%初始化類樣本class value=cell(k,1);%初始化類樣本的坐標(biāo)value for j=1:num for t=1:k D(t)=dist(X(j,:),Z(t,:)');%計算每個樣本到類中心的距離 minu,index=min(D);%求出離聚類中心最小的一個樣本 end classindex=cat(1,classindex,j);%將

9、該樣本歸于一類 valueindex=cat(1,valueindex,X(j,:);%存放該類樣本的坐標(biāo) end for i=1:k Z(i,:)=mean(valuei);%計算k類樣本的均值，更新聚類中心 endendcelldisp(class);%顯示Kmeans聚類結(jié)果D %顯示最終類間距離實驗二 判別域代數(shù)界面方程法一、實驗?zāi)康耐ㄟ^實驗加深對判別域代數(shù)界面方程法基本思想、方法的認(rèn)識，了解線性判別函數(shù)的分類能力，熟練掌握感知器算法，或H-K算法，或累積勢函數(shù)分類法，以及它們各自的適用條件，加深對有監(jiān)督訓(xùn)練、線性可分、解空間、權(quán)空間等概念的理解，編寫能對實際模式樣本正確分類的算法程序

10、。二、實驗內(nèi)容編寫能對實際模式樣本正確分類的感知器算法，或H-K算法，或累積勢函數(shù)分類法的算法程序，能對實際模式樣本進(jìn)行正確分類。三、方法手段：設(shè)已知類別模式特征矢量集為x1,x2,xN，類別數(shù)為c。感知器算法是基于一次準(zhǔn)則函數(shù)的梯度下降法。從任意初始解矢量w0出發(fā)，利用產(chǎn)生錯分的樣本對解矢量進(jìn)行迭代校正：wk=wk-1+rxi，i=1,2,c，k=0,1,2，r=常數(shù)，從而解得線性判決函數(shù)d(x)=wx的解矢量w.四、感知器算法1、算法思想任選一初始增廣權(quán)矢量用訓(xùn)練樣本檢驗用分類正確否對進(jìn)行校正對所有訓(xùn)練樣本都能正確分類？ENDYesYesNoNo校正方法實際上是最優(yōu)化技術(shù)中的負(fù)梯度下降法。

11、該算法也是人工神經(jīng)網(wǎng)絡(luò)理論中的線性閾值神經(jīng)元的學(xué)習(xí)算法。2、算法原理步驟設(shè)給定一個增廣的訓(xùn)練模式集，其中每個模式類別已知，它們分屬類和類。 置步數(shù)，令增量某正的常數(shù)，分別賦給增廣權(quán)矢量初值的各分量較小的任意值。 輸入訓(xùn)練模式。 計算判別函數(shù)值。 調(diào)整增廣權(quán)矢量，規(guī)則是 如果和，則；(偏小，故加) 如果和，則；(偏大，故減) 如果和，或和，則。（分類正確，不校正） 令。如果，返至。如果，檢驗判別函數(shù)對是否都能正確分類。若是，結(jié)束；若不是，令，返至。如果訓(xùn)練模式已經(jīng)符號規(guī)范化，即已乘以1（包括增廣分量1），則校正權(quán)矢量的規(guī)則可統(tǒng)一為 在用全部模式訓(xùn)練完一輪后只要還有模式被判錯，則需要進(jìn)行第二輪迭代

12、，用全部訓(xùn)練模式再訓(xùn)練一次，建立新的權(quán)矢量。如果對訓(xùn)練模式還有錯分的，則進(jìn)行第三輪迭代，余類推，直至對所有訓(xùn)練模式均能正確分類為止，此時的即為所求的權(quán)矢量。五、感知器算法實驗結(jié)果（1）改變權(quán)矢量初值，觀察對算法的影響已知w1:X1=(0 0),X2=(1 0),X3=(1 1),X4=(1 2)；w2:X5=(1 3),X6=(2 3),X7=(3 2),X8=(3 3)，若步長因子r=1不變，權(quán)初始值取w=0 0 0,則需迭代eth0=15步，若權(quán)初始值取w=1 1 1，則需迭代eth0=18步，可見，權(quán)初始值選取的不同，將直接導(dǎo)致算法的收斂速度不同。（2）改變步長因子r，觀察對算法的影響若

13、權(quán)初始值取w=0 0 0不變，取步長因子r=1，則需迭代eth0=15步，若取步長因子r=0.1，則需迭代eth0=16步，可見，步長因子r選取的不同，也將直接導(dǎo)致算法的收斂速度不同。（3）算法的適用性若已知w1:X1=(1 3),X2=(2 3),X3=(1 1),X4=(1 2)；w2:X5=(0 0),X6=(1 0),X7=(3 2),X8=(3 3)，則導(dǎo)致該程序死循環(huán)，可見，感知器算法只適用兩類樣本線性可分的條件下（圖1），若希望在兩類樣本線性不可分的條件下，構(gòu)造一判決平面，則可考慮使用勢函數(shù)。圖1 感知器算法分類結(jié)果圖2 線性不可分的情況六、實驗程序function y=my_p

14、reception(W1,W2)%感知器算法，對兩類問題生成線性判別函數(shù)%注意：前提是兩類可線性判別，否則將死循環(huán)%W1=0 0;1 0;1 1;1 2;%w1類中的樣本W(wǎng)2=1 3;2 3;3 2;3 3;%w2類中的樣本%初始化w=0 0 0; %任取w初值c=1; %任取校正增量系數(shù)c=1；%感知器算法部分%增廣樣本w1和w2乘(-1)m,n=size(W1);for i=1:m W1(:,n+1)=1;%w1增廣endm,n=size(W2);for i=1:m W2(:,n+1)=1;%w2增廣endW2=-W2;%取反%將增廣向量轉(zhuǎn)換成元組，便于處理M=ones(1,m);w1=m

15、at2cell(W1,M,n+1);w2=mat2cell(W2,M,n+1);X=cat(1,w1,w2);%合并兩類增廣樣本%eth0=0; %迭代次數(shù)%感知器算法核心部分m,n=size(X);temp1=;temp2=1;%隨意兩個賦不等的值while(isequal(temp1,temp2) %判斷權(quán)值是否變換化，若不變化，則終止循環(huán) eth0=eth0+1; temp2=temp1; clear temp1;%不清除此變量不行?。?for i=1:m temp1i,1=w; if(w*Xi'<=0) %w乘Xi的轉(zhuǎn)置 w=w+c*Xi; %若小于0更新權(quán)值 end e

16、ndend %w %顯示線性分類器權(quán)值eth0 %顯示迭代次數(shù)2實驗三 Bayes分類器設(shè)計一、實驗?zāi)康耐ㄟ^實驗，加深對統(tǒng)計判決與概率密度估計基本思想、方法的認(rèn)識，了解影響B(tài)ayes分類器性能的因素，掌握基于Bayes決策理論的隨機(jī)模式分類的原理和方法。二、實驗內(nèi)容設(shè)計Bayes決策理論的隨機(jī)模式分類器。三、方法手段Bayes分類器的基本思想是依據(jù)類的概率、概密，按照某種準(zhǔn)則使分類結(jié)果從統(tǒng)計上講是最佳的。換言之，根據(jù)類的概率、概密將模式空間劃分成若干個子空間，在此基礎(chǔ)上形成模式分類的判決規(guī)則。準(zhǔn)則函數(shù)不同，所導(dǎo)出的判決規(guī)則就不同，分類結(jié)果也不同。使用哪種準(zhǔn)則或方法應(yīng)根據(jù)具體問題來確定。四、Ba

17、yes算法1.實驗原理多元正太分布的概率密度函數(shù)由下式定義由最小錯誤概率判決規(guī)則，可得采用如下的函數(shù)作為判別函數(shù)這里，為類別發(fā)生的先驗概率，為類別的類條件概率密度函數(shù)，而N為類別數(shù)。設(shè)類別，i=1,2,N的類條件概率密度函數(shù)，i=1,2,N服從正態(tài)分布，即有，那么上式就可以寫為由于對數(shù)函數(shù)為單調(diào)變化的函數(shù)，用上式右端取對數(shù)后得到的新的判別函數(shù)替代原來的判別函數(shù)不會改變相應(yīng)分類器的性能。因此，可取顯然，上式中的第二項與樣本所屬類別無關(guān)，將其從判別函數(shù)中消去，不會改變分類結(jié)果。這樣，判別函數(shù)可簡化為以下形式2.實驗步驟1、求出兩類樣本的均值2、求每一類樣本的協(xié)方差矩陣式中，l代表樣本在類中的序號，

18、其中代表類的第l個樣本，第j個特征值；代表類的個樣品第j個特征的平均值代表類的第l個樣品，第k個特征值；代表類的個樣品第k個特征的平均值。類的協(xié)方差矩陣為3、計算出每一類的協(xié)方差矩陣的逆矩陣以及協(xié)方差矩陣的行列式4、求出每一類的先驗概率5、將各個數(shù)值代入判別函數(shù)判別邊界為 五、Bayes分類器實驗結(jié)果已知（圖1）數(shù)據(jù)a=0.3760 0.0240 0.2440 -0.1740 0.0460 -0.3940 0.3760 0.7720 0.2660 0.5080 -0.4380 -0.0640 0.8160 0.5960 0.1120 0.3540 0.8380 -0.7680 0.4200 -

19、0.7900；其滿足正態(tài)分布（圖2），1. 最小錯誤率貝葉斯決策圖1 樣本數(shù)據(jù)圖2 樣本的類條件概率根據(jù)最小錯誤率準(zhǔn)側(cè)，計算其后驗條件概率（圖3），通過程序運行出結(jié)果細(xì)胞分類結(jié)果為：1 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 1 1 0，其中，0為判成正常細(xì)胞，1為判成異常細(xì)胞。圖3 后驗條件概率2. 最小風(fēng)險貝葉斯決策根據(jù)最小風(fēng)險判別準(zhǔn)側(cè)，其損失函數(shù)賦值為r=0 1000 0;200 0 0,則計算其條件風(fēng)險概率（圖4）通過程序運行出結(jié)果細(xì)胞分類結(jié)果為：1 1 1 1 1 1 1 0 1 1 1 1 0 1 1 1 0 1 1 1，其中，0為判成正常細(xì)胞，1為判成異常

20、細(xì)胞。圖4 條件風(fēng)險概率3.兩類分類器結(jié)果不同原因分析由最小錯誤率的貝葉斯判決和基于最小風(fēng)險的貝葉斯判決得出圖形中的分類結(jié)果可以看出，樣本0.0240，0.2440等在前者中被分為“正常細(xì)胞”，在后者被分為“異常細(xì)胞”，分類結(jié)果不同。因為在給予最小風(fēng)險貝葉斯判決中，影響決策結(jié)果的因素多了損失r這一項，所以當(dāng)結(jié)合最小風(fēng)險貝葉斯決策表進(jìn)行計算時，損失起了主導(dǎo)作用，導(dǎo)致出現(xiàn)兩者結(jié)果的不一致。六、Bayes分類器程序代碼*;function y=my_bayes(n,a)%最小錯誤率貝葉斯決策% 構(gòu)造實驗數(shù)據(jù)n=20; % 樣本數(shù)a=(round(100*rand(n,1)/100)*2.2-0.9;

21、% 樣本數(shù)為n,特征數(shù)為1，數(shù)據(jù)在-0.9與1.3之間figureplot(1:n,a,'rx')xlabel('樣本數(shù)');ylabel('生化化驗值');title('樣本數(shù)據(jù)：生化化驗值');pause;% 先驗概率P=0.9 0.1;% 作類條件概率密度曲線p(x|wi)x=-0.9:0.01:1.3;px(1,:)=(1/(sqrt(2*pi)*0.3)*exp(-0.5*(x/0.3).2);px(2,:)=(1/(sqrt(2*pi)*0.1)*exp(-0.5*(x-1)/0.1).2);figure;plot(x

22、,px(1,:),'b',x,px(2,:),'r-');xlabel('生化化驗值');ylabel('概率密度');title('類條件概率密度曲線')axis tight;pause;% 作后驗概率曲線for i=1:2 pwx(i,:)=px(i,:)*P(i)./(px(1,:)*P(1)+px(2,:)*P(2);endfigure;plot(x,pwx(1,:),'b',x,pwx(2,:),'r-');xlabel('生化化驗值');ylabel(&#

23、39;后驗概率');title('后驗概率曲線')axis tight;pause;% 計算給定生化化驗值的類條件概率密度曲線for j=1:n s=a(j); PXW1=spline(x,px(1,:),s); PXW2=spline(x,px(2,:),s); PXW=PXW1,PXW2; disp('樣本') s %計算后驗概率,判斷輸出 for i=1:2 Pwx(i)=PXW(i)*P(i)/(PXW(1)*P(1)+PXW(2)*P(2); end disp('后驗概率 P(wi|x)=') Pwx plot(x,pwx(1,

24、:),'b',x,pwx(2,:),'r-'); xlabel('生化化驗值'); ylabel('后驗概率'); title('后驗概率曲線') hold on plot(s,Pwx(1),'or',s,Pwx(2),'ob'); axis tight; hold off if Pwx(1)>Pwx(2) w(j,1)=s; disp('正常人') else w(j,2)=s; disp('感染病人') end pause;enddisp(&#

25、39;=')disp('正常人 感染病人')w%最小風(fēng)險貝葉斯n=20; % 樣本數(shù)figureplot(1:n,a,'rx')xlabel('樣本數(shù)');ylabel('生化化驗值');title('樣本數(shù)據(jù)：生化化驗值');pause;% 先驗概率P=0.9 0.1;% 作類條件概率密度曲線p(x|wi)x=-0.9:0.01:1.3;px(1,:)=(1/(sqrt(2*pi)*0.3)*exp(-0.5*(x/0.3).2);px(2,:)=(1/(sqrt(2*pi)*0.1)*exp(-0.5*

26、(x-1)/0.1).2);figure;plot(x,px(1,:),'b',x,px(2,:),'r-');xlabel('生化化驗值');ylabel('概率密度');title('類條件概率密度曲線')axis tight;pause;% 作后驗概率曲線for i=1:2 pwx(i,:)=px(i,:)*P(i)./(px(1,:)*P(1)+px(2,:)*P(2);endfigure;plot(x,pwx(1,:),'b',x,pwx(2,:),'r-');xlabel

27、('生化化驗值');ylabel('后驗概率');title('后驗概率曲線')axis tight;pause;% 損失函數(shù)r=0 1000 0;200 0 0;%作條件風(fēng)險曲線for i=1:2 R(i,:)=r(i,1)*pwx(1,:)+r(i,2)*pwx(2,:);endfigure;plot(x,R(1,:),'b',x,R(2,:),'r-');xlabel('生化化驗值');ylabel('條件風(fēng)險');title('條件風(fēng)險曲線')axis tig

28、ht;pause;% 計算給定生化化驗值的條件風(fēng)險for j=1:n s=a(j); PXW1=spline(x,px(1,:),s); PXW2=spline(x,px(2,:),s); PXW=PXW1,PXW2; disp('樣本') s %計算后驗概率 for i=1:2 Pwx(i)=PXW(i)*P(i)/(PXW(1)*P(1)+PXW(2)*P(2); end %計算條件風(fēng)險,判斷輸出 for i=1:2 Rx(i,:)=r(i,1)*Pwx(1)+r(i,2)*Pwx(2);% end disp('條件風(fēng)險 R(ai|x)=') Rx plot

29、(x,R(1,:),'b',x,R(2,:),'r-'); xlabel('生化化驗值'); ylabel('條件風(fēng)險'); title('條件風(fēng)險曲線') hold on plot(s,Rx(1),'or',s,Rx(2),'ob'); axis tight; hold off if Rx(1)>Rx(2) w(j,1)=s; disp('正常人') else w(j,2)=s; disp('感染病人') end pause;enddisp(&

30、#39;=')disp('正常人 感染病人')w實驗四 特征提取與選擇一、實驗?zāi)康耐ㄟ^實驗加深對特征提取與選擇原理、方法的認(rèn)識，編寫基于離散K-L變換的特征提取程序，或分支定界特征挑選算法程序，掌握離散K-L變換原理、特點。編寫基于離散K-L變換的特征提取程序。二、實驗內(nèi)容 編寫基于離散K-L變換的特征提取程序，主要使用主成分分析法（PCA）進(jìn)行圖像識別。三、方法手段：設(shè)n維特征矢量x=(x1,x2,xn)，其均值矢量m=Ex，協(xié)方差矩陣C=E(x-m)(x-m)，設(shè)l1³l2³³ln是C的本征值， ti是li對應(yīng)的本征矢量，i=1,2,n

31、. x經(jīng)標(biāo)準(zhǔn)正交矩陣T=(t1,t2,tn)正交變換后成為矢量y=(y1,y2,yn)，即，y = Tx。這種正交變換稱為離散K-L變換（間記為DKLT）。DKLT的性質(zhì)：（1）變換后y各分量正交或不相關(guān)；（2）變換后y各分量的方差更趨于不均勻，可分性強于x；（3）最佳逼近性，即，若用y的前d<n個分量近似x，誤差最小。當(dāng)n較大時，由DKLT的性質(zhì)（2），可以用y的前d<n個分量作為特征。四、K-L算法原理特征臉方法是基于K-L變換的人臉識別方法，K-L變換是圖像壓縮的一種最優(yōu)正交變換。高維的圖像空間經(jīng)過K-L變換后得到一組新的正交基，保留其中重要的正交基，由這些基可以張成低維線性

32、空間。如果假設(shè)人臉在這些低維線性空間的投影具有可分性，就可以將這些投影用作識別的特征矢量，這就是特征臉方法用于人臉識別的基本思想。在人臉識別中，可以用離散K-L變換對人臉圖像的原始空間進(jìn)行轉(zhuǎn)換，即構(gòu)造人臉圖像數(shù)據(jù)集的協(xié)方差矩陣，對之進(jìn)行正交變換，求出協(xié)方差矩陣的特征向量，再依據(jù)特征值的大小對這些特征向量進(jìn)行排序，每一個向量表示人臉圖像中一個不同數(shù)量的變量，這些特征向量表示特征的一個集合，它們共同表示一個人臉圖像。在人臉識別領(lǐng)域，人們常稱這些特征向量為特征臉。每一個體人臉圖像都可以確切地表示為一組特征臉的線性組合。這樣我們首先通過有指導(dǎo)的訓(xùn)練（給定訓(xùn)練樣本集已知分類）得到樣本集在特征臉空間中的坐

33、標(biāo)。訓(xùn)練完成后，輸入待辨識圖像，求得在特征臉空間的坐標(biāo)，采用最近鄰法，就可以實現(xiàn)人臉識別。一般說K-L變換是均方差意義下的最佳變換，理論推導(dǎo)如下。假設(shè)任何信號X都可以被表示為：，其中 (1.1)K-L變換是一種正交變換，即將一個向量X，在某一種坐標(biāo)系統(tǒng)中得描述，轉(zhuǎn)換成用另一種基向量組成的坐標(biāo)系表示。這組基向量是正交的，其中每個坐標(biāo)基向量用ui表示，ci為其分量數(shù)值，變換的目的是如何將(1.1)表示的無限多維基向量系統(tǒng)改成有限d維坐標(biāo)系近似。如X的近似值或者估計量表示為： (1.2)要使向量X的估計量誤差小，即使引起的均方誤差 (1.3)為最小，而K-L變換就實現(xiàn)了這個目的，下面詳細(xì)證明。求某一

34、個數(shù)據(jù)X的相應(yīng)的ci值，可以通過X與對應(yīng)某個基ui的點積來計算。由于不同的基之間是相互正交的，這個點積值就是ci的值，即，如果我們要求一組系數(shù)ci,并將其表示成一個向量形式,則我們可以得： (1.4)則U就是一個變換矩陣，其中每一行是某一個正交基向量的轉(zhuǎn)置，由X計算C稱為對X的分解。反過來，如果我們希望用C重構(gòu)信號X，則根據(jù)(1.2)，它是各個成分之和。如果我們將重構(gòu)信號表示為，則 (1.5)我們稱為殘差，帶進(jìn)(1.3)中我們可以得到：另外：，故：欲使該均方誤差為最小，就變成在保證正交變換的條件下，使最小的問題，設(shè)一函數(shù)： ，并對其進(jìn)行求導(dǎo)可得： (1.6)可見向量ui應(yīng)是矩陣的特征值的特征向

35、量，而此時截斷誤差為，如將按其大小順序排列，即，則取前d項特征值對應(yīng)的特征向量組成的坐標(biāo)系，可使向量的均方誤差為最小。滿足上述條件的變換就是K-L變換。五，K-L變換人臉識別實驗結(jié)果分析1.數(shù)據(jù)準(zhǔn)備本實驗數(shù)據(jù)是ORL標(biāo)準(zhǔn)人臉數(shù)據(jù)庫數(shù)據(jù)1）給定樣本集，在這里樣本集的大小為400，一共是40人，每人10張圖片。我選取每人5張圖片一共200張作為訓(xùn)練集，訓(xùn)練集的大小是可選的，它的大小將直接影響到識別的正確率，在后面我對采用不同大小的訓(xùn)練集進(jìn)行識別的正確率進(jìn)行了統(tǒng)計。2）確定采用何種產(chǎn)生矩陣，有總體散布矩陣和類間散布矩陣，后面的例子程序中分別采用了這兩種產(chǎn)生矩陣，并進(jìn)行了識別正確率的比較。3）根據(jù)產(chǎn)生

36、矩陣計算出特征臉，這里要用到奇異值分解，其基本原理就是通過計算較低維數(shù)矩陣的特征值與特征向量而間接求出較高維數(shù)矩陣的特征向量（特征臉），從而達(dá)到簡化計算的目的。4）分別求得訓(xùn)練集中各圖像在特征臉空間中的坐標(biāo)。2.識別過程首先求得待辨識圖像相對于訓(xùn)練集平均臉的差值圖像，然后求得該圖像在特征臉空間中的坐標(biāo)，最后采用最近鄰法對圖像進(jìn)行歸類。3.實驗結(jié)果1）訓(xùn)練樣本的過程中生成的一些特征臉（圖1）。圖1 訓(xùn)練樣本的過程中生成的一些特征臉2）識別的正確率統(tǒng)計訓(xùn)練集中每個人圖片數(shù)123456789識別正確率0.8250.82140.81250.82500.84380.88330.90.950.9889表1

37、以類間散布矩陣為產(chǎn)生矩陣的K-L變換進(jìn)行人臉識別正確率訓(xùn)練集中每個人圖片數(shù)123456789識別正確率0.72190.83590.86670.90.90630.93330.96250.97501表2 以總體散布矩陣為產(chǎn)生矩陣的K-L變換進(jìn)行人臉識別正確率圖2 基于兩種產(chǎn)生矩陣的識別正確率統(tǒng)計4.實驗結(jié)論通過對分別采用類間散布矩陣和總體散布矩陣為產(chǎn)生矩陣的K-L變換進(jìn)行人臉識別的正確率的統(tǒng)計可以看出，應(yīng)用總體散布矩陣作為產(chǎn)生矩陣的K-L變換進(jìn)行人臉識別的正確率明顯要高。我想主要是因為類間散布矩陣采用每個人的平均圖像向量組成訓(xùn)練集，來生成特征臉空間，計算量較之采用總體散布矩陣作為產(chǎn)生矩陣的K-L變

38、換計算量又進(jìn)一步減少，但是它忽略了每個人的圖像的多樣性，造成識別率低。以總體散布矩陣作為產(chǎn)生矩陣的K-L變換進(jìn)行人臉識別的計算量較之采用類間散布矩陣作為產(chǎn)生矩陣的K-L變換要大一些，但是它充分考慮了每個人圖像的多樣性，使得識別率相對較高。六，實驗程序function y=mypca()%PCA算法對人臉圖像處理提取主成分程序path = 'D:PCA' % 'D:PCAORL'%讀取圖像numimage=400; %40*10=400張人臉imagepath=path 'ORLORL001' '.bmp' %第一張人臉文件的路徑及文件名：D:PCAORLORL001.bmpimmatrix=imread(imagepath); % 讀入第一張人臉文件，構(gòu)成矩陣immatrixm,n=size(immatrix); % 計算矩陣immatrix的行數(shù)m、列數(shù)nDATA = uint8 (rand(m*n, numimage); %隨機(jī)生成m*n行、numimage列的矩陣，并取uint8for i=1:numimage s1=floor(i/100); % 取整,求第3位 tem=rem(i,100); % i除以100的余數(shù)，取后兩位 s2=f