Fisher-線性判別及感知器判別

模式識別上機實驗4：Fisher線性判別及感知器判別姓名寸正雄學號20081910073根據(jù)給出的觸角長度和翼長識別出一只標本是Af還是Apf是重要的。兩種蠓蟲，Af和Apf已由生物學家W.L.Grogna和W.W.Wirth（1981）根據(jù)它們的觸角長度和翼長加以區(qū)分，見表中數(shù)據(jù)。試分別用Fisher判別和感知準則函數(shù)求判別函數(shù)并判別出最后5個樣本的類別，并畫出20個樣本的散點圖及分類直線。2，4.最小均方誤差準則函數(shù)。序號.12345678910翼長1.201.301.181.141.261.281.361.481.401.38觸角長1.861.961.781.782.002.001.741.821.701.90類別ApfApfApfApfApfApfAfAfAfAf序號11121314151617181920翼長1.241.381.541.381.561.241.281.401.221.36觸角長1.721.641.821.822.081.801.782.041.881.78類別AfAfAfAfAf?????方法判別函數(shù)1617181920Fisher(6302644881021315*x2)/2251799813685248-(5185937669541779*x1)/1125899906842624+2027480948322517/2251799813685248ApfAfApfApfAf感知器(587*x2)/125-(5113*x1)/750-1/5AfAfAfApfAfFisher感知模式識別上機實驗4：Fisher線性判別及感知器判別姓名寸正雄學號20081910073問題分析線性判別函數(shù)在實際問題中有好多樣本無法的到準確度角高的樣本密度估計，只能采用樣本本身直接進行分類器設計。具體說就是，首先給定某個判別函數(shù)類，然后再利用樣本確定出判別函數(shù)中的未知參數(shù)。線性判別函數(shù)法是一種比較簡單的判別函數(shù)，首先假定判別函數(shù)是的線性函數(shù)，即（1.1）對于類問題，可以定義個判別函數(shù)，，(1.2)然后再采用樣本的到判別函數(shù)中的位置參數(shù)和。Fisher線性判別Fisher線性判別法，就是把樣本投影到某個方向上，在該方向上可以簡單的得到分類結(jié)果。如一個二維的兩類樣本可以投影到一條直線上，在這直線上課一找到一個點就可以將兩類分開。那么要利用Fisher方法，應該怎樣做呢？第一就是要找到可以將兩類樣本分開的投影線或向量。Fisher方法采用兩個樣本的中心的所在的方向：(2.1)讓后就是確定分開兩類的那個點，F(xiàn)isher有如下三種方法：（其中，為樣本在上的攝影）(2.2)分好也后就是，利用原樣本把要決策的樣本投影到直線上與比較，F(xiàn)isher中就采用下方法：(2.3)其中為樣本的散度矩陣(2.4)樣本的投影：(2.5)確定決策規(guī)則：(2.6)其決策面為：(2.7)感知準則函數(shù)與Fisher相反，F(xiàn)isher是降低維數(shù)，感知算法則是增加維數(shù)，要利用感知算法首先要把樣本規(guī)范化，最常用的規(guī)范化就是吧類別以的方式加入到原樣本中。當樣本為兩類是，其規(guī)范化如下：(2.8)規(guī)范化后就是利用規(guī)范化后的樣本來找到一個決策函數(shù)，用于未知分類的樣本決策。感知算法采用梯度算法：(2.9)如此找到一個使得所有的都滿足，找到后可得到?jīng)Q策函數(shù)(2.10)課得到?jīng)Q策規(guī)則如下：(2.11)問題求解題意分析該題中樣本數(shù)較少，而且是線性可分的，樣本中只有兩個屬性值。Fisher線性判別用Fisher算法計算，先把樣本分成第一類第二類待分類，利用(2.1)式計算的均值和，在利用(2.3)、(2.4)式子計算、和，并計算就可以得到?jīng)Q策規(guī)則和決策函數(shù)。帶入數(shù)據(jù)可得到下結(jié)果：P=12112F=(6302644881021315*x2)/2251799813685248-(5185937669541779*x1)/1125899906842624+2027480948322517/2251799813685248圖如下：圖3.1感知準則函數(shù)先將樣本規(guī)范化，在利用(2.9)式計算得到，在利用(2.10)、(2.11)式可得到?jīng)Q策規(guī)則和決策面，帶入數(shù)據(jù)計算結(jié)果入下：P=-1-1-11-1F=(587*x2)/125-(5113*x1)/750-1/5程序代碼樣本yangben.mX1=[1.201.86；1.301.96；1.181.78；1.141.78；1.262.00；1.282.00];X2=[1.361.74；1.481.82；1.401.70；1.381.90；1.241.72；1.381.64；1.541.821.381.82；1.562.08];Y=[1.241.80；1.281.78；1.402.04；1.221.88；1.361.78];Fisher線性判別Fisher.mfunction[Pf]=Fisher(X1,X2,Y)m1=mean(X1);m2=mean(X2);s1=zeros(2,2);fori=1:6s1=s1+(X1(i,:)-m1)'*(X1(i,:)-m1);ends2=zeros(2,2);fori=1:9s2=s2+(X2(i,:)-m2)'*(X2(i,:)-m2);endsw=s1+s2;W=(m1-m2)*inv(sw);M1=m1*W';M2=m2*W';y0=((M1+M2)/2);fori=1:5y=Y(i,:)*W';ify>=y0P(i)=1;elseP(i)=2;endendplot(X1(:,1)',X1(:,2)','o');holdon;plot(X2(:,1)',X2(:,2)','*')symsx1x2f=W*[x1;x2]-y0;ezplot(y0);holdoff;標準化BiaoZhunHua.mfunctionBZY=BiaoZhunHua(X1,X2)N1=size(X1,1);N2=size(X2,1);X1=[ones(N1,1),X1];X2=-[ones(N2,1),X2];BZY=[X1;X2];感知算法GanZhi.mfunction[Pf]=GanZhi(X1,X2,Y)BZY=BiaoZhunHua(X1,X2);N=size(BZY,1);t=0;k=1;a=mean(BZY);whilet==0fori=1:Nifa*BZY(i,:)'<=0a=a+BZY(i,:);t=0;break;elset=1;endendk=k+1;ifk==N*Ndisp('2??éó???·?·¨?ó');break;endendsymsx1x2f=a*[1;x1;x2];fori=1:5x1=