FISHER線性判別MATLAB實現(xiàn)

1、Fisher線性判別上機(jī)實驗報告班級:學(xué)號:姓名:Fisher線性判別分析的基本思想：選擇一個投影方向(線性變換，線性組合) 將高維問題降低到一維問題來解決，同時變換后的一維數(shù)據(jù)滿足每一類內(nèi)部的樣本W(wǎng)和閾值盡可能聚集在一起，不同類的樣本相隔盡可能地遠(yuǎn)。Fisher線性判別分析，就是通過給定的訓(xùn)練數(shù)據(jù)，確定投影方向W0，即確定線性判別函數(shù)，然后根據(jù)這個線性判別函數(shù)，對測試數(shù)據(jù)進(jìn)行測試,得到測試數(shù)據(jù)的類別。線性判別函數(shù)的一般形式可表示成g (X) WTX Wo其中XiXXdw1w2WdFisher選擇投影方向W的原則,即使原樣本向量在該方向上的投影能兼顧類間分布盡可能分開，類內(nèi)樣本投影盡可能密集的

2、要求。如下為具體步驟:(1)W的確定各類樣本均值向量mi1 mi X, i 1,2NixXi樣本類內(nèi)離散度矩陣Si和總類內(nèi)離散度矩陣 SwS (X mi)(x mi)T, i 1,2x XiSWSiS2樣本類間離散度矩陣SbSb (m m2)(m m2)T在投影后的一維空間中，各類樣本均值mi'= W Tmi樣本類內(nèi)離散度和總類內(nèi)離散度 S' = WTSi W Sv' = WTSwW 樣本類間離散度Sb' = WSbWFisher準(zhǔn)則函數(shù)為maxjF(W)夢(2)閾值的確定Wo是個常數(shù)，稱為閾值權(quán)，對于兩類問題的線性分類器可以采用下屬決策規(guī)則g(x)g1(x)

3、g2(x)令則:如果g(x)>0,則決策x w ;如果g(x)<0,則決策x W2;如果g(x)=0,則可將x任意分到某一類，或拒絕。(3)Fisher線性判別的決策規(guī)則Fisher準(zhǔn)則函數(shù)滿足兩個性質(zhì):1.投影后，各類樣本內(nèi)部盡可能密集，即總類內(nèi)離散度越小越好。2.投影后，各類樣本盡可能離得遠(yuǎn)，即樣本類間離散度越大越好。根據(jù)這個性質(zhì)確定準(zhǔn)則函數(shù)，根據(jù)使準(zhǔn)則函數(shù)取得最大值，可求出W : W = S- (rn - %)。這就是Fisher判別準(zhǔn)則下的最優(yōu)投影方向。最后得到?jīng)Q策規(guī)則g(x) wTe)大于或小于logP5x W1，則 lW2對于某一個未知類別的樣本向量 x，如果y=W T

4、x>y0，則x w1 ;否則x w2。l.iris數(shù)據(jù)IRIS數(shù)據(jù)集以鳶尾花的特征作為數(shù)據(jù)來源，數(shù)據(jù)集包含150個數(shù)據(jù)集，有4維，分為3類，每類50個數(shù)據(jù)，每個數(shù)據(jù)包含 4個屬性，是在數(shù)據(jù)挖掘、數(shù)據(jù)分類中非常常用的測試集、訓(xùn)練集。2.sonar 數(shù)據(jù)Sonar數(shù)據(jù)集包含208個數(shù)據(jù)集，有60維，分為2類，第一類為98個數(shù)據(jù)，第二類為110個數(shù)據(jù)，每個數(shù)據(jù)包含 60個屬性，是在數(shù)據(jù)挖掘、數(shù)據(jù)分類中非常常用的測試集、訓(xùn)練集。三.實驗結(jié)果以及源代碼l.iris(1)代碼:ciccleardata=xlsread( 'Iris');lris1=data(1:50,1:4);lri

5、s2=data(51:100,1:4);Iris3=data(101:150,1:4);%類均值向量m1 = mea n( Irisi);m2 = mea n(lns2);m3 = mea n(lns3);%各類內(nèi)離散度矩陣si = zeros(4);s2 = zeros(4);s3 = zeros(4);for i=1:1:30si = s1 + (Iris1(i,:) - m1)'*(lris1(i,:) - m1);endfor i=1:1:30s2 = s2 + (Iris2(i,:) - m2)'*(lris2(i,:) - m2);endfor i=1:1:30s3

6、 = s3 + (Iris3(i,:) - m3)'*(lris3(i,:) - m3);end%總類內(nèi)離散矩陣sw12 = si + s2;sw13 = si + s3;sw23 = s2 + s3;%投影方向w12 = (sw12A-1)*(m1 - m2)')'w13 = (sw13A-1)*(m1 - m3)')'w23 = (sw23A-1)*(m2 - m3)')'%判別函數(shù)以及閾值 T （即w0 ）T12 = -0.5 * (m1 + m2)*i nv(sw12)*(m1 - m2)'T13 = -0.5 * (m1

7、 + m3)*i nv(sw13)*(m1 - m3)'T23 = -0.5 * (m2 + m3)* in v(sw23)*(m2 - m3)'kindl = 0;kind2 = 0;kind3 = 0;n ewiris1=;n ewins2=;n ewiris3=;for i=31:50x = Iris1(i,:);g12 = w12 * x' + T12;g13 = w13 * x' + T13;g23 = w23 * x' + T23;if(g12 > 0)&(g13 > 0)n ewiris1= n ewiris1;x;ki

8、n d1=k in d1+1;g12 = w12 * x' + T12;endelseif (g12 < 0)&(g23 > 0)n ewiris2=n ewiris2;x;elseif (g13 < 0)&(g23 < 0)endfor i=31:50endn ewiris3=n ewins3;x;x = Iris2(i,:);g12 = w12 * x' + T12;g13 = w13 * x' + T13;g23 = w23 * x' + T23;if(g12 > 0)&( g13 > 0)n e

9、wiris1= n ewiris1;x;elseif (g12 < 0)&(g23 > 0)kin d2=k in d2+1;n ewiris2= newiris2;x;elseif (g13 < 0)&(g23 < 0)endfor i=31:50n ewiris3=n ewiris3;x;x = Iris3(i,:);g13 = w13 * x' + T13;g23 = w23 * x' + T23;if(g12 > 0)&(g13 > 0)n ewiris1= n ewiris1;x;elseif(g12 <

10、; 0)&(g23 > 0)n ewiris2=n ewiris2;x;elseif(g13 < 0)&(g23 < 0)kin d3=ki nd3+1;n ewiris3=n ewiris3;x;endendcorrect=(ki nd1+ki nd2+ki nd3)/60;fprintf( 'n 綜合正確率：%.2f%nn',correct* 100);(2)實驗結(jié)果:綜合正確率=96.67%2.S onar(1)代碼:clccleardata=xlsread( 'sonar');So nar仁data(1:98,1:60)

11、;So nar2=data(99:208,1:60);%類均值向量m1 = mean(Son ar1);m2 = mean(Son ar2);%各類內(nèi)離散度矩陣s1 = zeros(60);s2 = zeros(60);for i=1:1:70s1 = s1 + (Son ar1(i,:) - m1)'*(So nar1(i,:) - m1);endfor i=1:1:80s2 = s2 + (So nar2(i,:) - m2)'*(So nar2(i,:) - m2);end%總類內(nèi)離散矩陣sw12 = s1 + s2;%投影方向w12 = (sw12A-1)*(m1 -

12、m2)')'%判別函數(shù)以及閾值 T （即w0 ）T12 = -0.5 * (m1 + m2)*i nv(sw12)*(m1 - m2)'kindl =0;kind2 =0;n ews on ar1=;n ews on ar2=;for i=71:98x = Son ar1(i,:);g12 = w12 * x' + T12;if g12 > 0n ews on ar1= news on ar1;x;kin d1=k in d1+1;elsen ews on ar2= news on ar2;x;endendfor i=81:110x = Son ar2(i,:);g12 = w12 * x' + T12;i