Fisher分類算法.docx

實(shí)驗(yàn)二 用身高和/或體重數(shù)據(jù)進(jìn)行性別分類的實(shí)驗(yàn)一、實(shí)驗(yàn)?zāi)康?1) 加深對Fisher線性判別方法原理的理解和認(rèn)識 2) 掌握Fisher線性判別方法的設(shè)計方法 二、實(shí)驗(yàn)數(shù)據(jù)n 訓(xùn)練樣本集l FAMALE.TXT 50個女生的身高、體重數(shù)據(jù)l MALE.TXT 50個男生的身高、體重數(shù)據(jù)n 測試樣本集l test1.txt 35個同學(xué)的身高、體重、性別數(shù)據(jù)（15個女生、20個男生）l test2.txt 300個同學(xué)的身高、體重、性別數(shù)據(jù)（50個女生、250個男生）三、實(shí)驗(yàn)內(nèi)容試驗(yàn)直接設(shè)計線性分類器的方法，與基于概率密度估計的貝葉斯分類器進(jìn)行比較。同時采用身高和體重數(shù)據(jù)作為特征，用Fisher線性判別方法求分類器，將該分類器應(yīng)用到訓(xùn)練和測試樣本，考察訓(xùn)練和測試錯誤情況。將訓(xùn)練樣本和求得的決策邊界畫到圖上，同時把以往用Bayes方法求得的分類器（例如: 最小錯誤率Bayes分類器）也畫到圖上，比較結(jié)果的異同。四、原理簡述、程序流程圖1、Fisher線性判別方法首先求各類樣本均值向量，然后求各個樣本的來內(nèi)離散度矩陣，再求出樣本的總類內(nèi)離散度，根據(jù)公式求出把X投影到Y(jié)的最好的投影方向。再求出一維Y空間中各類樣本均值，其中,本次實(shí)驗(yàn)的分界閾值我們用如下方法得到：,最后，將測試樣本中的值代入，求出y，并將其與y0來進(jìn)行比較來分類。2、流程圖五、實(shí)驗(yàn)結(jié)果1、錯誤率表格男生錯誤個數(shù)女生錯誤個數(shù)總錯誤男生錯誤率女生錯誤率總錯誤率2722910.8%4%9.67%841216%8%12%分析：用訓(xùn)練樣本得到的分類器測試測試樣本時錯誤率低，測試結(jié)果較好，但測試訓(xùn)練樣本時，其錯誤率較高，測試結(jié)果不好。2、Fisher判別方法圖像分析：從圖中我們可以直觀的看出對訓(xùn)練樣本Fisher判別比最大似然Bayes判別效果更好。六、總結(jié)與分析本次實(shí)驗(yàn)使我們對加深Fisher判別法的理解。通過兩種分類方法的比較，我們對于同一種可以有很多不同的分類方法，各個分類方法各有優(yōu)劣，所以我們更應(yīng)該熟知這些已經(jīng)得到充分證明的方法，在這些方法的基礎(chǔ)上通過自己的理解，創(chuàng)造出更好的分類方法。所以模式識別還有很多更優(yōu)秀的算法等著我們?nèi)W(xué)習(xí)。七、附錄1. fisher.mfunction w,y0=fisher(AA,BB)A=AA;B=BB;k1,l1=size(A);k2,l2=size(B);M1=sum(AA);M1=M1;M1=M1/l1;%男生均值向量M2=sum(BB);M2=M2;M2=M2/l2;%女生均值向量S1=zeros(k1,k1);%建立矩陣S2=zeros(k2,k2);for i=1:l1 S1=S1+(A(:,i)-M1)*(A(:,i)-M1).);%男生的類內(nèi)離散度矩陣endfor i=1:l2 S2=S2+(B(:,i)-M2)*(B(:,i)-M2).);%女生的類內(nèi)離散度矩陣endSw=0.5*S1+0.5*S2;%總類內(nèi)離散度矩陣,先驗(yàn)概率0.5w=inv(Sw)*(M1-M2);%兩列wT=w;%wT就是使Fisher準(zhǔn)則函數(shù)JF（w）取極大值時的解，也就是d維X空間到1維Y空間的最好的投影方向for i=1:l1 Y1(i)=wT(1,1)*A(1,i)+wT(1,2)*A(2,i);%求出二維男生樣本集映射到一維時的量endfor i=1:l2 Y2(i)=wT(1,1)*B(1,i)+wT(1,2)*B(2,i);%求出二維女生樣本集映射到一維時的量endm1=sum(Y1)/l1;m2=sum(Y2)/l2;y0=(l1*m1+l2*m2)/(l1+l2);2. determine.m%用fisher線性判別函數(shù)來判斷clcclear allA1 A2 = textscan(MALE.txt,%f%f);B1 B2 = textscan(FEMALE.txt,%f%f);AA = A1 A2;BB = B1 B2;w,y0 = fisher(AA,BB);wT = w;girl = 0;boy = 0;bad = 0;errorgirl = 0;errorboy = 0;error = 0;errorgirlrate = 0;errorboyrate = 0; errorrate = 0;T1 T2 = textscan(test2.txt,%f%f%*s);TT = T1 T2;T = TT;k3 l3 = size(T);for k = 1:50 y(k) = wT*T(:,k); if y(k)y0 errorgirl = errorgirl+1; else if y(k)y0 boy = boy+1; else if y(k)y0 errorboy = errorboy+1; else bad = bad+1; end endenderrorgirl;errorboy;bad;girl = errorboy+girl;boy = boy+errorgirl;error = errorgirl+errorboy;errorgirlrate = errorgirl/50;errorboyrate = errorboy/250;errorrate = error/l3;3. huatu.mA1 A2 = textread(MALE.txt,%f%f);B1 B2 = textread(FEMALE.txt,%f%f);AA=A1 A2;BB=B1 B2;A=AA;B=BB;k1,l1=size(A);k2,l2=size(B);w,y0=fisher(AA,BB);for i=1:l1 x=A(1,i); y=A(2,i);%x是身高，y是體重 plot(x,y,R.); hold onendfor i=1:l2 x=B(1,i); y=B(2,i); plot(x,y,G.); hold onenda1=min(A(1,:);%男生身高最小值a2=max(A(1,:);%男生身高最大值b1=min(B(1,:);%女生身高最小值b2=max(B(1,:);%女生身高最大值a3=min(A(2,:);%男生體重最小值a4=max(A(2,:);%男生體重最大值b3=min(B(2,:);%女生體重最小值b4=max(B(2,:);%女生體重最大值if a1b2 b=a2;else b=b2;%b是所有人中身高最大值endif a3b4 d=a4;else d=b4;%d為所有人中體重最大值endx=a:0.01:b;y=(y0-x*w(1,1)/w(2,1);plot(x,y,B);hold on;%身高體重相關(guān),判別測試樣本%手動先驗(yàn)概率P1=0.5;P2=0.5;FA=B;MA=A;a=cov(FA)*(length(FA)-1)/length(FA);b=cov(MA)*(length(MA)-1)/length(MA);W1=-1/2*inv(a);W2=-1/2*inv(b);Ave1=(sum(FA)/length(FA);Ave2=(sum(MA)/length(MA);w1=inv(a)*Ave1;w2=inv(b)*Ave2;w10=-1/2*Ave1*inv(a)*Ave1-1/2*log