Fisher分類算法

1、精選文檔實(shí)驗(yàn)二 用身高和/或體重?cái)?shù)據(jù)進(jìn)行性別分類的實(shí)驗(yàn)一、實(shí)驗(yàn)?zāi)康?1) 加深對(duì)Fisher線性判別方法原理的理解和認(rèn)識(shí) 2) 掌握Fisher線性判別方法的設(shè)計(jì)方法 二、實(shí)驗(yàn)數(shù)據(jù)n 訓(xùn)練樣本集l FAMALE.TXT 50個(gè)女生的身高、體重?cái)?shù)據(jù)l MALE.TXT 50個(gè)男生的身高、體重?cái)?shù)據(jù)n 測(cè)試樣本集l test1.txt 35個(gè)同學(xué)的身高、體重、性別數(shù)據(jù)（15個(gè)女生、20個(gè)男生）l test2.txt 300個(gè)同學(xué)的身高、體重、性別數(shù)據(jù)（50個(gè)女生、250個(gè)男生）三、實(shí)驗(yàn)內(nèi)容試驗(yàn)直接設(shè)計(jì)線性分類器的方法，與基于概率密度估計(jì)的貝葉斯分類器進(jìn)行比較。同時(shí)采用身高和體重?cái)?shù)據(jù)作為特征，用Fis

2、her線性判別方法求分類器，將該分類器應(yīng)用到訓(xùn)練和測(cè)試樣本，考察訓(xùn)練和測(cè)試錯(cuò)誤情況。將訓(xùn)練樣本和求得的決策邊界畫到圖上，同時(shí)把以往用Bayes方法求得的分類器（例如: 最小錯(cuò)誤率Bayes分類器）也畫到圖上，比較結(jié)果的異同。四、原理簡(jiǎn)述、程序流程圖1、Fisher線性判別方法首先求各類樣本均值向量，然后求各個(gè)樣本的來(lái)內(nèi)離散度矩陣，再求出樣本的總類內(nèi)離散度，根據(jù)公式求出把X投影到Y(jié)的最好的投影方向。再求出一維Y空間中各類樣本均值，其中,本次實(shí)驗(yàn)的分界閾值我們用如下方法得到：,最后，將測(cè)試樣本中的值代入，求出y，并將其與y0來(lái)進(jìn)行比較來(lái)分類。2、流程圖五、實(shí)驗(yàn)結(jié)果1、錯(cuò)誤率表格男生錯(cuò)誤個(gè)數(shù)女生錯(cuò)誤

3、個(gè)數(shù)總錯(cuò)誤男生錯(cuò)誤率女生錯(cuò)誤率總錯(cuò)誤率2722910.8%4%9.67%841216%8%12%分析：用訓(xùn)練樣本得到的分類器測(cè)試測(cè)試樣本時(shí)錯(cuò)誤率低，測(cè)試結(jié)果較好，但測(cè)試訓(xùn)練樣本時(shí)，其錯(cuò)誤率較高，測(cè)試結(jié)果不好。2、Fisher判別方法圖像分析：從圖中我們可以直觀的看出對(duì)訓(xùn)練樣本Fisher判別比最大似然Bayes判別效果更好。六、總結(jié)與分析本次實(shí)驗(yàn)使我們對(duì)加深Fisher判別法的理解。通過(guò)兩種分類方法的比較，我們對(duì)于同一種可以有很多不同的分類方法，各個(gè)分類方法各有優(yōu)劣，所以我們更應(yīng)該熟知這些已經(jīng)得到充分證明的方法，在這些方法的基礎(chǔ)上通過(guò)自己的理解，創(chuàng)造出更好的分類方法。所以模式識(shí)別還有很多更優(yōu)秀

4、的算法等著我們?nèi)W(xué)習(xí)。七、附錄1. fisher.mfunction w,y0=fisher(AA,BB)A=AA'B=BB'k1,l1=size(A);k2,l2=size(B);M1=sum(AA);M1=M1'M1=M1/l1;%男生均值向量M2=sum(BB);M2=M2'M2=M2/l2;%女生均值向量S1=zeros(k1,k1);%建立矩陣S2=zeros(k2,k2);for i=1:l1 S1=S1+(A(:,i)-M1)*(A(:,i)-M1).');%男生的類內(nèi)離散度矩陣endfor i=1:l2 S2=S2+(B(:,i)-M2)

5、*(B(:,i)-M2).');%女生的類內(nèi)離散度矩陣endSw=0.5*S1+0.5*S2;%總類內(nèi)離散度矩陣,先驗(yàn)概率0.5w=inv(Sw)*(M1-M2);%兩列wT=w'%wT就是使Fisher準(zhǔn)則函數(shù)JF（w）取極大值時(shí)的解，也就是d維X空間到1維Y空間的最好的投影方向for i=1:l1 Y1(i)=wT(1,1)*A(1,i)+wT(1,2)*A(2,i);%求出二維男生樣本集映射到一維時(shí)的量endfor i=1:l2 Y2(i)=wT(1,1)*B(1,i)+wT(1,2)*B(2,i);%求出二維女生樣本集映射到一維時(shí)的量endm1=sum(Y1)/l1;m

6、2=sum(Y2)/l2;y0=(l1*m1+l2*m2)/(l1+l2);2. determine.m%用fisher線性判別函數(shù)來(lái)判斷clcclear allA1 A2 = textscan('MALE.txt','%f%f');B1 B2 = textscan('FEMALE.txt','%f%f');AA = A1 A2;BB = B1 B2;w,y0 = fisher(AA,BB);wT = w'girl = 0;boy = 0;bad = 0;errorgirl = 0;errorboy = 0;error =

7、 0;errorgirlrate = 0;errorboyrate = 0; errorrate = 0;T1 T2 = textscan('test2.txt','%f%f%*s');TT = T1 T2;T = TT'k3 l3 = size(T);for k = 1:50 y(k) = wT*T(:,k); if y(k)>y0 errorgirl = errorgirl+1; else if y(k)<y0 girl = girl+1; else bad = bad+1; end endendfor k = 51:300 y(k) =

8、 wT*T(:,k); if y(k)>y0 boy = boy+1; else if y(k)<y0 errorboy = errorboy+1; else bad = bad+1; end endenderrorgirl;errorboy;bad;girl = errorboy+girl;boy = boy+errorgirl;error = errorgirl+errorboy;errorgirlrate = errorgirl/50;errorboyrate = errorboy/250;errorrate = error/l3;3. huatu.mA1 A2 = text

9、read('MALE.txt','%f%f');B1 B2 = textread('FEMALE.txt','%f%f');AA=A1 A2;BB=B1 B2;A=AA'B=BB'k1,l1=size(A);k2,l2=size(B);w,y0=fisher(AA,BB);for i=1:l1 x=A(1,i); y=A(2,i);%x是身高，y是體重 plot(x,y,'R.'); hold onendfor i=1:l2 x=B(1,i); y=B(2,i); plot(x,y,'G.&

10、#39;); hold onenda1=min(A(1,:);%男生身高最小值a2=max(A(1,:);%男生身高最大值b1=min(B(1,:);%女生身高最小值b2=max(B(1,:);%女生身高最大值a3=min(A(2,:);%男生體重最小值a4=max(A(2,:);%男生體重最大值b3=min(B(2,:);%女生體重最小值b4=max(B(2,:);%女生體重最大值if a1<b1 a=a1;else a=b1;%a是所有人中身高最小值endif a2>b2 b=a2;else b=b2;%b是所有人中身高最大值endif a3<b3 c=a3;else c

11、=b3;%c是所有人中體重最小值endif a4>b4 d=a4;else d=b4;%d為所有人中體重最大值endx=a:0.01:b;y=(y0-x*w(1,1)/w(2,1);plot(x,y,'B');hold on;%身高體重相關(guān),判別測(cè)試樣本%手動(dòng)先驗(yàn)概率P1=0.5;P2=0.5;FA=B;MA=A;a=cov(FA')*(length(FA)-1)/length(FA);b=cov(MA')*(length(MA)-1)/length(MA);W1=-1/2*inv(a);W2=-1/2*inv(b);Ave1=(sum(FA')/length(FA)'Ave2=(sum(MA')/length(MA)'w1=inv(a)*Ave1;w2=inv(b)*Ave2;w10=-1/2*Ave1'*inv(a)*Ave1-1/2*log(det(a)+