用身高和體重數(shù)據(jù)進行性別分類的實驗報告

1、用身高和體重數(shù)據(jù)進行性別分類的實驗報告（二）一、 基本要求1、試驗非參數(shù)估計，體會與參數(shù)估計在適用情況、估計結果方面的異同。2、試驗直接設計線性分類器的方法，與基于概率密度估計的貝葉斯分類器進行比較。3、體會留一法估計錯誤率的方法和結果。二、具體做法1、在第一次實驗中，挑選一次用身高作為特征，并且先驗概率分別為男生0.5，女生0.5的情況。改用Parzen窗法或者kn近鄰法估計概率密度函數(shù)，得出貝葉斯分類器，對測試樣本進行測試，比較與參數(shù)估計基礎上得到的分類器和分類性能的差別。2、同時采用身高和體重數(shù)據(jù)作為特征，用Fisher線性判別方法求分類器，將該分類器應用到訓練和測試樣本，考察訓練和測試

2、錯誤情況。將訓練樣本和求得的決策邊界畫到圖上，同時把以往用Bayes方法求得的分類器也畫到圖上，比較結果的異同。3、選擇上述或以前實驗的任意一種方法，用留一法在訓練集上估計錯誤率，與在測試集上得到的錯誤率進行比較。三、原理簡述及程序框圖1、挑選身高(身高與體重)為特征，選擇先驗概率為男生0.5女生0.5的一組用Parzen窗法來求概率密度函數(shù)，再用貝葉斯分類器進行分類。以身高為例本次實驗我們組選用的是正態(tài)函數(shù)窗，即，窗寬為（h是調(diào)節(jié)的參量，N是樣本個數(shù)） ，（d表示維度）。因為區(qū)域是一維的，所以體積為。Parzen公式為。故女生的條件概率密度為 男生的條件概率密度為根據(jù)貝葉斯決策規(guī)則知 如果，

3、否則，。流程圖如下： 2、要求是同時采用身高和體重數(shù)據(jù)作為特征，用Fisher線性判別方法求分類器，將該分類器應用到訓練和測試樣本，考察訓練和測試錯誤情況。將訓練樣本和求得的決策邊界畫到圖上，同時把以往用Bayes方法求得的分類器也畫到圖上，比較結果的異同。說明，取男生和女生的先驗概率分別為0.5,0.5。在設計貝葉斯分類器時，首先求各類樣本均值向量，及，然后求各個樣本的來內(nèi)離散度矩陣，及，再求出樣本的總類內(nèi)離散度，及，根據(jù)公式求出把二維X空間投影到一維Y空間的最好的投影方向。再求出一維Y空間中各類樣本均值，其中,本次實驗的分界閾值我們用如下方法得到：,最后，將測試樣本中的值代入，求出y，并將

4、其與y0來進行比較來分類。根據(jù)課本對Fisher線性判別法的介紹，得到的算法流程圖如下： 3、選擇上述或以前實驗的任意一種方法，用留一法在訓練集上估計錯誤率，與在測試集上得到的錯誤率進行比較。這里我們選擇Fisher線性判別法，用留一法來估計它在訓練集上的錯誤率，并將結果與Fisher線性判別法對測試集進行判別時得到的錯誤率進行比較。具體流程圖如下：四、實驗結果及分析總結1、得到結果如下表以身高作為特征h=4 估計方法女生先驗概率男生先驗概率男生錯誤個數(shù)女生錯誤個數(shù)總錯誤男生錯誤率女生錯誤率總錯誤率Parzen窗法0.250.752283016%8.8%10%0.50.53443813.6%8

5、%12.67%0.750.258028232%4%27.33%最大似然Bayes0.250.75 206.667%0.50.5279%0.750.256020%以身高與體重作為特征h=7 估計方法女生先驗概率男生先驗概率男生錯誤個數(shù)女生錯誤個數(shù)總錯誤男生錯誤率女生錯誤率總錯誤率Parzen窗法0.250.757222914%8.8%9.67%0.50.53824015.2%4%13.33%0.750.252464818.4%4%16%最大似然Bayes0.250.7586143.2%12%4.67%0.50.52933211.6%6%10.67%0.750.25916023.6%2%20%分析

6、：通過比較可知，在用最大似然估計這種參數(shù)估計方法和Parzen這種非參數(shù)估計方法來進行分類時，最大似然估計判別的錯誤率低。2、得到結果如下（1）、用Fisher線性判別方法求分類器，將分類器應用到訓練和測試樣本上，比較其錯誤率判別對象男生錯誤個數(shù)女生錯誤個數(shù)總錯誤男生錯誤率女生錯誤率總錯誤率測試樣本2722910.8%4%9.67%訓練樣本841216%8%12%分析：用訓練樣本得到的分類器測試測試樣本時錯誤率低，測試結果較好，但測試訓練樣本時，其錯誤率較高，測試結果不好。（2）、將訓練樣本和求得的決策邊界畫到圖上先驗概略為0.5,0.5從圖中我們可以直觀的比較出對訓練樣本Fisher判別比最

7、大似然Bayes判別效果更好。3、留一法測試結果如下：判別對象男生錯誤個數(shù)女生錯誤個數(shù)錯誤率測試樣本81328%訓練樣本8412%分析：用留一法在訓練樣本機上估計錯誤率時，錯誤率小于它在測試樣本集上得到的錯誤率，且留一法在測試樣本集上女生錯誤個數(shù)遠低于男生錯誤個數(shù)。五、體會這次實驗，我們組用了接近三天的時間，首先，我們對題目要求進行認真分析，在確保對題目完全理解的基礎上，開始一步一步分析，求解。對每個小題，及其每一問，我們都經(jīng)過查書，查資料，編代碼這幾個步驟，仔細分析每一步算法，得出流程圖。經(jīng)過第一次作業(yè)的編程，本次編程我們都覺得輕松了很多，但還會出現(xiàn)一些細節(jié)上的錯誤，不過，這些在我們經(jīng)過不斷

8、的調(diào)試之后都會被發(fā)現(xiàn)并解決?？傮w而言，本次試驗，讓我們對Parzen窗法求類條件概率密度，以及Fisher線性判別法都有了更大的了解。代碼:%特征是身高，先驗概率為0.5、0.5時用Parzen窗法，貝葉斯分類器。clc;clear all;FH FW=textread(C:UsersxuydDesktophomeworkFEMALE.txt,%f%f);MH MW=textread(C:UsersxuydDesktophomeworkMALE.txt,%f%f);FA=FH FW;MA=MH MW;N1=max(size(FA);h1=4;hn1=h1/(sqrt(N1);VN1=h1/(s

9、qrt(N1);N2=max(size(MA);h2=4;hn2=h2/(sqrt(N2);VN2=h2/(sqrt(N2);tH tW=textread(C:UsersxuydDesktophomeworktest2.txt,%f%f%*s);X=tH tW;M N=size(X);s=zeros(M,1);A=X(:,1) X(:,2) s;error=0;errorgirl=0;errorboy=0;errorrate=0;errorgirlrate=0;errorboyrate=0;girl=0;boy=0;bad=0;for k=1:M %測試集 x=A(k); p=0.5;%p為屬

10、于女生的先驗概率，則1-p為男生的先驗概率 for i=1:N1 pp(i)=1/sqrt(2*pi)*exp(-0.5*(abs(x-FA(i)2/(hn12);%pp（i）是窗函數(shù) end p1=sum(1/VN1*pp); y1=1/N1*p1;%是女生的條件概率密度函數(shù) for j=1:N2 qq(j)=1/sqrt(2*pi)*exp(-0.5*(abs(x-MA(j)2/(hn22); end q1=sum(1/VN2*qq); y2=1/N2*q1;%男生的概率密度函數(shù)，即其條件概率 g=p*y1-(1-p)*y2;%g為判別函數(shù) if g0 if k=50 s(k,1)=0;%

11、判為女生 girl=girl+1; else errorboy=errorboy+1; end elseif g0 if k0 if k=50 s(k,1)=0;%判為女生 girl=girl+1; else errorboy=errorboy+1; end elseif g0 if ky0 errorgirl=errorgirl+1; else if y(k)y0 boy=boy+1; else if y(k)y0 errorboy=errorboy+1; else bad=bad+1; end endenderrorgirlerrorboybadgirl=errorboy+girlboy=

12、boy+errorgirlerror=errorgirl+errorboyerrorgirlrate=errorgirl/50errorboyrate=errorboy/250errorrate=error/l3%畫圖filename,pathname,filterindex = uigetfile(*.txt, 請讀入男生訓練集);fileAddrs = pathname,filename;A1 A2=textread(fileAddrs,%f%f);filename,pathname,filterindex = uigetfile(*.txt, 請讀入女生訓練集);fileAddrs =

13、pathname,filename;B1 B2=textread(fileAddrs,%f%f);AA=A1 A2;BB=B1 B2;A=AA;B=BB;k1,l1=size(A);k2,l2=size(B);w,y0=fisher(AA,BB);for i=1:l1 x=A(1,i); y=A(2,i);%x是身高，y是體重 plot(x,y,R.); hold onendfor i=1:l2 x=B(1,i); y=B(2,i); plot(x,y,G.); hold onenda1=min(A(1,:);%男生身高最小值a2=max(A(1,:);%男生身高最大值b1=min(B(1,:

14、);%女生身高最小值b2=max(B(1,:);%女生身高最大值a3=min(A(2,:);%男生體重最小值a4=max(A(2,:);%男生體重最大值b3=min(B(2,:);%女生體重最小值b4=max(B(2,:);%女生體重最大值if a1b2 b=a2;else b=b2;%b是所有人中身高最大值endif a3b4 d=a4;else d=b4;%d為所有人中體重最大值endx=a:0.01:b;y=(y0-x*w(1,1)/w(2,1);plot(x,y,B);hold on;%身高體重相關,判別測試樣本%手動先驗概率P1=0.5;P2=0.5;FA=A;MA=B;a=cov(

15、FA)*(length(FA)-1)/length(FA);b=cov(MA)*(length(MA)-1)/length(MA);W1=-1/2*inv(a);W2=-1/2*inv(b);Ave1=(sum(FA)/length(FA);Ave2=(sum(MA)/length(MA);w1=inv(a)*Ave1;w2=inv(b)*Ave2;w10=-1/2*Ave1*inv(a)*Ave1-1/2*log(det(a)+log(P1);w20=-1/2*Ave2*inv(b)*Ave2-1/2*log(det(b)+log(P2); syms x ; syms y ; h=x y;

16、h1=h*W1*h+w1*h+w10; h2=h*W2*h+w2*h+w20 ; h=h1-h2; ezplot(h,130,200,30,100)%功能：應用Fisher準則判斷一個身高體重二維數(shù)據(jù)的性別vector=x;y;yy=(w.)*vector;if yyy0 value=2;%表示樣本是男生else value=1;%表示樣本是女生end%功能：使用留一法求訓練樣本錯誤率A1 A2=textread(C:UsersAdministratorDesktop模式識別homeworkMALE.txt,%f%f);B1 B2=textread(C:UsersAdministratorDe

17、sktop模式識別homeworkFEMALE.txt,%f%f);AA=A1 A2;BB=B1 B2;A=AA;B=BB;m1=2;m2=2;n1=50;n2=50;tempA=zeros(m1,n1-1);count=0;for i=1:n1 for j=1:(i-1) tempA(:,j)=A(:,j); end for j=(i+1):n1 tempA(:,j-1)=A(:,j); end w,y0=fisher(tempA.),BB); flag=classify_CH(A(1,i),A(2,i),w,y0); if flag=1 count=count+1; endendtempB

18、=zeros(m2,n2-1);for i=1:n2 for j=1:(i-1) tempB(:,j)=B(:,j); end for j=(i+1):n2 tempB(:,j-1)=B(:,j); end w,y0=fisher(AA,(tempB.); flag=classify_CH(B(1,i),B(2,i),w,y0); if flag=2 count=count+1; endenderror_ratio=count/(n1+n2)%使用留一法求測試樣本錯誤率T1 T2=textread(C:UsersAdministratorDesktop模式識別homeworktest2.txt,