模式識(shí)別上機(jī)實(shí)驗(yàn)報(bào)告

1、實(shí)驗(yàn)一、二維隨機(jī)數(shù)的產(chǎn)生1、實(shí)驗(yàn)?zāi)康模?） 學(xué)習(xí)采用Matlab程序產(chǎn)生正態(tài)分布的二維隨機(jī)數(shù)（2） 掌握估計(jì)類均值向量和協(xié)方差矩陣的方法（3） 掌握類間離散度矩陣、類內(nèi)離散度矩陣的計(jì)算方法（4） 熟悉matlab中運(yùn)用mvnrnd函數(shù)產(chǎn)生二維隨機(jī)數(shù)等matlab語言2、實(shí)驗(yàn)原理多元正態(tài)分布概率密度函數(shù)：其中：是d維均值向量： 是dd維協(xié)方差矩陣：（1）估計(jì)類均值向量和協(xié)方差矩陣的估計(jì) 各類均值向量 各類協(xié)方差矩陣（2）類間離散度矩陣、類內(nèi)離散度矩陣的計(jì)算類內(nèi)離散度矩陣：， i=1,2總的類內(nèi)離散度矩陣：類間離散度矩陣：3、實(shí)驗(yàn)內(nèi)容及要求產(chǎn)生兩類均值向量、協(xié)方差矩陣如下的樣本數(shù)據(jù)，每類樣本各50

2、個(gè)。，（1） 畫出樣本的分布圖；（2） 編寫程序，估計(jì)類均值向量和協(xié)方差矩陣；（3） 編寫程序，計(jì)算類間離散度矩陣、類內(nèi)離散度矩陣；（4） 每類樣本數(shù)增加到500個(gè)，重復(fù)（1）-（3）4、 實(shí)驗(yàn)結(jié)果(1) 、樣本的分布圖 (2) 、類均值向量、類協(xié)方差矩陣根據(jù)matlab程序得出的類均值向量為：N=50 : m1=-1.7160 -2.0374 m2=2.1485 1.7678N=500: m1=-2.0379 -2.0352 m2=2.0428 2.1270根據(jù)matlab程序得出的類協(xié)方差矩陣為：N=50: N=500： (3) 、類間離散度矩陣、類內(nèi)離散度矩陣根據(jù)matlab程序得出的類

3、間離散度矩陣為：N=50： N=500： 根據(jù)matlab程序得出的類內(nèi)離散度矩陣為：N=50： N=500: 5、結(jié)論由mvnrnd函數(shù)產(chǎn)生的結(jié)果是一個(gè)N*D的一個(gè)矩陣，在本實(shí)驗(yàn)中D是2，N是50和500.根據(jù)實(shí)驗(yàn)數(shù)據(jù)可以看出，當(dāng)樣本容量變多的時(shí)候，兩個(gè)變量的總體誤差變小，觀測變量各個(gè)取值之間的差異程度減小。6、實(shí)驗(yàn)程序clc;close all;clear all;%parameterN = 50;N_1 = 500; mu_1 = -2,-2;Sigma_1 = 1,0;0,1;r_1 = mvnrnd(mu_1,Sigma_1,N);r_11 = mvnrnd(mu_1,Sigma_1

4、,N_1); mu_2 = 2,2;Sigma_2 = 1,0;0,4;r_2 = mvnrnd(mu_2,Sigma_2,N);r_22 = mvnrnd(mu_2,Sigma_2,N_1); %figuresfigure(1);plot(r_1(:,1),r_1(:,2),.);%將矩陣r_1的第一列當(dāng)成橫坐標(biāo)，第二列當(dāng)作縱坐標(biāo)。title(樣本數(shù)為50時(shí)的第一類樣本分布圖); figure(2);plot(r_2(:,1),r_2(:,2),.);title(樣本數(shù)為50時(shí)的第二類樣本分布圖); figure(3);plot(r_11(:,1),r_11(:,2),.);title(樣本

5、數(shù)為500時(shí)的第一類樣本分布圖); figure(4);plot(r_22(:,1),r_22(:,2),.);title(樣本數(shù)為500時(shí)的第二類樣本分布圖); %類均值向量和類協(xié)方差矩陣m_1 = mean(r_1);%樣本數(shù)為50時(shí)第一類 類均值向量m_2 = mean(r_2);%樣本數(shù)為50時(shí)第二類 類均值向量m_11 = mean(r_11);%樣本數(shù)為500時(shí)第一類 類均值向量m_22 = mean(r_22);%樣本數(shù)為500時(shí)第二類 類均值向量 sum1 = 0,0;0,0;for n = 1:N sum1 =sum1 + (r_1(n,:)-mu_1)*(r_1(n,:)-

6、mu_1);endE_1 = sum1/N;%樣本數(shù)為50時(shí)，第一類 類協(xié)方差矩陣 sum2 = 0,0;0,0;for n = 1:N sum2 =sum2 + (r_2(n,:)-mu_2)*(r_2(n,:)-mu_2);endE_2 = sum2/N;%樣本數(shù)為50時(shí)，第二類 類協(xié)方差矩陣 sum3 = 0,0;0,0;for n = 1:N_1 sum3 =sum3 + (r_11(n,:)-mu_1)*(r_11(n,:)-mu_1);endE_11 = sum3/N_1;%樣本數(shù)為500時(shí)，第一類 類協(xié)方差矩陣 sum4 = 0,0;0,0;for n = 1:N_1 sum4

7、=sum4 + (r_22(n,:)-mu_2)*(r_22(n,:)-mu_2);endE_22 = sum4/N_1;%樣本數(shù)為500時(shí)，第二類 類協(xié)方差矩陣 %計(jì)算類間離散度和類內(nèi)離散度Sb_1 = (m_1 - m_2)*(m_1 - m_2);%樣本數(shù)為50時(shí)的，類間離散度矩陣Sb_2 = (m_11 - m_22)*(m_11 - m_22);%樣本數(shù)為500時(shí)的，類間離散度矩陣 S_1 = 0,0;0,0;S_2 = 0,0;0,0;for n = 1:N S_1 = S_1 + (r_1(n,:) - m_1)*(r_1(n,:) - m_1); S_2 = S_2 + (r_

8、2(n,:) - m_2)*(r_2(n,:) - m_2);endSW1 = S_1 + S_2;%樣本數(shù)為50時(shí)的，總的類內(nèi)離散度矩陣 S_11 = 0,0;0,0;S_22 = 0,0;0,0;for n = 1:N_1 S_11 = S_11 + (r_11(n,:) - m_11)*(r_11(n,:) - m_11); S_22 = S_22 + (r_22(n,:) - m_22)*(r_22(n,:) - m_22);endSW2 = S_11 + S_22;%樣本數(shù)為500時(shí)的，總的類內(nèi)離散度矩陣實(shí)驗(yàn)二、Fisher線性分類器的設(shè)計(jì)1、實(shí)驗(yàn)?zāi)康模?） 掌握Fisher線性判別

9、方法（2） 掌握Bayes決策的錯(cuò)誤率的計(jì)算（3） 掌握分類器錯(cuò)誤率的估算方法（4） 對(duì)模式識(shí)別有一個(gè)初步的理解2、實(shí)驗(yàn)原理Fisher準(zhǔn)則基本原理：如果在二維空間中一條直線能將兩類樣本分開，或者錯(cuò)分類很少，則同一類別樣本數(shù)據(jù)在該直線的單位法向量上的投影的絕大多數(shù)都應(yīng)該超過某一值。而另一類數(shù)據(jù)的投影都應(yīng)該小于(或絕大多數(shù)都小于)該值，則這條直線就有可能將兩類分開。 準(zhǔn)則：向量W的方向選擇應(yīng)能使兩類樣本投影的均值之差盡可能大些，而使類內(nèi)樣本的離散程度盡可能小。這就是Fisher準(zhǔn)則函數(shù)的基本思路。 y=WTX+W0 評(píng)價(jià)投影方向W的函數(shù) ：最佳W值的確定：求取使JF達(dá)極大值時(shí)的 w*：向量就是使

10、Fisher準(zhǔn)則函數(shù)達(dá)極大值的解，也就是按Fisher準(zhǔn)則將d維X空間投影到一維Y空間的最佳投影方向，該向量的各分量值是對(duì)原d維特征向量求加權(quán)和的權(quán)值。 w0確定 ： 當(dāng)W0確定之后，則可按以下規(guī)則分類，使用Fisher準(zhǔn)則方法確定最佳線性分界面的方法是一個(gè)著名的方法，盡管提出該方法的時(shí)間比較早，仍見有人使用。3、實(shí)驗(yàn)內(nèi)容及要求考慮Fisher線性判別方法，利用實(shí)驗(yàn)1中程序產(chǎn)生的數(shù)據(jù)（分別在各類樣本數(shù)均為50及500時(shí)），計(jì)算：1) 求解最優(yōu)投影方向W；2) 畫出表示最優(yōu)投影方向的直線，并且標(biāo)記出投影后的點(diǎn)在直線上的位置；3) 計(jì)算投影后的閾值權(quán)；4) 計(jì)算分類器的各類錯(cuò)誤率及總的平均錯(cuò)誤率；

11、 5) 計(jì)算按最小錯(cuò)誤率Bayes決策的錯(cuò)誤率（各類先驗(yàn)概率相同）4、 實(shí)驗(yàn)結(jié)果 上圖可以看出在N=50時(shí)的情況下綠色的點(diǎn)是第一類樣本點(diǎn)，藍(lán)色的*給出了第二類樣本點(diǎn)，紅色的直線是最優(yōu)投影方向的直線，+標(biāo)出的點(diǎn)是W0點(diǎn)，直線上不同顏色代表了不同類樣本點(diǎn)所投影的點(diǎn)的位置。 上圖可以看出在N=500時(shí)的情況下綠色的點(diǎn)是第一類樣本點(diǎn)，藍(lán)色的*給出了第二類樣本點(diǎn)，紅色的直線是最優(yōu)投影方向的直線，+標(biāo)出的點(diǎn)是W0點(diǎn)，直線上不同顏色代表了不同類樣本點(diǎn)所投影的點(diǎn)的位置。 由matlab程序可以求得：N=50時(shí)，類一的錯(cuò)誤概率為0 類二的錯(cuò)誤概率為 8% 平均錯(cuò)誤概率為 1% Bayes決策錯(cuò)誤率為0% 最佳投

12、影方向N=500時(shí)，類一的錯(cuò)誤概率為0.4% 類二的錯(cuò)誤概率為2.2% 平均錯(cuò)誤概率為 1.3% Bayes決策錯(cuò)誤率為0.9% 最佳投影方向5、結(jié)論通過對(duì)實(shí)驗(yàn)結(jié)果的探究，可以得出當(dāng)樣本數(shù)比較大的時(shí)候類錯(cuò)誤概率會(huì)上升。的比例因子對(duì)于Fisher判別函數(shù)沒有影響的原因：在本實(shí)驗(yàn)中，最重要的是W的方向，或者說是在此方向上數(shù)據(jù)的投影，所以W的比例因子，即它是單位向量的多少倍長就沒那么重要了，不管比例因子大小是多少，在最后求投影時(shí)都會(huì)被消掉。6、實(shí)驗(yàn)程序 %實(shí)驗(yàn)二%樣本數(shù)為50時(shí)W_0 = -(m_1+m_2)/2;w = (m_1-m_2)*inv(SW1);%投影向量Sk = w(:,2)/w(:

13、,1);%最優(yōu)投影方向直線的斜率。x=-7:0.01:7;y = k*(x-W_0(:,1) + W_0(:,2);%最優(yōu)投影方向直線 figure(3);plot(r_1(:,1),r_1(:,2),g.);title(樣本數(shù)為50時(shí)的樣本分布圖);hold on;plot(r_2(:,1),r_2(:,2),*);plot(W_0(1),W_0(2),+);plot(x,y,r);%畫出最優(yōu)投影方向直線 A0=k -1;1 k;X0=zeros(2,N);for n=1:N b=k*W_0(:,1)-W_0(:,2) r_1(n,1)+k*r_1(n,2); X0(:,n)=inv(A0)

14、*b;end A1=k -1;1 k;X1=zeros(2,N);for n=1:N b1=k*W_0(:,1)-W_0(:,2) r_2(n,1)+k*r_2(n,2); X1(:,n)=inv(A1)*b1;endplot(X0(1,:),X0(2,:),g);plot(X1(1,:),X1(2,:),b);hold off; en1=0;en2=0;for m=1:N if X0(1,m) W_0(:,1) en1=en1+1; end if X1(1,m) W_00(:,1) en11=en11+1; end if X3(1,m) N2 erro1=erro1+1; end end e

15、ndendfor i=1:N1 for j=1:N2 distance2(i,j)=sqrt(X2(1,i)-Y1(1,j)2+(X2(2,i)-Y1(2,j)2); distance2(i,j+N2)=sqrt(X2(1,i)-Y2(1,j)2+(X2(2,i)-Y2(2,j)2); end zuixiao=min(distance2(i,:); for j=1:2*N2 if distance2(i,j)=zuixiao if jN2 erro2=erro2+1; end end endenderro_pingjun=(erro1+erro2)/(2*N1)%k近鄰k=10;number11=zeros(N1,1);number12=zeros(N1,1);MAX=1e5;k_erro1=0;for ii=1:N1 for i=1:k zuixiao=min(distance1(ii,:); for j=1:2*N2 if distance1(ii,j)=zuixiao if j=N2 number11(ii)=number11(ii)+1; else number12(ii)=number12(ii)+1; end distance1(ii,j)=MAX; end end end if number11(ii)number12(ii