模式識別實(shí)驗(yàn)報(bào)告1ws

1、模式識別實(shí)驗(yàn)報(bào)告5103班3115390014魏雙基于貝葉斯方法對鳶尾花數(shù)據(jù)的分類一、實(shí)驗(yàn)原理貝葉斯準(zhǔn)則又稱為最大后驗(yàn)概率，假定一個兩類問題，先驗(yàn)概率分別為和。令X為n維向量，X的類條件概率密度為和分別表示的。由全概率公式，可知觀測樣本出現(xiàn)的全概率密度為： （1） 由貝葉斯公式，在觀測樣本出現(xiàn)的情況下，屬于兩個類別和的后驗(yàn)概率分別可表示為： 這里，由式(1)給出。如果規(guī)定把觀測樣本判歸后驗(yàn)概率較大的類別，則相應(yīng)的判決規(guī)則可表示為： 上述規(guī)則可進(jìn)一步表示為： 對于具有多個特征參數(shù)的樣本150個（本實(shí)驗(yàn)的 IRIS 數(shù)據(jù)為 n=4 維）。實(shí)驗(yàn)中所用的數(shù)據(jù)集已經(jīng)分成三類，假設(shè)本實(shí)驗(yàn)所使用的 IRIS

2、 鳶尾花數(shù)據(jù)中各類數(shù)據(jù)服從正態(tài)分布，則概率密度函數(shù)為：鳶尾花數(shù)據(jù)集包含了150個樣本，分別是山鳶尾，變色鳶尾和維吉尼亞鳶尾。四個特征被用作樣本的定量分析，分別是花瓣的長度和寬度。實(shí)驗(yàn)中所用的數(shù)據(jù)集已經(jīng)分成三類，第一組為山鳶尾，第二組為變色鳶尾，第三組為維吉尼亞鳶尾。對于具有多個特征參數(shù)的樣本，其正態(tài)分布的概率密度函數(shù)為：其中是n維的行向量，是n*n維的協(xié)方差矩陣，是的行列式，是均值。 由其判決規(guī)則， 即可對樣本進(jìn)行分類。2、 實(shí)驗(yàn)過程（1）數(shù)據(jù)導(dǎo)入導(dǎo)入data.txt 文件中數(shù)據(jù)，并將三類數(shù)據(jù)分別存儲，每個數(shù)據(jù)都為一個4 維行特征向量。close all; clear all; clc;A=

3、load('data.txt'); B1=A(1:5,:); B2=A(51:56,:);B3=A(101:105,:);（2）抽取數(shù)據(jù)分類計(jì)算設(shè)置每組訓(xùn)練數(shù)據(jù)個數(shù) NUM_train，從每類 50 個數(shù)據(jù)中隨機(jī)抽取 NUM_train個向量作為訓(xùn)練數(shù)據(jù)并存儲，剩余數(shù)據(jù)作為測試樣本存儲。N1=5;N2=5;N3=5; Xp1=0.5; Xp2=0.5; Xp3=0.5; mean1= mean(B1);mean2= mean(B2);mean3= mean(B3); var1=cov(B1); n1=inv(cov(B1); k1= det(var1) ; var2=cov(B

4、2); n2=inv(var2); k2= det(var2) ; var3=cov(B3); n3=inv(var3); k3= det(var3); （4）分類測試一共分為三組（w1,w2）（w1,w3）（w2,w3），test=1代表（w1,w2）分類，test=2代表（w1,w3）分類，test=3代表（w2,w3）分類 ，針對某一訓(xùn)練數(shù)據(jù) x 計(jì)算其判別函數(shù)Pi，比較兩個值的大小，哪個最大，就可判斷該數(shù)據(jù)屬于哪一類。G= A(6:50,:) ; A(106:150,:) ;a=zeros(1,90); a1=zeros(1, 90); a2=zeros(1, 90);for i=1:

5、1:90p1=-0.5* (G(i,:)-mean1)*n1*(G(i,:)-mean1)'-0.5*log(k1)+log(Xp1);p2=-0.5* (G(i,:)-mean2)*n2*(G(i,:)-mean2)'-0.5*log(k2)+log(Xp2);p3=-0.5* (G(i,:)-mean3)*n3*(G(i,:)-mean3)'-0.5*log(k3)+log(Xp3);a1(i)=p1;a2(i)=p2; if p1>p2 a(i)=1; else a(i)=2;end end三、實(shí)驗(yàn)結(jié)果（一）第一組和第二組a) 分別取第一組和第二組的前10個

6、樣本作為訓(xùn)練樣本，求出每一類別的表達(dá)式，然后對剩余的樣本進(jìn)行分類，此時(shí)先驗(yàn)概率均為0.5，比較的大小。得到的判決結(jié)果如下：Columns 1 through 101 1 1 1 1 1 1 1 1 1Columns 11 through 20 1 1 1 1 1 1 1 1 1 1Columns 21 through 301 1 1 1 1 1 1 1 1 1Columns 31 through 401 1 1 1 1 1 1 1 1 1Columns 41 through 502 2 2 2 2 2 2 2 2 2Columns 51 through 602 2 2 2 2 2 2 2 2

7、2Columns 61 through 702 2 2 2 2 2 2 2 2 2Columns 71 through 802 2 2 2 2 2 2 2 2 2成功率依然為100%，這說明每類10個數(shù)據(jù)也足夠成功的將不同類的數(shù)據(jù)區(qū)分開來。b) 分別取第一組和第二組的前五個樣本作為訓(xùn)練樣本，然后再對剩余樣本進(jìn)行分類，結(jié)果如下：Columns 1 through 102 2 2 2 2 2 2 2 2 2Columns 11 through 202 2 2 2 2 2 2 2 2 2Columns 21 through 302 2 2 2 2 2 2 2 2 2 Columns 31 throu

8、gh 402 2 2 2 2 2 2 2 2 2Columns 41 through 502 2 2 2 2 2 2 2 2 2Columns 51 through 602 2 2 2 2 2 2 2 2 2Columns 61 through 702 2 2 2 2 2 2 2 2 2 Columns 71 through 802 2 2 2 2 2 2 2 2 2Columns 81 through 902 2 2 2 2 2 2 2 2 2可見，當(dāng)樣本數(shù)量太少時(shí)，所提供的信息不足以區(qū)分兩組類別。c) 若取第一組和第二組的5個差異比較大的樣本作為訓(xùn)練樣本，先驗(yàn)概率第一組取0.5，第三組取0

9、.5，判決結(jié)果如下：Columns 1 through 101 1 1 1 1 1 1 1 1 1Columns 11 through 201 1 1 1 1 1 1 1 1 1Columns 21 through 301 1 1 1 1 1 1 1 1 1Columns 31 through 401 1 1 1 1 1 1 1 1 1Columns 41 through 501 1 1 1 1 2 2 2 2 2Columns 51 through 602 2 2 2 2 2 2 2 2 2Columns 61 through 702 2 2 2 2 2 2 2 2 2Columns 71

10、through 802 2 2 2 2 2 2 2 2 2Columns 81 through 902 2 2 2 2 2 2 2 2 2判決結(jié)果完全正確，說明訓(xùn)練樣本的選取也會對后面的分類產(chǎn)生影響，并且訓(xùn)練樣本的差異越大越好。d) 若改變先驗(yàn)概率，假設(shè)p1=0.7，p2=0.3，每組數(shù)據(jù)仍采用10個作為已知數(shù)據(jù)，其余為被檢測數(shù)據(jù)，實(shí)驗(yàn)結(jié)果如下：Columns 1 through 101 1 1 1 1 1 1 1 1 1Columns 11 through 20 1 1 1 1 1 1 1 1 1 1 Columns 21 through 301 1 1 1 1 1 1 1 1 1Colum

11、ns 31 through 401 1 1 1 1 1 1 1 1 1Columns 41 through 502 2 2 2 2 2 2 2 2 2Columns 51 through 602 2 2 2 2 2 2 2 2 2Columns 61 through 702 2 2 2 2 2 2 2 2 2 Columns 71 through 802 2 2 2 2 2 2 2 2 2結(jié)果仍然是正確率百分百，說明第一類和第二類特征比較明顯，比較容易區(qū)別開。（二）第一組和第三組a) 分別取第一組和第三組的前10個樣本作為訓(xùn)練樣本，先驗(yàn)概率均取0.5所得判決結(jié)果：Columns 1 throu

12、gh 10 1 1 1 1 1 1 1 1 1 1Columns 11 through 20 1 1 1 1 1 1 1 1 1 1Columns 21 through 30 1 1 1 1 1 1 1 1 1 1Columns 31 through 401 1 1 1 1 1 1 1 1 1Columns 41 through 503 3 3 3 3 3 3 3 3 3Columns 51 through 603 3 3 3 3 3 3 3 3 3Columns 61 through 703 3 3 3 3 3 3 3 3 3Columns 71 through 803 3 3 3 3 3

13、3 3 3 3判決結(jié)果完全正確，說明只需要十組樣本就足以分類第一類和第三類。b) 分別取第一組和第三組的前6個樣本作為訓(xùn)練樣本，先驗(yàn)概率第一組取0.5，第三組取0.5，判別結(jié)果如下：Columns 1 through 101 1 1 1 1 1 1 1 1 1Columns 11 through 20 1 1 1 1 1 1 1 1 1 1Columns 21 through 301 1 1 1 1 1 1 1 1 1Columns 31 through 401 1 1 1 1 1 1 1 1 1Columns 41 through 501 1 1 1 3 3 3 3 3 3Columns 5

14、1 through 603 3 3 3 3 3 3 3 3 3Columns 61 through 70 3 3 3 3 3 3 3 3 3 3Columns 71 through 803 3 3 3 3 3 3 3 3 3Columns 81 through 883 3 3 3 3 3 3 3從結(jié)果可見，正確率100%，說明6個樣本足以來區(qū)分第一類和第三類。c) 若繼續(xù)減小樣本數(shù)量，分別取第一組和第三組的前5個樣本作為訓(xùn)練樣本，先驗(yàn)概率第一組取0.5，第三組取0.5，判決則會出現(xiàn)錯誤。程序會出現(xiàn)警告，判決結(jié)果如下：Columns 1 through 103 3 3 3 3 3 3 3 3 3

15、Columns 11 through 203 3 3 3 3 3 3 3 3 3Columns 21 through 303 3 3 3 3 3 3 3 3 3Columns 31 through 403 3 3 3 3 3 3 3 3 3Columns 41 through 503 3 3 3 3 3 3 3 3 3Columns 51 through 603 3 3 3 3 3 3 3 3 3Columns 61 through 703 3 3 3 3 3 3 3 3 3Columns 71 through 803 3 3 3 3 3 3 3 3 3Columns 81 through 9

16、03 3 3 3 3 3 3 3 3 3可見，因?yàn)闃颖镜臏p少，信息量不夠，導(dǎo)致判斷失誤。d) 若取第一組和第三組的5個差異比較大的樣本作為訓(xùn)練樣本，先驗(yàn)概率第一組取0.5，第三組取0.5，判決結(jié)果如下：Columns 1 through 101 1 1 1 1 1 1 1 1 1Columns 11 through 201 1 1 1 1 1 1 1 1 1Columns 21 through 30 1 1 1 1 1 1 1 1 1 1Columns 31 through 401 1 1 1 1 1 1 1 1 1Columns 41 through 501 1 1 1 1 3 3 3 3

17、3Columns 51 through 603 3 3 3 3 3 3 3 3 3Columns 61 through 703 3 3 3 3 3 3 3 3 3Columns 71 through 803 3 3 3 3 3 3 3 3 3Columns 81 through 903 3 3 3 3 3 3 3 3 3判決結(jié)果完全正確，說明訓(xùn)練樣本的選取也會對后面的分類產(chǎn)生影響，并且訓(xùn)練樣本的差異越大越好。（三）第二組和第三組a) 分別取兩組的前10組，先驗(yàn)概率均取0.5，判決結(jié)果如下：Columns 1 through 102 2 2 2 2 2 2 2 2 2Columns 11 thr

18、ough 202 2 2 2 2 2 2 2 2 2Columns 21 through 302 2 2 3 2 2 2 2 2 2Columns 31 through 402 2 2 2 2 2 2 2 2 2Columns 41 through 503 3 3 3 3 3 3 3 3 3Columns 51 through 603 3 3 3 3 3 2 2 3 3Columns 61 through 70 3 2 3 2 3 3 3 3 2 3Columns 71 through 803 3 3 3 3 3 3 3 3 3結(jié)果可見，正確率達(dá)93.7%，經(jīng)比較，第二組和第三組的特征差異不如

19、和第一組的顯著。b) 分別取兩組的前20組，先驗(yàn)概率均取0.5，程序出現(xiàn)警告，判決結(jié)果如下：Columns 1 through 10 3 2 2 2 2 2 2 2 2 2Columns 11 through 20 2 2 2 3 2 2 2 2 2 2Columns 21 through 302 2 2 2 2 2 2 2 2 2Columns 31 through 403 3 3 3 3 3 3 3 3 3Columns 41 through 503 3 3 3 3 3 3 3 3 3 Columns 51 through 603 3 3 3 3 3 3 3 3 3從結(jié)果可見，正確率達(dá)96.7%c) 分別取兩組的前20組，先驗(yàn)概率第二類取0.7，第三類取0.3，判決結(jié)果如下：Columns 1 through 102 2 2 2 2 2 2 2 2 2 Columns 11 through 20 2 2 2 3 2 2 2 2 2 2 Columns 21 through 30 2 2