模式識(shí)別實(shí)驗(yàn)報(bào)告-實(shí)驗(yàn)一Bayes分類(lèi)器設(shè)計(jì)

1、實(shí)驗(yàn)一 Bayes分類(lèi)器設(shè)計(jì)【實(shí)驗(yàn)?zāi)康摹繉?duì)模式識(shí)別有一個(gè)初步的理解， 能夠根據(jù)自己的設(shè)計(jì)對(duì)貝葉斯決策理論算法有一個(gè)深刻 地認(rèn)識(shí)，理解二類(lèi)分類(lèi)器的設(shè)計(jì)原理?！緦?shí)驗(yàn)原理】最小風(fēng)險(xiǎn)貝葉斯決策可按下列步驟進(jìn)行:在已知，P(X®J，i=1,，c及給出待識(shí)別的X的情況下，根據(jù)貝葉斯公式計(jì)算出后驗(yàn)概率：P(iX)=j=1,，xP(X)P©i)c、P( i)PC i)j3(2) 利用計(jì)算出的后驗(yàn)概率及決策表，按下面的公式計(jì)算出采取 aj,i=l,，a的條件風(fēng)險(xiǎn)cR(ai X)=送丸(ai，灼 j)P®j X ) ,i=1,2,aj 二(3) 對(duì)中得到的a個(gè)條件風(fēng)險(xiǎn)值R(aX),i

2、=1,，a進(jìn)行比較，找出使其條件風(fēng)險(xiǎn)最小的決策ak，即R® x)=j臨盧佃x)則ak就是最小風(fēng)險(xiǎn)貝葉斯決策?！緦?shí)驗(yàn)內(nèi)容】假定某個(gè)局部區(qū)域細(xì)胞識(shí)別中正常()和非正常(2 )兩類(lèi)先驗(yàn)概率分別為正常狀態(tài)：P ()=0.9 ；異常狀態(tài)：P (匕)=0.1?，F(xiàn)有一系列待觀察的細(xì)胞，其觀察值為x:-3.9847 -3.5549-1.2401 -0.9780-0.7932-2.8531-2.7605 -3.7287 -3.5414 -2.2692-3.4549-3.0752-3.99342.8792 -0.9780 0.79321.18823.0682-1.5799 -1.4885 -0.7431

3、 -0.4221-1.11864.2532已知類(lèi)條件概率是的曲線如下圖:p(x|«>1)p(x|2)類(lèi)條件概率分布正態(tài)分布分別為N( -2 , 0.25 )、N( 2,4 )試對(duì)觀察的結(jié)果進(jìn)行分類(lèi)?！緦?shí)驗(yàn)要求】1) 用matlab完成基于最小錯(cuò)誤率的貝葉斯分類(lèi)器的設(shè)計(jì)，要求程序相應(yīng)語(yǔ)句有說(shuō)明文字，要求有子程序的調(diào)用過(guò)程。2) 根據(jù)例子畫(huà)出后驗(yàn)概率的分布曲線以及分類(lèi)的結(jié)果示意圖。3) 如果是最小風(fēng)險(xiǎn)貝葉斯決策，決策表如下：最小風(fēng)險(xiǎn)貝葉斯決策表：、一狀態(tài) 決策國(guó)2a 104a 220請(qǐng)重新設(shè)計(jì)程序，完成基于最小風(fēng)險(xiǎn)的貝葉斯分類(lèi)器，畫(huà)出相應(yīng)的條件風(fēng)險(xiǎn)的分布曲線和分類(lèi)結(jié)果，并比較兩個(gè)結(jié)

4、果?！緦?shí)驗(yàn)程序】最小錯(cuò)誤率貝葉斯決策分類(lèi)器設(shè)計(jì)x=-3.9847-3.5549-1.2401-0.9780-0.7932-2.8531-2.7605-3.7287-3.5414-2.2692-3.4549-3.0752-3.99342.8792-0.97800.79321.18823.0682-1.5799-1.4885-0.7431-0.4221-1.11864.2532 pw1=0.9 ; pw2=0.1e1=-2; a1=0.5e2=2;a2=2m=numel(x) %得到待測(cè)細(xì)胞個(gè)數(shù)pw1_x=zeros(1,m)%存放對(duì) w1的后驗(yàn)概率矩陣pw2_x=zeros(1,m)%存放對(duì)w2

5、的后驗(yàn)概率矩陣results=zeros(1,m) %存放比較結(jié)果矩陣for i = 1:m%計(jì)算在w1下的后驗(yàn)概率pw1_x(i)=(pw1* normpdf(x(i),e1,a1)/(pw1* normpdf(x(i),e1,a1)+pw2* normpdf(x(i),e2,a2)%計(jì)算在w2下的后驗(yàn)概率pw2_x(i)=(pw2* normpdf(x(i),e2,a2)/(pw1* normpdf(x(i),e1,a1)+pw2* normpdf(x(i),e2,a2) endfor i = 1:mif pw1_x(i)>pw2_x(i)%比較兩類(lèi)后驗(yàn)概率result(i)=0 %

6、正常細(xì)胞elseresult(i)=1 %異常細(xì)胞endenda=-5:0.05:5%取樣本點(diǎn)以畫(huà)圖n=nu mel(a)pw1_plot=zeros(1, n)pw2_plot=zeros(1, n)for j=1: npw1_plot(j)=(pw1* normpdf(a(j),e1,a1)/(pw1* normpdf(a(j),e1,a1)+pw2* no rmpdf(a(j),e2,a2)%計(jì)算每個(gè)樣本點(diǎn)對(duì)w1的后驗(yàn)概率以畫(huà)圖pw2_plot(j)=(pw2* normpdf(a(j),e2,a2)/(pw1* normpdf(a(j),e1,a1)+pw2* no rmpdf(a(j

7、),e2,a2) endfigure(1)hold onplot(a,pw1_plot,'k-',a,pw2_plot,'r-.')for k=1:mif result(k)=0plot(x(k),-0.1,'b*') % 正常細(xì)胞用 *表示elseplot(x(k),-0.1,'rp') %異常細(xì)胞用五角星表示en d;en d;legend('正常細(xì)胞后驗(yàn)概率曲線','異常細(xì)胞后驗(yàn)概率曲線','正常細(xì)胞','異常細(xì)胞')xlabel('樣本細(xì)胞的觀察值&#

8、39;)ylabel('后驗(yàn)概率')title('后驗(yàn)概率分布曲線')grid onreturn ;實(shí)驗(yàn)內(nèi)容仿真x = -3.9847 , -3.5549 , -1.2401 , -0.9780 , -0.7932 , -2.8531 ,-2.7605 ,-3.7287 , -3.5414, -2.2692 , -3.4549 , -3.0752, -3.9934 , 2.8792 ,-0.97800.7932 , 1.1882 , 3.0682,-1.5799 ,-1.4885 ,-0.7431 ,-0.4221 , -1.1186 ,4.2532 disp(

9、x)pw1=0.9pw2=0.1result=bayes(x,pw1,pw2)最小風(fēng)險(xiǎn)貝葉斯決策分類(lèi)器設(shè)計(jì)fun ctio n R1_x,R2_x,result=da nger(x,pw1,pw2)m=numel(x) %得到待測(cè)細(xì)胞個(gè)數(shù)R1_x=zeros(1,m)%存放把樣本X判為正常細(xì)胞所造成的整體損失R2_x=zeros(1,m)%存放把樣本X判為異常細(xì)胞所造成的整體損失result=zeros(1,m)%存放比較結(jié)果e1=-2a1=0.5e2=2a2=2%類(lèi)條件概率分布 px_w1: ( -2，0.25) px_w2 ( 2,4)r1仁0r12=2r2仁4r22=0液險(xiǎn)決策表for

10、i=1:m%十算兩類(lèi)風(fēng)險(xiǎn)值R1_x(i)=r11*pw1* normpdf(x(i),e1,a1)/(pw1* normpdf(x(i),e1,a1)+pw2* normpdf(x(i),e 2,a2)+r21*pw2* normpdf(x(i),e2,a2)/(pw1* normpdf(x(i),e1,a1)+pw2* normpdf(x(i),e2 ,a2)R2_x(i)=r12*pw1* normpdf(x(i),e1,a1)/(pw1* normpdf(x(i),e1,a1)+pw2* normpdf(x(i),e 2,a2)+r22*pw2* normpdf(x(i),e2,a2)/

11、(pw1* normpdf(x(i),e1,a1)+pw2* normpdf(x(i),e2 ,a2)end for i=1:mif R2_x(i)>R1_x(i) result(i)=0 elseresult(i)=1end%第二類(lèi)比第一類(lèi)風(fēng)險(xiǎn)大%判為異常細(xì)胞，用1表示%判為正常細(xì)胞(損失較小)，用0表示enda=-5:0.05:5%取樣本點(diǎn)以畫(huà)圖n=nu mel(a)R1_plot=zeros(1, n)R2_plot=zeros(1, n)for j=1: nR1_plot(j)=r11*pw1* normpdf(a(j),e1,a1)/(pw1* normpdf(a(j),e1,

12、a1)+pw2* normpdf(a(j ),e2,a2)+r21*pw2* normpdf(a(j),e2,a2)/(pw1* normpdf(a(j),e1,a1)+pw2* normpdf(a(j) ,e2,a2)R2_plot(j)=r12*pw1* normpdf(a(j),e1,a1)/(pw1* normpdf(a(j),e1,a1)+pw2* normpdf(a(j ),e2,a2)+r22*pw2* normpdf(a(j),e2,a2)/(pw1* normpdf(a(j),e1,a1)+pw2* normpdf(a(j) ,e2,a2)%十算各樣本點(diǎn)的風(fēng)險(xiǎn)以畫(huà)圖end f

13、igure(1)hold onplot(a,R1_plot,'b-',a,R2_plot,'g*-')for k=1:mif result(k)=0plot(x(k),-0.1,'bA')%正常細(xì)胞用上三角表示elseplot(x(k),-0.1,'go')%異常細(xì)胞用圓表示en d;en d;lege nd('正常細(xì)胞','異常細(xì)胞','Location','Best')xlabel('細(xì)胞分類(lèi)結(jié)果')ylabel('條件風(fēng)險(xiǎn)')ti

14、tle('風(fēng)險(xiǎn)判決曲線')grid onreturn實(shí)驗(yàn)內(nèi)容仿真x = -3.9847, -3.5549 ,-1.2401,-0.9780,-0.7932-2.8531 ,-2.7605 , -3.7287 , -3.5414 , -2.2692 , -3.4549 , -3.0752 ,-3.9934,2.8792, -0.9780,0.7932,1.1882,3.0682,-1.5799-1.4885 , -0.7431 , -0.4221 , -1.1186 , 4.2532 disp(x)pw1=0.9pw2=0.1R1_x,R2_x,result=da nger(x,

15、pw1,pw2)【實(shí)驗(yàn)結(jié)果和數(shù)據(jù)】最小錯(cuò)誤率貝葉斯決策后驗(yàn)概率曲線與判決結(jié)果在一張圖上：后驗(yàn)概率曲線如圖所示，帶*的綠色曲線為判決成異常細(xì)胞的后驗(yàn)概率曲線；另一條平滑的藍(lán)色曲線為判為正常細(xì)胞的后驗(yàn)概率曲線。根據(jù)最小錯(cuò)誤概率準(zhǔn)則，判決結(jié)果見(jiàn)曲線下方，其中“上三角”代表判決為正常細(xì)胞，“圓圈”代表異常細(xì)胞。各細(xì)胞分類(lèi)結(jié)果：0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 1 1 1 0 0 0 1 0 10為判成正常細(xì)胞，1為判成異常細(xì)胞1.2Lu.ll uai 山muujimiALuuiiiiMjlUuWJuJlik*/1f正常細(xì)胞 異常細(xì)胞*11Lr1J1-七1-X- |k-.1 l

16、.l 1AZKX/JCs后驗(yàn)概率分布曲線1-4-3-2 -10 1 2細(xì)胞的觀察值3458 6 4 2 00 0 0 0率概驗(yàn)后-5圖1基于最小錯(cuò)誤率的貝葉斯判決最小風(fēng)險(xiǎn)貝葉斯決策風(fēng)險(xiǎn)判決曲線如圖2所示，其中帶*的綠色曲線代表異常細(xì)胞的條件風(fēng)險(xiǎn)曲線；另一條光滑的藍(lán)色曲線為判為正常細(xì)胞的條件風(fēng)險(xiǎn)曲線。根據(jù)貝葉斯最小風(fēng)險(xiǎn)判決準(zhǔn)則，判決結(jié)果見(jiàn)曲線下方，其中“上三角”代表判決為正常細(xì)胞，“圓圈“代表異常細(xì)胞。各細(xì)胞分類(lèi)結(jié)果：1 0 0 0 0 0 0 0 0 0 0 0 1 1 0 1 1 1 0 0 0 1 0 1其中，0為判成正常細(xì)胞，1為判成異常細(xì)胞J!I IIr r I正常細(xì)胞異常細(xì)胞I IL

17、lIUIU IMLl ilUJilf*r 士|七IX,./ ¥Flint也 j| itl iw |AA風(fēng)險(xiǎn)判決曲線5352515 O3 210險(xiǎn)風(fēng)件條-5-4-3-2-1012345細(xì)胞分類(lèi)結(jié)果圖2基于最小風(fēng)險(xiǎn)的貝葉斯判決【實(shí)驗(yàn)分析】由最小錯(cuò)誤率的貝葉斯判決和基于最小風(fēng)險(xiǎn)的貝葉斯判決得出的圖形中的分類(lèi)結(jié)果可以看出，樣本-3.9934、-3.9847在前者中被分為“正常細(xì)胞”，在后者中被分為“異常細(xì)胞”， 分類(lèi)結(jié)果截然不同。因?yàn)樵诮o予最小風(fēng)險(xiǎn)的貝葉斯判決中，影響決策結(jié)果的因素多了一個(gè) “損失”。可以看出，在圖1中，這兩個(gè)樣本點(diǎn)下兩類(lèi)決策的后驗(yàn)概率相差很小，當(dāng)結(jié)合最小風(fēng) 險(xiǎn)貝葉斯決策表進(jìn)

18、行計(jì)算時(shí)，“損失”就起了主導(dǎo)作用，導(dǎo)致出現(xiàn)了相反的結(jié)果。另外，最小錯(cuò)誤率貝葉斯決策就是在0-1損失函數(shù)條件下的最小風(fēng)險(xiǎn)貝葉斯決策，即前者是后者的特例。實(shí)驗(yàn)二基于Fisher準(zhǔn)則線性分類(lèi)器設(shè)計(jì)【實(shí)驗(yàn)?zāi)康摹勘緦?shí)驗(yàn)旨在讓同學(xué)進(jìn)一步了解分類(lèi)器的設(shè)計(jì)概念，能夠根據(jù)自己的設(shè)計(jì)對(duì)線性分類(lèi)器有更深刻地認(rèn)識(shí)，理解Fisher準(zhǔn)則方法確定最佳線性分界面方法的原理，以及Lagrande乘子求解的原理?！緦?shí)驗(yàn)條件】Matlab軟件【實(shí)驗(yàn)原理】線性判別函數(shù)的一般形式可表示成g (X) = WTX w0其中XiW =w<wd>X 二根據(jù)Fisher選擇投影方向W的原則，即使原樣本向量在該方向上的投影能兼顧類(lèi)間

19、分布盡可能分開(kāi)，類(lèi)內(nèi)樣本投影盡可能密集的要求，用以評(píng)價(jià)投影方向W的函數(shù)為:* * 2Jf(w)(m -m2) 2 2Si2 S2W Sw1 (mm2)上面的公式是使用 Fisher準(zhǔn)則求最佳法線向量的解，該式比較重要。另外，該式這種 形式的運(yùn)算，我們稱(chēng)為線性變換，其中mi - m2式一個(gè)向量，SW1是Sw的逆矩陣，如m - m2 是d維，Sw和SW1都是dx d維，得到的 W*也是一個(gè)d維的向量。向量W*就是使Fisher準(zhǔn)則函數(shù)JF(W)達(dá)極大值的解，也就是按Fisher準(zhǔn)則將d維X 空間投影到一維 Y空間的最佳投影方向，該向量W*的各分量值是對(duì)原 d維特征向量求加權(quán)和的權(quán)值。以上討論了線性

20、判別函數(shù)加權(quán)向量W的確定方法，并討論了使Fisher準(zhǔn)則函數(shù)極大的d維向量W*的計(jì)算方法，但是判別函數(shù)中的另一項(xiàng)W。尚未確定，一般可采用以下幾種方法確定W0如W0 二m1m2或者WNEl N2m2 /N<hN2或當(dāng)p( ')1與PC-)2已知時(shí)可用rm<hi2 In lp©i)/p2)W0 =2Nj+N2-2當(dāng)W確定之后，則可按以下規(guī)則分類(lèi)，WT X -w0X 三“W X - Wo > X 2使用Fisher準(zhǔn)則方法確定最佳線性分界面的方法是一個(gè)著名的方法，盡管提出該方法 的時(shí)間比較早，仍見(jiàn)有人使用?！緦?shí)驗(yàn)程序】function fisher%可仲數(shù)據(jù)點(diǎn)的坐

21、標(biāo)x1 =0.23311.52070.64990.77571.05241.19740.29080.25180.66820.56220.90230.1333-0.54310.9407-0.21260.0507-0.08100.73150.33451.0650-0.02470.10430.31220.66550.58381.16531.26530.8137-0.33990.51520.7226-0.20150.4070-0.1717-1.0573-0.2099;x2 =2.3385i 2.19461.6730)1.6365i 1.78442.01552.06812.12132.47971.5118

22、1.96921.83401.87042.29481.77142.39391.56481.93292.20272.45681.75231.69912.48831.72592.04662.02262.37571.79872.08282.07981.94492.38012.23732.16141.92352.2604;x3 =0.5338I 0.85141.08310.4164-1.1176i 0.55360.60710.44390.49280.59011.09271.07561.00720.42720.43530.98690.48411.09921.02990.71271.01240.45760.

23、85441.12750.77050.41291.00850.76760.84180.87840.97510.78400.41581.03150.75330.9548;%各x1、x2、x3變?yōu)樾邢蛄縳1=x1(:);x2=x2(:);x3=x3(:);%十算第一類(lèi)的樣本均值向量mlm1(1)=mea n(x1);m1(2)=mea n( x2);m1(3)=mea n(x3);%十算第一類(lèi)樣本類(lèi)內(nèi)離散度矩陣S1S1=zeros(3,3);for i=1:36S仁 S1+-m1(1)+x1(i)-m1(2)+x2(i)-m1(3)+x3(i)'*-m1(1)+x1(i)-m1(3)+x3(

24、i);end%w2的數(shù)據(jù)點(diǎn)坐標(biāo)x4 =1.40101.23012.08141.16551.37401.18291.76321.97392.41522.58902.84721.95391.25001.28641.26142.00712.18311.79091.33221.14661.70871.59202.93531.46642.93131.83491.83402.50962.71982.31482.03532.60301.23272.14651.56732.9414;x5 =1.0298i 0.96110.91541.49010.820C1 0.93991.14051.06780.80501.

25、28891.46011.43340.70911.29421.37440.93871.22661.18330.87980.55920.51500.99830.91200.71261.28331.10291.26800.71401.24461.33921.18080.55031.47081.14350.76791.1288;x6 =0.621011.3656i 0.5498 0.6708i 0.8932:1.43420.95080.73240.57841.49431.09150.76441.21591.30491.14080.93980.61970.66031.39281.40840.69090.

26、84000.53811.37290.77310.73191.34390.81420.95860.73790.75480.73930.67390.86511.36991.1458;x4=x4(:);x5=x5(:);x6=x6(:);%十算第二類(lèi)的樣本均值向量m2m2(1)=mea n( x4);m2(2)=mea n(x5);m2(3)=mea n( x6);%十算第二類(lèi)樣本類(lèi)內(nèi)離散度矩陣S2S2=zeros(3,3);for i=1:36S2=S2+-m2(1)+x4(i)-m2(2)+x5(i)-m2(3)+x6(i)'*-m2(1)+x4(i)-m2( 3)+x6(i);-m1(

27、2)+x2(i)-m2(2)+x5(i)end%總類(lèi)內(nèi)離散度矩陣 SwSw=zeros(3,3);Sw=S1+S2;%羊本類(lèi)間離散度矩陣 SbSb=zeros(3,3);Sb=(m1-m2)'*(m1-m2);%最優(yōu)解WW=SwA-1*(m1-m2)'%將W變?yōu)閱挝幌蛄恳苑奖阌?jì)算投影W=W/sqrt(sum(W.A2);%十算一維Y空間中的各類(lèi)樣本均值M1及M2for i=1:36y(i)=W*x1(i) x2(i) x3(i)'endM仁 mea n(y)for i=1:36y(i)=W*x4(i) x5(i) x6(i)'endM2=mea n(y)%利用當(dāng)

28、P(w1)與P(w2)已知時(shí)的公式計(jì)算 W0p1=0.6;p2=0.4;W0=-(M1+M2)/2+(log(p2/p1)/(36+36-2);%十算將樣本投影到最佳方向上以后的新坐標(biāo)X1=x1*W(1)+x2*W(2)+x3*W(3)'X2=x4*W(1)+x5*W(2)+x6*W(3)'%尋到投影長(zhǎng)度XX仁W(1)*X1;W(2)*X1;W(3)*X1;XX2=W(1)*X2;W(2)*X2;W(3)*X2;%尋到新坐標(biāo)%繪制樣本點(diǎn)figure(1)plot3(x1,x2,x3,'r*')%第一類(lèi)hold onplot3(x4,x5,x6,'bp')%第二類(lèi)legend('第一類(lèi)點(diǎn)','第二類(lèi)點(diǎn)')title('Fisher線性判別曲線')W1=5*W;%畫(huà)出最佳方向lin e(-W1(1),W1(1),-W1(2),W1(2),-W1(3),W1(3),'color','b');%判別已給點(diǎn)的分類(lèi)a1=1,1.5,0.6'a2=1.2,1.0,0.55'a3=2.0,0.9,0.68'a4=1.2,1.5,0.89'a5=0.