設(shè)計(jì)一貝葉斯最小錯(cuò)誤率分類器設(shè)計(jì)

1、實(shí)驗(yàn)報(bào)告課程名稱模式識(shí)別實(shí)驗(yàn)名稱貝葉斯實(shí)驗(yàn)儀器學(xué) 院自動(dòng)化班 級(jí)姓名/學(xué)號(hào)實(shí)驗(yàn)日期成 績指導(dǎo)教師設(shè)計(jì)一貝葉斯最小錯(cuò)誤率分類器設(shè)計(jì)一、實(shí)驗(yàn)?zāi)康?1) 通過本次綜合設(shè)計(jì)，了解模式識(shí)別的基本原理、貝葉斯最小錯(cuò)誤率分類 器的原理。(2) 本實(shí)驗(yàn)旨在讓同學(xué)對(duì)模式識(shí)別有一個(gè)初步的理解，能夠根據(jù)自己的設(shè)計(jì) 對(duì)貝葉斯決策理論算法有一個(gè)深刻地認(rèn)識(shí)，理解二類分類器的。二、實(shí)驗(yàn)設(shè)備及條件matlab軟件三、實(shí)驗(yàn)原理分類是一項(xiàng)非?；竞椭匾娜蝿?wù)，并有著極其廣泛的應(yīng)用。分類是利用預(yù)定的已分類數(shù)據(jù)集構(gòu)造出一個(gè)分類函數(shù)或分類模型(也稱作分類器)，并利用該模型把未分類數(shù)據(jù)映射到某一給定類別中的過程。分類器的構(gòu)造方法很多，主

2、要包括規(guī)則歸納、決策樹、 貝葉斯、神經(jīng)網(wǎng)絡(luò)、粗糙集、以及支持向量機(jī)(SVM)等方法。其中貝葉斯分類方法建立在貝葉斯統(tǒng)計(jì)學(xué)v1和貝葉斯網(wǎng)絡(luò)S1基礎(chǔ)上，能夠有效地處理不完整數(shù)據(jù)， 并且具有模型可解釋、精度高等優(yōu)點(diǎn)，而被認(rèn)為是最優(yōu)分類模型之一9。尤其是最早的樸素貝葉斯分類器101雖然結(jié)構(gòu)簡(jiǎn)單，但在很多情況下卻具有相當(dāng)高的分類精 度，可以達(dá)到甚至超過其它成熟算法如c4.5l '的分類精度，而且對(duì)噪聲數(shù)據(jù)具有很強(qiáng)的抗干擾能力。因此，對(duì)貝葉斯分類算法的深入研究，無論對(duì)其理論的發(fā)展， 還是在實(shí)際中的應(yīng)用，都具有很重要的意義。貝葉斯分類器的分類原理是通過某對(duì)象的先驗(yàn)概率，利用貝葉斯公式計(jì)算出其后驗(yàn)概

3、率，即該對(duì)象屬于某一類的概率，選擇具有最大后驗(yàn)概率的類作為該對(duì)象所屬的類。目前研究較多的貝葉斯分類器主要有四種，分別是：Naive Bayes、TAN、BAN和GBN。貝葉斯網(wǎng)絡(luò)是一個(gè)帶有概率注釋的有向無環(huán)圖，圖中的每一個(gè)結(jié)點(diǎn)均表示一個(gè)隨機(jī)變量圖中兩結(jié)點(diǎn)間若存在著一條弧，則表示這兩結(jié)點(diǎn)相對(duì)應(yīng)的隨機(jī)變量是概率相依的，反之則說明這兩個(gè)隨機(jī)變量是條件獨(dú)立的。網(wǎng)絡(luò)中任意一個(gè)結(jié)點(diǎn)X均有一個(gè)相應(yīng)的條件概率表(Conditional Probability Table ，CPT)，用以表示結(jié)點(diǎn) X在其父結(jié)點(diǎn)取各可能值時(shí)的條件概 率。若結(jié)點(diǎn)X無父結(jié)點(diǎn)，則X的CPT為其先驗(yàn)概率分布。貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)及各結(jié)點(diǎn)的

4、CPT定義了網(wǎng)絡(luò)中各變量的概率分布。貝葉斯分類器是用于分類的貝葉斯網(wǎng)絡(luò)。該網(wǎng)絡(luò)中應(yīng)包含類結(jié)點(diǎn)C，其中C的取值來自于類集合(c1 , c2 , . , cm)，還包含一組結(jié)點(diǎn) X = ( X1 , X2 , . , Xn)，表示用于分類的特 征。對(duì)于貝葉斯網(wǎng)絡(luò)分類器，若某一待分類的樣本 D，其分類特征值為x = ( x1 , x2 , . , x n)，則樣本 D 屬于類別 ci 的概率 P( C = ci | X1 = x1 , X2 = x 2 , . , Xn = x n) ， ( i = 1 ,2 , . , m)應(yīng)滿足下式：P( C = ci | X = x) = Max P( C =

5、 c1 | X = x) , P( C = c2 | X = x ) , . , P( C = cm | X = x ) 而由貝葉斯公式：P( C = ci | X = x) = P( X = x | C = ci) * P( C = ci) / P( X = x)其中，P( C = ci)可由領(lǐng)域?qū)＜业慕?jīng)驗(yàn)得到，而P( X = x | C = ci) 和P( X = x)的計(jì)算則較困難。應(yīng)用貝葉斯網(wǎng)絡(luò)分類器進(jìn)行分類主要分成兩階段。第一階段是貝葉斯網(wǎng)絡(luò)分類器的學(xué)習(xí)， 即從樣本數(shù)據(jù)中構(gòu)造分類器，包括結(jié)構(gòu)學(xué)習(xí)和CPT學(xué)習(xí)；第二階段是貝葉斯網(wǎng)絡(luò)分類器的推理，即計(jì)算類結(jié)點(diǎn)的條件概率，對(duì)分類數(shù)據(jù)進(jìn)行分類

6、。這兩個(gè)階段的時(shí)間復(fù)雜性均取決于特征值間的依賴程度，甚至可以是NP完全問題，因而在實(shí)際應(yīng)用中，往往需要對(duì)貝葉斯網(wǎng)絡(luò)分類器進(jìn)行簡(jiǎn)化。根據(jù)對(duì)特征值間不同關(guān)聯(lián)程度的假設(shè)，可以得出各種貝葉斯分類器，Naive Bayes、TAN、BAN、GBN就是其中較典型、研究較深入的貝葉斯分類器。貝葉斯網(wǎng)絡(luò)分類器是一種典型的基于統(tǒng)計(jì)方法的分類模型。它以貝葉斯定理為理論基礎(chǔ)，巧妙地將事件的先驗(yàn)概率與后驗(yàn)概率聯(lián)系起來，利用先驗(yàn)信息和樣本數(shù)據(jù)確定事件的后驗(yàn)概率。錯(cuò)誤率最小的貝葉斯分類器設(shè)計(jì)思想是尋找一種劃分方式，使“錯(cuò)判”率最小。四、實(shí)驗(yàn)內(nèi)容與步驟(1) 實(shí)驗(yàn)內(nèi)容：假定某個(gè)局部區(qū)域細(xì)胞識(shí)別中正常()和非正常()兩類先驗(yàn)

7、概率分別 為正常狀態(tài)：P( )=0.9 ；異常狀態(tài)：P()=0.1 o現(xiàn)有一系列待觀察的細(xì)胞，其觀察值為：-3.9847 -3.5549-1.2401 -0.9780 -0.7932-2.8531-2.7605 -3.7287 -3.5414 -2.2692 -3.4549 -3.0752-3.99342.8792 -0.9780 0.7932 1.1882 3.0682-1.5799 -1.4885 -0.7431 -0.4221 -1.11864.2532已知類條件概率的曲線如下圖：類條件概率分布正態(tài)分布分別為(-2 , 0.25 ) (2,4 )試對(duì)觀察的結(jié)果進(jìn)行分類。(2) 最小風(fēng)險(xiǎn)貝

8、葉斯決策可按下列步驟進(jìn)行：(1) 在已知P(Wi) , P(X|Wi) , i=1, , , c及給出待識(shí)別的X的情況下，根據(jù)貝葉斯公 式計(jì)算出后驗(yàn)概率：j=1, , x(2) 利用計(jì)算出的后驗(yàn)概率及決策表，根據(jù)貝葉斯公式計(jì)算。(3) 對(duì) 中得到的a個(gè)條件風(fēng)險(xiǎn)值,i=1, , , a進(jìn)行比較，找出使其條件風(fēng)險(xiǎn)最小的 決策，即則就是最小風(fēng)險(xiǎn)貝葉斯決策。五、實(shí)驗(yàn)報(bào)告要求1) 用matlab完成基于最小錯(cuò)誤率的貝葉斯分類器的設(shè)計(jì)，要求程序相應(yīng)語句有說明文字，要求有子程序的調(diào)用過程。2）根據(jù)例子畫出后驗(yàn)概率的分布曲線以及分類的結(jié)果示意圖。3）如果是最小風(fēng)險(xiǎn)貝葉斯決策，決策表如下：最小風(fēng)險(xiǎn)貝葉斯決策表：

9、狀態(tài)決策a 104a 220請(qǐng)重新設(shè)計(jì)程序，完成基于最小風(fēng)險(xiǎn)的貝葉斯分類器，畫出相應(yīng)的條件風(fēng)險(xiǎn)的分布曲線和分類結(jié)果，并比較兩個(gè)結(jié)果。4）根據(jù)課程設(shè)計(jì)結(jié)果，編寫課程設(shè)計(jì)報(bào)告。在報(bào)告中應(yīng)寫出設(shè)計(jì)的方法、步驟、控制方案、實(shí)驗(yàn)接線圖、實(shí)驗(yàn)結(jié)果。5）實(shí)驗(yàn)報(bào)告成績?cè)u(píng)分標(biāo)準(zhǔn)（1）實(shí)驗(yàn)成績：實(shí)驗(yàn)考勤（10%） +實(shí)驗(yàn)動(dòng)手情況（20%） +實(shí)驗(yàn)報(bào)告（70%）;（2）實(shí)驗(yàn)報(bào)告評(píng)分標(biāo)準(zhǔn)：書面整潔規(guī)范（10%） +實(shí)驗(yàn)內(nèi)容（90%）（3）實(shí)驗(yàn)內(nèi)容：實(shí)驗(yàn)?zāi)康模?%） +實(shí)驗(yàn)器材（5%） +實(shí)驗(yàn)原理（10%） +實(shí)驗(yàn)步驟及方法（10%） +實(shí)驗(yàn)數(shù) 據(jù)處理（40%） +思考題（30%）（4）實(shí)驗(yàn)數(shù)據(jù)處理：數(shù)據(jù)表（30%）

10、+最小二乘法（30%） +圖形（20%） +結(jié)論（20%）最小二乘法：手算（50%） +matlab編程（50%）圖形：坐標(biāo)紙畫出離散點(diǎn)和擬合圖形或用matlab生成圖形打?。?）思考題：思考題：實(shí)驗(yàn)指導(dǎo)書（30%） +實(shí)驗(yàn)課堂留的（30%） +正確性（40%）六、思考題附參考算法代碼和實(shí)驗(yàn)參考結(jié)果:close 注11.clear all.K=-S:0. 0001:6;pvl=0- 9;pw2=C. 1 ；ul=-2; si£l=a. 25;u2=2 ;si?2=4 ；酸設(shè)置采樣范圍及精度畫設(shè)蚩発驗(yàn)槪率機(jī)匚置炎迄件概率“4布遂救yl=(l./sqrt (2*pi*si«l)

11、*«aussmf (X, sqrt (eigl) ul>:K計(jì)算類別一(正常細(xì)胞)的糞爭(zhēng)件槪率分布 y2=(l./sqrt (2*pi*5i2)*«aus£mf sqrt (sig2) u2) ;%計(jì)Sf真別二(異制fl胞)的糞條件槪率分布 Kfiiursd)Kplot XyLX, y2);subplot (3, lj 1) ;plot (I,yl, b： , Xj r-)；title件概率片布曲線J；legend(n正常賽B馳S'異常細(xì)胞)；Pl=pwl*yL/(pwl*yl+pw2*y2);P 2=p<2 *y2. / (pw L *y 1

12、 +pw2 *y2),KfigurS(2);subplot (3, 1,2); plot (爲(wèi) Pl,; 后鯊概率外布曲線J;"滬nd正常細(xì)胞S'異常細(xì)胞)；xj y = g input (2);s amplest eat read (' test, txt1,' %fr)由讀入禪本 Samplewl=ieros(lj length(sanple);sample -3. 9841-3. 5545-1.2401-0.9780-0. 7932-2. S531-比 7605-3.7237-3. 5414-2, 2692-3,4543-3. 0752-3, 99342

13、. 8792-0. B78D0.70321.18823. 0682-L5793-1.4885-0. 7431-0.42217 11S64.2E32 a=l;b=l :for n= 1:24if (sample (n)(1)6 (sample (n) <=k (2)sanplewl(a)=sample(n);a=a+l;elsesamplers (b)=sample (n);b=b+l;endendsanplewh ssjnplew2;subplot (3f lj 2) tplot 仕,Pb L b:'X-'j samplewL, 0, 5» jho,、sajup

14、le, 0. 6, ' c* )(titleC后驗(yàn)概率分布曲線J;血enM正常細(xì)胞'，異常細(xì)胞J；f=0 4；2 0；賈設(shè)置風(fēng)險(xiǎn)矩陳81=1(1, l)*Fl+f Clj 2)*P2；R2=f (2, l)*Pl-kf (2?2)*P2;subplot (爲(wèi) lj 3)；plotR2J r-)；tit let*鳳險(xiǎn)曲線>legendC正常細(xì)胞'/異常細(xì)胞);pj ql = ginput (2):c= 1; d= 1;for n=1:24if (sanple Cn)>=p(l) )&&. (sanple(n)<=p)sampler 1(c

15、) = sample(n) bc=c+l;elsesajwpler2 (d)=£ajnple(n):d= d+1 ；endendsubplot (3,3);plot Qj KU b: Xj R2j r- a samplerl, 2 £ ' no' j sampler2j 2. 5, T c* ); titled風(fēng)險(xiǎn)曲線')；Legend(-正當(dāng)細(xì)胞；異常細(xì)胞');運(yùn)行結(jié)果示意:oliiI Succcri*Binymu *ni mltil E> Ei 田Miii刃小<3l I. J).p«C «. RJ J b.

16、 .LIE/ h lup«tl. LL'k 3«apLL 去 4.'丹.)X Hrri4 苗 dvp4nftao4J=wi 3. pSIlTeirii _L kdvihjrM C |«4«|伺 回 lad>l二血 fitJ nulhhJr:* rTMllabjma 'mbuldlkMt rTMfihun rrwtpl 石 rmird.bil u_ 他.，nw*MlP"：. mp h-wf -.-i： 544 KTt3iJ»d-J3K vorknr.bat雷HWiHW-H>BCS5< r

17、63;p+ 證i期吐_皆二EM皆KftQQ刪erm 帀黔«E5ttA?；RAw«凱幣就皆SfeZ ST；nsSWS±d!-皆ABen學(xué)丐.1.U- Lj 3Hew "- ffle® ,ci - *nj0CuffWnFoMM>UpJ«Ed.!lli-=3UCJ« inP. d-W."E >：-.» *O!3* PWoikceNum 中-Lctfnnurdi Histcxy5-HpLer?W-Mn>LeiiiEhtt-Lran-馳Hh#*-Lqfn«rE»air.>SNF：i:nfepLvtti, 1.31 j: x-l-iUEl.'b-*, t LtlirHIfiHEf F： IvinuIC irMJBII'. 'Sl【實(shí)驗(yàn)分析與說明】類條件概率分布曲線根據(jù)事先給定的正態(tài)分布參數(shù)正常細(xì)胞(-2