貝葉斯分類器

1、劉振峰內(nèi)容 數(shù)學(xué)知識 幾種常用的決策準(zhǔn)則 判別函數(shù)、決策面與分類器設(shè)計1.概率論基本知識 確定事件：概念是確定的，發(fā)生也是確定的； 隨機(jī)事件：概念是確定的，發(fā)生是不確定的； 模糊事件：概念本身就不確定。隨機(jī)變量 隨機(jī)變量：隨機(jī)事件的數(shù)量表示； 離散隨機(jī)變量：取值為離散的隨機(jī)變量 ； 連續(xù)隨機(jī)變量：取值為連續(xù)的隨機(jī)變量 ；頻率和概率 頻率：試驗在相同的條件下重復(fù)N次，其中M次事件A發(fā)生，則A發(fā)生的頻率為：fN(A) = M / N； 概率：當(dāng)N很大時，頻率會趨向一個穩(wěn)定值，稱為A的概率： limNNPAf A 聯(lián)合概率和條件概率 聯(lián)合概率聯(lián)合概率：設(shè)A，B是兩個隨機(jī)事件，A和B同時發(fā)生的概率稱為

2、聯(lián)合概率，記為：P(A, B)； 條件概率條件概率：在B事件發(fā)生的條件下，A事件發(fā)生的概率稱為條件概率，記為：P(A|B)； 乘法定理乘法定理：P(A|B) = P(A, B) / P(B)。 概率密度函數(shù) 概率分布函數(shù)概率分布函數(shù)：設(shè)X為連續(xù)型隨機(jī)變量，定義分布函數(shù)；F(x) = P(Xx)； 概率密度函數(shù)：概率密度函數(shù)：給定X是隨機(jī)變量，如果存在一個非負(fù)函數(shù)f(x)，使得對任意實數(shù)a,b(ab)有 P（aXb) = f(x)dx, （積分下限是a,上限是b) ，則稱f(x)為X的概率密度函數(shù)貝葉斯公式P( cj|x) =P(x|cj)P(cj)P(x)u 先驗概率P(cj)u 聯(lián)合概率P(

3、x|cj)u 后驗概率P(cj|x) P(cj)代表還沒有訓(xùn)練數(shù)據(jù)前，cj擁有的初始概率。P(cj)常被稱為cj的先驗概率(prior probability) ，它反映了我們所擁有的關(guān)于cj是正確分類機(jī)會的背景知識,它應(yīng)該是獨立于樣本的。 如果沒有這一先驗知識，那么可以簡單地將每一候選類別賦予相同的先驗概率。不過通常我們可以用樣例中屬于cj的樣例數(shù)|cj|比上總樣例數(shù)|D|來近似，即jj|c |P(c )= |D | 聯(lián)合概率是指當(dāng)已知類別為cj的條件下，看到樣本x出現(xiàn)的概率。 若設(shè)x = 則P(x|cj)= P(a1,a2am| cj) 即給定數(shù)據(jù)樣本x時cj成立的概率,而這正是我們所感興

4、趣的 P(cj|x )被稱為C的后驗概率（posterior probability），因為它反映了在看到數(shù)據(jù)樣本x后cj成立的置信度2.幾種常用的決策準(zhǔn)則 不同的決策規(guī)則反映了分類器設(shè)計者的不同考慮，對決策結(jié)果有不同的影響。其中最有代表性的是: 基于最小錯誤率的貝葉斯決策 基于最小風(fēng)險的貝葉斯決策額2.1基于最小錯誤率的貝葉斯決策 分類器中為什么會有錯分類，在何種情況下會出現(xiàn)錯分類？錯分類的可能性會有多大？ 當(dāng)某一特征向量X只為某一類物體所特有，即 對其作出決策是容易的，也不會出什么差錯。問題在于出現(xiàn)模凌兩可的情況。此時，任何決策都存在判錯的可能性。 條件概率：P(*|#)是條件概率的通用符

5、號，P(wk|X)是表示在X出現(xiàn)條件下，樣本為wk類的概率。 基于最小錯誤率的貝葉斯決策 基于最小錯誤概率的貝葉斯決策理論就是按后驗概率的大小作判決的（1）后驗概率: 如果 則 (2)如果 則(3)似然比： 如果 則 否則 如果 則 否則(4)似然比寫成相應(yīng)的負(fù)對數(shù)形式例題1 假設(shè)在某地區(qū)切片細(xì)胞中正常（w1）和異常（w2）兩類的先驗概率分別為p(w1)=0.9, p(w2)=0.1?，F(xiàn)有一待識別細(xì)胞呈現(xiàn)出狀態(tài) x，由其類條件概率密度分布曲線查的p(x|w1)=0.2,p(x|w2)=0.4,試對細(xì)胞x進(jìn)行分類。例題1解答 利用貝葉斯公式，分別計算出狀態(tài)為x時w1與w2的后驗概率基于最小錯誤率的貝葉斯決策的證明 平均錯誤率:在觀測值可能取值的整個范圍內(nèi)錯誤率的均值兩類判別情況 當(dāng)p(w2|x)p(w1|x)時決策為w2，對觀測值x有 p(w1|x)概率的錯誤率R1:做出w1決策的所有觀測值區(qū)域，條件錯誤概率為p(w2|x)R2:條件錯誤概率為p(w1|x)。因此平均錯誤率p(e)可表示成 在R1內(nèi)任一個x值都有p(w2|x)p(w1|x)，在R2區(qū)內(nèi)任一個x值都有p(w1|x)gj(x) i,j=1,2 且i不等于j， 則x屬于wi多類別情況決策規(guī)則： 如果 則將x歸于wi類 決策面 當(dāng)wi的決策域與wj的決策域相鄰時，一下關(guān)系決定了相應(yīng)的決策面