樸素貝葉斯模型課件

樸素貝葉斯模型2017-06-09分類模型最為廣泛的兩種分類模型是決策樹模型(DecisionTreeModel)和樸素貝葉斯模型（NaiveBayesianModel，NBM）樸素貝葉斯模型樸素貝葉斯法是基于貝葉斯定理與特征條件獨(dú)立假設(shè)的分類方法生活中很多場(chǎng)合需要用到分類，比如新聞分類、病人分類等等。詳細(xì)內(nèi)容分類是將一個(gè)未知樣本分到幾個(gè)預(yù)先已知類的過程。數(shù)據(jù)分類問題的解決是一個(gè)兩步過程：第一步,建立一個(gè)模型，描述預(yù)先的數(shù)據(jù)集或概念集。通過分析由屬性描述的樣本（或?qū)嵗?，?duì)象等）來構(gòu)造模型。假定每一個(gè)樣本都有一個(gè)預(yù)先定義的類，由一個(gè)被稱為類標(biāo)簽的屬性確定。為建立模型而被分析的數(shù)據(jù)元組形成訓(xùn)練數(shù)據(jù)集，該步也稱作有指導(dǎo)的學(xué)習(xí)。在眾多的分類模型中，應(yīng)用最為廣泛的兩種分類模型是決策樹模型(DecisionTreeModel)和樸素貝葉斯模型（NaiveBayesianModel，NBC）。決策樹模型通過構(gòu)造樹來解決分類問題。首先利用訓(xùn)練數(shù)據(jù)集來構(gòu)造一棵決策樹，一旦樹建立起來，它就可為未知樣本產(chǎn)生一個(gè)分類。在分類問題中使用決策樹模型有很多的優(yōu)點(diǎn)，決策樹便于使用，而且高效；根據(jù)決策樹可以很容易地構(gòu)造出規(guī)則，而規(guī)則通常易于解釋和理解；決策樹可很好地?cái)U(kuò)展到大型數(shù)據(jù)庫中，同時(shí)它的大小獨(dú)立于數(shù)據(jù)庫的大?。粵Q策樹模型的另外一大優(yōu)點(diǎn)就是可以對(duì)有許多屬性的數(shù)據(jù)集構(gòu)造決策樹。決策樹模型也有一些缺點(diǎn)，比如處理缺失數(shù)據(jù)時(shí)的困難，過度擬合問題的出現(xiàn)，以及忽略數(shù)據(jù)集中屬性之間的相關(guān)性等。和決策樹模型相比，樸素貝葉斯分類器(NaiveBayesClassifier,或NBC)發(fā)源于古典數(shù)學(xué)理論，有著堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)，以及穩(wěn)定的分類效率。同時(shí)，NBC模型所需估計(jì)的參數(shù)很少，對(duì)缺失數(shù)據(jù)不太敏感，算法也比較簡(jiǎn)單。理論上，NBC模型與其他分類方法相比具有最小的誤差率。但是實(shí)際上并非總是如此，這是因?yàn)镹BC模型假設(shè)屬性之間相互獨(dú)立，這個(gè)假設(shè)在實(shí)際應(yīng)用中往往是不成立的，這給NBC模型的正確分類帶來了一定影響。解決這個(gè)問題的方法一般是建立一個(gè)屬性模型,對(duì)于不相互獨(dú)立的屬性,把他們單獨(dú)處理。例如中文文本分類識(shí)別的時(shí)候，我們可以建立一個(gè)字典來處理一些詞組。如果發(fā)現(xiàn)特定的問題中存在特殊的模式屬性，那么就單獨(dú)處理。這樣做也符合貝葉斯概率原理，因?yàn)槲覀儼岩粋€(gè)詞組看作一個(gè)單獨(dú)的模式，例如英文文本處理一些長度不等的單詞，也都作為單獨(dú)獨(dú)立的模式進(jìn)行處理，這是自然語言與其他分類識(shí)別問題的不同點(diǎn)。實(shí)際計(jì)算先驗(yàn)概率時(shí)候，因?yàn)檫@些模式都是作為概率被程序計(jì)算，而不是自然語言被人來理解，所以結(jié)果是一樣的。在屬性個(gè)數(shù)比較多或者屬性之間相關(guān)性較大時(shí)，NBC模型的分類效率比不上決策樹模型。但這點(diǎn)有待驗(yàn)證，因?yàn)榫唧w的問題不同，算法得出的結(jié)果不同，同一個(gè)算法對(duì)于同一個(gè)問題，只要模式發(fā)生變化，也存在不同的識(shí)別性能。這點(diǎn)在很多國外論文中已經(jīng)得到公認(rèn)，在機(jī)器學(xué)習(xí)一書中也提到過算法對(duì)于屬性的識(shí)別情況決定于很多因素，例如訓(xùn)練樣本和測(cè)試樣本的比例影響算法的性能。決策樹對(duì)于文本分類識(shí)別，要看具體情況。在屬性相關(guān)性較小時(shí)，NBC模型的性能稍微良好。屬性相關(guān)性較小的時(shí)候，其他的算法性能也很好，這是由于信息熵理論決定的。癥狀職業(yè)疾病打噴嚏護(hù)士感冒

打噴嚏農(nóng)夫過敏

頭痛建筑工人腦震蕩

頭痛建筑工人感冒

打噴嚏教師感冒

頭痛教師腦震蕩現(xiàn)在又來了第七個(gè)病人，是一個(gè)打噴嚏的建筑工人。請(qǐng)問他患上感冒的概率有多大？某個(gè)醫(yī)院早上收了六個(gè)門診病人，如下表。根據(jù)貝葉斯定理：

P(A|B)=P(B|A)P(A)/P(B)P(感冒|打噴嚏x建筑工人)

=P(打噴嚏x建筑工人|感冒)xP(感冒)

/P(打噴嚏x建筑工人)假定"打噴嚏"和"建筑工人"這兩個(gè)特征是獨(dú)立的P(感冒|打噴嚏x建筑工人)

=P(打噴嚏|感冒)xP(建筑工人|感冒)xP(感冒)

/P(打噴嚏)xP(建筑工人)P(感冒|打噴嚏x建筑工人)

=0.66x0.33x0.5/0.5x0.33

=0.66賬號(hào)分類的例子根據(jù)某社區(qū)網(wǎng)站的抽樣統(tǒng)計(jì)，該站10000個(gè)賬號(hào)中有89%為真實(shí)賬號(hào)（設(shè)為C0），11%為虛假賬號(hào)（設(shè)為C1）。C0=0.89,C1=0.11用統(tǒng)計(jì)資料判斷一個(gè)賬號(hào)的真實(shí)性F1:日志數(shù)量/注冊(cè)天數(shù)

F2:好友數(shù)量/注冊(cè)天數(shù)

F3:是否使用真實(shí)頭像（真實(shí)頭像為1，非真實(shí)頭像為0）F1=0.1

,F2=0.2

,F3=0請(qǐng)問該賬號(hào)是真實(shí)賬號(hào)還是虛假賬號(hào)？方法是使用樸素貝葉斯分類器，計(jì)算下面這個(gè)計(jì)算式的值。P(F1|C)P(F2|C)P(F3|C)P(C)

性別分類的例子下面是一組人類身體特征的統(tǒng)計(jì)資料已知某人身高6英尺、體重130磅，腳掌8英寸，請(qǐng)問該人是男是女？根據(jù)樸素貝葉斯分類器，計(jì)算下面這個(gè)式子的值。P(身高|性別)xP(體重|性別)xP(腳掌|性別)xP(性別)這里的困難在于，由于身高、體重、腳掌都是連續(xù)變量，不能采用離散變量的方法計(jì)算概率。而且由于樣本太少，所以也無法分成區(qū)間計(jì)算。怎么辦？性別身高（英尺）體重（磅）腳掌（英寸）男6

180

12

男5.92

190

11

男5.58

170

12

男5.92

165

10

女5

100

6

女5.5

150

8

女5.42

130

7

女5.75

150

9Appendix

決策樹(decisiontree)一般都是自上而下的來生成的。每個(gè)決策或事件（即自然狀態(tài)）都可能引出兩個(gè)或多個(gè)事件，導(dǎo)致不同的結(jié)果，把這種決策分支畫成圖形很像一棵樹的枝干，故稱決策樹。決策樹的構(gòu)成有四個(gè)要素：(1)決策結(jié)點(diǎn)；(2)方案枝；(3)狀態(tài)結(jié)點(diǎn)；(4)概率枝。如圖所示：決策樹的適用范圍科學(xué)的決策是現(xiàn)代管理者的一項(xiàng)重要職責(zé)。我們?cè)谄髽I(yè)管理實(shí)踐中，常遇到的情景是：若干個(gè)可行性方案制訂出來了，分析一下企業(yè)內(nèi)、外部環(huán)境，大部分條件是己知的，但還存在一定的不確定因素。每個(gè)方案的執(zhí)行都可能出現(xiàn)幾種結(jié)果，各種結(jié)果的出現(xiàn)有一定的概率，企業(yè)決策存在著一定的勝算，也存在著一定的風(fēng)險(xiǎn)。這時(shí)，決策的標(biāo)準(zhǔn)只能是期望值。即，各種狀態(tài)下的加權(quán)平均值。針對(duì)上述問題，用決策樹法來解決不失為一種好的選擇。決策樹法作為一種決策技術(shù)，已被廣泛地應(yīng)用于企業(yè)的投資決策之中，它是隨機(jī)決策模型中最常見、最普及的一種規(guī)策模式和方法此方法，有效地控制了決策帶來的風(fēng)險(xiǎn)。所謂決策樹法，就是運(yùn)用樹狀圖表示各決策的期望值，通過計(jì)算，最終優(yōu)選出效益最大、成本最小的決策方法。決策樹法屬于風(fēng)險(xiǎn)型決策方法，不同于確定型決策方法，二者適用的條件也不同。應(yīng)用決策樹決策方法必須具備以下條件：①具有決策者期望達(dá)到的明確目標(biāo)；②存在決策者可以選擇的兩個(gè)以上的可行備選方案；⑧存在著決策者無法控制的兩種以上的自然狀態(tài)(如氣候變化、市場(chǎng)行情、經(jīng)濟(jì)發(fā)展動(dòng)向等)；④不同行動(dòng)方案在不同自然狀態(tài)下的收益值或損失值(簡(jiǎn)稱損益值)可以計(jì)算出來；⑤決策者能估計(jì)出不同的自然狀態(tài)發(fā)生概率決策樹的應(yīng)用前景決策樹法具有許多優(yōu)點(diǎn)：條理清晰，程序嚴(yán)謹(jǐn)，定量、定性分析相結(jié)合，方法簡(jiǎn)單，易于掌握，應(yīng)用性強(qiáng)，適用范圍廣等。人們逐漸認(rèn)識(shí)到，在投資方案比較選擇時(shí)考慮時(shí)間因素，建立時(shí)間可比原則和條件的重要性。當(dāng)今的社會(huì)經(jīng)濟(jì)活動(dòng)中，競(jìng)爭(zhēng)日趨激烈，現(xiàn)代企業(yè)的經(jīng)營方向面臨著許多可供選擇的方案