《機(jī)器學(xué)習(xí)與Python實(shí)踐》課件-06樸素貝葉斯

本章目錄01

貝葉斯方法02樸素貝葉斯原理03樸素貝葉斯案例04樸素貝葉斯代碼實(shí)現(xiàn)1.貝葉斯方法01

貝葉斯方法02樸素貝葉斯原理03樸素貝葉斯案例04樸素貝葉斯代碼實(shí)現(xiàn)1.貝葉斯方法-背景知識(shí)先驗(yàn)概率：后驗(yàn)概率：貝葉斯分類(lèi)是一類(lèi)分類(lèi)算法的總稱(chēng)，這類(lèi)算法均以貝葉斯定理為基礎(chǔ)，故統(tǒng)稱(chēng)為貝葉斯分類(lèi)。

貝葉斯分類(lèi)：

聯(lián)合概率：

1.貝葉斯方法-背景知識(shí)1.貝葉斯方法貝葉斯公式后驗(yàn)概率似然度先驗(yàn)概率邊際似然度

2.樸素貝葉斯原理01

貝葉斯方法02樸素貝葉斯原理03樸素貝葉斯案例04樸素貝葉斯代碼實(shí)現(xiàn)判別模型和生成模型判別模型（DiscriminativeModel)生成模型（GenerativeModel）線性回歸、邏輯回歸、感知機(jī)、決策樹(shù)、支持向量機(jī)……樸素貝葉斯、HMM、深度信念網(wǎng)絡(luò)(DBN)……監(jiān)督學(xué)習(xí)方法又分生成方法（Generativeapproach）和判別方法（Discriminativeapproach）所學(xué)到的模型分別稱(chēng)為生成模型（GenerativeModel）和判別模型（DiscriminativeModel)。2.樸素貝葉斯原理2.樸素貝葉斯原理

2.樸素貝葉斯原理

2.樸素貝葉斯原理3．樸素貝葉斯法利用貝葉斯定理與學(xué)到的聯(lián)合概率模型進(jìn)行分類(lèi)預(yù)測(cè)

2.樸素貝葉斯原理

2.樸素貝葉斯原理

2.樸素貝葉斯原理

2.樸素貝葉斯原理樸素貝葉斯法對(duì)條件概率分布作了條件獨(dú)立性的假設(shè)。由于這是一個(gè)較強(qiáng)的假設(shè)，樸素貝葉斯法也由此得名。具體地，條件獨(dú)立性假設(shè)是：

2.樸素貝葉斯原理

2.樸素貝葉斯原理將式(1)代入公式(2)，可以得到貝葉斯分類(lèi)器可以表示為：

3.樸素貝葉斯案例01

貝葉斯方法02樸素貝葉斯原理03樸素貝葉斯案例04樸素貝葉斯代碼實(shí)現(xiàn)3.樸素貝葉斯案例假設(shè)我們正在構(gòu)建一個(gè)分類(lèi)器，該分類(lèi)器說(shuō)明文本是否與運(yùn)動(dòng)(Sports)有關(guān)。我們的訓(xùn)練數(shù)據(jù)有5句話：文本標(biāo)簽AgreatgameSportsTheelectionwasoverNotSportsVerycleanmatchSportsAcleanbutforgettablegameSportsItwasacloseelectionNotSports

3.樸素貝葉斯案例

3.樸素貝葉斯案例我們假設(shè)一個(gè)句子中的每個(gè)單詞都與其他單詞無(wú)關(guān)。

3.樸素貝葉斯案例

文本標(biāo)簽AgreatgameSportsTheelectionwasoverNotSportsVerycleanmatchSportsAcleanbutforgettablegameSportsItwasacloseelectionNotSports3.樸素貝葉斯案例通過(guò)使用一種稱(chēng)為拉普拉斯平滑的方法：我們?yōu)槊總€(gè)計(jì)數(shù)加1，因此它永遠(yuǎn)不會(huì)為零。為了平衡這一點(diǎn)，我們將可能單詞的數(shù)量添加到除數(shù)中，因此計(jì)算結(jié)果永遠(yuǎn)不會(huì)大于1。在這里的情況下，可能單詞是['a','great','very','over','it','but','game','election','clean','close','the','was','forgettable','match']。

14個(gè)單詞3.樸素貝葉斯案例

3.樸素貝葉斯案例WordP(word|Sports)P(word|NotSports)averyclosegame

由于0.0000276大于0.00000572，我們的分類(lèi)器預(yù)測(cè)“Averyclosegame”是Sport類(lèi)。4.樸素貝葉斯代碼實(shí)現(xiàn)01

貝葉斯方法02樸素貝葉斯原理03樸素貝葉斯案例04樸素貝葉斯代碼實(shí)現(xiàn)4.樸素貝葉斯代碼實(shí)現(xiàn)

4.樸素貝葉斯代碼實(shí)現(xiàn)最常用的GaussianNB是高斯樸素貝葉斯分類(lèi)器的scikit-learn實(shí)現(xiàn)。4.樸素貝葉斯代碼實(shí)現(xiàn)最常用的GaussianNB是高斯樸素貝葉斯分類(lèi)器的Numpy實(shí)現(xiàn)。詳細(xì)過(guò)程見(jiàn)代碼。參考文獻(xiàn)

[1]TOMMMICHELLE.MachineLearning[M].NewYork:McGraw-HillCompanies,Inc,1997.[2]HastieT.,TibshiraniR.,FriedmanJ.TheElementsofStatisticalLearning[M].NewYork:Springer,2001.[3]CHRISTOPHERM.BISHOP.PatternRecognitionandMachineLearning[M].NewYork:Springer,2006.[4]ZhangH.,Theoptimalityofna?veBayes[C]//Proceedingsofthe17thInternationalFloridaArtificialIntelligenceResearchSocietyConference(FLAIRS),Miami,FL,562-567,2004.[5]NgA.Y.andM.I.Jordan,Ondiscriminativevs.generativeclassifiers:Acomparisonoflogisticregressionandna?veBayes[C]//ProceedingsoftheAdvancesin14thNeuralInformationProcessingSystems(NIPS),MITPress,Cambridge,MA,841-848,2002.[6]KohaviR.,Scalinguptheaccuracyofna?veBayesclassifiers:Adecision-treehybrid[C]//Proceedingsofth