6第六章貝葉斯信念網(wǎng)絡課件

Bayes

Classifier貝葉斯分類2023/11/261一、何謂貝葉斯分類？2023/11/262

數(shù)據(jù)挖掘中以貝葉斯定理為基礎(chǔ)，用于分類的技術(shù)有樸素貝葉斯分類和貝葉斯信念網(wǎng)絡兩種。

樸素貝葉斯分類假定一個屬性值對給定類的影響獨立于其他屬性的值，即在屬性間不存在依賴關(guān)系，也因此稱為“樸素的”。

貝葉斯信念網(wǎng)絡也可以用于分類，它是圖形模型。它優(yōu)于樸素貝葉斯，它能夠處理屬性子集間有依賴關(guān)系的分類。

它采用監(jiān)督式的學習方式。二、基本知識2023/11/2631、事件概率

聯(lián)合概率(joint

probability)表示A事件和B事件同時發(fā)生的概率，P(A∩B)。

邊際概率(marginal

probability)在A和B的樣本空間中，只看A或B的概率，稱之邊際概率。

條件概率(conditionalprobability)在發(fā)生A的條件下，發(fā)生B的概率，稱為P(B|A)。2、乘法法則(Multiplicative

rule)3、獨立事件設事件Ａ和事件Ｂ滿足以下條件：52023/11/26則稱Ａ與Ｂ為『獨立事件』。三、貝葉斯定理表示先驗概率(Prior

probability)。表示后驗概率(Posteriori

probability)，

先驗概率是由以往的數(shù)據(jù)分析得到的。根據(jù)樣本數(shù)據(jù)得到更多的信息后，對其重新修正，即是后驗概率。62023/11/26

例：旅客搭乘飛機必須經(jīng)電子儀器檢查是否身上攜帶金屬物品。

如果攜帶金屬，儀器會發(fā)出聲音的概率是97%，但身上無金屬物品儀器會發(fā)出聲音的概率是5%。已知一般乘客身上帶有金屬物品的概率是30%，若某旅客經(jīng)過儀器檢查時發(fā)出聲音，請問他身上有金屬物品的概率是多少？解：設C1=“有金屬物”，X=“儀器會發(fā)聲”，則72023/11/2692023/11/26102023/11/26112023/11/26五、樸素貝氏分類的實例

辦信用卡意愿：13項目性別年齡學生身分收入辦卡1男>45否高會2女31~45否高會3女20~30是低會4男<20是低不會5女20~30是中不會6女20~30否中會7女31~45否高會8男31~45是中不會9男31~45否中會10女<20是低會

2023/11/26類屬性解：首先根據(jù)訓練樣本計算各屬性相對于不同分類結(jié)果的條件概率：

P(辦卡)=7/10

P(女性|辦卡)=5/7

P(年齡=31~45|辦卡)=3/7

P(學生=否|辦卡)=5/7

P(收入=中|辦卡)=2/7P(不辦卡)=3/10P(女性|不辦卡)=1/3P(年齡=31~45|不辦卡)=1/3P(學生=否|不辦卡)=0/3P(收入=中|不辦卡)=2/3判斷：X=(女性，年齡介于31~45之間，不具學生身份，收入中等)會不會辦理信用卡。142023/11/26其次，再應用樸素貝氏分類器進行類別預測：

計算

P(辦卡)P(女性|辦卡)P(年齡31~45|辦卡)P(不是學生|辦卡)P(收入中|辦卡)=15/343≈0.044

P(不辦卡)P(女性|不辦卡)P(年齡31~45|不辦卡)P(不是學生|不辦卡)P(收入中等|不辦卡)=0

0.044>0152023/11/26貝葉斯分類的優(yōu)缺點：優(yōu)點：

計算速度最快的演算法；

規(guī)則清楚易懂；

獨立事件的假設，大多數(shù)問題上不至于發(fā)生太大偏誤；缺點：

僅適用于類別變量；

僅能應用于分類問題；

假設變量間為獨立互不影響，因此使用時需要謹慎分析變量間的相關(guān)性。172023/11/26六、貝葉斯信念網(wǎng)絡

樸素貝葉斯分類假定類條件獨立，即給定樣本的類標號，屬性的值相互條件獨立。

但在實踐中，變量之間的依賴可能存在。貝葉斯信念網(wǎng)絡說明聯(lián)合條件概率分布，它允許在變量的子集間定義類條件獨立性。它提供一種因果關(guān)系的圖形。182023/11/26

例如，得肺癌受其家族肺癌史的影響，也受是否吸煙的影響。2023/11/2619有向無環(huán)圖條件概率圖概率依賴雙親或直接前驅(qū)后繼非后繼獨立節(jié)點：隨機變量可以看到三個值就可以完全指定P(R,W)的聯(lián)合分布。如果P(R)=0.4，則P(~R)=0.6。類似地，，而這是一個因果圖，解釋草地變濕的主要原因是下雨。我們可以顛倒因果關(guān)系并且做出診斷。例如，已知草地是濕的，則下過雨的概率可以計

算如下：212023/11/26222023/11/26

現(xiàn)在，假設我們想把噴水器（Ｓ）作為草地變濕的另一個原因，如下圖所示。

節(jié)點Ｗ有兩個父節(jié)點Ｒ和Ｓ，因此它的概率是這兩個值上的條件概率。我們可以計算噴水器開著草地會濕的概率。這是一個因果（預測）推理：232023/11/26

給定草地是濕的，我們能夠計算噴水器開著的概率。這是一個診斷推理。252023/11/26

知道草是濕的增加了噴水器開著的可能。現(xiàn)在讓我們假設下過雨，我們有：

注意，這個值比 小。這叫作解釋遠離explaining

away;

給定已知下過雨，則噴水器導致濕草地的可能性降低了。已知草地是濕的，下雨和噴水器成為相互依賴的。262023/11/262、條件概率表先驗概率292023/11/26條件概率表302023/11/263、推理（1）當“警報拉響＋降雨

→地震、入室盜竊、洪水”：

假設某時刻警報突然拉響了，且此時正在下雨，值班人員要判斷此時發(fā)生地震、盜竊和洪水的概率分別是多少，以便采取相應的措施加以應對。

首先，設置警報和降雨為已知節(jié)點，觀察值分別為拉響和降雨；并且指定地震、入室盜竊和洪水為目標節(jié)點。然后計算各種情況發(fā)生的后驗概率。312023/11/26節(jié)點名稱降雨警報狀態(tài)取值降雨拉響已知變量的狀態(tài)觀察值狀態(tài)取值不發(fā)生發(fā)生概率值×10084.8015.20地震入室盜竊狀態(tài)取值不發(fā)生發(fā)生概率值×10012.0088.0狀態(tài)取值不發(fā)生發(fā)生概率值×10088.8011.2洪水322023/11/26（2）當“警報拉響＋降雨＋地震監(jiān)測儀信號弱

→地震、入室盜竊、洪水”：

假設，同樣在下雨天，警報突然拉響，如果此時值班人員還注意到了地震監(jiān)測儀的狀態(tài)處于弱信號的范圍，那么到底地震、入室盜竊、洪水中哪個發(fā)生呢？

解決的辦法是設定：降雨節(jié)點處于降雨狀態(tài)，警報節(jié)點處于拉響狀態(tài)，地震監(jiān)測儀處于弱狀態(tài)；目標節(jié)點仍舊是地震、入室盜竊和洪水。然后，計算后驗概率。332023/11/26節(jié)點名稱降雨警報地震監(jiān)測儀狀態(tài)取值降雨拉響弱已知變量的狀態(tài)觀察值狀態(tài)取值不發(fā)生發(fā)生概率值×100100.000.00地震洪水狀態(tài)取值不發(fā)生發(fā)生概率值×1008.3391.67狀態(tài)取值不發(fā)生發(fā)生概率值×10091.678.33入室盜竊342023/11/26貝葉斯分類的優(yōu)缺點：優(yōu)點：

在某些領(lǐng)域的