第7章貝葉斯網(wǎng)絡(luò)

第7章貝葉斯網(wǎng)絡(luò)2/6/20231數(shù)據(jù)倉庫與數(shù)據(jù)挖掘第7章貝葉斯網(wǎng)絡(luò)7.1引例7.2貝葉斯概率基礎(chǔ)7.3貝葉斯網(wǎng)絡(luò)概述7.4貝葉斯網(wǎng)絡(luò)的預(yù)測、診斷和訓(xùn)練算法7.5工具包應(yīng)用2/6/20232數(shù)據(jù)倉庫與數(shù)據(jù)挖掘7.1引例參加晚會后，第二天早晨呼吸中有酒精味的可能性有多大？如果頭疼，患腦瘤的概率有多大？如果參加了晚會，并且頭疼，那么患腦瘤的概率有多大？PartyHangoverBrainTumorHeadacheSmellAlcoholPosXray2/6/20233數(shù)據(jù)倉庫與數(shù)據(jù)挖掘7.2貝葉斯概率基礎(chǔ)7.2.1先驗概率、后驗概率和條件概率7.2.2條件概率公式7.2.3全概率公式7.2.4貝葉斯公式2/6/20234數(shù)據(jù)倉庫與數(shù)據(jù)挖掘7.2.1先驗概率、后驗概率和條件概率先驗概率：根據(jù)歷史的資料或主觀判斷所確定的各種時間發(fā)生的概率后驗概率：通過貝葉斯公式，結(jié)合調(diào)查等方式獲取了新的附加信息，對先驗概率修正后得到的更符合實際的概率條件概率：某事件發(fā)生后該事件的發(fā)生概率2/6/20235數(shù)據(jù)倉庫與數(shù)據(jù)挖掘7.2.2條件概率公式條件概率的計算可以通過兩個事件的發(fā)生概率，以及相反方向的條件概率得到2/6/20236數(shù)據(jù)倉庫與數(shù)據(jù)挖掘7.2.3全概率公式基本事件的互斥性基本事件的完備性2/6/20237數(shù)據(jù)倉庫與數(shù)據(jù)挖掘7.2.4貝葉斯公式獨(dú)立互斥且完備的先驗事件概率可以由后驗事件的概率和相應(yīng)條件概率決定2/6/20238數(shù)據(jù)倉庫與數(shù)據(jù)挖掘7.3貝葉斯網(wǎng)絡(luò)概述7.3.1貝葉斯網(wǎng)絡(luò)的組成和結(jié)構(gòu)7.3.2貝葉斯網(wǎng)絡(luò)的優(yōu)越性7.3.3貝葉斯網(wǎng)絡(luò)的3個主要議題2/6/20239數(shù)據(jù)倉庫與數(shù)據(jù)挖掘7.3.1貝葉斯網(wǎng)絡(luò)的組成和結(jié)構(gòu)貝葉斯網(wǎng)絡(luò)是描述隨機(jī)變量（事件）之間依賴關(guān)系的一種圖形模式，是一種用來進(jìn)行推理的模型貝葉斯網(wǎng)絡(luò)由網(wǎng)絡(luò)結(jié)構(gòu)和條件概率表兩部分組成。網(wǎng)絡(luò)結(jié)構(gòu)是一個有向無環(huán)圖2/6/202310數(shù)據(jù)倉庫與數(shù)據(jù)挖掘7.3.2貝葉斯網(wǎng)絡(luò)的優(yōu)越性對已有的信息要求低，可以進(jìn)行信息不完全、不確定情況下的推理具有良好的可理解性和邏輯性專家知識和試驗數(shù)據(jù)的有效結(jié)合相輔相成，忽略次要聯(lián)系而突出主要矛盾，可以有效避免過學(xué)習(xí)推理結(jié)果說服力強(qiáng)，貝葉斯網(wǎng)絡(luò)對先驗概率的要求大大降低2/6/202311數(shù)據(jù)倉庫與數(shù)據(jù)挖掘7.3.3貝葉斯網(wǎng)絡(luò)的3個主要議題貝葉斯網(wǎng)絡(luò)預(yù)測貝葉斯網(wǎng)絡(luò)診斷貝葉斯網(wǎng)絡(luò)學(xué)習(xí)2/6/202312數(shù)據(jù)倉庫與數(shù)據(jù)挖掘7.4貝葉斯網(wǎng)絡(luò)的預(yù)測、診斷和訓(xùn)練算法7.4.1概率和條件概率數(shù)據(jù)7.4.2貝葉斯網(wǎng)絡(luò)的預(yù)測算法7.4.3貝葉斯網(wǎng)絡(luò)的診斷算法7.4.4貝葉斯網(wǎng)絡(luò)預(yù)測和診斷的綜合算法7.4.5貝葉斯網(wǎng)絡(luò)的建立和訓(xùn)練算法2/6/202313數(shù)據(jù)倉庫與數(shù)據(jù)挖掘7.4.1概率和條件概率數(shù)據(jù)左表給出了事件發(fā)生的概率：PT發(fā)生的概率是0.2，不發(fā)生的概率是0.8右表給出了事件發(fā)生的條件概率：PT發(fā)生時，HO發(fā)生的概率是0.7

P(PT)P(BT)True0.2000.001False0.8000.999P(HO|PT)PT=TruePT=FalseTrue0.7000False0.3001.0002/6/202314數(shù)據(jù)倉庫與數(shù)據(jù)挖掘7.4.2貝葉斯網(wǎng)絡(luò)的預(yù)測算法輸入：給定貝葉斯網(wǎng)絡(luò)B（包括網(wǎng)絡(luò)結(jié)構(gòu)m個節(jié)點以及某些節(jié)點間的連線、原因節(jié)點到中間節(jié)點的條件概率或聯(lián)合條件概率），給定若干個原因節(jié)點發(fā)生與否的事實向量F（或者稱為證據(jù)向量）；給定待預(yù)測的某個節(jié)點t。輸出：節(jié)點t發(fā)生的概率。（1）把證據(jù)向量輸入到貝葉斯網(wǎng)絡(luò)B中；（2）對于B中的每一個沒處理過的節(jié)點n，如果它具有發(fā)生的事實（證據(jù)），則標(biāo)記它為已經(jīng)處理過；否則繼續(xù)下面的步驟；（3）如果它的所有父節(jié)點中有一個沒有處理過，則不處理這個節(jié)點；否則，繼續(xù)下面的步驟；（4）根據(jù)節(jié)點n的所有父節(jié)點的概率以及條件概率或聯(lián)合條件概率計算節(jié)點n的概率分布，并把節(jié)點n標(biāo)記為已處理；（5）重復(fù)步驟（2）-（4）共m次。此時，節(jié)點t的概率分布就是它的發(fā)生/不發(fā)生的概率。算法結(jié)束。2/6/202315數(shù)據(jù)倉庫與數(shù)據(jù)挖掘7.4.3貝葉斯網(wǎng)絡(luò)的診斷算法輸入：給定貝葉斯網(wǎng)絡(luò)B（包括網(wǎng)絡(luò)結(jié)構(gòu)m個節(jié)點以及某些節(jié)點間的連線、原因節(jié)點到中間節(jié)點的條件概率或聯(lián)合條件概率），給定若干個結(jié)果節(jié)點發(fā)生與否的事實向量F（或者稱為證據(jù)向量）；給定待診斷的某個節(jié)點t。輸出：節(jié)點t發(fā)生的概率。（1）把證據(jù)向量輸入到貝葉斯網(wǎng)絡(luò)B中；（2）對于B中的每一個沒處理過的節(jié)點n，如果它具有發(fā)生的事實（證據(jù)），則標(biāo)記它為已經(jīng)處理過；否則繼續(xù)下面的步驟；（3）如果它的所有子節(jié)點中有一個沒有處理過，則不處理這個節(jié)點；否則，繼續(xù)下面的步驟；（4）根據(jù)節(jié)點n所有子節(jié)點的概率以及條件概率或聯(lián)合條件概率，根據(jù)條件概率公式，計算節(jié)點n的概率分布，并把節(jié)點n標(biāo)記為已處理；（5）重復(fù)步驟（2）-（4）共m次。此時，原因節(jié)點t的概率分布就是它的發(fā)生/不發(fā)生的概率。算法結(jié)束。2/6/202316數(shù)據(jù)倉庫與數(shù)據(jù)挖掘7.4.4貝葉斯網(wǎng)絡(luò)預(yù)測和診斷的綜合算法利用貝葉斯網(wǎng)絡(luò)進(jìn)行單純的預(yù)測或進(jìn)行單純的診斷的情況時比較少的，一般情況下，需要綜合使用預(yù)測和診斷的功能綜合使用預(yù)測和診斷的功能時，預(yù)測和診斷的使用沒有先后順序把已知發(fā)生/不發(fā)生事件作為證據(jù)，向整個網(wǎng)絡(luò)擴(kuò)散通過證據(jù)，可以把網(wǎng)絡(luò)的規(guī)模逐漸減小，以獲得需要節(jié)點的概率信息2/6/202317數(shù)據(jù)倉庫與數(shù)據(jù)挖掘7.4.5貝葉斯網(wǎng)絡(luò)的建立和訓(xùn)練算法首先要把實際問題的事件抽象為節(jié)點建立兩個或多個節(jié)點之間的連線。有明確的因果關(guān)系或相關(guān)關(guān)系的節(jié)點之間可以建立連線，否則盡量不建立連線事件的概率：事件條件概率：事件的聯(lián)合條件概率：2/6/202318數(shù)據(jù)倉庫與數(shù)據(jù)挖掘7.5工具包應(yīng)用第1步，在SQLServer2005中創(chuàng)建一個新的數(shù)據(jù)庫第2步，在數(shù)據(jù)庫BayesDatabase中創(chuàng)建一個具有4個列的新數(shù)據(jù)表Table_2第3步，打開數(shù)據(jù)表Table_2，向數(shù)據(jù)表中輸入數(shù)據(jù)第4步，創(chuàng)建新的商業(yè)智能項目BayesProject第5步，建立BayesA中的數(shù)據(jù)連接，連接到數(shù)據(jù)庫BayesDatabase第6步，建立BayesA中的數(shù)據(jù)源視圖，在建立視圖的過程中選擇數(shù)據(jù)庫中的表格Table_2第7步，創(chuàng)建挖掘結(jié)構(gòu)第8步，預(yù)測和診斷2/6/202319數(shù)據(jù)倉庫與數(shù)據(jù)挖掘第1步，創(chuàng)建新的數(shù)據(jù)庫第1步，在SQLServer2005中創(chuàng)建一個新的數(shù)據(jù)庫（創(chuàng)建的過程全部取默認(rèn)值），把新建的數(shù)據(jù)庫命名為BayesDatabase。2/6/202320數(shù)據(jù)倉庫與數(shù)據(jù)挖掘第2步，創(chuàng)建新數(shù)據(jù)表第2步，在數(shù)據(jù)庫BayesDatabase中創(chuàng)建一個具有4個列的新數(shù)據(jù)表Table_2。2/6/202321數(shù)據(jù)倉庫與數(shù)據(jù)挖掘第3步，向數(shù)據(jù)表中輸入數(shù)據(jù)第3步，打開數(shù)據(jù)表Table_2，向數(shù)據(jù)表中輸入數(shù)據(jù)。2/6/202322數(shù)據(jù)倉庫與數(shù)據(jù)挖掘第4步，創(chuàng)建新的商業(yè)智能項目第4步，創(chuàng)建新的商業(yè)智能項目BayesProject2/6/202323數(shù)據(jù)倉庫與數(shù)據(jù)挖掘第5步，建立數(shù)據(jù)連接第5步，建立BayesA中的數(shù)據(jù)連接，連接到數(shù)據(jù)庫BayesDatabase。2/6/202324數(shù)據(jù)倉庫與數(shù)據(jù)挖掘第6步，建立數(shù)據(jù)源視圖第6步，建立BayesA中的數(shù)據(jù)源視圖，在建立視圖的過程中選擇數(shù)據(jù)庫中的表格Table_2。2/6/202325數(shù)據(jù)倉庫與數(shù)據(jù)挖掘第7步，創(chuàng)建挖掘結(jié)