決策樹方法應(yīng)用實(shí)例

1、決策樹方法應(yīng)用實(shí)例第1頁(yè)，共16頁(yè)，2022年，5月20日，8點(diǎn)42分，星期一解：由題意可知： s14，類標(biāo)號(hào)屬性“購(gòu)買電腦”有兩個(gè)不同值（即會(huì)購(gòu)買，不會(huì)購(gòu)買），因此有兩個(gè)不同的類（即m2）。設(shè)類C1對(duì)應(yīng)于“會(huì)購(gòu)買”，類C2對(duì)應(yīng)于“不會(huì)購(gòu)買”。則s19，s25，p19/14，p2=5/14。計(jì)算對(duì)給定樣本分類所需的期望信息：計(jì)算每個(gè)屬性的熵。先計(jì)算屬性“年齡”的熵。對(duì)于年齡“40”：s13=3，s23=2，p13=3/5，p23=2/5，如果樣本按“年齡”劃分，對(duì)一個(gè)給定的樣本分類所需的期望信息為：因此，這種劃分的信息增益是 Gain(年齡)=I(s1,s2) - E(年齡)=0.246。計(jì)算

2、“收入”的熵。對(duì)于收入“高”： s11=2，s21=2，p11=0.5，p21=0.5，對(duì)于收入“中等”： s12=4，s22=2，p12=4/6，p22=2/4，第3頁(yè)，共16頁(yè)，2022年，5月20日，8點(diǎn)42分，星期一對(duì)于收入“低”： s13=3，s23=1，p13=3/4，p23=1/4，如果樣本按“收入”劃分，對(duì)一個(gè)給定的樣本分類所需的期望信息為：因此，這種劃分的信息增益是 Gain(收入)=I(s1,s2) - E(收入)=0.940-0.9110.029。計(jì)算“學(xué)生”的熵。對(duì)于學(xué)生“是”：s11=6，s21=1，p11=6/7，p21=1/7，第4頁(yè)，共16頁(yè)，2022年，5月2

3、0日，8點(diǎn)42分，星期一對(duì)于學(xué)生“否”： s12=3，s22=4，p12=3/7，p22=4/7，如果樣本按“學(xué)生”劃分，對(duì)一個(gè)給定的樣本分類所需的期望信息為：因此，這種劃分的信息增益是 Gain(學(xué)生)=I(s1,s2) - E(學(xué)生)=0.940-0.7890.151。計(jì)算“信用等級(jí)”的熵。對(duì)于信用等級(jí)“一般”： s11=6，s21=2，p11=6/8，p21=2/8，對(duì)于信用等級(jí)“良好”： s12=3，s22=3，p12=3/6，p22=3/6，第5頁(yè)，共16頁(yè)，2022年，5月20日，8點(diǎn)42分，星期一如果樣本按“信用等級(jí)”劃分，對(duì)一個(gè)給定的樣本分類所需的期望信息為：因此，這種劃分的信

4、息增益是 Gain(信用等級(jí))=I(s1,s2) - E(信用等級(jí))=0.940-0.8920.048。由于 “年齡” 屬性具有最高信息增益，它被選作測(cè)試屬性。創(chuàng)建一個(gè)節(jié)點(diǎn)，用“年齡”標(biāo)記，并對(duì)每個(gè)屬性值引出一個(gè)分支。樣本據(jù)此劃分，如圖所示。第6頁(yè)，共16頁(yè)，2022年，5月20日，8點(diǎn)42分，星期一收入學(xué)生信用等級(jí)類高否一般會(huì)購(gòu)買低是良好會(huì)購(gòu)買中等否良好會(huì)購(gòu)買高是一般會(huì)購(gòu)買收入學(xué)生信用等級(jí)類高否一般不會(huì)購(gòu)買高否良好不會(huì)購(gòu)買中等否一般不會(huì)購(gòu)買低是一般會(huì)購(gòu)買中等是良好會(huì)購(gòu)買收入學(xué)生信用等級(jí)類中等否一般會(huì)購(gòu)買低是一般會(huì)購(gòu)買低是良好不會(huì)購(gòu)買中等是一般會(huì)購(gòu)買中等否良好不會(huì)購(gòu)買40年 齡第7頁(yè)，共16頁(yè)

5、，2022年，5月20日，8點(diǎn)42分，星期一收入學(xué)生信用等級(jí)類高否一般不會(huì)購(gòu)買高否良好不會(huì)購(gòu)買中等否一般不會(huì)購(gòu)買低是一般會(huì)購(gòu)買中等是良好會(huì)購(gòu)買表1 年齡=30當(dāng)年齡40第12頁(yè)，共16頁(yè)，2022年，5月20日，8點(diǎn)42分，星期一年 齡?學(xué) 生?信用等級(jí)?會(huì)購(gòu)買不會(huì)購(gòu)買會(huì)購(gòu)買會(huì)購(gòu)買不會(huì)購(gòu)買40一般良好是否“購(gòu)買電腦” 的決策樹第13頁(yè)，共16頁(yè)，2022年，5月20日，8點(diǎn)42分，星期一由決策樹產(chǎn)生分類規(guī)則 對(duì)上圖進(jìn)行分析，提取的關(guān)聯(lián)規(guī)則是：IF 年齡“=30” AND 學(xué)生“否” THEN 購(gòu)買電腦“不會(huì)購(gòu)買” IF 年齡“40” AND 信用等級(jí)“良好” THEN 購(gòu)買電腦“不會(huì)購(gòu)買”IF

6、 年齡“40” AND 信用等級(jí)“一般” THEN 購(gòu)買電腦“會(huì)購(gòu)買”第14頁(yè)，共16頁(yè)，2022年，5月20日，8點(diǎn)42分，星期一 論文中的應(yīng)用題目：決策樹算法的研究與應(yīng)用 作者：楊靜1，張楠男2，李建1，劉延明1，梁美紅1 (1西南石油大學(xué)，四川成都610500； 2西南油氣田分公司信息中心，四川成都610500) 發(fā)表期刊： 計(jì)算機(jī)技術(shù)與發(fā)展 第20卷第2期 2010年2月 摘要：主要研究了數(shù)據(jù)挖掘中決策樹算法的基本思想和算法。針對(duì)目前鉆井過程故障診斷的需求，結(jié)合決策樹算法的特點(diǎn)，提出了一種基于決策樹的鉆井過程故障診斷專家系統(tǒng)模型。分析了鉆井系統(tǒng)事故狀態(tài)下的相關(guān)特征參數(shù)，并對(duì)基于決策樹的鉆井過程狀態(tài)和知識(shí)獲取進(jìn)行了詳細(xì)的論述。通過實(shí)例運(yùn)用ID3算法實(shí)現(xiàn)了決策樹的建立，為鉆井過程故障診斷奠定了堅(jiān)實(shí)的基礎(chǔ)。最后提出了對(duì)算法的改進(jìn)，綜合對(duì)實(shí)際數(shù)據(jù)的處理結(jié)果表明，基于數(shù)據(jù)挖掘的決策樹算法可以很好地識(shí)別鉆井過程中的不同狀態(tài)，能夠?qū)崿F(xiàn)故障診斷。第15頁(yè)，共16頁(yè)，2022年，5月20日，8點(diǎn)42分，星期一論文中的應(yīng)用結(jié)語：文中在論述了決策樹算法的基礎(chǔ)上，結(jié)合鉆井工程與工藝，將決策樹應(yīng)用于這一領(lǐng)域。利用決策樹知識(shí)表示與獲取集于一身的優(yōu)點(diǎn)，對(duì)基于決策樹的鉆井過程