第4講決策樹模型

1、.分類分類(Classification)(Classification)分類分類的意義的意義數(shù)據(jù)庫數(shù)據(jù)庫分類模型分類模型了解類別屬性了解類別屬性與與特征特征預(yù)測預(yù)測.分類的技術(shù)分類的技術(shù)監(jiān)督式監(jiān)督式(supervised learning)(supervised learning)的機(jī)器學(xué)習(xí)法的機(jī)器學(xué)習(xí)法-決策樹決策樹(Decision Tree)(Decision Tree)數(shù)據(jù)庫數(shù)據(jù)庫分類標(biāo)記分類標(biāo)記性別性別年齡年齡婚姻婚姻否否是是否否是是FemaleFemaleMaleMale35353535未婚未婚已婚已婚.分類的過程分類的過程1.1.模型建立模型建立(Model Building)

2、(Model Building)2.2.模型評估模型評估(Model Evaluation)(Model Evaluation)3.3.使用模型使用模型(Use Model)(Use Model)性別性別年齡年齡婚姻婚姻否否是是否否是是FemaleFemaleMaleMale35353535未婚未婚已婚已婚分類規(guī)則分類規(guī)則IF IF 性別性別=Female AND =Female AND 年齡年齡35 THEN 35 THEN 購買購買RVRV房車房車= =否否IF IF 性別性別=Female AND =Female AND 年齡年齡35 THEN 35 THEN 購買購買RVRV房車房車=

3、 =是是IF IF 性別性別=Male AND =Male AND 婚姻婚姻= =未婚未婚 THEN THEN 購買購買RVRV房車房車= =否否IF IF 性別性別=Male AND =Male AND 婚姻婚姻= =已婚已婚 THEN THEN 購買購買RVRV房車房車= =是是數(shù)據(jù)庫數(shù)據(jù)庫訓(xùn)練樣本訓(xùn)練樣本(training samples)(training samples)建立模型建立模型測試樣本測試樣本(testing samples)(testing samples)評估模型評估模型.資料Example訓(xùn)練樣本訓(xùn)練樣本婚姻年齡家庭 所得否是否是未婚已婚3535低高否小康1.建立模型

4、測試樣本2. 模型評估X錯誤率為 66.67%修改模型3.使用模型.決策樹決策樹(Decision Tree)(Decision Tree)介紹介紹根部節(jié)點(diǎn)(root node)中間節(jié)點(diǎn)(non-leaf node)(代表測試的條件)分支(branches)(代表測試的結(jié)果)葉節(jié)點(diǎn)(leaf node)(代表分類后所獲得的分類標(biāo)記).決策樹的形成決策樹的形成n根部節(jié)點(diǎn)n中間節(jié)點(diǎn)n停止分支？信道u1,u2.ur信源Uv1,v2.vrP(V|U)信宿VPUii()121P VUjijm(|)11PVjjm()11PUViji(|)121U PUUUP UP UP Uqq,()()()1212I U

5、P UP Uiii()log()log() 1iiiiiiUPUPUPUPUH)(log)()(1log)()(XP Xaa().12099001YP Ybb( ).120505ijijijVUPVUPVUH)|(1log)|()|(jijijijVUPVUPVPVUH)|(1log)|()()|(H UP UP Uiii()() log()112H U VP VP U VP U Vjmjijiji(|)()(|) log(|) 1121I U VH UH U V(,)()( |)天 氣濕 度風(fēng)晴雨多云高正常有風(fēng)無風(fēng)PNNPPID3決策樹訓(xùn)練集PE、NE取子集建窗口窗口PE、NE生成決策樹測試PE、NE擴(kuò)展窗口PE=PE+PENE=NE+NE此決策樹為最后結(jié)果存在錯判的PE，NE嗎是否ID3主算法流程)(log)()(iiiuPuPUH|)(SuuPiijjiijijvuPvuPvPVUH)/(log)