決策樹的重要性

決策樹分類法中原資管所李維平老師決策樹的重要性在商業(yè)界最常用的方法之一DecisionTree之意義DecisionTree之意義If WehavemuchmoneyAND WearebuyingagiftforanadultTHEN BuyacarIf WehavemuchmoneyAND WerebuyingagiftforachildTHEN BuyacomputerYesYesYesYesYesYesYesYesYesYesYesYesYesYesYesYesNoNoNoNoNoNoNoNoNoNoNoNoNoNoNoNoNoNoYes有弦？用吹的？彎如弓的？演奏時要用下巴夾的？用彈的？有鍵盤的？木管樂器？有簧片？有雙簧片？銅管樂器？常用於通俗樂器中？比演奏者高？常用於通俗樂器中？有十根弦以上？打擊樂器？有弦？鼓棒？有音鎚的？曲型的？筆直的？彈奏？小提琴中提琴低音提琴大提琴不知道豎琴詩琴揚(yáng)琴不知道電子樂器風(fēng)琴Yes撥弦古鋼琴鋼琴YesNoYesNo名詞解釋根節(jié)點葉節(jié)點內(nèi)部節(jié)點決策樹本質(zhì)：是一個分類器收入年齡職業(yè)…分類器好普通差銀行客戶:信用分類“信用”為

目標(biāo)屬性：決策樹決策樹優(yōu)點：可以萃取分類規(guī)則例如：銀行新客戶的信用分類問題決策樹X1X2Y決策樹例子1:信用好,2:信用差收入年齡X2X1222222211111307萬5萬3萬年齡1111112222222年齡<30年齡>30收入1122221111222

收入<5萬

收入>5萬單純資料混亂資料例子:舊客客戶購買之歷歷史資料No性別學(xué)院購買產(chǎn)品1男商電腦2男人文手機(jī)3女商電腦4女人文手機(jī)新客戶:女生生、商學(xué)院，，請問她最可可能購買的產(chǎn)產(chǎn)品？決策樹例子1:電腦,2:手機(jī)學(xué)院性別1212男女學(xué)院2211商人文單純資料男女商人文電腦電腦手機(jī)手機(jī)性別混亂資料(混亂度高)(混亂度低)決策樹目標(biāo)屬性：購購買產(chǎn)品類別別輸入屬性：性性別、學(xué)院、年級性別年級學(xué)院……購買產(chǎn)品購買產(chǎn)品混亂度定義:一群物物件的目標(biāo)屬性混亂的程度三種計算方式式:P1*P2[0~1/4]P1:這群物件目標(biāo)屬性值為1的機(jī)率P2:這群物件目標(biāo)屬性值為2的機(jī)率Min(P1,P2)[0~1/2]Entropy:-P1log2P1-P2log2P2[0~1]練習(xí):計算算混亂度1,1,1,11,1,1,21,1,2,2Min(P1,P2)P1*P2決策樹精神挑選一輸入屬性，能將目標(biāo)屬性的混亂度降到最低決策樹演算法法(Step1)選擇一一輸入屬性，將所有objects作分類(Step2)計算分分類後之平均混亂度(Step3)選擇能使混亂度降得最低的屬屬性，作為節(jié)點之判判別屬性(Step4)反覆(Step1~3)，直到停止條件停止條件當(dāng)葉節(jié)點滿足足下列條件即即停止1.所有物物件的目標(biāo)屬性，皆為同一類2.沒沒有輸入入屬性可可以降低低混亂度決策樹模模型:三三階段段模式訓(xùn)練階段將決策樹樹訓(xùn)練出出來測試階段測試決策策樹的準(zhǔn)準(zhǔn)確性運(yùn)用階段可對一未未知資料料作分類類DecisionTree之準(zhǔn)準(zhǔn)確率利用””測試資資料”作作測試試練習(xí)ageincomestudentcredit_ratingbuys_computer<=30highnofairno<=30highnoexcellentno31…40highnofairyes>40mediumnofairyes>40lowyesfairyes>40lowyesexcellentno31…40lowyesexcellentyes<=30mediumnofairno<=30lowyesfairyes>40mediumyesfairyes<=30mediumyesexcellentyes31…40mediumnoexcellentyes31…40highyesfairyes>40mediumnoexcellentnoage?income?creditrating?fairexcellent<=30>40nonoyesyesyes30~40RootNodeChildNodeLeafNodehmlno決策樹相相關(guān)演算算法ID3:(前面所所教)Quinlan1979輸入屬性性為離散C4.5:(IBMMining軟軟體所採採用)Breiman1984輸入屬性性可為連續(xù)決策樹mining過程程A決定定想解決決的問題題B決定定目標(biāo)屬屬性與輸輸入屬性性C決定定資料範(fàn)範(fàn)圍D資料料前處理理或許需要要將連續(xù)變數(shù)數(shù)改為”離散”變數(shù)E建構(gòu)構(gòu)決策樹樹，並解解釋結(jié)果果F若無無法解釋釋，應(yīng)回回到A或B再再思考決策樹專專案注注意事項項(1/2)目標(biāo)變數(shù)數(shù)應(yīng)為””離散散(類別別)”變變數(shù)值不能太太多輸入變數(shù)數(shù)關(guān)聯(lián)性太太高不適適合使用用預(yù)測所得得高低:輸入入變數(shù)為為年齡齡，職職業(yè)，繳繳稅高高低預(yù)測打擊擊率高低低:輸輸入變數(shù)數(shù)為年年齡，守守備位位置，長長打率率，月月薪?jīng)Q策樹專專案注注意事項項(2/2)目標(biāo)屬性性與輸入入屬性關(guān)關(guān)聯(lián)性太太低例如:樂樂透獎獎輸入：年年，月，，週，日日輸出：樂樂透號碼碼作業(yè)(碩專)時間：2週請於3/24(一)前，將將報告mail給給老師與與上課成成員報告請用用Word檔撰撰寫，約約3~6頁應(yīng)說明每每位組員員的貢獻(xiàn)獻(xiàn)若有問題題詢問，，每位組組員皆可可回答附錄下週報告告(大學(xué)學(xué)部