決策樹(shù)及隨機(jī)效應(yīng)模型

決策樹(shù)及隨機(jī)效應(yīng)模型

張文超2014/05/07基本概念決策樹(shù)模型的建立決策樹(shù)與判別函數(shù)的比較計(jì)算方法決策樹(shù)及隨機(jī)效應(yīng)模型R軟件包應(yīng)用10.1決策樹(shù)是同時(shí)提供分類(lèi)的預(yù)測(cè)的常用方法決策樹(shù)的數(shù)據(jù)分析是一種樹(shù)形結(jié)構(gòu)來(lái)表現(xiàn)數(shù)據(jù)各變量影響程度的預(yù)測(cè)模型，利用樹(shù)上各級(jí)節(jié)點(diǎn)分支自動(dòng)確認(rèn)和評(píng)估各個(gè)類(lèi)別。決策樹(shù)能從一個(gè)或多個(gè)預(yù)測(cè)變量中，針對(duì)類(lèi)別因變量的選項(xiàng)，預(yù)測(cè)出個(gè)例的趨勢(shì)變化關(guān)系等，也可以由結(jié)果反推原因。決策樹(shù)是同時(shí)提供分類(lèi)與預(yù)測(cè)的常用方法。通過(guò)一系列的選擇將數(shù)據(jù)分類(lèi)，可由落入相同結(jié)點(diǎn)的路徑上的規(guī)則集來(lái)推測(cè)相同的結(jié)果。決策樹(shù)的主要功能是由已知分類(lèi)的個(gè)體來(lái)建立決策樹(shù)和相應(yīng)的決策規(guī)則。與神經(jīng)網(wǎng)絡(luò)不同，決策樹(shù)產(chǎn)生的決策規(guī)則可用文字或數(shù)字來(lái)表達(dá)?。常用的決策樹(shù)方法有CHAID（chaid）以及CART(cart)CHAID(卡方自動(dòng)交互檢測(cè)法）決策樹(shù)只限于處理分類(lèi)變量，如果是連續(xù)變量必須采用區(qū)段的方式，先轉(zhuǎn)換數(shù)據(jù)為類(lèi)別變量，才可以使用。CHAID決策樹(shù)的基本步驟如下：（1）對(duì)每個(gè)變量都計(jì)算其所有可能的分割點(diǎn)，并找出一個(gè)最佳分割點(diǎn)。

（2）比較各預(yù)測(cè)變量在“最佳分割方式”下的組間方差，然后找出一個(gè)組間方差最大的變量，即為最佳預(yù)測(cè)變量。（3）用最佳預(yù)測(cè)變量的最佳分割方式把原始數(shù)據(jù)分成兩組（4）將分割后的每一組作為樣本，重復(fù)前述分割步驟（5）重復(fù)分割，直到所有變量都被用完為止。10.2決策樹(shù)模型的建立針對(duì)分類(lèi)預(yù)測(cè)變量，計(jì)算以單變量分裂為基礎(chǔ)的二元決策樹(shù)針對(duì)順序預(yù)測(cè)變量，計(jì)算以單變量分裂為基礎(chǔ)的二元決策樹(shù)（至少為順序尺度類(lèi)型的變量）混合兩類(lèi)方法的預(yù)測(cè)變量計(jì)算以單變量分裂為基礎(chǔ)的二元決策樹(shù)。10.3決策樹(shù)與判別函數(shù)的比較決策樹(shù)與判別函數(shù)的比較如表10-1所示10.4計(jì)算方法—制定預(yù)測(cè)精確度的標(biāo)準(zhǔn)決策樹(shù)是要建立預(yù)測(cè)正確率最高的分類(lèi)規(guī)則預(yù)測(cè)精度的定義，一般包含了成本的概念成本指的是個(gè)例被混合分類(lèi)時(shí)的比例10.4計(jì)算方法-先驗(yàn)概率如果研究中中，各分類(lèi)類(lèi)包含的個(gè)個(gè)例數(shù)的比比例相等或或相近，或或各類(lèi)中的的個(gè)例數(shù)目目相等或相相近，就可可以選擇““相同先驗(yàn)驗(yàn)概率”。。如果不同分分類(lèi)的比例例相差較大大，以至于于影響到分分類(lèi)數(shù)，那那么，可依依據(jù)樣本中中的分類(lèi)比比例來(lái)估計(jì)計(jì)先驗(yàn)概率率。如果針對(duì)基基本比例有有著經(jīng)驗(yàn)判判斷，便可可以給予不不同的基本本比例，并并可將其歸歸類(lèi)為先驗(yàn)驗(yàn)概率如果設(shè)置相相同的錯(cuò)誤誤分類(lèi)成本本，并且不不以分類(lèi)的的個(gè)體比例例作為權(quán)數(shù)數(shù)，那么錯(cuò)錯(cuò)誤分類(lèi)率率是相同的的。10.4計(jì)算方法-選擇分裂（（分層）技技術(shù)分層技術(shù)比比較如表10-2所示10.4計(jì)算方法-定義停止分分層的時(shí)點(diǎn)點(diǎn)在決策樹(shù)模模塊中，提提供兩個(gè)選選項(xiàng)可以控控制停止分分裂（分層層）的時(shí)時(shí)間點(diǎn)：（1）取小n(最終節(jié)點(diǎn)中中所包含的的個(gè)例數(shù))（2）設(shè)置對(duì)象象的片段10.4計(jì)算方法-選擇適當(dāng)大大小的決策策樹(shù)在一般化的的分割過(guò)程程中，需要要確定決策策樹(shù)的適當(dāng)當(dāng)規(guī)模決策樹(shù)模塊塊可提供幾幾種不同的的選取適當(dāng)當(dāng)大小的策策略，可擇擇一或同時(shí)時(shí)使用。如如表10-3所示。。1.1決策樹(shù)樹(shù)決策樹(shù)樹(shù)(DecisionTree）是在在已知知各種種情況況發(fā)生生概率率的基基礎(chǔ)上上，通通過(guò)構(gòu)構(gòu)成決決策樹(shù)樹(shù)來(lái)求求取凈凈現(xiàn)值值的期期望值值大于于等于于零的的概率率，評(píng)評(píng)價(jià)項(xiàng)項(xiàng)目風(fēng)風(fēng)險(xiǎn)，，判斷斷其可可行性性的決決策分分析方方法，，是直直觀運(yùn)運(yùn)用概概率分分析的的一種種圖解解法。。由于于這種種決策策分支支畫(huà)成成圖形形很像像一棵棵樹(shù)的的枝干干，故故稱(chēng)決決策樹(shù)樹(shù)。在在機(jī)器器學(xué)習(xí)習(xí)中，，決策策樹(shù)是是一個(gè)個(gè)預(yù)測(cè)測(cè)模型型，他他代表表的是是對(duì)象象屬性性與對(duì)對(duì)象值值之間間的一一種映映射關(guān)關(guān)系。。Entropy=系統(tǒng)的的凌亂亂程度度，使使用算算法ID3,C4.5和C5.0生成樹(shù)樹(shù)算法法使用用熵。。這一一度量量是基基于信信息學(xué)學(xué)理論論中熵熵的概概念。。決策樹(shù)樹(shù)是數(shù)數(shù)據(jù)挖挖掘分分類(lèi)算算法的的一個(gè)個(gè)重要要方法法。在在各種種分類(lèi)類(lèi)算法法中，，決策策樹(shù)是是最直直觀的的一種種。1.2組成□——決策點(diǎn)點(diǎn)，是對(duì)對(duì)幾種種可能能方案案的選選擇，，即最最后選選擇的的最佳佳方案案。如如果決決策屬屬于多多級(jí)決決策，，則決決策樹(shù)樹(shù)的中中間可可以有有多個(gè)個(gè)決策策點(diǎn)，，以決決策樹(shù)樹(shù)根部部的決決策點(diǎn)點(diǎn)為最最終決決策方方案。?！稹獱顟B(tài)節(jié)節(jié)點(diǎn)，代表表備選選方案案的經(jīng)經(jīng)濟(jì)效效果（（期望望值）），通通過(guò)各各狀態(tài)態(tài)節(jié)點(diǎn)點(diǎn)的經(jīng)經(jīng)濟(jì)效效果的的對(duì)比比，按按照一一定的的決策策標(biāo)準(zhǔn)準(zhǔn)就可可以選選出最最佳方方案。。由狀狀態(tài)節(jié)節(jié)點(diǎn)引引出的的分支支稱(chēng)為為概率率枝，，概率率枝的的數(shù)目目表示示可能能出現(xiàn)現(xiàn)的自自然狀狀態(tài)數(shù)數(shù)目每每個(gè)分分枝上上要注注明該該狀態(tài)態(tài)出現(xiàn)現(xiàn)的概概率。?！鳌Y(jié)果節(jié)節(jié)點(diǎn)，將每每個(gè)方方案在在各種種自然然狀態(tài)態(tài)下取取得的的損益益值標(biāo)標(biāo)注于于結(jié)果果節(jié)點(diǎn)點(diǎn)的右右端。。1.3畫(huà)法機(jī)器學(xué)學(xué)習(xí)，，決策樹(shù)樹(shù)是一個(gè)個(gè)預(yù)測(cè)測(cè)模型型；他他代表表的是是對(duì)象象屬性性與對(duì)對(duì)象值值之間間的一一種映映射關(guān)關(guān)系。。樹(shù)中中每個(gè)個(gè)節(jié)點(diǎn)點(diǎn)表示示某個(gè)個(gè)對(duì)象象，而而每個(gè)個(gè)分叉叉路徑徑則代代表的的某個(gè)個(gè)可能能的屬屬性值值，而而每個(gè)個(gè)葉結(jié)結(jié)點(diǎn)則則對(duì)應(yīng)應(yīng)從根根節(jié)點(diǎn)點(diǎn)到該該葉節(jié)節(jié)點(diǎn)所所經(jīng)歷歷的路路徑所所表示示的對(duì)對(duì)象的的值。。決策策樹(shù)僅僅有單單一輸輸出，，若欲欲有復(fù)復(fù)數(shù)輸輸出，，可以以建立立獨(dú)立立的決決策樹(shù)樹(shù)以處處理不不同輸輸出。。數(shù)據(jù)據(jù)挖掘掘中決決策樹(shù)樹(shù)是一一種經(jīng)經(jīng)常要要用到到的技技術(shù)，，可以以用于于分析析數(shù)據(jù)據(jù)，同同樣也也可以以用來(lái)來(lái)作預(yù)預(yù)測(cè)。。1.3畫(huà)法從數(shù)據(jù)據(jù)產(chǎn)生生決策策樹(shù)的的機(jī)器器學(xué)習(xí)習(xí)技術(shù)術(shù)叫做做決策樹(shù)樹(shù)學(xué)習(xí),通俗說(shuō)說(shuō)就是是決策樹(shù)樹(shù)。一個(gè)決決策樹(shù)樹(shù)包含含三種種類(lèi)型型的節(jié)節(jié)點(diǎn)：：決策節(jié)節(jié)點(diǎn)：：通常常用矩矩形框框來(lái)表表式機(jī)會(huì)節(jié)節(jié)點(diǎn)：：通常常用圓圓圈來(lái)來(lái)表式式終結(jié)點(diǎn)點(diǎn)：通通常用用三角角形來(lái)來(lái)表示示決策樹(shù)樹(shù)學(xué)習(xí)習(xí)也是是資料料探勘勘中一一個(gè)普普通的的方法法。在在這里里，每每個(gè)決決策樹(shù)樹(shù)都表表述了了一種種樹(shù)型型結(jié)構(gòu)構(gòu)，它它由它它的分分支來(lái)來(lái)對(duì)該該類(lèi)型型的對(duì)對(duì)象依依靠屬屬性進(jìn)進(jìn)行分分類(lèi)。。每個(gè)決決策樹(shù)樹(shù)可以以依靠靠對(duì)源源數(shù)據(jù)據(jù)庫(kù)的的分割割進(jìn)行行數(shù)據(jù)據(jù)測(cè)試試。這個(gè)過(guò)過(guò)程可可以遞遞歸式式的對(duì)對(duì)樹(shù)進(jìn)進(jìn)行修修剪。。當(dāng)當(dāng)不能能再進(jìn)進(jìn)行分分割或或一個(gè)個(gè)單獨(dú)獨(dú)的類(lèi)類(lèi)可以以被應(yīng)應(yīng)用于于某一一分支支時(shí)，，遞歸歸過(guò)程程就完完成了了。另另外，，隨機(jī)機(jī)森林林分類(lèi)類(lèi)器將將許多多決策策樹(shù)結(jié)結(jié)合起起來(lái)以以提升升分類(lèi)類(lèi)的正正確率率。決策樹(shù)樹(shù)同時(shí)時(shí)也可可以依依靠計(jì)計(jì)算條條件概概率來(lái)來(lái)構(gòu)造造。決策樹(shù)樹(shù)如果果依靠靠數(shù)學(xué)學(xué)的計(jì)計(jì)算方方法可可以取取得更更加理理想的的效果果。數(shù)數(shù)據(jù)據(jù)庫(kù)已已如下下所示示：(x,y)=(x1,x2,x3……,xk,y)相關(guān)的的變量量Y表示我我們嘗嘗試去去理解解，分分類(lèi)或或者更更一般般化的的結(jié)果果。其其他他的變變量x1,x2,x3等則是是幫助助我們們達(dá)到到目的的的變變量。。1.4決策樹(shù)樹(shù)的剪剪枝剪枝是是決策策樹(shù)停停止分分支的的方法法之一一，剪剪枝有有分預(yù)先剪剪枝和后剪枝枝兩種。。預(yù)先剪剪枝是在樹(shù)樹(shù)的生生長(zhǎng)過(guò)過(guò)程中中設(shè)定定一個(gè)個(gè)指標(biāo)標(biāo)，當(dāng)當(dāng)達(dá)到到該指指標(biāo)時(shí)時(shí)就停停止生生長(zhǎng)，，這樣樣做容容易產(chǎn)產(chǎn)生““視界界局限限”，，就是是一旦旦停止止分支支，使使得節(jié)節(jié)點(diǎn)N成為葉葉節(jié)點(diǎn)點(diǎn)，就就斷絕絕了其其后繼繼節(jié)點(diǎn)點(diǎn)進(jìn)行行“好好”的的分支支操作作的任任何可可能性性。不不嚴(yán)嚴(yán)格的的說(shuō)這這些已已停止止的分分支會(huì)會(huì)誤導(dǎo)導(dǎo)學(xué)習(xí)習(xí)算法法，導(dǎo)導(dǎo)致產(chǎn)產(chǎn)生的的樹(shù)不不純度度降差差最大大的地地方過(guò)過(guò)分靠靠近根根節(jié)點(diǎn)點(diǎn)。1.4決策樹(shù)樹(shù)的剪剪枝后剪枝枝中樹(shù)首首先要要充分分生長(zhǎng)長(zhǎng)，直直到葉葉節(jié)點(diǎn)點(diǎn)都有有最小小的不不純度度值為為止，，因而而可以以克服服“視視界局局限””。然然后對(duì)對(duì)所有有相鄰鄰的成成對(duì)葉葉節(jié)點(diǎn)點(diǎn)考慮慮是否否消去去它們們，如如果消消去能能引起起令人人滿(mǎn)意意的不不純度度增長(zhǎng)長(zhǎng)，那那么執(zhí)執(zhí)行消消去，，并令令它們們的公公共父父節(jié)點(diǎn)點(diǎn)成為為新的的葉節(jié)節(jié)點(diǎn)。。這種種“合合并””葉節(jié)節(jié)點(diǎn)的的做法法和節(jié)節(jié)點(diǎn)分分支的的過(guò)程程恰好好相反反，經(jīng)經(jīng)過(guò)剪剪枝后后葉節(jié)節(jié)點(diǎn)常常常會(huì)會(huì)分布布在很很寬的的層次次上，，樹(shù)也也變得得非平平衡。。后剪剪枝技技術(shù)的的優(yōu)點(diǎn)點(diǎn)是克克服了了“視視界局局限””效應(yīng)應(yīng)，而而且無(wú)無(wú)需保保留部部分樣樣本用用于交交叉驗(yàn)驗(yàn)證，，所以以可以以充分分利用用全部部訓(xùn)練練集的的信息息。但但后剪剪枝的的計(jì)算算量代代價(jià)比比預(yù)剪剪枝方方法大大得多多，特特別是是在大大樣本本集中中，不不過(guò)對(duì)對(duì)于小小樣本本的情情況，，后剪剪枝方方法還還是優(yōu)優(yōu)于預(yù)預(yù)剪枝枝方法法的。。1.5實(shí)例為了適適應(yīng)市市場(chǎng)的的需要要，某某地準(zhǔn)準(zhǔn)備擴(kuò)擴(kuò)大電電視機(jī)機(jī)生產(chǎn)產(chǎn)。市市場(chǎng)預(yù)預(yù)測(cè)表表明：：產(chǎn)品品銷(xiāo)路路好的的概率率為0.7；銷(xiāo)路路差的的概率率為0.3。備選方方案有有三個(gè)個(gè)：第一個(gè)個(gè)方案案是建建設(shè)大大工廠廠，需需要投投資600萬(wàn)元，，可使使用10年；如如銷(xiāo)路路好，，每年年可贏贏利200萬(wàn)元；；如銷(xiāo)銷(xiāo)路不不好，，每年年會(huì)虧虧損40萬(wàn)元。。第二個(gè)個(gè)方案案是建建設(shè)小小工廠廠，需需投資資280萬(wàn)元；；如銷(xiāo)銷(xiāo)路好好，每每年可可贏利利80萬(wàn)元；；如銷(xiāo)銷(xiāo)路不不好，，每年年也會(huì)會(huì)贏利利60萬(wàn)元。第三個(gè)方方案也是是先建設(shè)設(shè)小工廠廠，但是是如銷(xiāo)路路好，3年后擴(kuò)建建，擴(kuò)建建需投資資400萬(wàn)元，可可使用7年，擴(kuò)建建后每年年會(huì)贏利利190萬(wàn)元。1.5實(shí)例各點(diǎn)期望望：點(diǎn)②：0.7××200×10+0.3×（-40）×10-600（投資））=680（萬(wàn)元））決策樹(shù)樹(shù)分析點(diǎn)⑤：1.0××190×7-400=930（萬(wàn)元））點(diǎn)⑥：1.0××80××7=560（萬(wàn)元））比較決策策點(diǎn)4的情況可可以看到到，由于于點(diǎn)⑤（（930萬(wàn)元）與與點(diǎn)⑥（（560萬(wàn)元）相相比，點(diǎn)點(diǎn)⑤的期期望利潤(rùn)潤(rùn)值較大大，因此此應(yīng)采用用擴(kuò)建的的方案，，而舍棄棄不擴(kuò)建建的方案案。把點(diǎn)點(diǎn)⑤的930萬(wàn)元移到到點(diǎn)4來(lái)，可計(jì)計(jì)算出點(diǎn)點(diǎn)③的期期望利潤(rùn)潤(rùn)值。點(diǎn)③：0.7××80××3+0.7××930+0.3×60×（3+7）-280=719（萬(wàn)元））最后比較較決策點(diǎn)點(diǎn)1的情況。。由于點(diǎn)點(diǎn)③（719萬(wàn)元）與與點(diǎn)②（（680萬(wàn)元）相相比，點(diǎn)點(diǎn)③的期期望利潤(rùn)潤(rùn)值較大大，因此此取點(diǎn)③③而舍點(diǎn)點(diǎn)②。這這樣，相相比之下下，建設(shè)設(shè)大工廠廠的方案案不是最最優(yōu)方案案，合理理的策略略應(yīng)采用用前3年建小工工廠，如如銷(xiāo)路好好，后7年進(jìn)行擴(kuò)擴(kuò)建的方方案。決策樹(shù)模模型與回回歸模型型在天津津市某區(qū)區(qū)公務(wù)員員

健康康狀況分分析中的的應(yīng)用與與比較應(yīng)用SAS8.2EnterpriseMiner模塊建立立決策樹(shù)樹(shù)模型和和回歸模模型，對(duì)對(duì)該區(qū)公公務(wù)員人人群的健健康狀況況影響因因素進(jìn)行行分析和和預(yù)測(cè)。。將logistic回歸模型型與決策策樹(shù)模型型進(jìn)行預(yù)預(yù)測(cè)性能能的比較較，ROC面積比較較結(jié)果發(fā)發(fā)現(xiàn)，兩兩者差別別無(wú)統(tǒng)計(jì)計(jì)學(xué)意義義。結(jié)論公公務(wù)員人人群健康康狀況不不容樂(lè)觀觀，各種種慢性病病患病率率較高，，是今后后開(kāi)展健健康管理理的重點(diǎn)點(diǎn)群體&logistic回歸是分分類(lèi)數(shù)據(jù)據(jù)統(tǒng)計(jì)分分析的一一種重要要方法，，流行病病學(xué)上常常用于研研究疾病病與致病病因子間間的聯(lián)系系，以疾疾病發(fā)生生與否為為應(yīng)變量量，影響響疾病發(fā)發(fā)生的因因子為自自變量，，估計(jì)各各因子的的相對(duì)危危險(xiǎn)度或或比數(shù)比比。決策樹(shù)是是一種非線性的的判別分分析的方方法，是一種種類(lèi)似于于流程圖圖的結(jié)構(gòu)構(gòu)圖，