商務(wù)智能課程論文2(共14頁(yè))

1、 20/20目錄 TOC o 1-3 h z u HYPERLINK l _Toc428531510 HYPERLINK l _Toc428531511 引言 PAGEREF _Toc428531511 h 3 HYPERLINK l _Toc428531512 1.決策樹演算法 (Decision Tree) 簡(jiǎn)介 PAGEREF _Toc428531512 h 3 HYPERLINK l _Toc428531513 1.1決策樹演算法的原理 PAGEREF _Toc428531513 h 3 HYPERLINK l _Toc428531514 1.2決策樹演算法的選擇 PAGEREF _T

2、oc428531514 h 4 HYPERLINK l _Toc428531515 1.3 CHAID算法簡(jiǎn)介 PAGEREF _Toc428531515 h 4 HYPERLINK l _Toc428531516 2.自行車銷售數(shù)據(jù)欄位和特征分析 PAGEREF _Toc428531516 h 5 HYPERLINK l _Toc428531517 3.建立決策樹模型串流 PAGEREF _Toc428531517 h 6 HYPERLINK l _Toc428531518 3.1讀取數(shù)據(jù) PAGEREF _Toc428531518 h 6 HYPERLINK l _Toc428531519

3、 3.2 數(shù)據(jù)類型定義 PAGEREF _Toc428531519 h 7 HYPERLINK l _Toc428531520 3.3決策樹節(jié)點(diǎn)設(shè)定 PAGEREF _Toc428531520 h 7 HYPERLINK l _Toc428531521 4.生成模型與修正模型 PAGEREF _Toc428531521 h 9 HYPERLINK l _Toc428531522 5.模型分析 PAGEREF _Toc428531522 h 13基于(jy)SPSS Modeler的自行車銷售(xioshu)預(yù)測(cè)分析引言(ynyn)隨著資訊科技的演進(jìn)，如何通過(guò)方法有效的分析海量數(shù)據(jù)，并從其中找到

4、有利的規(guī)格或資訊已經(jīng)成為一種趨勢(shì)。而決策樹演算法是目前在進(jìn)行數(shù)據(jù)分析時(shí)很常用的分類方法，本文將使用 IBM SPSS Modeler進(jìn)行實(shí)作，介紹決策樹 (Decision tree) 演算法于零售領(lǐng)域的應(yīng)用實(shí)例。IBM SPSS Modeler包含多種決策樹模型，包括 C5.0、C&R Tree、Quest、CHAID。首先，本文將會(huì)簡(jiǎn)介決策樹演算法的基本原理，接著會(huì)針對(duì)案例數(shù)據(jù) (某公司自行車銷售數(shù)據(jù)) 進(jìn)行初步的數(shù)據(jù)分析，并套入決策樹模型中，分析、解釋并討論最后的結(jié)果。本文所用分析工具為IBM SPSS Modeler 17 試用版，所建立模型需IBM SPSS Modeler 15及以

5、上版本才可正常查看。1.決策樹演算法 (Decision Tree) 簡(jiǎn)介1.1決策樹演算法的原理決策樹演算法是在進(jìn)行數(shù)據(jù)挖掘時(shí)經(jīng)常使用的分類和預(yù)測(cè)方法。一個(gè)決策樹的架構(gòu)，是由三個(gè)部分所組成：葉節(jié)點(diǎn) (Leaf Node)、決策節(jié)點(diǎn) (Decision nodes) 以及分支。決策樹演算法的基本原理為：通過(guò)演算法中所規(guī)定的分類條件對(duì)于整體數(shù)據(jù)進(jìn)行分類，產(chǎn)生一個(gè)決策節(jié)點(diǎn)，并持續(xù)依照演算法規(guī)則分類，直到數(shù)據(jù)無(wú)法再分類為止。決策樹演算法的比較決策樹演算法依據(jù)其演算原理以及可適用分析數(shù)據(jù)類型的不同延伸出多種決策樹演算法。在 IBM SPSS Modeler 中，主要提供了四種常用的決策樹演算法供使用者

6、選擇，分別為：C5.0、CHAID、QUEST 以及 C&R Tree 四種。1.）C5.0由 C4.5 演化而來(lái)。此演算法的分類原理主要是利用資訊衡量標(biāo)準(zhǔn) (Information Measure) 來(lái)構(gòu)建決策樹，并對(duì)每一個(gè)節(jié)點(diǎn)產(chǎn)生不同數(shù)目的分支來(lái)分割數(shù)據(jù)，直到數(shù)據(jù)無(wú)法分割為止。C5.0 的目標(biāo)字段 (Target) 測(cè)量級(jí)別，不適用于連續(xù)類型 (Continuous) 的測(cè)量級(jí)別。而輸入字段的數(shù)據(jù)型態(tài)則適用連續(xù)類型 (Continuous) 的測(cè)量級(jí)別。2.）CHAID (Chi-Square Automatic Interaction Detector)此演算法和前述的 C5.0 概念很

7、像，均可以(ky)在每一個(gè)節(jié)點(diǎn)產(chǎn)生不同數(shù)目的分支來(lái)分割數(shù)據(jù)，用來(lái)建立決策樹。但是在背后分類的原理則利用卡方分析檢定 (Chi-square F test) 來(lái)進(jìn)行分支(fnzh)，通過(guò)卡方檢定來(lái)計(jì)算節(jié)點(diǎn)中的 P-value，來(lái)決定數(shù)據(jù)是否仍須進(jìn)行(jnxng)分支。另外，CHAID 的目標(biāo)字段 (Target) 的測(cè)量級(jí)別可適用于連續(xù)類型 (Continuous) 的測(cè)量級(jí)別，但在輸入字段則只適用分類類型 (Categorical) 的測(cè)量級(jí)別。3.）QUEST (Quick Unbiased Efficient Statistical Tree)此演算法是利用統(tǒng)計(jì)方法分割數(shù)據(jù)，即以判定決策樹

8、是否仍需進(jìn)行分支，以建立二元的決策樹。QUEST 在變數(shù)的數(shù)據(jù)型態(tài)限制上，跟 C5.0 一樣，目標(biāo)字段 (Target) 測(cè)量級(jí)別，不適用于連續(xù)類型 (Continuous) 的測(cè)量級(jí)別。但在輸入字段的測(cè)量級(jí)別則適用連續(xù)類型 (Continuous) 的測(cè)量級(jí)別。4.）C&R Tree (Classification and Regression Tree)又稱為 CART，構(gòu)建決策樹的原理是使用 Gini Ratio 作為判定決策樹是否仍須進(jìn)行分支的依據(jù)，并建立二元的決策樹。此演算法不管是在目標(biāo)變數(shù) (Target) 以及輸入字段的測(cè)量級(jí)別均適用連續(xù)類型 (Continuous) 的測(cè)量級(jí)別

9、做分析。1.2決策樹演算法的選擇在使用決策樹演算法進(jìn)行分析之前，首要工作就是選擇適當(dāng)?shù)难菟惴?。一般?lái)說(shuō)，會(huì)根據(jù)所要分析數(shù)據(jù)的特性以及數(shù)據(jù)型態(tài)等選擇初步的演算法。接下來(lái)再通過(guò)比較初步篩選的決策樹分析出來(lái)的結(jié)果，選擇最適合的決策樹演算法。使用者可依據(jù)數(shù)據(jù)類型以及分析需求的不同，選擇適當(dāng)?shù)臎Q策樹演算法進(jìn)行分析。雖然不同的決策樹演算法有各自適用的數(shù)據(jù)類型以及演算架構(gòu)等差異，但概括來(lái)說(shuō)，決策樹的主要原理均為通過(guò)演算法所定義的規(guī)則，對(duì)數(shù)據(jù)進(jìn)行分類，以建立決策樹。鑒于篇幅所限，以下部分僅針對(duì)CHAID算法進(jìn)行簡(jiǎn)單的介紹和應(yīng)用展示。1.3 CHAID算法簡(jiǎn)介CHAID，或卡方自動(dòng)交互效應(yīng)檢測(cè)，是一種通過(guò)使用稱

10、作卡方統(tǒng)計(jì)量的特定統(tǒng)計(jì)類型識(shí)別決策樹中的最優(yōu)分割來(lái)構(gòu)建決策樹的分類方法?！翱ǚ健笔窃诜诸惸Ｐ椭袘?yīng)用的一個(gè)統(tǒng)計(jì)量；“交互作用”是指進(jìn)行成功預(yù)測(cè)所需要考慮的各變量之間的相互關(guān)系；“檢驗(yàn)”是研究者想要完成的工作；“自動(dòng)”則意味著這項(xiàng)指導(dǎo)性技術(shù)是可用的。下文中列舉了一些在響應(yīng)模型中應(yīng)用 CHAID的好處。研究人員通常會(huì)搜集大量的預(yù)期解釋變量。CHAID可以用來(lái)提前篩選數(shù)據(jù)以剔除隨機(jī)變量（對(duì)預(yù)測(cè)沒(méi)有貢獻(xiàn)的變量）。另外，對(duì)于那些已進(jìn)入CHAID的變量，其進(jìn)入的次序揭示了他們對(duì)預(yù)測(cè)的重要程度。一個(gè)分類變量包含著若干類別，但對(duì)響應(yīng)變量而言并不是每一個(gè)類別都實(shí)際顯著。 CHAID可以幫助解決哪些類別需要合并的問(wèn)

11、題。比如，一組數(shù)據(jù)分為十二類，分別代表不同的地區(qū)，但是也許這12個(gè)類別僅有3種不同的響應(yīng)模式。在這種情況下，應(yīng)該合并地區(qū)分類。CHAID將進(jìn)行統(tǒng)計(jì)檢驗(yàn)，合并不顯著的類別。有些解釋變量可能由無(wú)序類別組成，有些則可能由有序類別組成。如果統(tǒng)計(jì)(tngj)上可行的話，研究人員希望合并前者中所有的無(wú)序類別，而僅合并后者中臨近的類別。CHAID 可以實(shí)現(xiàn)(shxin)這兩種合并。回歸分析適用于揭示(jish)線性關(guān)系。例如，假設(shè)隨著受訪者受教育程度的增加，針對(duì)相應(yīng)問(wèn)題回答“是”的百分比也增加了。那么這種模式就是線性的，回歸分析可以揭示出這種關(guān)系。但是，如果隨著受教育程度的增加，針對(duì)相應(yīng)問(wèn)題回答“是”的百分

12、比是先增加后下降的，那么，單純的運(yùn)用回歸分析就無(wú)法揭示應(yīng)答與教育水平之間的顯著關(guān)系了，因?yàn)檫@個(gè)模式不是線性的。換句話說(shuō)，CHAID揭示非線性關(guān)系?；貧w分析揭示出主要的影響因素。也就是說(shuō)，我們做回歸分析時(shí)假設(shè)某個(gè)解釋變量的影響相對(duì)于其他解釋變量的取值而言是不變的。但事實(shí)未必如此。因此，研究人員在確定某一個(gè)解釋變量對(duì)響應(yīng)變量的影響之前，需要指定其他解釋變量的水平。這被稱為一個(gè)“指定影響”或一個(gè)“交互作用”。CHAID能夠揭示解釋變量間的交互作用。CHAID會(huì)生成一個(gè)分類樹。研究人員可以從該分類樹上找到統(tǒng)計(jì)上顯著的分割點(diǎn)。由于 CHAID在內(nèi)置統(tǒng)計(jì)檢驗(yàn)中運(yùn)用了 Bonferroni調(diào)節(jié)，這種基于一組

13、數(shù)據(jù)構(gòu)建的分割模型在一個(gè)類似的抽樣樣本中可以得到很好的交叉驗(yàn)證。2.自行車銷售數(shù)據(jù)欄位和特征分析這次分析使用的數(shù)據(jù)來(lái)自某自行車零售商的自行車銷售數(shù)據(jù)，數(shù)據(jù)內(nèi)容包括：客戶的基本數(shù)據(jù)（年齡、婚姻狀況、性別、年收入、教育等），及客戶的業(yè)務(wù)相關(guān)數(shù)據(jù)（是否已購(gòu)買自行車），一共十四個(gè)字段。數(shù)據(jù)的前十條記錄預(yù)覽情況如圖1所示。圖1 自行車銷售數(shù)據(jù)展示為了保證樣本抽取的隨機(jī)性，我們?cè)O(shè)置一個(gè)“樣本抽取”節(jié)點(diǎn)，隨機(jī)抽取70%的樣本進(jìn)行模型分析。如圖2所示。圖2 樣本(yngbn)抽取在模型建置前，首先(shuxin)要了解數(shù)據(jù)的組成。通過(guò)“數(shù)據(jù)(shj)審核”中簡(jiǎn)單的圖表及統(tǒng)計(jì)數(shù)據(jù)（如圖3所示），我們可以察覺(jué)數(shù)據(jù)

14、的異常、極端值。以年齡欄位為例，我們可以通過(guò)最大、最小及平均值，來(lái)觀察有無(wú)異常分布。年齡32102歲及平均51歲屬于正常分布，所以不需要做特殊處理。其它欄位可以通過(guò)同樣方式檢視，以增加對(duì)客戶數(shù)據(jù)的了解。圖3 數(shù)據(jù)審核3.建立決策樹模型串流3.1讀取數(shù)據(jù)SPSS Modeler中需要根據(jù)數(shù)據(jù)(shj)檔案格式，來(lái)選擇不同的源節(jié)點(diǎn)讀取數(shù)據(jù)。本文使用的數(shù)據(jù)檔案格式為.xls，因此(ync)我們將使用EXCEL文件(wnjin)節(jié)點(diǎn)。在節(jié)點(diǎn)設(shè)定方面，文件標(biāo)簽下我們先讀入數(shù)據(jù)“vTargetMail.xls”，選擇工作表“按索引”，工作表范圍“范圍從第一個(gè)非空行開始”，對(duì)于空行選擇“停止讀取”，接著勾選

15、“第一行存在列名稱”。過(guò)濾掉不分析的字段。如圖4所示。 圖4 讀取數(shù)據(jù)3.2 數(shù)據(jù)類型定義為了產(chǎn)生決策樹模型，我們需要在數(shù)據(jù)建模前就定義好各欄位的角色，也就是加入字段選項(xiàng)下的“類型”節(jié)點(diǎn)（請(qǐng)見(jiàn)圖5）。將類型節(jié)點(diǎn)拉入串流后，我們會(huì)先點(diǎn)選讀取值按鈕，接著設(shè)定角色。在本案例中，字段“BikeBuyer”是我們最后預(yù)測(cè)的目標(biāo)，因此將其測(cè)量設(shè)定為“標(biāo)記”，角色設(shè)定為“目標(biāo)”，余下的欄位則是要設(shè)定為“輸入”。在完成這一步后，點(diǎn)擊“讀取值”讀取數(shù)據(jù)，就已經(jīng)完成數(shù)據(jù)準(zhǔn)備（請(qǐng)見(jiàn)圖6），可以套用決策樹模型節(jié)點(diǎn)了。圖5 “促銷購(gòu)買”類型節(jié)點(diǎn)設(shè)置圖6 數(shù)據(jù)準(zhǔn)備(zhnbi)完成3.3決策樹節(jié)點(diǎn)(ji din)設(shè)定如前

16、面(qin mian)所述，SPSS Modeler共提供四種決策樹節(jié)點(diǎn)建模，包括 C5.0、C&R 樹、Quest 和 CHAID。由于篇幅有限，因此本文將只建立CHAID分類模型。將 CHAID 節(jié)點(diǎn)與分區(qū)節(jié)點(diǎn)連結(jié)后，我們將于此節(jié)點(diǎn)編輯頁(yè)面中的模型標(biāo)簽下設(shè)定相關(guān)的變數(shù)。由于 CHAID 節(jié)點(diǎn)設(shè)定較多，以下將挑選我們有修改預(yù)設(shè)值的變數(shù)進(jìn)行詳細(xì)介紹。此定義來(lái)自“SPSS Modeler 17 Modeling Nodes文件”。最大樹深度：指定根節(jié)點(diǎn)以下的最大級(jí)數(shù)（遞歸分割樣本的次數(shù)）。修剪樹以防止過(guò)擬合：修剪包括刪除對(duì)于樹的精確性沒(méi)有顯著貢獻(xiàn)的底層分割。修剪有助于簡(jiǎn)化樹，使樹更容易被理解，在

17、某些情況下還可提高廣義性。停止規(guī)則：設(shè)置最小分支大小可阻止通過(guò)分割創(chuàng)建非常小的子組。如果節(jié)點(diǎn)（父）中要分割的記錄數(shù)小于指定值，則父分支中的最小記錄數(shù) 將阻止進(jìn)行分割。如果由分割創(chuàng)建的任意分支（子）中的記錄數(shù)小于指定值，則子分支中的最小記錄數(shù) 將阻止進(jìn)行分割。在建模節(jié)點(diǎn)的“字段”選項(xiàng)卡中，已選中“使用預(yù)定義角色”，這意味著將按在類型節(jié)點(diǎn)中的指定使用目標(biāo)和輸入。如圖7所示。圖7 模型(mxng)字段選項(xiàng)卡“構(gòu)建(u jin)選項(xiàng)”包含的選項(xiàng)可以用于指定要構(gòu)建的模型類型。由于我們想要一個(gè)全新的模型，因此使用默認(rèn)選項(xiàng)構(gòu)建新模型。我們還要求它為單個(gè)標(biāo)準(zhǔn)決策樹模型，并且不包含任何增強(qiáng)(zngqing)，因

18、此保留默認(rèn)目標(biāo)選項(xiàng)構(gòu)建單個(gè)樹。如圖8所示。圖8 構(gòu)建選項(xiàng)除圖9和圖10設(shè)置，其它設(shè)置按照默認(rèn)設(shè)置不變。圖9 構(gòu)建(u jin)選項(xiàng)基本 圖10 構(gòu)建(u jin)選項(xiàng)高級(jí)4.生成模型(mxng)與修正模型決策樹節(jié)點(diǎn)設(shè)定完成后，點(diǎn)擊主工具列的運(yùn)行當(dāng)前流前即可看到?jīng)Q策樹模型的產(chǎn)生。添加一個(gè)“評(píng)估”圖形節(jié)點(diǎn)和“分析”輸出節(jié)點(diǎn)，方便后續(xù)比較預(yù)測(cè)模型精確度并檢驗(yàn)預(yù)測(cè)結(jié)果。模型整體如圖11所示。圖11 自行車銷售CHAID預(yù)測(cè)模型雙擊決策樹模型則可看到模型結(jié)果，而我們最主要要觀察的是模型標(biāo)簽及查看器標(biāo)簽下的內(nèi)容。模型標(biāo)簽內(nèi)容如圖 9 所示，左欄位使用文字樹狀展開，表現(xiàn)每一階層的分類狀況及目標(biāo)變數(shù)的模式；右

19、欄位則是整體模型預(yù)測(cè)變量的重要性比較。我們也將會(huì)根據(jù)變量重要性調(diào)整模型設(shè)定、變數(shù)選擇，持續(xù)的訓(xùn)練出較佳的模型。查看器標(biāo)簽則是將一樣的決策樹結(jié)果用樹狀圖的方式展現(xiàn)。對(duì)于 CHAID 模型塊，“模型”選項(xiàng)卡以規(guī)則集的形式顯示詳細(xì)信息，規(guī)則集實(shí)際上是可根據(jù)不同輸入字段的值將各個(gè)記錄分配給子節(jié)點(diǎn)的一組規(guī)則。在規(guī)則集的右側(cè)，“模型”選項(xiàng)卡顯示預(yù)測(cè)變量重要性圖表，該圖表顯示評(píng)估模型時(shí)每個(gè)預(yù)測(cè)變量的相對(duì)重要性。通過(guò)這一點(diǎn)，我們看到“NumberCarsOwned”變量的重要性水平最顯著，其次是“Age”、“YearlyIncome”、“TotalChildren”、“CommuteDistance”等，而最

20、不重要的就是“Gender”變量。模型分析結(jié)果如圖12-14所示。圖12 圖13 圖14圖15圖16圖15和圖16表明，預(yù)測(cè)數(shù)據(jù)與原始數(shù)據(jù)擬合程度不夠好，由于預(yù)測(cè)結(jié)果的錯(cuò)誤率較高，經(jīng)過(guò)思考(sko)與探索發(fā)現(xiàn)是由于數(shù)據(jù)沒(méi)有清洗導(dǎo)致，所以在模型中加入“自動(dòng)準(zhǔn)備數(shù)據(jù)”節(jié)點(diǎn)進(jìn)行預(yù)處理并進(jìn)行“數(shù)據(jù)審核”。如圖17所示。圖17 修改(xigi)后的模型經(jīng)過(guò)運(yùn)行(ynxng)之后，得到的模型分析結(jié)果。可以看到錯(cuò)誤率明顯下降了，正確率從66.2%提高到73.79%。但是預(yù)測(cè)準(zhǔn)確率依然不是很理想的原因有可能是分析的數(shù)據(jù)量不夠大或者不具有代表性的原因。圖18 修改后的模型正確率提高5.模型(mxng)分析(fn

21、x)如圖19所示，各預(yù)測(cè)(yc)變量的重要性由高到低排列分別為：NumberCarsOwned（0.34），TotalChildren（0.18），YearlyIncome（0.17），Age（0.16），Region（0.05），CommuteDistance（0.03），HouseOwnerFlag（0.02），MaritalStatus（0.02），NumberChildrenAtHome（0.02），Gender（0.01），有上述權(quán)重我們可以看出NumberCarsOwned變量是最重要的預(yù)測(cè)變量，權(quán)重最大，其次分別為TotalChildren、YearlyIncome、Age和Re

22、gion，因此這五個(gè)變量將作為決策樹的重要分支用于目標(biāo)預(yù)測(cè)，而Gender是最不重要的預(yù)測(cè)變量，所占權(quán)重只有0.01。圖19 預(yù)測(cè)變量重要性排序 圖20決策樹中樹干決策樹中樹干“BikeBuyer”兩個(gè)類別（1表示已購(gòu)買自行車，0表示未購(gòu)買自行車）的比例各自接近50%，說(shuō)明抽取樣本的分布比較均勻，結(jié)果具有一定的分析意義。從上面我們也可以看出，抽取的樣本數(shù)為5644。P值0.001表示樣本通過(guò)顯著性檢驗(yàn)。見(jiàn)圖20。以下是根據(jù)“NumberCarsOwned（擁有汽車的數(shù)量）”變量分出的第一層枝干，可以看到擁有車輛數(shù)量小于等于1的情況下，客戶偏向于購(gòu)買自行車；而擁有車輛數(shù)量大于1的情況下，客戶選擇

23、不購(gòu)買自行車。聯(lián)系實(shí)際，如果客戶出行時(shí)有二至四輛代步小汽車，那通常不會(huì)騎自行車出門，購(gòu)買自行車的可能性就比較低。 圖21 決策樹第二層樹枝模型的分析結(jié)果如圖22所示。由于我們的關(guān)注點(diǎn)在于哪些類型的是購(gòu)買自行車的潛在客戶，所以以下僅選取“NumberCarsOwned”變量值為0或1的情況進(jìn)行下一步分析?！癗umberCarsOwned”變量第一層枝干之下是根據(jù)“Age”變量分出的第二層枝干，擁有汽車數(shù)量為0且年齡在49歲以下的客戶偏向于購(gòu)買自行車，而年齡高于49歲的客戶可能由于身體狀況等問(wèn)題不便騎自行車出門而消費(fèi)可能性不大。擁有汽車數(shù)量為1且年齡在40到61歲之間的客戶偏向于購(gòu)買自行車?！癗umberCarsOwned”變量值為0 的情況下，“Age（年齡）”變量第二層枝干之下的第三層分支分別為“YearlyIncom