數(shù)據(jù)挖掘第19講SPSSModeler分類課件

1、數(shù)據(jù)挖掘課程培訓(xùn)案例背景中國(guó)電信市場(chǎng)的用戶通常都為剛需用戶，不存在用戶不再使用電信業(yè)務(wù)。但各大運(yùn)營(yíng)商之間卻存在巨大的競(jìng)爭(zhēng)，尤其是各家運(yùn)營(yíng)商之間的很多服務(wù)幾乎都是交叉重疊的服務(wù)，因此用戶通常會(huì)由于某些原因離網(wǎng)轉(zhuǎn)而使用其它運(yùn)營(yíng)商的服務(wù)。為有效減少自家用戶的流失，運(yùn)營(yíng)商通常會(huì)基于自身的數(shù)據(jù)做一些分析來(lái)最大限度的挽留即將流失的用戶。ABCDABCD商業(yè)理解哪些用戶會(huì)流失流失定義特征變量選取數(shù)據(jù)時(shí)間段選取流失用戶具有哪些特征流失用戶識(shí)別規(guī)則流失用戶特征分布流失定義主動(dòng)銷號(hào)停止使用服務(wù)被動(dòng)欠費(fèi)服務(wù)取消特征變量選取？人口屬性數(shù)據(jù)行為數(shù)據(jù)客服數(shù)據(jù)其它數(shù)據(jù)數(shù)據(jù)時(shí)間段訓(xùn)練數(shù)據(jù)時(shí)間段測(cè)試數(shù)據(jù)時(shí)間段流失預(yù)測(cè)模型分類算

2、法C5.0以“信息增益率”為度量來(lái)選擇分裂屬性以“信息增益”為度量來(lái)選擇分裂屬性C5.0(C4.5)ID3樣本數(shù)據(jù)天氣溫度濕度是否有風(fēng)是否打球晴朗熱高否否晴朗熱高是否陰天熱高否是下雨涼爽高否是下雨冷正常否是下雨冷正常是否陰天冷正常是是晴朗涼爽高否否晴朗冷正常否是下雨涼爽正常否是陰天涼爽正常是是陰天涼爽高是是陰天熱正常否是下雨涼爽高是否C5.0計(jì)算步驟計(jì)算目標(biāo)變量（是否打球）不確定性計(jì)算各個(gè)輸入變量的熵計(jì)算各個(gè)輸入變量的信息增益計(jì)算各個(gè)輸入變量的信息增益率I(是否打球)E(是否打球|天氣)、E(是否打球|是否有風(fēng))Gain(是否打球|天氣)、 、 Gain(是否打球|是否有風(fēng))GainR(是否打

3、球|天氣)、 、 GainR(是否打球|是否有風(fēng))C5.0關(guān)鍵點(diǎn)值（天氣為例）熵： E(是否打球|天氣) = 0.5786信息增益：Gain(是否打球|天氣) = I(是否打球) E(是否打球|天氣) = 0.3617信息增以率：Split (是否打球|天氣) = 1.5774 GainR(是否打球|天氣) = 0.2293C5.0算法缺失值處理將帶有缺失值的樣本當(dāng)做臨時(shí)剔除樣本看待，并在后面進(jìn)行權(quán)數(shù)調(diào)整。C5.0算法可以自己處理字段中的缺失值帶有缺失值的樣本天氣溫度濕度是否有風(fēng)是否打球熱高否否晴朗熱高是否陰天熱高否是下雨涼爽高否是下雨冷正常否是下雨冷正常是否陰天冷正常是是晴朗涼爽高否否晴朗冷

4、正常否是下雨涼爽正常否是陰天涼爽正常是是陰天涼爽高是是陰天熱正常否是下雨涼爽高是否計(jì)算步驟是否打球CountRate是99/14否55/14Step 1：計(jì)算訓(xùn)練樣本的信息量計(jì)算步驟Step 2：計(jì)算每個(gè)屬性的信息增益（以天氣為例）天氣是否打球=“是”是否打球=“否”total晴朗123陰天505下雨325Total9513關(guān)鍵點(diǎn)值熵： E(是否打球|天氣) = 0.5854信息增益：Gain(是否打球|天氣) = 0.3296信息增以率：Split (是否打球|天氣) = 1.5486GainR(是否打球|天氣) = 0.2128Modeler數(shù)值型變量默認(rèn)處理方法分裂屬性為數(shù)值型變量MDL

5、P算法：基于最短描述長(zhǎng)度原則的熵分組方法。 如果分組后的輸入變量對(duì)輸出變量取值的解釋能力顯著低于分組之前，那么這樣的分組是沒(méi)有意義的。 MDLP的核心測(cè)度指標(biāo)是信息熵和信息增益。C5.0剪枝特點(diǎn)后剪枝誤差估計(jì)剪枝標(biāo)準(zhǔn)分類算法神經(jīng)網(wǎng)絡(luò)軸突樹突突觸細(xì)胞體神經(jīng)末梢神經(jīng)網(wǎng)絡(luò)模型降水量：x3太陽(yáng)黑子數(shù)：x4徑流量：x1含沙量：x2土壤濕度：x8氣溫：x5ENSO指數(shù)：x6大氣環(huán)流指數(shù)：x7jikWikWjkW1iW1jW2iW2jW3iW3jW4iW4jW5iW5jW6iW6jW7iW7jW8iW8j輸入層隱含層2輸出層隱含層1Y:是否發(fā)大水神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)介紹輸入節(jié)點(diǎn)接收和處理輸入的變量值其個(gè)數(shù)取決于輸入

6、變量的個(gè)數(shù)隱含層節(jié)點(diǎn)實(shí)現(xiàn)非線性樣本的線性變換其個(gè)數(shù)可自行設(shè)定輸出節(jié)點(diǎn)提供分類預(yù)測(cè)結(jié)果依據(jù)具體情況而定神經(jīng)網(wǎng)絡(luò)劃分方式神經(jīng)網(wǎng)絡(luò)劃分基于拓?fù)浣Y(jié)構(gòu)基于連接方式基于學(xué)習(xí)方式神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)構(gòu)成加法器W1W2激活函數(shù)神經(jīng)網(wǎng)絡(luò)激活函數(shù)閥值函數(shù)（階躍函數(shù)）分階段函數(shù)Sigmoid函數(shù)（S型函數(shù)）1 (當(dāng)v大于等于0時(shí))0 (當(dāng)v小于0時(shí))神經(jīng)網(wǎng)絡(luò)建立步驟數(shù)據(jù)處理（去除變量間的量綱影響、分類型變量轉(zhuǎn)化為數(shù)值型變量）確定神經(jīng)網(wǎng)絡(luò)的層數(shù)和每層的節(jié)點(diǎn)數(shù)神經(jīng)網(wǎng)絡(luò)權(quán)值確定訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型使用神經(jīng)網(wǎng)絡(luò)模型進(jìn)行預(yù)測(cè)分類Modeler中神經(jīng)網(wǎng)絡(luò)核心算法多層感知器MLP徑向基函數(shù)RBF多層感知器MLP特點(diǎn)可以包含一層或者多層隱含層激活函數(shù)為sigmoid函數(shù)具有高度的連通性網(wǎng)絡(luò)中包含函數(shù)信號(hào)和誤差信號(hào)3層前向網(wǎng)絡(luò)（輸入層、隱藏層、輸出層）激活函數(shù)為基函數(shù)（高斯函數(shù)）根據(jù)隱藏層節(jié)點(diǎn)數(shù)量可分為正規(guī)化網(wǎng)絡(luò)和廣義網(wǎng)絡(luò)徑向基函數(shù)RBFMLP&RBF對(duì)比多層感知器MLP徑向基函數(shù)RBF多個(gè)隱含層1個(gè)隱含層隱含層、輸出層所有節(jié)點(diǎn)計(jì)算模型相同隱含層、輸出層節(jié)