應(yīng)用SAS_EM進(jìn)行數(shù)據(jù)挖掘

1、Copyright 2003, SAS Institute Inc. All rights reserved.應(yīng)用應(yīng)用SAS/EM進(jìn)行進(jìn)行數(shù)據(jù)挖掘數(shù)據(jù)挖掘2003-04-16賽仕軟件研究所（上海）有限公司Copyright 2003, SAS Institute Inc. All rights reserved.議程數(shù)據(jù)挖掘概述SAS數(shù)據(jù)挖掘項(xiàng)目方法論及工具SAS/EM簡(jiǎn)介WorkshopCopyright 2003, SAS Institute Inc. All rights reserved.企業(yè)決策支持信息系統(tǒng)OLTP數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)統(tǒng)計(jì)分析統(tǒng)計(jì)分析數(shù)據(jù)挖掘數(shù)據(jù)挖掘決策支持決策支持企業(yè)知

2、識(shí)企業(yè)知識(shí)DW SolutionDM & Analysis SolutionApplication for C/S & B/SCBI Solution1st Qtr2nd Qtr3rd Qtr4th QtrPowerPlayFileEditDataValuesDisplayTextLegendLocation 1992 All Products Age groups Revenue($000)OLAP查詢(xún)報(bào)表查詢(xún)報(bào)表Copyright 2003, SAS Institute Inc. All rights reserved.什么是數(shù)據(jù)挖掘？定義：定義：從海量的數(shù)據(jù)庫(kù)中選擇、探索

3、、識(shí)別出有效的、新穎的、具有潛在效用的乃至最終可理解的模式以獲取商業(yè)利益的非平凡的過(guò)程-Fayyad，Piatetsky-Shapiro特征：特征： 處理海量的數(shù)據(jù)； 揭示企業(yè)運(yùn)作中的內(nèi)在規(guī)律； 為企業(yè)運(yùn)作提供直接決策分析，并為企業(yè)帶來(lái)巨大經(jīng)濟(jì)效益。Copyright 2003, SAS Institute Inc. All rights reserved.待分析待分析數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)倉(cāng)庫(kù)處理后處理后數(shù)據(jù)數(shù)據(jù)變換后變換后數(shù)據(jù)數(shù)據(jù)Source :”From Data Mining to Knowledge Discovery: An Overview”, Advances in Knowle

4、dge Discovery and Data Mining, AAAI Press/The MIT Press.數(shù)據(jù)抽取數(shù)據(jù)抽取數(shù)據(jù)預(yù)處理數(shù)據(jù)預(yù)處理數(shù)據(jù)挖掘數(shù)據(jù)挖掘數(shù)據(jù)變換數(shù)據(jù)變換解釋評(píng)價(jià)解釋評(píng)價(jià)數(shù)據(jù)挖掘全過(guò)程Copyright 2003, SAS Institute Inc. All rights reserved.數(shù)據(jù)挖掘涉及領(lǐng)域神經(jīng)計(jì)算神經(jīng)計(jì)算數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)知識(shí)發(fā)現(xiàn)知識(shí)發(fā)現(xiàn)數(shù)據(jù)挖掘數(shù)據(jù)挖掘統(tǒng)計(jì)學(xué)統(tǒng)計(jì)學(xué)模式模式識(shí)別識(shí)別人工人工智能智能Copyright 2003, SAS Institute Inc. All rights reserved.數(shù)據(jù)挖掘算法（按有無(wú)目標(biāo)變量）Copyright

5、2003, SAS Institute Inc. All rights reserved. 預(yù)測(cè) 用過(guò)去的數(shù)據(jù)預(yù)測(cè) 未來(lái)發(fā)生什么 預(yù)測(cè)未來(lái)預(yù)測(cè)未來(lái)發(fā)生的可能性發(fā)生的可能性歷史數(shù)據(jù)歷史數(shù)據(jù)預(yù)測(cè)算法預(yù)測(cè)算法 - 神經(jīng)元網(wǎng)絡(luò)神經(jīng)元網(wǎng)絡(luò) - 決策樹(shù)決策樹(shù) - 回歸回歸 描述 用過(guò)去的數(shù)據(jù) 描述 現(xiàn)在發(fā)生了什么描述現(xiàn)在描述現(xiàn)在已經(jīng)發(fā)生的規(guī)律已經(jīng)發(fā)生的規(guī)律歷史數(shù)據(jù)歷史數(shù)據(jù)描述算法描述算法 - 聚類(lèi)聚類(lèi) - 關(guān)聯(lián)關(guān)聯(lián)數(shù)據(jù)挖掘算法（按分析目的）Copyright 2003, SAS Institute Inc. All rights reserved.回歸算法：線(xiàn)性回歸、邏輯回歸、概率回歸統(tǒng)計(jì)方法：主成分分析

6、、因子分析、判別分析等關(guān)聯(lián)算法：關(guān)聯(lián)模式、序列模式、連接分析等聚類(lèi)算法：Cluster、SOM/Kohonen神經(jīng)元網(wǎng)絡(luò)：MLP、RBF決策樹(shù)：CHAID、CART、C4.5、C5.0數(shù)據(jù)挖掘算法Copyright 2003, SAS Institute Inc. All rights reserved.x20.00.81.0 x10.0 0.2 0.4 0.6 0.8 1.0 x20.00.81.0 x10.0 0.2 0.4 0.6 0.8 1.0使用一元二次項(xiàng)使用簡(jiǎn)單線(xiàn)性 預(yù)測(cè)型預(yù)測(cè)型 回歸回歸 希望預(yù)測(cè)“綠點(diǎn)”在哪些情況下發(fā)生以及發(fā)生的概率數(shù)據(jù)挖掘常

7、用算法Copyright 2003, SAS Institute Inc. All rights reserved.Time 13yes no70%9663%ratio .39time 10ratio 8410359% 預(yù)測(cè)型預(yù)測(cè)型 決策樹(shù)決策樹(shù) 希望預(yù)測(cè)“綠點(diǎn)”在哪些情況下發(fā)生以及發(fā)生的概率Quoted priceLower limit price(ratio)Time00.8910111315數(shù)據(jù)挖掘常用算法Copyright 2003, SAS Institute Inc. All rights reserved.timemethod# of orderratio# o

8、f ordereditems Y1 = f1(x).Y2 = f2(x).Y3 = f3(x).Y = f1(x) + f2(x) + f3(x)數(shù)據(jù)挖掘常用算法 預(yù)測(cè)型預(yù)測(cè)型 神經(jīng)元網(wǎng)絡(luò)神經(jīng)元網(wǎng)絡(luò) 希望預(yù)測(cè)“綠點(diǎn)”在哪些情況下發(fā)生以及發(fā)生的概率Copyright 2003, SAS Institute Inc. All rights reserved.CombinationA DA CC AB & C DSupport2/52/52/51/5Confidence2/32/32/41/3AB CAC DBC DAD EBC E 描述型描述型 關(guān)聯(lián)關(guān)聯(lián) 了解客戶(hù)購(gòu)買(mǎi)哪些產(chǎn)品組合數(shù)據(jù)挖掘常

9、用算法Copyright 2003, SAS Institute Inc. All rights reserved. cluster4cluster3cluster1cluster2cluster5 描述型描述型 聚類(lèi)聚類(lèi) 把具有相似行為的客戶(hù)分到一群Quoted amountTotal amountQuoted PriceAverage Price數(shù)據(jù)挖掘常用算法Copyright 2003, SAS Institute Inc. All rights reserved.議程數(shù)據(jù)挖掘概述SAS數(shù)據(jù)挖掘項(xiàng)目方法論及工具EM簡(jiǎn)介WorkshopCopyright 2003, SAS Instit

10、ute Inc. All rights reserved.SAS 數(shù)據(jù)挖掘項(xiàng)目方法論反復(fù)反復(fù)挖掘挖掘數(shù)據(jù)數(shù)據(jù) (SEMMA)定義業(yè)務(wù)問(wèn)題定義業(yè)務(wù)問(wèn)題考察業(yè)務(wù)情況考察業(yè)務(wù)情況提出業(yè)務(wù)問(wèn)題提出業(yè)務(wù)問(wèn)題考察數(shù)據(jù)可用性考察數(shù)據(jù)可用性制定業(yè)務(wù)計(jì)劃制定業(yè)務(wù)計(jì)劃選擇數(shù)據(jù)挖掘方法選擇數(shù)據(jù)挖掘方法探索探索(E)調(diào)整調(diào)整(M)建模建模(M)評(píng)估評(píng)估(A)抽樣抽樣(S)系統(tǒng)環(huán)境評(píng)估系統(tǒng)環(huán)境評(píng)估評(píng)估系統(tǒng)環(huán)境評(píng)估系統(tǒng)環(huán)境評(píng)估企業(yè)準(zhǔn)備情況評(píng)估企業(yè)準(zhǔn)備情況評(píng)估評(píng)估IT環(huán)境環(huán)境選擇軟硬件環(huán)境選擇軟硬件環(huán)境規(guī)劃實(shí)施體系結(jié)構(gòu)規(guī)劃實(shí)施體系結(jié)構(gòu)數(shù)據(jù)準(zhǔn)備數(shù)據(jù)準(zhǔn)備創(chuàng)建數(shù)據(jù)挖掘環(huán)創(chuàng)建數(shù)據(jù)挖掘環(huán)境境檢查和校驗(yàn)數(shù)據(jù)檢查和校驗(yàn)數(shù)據(jù)準(zhǔn)備數(shù)據(jù)準(zhǔn)備數(shù)

11、據(jù)模型實(shí)施模型實(shí)施設(shè)計(jì)模型集成的體系結(jié)構(gòu)設(shè)計(jì)模型集成的體系結(jié)構(gòu)生成管理和業(yè)務(wù)報(bào)告生成管理和業(yè)務(wù)報(bào)告清理數(shù)據(jù)使其可用清理數(shù)據(jù)使其可用把模型應(yīng)用于生產(chǎn)把模型應(yīng)用于生產(chǎn)回顧與評(píng)價(jià)回顧與評(píng)價(jià)回顧模型對(duì)企業(yè)生產(chǎn)的效果回顧模型對(duì)企業(yè)生產(chǎn)的效果回顧投資回報(bào)回顧投資回報(bào)回顧模型的性能回顧模型的性能Copyright 2003, SAS Institute Inc. All rights reserved.企業(yè)化經(jīng)典統(tǒng)計(jì)數(shù)據(jù)分析工具 統(tǒng)計(jì)分析：STAT,LAB,INSIGHT 計(jì)量經(jīng)濟(jì)學(xué)與時(shí)間序列分析：ETS 運(yùn)籌優(yōu)化：OR 質(zhì)量控制與質(zhì)量提高：QC 矩陣編程語(yǔ)言：IML 圖形與分析工具：GRAPHThin C

12、lient: Enterprise Guide數(shù)據(jù)挖掘工具：SAS/Enterprise Miner 傻瓜兼專(zhuān)家型國(guó)際標(biāo)準(zhǔn)的全方位的統(tǒng)計(jì)分析和數(shù)據(jù)挖掘工具Copyright 2003, SAS Institute Inc. All rights reserved.EM基本介紹EM特色EM界面界面SEMMA方法論節(jié)點(diǎn)簡(jiǎn)介節(jié)點(diǎn)通用概貌Copyright 2003, SAS Institute Inc. All rights reserved.SAS/EM特色支持廣泛的平臺(tái)包括各種UNIX，MVS，OS/390，Linux可訪(fǎng)問(wèn)的數(shù)據(jù)源多達(dá)50多種，和數(shù)據(jù)庫(kù)，數(shù)據(jù)倉(cāng)庫(kù)很好的集成Client/Serv

13、er結(jié)構(gòu)。SEMMA方法論引導(dǎo)，將數(shù)據(jù)挖掘功能模塊組成處理流程圖，可視化，圖形化，拖拽式操作界面，適用于業(yè)務(wù)和技術(shù)人員豐富的可視化數(shù)據(jù)探索節(jié)點(diǎn)，對(duì)數(shù)據(jù)進(jìn)行細(xì)致分析提供多種數(shù)據(jù)預(yù)處理和變換工具，包括變量自動(dòng)選擇等功能提供豐富的數(shù)據(jù)挖掘模型和靈活的算法： 決策樹(shù)，神經(jīng)元網(wǎng)絡(luò)，回歸，基于記憶的推理，兩階段模型，K均值聚類(lèi)，自組織映射及其他統(tǒng)計(jì)方法，以及模型組裝技術(shù)(Ensemble) 提供模型評(píng)估模塊和多種評(píng)估準(zhǔn)則提供完整的數(shù)據(jù)挖掘模型代碼輸出和打分（Scoring）功能報(bào)告工具可以將整個(gè)數(shù)據(jù)挖掘流程和結(jié)果生成HTML格式的詳細(xì)的報(bào)告，與其它業(yè)務(wù)專(zhuān)家和數(shù)據(jù)挖掘?qū)＜夜蚕怼opyright 2003,

14、 SAS Institute Inc. All rights reserved.SAS/EM 界面Copyright 2003, SAS Institute Inc. All rights reserved.數(shù)據(jù)取樣數(shù)據(jù)取樣SAMPLE 選數(shù)據(jù)樣本?數(shù)據(jù)探索數(shù)據(jù)探索EXPLORE可視化數(shù)據(jù)探索聚類(lèi)分析和分類(lèi)數(shù)據(jù)調(diào)整數(shù)據(jù)調(diào)整MODIFY數(shù)據(jù)重組和細(xì)分添加和變換變量模式化模式化MODEL決策樹(shù)模型數(shù)理統(tǒng)計(jì)分析 人工神經(jīng)網(wǎng)絡(luò)時(shí)間序列分析評(píng)價(jià)評(píng)價(jià)ASSESS新數(shù)據(jù)預(yù)測(cè)結(jié)論綜合和評(píng)價(jià)SAS數(shù)據(jù)挖掘過(guò)程方法論-SEMMACopyright 2003, SAS Institute Inc. All righ

15、ts reserved.節(jié)點(diǎn)簡(jiǎn)介：Sampling類(lèi)節(jié)點(diǎn)Input Data 確定數(shù)據(jù)源。Sampling 提供多種抽樣方法，如簡(jiǎn)單隨機(jī)抽樣、分層抽樣、分類(lèi)抽樣等。Data Partition 將數(shù)據(jù)劃分為訓(xùn)練(Train)、檢驗(yàn)(Validation)、測(cè)試(Test)數(shù)據(jù)，以避免模型過(guò)擬合。Copyright 2003, SAS Institute Inc. All rights reserved.節(jié)點(diǎn)簡(jiǎn)介： Explore類(lèi)節(jié)點(diǎn)Distribution Explorer 提供數(shù)據(jù)的多維分布圖，以了解變量的趨勢(shì)和特色Multiplot 提供所有變量的分布圖及對(duì)KOV的關(guān)系圖SAS/INSI

16、GHT 提供交互式直觀(guān)統(tǒng)計(jì)分析Variable Selection 提供選擇對(duì)KOV重要的KIVs的功能Association 提供關(guān)聯(lián)分析和序列分析Link Analysis 提供連接關(guān)系分析Copyright 2003, SAS Institute Inc. All rights reserved.節(jié)點(diǎn)簡(jiǎn)介： Modify類(lèi)節(jié)點(diǎn)Data Set Attributes 設(shè)置或改變數(shù)據(jù)集與變量的屬性Filter Outliers 提供處理數(shù)據(jù)集中異常點(diǎn)、稀缺值的功能Transform Variables 提供變量變換的功能Data Replacement 數(shù)據(jù)集中數(shù)據(jù)的替換和校正，主要用于處理

17、缺失數(shù)據(jù)Cluster 提供多種方法的聚類(lèi)分析(K-mean)SOM/Kohonen 自組織特征映射網(wǎng)絡(luò)據(jù)進(jìn)行分類(lèi)Copyright 2003, SAS Institute Inc. All rights reserved.節(jié)點(diǎn)簡(jiǎn)介： Model類(lèi)節(jié)點(diǎn) 提供多元回歸、 邏輯/概率回歸及自動(dòng)選擇變量變量的功能 決策樹(shù)，支持CHAID, CART, ID3/ C4.5等算法 提供MLP、RBF等網(wǎng)絡(luò)結(jié)構(gòu)，及多種調(diào)整方法 為SAS程序編制的模型提供統(tǒng)一的模型評(píng)價(jià)界面 提供模型整合的功能，如Combine, Stratified, Bagging&Boosting 兩階段模型Copyright

18、 2003, SAS Institute Inc. All rights reserved.節(jié)點(diǎn)簡(jiǎn)介： Assess類(lèi)節(jié)點(diǎn) 對(duì)不同模型提供圖形化比較：“哪一個(gè)模型最好？ 自動(dòng)生成HTML格式報(bào)告Copyright 2003, SAS Institute Inc. All rights reserved.節(jié)點(diǎn)簡(jiǎn)介： Scoring類(lèi)節(jié)點(diǎn) 可輸出SAS/BASE方式的預(yù)測(cè)代碼 可用于對(duì)新的數(shù)據(jù)集進(jìn)行預(yù)測(cè) 可輸出 C code的預(yù)測(cè)代碼Copyright 2003, SAS Institute Inc. All rights reserved.節(jié)點(diǎn)簡(jiǎn)介： Utilities類(lèi)節(jié)點(diǎn) 提供SAS程序接口

19、。 提供分組處理的功能 建立模型流程子表，方便管理 控制流程執(zhí)行，方便管理 建立DMDB(Meta Data)Copyright 2003, SAS Institute Inc. All rights reserved.節(jié)點(diǎn)通用概貌In/OutData Properties(選擇，瀏覽)Data/Variables/Log/Output/Notes等Tab修改節(jié)點(diǎn)后的自動(dòng)保存節(jié)點(diǎn)的下拉菜單Copyright 2003, SAS Institute Inc. All rights reserved.SAS/EM處理示例模型應(yīng)用建模源數(shù)據(jù)預(yù)處理Copyright 2003, SAS Institu

20、te Inc. All rights reserved.議程數(shù)據(jù)挖掘概述SAS數(shù)據(jù)挖掘項(xiàng)目方法論及工具EM簡(jiǎn)介WorkshopCopyright 2003, SAS Institute Inc. All rights reserved.Workshop（信用風(fēng)險(xiǎn)建模）業(yè)務(wù)問(wèn)題用于建模的數(shù)據(jù)建模前的數(shù)據(jù)處理建立預(yù)測(cè)模型模型的評(píng)估模型實(shí)施Copyright 2003, SAS Institute Inc. All rights reserved.信用風(fēng)險(xiǎn)的業(yè)務(wù)問(wèn)題客戶(hù)從商業(yè)機(jī)構(gòu)獲得資金、產(chǎn)品或服務(wù)，承諾在未來(lái)某天或某段時(shí)間內(nèi)償還他所使用的資金、產(chǎn)品或服務(wù)，并支付一定的費(fèi)用一個(gè)“壞賬”客戶(hù)帶來(lái)的損失

21、相當(dāng)于數(shù)百個(gè)“好”客戶(hù)給您帶來(lái)的收益信用管理者要求提供對(duì)風(fēng)險(xiǎn)進(jìn)行定量的度量，以及根據(jù)其風(fēng)險(xiǎn)大小決定采取何種最佳措施以減低將來(lái)的損失Copyright 2003, SAS Institute Inc. All rights reserved.定義我們關(guān)注的高信用風(fēng)險(xiǎn)申請(qǐng)信用時(shí)關(guān)注的風(fēng)險(xiǎn) Profitable? 將來(lái)拖欠的可能性很大 客戶(hù)使用過(guò)程中關(guān)注的風(fēng)險(xiǎn) 信用卡欺詐 客戶(hù)拖欠償還我提供的信用？多久才是高風(fēng)險(xiǎn)？ 催收欠費(fèi)過(guò)程中關(guān)注的風(fēng)險(xiǎn) 無(wú)法收回？Copyright 2003, SAS Institute Inc. All rights reserved.信用周期 - Applying客戶(hù)申請(qǐng)表

22、客戶(hù)申請(qǐng)表內(nèi)部信息內(nèi)部信息Strategy接受接受 信用額度信用額度 利息利息 其他條件其他條件拒絕拒絕 信用署數(shù)據(jù)信用署數(shù)據(jù) 其他外部信息其他外部信息 政策政策/內(nèi)部規(guī)則內(nèi)部規(guī)則 申請(qǐng)打分引擎申請(qǐng)打分引擎（App Scoring Engine）信控人員信控人員Copyright 2003, SAS Institute Inc. All rights reserved.信用周期 - Behaviour行為打分引擎（行為打分引擎（Beh Scoring Engine）新的新的Strategy:Inc/Dec LimitX-selling 消費(fèi)消費(fèi) 存現(xiàn)存現(xiàn)/取現(xiàn)取現(xiàn) 移管移管(Transfer)

23、拖欠拖欠(Delinquent)客戶(hù)消費(fèi)情況客戶(hù)消費(fèi)情況6/157/157/318/109/17消費(fèi)期消費(fèi)期對(duì)帳單對(duì)帳單到期日到期日最后期限最后期限Copyright 2003, SAS Institute Inc. All rights reserved.信用周期 - Collection 收集打分引擎收集打分引擎(Col Scoring Engine)Strategy被移管的客戶(hù)被移管的客戶(hù)9/17賣(mài)給債務(wù)代理公司賣(mài)給債務(wù)代理公司W(wǎng)rite-off部分償還部分償還全部?jī)斶€全部?jī)斶€Recovery損損失失！ 催帳單催帳單 email 電話(huà)電話(huà) Copyright 2003, SAS Inst

24、itute Inc. All rights reserved.Workshop（信用風(fēng)險(xiǎn)建模）業(yè)務(wù)問(wèn)題用于建模的數(shù)據(jù)建模前的數(shù)據(jù)處理建立預(yù)測(cè)模型模型的評(píng)估模型實(shí)施Copyright 2003, SAS Institute Inc. All rights reserved.定義所需數(shù)據(jù)確定業(yè)務(wù)問(wèn)題，找出您想預(yù)測(cè)的事物歷史數(shù)據(jù)必須包含您想預(yù)測(cè)的事物（目標(biāo)變量）其它的變量包括客戶(hù)的屬性，交易數(shù)據(jù)。使用最新的數(shù)據(jù) 。Copyright 2003, SAS Institute Inc. All rights reserved.信用風(fēng)險(xiǎn)分析數(shù)據(jù)集市. . . . . . . . . . . . . . .

25、 . . . . . . . . . . . . . . . . 哪些客戶(hù)?. 哪些屬性？. . . .目標(biāo)變量Copyright 2003, SAS Institute Inc. All rights reserved. 哪些客戶(hù)?currentPerformance windowobservation windowCopyright 2003, SAS Institute Inc. All rights reserved.TargetDefinitionExclusionBadIndeterminateGood01 Dummy Account 102 Dummy Account 203 Under Minimum Age04 Transfer at OBS05 Forced Cancellation06 Closing Status07 Frau