第七章crm軟件選擇與技術應用

第三節(jié)數(shù)據(jù)挖掘技術在CRM中的應用數(shù)據(jù)挖掘技術內(nèi)涵1數(shù)據(jù)挖掘分析方法23數(shù)據(jù)挖掘技術流程4一、數(shù)據(jù)挖掘技術內(nèi)涵1.數(shù)據(jù)挖據(jù)技術定義數(shù)據(jù)挖掘的定義非常多，可以從技術角度進行定義，也可以從商業(yè)角度定義。（1）從技術角度定義數(shù)據(jù)挖掘是從大量的、不完全的、有噪聲的、模糊的、隨機的實際應用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。數(shù)據(jù)挖掘是一個從數(shù)據(jù)集中找到有效的、新的、可能有用的并且最終能被理解的模式的過程。數(shù)據(jù)挖掘是為尋找那些未知的信息模式而研究大型數(shù)據(jù)集的一個決策支持過程。一、數(shù)據(jù)挖掘技術內(nèi)涵數(shù)據(jù)挖掘是用來在知識發(fā)現(xiàn)過程中辨識存在于數(shù)據(jù)中的未知關系和模式的一些方法。數(shù)據(jù)挖掘是一個完整的過程，該過程從大型數(shù)據(jù)庫中挖掘先前未知的、有效的、可實用的信息，并使用這些信息做出決策或豐富知識。（2）從商業(yè)角度定義數(shù)據(jù)挖掘是一種新的商業(yè)信息處理技術，其主要特點是對大型商業(yè)數(shù)據(jù)庫中的大量業(yè)務數(shù)據(jù)進行抽取、轉(zhuǎn)換、分析和其他模型化處理，從中提取以前未知的、可理解的、可執(zhí)行的模式，并用它來進行關鍵的商業(yè)決策。一、數(shù)據(jù)挖掘技術內(nèi)涵綜上，數(shù)據(jù)挖掘就是從數(shù)據(jù)中提取有用的模式和知識。這里就牽涉到三個概念，即數(shù)據(jù)、模式和知識。其中，數(shù)據(jù)是指有關事實的集合，記錄與事物有關的所有原始信息，模式是一個可以用語言來表示的一個表達式，它可用來描述數(shù)據(jù)集的某個子集，該數(shù)據(jù)子集中的數(shù)據(jù)都具有相同的特性；知識則是對數(shù)據(jù)中所包涵信息更抽象的描述。一、數(shù)據(jù)挖掘技術內(nèi)涵2.數(shù)據(jù)挖掘是掌握商機的命脈數(shù)據(jù)挖掘通過高等統(tǒng)計工具的使用，從數(shù)據(jù)庫或其他電子文檔中識別出對商業(yè)有用的樣本或關系的程序，并收集與客戶相關的數(shù)據(jù)，利用統(tǒng)計分析與人工智能技術，針對大量數(shù)據(jù)進行篩選、推導與模型構(gòu)造等操作，以揭露隱含在數(shù)據(jù)與模式中的閃光點，從而把原始數(shù)據(jù)轉(zhuǎn)換成商機，成為決策依據(jù)的嶄新知識。從CRM的整體結(jié)構(gòu)來說，數(shù)據(jù)挖掘是整個CRM最重要的一個階段，也是構(gòu)成商業(yè)智能整體解決方案的基礎一、數(shù)據(jù)挖掘技術內(nèi)涵完整的數(shù)據(jù)挖掘不但可以做到準確的目標市場行銷，當分析工具及技術成熟時，加上數(shù)據(jù)存儲提供大量存儲客戶數(shù)據(jù)的能力，還可使數(shù)據(jù)挖掘進行大規(guī)模的針對個人客戶的定制，準確地對客戶作一對一行銷。企業(yè)只有對客戶有了充分的了解，才能有效地和客戶建立親密的關系，進而有效地進行行銷，創(chuàng)造商機。數(shù)據(jù)挖掘是CRM中的關鍵性階段，透過數(shù)據(jù)挖掘，能有效地提供行銷、銷售和服務的決策支持，讓工作人員得到充分信息而展開行動，并于適當?shù)臅r間和地點給客戶提供適當?shù)漠a(chǎn)品及服務。演化過程商務問題基礎技術產(chǎn)品供應商特點數(shù)據(jù)收集（20世紀60年代）

數(shù)據(jù)訪問（20世紀80年代）

數(shù)據(jù)倉庫與決策支持（20世紀90年代）

數(shù)據(jù)挖掘（當前）

在上個五年里我們的總體收入情況如何？

去年四月在新英格蘭的銷售情況如何

去年四月在新英格蘭的銷售情況如何，而具體到波士頓區(qū)域情況又如何呢？

下個月在波士頓的銷售情況會怎么樣，為什么？計算機、磁帶、磁盤

關系型數(shù)據(jù)庫（RDBMS）、結(jié)構(gòu)化查詢語言（SQL）、ODBC

聯(lián)機分析處理（OLAP）、多維數(shù)據(jù)庫（MOLAP）、數(shù)據(jù)倉庫

高級算法、多處理器計算機、神經(jīng)網(wǎng)絡、知識發(fā)現(xiàn)、模糊查詢、大規(guī)模數(shù)據(jù)庫IBMCDC

Oracle、SybaseInformix、DB2SQL*Server

Essbase、Teradata、Cognos、MicrosStradgey、Pilot、Comshare

PilotLockheedIBMSGICognosOracleSPSS和許多剛剛起步的公司（新生事業(yè)）回溯、靜態(tài)數(shù)據(jù)分發(fā)

回溯記錄級的動態(tài)數(shù)據(jù)分發(fā)

回溯多級動態(tài)數(shù)據(jù)分發(fā)

預期的、前攝的Pro-active信息分發(fā)數(shù)據(jù)挖掘技術內(nèi)涵1數(shù)據(jù)挖掘分析方法23數(shù)據(jù)挖掘技術流程4二、數(shù)據(jù)挖掘分析方法1.統(tǒng)計分析方法統(tǒng)計分析方法主要用于完成知識總結(jié)和關系型知識挖掘。對關系表中各屬性進行統(tǒng)計分析，找到它們之間存在的關系。在關系表的屬性之間，一般存在兩種關系：函數(shù)關系（能用函數(shù)公式表示的確定性關系）；相關關系（不能用函數(shù)公式表示的關系）。對于確定性關系和相關關系，可采用回歸分析、相關分析、主成分分析等設計分析方法。二、數(shù)據(jù)挖掘分析方法2.決策樹決策樹可用于分類。利用信息論中的信息增益尋找數(shù)據(jù)庫中具有最大信息量的字節(jié)。建立決策樹的一個結(jié)點，再根據(jù)字段的不同取值建立樹的分支。在每個分支子集中重復建立下層結(jié)點和分支，這樣便生成一棵決策樹。接下來還要對決策樹進行剪枝處理，最后將決策樹轉(zhuǎn)化為規(guī)則，運用這些規(guī)則，可以對新事例進行分類。典型的決策樹方法有“分類回歸樹”(ClassificationAndRegressionTrees,CART)、ID3、C4.5、卡方自動歸納法、卡方自動互動偵測器等技術產(chǎn)生的有效模型。二、數(shù)據(jù)挖掘分析方法2.決策樹決策樹可用于分類。利用信息論中的信息增益尋找數(shù)據(jù)庫中具有最大信息量的字節(jié)。建立決策樹的一個結(jié)點，再根據(jù)字段的不同取值建立樹的分支。在每個分支子集中重復建立下層結(jié)點和分支，這樣便生成一棵決策樹。接下來還要對決策樹進行剪枝處理，最后將決策樹轉(zhuǎn)化為規(guī)則，運用這些規(guī)則，可以對新事例進行分類。典型的決策樹方法有“分類回歸樹”(Classi-ficationAndRegressionTrees,CART)、ID3、C4.5、卡方自動歸納法、卡方自動互動偵測器等技術產(chǎn)生的有效模型。二、數(shù)據(jù)挖掘分析方法3.人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡用于分類、群集、特征挖掘、預測和模式識別。人工神經(jīng)網(wǎng)絡仿真生物神經(jīng)網(wǎng)絡，本質(zhì)上是一個分散型或矩陣結(jié)構(gòu)，它通過對訓練數(shù)據(jù)的挖掘，逐步計算網(wǎng)絡連接的加權值。人工神經(jīng)網(wǎng)絡可分為3種：前饋式網(wǎng)絡：以感應機、逆向傳播模型、函數(shù)型網(wǎng)絡為代表，可用于預測及模式識別等方面。反饋式網(wǎng)絡：以Hopfield的離散模型和連續(xù)模型為代表，分別用于聯(lián)想記憶和最優(yōu)化計算。自組織型網(wǎng)絡：以ART模型、Koholon模型為代表，用于群集。二、數(shù)據(jù)挖掘分析方法4.基因算法基因算法用于分類、關系型規(guī)則挖掘等?；蛩惴７氯斯みx擇培育良種的思想，從一個初始規(guī)則集合（知識基因）開始，逐步地通過交換對象成員（雜交、基因突變）產(chǎn)生群體（繁殖），評估并擇優(yōu)復制（物競天擇、適者生存），優(yōu)勝劣敗，逐代積累計算，最終得到最優(yōu)化的知識集。二、數(shù)據(jù)挖掘分析方法5.粗糙集粗糙集用于數(shù)據(jù)簡化、數(shù)據(jù)意義評估、對象相似性或共性分析、因果關系及范式挖掘等。粗糙集理論由Z.Pawlak在20世紀80年代提出，用于處理不確定性。其主要思路如下：把對象的屬性分為條件屬性和決策屬性，按各種屬性值相同劃分成等價類。條件屬性上的等價類E與決策屬性上的等價類Y之間有3種情況：下近似：Y包含E上近似：Y和E的交集并非空集無關：Y和E的交集為空集對下近似建立確定性規(guī)則；對上近似建立不確定性規(guī)則（含可信度）；而無關情況下不存在規(guī)則二、數(shù)據(jù)挖掘分析方法6.聯(lián)機分析處理技術(OLAP)用具體圖形將信息模式、數(shù)據(jù)的關聯(lián)或趨勢呈獻給決策者，使客戶能交互式地分析數(shù)據(jù)的關系，而OLAP技術將人的觀察力和智力融入挖掘系統(tǒng)中，極大地改善了系統(tǒng)挖掘的速度和深度OLAP特征1)能夠提供數(shù)據(jù)的多維視圖2)強大的分析功能OLAP系統(tǒng)的一般結(jié)構(gòu)OLAP系統(tǒng)的一般結(jié)構(gòu)OLAP的基本分析操作1.切片操作OLAP的基本分析操作2.鉆取3.旋轉(zhuǎn)/轉(zhuǎn)軸OLAP在CRM中的應用在CRM系統(tǒng)中的OLAP主要被應用于以下幾個方面：1.快速查詢客戶信息2.決策支持3.數(shù)據(jù)分析4.實時、動態(tài)、直觀的展示CRM中的客戶數(shù)據(jù)數(shù)據(jù)挖掘技術內(nèi)涵1數(shù)據(jù)挖掘分析方法23數(shù)據(jù)挖掘技術流程4三、數(shù)據(jù)挖掘技術流程將CRM分析應用需求進行技術型整理，可以歸納出以下幾類數(shù)據(jù)挖據(jù)需求：數(shù)據(jù)描述和總結(jié)：對歷史數(shù)據(jù)描述和總結(jié)，可以看清過去發(fā)生了什么。數(shù)據(jù)分類、市場分割：市場細分，提高可操作性和可管理性。預測：給出一個或一批預測輸入，其結(jié)果會如何？數(shù)據(jù)相關性發(fā)現(xiàn)：一種行為的發(fā)生有很大可能觸發(fā)另一種行為數(shù)據(jù)依賴性分析：一種行為的發(fā)生以另一種行為為前提三、數(shù)據(jù)挖掘技術流程1.確定分析和預測目標在進行數(shù)據(jù)挖掘之前，需要明確業(yè)務目標：通過數(shù)據(jù)挖掘解決什么樣的問題，達到什么目的將要解決的問題轉(zhuǎn)化為可以測量的目標，即數(shù)據(jù)挖掘的成功準則按照項目管理的一般方法考慮其他因素，如可用的技術、資金、人才和時間等資源投入，確定項目期等。必須有一個明確的計劃，以確定挖掘項目的總體框架三、數(shù)據(jù)挖掘技術流程2.了解數(shù)據(jù)對數(shù)據(jù)挖掘的基礎數(shù)據(jù)進行初步了解。比如，數(shù)據(jù)從哪里獲得，數(shù)據(jù)倉庫里有無直接可用的數(shù)據(jù)集市，所選用數(shù)據(jù)表哪些字段是必要的，如何描述這些數(shù)據(jù)等，對數(shù)據(jù)的初步了解可以幫助分析這些數(shù)據(jù)的可用性與適用性利用一些簡單的工具隨機地抽取一些記錄，檢驗它們的質(zhì)量，只有對數(shù)據(jù)建立基本的可信度之后，才可以進入下面的步驟，否則太多的返工會產(chǎn)生很多不必要的資源浪費。三、數(shù)據(jù)挖掘技術流程3.數(shù)據(jù)準備這一階段是對已確定的基本數(shù)據(jù)進行必要的轉(zhuǎn)換、清理、填補以及合并工作。比如，有些數(shù)據(jù)挖掘工具只能處理數(shù)字類型。這種情況下，就必須將對字段值進行必要的轉(zhuǎn)化。數(shù)據(jù)準備工作比較繁瑣，但非常重要。因為，如果數(shù)據(jù)里噪音大，就會影響建立模型的準確度．數(shù)據(jù)越完整，越準確，在此基礎上發(fā)掘的數(shù)據(jù)規(guī)律(Pattern)就具有更高的可信度，從而更好地實現(xiàn)數(shù)據(jù)挖掘的目標三、數(shù)據(jù)挖掘技術流程4.數(shù)據(jù)相關性前期探索有些數(shù)據(jù)挖掘在定性和數(shù)據(jù)分類方面使用方便，可以作為更高一級預測的“探索”工具。比如，先用決策樹或聚類方法幫助找出數(shù)據(jù)的總體趨勢以及預測變量相關事件之后，再用神經(jīng)網(wǎng)絡或規(guī)則導引方法有針對性地建模。一方面可以細化數(shù)據(jù)，提高性能；另一方面在某種程度上也可以幫助消除噪音；另外也可以作為不同方法比較之用。三、數(shù)據(jù)挖掘技術流程5.模型構(gòu)造模型構(gòu)造階段是數(shù)據(jù)挖掘技術應用的關鍵階段，有以下幾個子步驟：選擇適用的挖掘技術。根據(jù)挖掘目標所要解決的問題，比如是歷史數(shù)據(jù)描述的，還是對未來行為進行預測的，選擇相應的挖掘技術，因為每一種挖掘技術有其適用性。建立培訓數(shù)據(jù)和測試數(shù)據(jù)。對基礎數(shù)據(jù)必須分為兩部分，一個是供模型建立的數(shù)據(jù)，另一個是供模型建立后檢驗其準確率的數(shù)據(jù)，兩者的使用目的是不一樣的。利用培訓數(shù)據(jù)采用相應算法建立模型。模型解釋。模型建立以后必須對模型進行分析和解釋，業(yè)務專家和數(shù)據(jù)庫專家同時參與，以找出模型中的實際意義三、數(shù)據(jù)挖掘技術流程6.模型評估和檢驗這個階段對所建立的模型用測試數(shù)據(jù)進行測試，計算誤差率，以確定模型的可信度，如果不令人滿意，未達到預期的誤差率目標，那么，就必須重回到數(shù)據(jù)了解階段，重復相關過程，一直找到令人滿意度模型位置。當然