數(shù)據(jù)挖掘與決策支持

數(shù)據(jù)挖掘與智能決策技術(shù)簡(jiǎn)介

背景

二十世紀(jì)末以來，全球信息量以驚人的速度急劇增長(zhǎng)—據(jù)估計(jì)，每二十個(gè)月將增加一倍。許多組織機(jī)構(gòu)的IT系統(tǒng)中都收集了大量的數(shù)據(jù)（信息）。目前的數(shù)據(jù)庫系統(tǒng)雖然可以高效地實(shí)現(xiàn)數(shù)據(jù)的錄入、查詢、統(tǒng)計(jì)等功能，但無法發(fā)現(xiàn)數(shù)據(jù)中存在的關(guān)系和規(guī)則，無法根據(jù)現(xiàn)有的數(shù)據(jù)預(yù)測(cè)未來的發(fā)展趨勢(shì)。為了充分利用現(xiàn)有信息資源，從海量數(shù)據(jù)中找出隱藏的知識(shí)，數(shù)據(jù)挖掘技術(shù)應(yīng)運(yùn)而生并顯示出強(qiáng)大的生命力。

背景

數(shù)據(jù)挖掘是八十年代投資AI研究項(xiàng)目失敗后，AI轉(zhuǎn)入實(shí)際應(yīng)用時(shí)提出的。它是一個(gè)新興的，面向商業(yè)應(yīng)用的AI研究。(AI(ArtificialIntelligence，人工智能))1989年8月，在美國(guó)底特律召開的第11屆國(guó)際人工智能聯(lián)合會(huì)議的專題討論會(huì)上首次出現(xiàn)數(shù)據(jù)庫中的知識(shí)發(fā)現(xiàn)（KnowledgeDiscoveryinDatabase，KDD）這一術(shù)語。隨后，在1991年、1993年和1994年都舉行KDD專題討論會(huì)，匯集來自各個(gè)領(lǐng)域的研究人員和應(yīng)用開發(fā)者，集中討論數(shù)據(jù)統(tǒng)計(jì)、海量數(shù)據(jù)分析算法、知識(shí)表示、知識(shí)運(yùn)用等問題。最初，數(shù)據(jù)挖掘是作為KDD中利用算法處理數(shù)據(jù)的一個(gè)步驟，其后逐漸演變成KDD的同義詞。

數(shù)據(jù)挖掘定義技術(shù)角度的定義數(shù)據(jù)挖掘（DataMining)是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)的過程。與數(shù)據(jù)挖掘相近的同義詞包括：數(shù)據(jù)融合、數(shù)據(jù)分析和決策支持等。這一定義包括好幾層含義:數(shù)據(jù)源必須是真實(shí)的、海量的、含噪聲的;發(fā)現(xiàn)的是用戶感興趣的知識(shí);發(fā)現(xiàn)的知識(shí)要可接受、可理解、可運(yùn)用；并不要求發(fā)現(xiàn)放之四海皆準(zhǔn)的知識(shí)，僅支持特定的發(fā)現(xiàn)問題。

數(shù)據(jù)挖掘定義商業(yè)角度的定義數(shù)據(jù)挖掘是一種新的商業(yè)信息處理技術(shù)，其主要特點(diǎn)是對(duì)商業(yè)數(shù)據(jù)庫中的大量業(yè)務(wù)數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、分析和其他模型化處理，從中提取輔助商業(yè)決策的關(guān)鍵性信息。簡(jiǎn)言之，數(shù)據(jù)挖掘其實(shí)是一類深層次的數(shù)據(jù)分析方法。因此，數(shù)據(jù)挖掘可以描述為:按企業(yè)既定業(yè)務(wù)目標(biāo)，對(duì)大量的企業(yè)數(shù)據(jù)進(jìn)行探索和分析，揭示隱藏的、未知的或驗(yàn)證己知的規(guī)律性，并進(jìn)一步將其模型化的有效方法。

數(shù)據(jù)倉庫的定義

數(shù)據(jù)倉庫是在企業(yè)管理和決策中面向主題的、集成的、與時(shí)間相關(guān)的、不可修改的數(shù)據(jù)集合。此定義由最為權(quán)威的、被稱為“數(shù)據(jù)倉庫之父”的WilliamH.Inmon先生給出。

數(shù)據(jù)內(nèi)容

數(shù)據(jù)庫名（數(shù)據(jù)庫內(nèi)容描述）

注意：信息的完整性；相關(guān)業(yè)務(wù)人員達(dá)成共識(shí)。

業(yè)務(wù)人員確定

IT人員確定數(shù)據(jù)結(jié)構(gòu)……...計(jì)算機(jī)內(nèi)主題數(shù)據(jù)庫數(shù)據(jù)標(biāo)準(zhǔn)化決策支持：從數(shù)據(jù)庫到數(shù)據(jù)倉庫到數(shù)據(jù)集市到……數(shù)據(jù)倉庫的定義

數(shù)據(jù)倉庫是決策支持系統(tǒng)（DecisionSupportSystem，DSS，DSS）的基礎(chǔ)。在數(shù)據(jù)倉庫中只有單一集成的數(shù)據(jù)源，并且數(shù)據(jù)是可訪問的。所以與傳統(tǒng)數(shù)據(jù)庫相比，在數(shù)據(jù)倉庫環(huán)境中DSS分析員的工作將較為容易。

數(shù)據(jù)倉庫的組成一個(gè)數(shù)據(jù)倉庫的大小一般都是在100GB以上通常，數(shù)據(jù)倉庫系統(tǒng)應(yīng)該包含下列程序：（1）抽取數(shù)據(jù)與加載數(shù)據(jù)（2）整理并轉(zhuǎn)換數(shù)據(jù)（采用一種數(shù)據(jù)倉庫適用的數(shù)據(jù)格式）（3）備份與備存數(shù)據(jù)（4）管理所有查詢（即將查詢導(dǎo)向適當(dāng)?shù)臄?shù)據(jù)源）數(shù)據(jù)倉庫的組成OLAP的定義、特點(diǎn)點(diǎn)60年代，關(guān)系數(shù)數(shù)據(jù)庫之父提出了關(guān)系模模型，促進(jìn)了了聯(lián)機(jī)事務(wù)處處理(OLTP)的發(fā)展(數(shù)據(jù)以表格的的形式而非文文件方式存儲(chǔ)儲(chǔ))。1993年，提出了OLAP概念，認(rèn)為OLTP已不能滿足終終端客戶對(duì)數(shù)數(shù)據(jù)庫查詢分分析的需要，，SQL對(duì)大型數(shù)據(jù)庫庫的簡(jiǎn)單查詢?cè)円膊荒軡M足足終端客戶分分析的要求。?？蛻舻臎Q策策分析需要對(duì)對(duì)關(guān)系數(shù)據(jù)庫庫進(jìn)行大量計(jì)計(jì)算才能獲得得結(jié)果，而查查詢的結(jié)果并并不能滿足決決策者提出的的需求。因此此，提出了多維數(shù)數(shù)據(jù)庫和多維維分析的概念念，即OLAP。OLAP的定義、特點(diǎn)點(diǎn)OLAP（On-LineAnalysisProcessing）定義是數(shù)據(jù)倉庫上上的分析展示示工具，它建建立在數(shù)據(jù)多多維視圖的基基礎(chǔ)上。OLAP的主要特點(diǎn)一是在線性(OnLine)，體現(xiàn)為對(duì)用用戶請(qǐng)求的快快速響應(yīng)和交交互式操作；；二是多維分析析(Multi_Analysis)，這是OLAP技術(shù)的核心所所在。OLAP的定義和特點(diǎn)點(diǎn)OLAP與OLTP的區(qū)別（1）OLTP主要面向公司司職員;OLAP則主要面向公公司領(lǐng)導(dǎo)者。。（2）OLTP應(yīng)用主要是用用來完成客戶戶的事務(wù)處理理，其數(shù)據(jù)基基礎(chǔ)是操作型型數(shù)據(jù)庫，如如民航訂票系系統(tǒng)、銀行儲(chǔ)儲(chǔ)蓄系統(tǒng)等等等，通常需要要進(jìn)行大量的的更新操作，，同時(shí)對(duì)響應(yīng)應(yīng)時(shí)間要求較較高;而OLAP是以數(shù)據(jù)倉庫庫或數(shù)據(jù)多維維視圖為基礎(chǔ)礎(chǔ)的數(shù)據(jù)分析析處理，是針針對(duì)特定問題題的聯(lián)機(jī)數(shù)據(jù)據(jù)訪問和分析析，它一般不不對(duì)倉庫數(shù)據(jù)據(jù)作修改處理理，而只是查查詢，其應(yīng)用用主要是對(duì)客客戶當(dāng)前及歷歷史數(shù)據(jù)進(jìn)行行分析，輔助助領(lǐng)導(dǎo)決策，，其典型的應(yīng)應(yīng)用有對(duì)銀行行信用卡風(fēng)險(xiǎn)險(xiǎn)的分析與預(yù)預(yù)測(cè)、公司市市場(chǎng)營(yíng)銷策略略的制定等，，主要是進(jìn)行行大量的查詢?cè)儾僮?，?duì)時(shí)時(shí)間的要求不不太嚴(yán)格。多維數(shù)據(jù)Salesvolumeasafunctionofproduct,month,andregionProductRegionMonthDimensions:Product,Location,TimeHierarchicalsummarizationpathsIndustryRegionYearCategoryCountryQuarterProductCityMonthWeekOfficeDay立方體實(shí)例TotalannualsalesofTVinU.S.A.DateProductCountryAll,All,Allsumsum

TVVCRPC1Qtr2Qtr3Qtr4QtrU.S.ACanadaMexicosum數(shù)據(jù)立方體的的瀏覽VisualizationOLAPcapabilitiesInteractivemanipulation客戶保留目標(biāo)營(yíng)銷欺詐檢測(cè)購物籃分析客戶細(xì)分客戶忠誠(chéng)度信用打分信用風(fēng)險(xiǎn)評(píng)估營(yíng)銷組合管理和評(píng)估盈利能力分析價(jià)格優(yōu)化客戶服務(wù)自動(dòng)化銷售收入和需求預(yù)測(cè)利潤(rùn)分析交叉銷售和增量銷售活動(dòng)管理客戶流失分析客戶服務(wù)和問題解決業(yè)績(jī)和能力管理分銷渠道業(yè)績(jī)分析營(yíng)業(yè)廳和服務(wù)商業(yè)績(jī)分析流程和質(zhì)量控制稅收監(jiān)控可能受益的商商業(yè)活動(dòng)數(shù)據(jù)挖掘解決決方案歷史數(shù)據(jù)預(yù)測(cè)模型新申請(qǐng)者信用等級(jí)評(píng)價(jià)價(jià)預(yù)測(cè)模型：：用過去的客客戶數(shù)據(jù)預(yù)測(cè)測(cè)未來理解商業(yè)問題題性別父親的教育程程度被訪者教育程程度工作類型城市當(dāng)前收入水平平性別父親的教育育程度被訪者教育育程度工作類型城市當(dāng)前收入水水平當(dāng)前財(cái)政狀狀況未來信用風(fēng)風(fēng)險(xiǎn)Time1Time2家庭收入銷售數(shù)量喜歡流行音音樂數(shù)據(jù)挖掘解解決方案PreprocessedDataDataTranslatedDataPatterns/ModelsResultsPreprocessingAnalysisInputOutput數(shù)據(jù)挖掘解解決方案主要數(shù)據(jù)挖挖掘技術(shù)分類Classification預(yù)測(cè)Prediction細(xì)分Segmentation關(guān)聯(lián)Association序列Sequence將您的顧客客和客戶分分類預(yù)測(cè)未來的的銷量和欺欺詐，流失失將市場(chǎng)、顧顧客細(xì)分發(fā)現(xiàn)那些商商品會(huì)在一一起銷售或或購買找出時(shí)間進(jìn)進(jìn)程中的模模式或趨勢(shì)勢(shì)決策樹規(guī)則偵測(cè)回歸分析聚類分析神經(jīng)網(wǎng)絡(luò)序列模式DecisionTreesNeuralNetworksRuleInductionNearestNeighborGeneticAlgorithms數(shù)據(jù)挖掘主主要新技術(shù)術(shù)決策樹神經(jīng)網(wǎng)絡(luò)規(guī)則偵測(cè)序列規(guī)則基因算法基于層次的的聚類方法法這類方法不不需要預(yù)先先給定參數(shù)數(shù)（聚類數(shù)數(shù)），但需需要終止條條件。Step0Step1Step2Step3Step4bdceaabdecdeabcdeStep4Step3Step2Step1Step0agglomerative(AGNES)divisive(DIANA)CURE算法－DataPartitioningandClusterings=50p=2s/p=25xxxyyyyxyxs/pq=5CHAMELEON算法ConstructSparseGraphPartitiontheGraphMergePartitionFinalClustersDataSet客戶總列表30%VIP0-1孩子2-3孩子20%VIP4+孩子$50-75kincome15%VIP$75k+income70%VIP$50-75kincome$20-50kincome85%VIPAge:40-6080%VIPAge:20-4045%VIP分類決策樹樹Attributes={Outlook,Temperature,Humidity,Wind}OutlookHumidityWindsunnyrainovercastyesnoyeshighnormalnostrongweakyesPlayTennis={yes,no}打高爾夫球球的決策樹樹實(shí)例（自自頂向下））根據(jù)加薪百百分比、工工作時(shí)長(zhǎng)、、法定節(jié)假假日、及醫(yī)醫(yī)療保險(xiǎn)三三個(gè)屬性來來判斷一個(gè)個(gè)企業(yè)的福福利狀況(good或bad)。對(duì)象關(guān)系網(wǎng)絡(luò)網(wǎng)絡(luò)分析強(qiáng)弱路徑自我小群體缺失角色網(wǎng)絡(luò)分析神經(jīng)網(wǎng)絡(luò)線性回歸Logistics回歸多層神經(jīng)網(wǎng)網(wǎng)絡(luò)細(xì)胞繁殖神經(jīng)網(wǎng)絡(luò)算算法人工神經(jīng)網(wǎng)網(wǎng)（ArtificialNeuralNetwork，ANN）是20世紀(jì)80年代后期迅迅速發(fā)展起起來的人工工智能技術(shù)術(shù)，它對(duì)噪噪聲數(shù)據(jù)具具有很高的的承受能力力，對(duì)未經(jīng)經(jīng)訓(xùn)練的數(shù)數(shù)據(jù)具有分分類模擬的的能力，因因此在網(wǎng)站站信息、生生物信息和和基因以及及文本的數(shù)數(shù)據(jù)挖掘等等領(lǐng)域得到到了越來越越廣泛的應(yīng)應(yīng)用。在多多種ANN模型中，反反向傳播（（BackPropagation，BP）網(wǎng)絡(luò)是應(yīng)應(yīng)用最廣的的一種。神經(jīng)元通過非線性性函數(shù)n維的輸入向向量x被映射為變變量ymk-fweightedsumInputvectorxoutputyActivationfunctionweightvectorw?w0w1wnx0x1xn神經(jīng)網(wǎng)絡(luò)的的組成輸出節(jié)點(diǎn)輸入節(jié)點(diǎn)隱層節(jié)點(diǎn)輸入矢量輸入矢量:xiwij基本的BP網(wǎng)絡(luò)由輸入入層、輸出出層和隱層層組成。神經(jīng)網(wǎng)絡(luò)的的拓?fù)浣Y(jié)構(gòu)構(gòu)神經(jīng)網(wǎng)絡(luò)訓(xùn)訓(xùn)練之前，，需要設(shè)計(jì)計(jì)網(wǎng)絡(luò)拓?fù)鋼浣Y(jié)構(gòu)。設(shè)設(shè)計(jì)網(wǎng)絡(luò)拓拓?fù)涞年P(guān)鍵鍵是，確定定隱層的神神經(jīng)元個(gè)數(shù)數(shù)及各神經(jīng)經(jīng)元初始權(quán)權(quán)值和閾值值（偏差））。理論上上講，隱層層的神經(jīng)元元數(shù)越多，，逼近越精精確。但實(shí)實(shí)際上，隱隱層神經(jīng)元元數(shù)不宜過過多；否則則會(huì)極大加加長(zhǎng)訓(xùn)練時(shí)時(shí)間，并造造成網(wǎng)絡(luò)容容錯(cuò)能力下下降。經(jīng)訓(xùn)訓(xùn)練后的神神經(jīng)網(wǎng)絡(luò)若若其準(zhǔn)確性性不能被接接受，則必必須重新進(jìn)進(jìn)行拓?fù)湓O(shè)設(shè)計(jì)或改用用不同的初初始權(quán)值和和閾值（偏偏差）。神經(jīng)網(wǎng)絡(luò)的訓(xùn)訓(xùn)練訓(xùn)練的終止條條件獲得一組權(quán)重重值，使得訓(xùn)訓(xùn)練集中幾乎乎所有樣本都都分類正確訓(xùn)練步驟利用隨機(jī)值對(duì)對(duì)權(quán)值進(jìn)行初初始化將訓(xùn)練樣本逐逐一地輸入給給神經(jīng)網(wǎng)絡(luò)，，進(jìn)行訓(xùn)練對(duì)于每個(gè)神經(jīng)經(jīng)元將其所有的輸輸入值進(jìn)行線線性求和計(jì)算算得到總的輸輸入利用激勵(lì)函數(shù)數(shù)計(jì)算其輸出出值計(jì)算誤差修正網(wǎng)絡(luò)權(quán)值值和閾值（偏偏差）BP神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)通過過迭代處理一一組訓(xùn)練樣本本，將各樣本本的網(wǎng)絡(luò)預(yù)測(cè)測(cè)與實(shí)際已知知類標(biāo)號(hào)進(jìn)行行比較實(shí)現(xiàn)學(xué)學(xué)習(xí)訓(xùn)練，反反向修改網(wǎng)絡(luò)絡(luò)的權(quán)值，使使得網(wǎng)絡(luò)預(yù)測(cè)測(cè)與實(shí)際類之之間的誤差平平方最小。BP神經(jīng)網(wǎng)絡(luò)按照照最優(yōu)訓(xùn)練準(zhǔn)準(zhǔn)則反復(fù)迭代代，確定并不不斷調(diào)整神經(jīng)經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，，通過迭代修修改，當(dāng)誤差差收斂時(shí)學(xué)習(xí)習(xí)過程終止。。因此，具有分分類準(zhǔn)確、收收斂性好、動(dòng)動(dòng)態(tài)性好和魯魯棒性強(qiáng)等優(yōu)優(yōu)點(diǎn)。BP神經(jīng)網(wǎng)絡(luò)存在在的問題收斂速度問題題BP分類器最大的的弱點(diǎn)是其訓(xùn)訓(xùn)練速度非常常緩慢，難以以收斂。尤其其是當(dāng)網(wǎng)絡(luò)的的訓(xùn)練達(dá)到一一定程度后，，收斂更為緩緩慢。局部極小點(diǎn)問問題BP算法采用的是是梯度下降法法，對(duì)一個(gè)復(fù)復(fù)雜的網(wǎng)絡(luò)而而言，其誤差差曲面是一個(gè)個(gè)高維空間中中的曲面，其其中分布著許許多局部極小小點(diǎn)，一旦陷陷入了局部極極小點(diǎn)則算法法很難逃離出出來。BP神經(jīng)網(wǎng)絡(luò)存在在的問題網(wǎng)絡(luò)癱瘓問題題在訓(xùn)練過程中中，權(quán)值可能能變得很大，，這會(huì)使神經(jīng)經(jīng)元的網(wǎng)絡(luò)輸輸入變得更大大，從而使得得其激勵(lì)函數(shù)數(shù)的一階導(dǎo)函函數(shù)在此點(diǎn)上上的取值很小小。此時(shí)的訓(xùn)訓(xùn)練步長(zhǎng)會(huì)變變得非常小，，最終導(dǎo)致網(wǎng)網(wǎng)絡(luò)停止收斂斂，這種現(xiàn)象象即是所謂的的網(wǎng)絡(luò)癱瘓現(xiàn)現(xiàn)象。關(guān)聯(lián)規(guī)則挖掘掘?qū)嵗ㄟ^發(fā)現(xiàn)顧客客放入其購物物籃中不同商商品之間的聯(lián)聯(lián)系，分析顧顧客的購買習(xí)習(xí)慣。通過了了解哪些商品品頻繁地被顧顧客同時(shí)購買買，這種關(guān)聯(lián)聯(lián)的發(fā)現(xiàn)可以以幫助零售商商制定營(yíng)銷策策略。例如，，在同一次購購物中，如果果顧客購買牛牛奶的同時(shí)，，也購買面包包（和什么類類型的面包））的可能性有有多大？這種信息可以以引導(dǎo)銷售，，可以幫助零零售商有選擇擇地經(jīng)銷和安安排貨架。例例如，將牛奶奶和面包盡可可能放近一些些，可以進(jìn)一一步刺激一次次去商店同時(shí)時(shí)購買這些商商品。關(guān)聯(lián)規(guī)則挖掘掘?qū)嵗徫锘@關(guān)聯(lián)分分析實(shí)例圖基本概念CustomerbuysdiaperCustomerbuysbothCustomerbuysbeer“啤酒與尿布”的關(guān)聯(lián)規(guī)則ForruleACsupport=support({AC})=50%confidence=support({AC})/support({A})=66.6%ForCA(50%,100%)TheAprioriprinciple:AnysubsetofafrequentitemsetmustbefrequentMin.support50%Min.confidence50%關(guān)聯(lián)挖掘?qū)嵗?.5數(shù)據(jù)挖掘