尿布與啤酒與數(shù)據(jù)挖掘技術(shù)課件

1、尿布與啤酒與數(shù)據(jù)挖掘技術(shù),1,尿布與啤酒與數(shù)據(jù)挖掘技術(shù),尿布與啤酒與數(shù)據(jù)挖掘技術(shù),2,在一家超市，有個有趣的現(xiàn)象：尿布和啤酒赫然擺在一起出售，但是這個“奇怪的舉措”卻使尿布和啤酒的銷量雙雙增加了,故事,尿布與啤酒與數(shù)據(jù)挖掘技術(shù),3,總部位于美國阿肯色州的世界著名商業(yè)零售連鎖企業(yè)沃爾瑪（Wal Mart）擁有世界上最大的數(shù)據(jù)倉庫系統(tǒng)。為了能夠準確了解顧客在其門店的購買習(xí)慣，沃爾瑪利對其顧客的購物行為進行購物籃分析，想知道顧客經(jīng)常一起購買的商品有哪些。沃爾瑪數(shù)據(jù)倉庫里集中了其各門店的詳細原始交易數(shù)據(jù)。在這些原始交易數(shù)據(jù)的基礎(chǔ)上，沃爾瑪利用NCR數(shù)據(jù)挖掘工具對這些數(shù)據(jù)進行分析和挖掘。一個意外的發(fā)現(xiàn)是

2、：跟尿布一起購買最多的商品竟是啤酒,故事,尿布與啤酒與數(shù)據(jù)挖掘技術(shù),4,這是數(shù)據(jù)挖掘技術(shù)對歷史數(shù)據(jù)進行分析的結(jié)果，反映數(shù)據(jù)內(nèi)在的規(guī)律。那么這個結(jié)果符合現(xiàn)實情況嗎？是否是一個有用的知識？是否有利用價值,分析,尿布與啤酒與數(shù)據(jù)挖掘技術(shù),5,沃爾瑪派出市場調(diào)查人員和分析師對這一數(shù)據(jù)挖掘結(jié)果進行調(diào)查分析。經(jīng)過大量實際調(diào)查和分析，揭示了隱藏在“尿布與啤酒”背后的美國人的一種行為模式：在美國，一些年輕父親下班后經(jīng)常要到超市去買嬰兒尿布，而他們中有30%到40%的人同時也為自己買一些啤酒。產(chǎn)生這一現(xiàn)象的原因是：美國的太太們常叮囑她們的丈夫下班后為小孩買尿布，而丈夫們在買尿布后又隨手帶回了他們喜歡的啤酒,分析

3、,尿布與啤酒與數(shù)據(jù)挖掘技術(shù),6,既然尿布與啤酒一起被購買的機會很多，于是沃爾瑪就在其一個個門店將尿布與啤酒擺放在一起，結(jié)果，尿布與啤酒的銷售量雙雙增長,分析,尿布與啤酒與數(shù)據(jù)挖掘技術(shù),7,按常規(guī)思維，尿布與啤酒風(fēng)馬牛不相及，若不是借助數(shù)據(jù)挖掘技術(shù)對大量交易數(shù)據(jù)進行挖掘分析，沃爾瑪是不可能發(fā)現(xiàn)數(shù)據(jù)內(nèi)在這一有價值的規(guī)律的。 是什么讓沃爾瑪發(fā)現(xiàn)了尿布和啤酒之間的關(guān)系呢？正是商家通過對超市一年多原始交易數(shù)字進行詳細的分析，才發(fā)現(xiàn)了這對神奇的組合,分析,尿布與啤酒與數(shù)據(jù)挖掘技術(shù),8,數(shù)據(jù)挖掘是從大量數(shù)據(jù)中尋找其規(guī)律的技術(shù)，主要有數(shù)據(jù)準備、規(guī)律尋找和規(guī)律表示三個步驟。 但在具體實施數(shù)據(jù)挖掘應(yīng)用時，還要有一

4、個步驟就是結(jié)果評價。這是因為數(shù)據(jù)算法尋找出來的是數(shù)據(jù)的規(guī)律，其中有些是人們感興趣的有用的，還有一些可能是不感興趣的沒有用的。這就要對尋找出的規(guī)律進行評估。例如：跟尿布一起購買最多的商品是啤酒這樣一條規(guī)律是否有用呢？這就需要市場調(diào)查和評估工程師根據(jù)實際情況做出評估判斷。這是一個人工步驟，還難以自動化,數(shù)據(jù)挖掘是什么樣的技術(shù),尿布與啤酒與數(shù)據(jù)挖掘技術(shù),9,數(shù)據(jù)挖掘分為描述性和預(yù)測性兩類。 描述性數(shù)據(jù)挖掘提供數(shù)據(jù)的一般規(guī)律 預(yù)測性數(shù)據(jù)挖掘產(chǎn)生關(guān)于數(shù)據(jù)的預(yù)測,數(shù)據(jù)挖掘分類,尿布與啤酒與數(shù)據(jù)挖掘技術(shù),10,關(guān)聯(lián)分析：尋找數(shù)據(jù)項之間感興趣的關(guān)聯(lián)關(guān)系。例如：我們可以通過對交易數(shù)據(jù)的分析可能得出86%買啤酒的

5、人同時也買尿布這樣一條啤酒和尿布之間的關(guān)聯(lián)規(guī)則,數(shù)據(jù)挖掘的主要內(nèi)容,尿布與啤酒與數(shù)據(jù)挖掘技術(shù),11,演變分析：描述時間序列數(shù)據(jù)隨時間變化的數(shù)據(jù)的規(guī)律或趨勢，并對其建模。包括時間序列趨勢分析、周期模式匹配等。例如：通過對交易數(shù)據(jù)的演變分析，可能會得到89%情況股票X上漲一周左右后，股票Y會上漲這樣一條序列知識,數(shù)據(jù)挖掘的主要內(nèi)容,尿布與啤酒與數(shù)據(jù)挖掘技術(shù),12,聚類分析：根據(jù)最大化類內(nèi)的相似性、最小化類間的相似性的原則將數(shù)據(jù)對象聚類或分組，所形成的每個簇（聚類）可以看作一個數(shù)據(jù)對象類，用顯式或隱式的方法描述它們。也就是我們常說的物以類聚人以群分,數(shù)據(jù)挖掘的主要內(nèi)容,尿布與啤酒與數(shù)據(jù)挖掘技術(shù),13

6、,分類分析：找出描述并區(qū)分數(shù)據(jù)類的模型（可以是顯式或隱式），以便能夠使用模型預(yù)測給定數(shù)據(jù)所屬的數(shù)據(jù)類。 例如：信用卡公司可以將持卡人的信譽度分類為：良好、普通和較差三類。分類分析通過對這些數(shù)據(jù)類的分析給出一個信譽等級的顯式模型：信譽良好的持卡人是年收入在30000元到50000元之間，年齡在30至45歲之間，居住面積達90M2 左右的人。這樣對于一個新的持卡人，就可以根據(jù)他的特征預(yù)測其信譽度,數(shù)據(jù)挖掘的主要內(nèi)容,尿布與啤酒與數(shù)據(jù)挖掘技術(shù),14,異常分析：一個數(shù)據(jù)集中往往包含一些特別的數(shù)據(jù)，其行為和模式與一般的數(shù)據(jù)不同，這些數(shù)據(jù)稱為異常。對異常數(shù)據(jù)的分析稱為異常分析。它在欺詐甄別、網(wǎng)絡(luò)入侵檢測等

7、領(lǐng)域有著廣泛的應(yīng)用,數(shù)據(jù)挖掘的主要內(nèi)容,尿布與啤酒與數(shù)據(jù)挖掘技術(shù),15,數(shù)據(jù)挖掘應(yīng)用領(lǐng)域非常廣闊 先期將在數(shù)據(jù)積累比較充分的領(lǐng)域銀行、證券、電信等領(lǐng)域到應(yīng)用，以后將在各行各業(yè)各領(lǐng)域中獲得應(yīng)用。只要數(shù)據(jù)積累充分，就需要數(shù)據(jù)挖掘技術(shù),數(shù)據(jù)挖掘技術(shù)的應(yīng)用前景,尿布與啤酒與數(shù)據(jù)挖掘技術(shù),16,數(shù)據(jù)挖掘技術(shù)將被社會長期使用 隨著信息化工作的深入發(fā)展，計算機中積累的數(shù)據(jù)只會越來越多，人們會越來越重視對這些信息的挖掘利用，所以對數(shù)據(jù)挖掘技術(shù)的需求也會越來越大。當然，數(shù)據(jù)挖掘技術(shù)本身會不斷發(fā)展進步，該技術(shù)將被長期使用,數(shù)據(jù)挖掘技術(shù)的應(yīng)用前景,尿布與啤酒與數(shù)據(jù)挖掘技術(shù),17,數(shù)據(jù)挖掘技術(shù)的應(yīng)用前景,尿布與啤酒與

8、數(shù)據(jù)挖掘技術(shù),18,身邊的數(shù)據(jù)挖掘,尿布與啤酒與數(shù)據(jù)挖掘技術(shù),19,身邊的數(shù)據(jù)挖掘,尿布與啤酒與數(shù)據(jù)挖掘技術(shù),20,在Excel2007進行數(shù)據(jù)挖掘,尿布與啤酒與數(shù)據(jù)挖掘技術(shù),21,尿布與啤酒與數(shù)據(jù)挖掘技術(shù),22,尿布與啤酒與數(shù)據(jù)挖掘技術(shù),23,SQLServer2008_DMAddin.msi,尿布與啤酒與數(shù)據(jù)挖掘技術(shù),24,尿布與啤酒與數(shù)據(jù)挖掘技術(shù),25,尿布與啤酒與數(shù)據(jù)挖掘技術(shù),26,Associate表的部分數(shù)據(jù),尿布與啤酒與數(shù)據(jù)挖掘技術(shù),27,購物籃分析窗口,尿布與啤酒與數(shù)據(jù)挖掘技術(shù),28,購物籃分析窗口,尿布與啤酒與數(shù)據(jù)挖掘技術(shù),29,購物籃分析過程,尿布與啤酒與數(shù)據(jù)挖掘技術(shù),30,購物籃捆綁銷售商品,尿布與啤酒與數(shù)據(jù)挖掘技術(shù),31,購物籃推薦,解釋：購買Mountain Tire Tube的人常常也會購買Sport-100。 所選商品的銷售情況：說明有多少個事務(wù)包含了選中的項。有1782個事務(wù)包含