數(shù)據(jù)挖掘的技術對電子商務平臺作用

1、數(shù)據(jù)挖掘技術對電子商務平臺的作用以京東為例的數(shù)據(jù)挖掘應用分析作者：史俊禺班級：12計1指導老師：鄭琪完成時間：2015.1.3第一章緒論1.1背景資料分析 31.2數(shù)據(jù)挖掘應用對電子商務領域的意義 41.3數(shù)據(jù)挖掘過程 41.4數(shù)據(jù)挖掘主要方法 51.5數(shù)據(jù)挖掘系統(tǒng)體系結構 71.6數(shù)據(jù)挖掘在電子商務中的應用流程 8第二章以京東為例的數(shù)據(jù)挖掘應用分析2.1數(shù)據(jù)挖掘在電子商務中的應用分析一一客戶獲得 92.11 客戶獲得的定義 92.12 數(shù)據(jù)挖掘可以對客戶獲得產(chǎn)生的作用 92.13客戶獲得的步驟 92.2數(shù)據(jù)挖掘在電子商務中的應用分析一一客戶流失預測 112.21客戶細分的定義 112.22客

2、戶流失預測步驟 132.3數(shù)據(jù)挖掘在電子商務中的應用分析一一客戶消費特征 142.31客戶消費特征定義及背景 142.32京東建立客戶消費特征的過程 142.33 RSS技術在電子商務平臺的應用 162.34建立客戶消費特征之后可應用的數(shù)據(jù)模塊 17結語 18摘要:在電子商務平臺日益發(fā)展的今天，數(shù)據(jù)分析作為一種科學的手 段，可以起到規(guī)范市場、節(jié)約成本、保護在線交易安全，而數(shù)據(jù)挖掘 這門技術可以從大量繁雜數(shù)據(jù)中提取有用的信息，并發(fā)現(xiàn)特定的規(guī) 律，為商家對客戶的需求信息和行為預測提供可能性。本篇報告是作者在對數(shù)據(jù)挖掘課本學習的前提下，以京東商城為例，從互聯(lián)網(wǎng)上搜集各類數(shù)據(jù)并進行分析，從客戶獲得、客

3、戶流失預 測、客戶消費特征這三個方面進行分析，最后歸納出數(shù)據(jù)挖掘在電子 商務應用上的必然性和重要性。第一章緒論1.1背景資料分析電子商務是指個人或企業(yè)通過In ter net網(wǎng)絡，采用數(shù)字化電子 方式進行商務數(shù)據(jù)交換和開展商務業(yè)務活動。電子商務的發(fā)展促使公司內(nèi)部收集了大量的數(shù)據(jù)，并且迫切需要將這些數(shù)據(jù)轉換成有用的信 息和知識，為公司創(chuàng)造更多潛在的利潤。數(shù)據(jù)挖掘(Data Mining)，又稱數(shù)據(jù)庫中的知識發(fā)現(xiàn)(Knowledge Discovery in Database, KDD)，是 從大量的、不完全的、有噪聲的、模糊的和隨機的數(shù)據(jù)中，提取隱含 在其中的、人們事先不知道的，但又是潛在有用的

4、信息和知識的過程。 數(shù)據(jù)挖掘涉及的科學領域和方法很多，其核心技術經(jīng)歷了數(shù)十年的發(fā) 展其中包括統(tǒng)計，近鄰，聚類，決策樹，神經(jīng)網(wǎng)絡和規(guī)則等1.2數(shù)據(jù)挖掘應用對電子商務領域的意義數(shù)據(jù)挖掘有助于發(fā)現(xiàn)電子商務業(yè)務發(fā)展的趨勢， 幫助電子商務 企業(yè)做出正確的決策，使企業(yè)處于更有利的競爭位置。 商業(yè)電子化的 趨勢不僅為客戶提供了便利的交易方式和廣泛的選擇，同時也為商家提供了更加深入地了解客戶需求信息和購物行為特征的可能性。數(shù)據(jù)挖掘技術作為電子商務的重要應用技術之一， 將為正確的商業(yè)決策提 供強有力的支持和可靠的保證，是電子商務不可缺少的重要工具。數(shù)據(jù)挖掘有助于客戶關系管理，特別是對電子商務客戶關系管 理起著決

5、定性的作用。數(shù)據(jù)挖掘主要是找尋隱藏在數(shù)據(jù)中的信息， 例 如發(fā)現(xiàn)趨勢、特征及相關性的過程，也就是從數(shù)據(jù)中發(fā)掘出信息或知 識。以此對客戶需求進行深入分析以滿足企業(yè)對個體細分市場的客戶 關系管理需求。從發(fā)現(xiàn)客戶到客戶分類再到客戶管理， 數(shù)據(jù)挖掘通過 各種針對性技術為企業(yè)客戶關系管理提供了強有力的保證。將數(shù)據(jù)挖掘技術應用于客戶關系管理，能夠幫助企業(yè)深入理解客戶，得到更加 準確的客戶模型，從而改進營銷決策和客戶服務。數(shù)據(jù)挖掘可以促進電子商務平臺的發(fā)展，加強企業(yè)電子商務 平臺應用的普及度。采用數(shù)據(jù)挖掘技術將電子商務中豐富的數(shù)據(jù)源信 息進行有效組織利用對電子商務的具有巨大的應用價值。同時數(shù)據(jù)挖掘對于電子商務

6、平臺信息的挖掘分析可以幫助檢驗電子商務平臺的 性能，促進電子商務平臺的智能化，幫助企業(yè)打造更具可操作性及吸 引力的消費平臺，為消費者提供更便利的消費環(huán)境。數(shù)據(jù)挖掘有利于企業(yè)資源優(yōu)化，合理分配資源以實現(xiàn)資源價值 最大化。數(shù)據(jù)挖掘進行有效的統(tǒng)計分析挖掘，可以指導營銷的組織和 分配，讓企業(yè)在市場競爭中處于有利位置搶占先機。 通過數(shù)據(jù)挖掘可 以發(fā)現(xiàn)消費者的消費特性，從而幫助制定個性化服務，極大地吸引顧 客，既避免資源浪費，又為企業(yè)帶來巨大的價值。1.3數(shù)據(jù)挖掘過程挖掘數(shù)據(jù)過程可以分為3個步驟：數(shù)據(jù)預處理、模式發(fā)現(xiàn)、模式 分析。A. 數(shù)據(jù)預處理實際系統(tǒng)中的數(shù)據(jù)一般都具有不完全性、 冗余性和模糊性。因此,

7、 數(shù)據(jù)挖掘一般不對原始數(shù)據(jù)進行挖掘，要通過預處理提供準確、簡潔 的數(shù)據(jù)。預處理主要完成以下工作：包括合并數(shù)據(jù)，將多個文件或多 個數(shù)據(jù)庫中的數(shù)據(jù)進行合并處理； 選擇數(shù)據(jù)，提取出適合分析的數(shù)據(jù) 集合；數(shù)據(jù)清洗、過濾，易9除一些無關記錄，將文件、圖形、圖像及 多媒體等文件轉換成可便于數(shù)據(jù)挖掘的格式等。B. 模式發(fā)現(xiàn)模式發(fā)現(xiàn)階段就是利用挖掘算法挖掘出有效的、 新穎的、潛在的、 有用的以及最終可以理解的信息和知識?？捎糜赪eb的挖掘技術有路 徑選擇、關聯(lián)分析、分類規(guī)則、聚類分析、序列分析、依賴性建模等C.模式分析 模式分析是從模式發(fā)現(xiàn)階段獲得的模式、 規(guī)則中過濾掉不感興趣的規(guī) 則和模式。通過技術手段，對

8、得到的模式進行數(shù)據(jù)分析，得出有意義 的結論。常用的技術手段有：關聯(lián)規(guī)則、分類、聚類、序列模式等。14數(shù)據(jù)挖掘主要方法a. 數(shù)據(jù)統(tǒng)計方法使用這些方法一般首先建立一個數(shù)據(jù)模型或統(tǒng)計模型，然后根據(jù) 這種模型提取有關的知識。例如，可由訓練數(shù)據(jù)建立一個 Bayesian 網(wǎng)，然后，根據(jù)該網(wǎng)的一些參數(shù)及聯(lián)系權重提取出相關的知識。b. 關聯(lián)規(guī)則方法關聯(lián)規(guī)則是描述數(shù)據(jù)之間存在關系的規(guī)則，形式為“A1 A A2 A ?An - B1 A B2 A ?Bn”。一般分為兩個步驟：第一步，求出大數(shù)據(jù) 項集。第二步，用大數(shù)據(jù)項集產(chǎn)生關聯(lián)規(guī)則數(shù)據(jù)庫一組。 運用關聯(lián)規(guī) 則的數(shù)據(jù)項往往存在某種潛在關聯(lián)關系的規(guī)則。一找出所有類

9、似的關聯(lián)規(guī)則,對于企業(yè)確定生產(chǎn)銷售、產(chǎn)品分類設計、市場分析等多方面 是有價值的。c. 人工神經(jīng)網(wǎng)絡方法人工神經(jīng)網(wǎng)絡是由大量的簡單神經(jīng)元，通過極其豐富和完善的連 接而構成的自適應非線性動態(tài)系統(tǒng)，并具有分布存儲、聯(lián)想記憶、大 規(guī)模并行處理、自組織、自學習、自適應等功能。人工神經(jīng)網(wǎng)絡是一 種有效地預測模型，在聚類分析、奇異點分析、特征提取中可以得到。 通過模擬人的神經(jīng)元功能，經(jīng)過輸入層、隱藏層、輸出層等，對數(shù)據(jù) 進行調(diào)整、計算，最后得到結果，用于分類和回歸。d. 決策樹方法決策樹算法是目前應用最廣泛的歸納推理算法之一，是一種逼近 離散值函數(shù)的方法。它是以實例為基礎的歸納學習算法，通常用來形 成分類器

10、和預測模型，著眼于從一組無次序、無規(guī)則的事例中推理出 決策樹表示形成的分類規(guī)則。它采用自頂向下的遞歸方式，在決策樹的內(nèi)部結點進行屬性值的比較并根據(jù)不同的屬性值判斷從該結點向 下的分支，最后在決策樹的葉結點得到結論。因此從根到葉結點的一 條路徑就對應著一條合取規(guī)則，而整棵決策樹就對應著一組析取表達 式規(guī)則。決策樹可能是現(xiàn)在最流行的有指導數(shù)據(jù)挖掘結構。e. 聚類方法聚類分析是對群體及成員進行分類的遞歸過程。一個簇是一組數(shù)據(jù)對象的集合，在同一簇的對象彼此類似，而不同簇中的對象彼此相 異。將一組物理或抽象對象分組成為由類似對象組成的多個簇的過程 被稱為聚類。聚類是將數(shù)據(jù)對象分組成為多個類或簇，在同一個

11、簇中的對象具有較高的相似度，而不同簇中的對象差別較大。f. 可視化技術數(shù)據(jù)與結果被轉化和表達成可視化形式，如圖形、圖像等，使用 戶對數(shù)據(jù)的剖析更清楚。1.5數(shù)據(jù)挖掘系統(tǒng)體系結構（見下圖）用戶界面銷支f ffin 場策戶業(yè) 市決喀商 子務臺 電IW:平 一模 規(guī)式 則樓 圖型表識 知16數(shù)據(jù)挖掘在電子商務中的應用流程（見下圖）第二章以京東為例的數(shù)據(jù)挖掘應用分析2.1數(shù)據(jù)挖掘在電子商務中的應用分析一一客戶獲得2.11客戶獲得的定義客戶獲得是指企業(yè)在吸引潛在客戶轉變?yōu)閷嶋H購買者這一過程中所運用的策略和方法?？蛻臬@得的最佳值取決于企業(yè)保留客戶的能 力、客戶重復購買的頻次以及與保留客戶相比獲得客戶的相對

12、機遇。2.12數(shù)據(jù)挖掘可以對客戶獲得產(chǎn)生的作用由于現(xiàn)代線上交易的特點，即：客戶數(shù)量龐大，需求多種多樣，特征分類較多，用傳統(tǒng)方式如問卷調(diào)查等已經(jīng)不能全面科學的對客戶 獲得產(chǎn)生作用，而利用數(shù)據(jù)挖掘可以根據(jù)客戶的市場活動數(shù)據(jù)，在一定時間內(nèi)分析其歷史數(shù)據(jù)，總結出一個預測模型，從而可以針對不同 的客戶、不同的需求提供個性化服務信息，如廣告投放、喜好預測等， 來鎖定重點客戶，其中典型的方法有統(tǒng)計方法的貝葉斯分類、機器學習的判定樹歸納分類、神經(jīng)網(wǎng)絡的后向傳播分類等。2.13客戶獲得的步驟1. 建立關系階段。是賣方確立客戶，買賣雙方建立互信的階段， 買方對你的產(chǎn)品和服務并沒有真正的使用經(jīng)驗。 這個階段是客戶營

13、銷 中最為關鍵的，也是需要消耗最多資源的。以京東為例：截止今年4月份，京東商城已經(jīng)有4千萬注冊用戶，2014年3、4 月份訂單量達到每月40萬?！緮?shù)據(jù)來源：驅動之家http:/news.mydrivers.eom/1/225/225167.htm建立關系的方法如增加廣告投入、seo優(yōu)化、優(yōu)惠信息提示等2. 穩(wěn)定關系階段。與客戶關系進入穩(wěn)定期以后，工作重點和關鍵 就發(fā)生了轉移，這個時候工作重點應該放在防止意外情況發(fā)生和積極 進行危機管理。進入穩(wěn)定階段以后，溝通在客戶管理中起著非常重要 的作用。3. 加強關系階段。隨著買賣雙方信任和了解的加固， 賣方應該對 自己滿足客戶的能力進一步地加強和要求，

14、應該更加深入分析客戶的 需求潛力。這也是增加銷售內(nèi)容和加固關系的最佳時期。在加強階段 要和客戶建立一個互利互惠的關系。以京東為例：會員劃分標準明細表等級注冊扶牌銅牌銀牌金牌鉆取鉆三鉆四帖五鉆申請 條件免費 注冊100200050001 /J3萬10萬30萬60 A100年內(nèi)完咸10亍以上不同日期的訂單保級條件1000以下10002500250050005000仁5萬1.5萬3萬3萬15萬5萬3Q萬30萬50/j50萬以上注：K邯年消樹超過定額度，即可申請成為相應等級的會員,2, 會員身份有效期為年，年期滿后，京東將根據(jù)客戶年內(nèi)消費輒度重新確認 會員等級.3、京東的保級條件為 年內(nèi)完成10個以上

15、不同口期妁訂單，且達到拍應的 消費額*所墓求的消機額為申嗇條件的消費額減半(3)商品評價使用商品評價功能.如評價有價值，將給弓相應的積分獎勵。項目產(chǎn)品價格銅牌及以下銀牌會員金牌會員.鉆會員雙鉆會員會場四鉆 會/五鉆 會員非圖祜評價送分規(guī)則10-200元610121416161616200-1000止10143040505050501000 元以上142440508080呂080商品評價 送分 規(guī)則10元3456888810-30 元5681012121212230元68101215151515注：圖片來源一客戶客戶關系的建立與維護(第 3版)同時，京東還建立了積分制度，由購買商品和評價商品獲得

16、，此處不再贅述規(guī)則。優(yōu)點：層次清晰，關鍵客戶明確，會員制度提高客戶忠誠度，積分制度的補充很充分。缺點：等級劃分過多，會員的優(yōu)惠有水分無法刺激客戶的升級欲望，等級升級制度如五鉆過于苛刻2.2數(shù)據(jù)挖掘在電子商務中的應用分析一一客戶流失預測2.21 客戶流失定義及背景由于企業(yè)各種營銷手段的實施而導致客戶和企業(yè)中止合作的現(xiàn)象就是客戶流失而在互聯(lián)網(wǎng)購物高度發(fā)展的今天，流失率不再是購物平臺生存的決定性因素，而如何使用獨特的銷售手段和對客戶購買行為的分析以及訪問量和站內(nèi)搜索量保持并增加客戶數(shù)量成為各大購物平臺競爭的主要目標傳統(tǒng)的客戶流失預測采用時間閾值法和 RFM法，但效果不佳， 自1994年David C

17、 Schmittlein等人提出的SMC模型，可以科學的 預測客戶流失問題，這是首個真正意義上的客戶行為預測模型。而在數(shù)據(jù)挖掘技術中對客戶行為的預測， 多采用回歸分析、決策樹和神經(jīng) 網(wǎng)絡。近兩年，SVM，貝葉斯網(wǎng)絡，粗糙集等也被用于客戶流失預 測建模。本段著重介紹最常規(guī)的兩種方法：決策樹和貝葉斯分類。 決策樹決策樹是一種流行的分類算法，具有學習快速塊、分類準確率 高、分類結果表現(xiàn)直觀等特點。決策樹的構造包括兩個階段：通過訓 練集生成決策樹；對生成的決策樹進行剪枝。應用決策樹對新樣本進 行分類時，從樹根節(jié)點開始對樣本進行測試，根據(jù)測試結果確定下一 個節(jié)點，直至到達也節(jié)點，葉節(jié)點所屬類別就是新節(jié)點

18、的預測類別。 決策樹算法有ID3，C4.5，C5.0，CART等。由于基于C4.5算法的決策樹有良好的性能并且能夠自動產(chǎn)生分類 規(guī)則，應用C4.5算法對保險客戶基本信息進行了分類，分析出了客 戶流失的特征，通過此模型，保險公司提高了客戶挽留率。Kitayama 通過基于決策樹的方法對客戶檔案進行了分類，首先把客戶群體劃分為首選客戶(Preferred customers)和一般客戶，首選客戶指那些對公 司最有價值的客戶，接著應用決策樹根據(jù)客戶特征分類，識別高價值 客戶，以達到挽留高價值客戶的目的。為了克服決策樹固有的缺點， 提高客戶流失預測模型的精確度和可解釋性，結合了AD Tree模型 與L

19、ogistic回歸方程的優(yōu)點，提出了 TreeLogit模型。貝葉斯分類法貝葉斯分類是一種典型的統(tǒng)計學分類方法，用于預測樣本屬于特定類的概率，主要分為樸素貝葉斯(Na?ve Bayes)分類和貝葉斯網(wǎng)絡 (Bayes network)。樸素貝葉斯是機器學習中常用的概率統(tǒng)計方法， 基本思想是基于概率論的貝葉斯公式和簡化假設，根據(jù)屬性和類別的聯(lián)合概率來估計新樣本的基本類別。應用樸素貝葉斯提的前提條件是 類條件獨立，而貝葉斯網(wǎng)絡則用于非獨立的聯(lián)合條件的概率分布，訓練后的貝葉斯網(wǎng)絡可以用于分類?？蛻袅魇ьA測技術的對比研究表明，樸素貝葉斯的預測效果可以 與決策樹和神經(jīng)網(wǎng)絡相媲美。首先對引起電商客戶流失的

20、客戶心理、 服務質(zhì)量等因素進行分析，確定先驗知識，根據(jù)先驗知識選取特征和 訓練樣本，通過貝葉斯網(wǎng)絡的結構學習和參數(shù)學習，建立客戶流失模型，通過實驗證明了貝葉斯網(wǎng)絡是分析客戶流失等不確定性問題的有 效工具。2.22 客戶流失預測步驟以京東為例的電商平臺統(tǒng)計并預測客戶流失量時，需要使用的數(shù)據(jù)屬性太過復雜，所以一般情況下專業(yè)人員首先需要對數(shù)據(jù)進行采 集，來源即是客戶的搜索信息、購買信息、基本資料，客服回執(zhí)等。 在京東客戶的歷史行為中，隱含了大量與流失相關的行為模式，數(shù)據(jù)必須圍繞市場分析得到的與相關的信息來組建。專業(yè)人員從數(shù)據(jù)庫中抽取基本客戶群、客戶的繳費資料、客戶基本資料、客戶投訴資料、 客戶帳單、

21、客戶消費習慣等信息形成信息表，然后根據(jù)用戶號和帳務 年月進行連接，即為原始數(shù)據(jù)。同時在原始數(shù)據(jù)的基礎上，根據(jù)業(yè)務 專家的意見，進一步衍生有可能與流失相關的屬性。在一般的流失預測中，多采用分類建模和聚類建模的方法進行數(shù) 據(jù)的歸納和模型的優(yōu)化。建立分類預測模型2.3數(shù)據(jù)挖掘在電子商務中的應用分析一一客戶消費特征2.31客戶消費特征定義及背景一定的客戶群體在某一消費行為上有相似性或可聚性，便由單獨 的消費行為變?yōu)橐环N群體消費特征。從電子商務應用的角度講，數(shù)據(jù) 挖掘技術可以提取客戶消費特征，并以數(shù)據(jù)研究為前提對客戶的消費 行為分析，得出客戶的消費習慣、消費能力、心理特征，從而對客戶 進行分群，做到精準

22、廣告投放、vip客戶重點關注等。2.32京東建立客戶消費特征的過程首先進行數(shù)據(jù)收集：網(wǎng)絡日志數(shù)據(jù)（訪問數(shù)據(jù)）、用戶行為數(shù)據(jù)（收藏、購買、瀏覽等）、網(wǎng)站交易數(shù)據(jù)。初步建立用戶畫像，如圖（數(shù)據(jù)來源：199IT網(wǎng)站）行為建模方法有文/archives/281800.html 本挖掘、自然語言處理。機器學習、貝葉斯算法、聚類算法等根據(jù)數(shù)據(jù)建模進行用戶分群，界定不同消費特征的人群，如圖（數(shù) 據(jù)來源：199IT 網(wǎng)站 /archives/281800.html2.33 RSS技術在電子商務平臺的應用經(jīng)過對客戶消費特征的分析之后。京

23、東網(wǎng)等電商平臺就可以運用最新的RSS技術構建個性化服務。RSS的英文全稱是“ RichSiteSu-mmary ” 豐富站點摘要）或者是 RDFSiteSummary （RDF 站點摘要）。京東可以根據(jù)客戶的喜好建立不同格式的頻道，由客戶 根據(jù)自己的需求定制頻道?？蛻舾鶕?jù)自己的需求對接收的所有頻道進 行定制,挑選出對自己有用的頻道。定制完成后，當客戶再次進入該網(wǎng) 站時就會只顯示其定制的頻道。通過定制，客戶就擁有一個完全屬于 自己的個性化網(wǎng)站。RSS具有及時、全面、有序、高效等特點，能及時傳遞客戶需要 的最新信息；全面報道客戶感興趣的網(wǎng)站內(nèi)容；能夠按照內(nèi)容的重要 性進行排序，并且將最新和最重要的

24、內(nèi)容置于頂端；客戶可以根據(jù)自 己的興趣對商品進行定制，并且能夠隨時掌握最新的標價等信息。打 開京東的首頁，可以發(fā)現(xiàn)幾乎所有種類的商品都已打包成相應的 “RSS 頻道”，向客戶的個人主頁定期發(fā)送。通過RSS這個新渠道，京東有新 商品上市、新促銷信息時，都能快速地將這些信息傳送給其客戶，不僅 給客戶提供了方便，而且大大提高了這些信息的普及率、針對性和實 效性。2.34 建立客戶消費特征之后可應用的數(shù)據(jù)模塊問題分析模塊：分析客戶信息，根據(jù)客戶特點將用戶進行分類，實現(xiàn)客戶信息庫記錄的建立、更新及客戶信息的獲取。同時還為客戶 興趣模型的建立提供客戶基本信息。1.用戶接口模塊：客戶和系統(tǒng)進行交互的接口，其可以接受客戶注冊 及其請求信息、反饋信息，在這個過程中可以學習并記錄客戶的興趣 和習慣。同時，該模塊還負責將最終結果輸出給對應客戶及獲取本地 客戶信息庫的內(nèi)容。2信息收集模塊：根據(jù)客戶需求，主動跟蹤本地信息庫和網(wǎng)絡相關信 息，收集客戶所需信息。3.客戶興趣模型