大數(shù)據(jù)高職系列教材之數(shù)據(jù)挖掘基礎教學課件：第2章分類

1、大數(shù)據(jù)應用人才培養(yǎng)系列教材數(shù)據(jù)挖掘基礎第1頁，共38頁。第二章分類2.1分類概述2.2貝葉斯決策與分類器2.3支持向量機2.4分類在實際場景中的應用案例作業(yè)與練習大數(shù)據(jù)應用人才培養(yǎng)系列教材第2頁，共38頁。2.1 分類概述第二章 分類2.1.1 分類基本概念定義：分類是一種重要的數(shù)據(jù)分析形式。根據(jù)重要數(shù)據(jù)類的特征向量值及其他約束條件，建立分類函數(shù)或分類模型。分類模型可以用于描述性建模和預測性建模。第3頁，共38頁。2.1 分類概述第二章 分類2.1.2 解決分類問題的一般方法分類法是一種根據(jù)輸入數(shù)據(jù)集建立分類模型的系統(tǒng)方法。它包括決策樹分類法、基于規(guī)則的分類法、支持向量機分類法、樸素貝葉斯分類

2、法、神經(jīng)網(wǎng)絡等分類法。解決分類問題的一般方法。第一步，建立一個模型。這需要有一個訓練樣本數(shù)據(jù)集作為預先的數(shù)據(jù)集或概念集，通過分析屬性/特征描述等構(gòu)成的樣本（也可以是實體等）建立模型。第4頁，共38頁。2.1 分類概述第二章 分類2.1.2 解決分類問題的一般方法第5頁，共38頁。2.1 分類概述第二章 分類2.1.2 解決分類問題的一般方法應用模第6頁，共38頁。2.1 分類概述第二章 分類2.1.3 決策樹1.決策樹工作原理 通過提出一系列精心構(gòu)思的關于檢驗記錄屬性的問題，解決分類問題。類問題的決策樹，樹中包含三種節(jié)點：*根節(jié)點 沒有進邊，有0條或更多條出邊；*內(nèi)部節(jié)點 有一條進邊，有2條或

3、更多條出邊；*葉節(jié)點有一條進邊，沒有出邊。第7頁，共38頁。2.1 分類概述第二章 分類2.1.3 決策樹第8頁，共38頁。2.1 分類概述第二章 分類2.1.3 決策樹2.如何建立決策樹3.決策樹歸納算法算法2.1給出了稱作Treegrowth的決策樹歸納算法的框架。該算法的輸入是訓練記錄集A和屬性集B。算法遞歸地選擇最優(yōu)的屬性來劃分數(shù)據(jù)（步驟7），并擴展樹的葉節(jié)點（步驟11和步驟12），直到滿足結(jié)束條件（步驟1）。第9頁，共38頁。2.1 分類概述第二章 分類2.1.3 決策樹3.決策樹歸納算法第10頁，共38頁。2.1 分類概述第二章 分類2.1.3 決策樹4.決策樹歸納的學習算法必須解

4、決兩個問題（1）訓練記錄分裂（2）停止分裂過程案例:Web 機器人檢測第11頁，共38頁。2.1 分類概述第二章 分類2.1.3 決策樹5.決策樹歸納的特點（1）決策樹歸納是不用假設類和其它屬性服從某一分布概率，是一種構(gòu)建分類模型的非參數(shù)方法。（2）找到最佳的決策樹即決策樹獲得的不是全局最優(yōu)，是每個結(jié)點的局部最優(yōu)決策。（3）決策樹建立后，未知樣本分類很快。而已開發(fā)構(gòu)建的決策樹技術計算成本不高，就算訓練集很大，也能快速建立模型。（4）決策樹相對其它分類算法更簡便，特別是小型的決策樹的準確率較高。冗余屬性不會對決策樹的準確率造成不利的影響。（5）決策樹算法對于噪聲干擾有較強的抗干擾性。（6）決策樹

5、算法通常采用自頂向下的遞歸劃分方法，解決該問題通常是采用樣本數(shù)小于某個特定閾值時停止分裂。第12頁，共38頁。2.1 分類概述第二章 分類2.1.4 模型的過分擬合1.模型過分擬合的形成所謂模型過分擬合是指訓練數(shù)據(jù)擬合度過高的模型。2.處理決策樹歸納中的過分擬合在這介紹兩種決策樹歸納上避免過分擬合的策略：（1）先剪枝（提前終止）（2）后剪枝（過程修剪）第13頁，共38頁。第二章分類2.1分類概述2.2貝葉斯決策與分類器2.3支持向量機2.4分類在實際場景中的應用案例作業(yè)與練習大數(shù)據(jù)應用人才培養(yǎng)系列教材第14頁，共38頁。2.2 貝葉斯決策與分類器第二章 分類2.2.1 規(guī)則分類器基于規(guī)則的分類

6、器是使用一組“ifthen”規(guī)則來對記錄進行分類的技術?；谝?guī)則的分類器產(chǎn)生的規(guī)則集有兩個重要性質(zhì)： 1.互斥性 如果規(guī)則集中不存在兩條規(guī)則被同一條記錄觸發(fā)，則稱規(guī)則集中的規(guī)則是互斥的。2.窮舉性 如果屬性值任一種組合，規(guī)則集中都存在一條規(guī)則加以覆蓋，則稱規(guī)則集具有窮舉覆蓋。它確保每一條記錄都至少被規(guī)則集里的一條規(guī)則覆蓋。第15頁，共38頁。2.2 貝葉斯決策與分類器第二章 分類2.2.1 規(guī)則分類器r1: （胎生=否）（飛行動物=是） 鳥類r2: （胎生=否）（水生動物=是） 魚類r3: （胎生=是）（體溫=恒溫） 哺乳動物r4: （胎生=否）（飛行動物=否） 爬行類r5: （水生動物=半）

7、 兩棲類第16頁，共38頁。2.2 貝葉斯決策與分類器第二章 分類2.2.2 分類中貝葉斯定理的應用假設，是一對隨機變量，聯(lián)合概率P（=x,=y）是指取值x且取值y的概率，條件概率是指一隨機變量在另一隨機變量取值已知的情況下取某一特定值得概率。第17頁，共38頁。2.2 貝葉斯決策與分類器第二章 分類2.2.2 分類中貝葉斯定理的應用2.貝葉斯定理在分類中的應用先從統(tǒng)計學的角度對分類問題加以形式化。設表示屬性集，表示類變量。如果類變量和屬性之間的關系不確定，可以把和看作隨機變量，用(|)以概率的方式捕捉二者之間的關系，這個條件概率又稱為的后驗概率，對應(Y)稱為的先驗概率。在訓練階段，要根據(jù)從

8、訓練數(shù)據(jù)中收集的信息，對和的每一種組合學習后驗概率(|)。知道這些概率后，通過找出使后驗概率(|)最大的類可以對測試記錄進行分類。第18頁，共38頁。2.2 貝葉斯決策與分類器第二章 分類2.2.2 分類中貝葉斯定理的應用第19頁，共38頁。2.2 貝葉斯決策與分類器第二章 分類2.2.3 分類中樸素貝葉斯的應用1.條件獨立性在研究樸素貝葉斯分類法如何工作之前，先介紹條件獨立概念。設,和表示三個隨機變量的集合。給定，條件獨立于，如果下面的條件成立：2.樸素貝葉斯分類器如何工作分類測試記錄時，樸素貝葉斯分類器對每個類計算后驗概率：第20頁，共38頁。2.2 貝葉斯決策與分類器第二章 分類2.2.

9、3 分類中樸素貝葉斯的應用3.樸素貝葉斯分類器特征1）在面對孤立的噪聲點，樸素貝葉斯分類器性能影響不大；2）面對無關屬性，樸素貝葉斯分類器性能同樣影響不大；3）相關屬性可能降低樸素貝葉斯分類器的性能。樸素貝葉斯分類法使用兩種方法估計連續(xù)屬性的類條件概率。（1）可以把每一個連續(xù)的屬性離散化，然后用相應的離散區(qū)間替換連續(xù)屬性值。（2）可以假設連續(xù)變量服從某種概率記錄，然后使用訓練數(shù)據(jù)估計分布的參數(shù)。第21頁，共38頁。第二章分類2.1分類概述2.3支持向量機2.2貝葉斯決策與分類器2.4分類在實際場景中的應用案例作業(yè)與練習大數(shù)據(jù)應用人才培養(yǎng)系列教材第22頁，共38頁。2.3 支持向量機第二章 分類

10、2.3.1 最大邊緣超平面支持向量機（Support Vector Machine），以下簡稱SVM，成為最主要的模式識別方法之一，它可以在高維空間構(gòu)造良好的預測模型，在OCR、語言識別、圖像識別等廣泛應用。它以扎實的統(tǒng)計學理論為基礎，并在許多實際應用（如手寫數(shù)字的識別、文本分類等）中展示了不俗的實踐效果。一個數(shù)據(jù)集，包含兩個不同類的樣本，分別用小黑加號塊和小圓圈表示。數(shù)據(jù)集是線性可分的，即能找到一個超平面，使得所有小黑方塊位于這個超平面的一側(cè)，所有小圓圈在它的另一側(cè)。如圖所示，可看到這種超平面可能存在無窮多個。通過檢驗樣本運行效果，分類器要從這些超平面中選一個作為它的決策邊界。第23頁，共3

11、8頁。2.3 支持向量機第二章 分類2.3.1 最大邊緣超平面SVM最基本的任務就是在分開數(shù)據(jù)超平面的兩邊建有兩個互相平行的超平面。分隔超平面使兩個平行超平面的距離最大化，平行超平面間的距離或差距越大，分類器的總誤差越小。分類的過程是一個機器學習的過程。設樣本屬于兩個類，用該樣本訓練SVM得到的最大間隔超平面。在超平面上的樣本點也稱為支持向量。第24頁，共38頁。2.3 支持向量機第二章 分類2.3.2 線性支持向量機SVMSVM算法是從線性可分情況的最優(yōu)分類超平面提出的。最優(yōu)分類面是指要求分類超平面不但能將兩類樣本點無錯誤地分開，而且要使兩類的分類空隙最大。第25頁，共38頁。2.3 支持向

12、量機第二章 分類2.3.2 非線性支持向量機SVMSVM應用到具有非線性決策邊界數(shù)據(jù)集上的方法，關鍵是在于將數(shù)據(jù)從原先的坐標空間x變換到一個新的坐標空間（x）中，然后在新的坐標空間中使用一個線性的決策邊界劃分樣本。1.屬性變換2.非線性支持向量機3.核函數(shù)4.支持向量機的一般特征（1）SVM學習問題可表示為凸優(yōu)化問題，利用已知的有效算法發(fā)現(xiàn)目標函數(shù)的全局最小值。（2）SVM通過最大化決策邊界的邊緣來控制模型。（3）通過對數(shù)據(jù)中每個分類屬性值引入一個啞變量，SVM可應用于分類數(shù)據(jù)。第26頁，共38頁。第二章分類2.1分類概述2.2貝葉斯決策與分類器2.4分類在實際場景中的應用案例2.3支持向量機

13、作業(yè)與練習大數(shù)據(jù)應用人才培養(yǎng)系列教材第27頁，共38頁。2.4 分類在實際場景中的應用案例第二章 分類1案例：如何解決文章主題關鍵字與搜索引擎關鍵字帶來的檢索結(jié)果差異 2案例：甄別新金融交易方式的欺詐行為3案例：在線廣告推薦中的分類2.4 分類在實際場景中的應用案例第28頁，共38頁。2.4 分類在實際場景中的應用案例第二章 分類1案例：如何解決文章主題關鍵字與搜索引擎關鍵字帶來的檢索結(jié)果差異 在網(wǎng)頁學術性判定方面,提出了基于貝葉斯算法的網(wǎng)頁學術性判斷算法, 通過對網(wǎng)頁內(nèi)容、格式、結(jié)構(gòu)三個維度的分析,完成網(wǎng)頁學術性的判定;在分類方面,以中圖法的分類大綱作為分類目錄,提出了基于改進空間向量模型的

14、學術網(wǎng)頁分類算法,通過利用網(wǎng)頁主題關鍵字構(gòu)建網(wǎng)頁向量空間,最后實現(xiàn)了網(wǎng)頁的正確分類。通過兩個關鍵算法,在系統(tǒng)中的網(wǎng)頁主題提取部分,采用Html Parser技術與正則表達式相結(jié)合的網(wǎng)頁主題提取算法,實現(xiàn)對抓取的網(wǎng)頁主題內(nèi)容的獲取。第29頁，共38頁。2.4 分類在實際場景中的應用案例第二章 分類2案例：甄別新金融交易方式的欺詐行為中國工商銀行建立基于大數(shù)據(jù)技術金融交易反欺詐系統(tǒng)，針對欺詐的不同場景，給系統(tǒng)采取不同的分析維度，在海量的基礎數(shù)據(jù)池中，通過對客戶、產(chǎn)品、商戶、渠道等多維度，提煉出近1000個指標、3000多個特征量。讓金融交易行為的流程數(shù)據(jù)化，構(gòu)建智能模型，為精準打擊欺詐交易奠定基礎

15、。在對每個客戶的歷史交易的行為數(shù)據(jù)，提煉近3000多的風險特征，結(jié)合運用決策樹、支持向量機、邏輯回歸、神經(jīng)網(wǎng)絡等方法，構(gòu)建出不同的欺詐識別模型、識別最新欺詐模型。如圖反欺詐模型2013年12月5日，某客戶的萬事達卡短短15分鐘內(nèi)，在美國沃爾瑪超市內(nèi)發(fā)生非密碼驗證的POS刷卡交易14筆，累計交易金額10250美元。交易金額大、交易頻繁等于客戶日常行為習慣不符，14筆交易被系統(tǒng)攔截，后經(jīng)核實發(fā)現(xiàn)這14筆交易系嫌疑人盜刷，不是客戶本人消費。第30頁，共38頁。2.4 分類在實際場景中的應用案例第二章 分類3案例：在線廣告推薦中的分類推薦系統(tǒng)具有用戶需求驅(qū)動、主動服務和信息個性化程度高等優(yōu)點，可有效解

16、決信息過載問題。它研究大量借鑒了認知科學、近似理論、信息檢索、預測理論、管理科學及市場建模等多個領域的知識，且已經(jīng)成為數(shù)據(jù)挖掘、機器學習和人機接口領域的熱門研究方向。推薦系統(tǒng)的工作原理與一般信息過濾系統(tǒng)比較類似，可以一種特殊形式的信息過濾系統(tǒng)推薦系統(tǒng)可以分為兩種：一種是獨立為信息服務系統(tǒng)，另一種是作為宿主信息服務系統(tǒng)的推薦子系統(tǒng)輔助信息、服務系統(tǒng)。第31頁，共38頁。第2章分類2.1分類概述2.2貝葉斯決策與分類器2.3支持向量機2.4分類在實際場景中的應用案例作業(yè)與練習大數(shù)據(jù)應用人才培養(yǎng)系列教材第32頁，共38頁。作業(yè)與練習：第33頁，共38頁。AIRack人工智能實驗平臺一站式的人工智能實驗平臺DeepRack深度學習一體機開箱即用的AI科研平臺BDRack大數(shù)據(jù)實驗平臺一站式的大數(shù)據(jù)實訓平臺第34頁，共38頁。云計算頭條微信號：chinacloudnj中國大數(shù)據(jù)微信號：cstorbigdata劉鵬看未來微信號：lpo