人工智能基礎(chǔ) 課件 第4章 客戶流失分類

客戶流失分類學(xué)習(xí)目標(biāo)—4.1—熟練掌握機(jī)器學(xué)習(xí)的步驟理解支持向量機(jī)的原理理解決策樹的原理了解集成學(xué)習(xí)的原理項(xiàng)目引導(dǎo)—4.2—4.2.1問題引導(dǎo)通過學(xué)習(xí)我們已經(jīng)知道了如何使用邏輯回歸解決分類問題，但是邏輯回歸并不是解決分類問題的唯一方法。你在生活中遇到分類問題，會如何解決呢？（1）請寫出一個(gè)你解決生活中分類問題的方法。（2）分組討論各個(gè)同學(xué)的方法。小明打開“橙現(xiàn)智能”軟件，發(fā)現(xiàn)在“模型”選項(xiàng)卡中有很多算法，比如有“支持向量機(jī)”“樹”等。這些算法可以用來做分類嗎？4.2.2初步分析試一試嘗試使用“支持向量機(jī)”和“樹”小部件，分析上一章的貧困生判別問題。知識準(zhǔn)備—4.3—支持向量機(jī)對較小數(shù)據(jù)量的問題有較好的效果，但是很多情況下其結(jié)果缺乏良好的解釋性。決策樹算法在數(shù)據(jù)量足夠的情況下分類效果好，結(jié)果直觀，解釋性強(qiáng)，是一種經(jīng)常使用的算法。項(xiàng)目實(shí)戰(zhàn)—4.4—4.4.1數(shù)據(jù)說明我們先試一試能否使用已經(jīng)學(xué)過的模型方法解決這個(gè)問題，然后再試試支持向量機(jī)的方法。預(yù)測電信公司客戶流失率開放數(shù)據(jù)源21個(gè)字段的內(nèi)容分別如表所示。4.4.1數(shù)據(jù)說明支持向量機(jī)—4.5—支持向量機(jī)（SupportVectorMachine，SVM）是分類與回歸分析中的一種算法。在二維空間的分類問題中，支持向量機(jī)就是找到一條能將數(shù)據(jù)最好分類的線。4.5.1支持向量是什么每個(gè)點(diǎn)都可以看作是從原點(diǎn)出發(fā)指向此點(diǎn)的一個(gè)向量。支持向量機(jī)算法使用這些支持向量作為支撐點(diǎn)，使邊界盡可能寬。在數(shù)學(xué)中，向量（也稱矢量），指具有大小（Magnitude）和方向的量。它可以形象化地表示為帶箭頭的線段。箭頭所指代表向量的方向；線段長度代表向量的大小。與向量對應(yīng)的量叫作數(shù)量（物理學(xué)中稱標(biāo)量），數(shù)量（或標(biāo)量）只有大小，沒有方向。4.5.1支持向量是什么

4.5.1支持向量是什么

我們僅從二者的損失函數(shù)角度了解二者對數(shù)據(jù)的敏感程度的區(qū)別，其中，支持向量機(jī)的損失函數(shù)是Hingeloss，而邏輯回歸損失函數(shù)是Logisticloss。4.5.2邏輯回歸與支持向量機(jī)的比較損失函數(shù)值越小模型越好。在模型訓(xùn)練的時(shí)候，其實(shí)就是將損失函數(shù)值不停降低。從圖4-12可見，如果真實(shí)值為1的話，兩個(gè)損失函數(shù)都是左側(cè)大右側(cè)小，訓(xùn)練模型大致就是盡量讓取值靠右。4.5.2邏輯回歸與支持向量機(jī)的比較觀察二者的損失函數(shù)，我們可以注意到以下四點(diǎn)：4.5.2邏輯回歸與支持向量機(jī)的比較Hingeloss沒有Logisticloss上升得快。也就是說，Logisticloss對于異常值會有更大的懲罰，導(dǎo)致邏輯回歸對異常點(diǎn)的容忍程度相對較低。不管哪個(gè)損失函數(shù)，即使分類對了，在邊界附近的值也會受到懲罰，這導(dǎo)致二者都會要求能夠更好地分類，從而使各個(gè)值能夠盡可能地遠(yuǎn)離邊界。即使一個(gè)值被確信地分類了，也就是它離邊界很遠(yuǎn)Logisticloss也不會變?yōu)?，這導(dǎo)致邏輯回歸進(jìn)一步要求所有點(diǎn)都能夠進(jìn)一步遠(yuǎn)離邊界。如果一個(gè)值被比較好地分類了，也就是它離邊界比較遠(yuǎn)，Hingeloss立即變?yōu)?。這導(dǎo)致支持向量機(jī)并不在乎較遠(yuǎn)的點(diǎn)到底在哪，它只在意邊界附近的點(diǎn)（支持向量）。在意附近的點(diǎn)是因?yàn)楦鶕?jù)第二點(diǎn)，即使支持向量劃分正確Hingeloss也不為0，導(dǎo)致支持向量機(jī)僅僅想要將支持向量推離邊界，直到Hingeloss為0。4.5.2邏輯回歸與支持向量機(jī)的比較基于以上四點(diǎn)，二者的分類結(jié)果會出現(xiàn)以下兩種顯著區(qū)別：4.5.2邏輯回歸與支持向量機(jī)的比較邏輯回歸盡可能提高所有點(diǎn)分類正確的概率，而支持向量機(jī)嘗試最大化由支持向量確定的邊界距離。邏輯回歸對錯(cuò)誤的承受能力更低，它會盡可能地要求所有值都正確分類。支持向量機(jī)對錯(cuò)誤承受能力相對較高，它的目的是更多地將邊界拓寬。項(xiàng)目實(shí)戰(zhàn)—4.6—這個(gè)項(xiàng)目中，我們使用樹模型搭建工作流。試一試嘗試根據(jù)前面知識，用“樹”小節(jié)點(diǎn)搭建客戶流失分類工作流。決策樹—4.7—決策樹（DecisionTree），就是一個(gè)樹形結(jié)構(gòu)，樹內(nèi)部的每一個(gè)節(jié)點(diǎn)代表的是一個(gè)特征，樹的分叉代表根據(jù)某特征的分類規(guī)則，而樹的每一個(gè)葉子節(jié)點(diǎn)代表一個(gè)最終類別。樹的最高層就是根節(jié)點(diǎn)。圖所示的就是客戶流失的決策樹描述。圖中，背景顏色越紅代表流失率越高，背景顏色越淺代表流失率越低。我們要判斷客戶流失情況，發(fā)現(xiàn)使用Contract可以更好地分類，就使用這個(gè)特征做“根”，OneyearorTwoyear分為一類，Month-to-month分為另一類。如果樹太大，分叉就會很多，每個(gè)葉子里面的數(shù)據(jù)就會不斷減少，此時(shí)的模型還好嗎？使用如圖所示的工作流，將“文件”數(shù)據(jù)連接到“樹”，“樹”模型連接到“查看樹”，打開“查看樹”觀察樹模型，嘗試解釋你的模型。想一想客戶流失分類項(xiàng)目實(shí)戰(zhàn)—4.8—在實(shí)際使用中，我們常常會使用基于樹的模型，而不是僅僅使用樹模型?；跇涞哪Ｐ陀泻芏?，比如隨機(jī)森林、堆疊、提升等算法。此項(xiàng)目中，我們使用此類算法，搭建客戶流失分類工作流。這些算法的特點(diǎn)就是使用多棵樹組合形成一個(gè)新的模型，所以叫作集成學(xué)習(xí)。使用隨機(jī)森林、堆疊、自適應(yīng)提升算法搭建客戶流失分類工作流。如果有問題，請單擊小部件左下角的“？”查看幫助文檔。試一試項(xiàng)目實(shí)施在軟件中選擇“隨機(jī)森林”和“自適應(yīng)提升算法”，并建立如圖所示的工作流。深入分析—4.9—集成學(xué)習(xí)有一些共同點(diǎn)，也有很多不同點(diǎn)，我們深入分析一下這些方法的原理，方便自己可以調(diào)試出更好的模型。集成學(xué)習(xí)的好處就是可以讓被集成的子模型們集思廣益，起到三個(gè)臭皮匠賽過諸葛亮的效果。自助抽樣就是隨機(jī)有放回的抽樣。比如，如圖所示的果籃，我們從中取出一個(gè)水果，記錄一下是什么但是沒吃掉又原樣放回去了，然后再取出一個(gè)水果再記錄，完成三碗的抽樣。自助抽樣在理解集成學(xué)習(xí)前，我們先了解一下什么是自助抽樣（Bootstrap）。袋裝投票方法是袋裝常用的一種方法。從訓(xùn)練集中自助抽樣出n個(gè)樣本集，建立n個(gè)決策樹模型，然后這幾個(gè)模型投票決定結(jié)果（圖4-25）。堆疊類似袋裝，它們最大的不同出現(xiàn)在投票階段。在堆疊中，其投票方法不是袋裝那樣簡單的“誰多聽誰的”，而是將各個(gè)模型的預(yù)測結(jié)果作為輸入，通入另一個(gè)“集成者”，讓它判斷最后結(jié)果到底是什么。堆疊隨機(jī)森林不僅對樣本進(jìn)行自助抽樣，而且對特征也進(jìn)行抽樣，每次抽m個(gè)特征（m一般為所有特征個(gè)數(shù)的平方根）。對特征抽樣是為了防止特征之間的相關(guān)性對模型的影響。隨機(jī)森林與袋裝類似，提升算法的基本思想方法都是把多個(gè)弱分類器集成為強(qiáng)分類器。提升中每一次迭代則是基于前一次的數(shù)據(jù)進(jìn)行修正，提高前一次模型中分錯(cuò)樣本在下次抽中的概率。提升

自適應(yīng)提升提升算法是數(shù)據(jù)分析中十分熱門的算法，這里我們介紹一下提升算法中基礎(chǔ)的一個(gè)算法Adaboosting（AdaptiveBoosting），即自適應(yīng)提升，其自適應(yīng)在于：前一個(gè)分類器分錯(cuò)的樣本會被用來訓(xùn)練下一個(gè)分類器。我們通過圖來了解一下這個(gè)過程。假設(shè)對圖4-28中兩種顏色的點(diǎn)進(jìn)行分類。自適應(yīng)提升這個(gè)時(shí)候每一個(gè)數(shù)據(jù)的權(quán)重都一樣，模型f1簡單地如圖4-29所示做了分類。可以發(fā)現(xiàn)，這個(gè)簡單的劃分有大量的劃分錯(cuò)誤，這個(gè)時(shí)候算法增大了錯(cuò)誤數(shù)據(jù)的權(quán)重，如圖中的右圖顯示就是增大了點(diǎn)的大小。由于模型f1中錯(cuò)誤的數(shù)據(jù)權(quán)重增大了，所以模型f2會更注重將f1分錯(cuò)的點(diǎn)分對，即如圖4-30所示進(jìn)行分類。自適應(yīng)提升根據(jù)模型的錯(cuò)誤率給模型賦予權(quán)重，錯(cuò)誤率低權(quán)重就高，錯(cuò)誤率高權(quán)重就低，也就是算法更看重分類效果好的模型的預(yù)測結(jié)果。然后將模型的預(yù)測結(jié)果加權(quán)相加，就是最后自適應(yīng)提升的結(jié)果。自適應(yīng)提升

通過增多弱分類器的數(shù)目，一般可以提高最終模型的準(zhǔn)確率。如圖所示，更多的模型一起努力，得出一個(gè)強(qiáng)分類器。自適應(yīng)提升本章小結(jié)—4.10—本章通過引入客戶流失分類這個(gè)問題，分別詳細(xì)比較了邏輯回歸、支持向量機(jī)、決策樹和隨機(jī)森林等算法在分類問題中的應(yīng)用，并引導(dǎo)大家了解如何使用可視化功能查看數(shù)據(jù)，結(jié)