人工智能基礎(chǔ) 課件 4.9~4.13 客戶流失分類

客戶流失分類項(xiàng)目實(shí)戰(zhàn)—4.8—在實(shí)際使用中，我們常常會(huì)使用基于樹的模型，而不是僅僅使用樹模型?；跇涞哪Ｐ陀泻芏啵热珉S機(jī)森林、堆疊、提升等算法。此項(xiàng)目中，我們使用此類算法，搭建客戶流失分類工作流。這些算法的特點(diǎn)就是使用多棵樹組合形成一個(gè)新的模型，所以叫作集成學(xué)習(xí)。使用隨機(jī)森林、堆疊、自適應(yīng)提升算法搭建客戶流失分類工作流。如果有問題，請(qǐng)單擊小部件左下角的“？”查看幫助文檔。試一試項(xiàng)目實(shí)施在軟件中選擇“隨機(jī)森林”和“自適應(yīng)提升算法”，并建立如圖所示的工作流。深入分析—4.9—集成學(xué)習(xí)有一些共同點(diǎn)，也有很多不同點(diǎn)，我們深入分析一下這些方法的原理，方便自己可以調(diào)試出更好的模型。集成學(xué)習(xí)的好處就是可以讓被集成的子模型們集思廣益，起到三個(gè)臭皮匠賽過諸葛亮的效果。自助抽樣就是隨機(jī)有放回的抽樣。比如，如圖所示的果籃，我們從中取出一個(gè)水果，記錄一下是什么但是沒吃掉又原樣放回去了，然后再取出一個(gè)水果再記錄，完成三碗的抽樣。自助抽樣在理解集成學(xué)習(xí)前，我們先了解一下什么是自助抽樣（Bootstrap）。袋裝投票方法是袋裝常用的一種方法。從訓(xùn)練集中自助抽樣出n個(gè)樣本集，建立n個(gè)決策樹模型，然后這幾個(gè)模型投票決定結(jié)果（圖4-25）。堆疊類似袋裝，它們最大的不同出現(xiàn)在投票階段。在堆疊中，其投票方法不是袋裝那樣簡單的“誰多聽誰的”，而是將各個(gè)模型的預(yù)測結(jié)果作為輸入，通入另一個(gè)“集成者”，讓它判斷最后結(jié)果到底是什么。堆疊隨機(jī)森林不僅對(duì)樣本進(jìn)行自助抽樣，而且對(duì)特征也進(jìn)行抽樣，每次抽m個(gè)特征（m一般為所有特征個(gè)數(shù)的平方根）。對(duì)特征抽樣是為了防止特征之間的相關(guān)性對(duì)模型的影響。隨機(jī)森林與袋裝類似，提升算法的基本思想方法都是把多個(gè)弱分類器集成為強(qiáng)分類器。提升中每一次迭代則是基于前一次的數(shù)據(jù)進(jìn)行修正，提高前一次模型中分錯(cuò)樣本在下次抽中的概率。提升

自適應(yīng)提升提升算法是數(shù)據(jù)分析中十分熱門的算法，這里我們介紹一下提升算法中基礎(chǔ)的一個(gè)算法Adaboosting（AdaptiveBoosting），即自適應(yīng)提升，其自適應(yīng)在于：前一個(gè)分類器分錯(cuò)的樣本會(huì)被用來訓(xùn)練下一個(gè)分類器。我們通過圖來了解一下這個(gè)過程。假設(shè)對(duì)圖4-28中兩種顏色的點(diǎn)進(jìn)行分類。自適應(yīng)提升這個(gè)時(shí)候每一個(gè)數(shù)據(jù)的權(quán)重都一樣，模型f1簡單地如圖4-29所示做了分類?？梢园l(fā)現(xiàn)，這個(gè)簡單的劃分有大量的劃分錯(cuò)誤，這個(gè)時(shí)候算法增大了錯(cuò)誤數(shù)據(jù)的權(quán)重，如圖中的右圖顯示就是增大了點(diǎn)的大小。由于模型f1中錯(cuò)誤的數(shù)據(jù)權(quán)重增大了，所以模型f2會(huì)更注重將f1分錯(cuò)的點(diǎn)分對(duì)，即如圖4-30所示進(jìn)行分類。自適應(yīng)提升根據(jù)模型的錯(cuò)誤率給模型賦予權(quán)重，錯(cuò)誤率低權(quán)重就高，錯(cuò)誤率高權(quán)重就低，也就是算法更看重分類效果好的模型的預(yù)測結(jié)果。然后將模型的預(yù)測結(jié)果加權(quán)相加，就是最后自適應(yīng)提升的結(jié)果。自適應(yīng)提升

通過增多弱分類器的數(shù)目，一般可以提高最終模型的準(zhǔn)確率。如圖所示，更多的模型一起努力，得出一個(gè)強(qiáng)分類器。自適應(yīng)提升本章小結(jié)—4.10—本章通過引入客戶流失分類這個(gè)問題，分別詳細(xì)比較了邏輯回歸、支持向量機(jī)、決策樹和隨機(jī)森林等算法在分類問題中的應(yīng)用，并引導(dǎo)大家了解如何使用可視化功能查看數(shù)據(jù)，結(jié)合模型給出的結(jié)果，為業(yè)務(wù)優(yōu)化打下基礎(chǔ)。

課后練習(xí)—4.11—（1）為什么支持向量機(jī)可以理解為“最寬大街法”？（2）支持向量機(jī)對(duì)異常值敏感嗎？為什么？（3）用自己生活中的例子說明樹模型的判斷過