《機器學習項目案例開發(fā)》課件 13.2集成算法-集成學習比較

人工智能技術與應用13.集成算法比較課程概況—基本情況PART01集成算法Bagging算法常用的集成算法集成算法的對比Bagging算法Bagging集成算法：隨機森林用的最多的隨機森林。優(yōu)勢:

它能夠處理很高維度的數(shù)據(jù)，并且不用做特征選擇，也可以作為特征選擇的工具（特征重要性）。

在訓練完后，它能夠給出哪些feature比較重要容易做成并行化方法，速度比較快可以進行可視化展示，便于分析，可以解釋性強123Bagging算法Bagging集成算法：有些模型不適合使用

KNN最近鄰，因為他很難隨機讓泛化能力變強Bagging算法Bagging集成算法：樹模型的個數(shù)理論上越多的樹效果會越好，但實際上基本超過一定數(shù)量就差不多上下浮動了。1-10棵樹木的時候，準確率大幅提升

Boosting算法Boosting集成算法（提升算法）：典型模型

AdaBoost，XgboostAdaboost：會根據(jù)前一次的分類效果調(diào)整數(shù)據(jù)權重。調(diào)整權重：如果某一個數(shù)據(jù)在這次分錯了，那么在下一次我就會給它更大的權重最終的結果：每個分類器根據(jù)自身的準確性來確定各自的權重，再合體

Boosting算法Boosting集成算法-AdaBoost流程：原始數(shù)據(jù)D1，“+”和“-”分別表示兩種類別，在這個過程中，我們使用水平或者垂直的直線作為分類器，來進行分類。第一步：根據(jù)分類的正確率，得到一個新的樣本分布D2-，一個子分類器h1。其中劃圈的樣本表示被分錯的。在右邊的途中，比較大的“+”表示對該樣本做了加權。原始數(shù)據(jù)D1子分類器h1錯誤樣本加權集D2Boosting算法Boosting集成算法-AdaBoost流程：第二步：開始分類，根據(jù)分類的正確率，得到一個新的樣本分布D3，一個子分類器h2。子分類器h2錯誤樣本加權集D3Boosting算法Boosting集成算法-AdaBoost流程：第三步：根據(jù)分類的正確率，得到一個子分類器h3，整合所有子分類器：子分類器h3整合所有的分類器Boosting算法Boosting集成算法-AdaBoost流程：優(yōu)點：

adaboost是一種有很高精度的分類器可以使用各種方法構建子分類器，adaboost算法提供的是框架當使用簡單分類器時，計算出的結果是可以理解的。而且弱分類器構造極其簡單簡單，不用做特征篩選不用擔心overfittingStacking算法Stacking集成算法：Stacking模型：堆疊：多個模型直接堆疊在一起可以堆疊各種各樣的分類器（KNN,SVM,RF等等）分階段：第一階段得出各自結果，第二階段再用前一階段結果訓練Stacking算法Stacking集成算法：Stacking模型實現(xiàn)流程：用數(shù)據(jù)集D來訓練h1,h2,h3...，

用這些訓練出來的初級學習器在數(shù)據(jù)集D上面進行預測得到次級訓練集。

用次級訓練集來訓練次級學習器問題：但是這樣的實現(xiàn)是有很大的缺陷的。在原始數(shù)據(jù)集D上面訓練的模型，然后用這些模型再D上面再進行預測得到的次級訓練集肯定是非常好的。會出現(xiàn)過擬合的現(xiàn)象