Adaboos算法流程和證明

Adaboost算法1、Adaboost算法簡介Adaboost算法是Freund和Schapire根據(jù)在線分配算法提出的，他們詳細分析了Adaboost算法錯誤率的上界，以及為了使強分類器達到錯誤率，算法所需要的最多迭代次數(shù)等相關問題。與Boosting算法不同的是，Adaboost算法不需要預先知道弱學習算法學習正確率的下限即弱分類器的誤差，并且最后得到的強分類器的分類精度依賴于所有弱分類器的分類精度，這樣可以深入挖掘弱分類器算法的能力。2、Adaboost算法基本原理Adaboost是一種迭代算法，其核心思想是針對同一個訓練集訓練不同的分類器(弱分類器)，然后把這些弱分類器集合起來，構成一個更強的最終分類器(強分類器)。其算法本身是通過改變數(shù)據(jù)分布來實現(xiàn)的，它根據(jù)每次訓練集之中每個樣本的分類是否正確，以及上次的總體分類的準確率，來確定每個樣本的權值。將修改過權值的新數(shù)據(jù)集送給下層分類器進行訓練，最后將每次訓練得到的分類器最后融合起來，作為最后的決策分類器。使用Adaboost分類器可以排除一些不必要的訓練數(shù)據(jù)特征，并將關鍵放在關鍵的訓練數(shù)據(jù)上面。Adaboost算法中不同的訓練集是通過調整每個樣本對應的權重來實現(xiàn)的。開始時，每個樣本對應的權重是相同的，即其中為樣本個數(shù)，在此樣本分布下訓練出一弱分類器。對于分類錯誤的樣本，加大其對應的權重；而對于分類正確的樣本，降低其權重，這樣分錯的樣本就被突出出來，從而得到一個新的樣本分布。在新的樣本分布下，再次對弱分類器進行訓練，得到弱分類器。依次類推，經(jīng)過次循環(huán)，得到個弱分類器，把這個弱分類器按一定的權重疊加(boost)起來，得到最終想要的強分類器。Adaboost算法的具體步驟如下：設輸入的個訓練樣本為：,其中是輸入的訓練樣本，分別表示正樣本和負樣本，其中正樣本數(shù)為，負樣本數(shù)。，具體步驟如下：⑴初始化每個樣本的權重；⑵對每個(為弱分類器的個數(shù))：①把權重歸一化為一個概率分布②對每個特征，訓練一個弱分類器計算對應所有特征的弱分類器的加權錯誤率③選取最佳的弱分類器(擁有最小錯誤率)：④按照這個最佳弱分類器，調整權重魯其中營表示姑被正吩確地課分類鄙，緩，表光示被紐錯誤萍地分修類事⑶湊最后己的強丑分類廚器為日：，績3滅、盞Ad檢a跌b四oo后st肅算法春應用飄啦隨著腔Ad抹a咬b姐oo訓st胖算法奴的發(fā)握展，換目前借Ad新a泥b觀oo統(tǒng)st創(chuàng)算法美廣泛箏的應迎用于裹人臉災檢測知、目疤標識紛別等屋領域泛，其漆中有鑄在人露臉識耽別、允汽車憑識別尿、駕嫩駛員甲眨眼扶識別盆的方扶面的露應用塵和研優(yōu)究。遺Di蒼sc借et春e-侄Ad冷ab明oo籠st對算法幕1、普給定初訓練鼠集：黑，其炭中隨，表法示灑的正蛾確的料類別析標簽掏，并,碗表示芹第輕副圖躍像的乏第貧個特串征值榨2、貢訓練莊集上家樣本檢的初警始分正布：瓶3、造尋找蹄弱趟分類康器剛(染)烘⑴蔬對于及每個憂樣本乏中的齒第忽個特問征，慢可以廢得到拍一個墾弱捕分類量器眠，綱即可株得到童閾值慶和方糕向景，里使得連達到棄最小瓶，而正弱分煉類器杜為：義其中盯決定族不等影式的叛方向頸,弊譽只有盛兩種暈情況活。懇4、挽將所艙有特汗征(真)中粘挑選攏出一殿個具烈有最焰小誤跡差么的弱妥分類筆器辱。懷5、肚對所昆有的叉樣本莊權重寒進行厘更新案其中鍬是使貴得歸爬一化身因子斃。逢6、穴經(jīng)過梳輪訓抄練得渣到往個最蔽優(yōu)的抱弱分鋒類器勁，此忍時組道成一割個強龍分類屋器；超在攏Ad嗓ab惕oo濫st縣算法國的弱鮮學習嫁中，片將產(chǎn)皺生錯丈誤率馬為尾的弱淋分類簡器。悠如果葡每個掠錯誤診率聽，則坡強分滅類器寶的總飄錯誤縫率向一切悅都從賠強分奔類器咸的錯墾誤率壟開始紙首先探權值漲更新其中帳然后性強分桌類器單的錯躺誤率膽使這耕個錯建誤率奴快速予下降服？紫為歸淘一化璃因子附。千轉化脅為求惜的最搭小值雞了！芽此時慕我們經(jīng)用貪聲心算滲法求慎出綁的一彈個局洲部最媽小值駁對疾中的諒求導萍[此英時將旁固定恥]慨令攜導數(shù)汁為零哀解出此時伯繪制密關于柏的曲病線圖顛從這概幅圖藏上我那們可收以看拿出，偽當錯律誤率狹越小毛或者羞越大妹（只永要不球在中谷點處宗徘徊醬）的便時候孩快速笨收斂疼到0仆。寸越小歸：說統(tǒng)明錯兆誤越洗小的拳分類員器能嚼快速先識別卡出正赤例。翻越大呈:桂說明浩錯誤僑越大華的分直類器衫也錦能快胖速識記別出禁正例君。獅既然痕最大揭，只畜要我促把弱廢分類疼器取錄反，甘這樣府錯誤超率就伴是最挎小，拒這樣蘿還是黨收斂口到0狂。筋從鞏以上影的證裕明，乏我們時知道欲只要任是弱溫分類戀器的押錯誤卸率都臘取最獻小，蔥于是渠我們流就能享組合烘得到蓋一個站強分輪類器祝。宵接下戰(zhàn)來我內(nèi)們就紅找出典一澆個弱些分類醬器內(nèi)錯誤塵率資很小備。找基個聯(lián)酸合起炭來就輸?shù)玫綋?jù)了強賞分類濱器束！惜怎么嫁找弱慧分類券器？姻決策騰樹I銜D3券，C摟4.辰5，鑄C5硬.0旬ID蓬3但生成棉樹用啄（C擺IG慌類別泄屬性洗增益刷法）性C4研.5鈔生鋤成樹裙用（辭Ga設in短R賽at監(jiān)io莊增益絮比率練法）盾 夢 撕修剪咐樹用租(R索ul慚e談po沃st曲-p足ru擊ni源ng爪規(guī)則蹲修剪完)度