機(jī)器學(xué)習(xí)大報(bào)告

現(xiàn)代機(jī)器學(xué)習(xí)理論報(bào)告基于AdaBoost算法的人臉檢測技術(shù)仿真學(xué)院學(xué)號姓名任課老師基于AdaBoost算法的人臉檢測技術(shù)仿真一．引言人臉檢測是指在輸人圖像中確定所有人臉的位置、大小、位姿的過程。先進(jìn)的自動(dòng)人臉識(shí)別系統(tǒng)必須能夠?qū)σ话悱h(huán)境圖像具有一定的適應(yīng)能力，所以首先要求人臉檢測應(yīng)具有較高的魯棒性和準(zhǔn)確性，這使得人臉檢測開始作為一個(gè)獨(dú)立的課題受到研究者的重視。今天，人臉檢測在基于內(nèi)容的檢索、數(shù)字視頻處理、視覺監(jiān)測等方面有著重要的應(yīng)用價(jià)值。圖像中的人臉檢測可以看作一個(gè)分類問題，即分類人臉和非人臉，分類姿態(tài)和表情不同的人臉。應(yīng)用于人臉檢測的算法很多，如人工神經(jīng)網(wǎng)絡(luò)、支撐向量機(jī)、AdaBoost和稀疏表示等等⑴。AdaBoost算法基于弱分類器提升為強(qiáng)分類器的思想，在檢測速度和準(zhǔn)確率上有出色的表現(xiàn)。本文的主要工作是基于VisualC++和OpenCV開源計(jì)算機(jī)視覺庫，仿真基于AdaBoost算法和Haar-like特征的人臉檢測技術(shù)。文章首先對AdaBoost算法原理作介紹，其次說明人臉檢測中的類Haar特征和篩選式級聯(lián)分類器的原理，然后是訓(xùn)練和檢測的算法實(shí)現(xiàn)流程，最后附上實(shí)驗(yàn)結(jié)果和實(shí)驗(yàn)分析。二．AdaBoost算法1989年，Kearns［2］提出PAC學(xué)習(xí)模型中弱學(xué)習(xí)算法與強(qiáng)學(xué)習(xí)算法的等價(jià)問題，即能否通過統(tǒng)計(jì)提升從很多弱分類器算法中學(xué)習(xí)到一個(gè)強(qiáng)分類器。1996年，由Freund和Schapireo］提出第一種Boosting算法，即AdaBoost算法。AdaBoost算法的基本原理是訓(xùn)練一系列弱分類器（分類效果僅略好于隨機(jī)的分類），然后將其整合為一個(gè)強(qiáng)分類器。AdaBoost采取迭代的策略，在每一項(xiàng)弱分類器訓(xùn)練之后，提升其“分錯(cuò)類”樣本的權(quán)重，在下一分類器的訓(xùn)練中，將“聚焦”于分類較為困難的樣本。在所有弱分類器的訓(xùn)練完結(jié)后，按每一弱分類器的錯(cuò)誤率決定其在結(jié)果判別中所占的權(quán)重。AdaBoost算法的原理圖如下所示。{gyj}—?{(\,yz)}{(x,，yj}丫{(x”yj}???{(x,,yj}jrD/h](x)m(x)/h3(x)???h,(x)H(x)圖一AdaBoost算法原理圖其中，算法的輸入為{(x,y)|i=1,...M}，X為特征向量，y為向量的類別標(biāo)簽，且iiii滿足yG{1,-1},M為樣本總數(shù)。由boosting算法訓(xùn)練T個(gè)分類器h(x)，te{1,...,T}。it這些分類器很簡單，通常只包括僅有幾次分裂的決策樹。D(i)，D(i)e{1,...,T}決tt定特征向量所占的權(quán)重。在最后做決定時(shí)，將賦值權(quán)重?給每一個(gè)分類器。t算法具體如下：1?輸入{(x,y)|i=1,...M}，初始化D(i)=1/M,i=1,...M；TOC\o"1-5"\h\ziit2.對t=1,...T:尋找使d(i)總錯(cuò)誤￡最小的分類器h(x)；ttt求h豐h(x))，如果滿足￡<0.5，則繼續(xù);thjeHejti=1tijii否則退出；設(shè)置h的權(quán)重a=log［(1-￡)/￡］。其中￡為b中的最小錯(cuò)誤率；ttttt按照D(i)=［D(i)exp(-ayh(x))］/Z更新數(shù)據(jù)點(diǎn)權(quán)重，其中Z為所有數(shù)據(jù)點(diǎn)t+1ttititt權(quán)重歸一化的和。3.弱分類訓(xùn)練結(jié)束，按H(x)=sign妝ah(x)］接收輸入向量，由加權(quán)和決定輸出類(t=1…丿型。三．類Haar特征Haar-like特征最早由Papageorgiou】4］等人應(yīng)用于人臉表示,Viola和Jones在此基礎(chǔ)上，使用3種類型4種形式的Haar-like特征，實(shí)現(xiàn)一種Viola-Jones檢測器】5］。LienchartR.等人對Haar-like矩形特征庫進(jìn)一步擴(kuò)展⑹，增加旋轉(zhuǎn)

45度的矩形特征。類Haar特征分為三類：邊緣特征、線性特征、中心特征和對角特征，組合成一組特征蒙板。在特征模版中，定義有白色和黑色的兩種矩形，該模版的特征值定義為白色矩形區(qū)域像素和與黑色矩形區(qū)域像素和的差。圖二中展示了V-J檢測器中所用的Haar特征。msi1■邊緣特征2■中謫征53?對角特征4■嵯性特征..[1呂圖二類Haar特征模版通過改變特征模版的大小和位置可以在圖像子窗口中窮舉出大量的特征。利用圖中的特征模版作為“特征原型”，在圖像子窗口中擴(kuò)展和伸縮得到新的矩形特征及其特征值。矩形特征的值具體取決于模版的類型，矩形位置和矩形大小三個(gè)參數(shù)。圖三中展示了在人臉檢測中，將特征模版放在合適的位置可以將人臉與非人臉區(qū)分開。中間一幅圖表示眼睛區(qū)域的顏色比臉頰區(qū)域的顏色深，右邊一幅圖表示鼻梁兩側(cè)比鼻梁的顏色要深。說明使用矩形特征可以表示人臉的某些特征。圖三區(qū)分人臉和非人臉的類Haar特征模版四．Viola-Jones分類算法實(shí)驗(yàn)中采用一種Viola-Jones識(shí)別器做人臉的檢測，這種識(shí)別器將AdaBoost

算法組織為篩選式的級聯(lián)分類器，每個(gè)節(jié)點(diǎn)都是由很多樹構(gòu)成的分類器，在每一節(jié)點(diǎn)上對人臉的通過率很高，但正確拒絕率也很低。通過將每一節(jié)點(diǎn)級聯(lián)起來，在任一節(jié)點(diǎn)上判定為非人臉的區(qū)域不會(huì)進(jìn)入下一節(jié)點(diǎn)，只有通過所有節(jié)點(diǎn)的區(qū)域才被認(rèn)定為人臉，如圖四所示。故篩選式的級聯(lián)分類器可以在減少計(jì)算量的同時(shí)提高正確拒絕率，在最后的檢測中獲得較高的正確識(shí)別率和正確拒絕率。圖四Viola-Jones分類器的篩選式級聯(lián)結(jié)構(gòu)五．人臉檢測算法的實(shí)現(xiàn)本實(shí)驗(yàn)的仿真程序在VisualStdio2010中實(shí)現(xiàn)，編程語言為C++,基于OpenCV開源計(jì)算機(jī)視覺庫［7開發(fā)，并借助MFC(MicroSoftFoundationClasses)實(shí)現(xiàn)可視化界面。OpenCV視覺庫提供了通用的圖像處理算法，也包括常用的機(jī)器學(xué)習(xí)算法。仿真實(shí)驗(yàn)中采用了OpenCV庫提供的Haar分類器。實(shí)驗(yàn)中設(shè)計(jì)的人臉檢測程序界面如下圖所示。圖五軟件操作界面基于統(tǒng)計(jì)學(xué)習(xí)的人臉識(shí)別可以分為訓(xùn)練和檢測兩個(gè)階段。在訓(xùn)練階段，通過事先準(zhǔn)備好的樣本集訓(xùn)練一組分類器；檢測階段，輸入待檢測圖像，以不同位置和大小的窗口掃描待檢測圖像，由之前訓(xùn)練的分類器判決窗口中是否含有人臉。人臉檢測算法的具體流程可以表述如圖六所示。圖六人臉檢測算法流程訓(xùn)練階段使用OpenCV提供的Haartraining程序訓(xùn)練數(shù)據(jù)集，人臉檢測的正樣本為包含人臉的灰度圖像，需事先歸一化到相同的尺度，負(fù)樣本為從不包含人臉的圖像中截取與人臉圖像尺度相同的灰度圖。程序首先將訓(xùn)練正樣本圖像轉(zhuǎn)化為特征向量的表述，在這里即為類Haar特征。在訓(xùn)練階段，隨機(jī)選取出一定數(shù)量的負(fù)樣本與正樣本一同作為帶有標(biāo)簽的訓(xùn)練數(shù)據(jù)，經(jīng)由篩選級聯(lián)式的V-J分類器訓(xùn)練，得到訓(xùn)練的分類器。程序中訓(xùn)練的分類器保存為.XML格式的文件。檢測階段，將待檢測圖像作為輸入。原始圖像中過強(qiáng)或過暗的前景或背景會(huì)影響檢測的效果，因此需要對圖像進(jìn)行預(yù)處理，即需對原始圖像進(jìn)行直方圖均衡化。圖像中的人臉區(qū)域大小和位置通常不確定，為了正確地檢測出包含人臉的區(qū)域，考慮將原始圖像縮放到不同的尺度，即待檢測的局部圖像區(qū)域?qū)⒕哂泻头诸惼饕恢碌某叨?。隨后使用統(tǒng)一尺度的矩形滑窗檢測人臉區(qū)域，對滑窗內(nèi)的圖像區(qū)域進(jìn)行特征提取，并由事先訓(xùn)練好的分類器對圖像進(jìn)行檢測，判別該區(qū)域?yàn)槿四樆蚍侨四?。隨后逐次返回包含人臉位置的坐標(biāo)，并在最終圖像中標(biāo)注出。實(shí)驗(yàn)中人臉檢測程序?qū)崿F(xiàn)的功能包含檢測圖像的讀入和清空，分類器的讀入和人臉檢測。操作的步驟如下：讀入訓(xùn)練的分類器；讀入多幅待檢測圖像；對讀入圖像檢測人臉區(qū)域。程序左側(cè)窗口顯示分類器文件和待檢測圖像的狀態(tài)。當(dāng)執(zhí)行檢測操作后，彈出多個(gè)新的窗口，每一窗口顯示檢測圖像的結(jié)果，包含人臉的區(qū)域?qū)⒂貌噬娇驑?biāo)注出。六．仿真結(jié)果與分析實(shí)驗(yàn)中的數(shù)據(jù)集來自開源OlivettiReseachLa人臉數(shù)據(jù)庫［8］實(shí)驗(yàn)包含正樣本5000張36X36像素分辨率的人臉灰度圖像，負(fù)樣本從275張中不含人臉的圖像中隨機(jī)裁切出來。部分樣本展示如圖七和圖八所示。實(shí)驗(yàn)中的軟硬件環(huán)境為：硬件IntelCoreI3M390，運(yùn)行內(nèi)存4G，操作系統(tǒng)為Windows7Ultimate。OpenCV中提供訓(xùn)練Haar分類器的程序。在訓(xùn)練階段，設(shè)定正樣本數(shù)量為5000，負(fù)樣本數(shù)量為15000，級聯(lián)分類器層數(shù)為15層，弱分類器分裂層數(shù)為默認(rèn)的1層，最小檢測率為99.5%，最大錯(cuò)誤報(bào)警率為50%。在訓(xùn)練之前，將5000張正樣本歸一化到18X18像素分辨率，建立向量輸出文件。訓(xùn)練階段，在每一層

分類器訓(xùn)練前，從預(yù)先準(zhǔn)備好的15000張負(fù)樣本中隨機(jī)生成指定數(shù)量的負(fù)樣本，與之前建立的向量輸出文件一同，作為分類器的輸入，當(dāng)該層分類器最大錯(cuò)誤報(bào)警率低于50%時(shí)，將從該層跳出，進(jìn)入下一層分類器的訓(xùn)練。在所有訓(xùn)練結(jié)束之后，將生成的分類器保存為.XML文件。圖七實(shí)驗(yàn)中訓(xùn)練樣本的部分人臉正樣本圖八實(shí)驗(yàn)訓(xùn)練樣本的部分非人臉負(fù)樣本檢測階段，載入之前保存為.XML格式的分類器文件，對待檢測的圖像做預(yù)處理，并采用滑窗可縮放的檢測窗口從待檢測圖像中搜索包含人臉的圖像，返回所有包含人臉的區(qū)域。為了確保檢測結(jié)果的可靠性，選擇的檢測圖像與原訓(xùn)練樣本集可靠，選擇圖像為包含單個(gè)或多個(gè)人臉圖像，也可為不包含人臉的圖像。并對實(shí)驗(yàn)中出現(xiàn)的漏報(bào)和誤報(bào)進(jìn)行統(tǒng)計(jì)。部分的檢測圖像在圖九中展示。

圖九人臉檢測結(jié)果實(shí)驗(yàn)中隨機(jī)選取與訓(xùn)練集獨(dú)立的30張圖像作為測試集檢測分類器的訓(xùn)練效果。OpenCV中提供了針對人臉正面檢測的Haar分類器樣例。實(shí)驗(yàn)中訓(xùn)練所得的分類器與OpenCV中提供的分類器效果進(jìn)行對比，詳細(xì)的檢測結(jié)果顯示在表一中。圖九中給出訓(xùn)練分類器在第2（左上）、11（左下）、17（右上）、26（右下）張圖像中的檢測結(jié)果。在測試圖片2和11中，人臉都被準(zhǔn)確地標(biāo)識(shí)出來。圖片17為彩色圖像，檢測時(shí)首先會(huì)轉(zhuǎn)化為灰度圖，檢測中存在完整的側(cè)臉未被監(jiān)測到，因?yàn)樗x的分類器訓(xùn)練對象為正臉，但發(fā)現(xiàn)有輕微側(cè)向的人臉被檢測到。在圖片26中，右側(cè)的人臉未被檢測到，同時(shí)，在圖片偏左上的地方存在一處虛警。表一人臉檢測的數(shù)據(jù)統(tǒng)計(jì)序號人臉/張訓(xùn)練對照序號人臉/張訓(xùn)練對照漏檢虛警漏檢虛警漏檢虛警漏檢虛警1100001673011230000177202130000118500004310001910000530000201100006310002115420071420202211000882000231000091222002410100（續(xù)）表一10135030254100011900012621101129020027113030132000028101001420000296000015100013011010總計(jì)16127996由公式如下計(jì)算：MA二FN/（TP+FN）FA=FP/（TP+FP）其中，MA為漏警率，F(xiàn)A為虛警率，TP為正確判斷為正樣本的總數(shù)，F(xiàn)N為漏檢的正樣本數(shù)，F(xiàn)P為誤報(bào)的正樣本數(shù)?？傻贸?，訓(xùn)練所得的分類器漏警率為16.77%，虛警率為6.29%，作為參照的分類器在此處漏警率為5.59%，虛警率為3.80%。結(jié)合圖像結(jié)果判斷，所訓(xùn)練的分類器對人臉和非人臉具有判別能力，但仍存在較高的漏檢率和虛警率，效果不如作為參照的分類器理想。七．結(jié)論人臉檢測與識(shí)別是當(dāng)今計(jì)算機(jī)視覺領(lǐng)域的熱門研究課題。AdaBoost算法在人臉檢測已經(jīng)得到了廣泛應(yīng)用，并且更加通用的，已經(jīng)用于訓(xùn)練如汽車［9、］自行車、人體等剛性物體。本文對基于AdaBoost的人臉檢測技術(shù)作了仿真。在試驗(yàn)中選取訓(xùn)練樣本數(shù)量有限的條件下，基本達(dá)到了人臉檢測的目的，后期通過改善樣本質(zhì)量、提高樣本數(shù)量等措施，可以進(jìn)一步降低漏警率和虛警率，改善檢測效果。參考文獻(xiàn)[1]黃福珍，蘇劍波．人臉檢測．上海：上海交通大學(xué)出版社，2006．MichaelKearns，ThoughtsonHypothesisBoosting,UnpublishedmanuscriptMachineLearningclassproject,December1988.Y.Freund,R.R.Schapire,ExperimentwithaNewBoostingAlgorithm,MachineLearning:ProceedingoftheThirteenthInternationalConference,MorganKauman,SanFrancisco,1996,148-156.PapageorgiouCP,OrenM,PoggioT.Ageneralframeworkforobjectdetection,C,ComputerVision，1998.SixthInternationalConferenceon.IEEE，1998：555-562.P.ViolaandM.J.Jones,RapidObjectionDetectionUsingaBooste