基于人臉圖像的疲勞識別

1、基于眼睛狀態(tài)識別疲勞應(yīng)用于移動設(shè)備的研究摘要：隨著移動時代的到來，越來越多的人開始使用移動設(shè)備，使用的時間也越來越長。雖然移動設(shè)備帶個人們生活上的便捷，同時也帶來健康上的。長時間使用移動設(shè)備會導(dǎo)致視力的減退，影響休息。本文將通過捕獲眼睛狀態(tài)來識別用戶的疲勞狀態(tài)，從而提醒用戶當(dāng)前的身體狀態(tài)。本文研究的主要包括人臉的捕獲與識別，人眼的捕獲與識別，眼睛狀態(tài)的分析，計算當(dāng)前的疲勞程度。：人臉，人眼，眼睛狀態(tài)識別Based on eye se recognition usedobile deviLiu HaoHuang Dong-JunAbstract：With the advent of the mo

2、bile era, more and more people start using mobiledeviare increasingly used in a long time. Although mobile deviwith theiral life convenient, but it also brings the threat of health on. Prolonged use ofmobile deviwill lead to viloss, affecting the rest. This article will identify thefatigue se of the

3、 users eye by capturing the se, thereby alerting the users currentphysical condition. This study includes the capture andysis of human facerecognition, identification and capture the eye, the eye condition, calculating thecurrent degree otigue.Key words: Face tracking, eye tracking, eye se recogniti

4、on第二章 人臉檢測及人眼定位2.1 引言眼睛狀態(tài)是進(jìn)行疲勞狀態(tài)判斷的重要依據(jù)，因此眼睛的定位是疲勞檢測系統(tǒng)的至關(guān)重要的一環(huán)。如果試圖在背景多變的中直接進(jìn)行人眼的定位，那么會有很多的干擾信息，使問題變得更加復(fù)雜。因此在定位人眼之前，先檢測出人臉，在人臉圖像上定位人眼，這樣能迅速縮減人眼定位區(qū)域，去掉無關(guān)區(qū)域信息造成的干擾，提高人眼定位的精確性與可靠性。人臉檢測就是在給定任意一張圖像，試圖找出圖像中所有的人臉，如果有則返回每個人臉的位置及大小17。對于人來說，這是一個極其簡單的工作，然而對于計算機(jī)來說，這是非常具有性的。在過去的幾十年中，人臉檢測是計算機(jī)視研究最多的課題。這個課題主要集中于人臉圖

5、像的多樣性，比如尺度、位置的變化，人臉朝向、人臉姿態(tài)、人臉表情的變化，還會出現(xiàn)圖像光照變化及人臉可能會被背景部分遮擋。人眼定位是在一張包含人臉的圖像中準(zhǔn)確找出人眼的位置。相比于人眼檢測，人眼定位需要更高的準(zhǔn)確性，通常只允許有幾個像素的誤差。近期研究表明，確的人眼定位對于那些自動人臉識別系統(tǒng)有很大的影響18，特別是基于人眼對齊的人臉，例如 Fisher 人臉和 Eigen 人臉。類似于其他的物體檢測，如人臉檢測19、行人檢測20、動物檢測21等等，人眼定位最大的在于人眼變化的多樣性，如圖 2.2 所示。人眼會受大很多的影響，首先是人自身會有睜眼、閉眼、眨眼等狀態(tài)，造成了人眼外觀的變化，另外還有人

6、眼的大小和姿態(tài)的變化。其次是外在環(huán)境，比如光線的變化，被眼鏡，頭發(fā)等遮擋。在過去的幾十年里，在人臉檢測及人眼定位上已取得了非常大的進(jìn)步，比如對于正面人臉的檢測現(xiàn)已基本能夠達(dá)到實際需要的性能，廣泛應(yīng)用于實際中。但是要處理那些多姿態(tài)和遮擋問題時，性能就會下降，還需要進(jìn)一步的研究。人眼定位在處理一些特殊情況如眼睛小及遮擋問題時并不魯棒精確，也需要深一步的探索。2.2 人臉檢測方法概述人臉檢測是疲勞駕駛檢測系統(tǒng)的第一步，它為后續(xù)的人眼定位縮小檢測區(qū)域，從而提高檢測效率和精度。人臉檢測是計算機(jī)視覺領(lǐng)域最重要、最基礎(chǔ)的技術(shù)。它為后面的其他研究擴(kuò)寬思路，指引方向。目前人臉檢測方法多種多樣，大致可以分為四大類

7、：基于知識的方法、基于不變特征的方法、基于模板匹配的方法和基于統(tǒng)計理論的方法。1.基于知識的人臉檢測方法。該方法首先需要通過分析和總結(jié)人臉的相關(guān)知識得到人臉圖像的先驗知識，之后分析中的圖形形狀、灰度值等特征，并將分析這些特征得到的信息與人臉的先驗知識相比對，檢驗?zāi)繕?biāo)圖像是否符合先驗知識或者人臉的相關(guān)特點從而獲得目標(biāo)圖像中存在人臉的圖像區(qū)域的相關(guān)信息。2.基于不變特征的人臉檢測方法。人的臉部圖像有很多特有的特征，比如臉部的結(jié)構(gòu)、皮膚的顏色、紋理等。這些特征都是區(qū)分人臉與臉圖像的主要依據(jù)?；诓蛔兲卣鞯娜四槞z測算法是根據(jù)這些人臉的生理特征，使用一種或者多種特征訓(xùn)練相應(yīng)的分類器并對圖像進(jìn)行檢測。3.

8、基于模板匹配的人臉檢測方法。由于人的臉部特征的是一致的，那么將人臉圖像的各個特征看作為模板，該模板上各個特征的關(guān)系也是固定的，之后使用人臉和臉圖像作為樣本進(jìn)行訓(xùn)練并構(gòu)造分類器，將圖像中可能存在人臉的區(qū)域與之前提取的人臉模板進(jìn)行比較和分析來確定該區(qū)域是否存在人臉。4.基于統(tǒng)計理論的人臉檢測方法。該方法是將檢測的對象分為“人臉”和“非人臉”兩類樣本，并使用這兩類樣本來訓(xùn)練能夠區(qū)分這兩類樣本的分類器，通過判斷圖像中的疑似區(qū)域是否屬于“人臉”來進(jìn)行人臉檢測的。目前基于統(tǒng)計理論的方法使用較多，主要有：基于子空間的方法、基于神經(jīng)網(wǎng)絡(luò)的方法、基于支持向量機(jī)的方法、基于隱模型的方法以及 AdaBoost 算法

9、。目前由于AdaBoost 算法在速度方面的優(yōu)勢，實際應(yīng)用中基本都是基于該框架的人臉檢測系統(tǒng)，下面詳細(xì)介紹一下 AdaBoost 人臉檢測算法。2.3 AdaBoost 人臉檢測在人臉檢測中，最有的方法就是基于 AdaBoost 框架的人臉檢測方法。該方法由 Viola 和 Jones 在 200122提出，主要貢獻(xiàn)包括三個方面：首先，一種新的圖像表示即積分圖，它能夠使得特征的計算變得非?？焖?。其次是通過 AdaBoost 學(xué)習(xí)分類器，由多個弱分類器組成強(qiáng)分類器。最后是把分類器用級聯(lián)的結(jié)構(gòu)進(jìn)行組合。2.3.1 積分圖表示積分圖也被稱作圖像像素區(qū)域和表，是一種可以加速計算圖像矩形框中所有像素和的

10、算法。積分圖是由 Cow 在23中使用變頻編碼時，第一次引入到計算機(jī)圖像領(lǐng)域。Vioal 和 Jones 使用積分圖來快速計算Haar-like 特征。2.3.2 AdaBoost 學(xué)習(xí)對于檢測問題來說，通常檢測的物體具有很大的變化性，比如人臉檢測、行人檢測、動物檢測等等。由于樣本的復(fù)雜性，很難找到一種合適的特征和分類器來很好地檢測物體，但是弱分類器是很容易找到的。基于這種， Freund 和Schapire 在1990 年24首次提出通過聯(lián)合弱分類器來生成強(qiáng)分類器的Boosting算法。一種簡單的 Boosting 算法就是采用舉手表決（majority vote）策略來聯(lián)合弱分類器，組成強(qiáng)

11、分類器。這種算法將所有弱分類器同等，效果不好。因為弱分類器能力不同，投票時應(yīng)該賦予不同的權(quán)重。后來在 1997 年，F(xiàn)reund和 Schapire 在25提出了自適應(yīng)的 Boosting 算法，即 AdaBoost。AdaBoost (Adaptive Boosting) 是基于不同權(quán)重的投票算法，檢測率高的弱分類器往往會有高的權(quán)重，反之則低權(quán)重。2.3.3 級聯(lián)分類器在一幅圖像中進(jìn)行人臉檢測時，AdaBoost算法采用滑動窗口方法，那么對于一張 240*320 的圖像，在不同位置將產(chǎn)生上百萬個子窗口，顯然檢測效率會很慢。 Viola-jones 分類器使用級聯(lián)分類器來率先淘汰那些背景子窗口

12、，并且保留正例樣本進(jìn)入下一層。因為在一張圖像中往往人臉?biāo)嫉淖哟翱跀?shù)是比較少的，所以前面幾層就會淘汰大多數(shù)的反例樣本，這樣整個圖像的檢測效率將得到很大提升。級聯(lián)分類器的整個檢測過程形成一棵決策樹，如圖 2.4 所示。測試的子窗口將輸入到第一層分類器中，如果，那么將直接丟棄，反之則傳入到下一層分類器中。通常情況下，每層弱分類器的數(shù)目將會遞增，例如在19中，前五層的弱分類器數(shù)目依次為 1,10,25,25,50。這個是很好理解的，因為每一層都在保證正樣本進(jìn)入下一層的同時丟棄掉一部分負(fù)樣本，越往后面難度自然越大，所以需要的弱分類器來做決定。在開始幾層都會使用較少的弱分類器，這樣就會提高檢測效率，即平

13、均每個子窗口被掃描的次數(shù)比較少。級聯(lián)分類器在訓(xùn)練過程上和以往分類器的訓(xùn)練也有差別，由于人臉正樣本相對于負(fù)樣本（背景圖像）數(shù)量比較少。為了處理好這種正負(fù)樣本不均衡的情形，Viola和 Jones 訓(xùn)練時采用了自舉的方法。也就是，在每一層選定分類器的閾值后，訓(xùn)練好的分類器在負(fù)樣本池中測試，將那些沒有被篩選掉的樣本送入下一層的分類器中進(jìn)行訓(xùn)練。每一層分類器的訓(xùn)練都是獨立、互不影響的。有人說，這樣的訓(xùn)練過程為整個分類器加入了非線性結(jié)構(gòu)，從而提高了性能。然而最近的一些工作已經(jīng)證明在沒有這樣的層次結(jié)構(gòu)時，性能依然會提高。在19中，級聯(lián)分類器的構(gòu)建可以加入人工調(diào)整。在開始的幾層中，每層分類器的個數(shù)和閾值都是

14、進(jìn)行人工調(diào)整的。如果分類器閾值設(shè)比較激進(jìn)，那么檢測器速度會加快，但是檢測率會下降。另一方面，如果每層閾值設(shè)比較保守，那么越來越多的子窗口將傳送到后面層的分類器做判斷，這將使分類器的檢測速度變慢。所以，要訓(xùn)練一個好的人臉檢測器，必須花一定的時間來調(diào)節(jié)分類器的閾值。2.4 人眼定位當(dāng)把人臉檢測出來后，就可以在檢測的區(qū)域內(nèi)進(jìn)行人眼定位，這是疲勞檢測系統(tǒng)的第二個關(guān)鍵步驟?？紤]到人眼的多樣性，所以在人眼定位中，必須使用快速、準(zhǔn)確、魯棒的算法。本文使用文獻(xiàn)26中方法進(jìn)行人眼定位，實驗結(jié)果是令人滿意的。下面主要介紹人眼定位的基本方法及在本文所使用的增強(qiáng)圖結(jié)構(gòu)模型的定位方法。2.4.1 人眼定位方法概述下面主

15、要介紹一下人眼定位一些現(xiàn)有的方法。至今人眼定位方法很多，很難有一個的分類，會存在一些混合的方法。根據(jù)方法中所使用人眼的信息和模式，將這些方法大致分為三類，分別為基于人眼特性的方法、基于統(tǒng)計學(xué)習(xí)的方法、基于結(jié)構(gòu)信息的方法。1.基于人眼特性的方法。此類方法把人眼看做人臉的一個部分，然后挖掘人眼所固有的一些屬性，比如人眼的輪廓信息，人眼顏色灰度對比信息，還有上下文關(guān)聯(lián)屬性，例如兩個眼睛在人臉中所間隔的區(qū)域，這時候人的眼角信息就比較重要。一般來說，這類方法相對比較簡單，當(dāng)獲取人眼特性后，可以直接比對獲取的特性來定位人眼。但是這種方法只有在獲取的人眼比較理想的情況下，效果才好。然而實際生活中，人眼受光照

16、、姿態(tài)、遮擋等影響，變化是很大的。2.基于統(tǒng)計學(xué)習(xí)的方法。這種方法首先在人眼圖像中提取可靠、判別性好的一些視覺特征，然后收集較多的具有代表性的人眼樣本，在此基礎(chǔ)上通過統(tǒng)計學(xué)習(xí)建立人眼模型，典型的模型有模型27，AdaBoost28，還有濾波模型29，所有這些方法的必要條件是要收集很多的樣本。3.基于結(jié)構(gòu)信息的方法。該方法充分挖掘人眼的結(jié)構(gòu)信息，以及作為人臉一部分和其他人臉特征間的空間結(jié)構(gòu)信息。通常這種模型不能夠單獨使用，需要和一個統(tǒng)計模型相互結(jié)合，來提高算法的魯棒性和準(zhǔn)確性，特別是在人眼變化比較大的情況下。2.4.2 圖結(jié)構(gòu)方法不同于其他方法，基于結(jié)構(gòu)信息的方法更加傾向于利用特征間的關(guān)系來描述

17、對象，例如通常情況人眼包括眼珠、上眼瞼、下眼瞼，而這些部分都存在固定的關(guān)系。相比一些外觀特征，這種結(jié)構(gòu)特征不易受環(huán)境的影響。當(dāng)然，結(jié)構(gòu)信息和外觀特征之間是一種相互關(guān)系，所以基于結(jié)構(gòu)信息的方結(jié)合外觀特征一起使用。一般人臉和人眼通常同時出現(xiàn)，所以可以用臉部的結(jié)構(gòu)特征來描述眼睛，例如鼻子、嘴巴等。第三章 基于外觀模型的人眼閉眼檢測3.1 引言眼睛做為人臉中一個突出的特征，直接反應(yīng)人的精神狀態(tài)和目前所關(guān)注的物體，因此眼睛是疲勞駕駛檢測中最重要的信息來源。第二章闡述了人臉檢測及人眼定位，接下來就是進(jìn)行眼睛狀態(tài)的判別，也就是人眼開眼閉眼的檢測，這一步在疲勞駕駛檢測中極其重要，其檢測結(jié)果直接影響系統(tǒng)的可靠性

18、。另外有效準(zhǔn)確地獲知眼睛的狀態(tài)在計算機(jī)人類接口設(shè)計，表情分析34,35等人臉相關(guān)的應(yīng)用領(lǐng)域起著的作用。在實際中，由于人眼易受到光照、表情、姿態(tài)等影響，因此有效地獲知人眼狀態(tài)是一個非常的工作。面對這些，近十年來提出了通?？梢苑譃樵S多人眼閉眼檢測方法36,37,38,39,40,41,42。這些方法的兩類，通過模式識別的方法來判斷人眼是否閉著，或者間接檢測人的眼睛是否開著。由于眼睛開著的時候往往展現(xiàn)出的外觀（比如眼球是可見的，眼皮是橢圓形的等等），所以很多方法都屬于后面這一類，例如通過收集人眼的局部信息來判斷出眼睛是開的，進(jìn)而得出眼睛不是閉的。然而這種方法具有它自己的局限性。例如，在一些人眼中，有

19、些眼球大部分被眼睫毛遮擋。這種情況下使用上述方法就很難檢測出眼球38。本文中使用第一類方法，即直接通過眼睛的外觀信息，判斷人眼睛是否為閉。這類方法的優(yōu)點是高效而且魯棒43,44。盡管人眼外觀的差異性很大可以使用當(dāng)前計算機(jī)視魯棒的中間特征來表示人眼睛分割出的塊信息。余下的差異性，可以使用機(jī)器學(xué)習(xí)中有效的方法來處理。出于實際應(yīng)用的考慮，通過這種策略實現(xiàn)的檢測方法很多，所以分析評估這些閉眼檢測方法變得不可或缺。本章主要的內(nèi)容是從工程的角度，對現(xiàn)有的幾種重要閉眼檢測方法做多方面的對比分析。主要深入分析閉眼檢測系統(tǒng)的幾個關(guān)鍵步驟，人眼對齊、特征提取及分類器選擇。在兩個標(biāo)準(zhǔn)數(shù)據(jù)集上，分別對三個分類器，最近

20、鄰（NN）、支持向量機(jī)（SVM）、AdaBoost，四種典型特征，灰度特征、Gabor 特征、LBP 特征45、 HOG 特征46進(jìn)行對比分析。在47,48,49中 LBP 特征和 Gabor 特征已被使用，但是 HOG 特征還沒有運用到閉眼檢測中去。因為這些特征代表人眼不同方面的屬性（局部紋理信息、全局形狀信息、局部形狀信息），所以組合這些特征對于檢測結(jié)果將會十分有利。另外針對人眼對齊對檢測系統(tǒng)的影響進(jìn)行了探索。3.4 人眼對齊事實證明，對于某一特定物體進(jìn)行分類識別，識別效率可以通過將檢測到的物體放置在一個標(biāo)準(zhǔn)的位置來大大識別正確率。這樣的做法可以減少一個識別系統(tǒng)或者分類器在建模過程中必須處理的物體間的可變性。很多識別算法假定之前的物體已經(jīng)對齊到一個標(biāo)準(zhǔn)的位置。一般來說，物體對齊的越好，識別的結(jié)果就越好。因此在實驗