基于特征融合算法的人臉識別(一)

1、基于特征融合算法的人臉識別(一) 1  緒論1.1 研究背景及意義 人臉識別是生物特性鑒別技術(shù)的一個主要方向，它涉及圖像處理，模式識別，計(jì)算機(jī)視覺等多個研究領(lǐng)域，具有十分廣泛的應(yīng)用前景，多年來一直是一個研究熱點(diǎn)。相對于其它人體生物特征識別技術(shù)，如指紋識別、虹膜識別、掌紋識別，人臉識別技術(shù)是最直接、最自然、最容易被人接受的。與其它技術(shù)相比，它具有侵犯性小、較少需要或不需要用戶的主動配合、樣本采集方便、應(yīng)用場合廣泛、潛在的數(shù)據(jù)資源豐富、設(shè)備成本低等優(yōu)點(diǎn)1。人臉識別系統(tǒng)具備操作及流程簡單、適用面廣、支持一對一或一對多比對、支持多點(diǎn)同時(shí)采集比對、帶有數(shù)據(jù)庫支持記錄及查詢功能，對采集

2、現(xiàn)場環(huán)境要求較低，可在極短的時(shí)間里判斷出進(jìn)出者的身份是否合法，杜絕使用他人鑰匙、密碼、磁卡等非法進(jìn)入。人臉識別技術(shù)的安全性、可靠性較高，且擁有廣泛的市場需求，它可以應(yīng)用于公安部門的犯人檔案管理、犯人辨認(rèn)查找、刑偵破案、安全驗(yàn)證系統(tǒng)、信用卡驗(yàn)證、醫(yī)學(xué)、檔案管理、視頻會議、人機(jī)交互系統(tǒng)、證件核對、保安監(jiān)視、門禁控制及至自動柜員機(jī)（atm）等多種場合2。 人臉識別對人類來說是件自然而然的事情，但對計(jì)算機(jī)而言，人臉識別卻遠(yuǎn)非一個已解決的課題。所有的人臉都具有相似的結(jié)構(gòu)，在紋理上也十分相近。另外圖像受光照、成像角度及成像距離等外界條件影響，具有“一人千面”的特點(diǎn)，欲建立一種具有各種不變性的描述

3、模型還是比較困難的。此外，人臉識別技術(shù)研究與相關(guān)科學(xué)的發(fā)展及人腦的認(rèn)識程度緊密相關(guān)3。諸多因素都使人臉識別研究成為一項(xiàng)極富挑戰(zhàn)性的課題，一方面信息化進(jìn)程的日益加快，電子商務(wù)、重要場所的安全認(rèn)證、智能化環(huán)境等許多應(yīng)用領(lǐng)域?qū)εc人臉有關(guān)的信息處理提出了迫切要求；另一方面，硬件和軟件技術(shù)的發(fā)展，為滿足實(shí)際應(yīng)用系統(tǒng)對人臉檢測、跟蹤及識別技術(shù)的實(shí)時(shí)化要求提供了可能性2。 所以，人臉識別的研究不僅涉及心理學(xué)、生理學(xué)、人工智能、模式識別、計(jì)算機(jī)視覺、圖像分析與處理等多個學(xué)科領(lǐng)域，更是模式識別、人工智能和計(jì)算機(jī)視覺的典型案例之一2。對這一問題的研究和解決，有助于對其他對象識別問題的研究分析和解決，人臉

4、識別也因此成為這些基礎(chǔ)研究領(lǐng)域的重要課題之一，具有重要的理論研究價(jià)值。1.2 國內(nèi)外研究現(xiàn)狀及發(fā)展趨勢 近30年來，人臉自動識別的研究取得了很大的進(jìn)展，從工程索引（ei）上檢索到的相關(guān)文獻(xiàn)已達(dá)數(shù)千篇，包括ieee pami在內(nèi)的重要國際期刊也有專欄甚至?？瘓?bào)道人臉識別的最新研究進(jìn)展，同時(shí)還出現(xiàn)了專門的國際學(xué)術(shù)會議，如人臉手勢識別國際學(xué)術(shù)會議1。目前人臉識別領(lǐng)域內(nèi)最著名的國際研究機(jī)構(gòu)包括：美國麻省理工學(xué)院媒體實(shí)驗(yàn)室及人工智能實(shí)驗(yàn)室、南加州大學(xué)、cmu卡內(nèi)基梅隆機(jī)器人研究及交互系統(tǒng)實(shí)驗(yàn)室、馬里蘭大學(xué)等。另外，一些國家或地區(qū)也有不少研究機(jī)構(gòu)在人臉識別領(lǐng)域進(jìn)行了大量的研究工作4。90年代中后

5、期以來，國內(nèi)的許多研究機(jī)構(gòu)在自然科學(xué)基金、863計(jì)劃、攀登計(jì)劃等資助下，開始了對人臉識別的研究。其中主要包括清華大學(xué)計(jì)算機(jī)系、自動化系、電子系以及哈爾濱工業(yè)大學(xué)、南京理工大學(xué)信息學(xué)院、中科院自動化所、上海交通大學(xué)圖像處理與模式識別研究所、中山大學(xué)數(shù)學(xué)系等，他們在人臉識別研究領(lǐng)域都進(jìn)行了許多很有意義的嘗試，積累了經(jīng)驗(yàn)5。中科院計(jì)算所人臉識別研究小組2001年5月與專門從事人臉識別商業(yè)系統(tǒng)開發(fā)和銷售的四川成都銀晨網(wǎng)訊科技有限公司全面合作，在北京成立了ict-ycnc人臉識別聯(lián)合實(shí)驗(yàn)室，專門研究和開發(fā)商業(yè)人臉識別系統(tǒng)。一年來，實(shí)驗(yàn)室在實(shí)時(shí)人臉檢測與跟蹤、人臉識別、人臉確認(rèn)等方面進(jìn)行了大量卓有成效的研

6、究，并開發(fā)了一套具有良好魯棒性的實(shí)時(shí)人臉檢測系統(tǒng)；提出了一種新的基sfs的人臉識別方法，并基于該方法開發(fā)了一套實(shí)時(shí)人臉識別確認(rèn)系統(tǒng)，目前已通過系統(tǒng)測試，并進(jìn)入產(chǎn)品開發(fā)階段。另外，實(shí)驗(yàn)室以成熟的“特征臉”人臉識別技術(shù)為基礎(chǔ)，對其進(jìn)行了很多改進(jìn)和擴(kuò)充，嘗試了基于人工神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、線性判別分析、基于gmm的雙子空間人臉識別方法等，研究了基于gabor小波變換和彈性圖匹配的人臉識別技術(shù)，以及基于統(tǒng)計(jì)模型的人臉識別方法等5。1.3 人臉識別的常用方法 （1）基于幾何特征的方法 幾何特征最早是用于人臉識別的。人臉由眼睛、鼻子、嘴巴、下巴等部件構(gòu)成，正因?yàn)檫@些部件的形狀、大小和結(jié)

7、構(gòu)上的各種差異才使得世界上每個人臉千差萬別，因此對這些部件的形狀和結(jié)構(gòu)關(guān)系的幾何描述，可以作為人臉識別的重要特征。將人臉用一個幾何特征矢量表示，用模式識別中層次聚類的思想設(shè)計(jì)分類器達(dá)到識別目的6。這就要求選取的幾何特征矢量具有一定的獨(dú)特性，能夠反映不同人臉之間的差別，同時(shí)又具有一定的彈性，以消除時(shí)間跨度、光照等的影響。幾何特征矢量是以人臉器官的形狀和幾何關(guān)系為基礎(chǔ)的特征矢量，其分量通常包括人臉指定兩點(diǎn)間的歐式距離、曲率、角度等6。 （2）基于彈性模型匹配方法 彈性模型匹配方法的思想是將人臉上的一些特征點(diǎn)作為基準(zhǔn)點(diǎn)構(gòu)成彈性圖，每個基準(zhǔn)點(diǎn)存儲一串具有代表性的特征矢量，采用分級結(jié)

8、構(gòu)的彈性圖，去除一些冗余節(jié)點(diǎn)，形成稀疏的人臉描述結(jié)構(gòu)7。通過測試樣本和特征樣本的彈性匹配來完成識別。彈性模型匹配方法有很多，例如：在人臉圖像上放置一組矩形網(wǎng)格節(jié)點(diǎn)，每個節(jié)點(diǎn)的特征用該節(jié)點(diǎn)處的多尺度gabor幅度特征描述，各節(jié)點(diǎn)之間的連接關(guān)系用幾何距離表示，從而構(gòu)成基于二維拓?fù)鋱D的人臉描述，根據(jù)兩個圖像中各節(jié)點(diǎn)和連接之間的相似性進(jìn)行人臉識別。還有將人臉圖像表示為可變形的3d網(wǎng)格表面，將人臉匹配問題轉(zhuǎn)換為曲面匹配問題，利用有限元分析的方法進(jìn)行曲面變形，根據(jù)兩幅圖像之間變形匹配的程度識別人臉等。 （3） 神經(jīng)網(wǎng)絡(luò)方法 目前神經(jīng)網(wǎng)絡(luò)方法在人臉識別中的研究方興未艾。valentin8

9、,9提出一種方法，首先提取人臉的50個主元，然后用自相關(guān)神經(jīng)網(wǎng)絡(luò)將它映射到5維空間中，再用一個普通的多層感知器進(jìn)行判別，對一些簡單的測試圖像效果較好；intrator8,9等提出了一種混合型神經(jīng)網(wǎng)絡(luò)來進(jìn)行人臉識別，其中非監(jiān)督神經(jīng)網(wǎng)絡(luò)用于特征提取，而監(jiān)督神經(jīng)網(wǎng)絡(luò)用于分類。lee8,9等將人臉的特點(diǎn)用六條規(guī)則描述，然后根據(jù)這六條規(guī)則進(jìn)行五官的定位，將五官之間的幾何距離輸入模糊神經(jīng)網(wǎng)絡(luò)進(jìn)行識別，效果較一般的基于歐氏距離的方法有較大改善；laurence8,9等采用卷積神經(jīng)網(wǎng)絡(luò)方法進(jìn)行人臉識別，由于卷積神經(jīng)網(wǎng)絡(luò)中集成了相鄰像素之間的相關(guān)性知識，從而在一定程度上獲得了對圖像平移、旋轉(zhuǎn)和局部變形的不變性，

10、因此得到非常理想的識別結(jié)果。神經(jīng)網(wǎng)絡(luò)方法在人臉識別上的應(yīng)用比起前述幾類方法來有一定的優(yōu)勢，因?yàn)閷θ四樧R別的許多規(guī)律或規(guī)則進(jìn)行顯性的描述是相當(dāng)困難的，而神經(jīng)網(wǎng)絡(luò)方法則可以通過學(xué)習(xí)的過程獲得對這些規(guī)律和規(guī)則的隱性表達(dá)，它的適應(yīng)性更強(qiáng)，一般也比較容易實(shí)現(xiàn)。 （4）基于線性和非線性子空間的方法 基于子空間的方法是基于圖像像素本身的，主要是利用計(jì)算模板和圖像灰度的自相關(guān)性來實(shí)現(xiàn)識別功能，一般來說模板匹配法要優(yōu)于基于幾何特征法10。目前，在諸多子空間方法中，應(yīng)用最廣泛的是特征臉法（pca），這是針對人臉整體特征的研究，利用karhunen-lobve變換原理，將圖像表示為一些低維的正交

11、基組成的子空間，然后采用最小距離準(zhǔn)則進(jìn)行人臉識別。線性判別分析（lda）是一種較為普遍的用于特征提取的線性分類方法。它使投影后的模式樣本的類間散布矩陣最大而類內(nèi)散布矩陣最小，也就是說，投影后保證模式樣本在新的空間中有最大的類間距離和最小的類內(nèi)距離，即模式在該空間中有最佳的可分離性。線性判別分析提取的特征向量集強(qiáng)調(diào)的是不同人臉的差異而不是照明條件、人臉表情和方向的變化。因而，采用此方法對光照條件、人臉姿態(tài)等的變化不太敏感，從而有助于提高識別效果。但是傳統(tǒng)的算法常常遇到的一個問題是樣本類內(nèi)散度矩陣通常是奇異的，即“小樣本集合問題”。針對這一問題已有了許多改進(jìn)方法并取得了很好的識別效果。獨(dú)立分量分析

12、（ica）是一種很有效的提取方法。與pca相比，ica有兩個優(yōu)勢：一是ica獲得的獨(dú)立分量不需要滿足正交關(guān)系，能夠消除象素間的高階統(tǒng)計(jì)相關(guān)性，而pca只能消除象素間的二階統(tǒng)計(jì)相關(guān)性；二是ica獲得的一組矢量比本征矢量更具空間局部描述性，具有更好的人臉描述能力。借鑒svm的kernel方法，pca、lda和ica等都被擴(kuò)展到了核空間。與線性子空間方法相比，基于kernel的方法獲得了更好的識別效果11,12。 （5）其他方法 brunelli等對模板匹配方法作了大量實(shí)驗(yàn)，結(jié)果表明在尺度、光照、旋轉(zhuǎn)角度等各種條件穩(wěn)定的情況下，模板匹配的效果優(yōu)于其他方法，但它對光照、旋轉(zhuǎn)和表情變

13、化比較敏感，影響了它的直接使用。goudail等人采用局部自相關(guān)性作為人臉識別的判斷依據(jù)，它具有平移不變性，在臉部表情變化時(shí)比較穩(wěn)定。在最近的一些工作中，benarie等提出vfr的表示框架并將它用于人臉識別的工作中，lam等人研究了不同視點(diǎn)下的人臉匹配和識別問題，vetter等人討論了由單幅人臉圖像生成其他視點(diǎn)的人臉圖像的可能性，mirhosseini等則探討了多種信息融合的人臉識別方法13。1.4 本論文的主要研究工作 本論文主要研究一種應(yīng)用于人臉識別的特征融合算法，該算法提取人臉圖像中關(guān)鍵特征點(diǎn)的gabor特征作為局部特征，提取人臉圖像的奇異值特征作為全局特征，對這兩類特征利用

14、串行融合算法進(jìn)行融合，并利用最近鄰分類規(guī)則將圖像進(jìn)行分類。本論文研究內(nèi)容的主要流程如圖1.1所示。圖1.1 特征融合算法的主要流程2  gabor特征提取算法的實(shí)現(xiàn)2.1 gabor小波簡介 由于gabor特征對光照、姿態(tài)具有一定的魯棒性7,13，因此gabor特征在人臉識別領(lǐng)域的應(yīng)用非常廣泛，目前已經(jīng)成為了最為主流的人臉特征抽取方法。gabor特征具有良好的空間局部性和方向選擇性7,13，可以很好的描述圖像的紋理信息，因此許多人臉識別算法都采用gabor特征作為識別特征。 egm是最早應(yīng)用gabor特征進(jìn)行人臉識別的算法之一，該算法僅對人臉圖像中部分關(guān)鍵特征點(diǎn)進(jìn)

15、行g(shù)abor變換，并將人臉描述為以這些特征點(diǎn)位置為頂點(diǎn)、以其gabor變換系數(shù)為頂點(diǎn)屬性、以其關(guān)鍵點(diǎn)位置關(guān)系為邊屬性的屬性圖，從而將人臉識別問題轉(zhuǎn)化為圖匹配問題。通過合理的選擇特征點(diǎn)的位置，彈性圖可以很好地同時(shí)對人臉的關(guān)鍵局部特征及其它們之間的關(guān)系進(jìn)行建模，從而既利用了人臉的圖像亮度分布特征，又利用了面部結(jié)構(gòu)信息。gwn方法從最佳描述的角度，通過一個優(yōu)化過程完全自動地確定特征位置及其相應(yīng)的小波參數(shù)，并最終用這些參數(shù)作為人臉的描述來進(jìn)行人臉識別。但gwn是一種基于參數(shù)優(yōu)化的建模方法，計(jì)算復(fù)雜度很高，其用于人臉識別的有效性還需要更多的實(shí)踐檢驗(yàn)。gfc算法的基本思想是在粗略對齊人臉圖像的前提下，逐像

16、素計(jì)算每個像素點(diǎn)的多方向、多尺度gabor變換特征，形成gabor特征的人臉表示，然后進(jìn)一步用fisher判別分析法提取特征，為了解決逐像素gabor特征維數(shù)過高的問題，liu采用了簡單的下采樣處理方法。adagabor算法采用adaboost算法對高維gabor特征進(jìn)行選擇的降維，該方法采用機(jī)器學(xué)習(xí)的方法更加客觀地利用gabor特征，從而能在有效降維的同時(shí)提高識別性能。 gabor小波與人類視覺系統(tǒng)中簡單細(xì)胞的視覺刺激響應(yīng)非常相似。它在提取目標(biāo)的局部空間和頻率域信息方面具有良好的特性。雖然gabor小波本身并不能構(gòu)成正交基，但在特定參數(shù)下可構(gòu)成緊框架。gabor小波對于圖像的邊緣敏

17、感，能夠提供良好的方向選擇和尺度選擇特性，而且對于光照變化不敏感,能夠提供對光照變化良好的適應(yīng)性14。上述特點(diǎn)使gabor小波被廣泛應(yīng)用于視覺信息理解。二維gabor小波變換15是在時(shí)頻域進(jìn)行信號分析處理的重要工具，其變換系數(shù)有著良好的視覺特性和生物學(xué)背景，因此被廣泛應(yīng)用于圖像處理、模式識別等領(lǐng)域。與傳統(tǒng)的傅立葉變換相比，gabor小波變換具有良好的時(shí)頻局部化特性。即非常容易地調(diào)整gabor濾波器的方向、基頻帶寬及中心頻率從而能夠最好的兼顧信號在時(shí)空域和頻域中的分辨能力；gabor小波變換具有多分辨率特性即變焦能力。即采用多通道濾波技術(shù)，將一組具有不同時(shí)頻域特性的gabor小波應(yīng)用于圖像變換，

18、每個通道都能夠得到輸入圖像的某種局部特性，這樣可以根據(jù)需要在不同粗細(xì)粒度上分析圖像。此外，在特征提取方面，gabor小波變換與其它方法相比：一方面其處理的數(shù)據(jù)量較少，能滿足系統(tǒng)的實(shí)時(shí)性要求；另一方面，小波變換對光照變化不敏感，且能容忍一定程度的圖像旋轉(zhuǎn)和變形，當(dāng)采用基于歐氏距離進(jìn)行識別時(shí)，特征模式與待測特征不需要嚴(yán)格的對應(yīng)，故能提高系統(tǒng)的魯棒性16,17。  無論從生物學(xué)的角度還是技術(shù)的角度，gabor特征都有很大的優(yōu)越性。jones和palmer的研究表明18，在基本視覺皮層里的簡單細(xì)胞的感受野局限在很小的空域范圍內(nèi)，并且高度結(jié)構(gòu)化。gabor變換所采用的核（kernels）與哺乳動物視覺皮層簡單細(xì)胞2d感受野剖面（profile）非常相似，具有優(yōu)良的空間局部性和方向選擇性，能夠抓住圖像局部區(qū)域內(nèi)多個方向的空間頻率（尺度）和局部性結(jié)構(gòu)特征。這樣，gabor分解可以看作一個對方向和尺度敏感的有方向性的顯微鏡。同時(shí)，二維gabor函數(shù)也類似于增強(qiáng)邊緣以及峰、谷、脊輪廓