人臉表情識別綜述

1、人臉表情識別綜述摘要：人臉表情識別作為情感計算的一個研究方向，構成了情感理解的基 礎，是實現(xiàn)人機交互智能的前提。人臉表情的極度細膩化消耗了大量的計算時間， 影響了人機交互的時效性和體驗感，所以人臉表情特征提取成為人臉表情識別的重 要研究課題。主要針對人臉表情特征提取和表情分類方法進行了歸納，詳細介紹了 這兩方面的主要算法及改進，并分析比較了各種算法的優(yōu)勢與不足。通過對國內外 人臉表情識別應用中實際問題進行研究，給出了人臉表情識別方面仍然存在的挑戰(zhàn) 及不足。關鍵詞：人臉表情；特征提??；分類器；生理信號1.引言人臉表情識別作為情感識別的一個方面，在人際交流中起到非常重要的作 用，不僅是展示情緒，更

2、是傳播情感信息與協(xié)調雙方關系的重要方式1。據(jù)心理 學家 Mehrabiadu 的研究表明，在人類的日常交流中，通過人臉表情傳遞的信息高 達信息總量的 55，而通過聲音、語言傳遞的信息分別占信息總量的 38和 7 2。Schlosherg首先提出了描述表情的3個量化尺度：注意.拒絕、高興.不高 興和活躍程度，到 20 世紀 7O 年代美國心理學家 Ekman 和 Friesent31 通過充分的 測試實驗，定義了人類的6種基本表情：高興(Happy)、生氣(Angry)、吃驚 (Surprise)、恐懼(Fear)、厭惡(Disgus t)和悲傷(Sad),隨后 Ekma n 和 Kel tne

3、r 更進一步地細化及完善了面部表情，并提出了基于運動單元(AUs)來描述面部表情 的面部動作編碼系統(tǒng)(FACS)3。隨著數(shù)據(jù)庫采集設備及技術的飛速發(fā)展，使得獲取圖片和視頻的分辨率及像 素越來越高，信息越來越細膩、越來越龐大，為人臉表情識別帶來了更完整、更全 面的信息4。同時由于信息量過大，使得識別及分類算法的效率受到嚴重的影 響。如何提高算法的效率就成為了分類識別算法中重要的研究方面，于是特征提取 的方法被提了出來。其主要方法就是：不用原始圖像進行表情分類識別，而在原始 圖像的基礎上在確保不丟失重要信息的前提下來降低特征維數(shù)，提取出圖像最為本 質的信息。實驗證明這種方法有效可行。實現(xiàn)特征提取后

4、，進行人臉表情識別中最 核心的一步表情分類：將提取出來的特征彼此進行分析匹配，為所獲取的圖片標上 相應的人臉表情類別5。本文對人臉表情識別的研究背景、發(fā)展過程進行了綜述，著重介紹了人臉表 情特征提取和人臉表情識別的主要算法，列舉了近兩年對這幾種算法的改進以及其 他算法的對比，最后對人臉表情識別發(fā)展趨勢及所存在的問題和進一步的研究工作 進行了分析6。2.人臉表情識別的一般步驟人臉表情識別(Facial Expression Recognition, FER)主要包括三個技術環(huán) 節(jié)(如圖1所示)：首先是人臉的檢測與定位，然后進行表情特征提取和識別，即從 輸入的圖像中檢測和定位人臉,然后再提取出對表

5、情識別有用的信息并進行分類識 別。圖1人臉表情識別步驟圖片采集人臉表情識別是在人臉識別的基礎上發(fā)展而來的,其圖片采集的方式是大體 相同的。首先,人臉識別與人臉表情識別的圖像類型根據(jù)圖像來源與色彩信息,又 分別可以分為靜態(tài)圖像與動態(tài)圖像、彩色與灰度。圖片的預處理本文主要介紹人臉表情識別,所以在一張原圖上最希望的是能夠完整地提取 出整個臉部的特征信息。因此在進行特征提取之前往往需要對原始圖片進行預處 理。圖片預處理主要分為兩個方面：除去原圖的復雜背景、圖像歸一化。人臉表情特征提取表情特征的提取方法分為基于運動與基于形變的兩類。其中運動是指表情發(fā) 生時面部特征隨時間的變化，而形變則是指有表情的臉相對

6、于中性表情臉的差異。 運動特征提取方法代表性的包括光流法、運動模型、特征點跟蹤方法等。面部特 征的形變可以由形狀和紋理兩方面來描述，又可以分為基于模型的方法和基于圖像 的方法兩類。其中基于模型的方法有活動外觀模型(AAM)點分布模型(PDM)等；基于 圖像的方法有Gabor變換、主成分分析(PCA)等。2.3.1主成分分析法(PCA)PCA的主要思想是通過協(xié)方差矩陣分析各個屬性之間的相關性，選取出該圖 像的主成分來排除這些冗余信息，并形成一個變換矩陣；再通過該矩陣實現(xiàn) Karhunen.Lo6ve變換(正交變換)，將原有的高維圖片所形成的向量進行降維。Dubussion也在文獻中提到了對特征用

7、Principal Component Analysis(PCA，主成分分析法)進行分析，然后按照主元對某一識別任務的重要性 將它們進行排列，采用前向逐步選擇的方法選擇和保留最有區(qū)分性的k個主元方 向。PCA的主要思想是通過協(xié)方差矩陣分析各個屬性之間的相關性，選取出該圖像 的主成分來排除這些冗余信息，并形成一個變換矩陣；再通過該矩陣實現(xiàn) Karhunen.Lo6ve變換(正交變換)，將原有的高維圖片所形成的向量進行降維。由于PCA需要很大的存儲空間以及計算復雜度，因此很多研究者都提出了相 應的改進算法。張巖中對經(jīng)典的PCA算法進行了改進，提出對圖像進行分塊，然后 對每一子塊進行獨立的PCA處理

8、，求出測試樣本子塊與訓練樣本對應子塊問的距 離，最后將這些距離相加得到測試樣本與訓練樣本的距離。Thai等在文獻231中 比較了 2DPCA和PCA，由于PCA需要將圖片矩陣轉換成向量后進行轉換且其維數(shù)特 別高，而2DPCA直接對圖像矩陣進行轉換。最后運用大量實驗驗證了 2DPCA在表現(xiàn) 力及速度方面都遠遠高于PCA。Ying Wen等在文獻24中引入了 KPCA到人臉檢測 中，其是對PCA的一種非線性的擴展，采用非線性的方法抽取主成分并映射到高維 空間中進行PCA分析，能夠最大限度地提取指標的信息。樓中望等在文獻25又對 KPCA在提取特征時的不足提出了加權的改進算法W2KPCA. KNN，

9、提高了識別的精 度。2.3.2局部二值模式(LBP)LBP通過計算圖像中所包含的每個像素與其局部鄰域的點在亮度上的序關 系，然后對二值序列關系進行編碼形成局部二值模式，最后采用多區(qū)域直方圖作為 圖像的特征描述。由于LBP無法區(qū)分鄰城像素點與中心像素點相等，并且高精度的特征提取會 明顯地增大內存占有量及影響運算速度，面對這些問題，很多研究者提出了改進算 法。Xu Jian等人提出DLBP(Double LBP)。通過引入?yún)?shù)改善了像素點值輕微變化 對LBP所產(chǎn)生的影響，能更好地表達圖像的特征。Yuchun Fang等人提到了統(tǒng)一 LBP(Uniform LBP)和旋轉不變 LBP (Ro tat

10、 ion Invarian t Uniform LBP. Riu- LBP): Uniform LBP將圖像轉變?yōu)槎M制中01變換少于2次的歸屬為一類，在高 維特征的支持下依賴采集密度來提高其精確性LBP及Uniform LBP只能通過直方 圖解決平移問題，RiuLBP解決了其弊端可以解決旋轉問題。齊鳴鳴等人將多塊 MBLBP(Multi. scale Block Local Binary Pattern)引入到人臉識別中，MBLBP 能 表現(xiàn)圖像塊鄰域灰度級或者顏色的空間變化，反映圖像的局部結構化特征，對圖像 局部紋理特征有很強的全局描繪能力。圖2 LBP算法Gabor特征提取在JAFFE圖

11、像庫中選取一幅圖片，并選取5個尺度8個方向組成的40個不 同的濾波器對圖像進行濾波。圖像經(jīng)過Gabor小波變換以后，從不同尺度、不同方向上提取了相關的特 征，從此每幅圖像變成多幅，每個像素點的特征用一組數(shù)據(jù)來描述，所以說可以獲 得豐富的特征信息，并且對于亮度和人臉姿態(tài)變化不敏感。然而，這種方法也存在 不足之處，數(shù)據(jù)維數(shù)變成原圖像陣的兒十倍，給數(shù)據(jù)處理帶來困難，很容易造成維 數(shù)災難。需要對變換后的圖像進行降維.這也增加了計算量。因此Gabor小波常與 基于形狀的方法同時配合使用。S1尊心2.4人臉表情分類人臉表情分類包括表情識別表情描述，表情識別是對面部信息的編碼；表情 描述分為情感映射與基本情

12、感。其最終目的是判斷提取的特征所對應的表情類別。 支持向量機（SVM）與KNN是分類中的兩種經(jīng)典算法，下面是其進行簡要描述。2.4.1支持向量機（SVM）SVM是一個二元分類器，通過非線性函數(shù)將樣本映射到一個特征空間內，使 兩個類在特征空間中線性可分，并尋找樣本在特征空間中的最優(yōu)線性分類超平面， 使得訓練集中的樣本點距離分類面盡可能遠，即使分類間隔最大。SVM算法在JAFFE中的表情識別達到87.1%的高平均識別率。正是由于SVM 避開了從歸納到演繹的傳統(tǒng)過程，高效地實現(xiàn)了從訓練樣本到預報樣本的推理轉 化，降低了算法的復雜度并具有良好的魯棒性。但是支持向量機只適合應用于小樣 本數(shù)據(jù)的分類情況，

13、在大樣本情況下，由于矩陣的計算需要耗費大量的內存資源， 運行效率會直接受到影響。2.4.2 K最鄰近學習算法K最近鄰學習法（KNN）作為一種惰性學習法，在進行分類時并不像急切學習法 一樣，在接收到訓練元組時只是簡單地存儲它（或只是稍加處理），僅有接收到測試 元組時才進行泛化。以距離為度量，計算并得出離測試最近的 k 個元素，根據(jù)這 k 個元素所屬類別來標記測試元組。總結隨著類似于 Google 眼鏡等智能佩戴設備的推廣，大數(shù)據(jù)時代已經(jīng)到來，使得 實時設備每時每刻需要處理的面部表情的數(shù)量急劇增加，所以為了使人臉表情識別 的應用更具有前瞻性及利用價值，在算法的改進中不能只局限于現(xiàn)有的已知模式下 的

14、數(shù)據(jù)庫，而應該轉變數(shù)據(jù)思維 ，在結構化、半結構化、非結構化的復雜數(shù)據(jù)源 上以更具有實用價值的指導下設計新的算法或改進。通過前面幾節(jié)的介紹，可以看 出人臉表情識別方面的研究取得了很多進展，但從識別系統(tǒng)的性能來看，與實用化 還有一定的距離。目前看來，F(xiàn)ER系統(tǒng)的性能主要受到以下幾個方面的限制：特征提取的方法存在一些缺陷，很多模型的方法需要手工介入來標定一些 點或區(qū)域，外貌特征的方法不需要手工幫助，但提取出的信息往往不夠可靠而且易 受干擾；某些表情易于識別，而某些表情不易識別，心理學方面的研究認為，最容 易辨認的表情是快樂、痛苦，較難辨認的是恐懼、悲哀，更難辨認的是懷疑、憐 憫，在 FER 系統(tǒng)中也

15、面臨著對某些類別的表情識別率偏低的情況；目前的研究大多數(shù)都針對特定條件下采集的圖像或者圖像序列。但要做到對 任意采集的圖像或圖像序列都適應，還需要人臉檢測等其他領域的發(fā)展。雖然受到 一些限制因素的影響，國內外研究者們仍提出了很多思路，力圖在這些方面有所突 破。對本文介紹的一些方法進行總結，可以得出近來 FER 研究的幾個熱點，也是未 來可能的發(fā)展方向：由于人臉表情變化表現(xiàn)在圖像上會產(chǎn)生多種不同的變化，如五官位置、形 狀，以及細微的皮膚紋理、陰影等，因此將多種特征混合起來，可以最大限度地利用表情變化產(chǎn)生的信息，更完整地表示表情，混合法將成為特征獲取中的一個重 點；八 9由于模型的方法往往需要手工

16、的幫助，因此外貌特征就被較多地應用于自 動的FER系統(tǒng)。由此帶來的問題是特征維數(shù)可能很高，而且特征的有效性不高。因 此特征降維、提取和選擇等方法的研究也成為一個重點15；近年隨著機器學習領域的發(fā)展，越來越多的機器學習方法被用于表情的識 別和分類，并取得了較好的結果，這也應是未來識別方法的主流。但同時人的表情 是有一定的心理學規(guī)律可循的，是否可以將心理學和生物學知識與機器學習的方法 相結合來提高分類的性能，這是有待研究的問題；在目前的人臉表情識別系統(tǒng)中，往往是對比較夸張的表情進行分析和識 別。但在實際的生活中，很多表情可能是混和的表情，或者并不是很夸張的表情。 對混和表情、表情的強度方面，目前的

17、研究還非常的缺乏。已經(jīng)有研究針對表情的 強度方面做了一些嘗試，但研究仍然處于初級階段17；人臉表情會受到多種因素的影響，如光照、姿態(tài)變化，臉部阻擋等。針對 臉部出現(xiàn)阻擋的情況16，有一些初步的研究，但與實際情況還有一定距離。在目 前的研究中，針對光照和姿勢的變化，一般都采用3維人臉建模的方法來解決。但 目前3維人臉建模的技術尚不能達到自動建模的要求。同時，精度也受到一定的限 制。另外，特征分解是解決這類問題的一種新方法，但這方面的研究剛剛出現(xiàn)，有 待進一步發(fā)展16。a reviewed of Facial expression recognitionZhan Wu, Tong ChenScho

18、ol of Electronic and Information Engineering, SouthwestUniversity, Chongqing 400715, ChinaAbstract: Facial expression recognition as a research direction of emotion computing, has formed the basis of emotion recognition and has been the premise to realize intelligent human-computer interaction. Faci

19、al expressions can run out of a large amount of computing time and affected the efficiency of the human-computer interaction and experience, so the facial expression feature extraction has become an important research topic of facial expression recognition. This paper focuses on facial expression fe

20、ature extraction and expression classification method to carried on the induction. In this work, we introduce in detail the two main algorithms and improvements, and compare the advantages and disadvantages of various kinds of algorithm. Through the study of practical problems in facial expression r

21、ecognition at home and abroad, we introduce the challenges and disadvantages still exist of facial expression recognition.Keyword: facial expression; feature extraction; classification; Physiological signals參考文獻Mehrabian A,Russell J A. An approach to environmental psychologyM. Cambridge, MA,US: The

22、MIT Press, 1974Schlosberg HThree dimensions of emotionJPsychological Review. 1954. 61(2): 81_88Ekman P，F(xiàn)riesen W VFacial action coding system：atechnique for the measurement of facial movementMPalo Alto：Consulting Psychologists Press, 1978: 271302Keltner D，Ekman P.Facial expression of emotionJAmerica

23、n Psychologist, 1993, 48(4): 384-392Suwa M ，Sugie N，F(xiàn)ujimora KA preliminary note on pattern recognition of human emotional expressionc international Joint Conference on Pattern Recognition, 1978: 408410Terzopoulos D，Metaxas DDynamic 3D models with local and global deformations：deform able superquadr

24、icsc IEEE 1990 3rd International Conference on Computer Vision，Osaka，Japan，1990：60661 5Mase K，Pentlad ARecognition of facial expression from optical flowJ. IEICE Transactions on Information and Systems, 1991, E74 D(10)：34743483Pantic M,Rothkrantz L.Automatic analysis of facial expressions：the state of the artJ.IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(12):l424 1445.谷春亮，尹寶才，孔德慧，等基于三維多分辨率模型與Fisher線性判 別的人臉識別方法J.計算機學報，2005, 28(1)： 97104.Xiang Yi，Wu Ying，Peng Jun.An improved AdaBoost face detection algorithm bas