非特定人表情識(shí)別的一種方法

非特定人表情識(shí)別的一種方法

1非特定人的人臉溫度識(shí)別方法面部表情分析是虛擬機(jī)中一個(gè)非?；钴S的研究方向。近年來(lái),研究者們提出了很多算法以提高在光照條件、頭部姿態(tài)等環(huán)境參數(shù)變化的情況下人臉表情識(shí)別的魯棒性。然而,由于每個(gè)人的外觀特征、表情表現(xiàn)方式等的差異,在以前所提取的表情特征中,通常還包含了測(cè)試人的個(gè)體信息。這對(duì)表情的識(shí)別帶來(lái)了很大的困難。如何對(duì)非特定人的表情進(jìn)行魯棒地識(shí)別,還是一個(gè)巨大的挑戰(zhàn)。在目前為止,除了文獻(xiàn),只有很少的一些研究對(duì)此問(wèn)題進(jìn)行了討論。Matsugu等提出了一種基于規(guī)則的人臉表情識(shí)別算法。據(jù)作者報(bào)道,這是第一個(gè)討論從不同的人臉外觀中進(jìn)行非特定人的人臉表情識(shí)別的系統(tǒng)。然而,對(duì)于一個(gè)基于規(guī)則的方法,對(duì)每個(gè)人臉表情都建立起一個(gè)很好的規(guī)則是非常困難的。另外,Wen等提出了一種基于比例圖像的外觀特征來(lái)進(jìn)行人臉表情識(shí)別。該方法獨(dú)立于人的皮膚反射特性。Abbound等提出了基于外觀因子的人臉表情識(shí)別和合成方法。然而,對(duì)于這兩種方法,它們都沒(méi)有考慮不同的人具有不同的表情表現(xiàn)方式的情況。Wang等利用改進(jìn)的高階奇異值分解(Higher-OrderSingularValueDecomposition,HOSVD)同時(shí)進(jìn)行非特定人的人臉表情識(shí)別和非特定表情的人臉識(shí)別。然而,在這個(gè)方法中,要求測(cè)試人必須與訓(xùn)練集中某個(gè)人的表情表現(xiàn)方式是完全相同的,否則,他的表情不能得到正確的分類(lèi)。雖然這個(gè)問(wèn)題可以通過(guò)大量的訓(xùn)練來(lái)解決。但是,表情的特征空間非常巨大,搜集足夠的人臉數(shù)據(jù)來(lái)訓(xùn)練模型是非常困難的。本文提出了一種基于HOSVD的非特定人的表情識(shí)別方法。在新的方法中,利用了在人臉表情合成中被廣泛采用的一個(gè)假設(shè):相似的人具有相似的表情。也就是說(shuō),在人臉識(shí)別意義上比較相似的人,他們的表情表現(xiàn)方式、表情的外觀和幾何特征方面也比較相似。基于這個(gè)假設(shè),計(jì)算人臉相似度加權(quán)的距離,可以減少由于個(gè)體差異造成的表情特征的差異。實(shí)驗(yàn)結(jié)果表明,本文提出的方法對(duì)非特定人的表情識(shí)別比以前的方法更為魯棒。2基于高濕度分解的面部分類(lèi)方法2.1動(dòng)態(tài)本征策略在傳統(tǒng)的多因子分析方法中,采用了一個(gè)三維的張量A∈RI×J×K來(lái)表示人臉表情結(jié)構(gòu)。其中I表示人的數(shù)目,J表示每個(gè)人表情的數(shù)目,K為初始人臉表情特征矢量eV的維數(shù)。這樣,張量A的奇異值分解為其中S表示人、表情和特征子空間相互作用的核張量;Up,Ue和Uf分部表示人、表情和表情特征子空間;1×,2×,3×表示將S按第1,2,3階展開(kāi)后相乘;Ue中第j行矢量表示的是第j類(lèi)表情的標(biāo)準(zhǔn)表情矢量uej。對(duì)于高階奇異值分解,讀者可以參考文獻(xiàn)。通過(guò)一個(gè)簡(jiǎn)單的變化,可以定義兩個(gè)與表情、人相關(guān)的張量Te和Tp,分別稱(chēng)為表情張量和人張量。定義如式(2)和式(3)所示。Te和Tp都是大小為I×J×K的張量。圖1給出了一個(gè)表情張量Te的示意圖。為了簡(jiǎn)便起見(jiàn),圖中用一個(gè)塊來(lái)表示在第3維空間上長(zhǎng)度為K的一個(gè)矢量,這個(gè)矢量就是與某個(gè)人某個(gè)表情相關(guān)的本征矢量(或稱(chēng)為基矢量)。第i行的塊則表示著和第i個(gè)人相關(guān)的表情本征矢量。對(duì)需要測(cè)試的表情特征eVtest,可以構(gòu)造一個(gè)大小為1×1×K的測(cè)試張量Ttest。這樣,與第i個(gè)人相關(guān)的表情矢量ueitest可以由式(4)計(jì)算得到。相似地,與第j類(lèi)表情相關(guān)的人的特征矢量可以由式(5)計(jì)算得到2.2測(cè)試動(dòng)作特征的分類(lèi)給定測(cè)試人的初始表情特征eVtest,表情識(shí)別的目標(biāo)就是搜索j*,使得其中uej為從式(1)中Ue的第j行矢量,表示第j類(lèi)表情的標(biāo)準(zhǔn)表情特征。P(uej|Vetest)表示在已知初始表情特征eVtest的條件下,將eVtest分類(lèi)到第j表情的概率。在傳統(tǒng)的多因子分析方法中,先根據(jù)式(4)計(jì)算得到與數(shù)據(jù)庫(kù)每一個(gè)人相關(guān)的表情特征ueitest,i=1,2,,I,也就是將初始表情特征eVtest向圖1中的第i行基矢量投影,i=1,2,,I。然后所有的表情特征ueitest,i=1,2,,I與所有的標(biāo)準(zhǔn)表情特征uej,j=1,2,,J進(jìn)行比較。搜索所有的i和j,找到具有最大相似度sim(ueitest,uej)的i*和j*。最后,將測(cè)試人的表情特征分類(lèi)到第j*類(lèi)表情中去。上述的搜索過(guò)程可以用式(7)來(lái)表示。即尋找(i*,j*),使得其中P(uej|ueitest)表示在已知與第i個(gè)人相關(guān)的表情特征ueitest的條件下,將ueitest分類(lèi)到第j類(lèi)表情的概率。相似度sim(ueitest,uej)越高,則P(uej|ueitest)越大。對(duì)式(6)進(jìn)行分析。求取P(uej|Vetest)的過(guò)程可以分兩步完成。即(1)在已知eVtest的條件下,求取轉(zhuǎn)移到ueitest的概率P(ueitest|Vetest)。(2)在已知ueitest的情況下,計(jì)算ueitest分類(lèi)到第j類(lèi)表情的概率P(uej|ueitest)。這樣,測(cè)試人的初始表情特征分類(lèi)到第j類(lèi)表情的概率可以表示為比較式(6)、式(7)和式(8),可以發(fā)現(xiàn),在傳統(tǒng)的方法中,假設(shè)了測(cè)試人與訓(xùn)練集中的某個(gè)人表現(xiàn)表情的方式是完全相同的。測(cè)試人“真實(shí)的”表情特征uetest以概率1等于uei*test,即這樣式(6)可以簡(jiǎn)化成式(7)。如果測(cè)試人包含在訓(xùn)練集中,或者與訓(xùn)練集中的某個(gè)人在表情表現(xiàn)方式、外觀和形狀等很相近,那么式(9)能夠成立,即測(cè)試人的表情特征可以用此人的表情本征矢量來(lái)提取,其表情可以被正確地識(shí)別。理想地,用來(lái)估計(jì)測(cè)試人“真實(shí)的”表情特征的第i*個(gè)人應(yīng)該就是從識(shí)別的意義上說(shuō)與測(cè)試人最相似的人。然而,當(dāng)測(cè)試人是訓(xùn)練集中不熟悉的人(即在表情表現(xiàn)方式、外觀等方面與訓(xùn)練集中的人不相似)的時(shí)候,他的表情經(jīng)常被誤分類(lèi)。同時(shí),根據(jù)式(7)計(jì)算得到的第i*個(gè)人還經(jīng)常不是訓(xùn)練集中從識(shí)別的意義上與測(cè)試人最相似的人。圖2給出了一個(gè)采用傳統(tǒng)的多因子分析的方法錯(cuò)誤匹配的例子。測(cè)試的表情如圖2(a)所示。測(cè)試人與訓(xùn)練集中所有人的相似度如圖2(b)所示。從圖中可以看到測(cè)試人與訓(xùn)練集中的第7個(gè)人最為相似,其相似度為0.81。如果用文獻(xiàn)中所采用的閾值(為0.9)來(lái)判斷測(cè)試人是否為訓(xùn)練集熟悉的人的話,由于最大的相似度小于閾值,因此,測(cè)試人是訓(xùn)練集不熟悉的人。圖2(c)給出了所有的測(cè)試表情特征ueitest,i=1,2,,10和所有的標(biāo)準(zhǔn)的表情特征uej,j=1,2,,5之間的相似度。從圖中可以看到,最大的相似度在測(cè)試人的與第1個(gè)人相關(guān)的表情特征ue1test與第2類(lèi)表情(悲傷)的標(biāo)準(zhǔn)表情特征ue2進(jìn)行比較時(shí)取得,其相似度為0.93。如果按照傳統(tǒng)的多因子分析方法中的匹配過(guò)程,測(cè)試表情需要分類(lèi)到表情2(悲傷)。圖2(d)同時(shí)給出了測(cè)試人表現(xiàn)悲傷表情的參考圖像。然而,不幸的是,測(cè)試表情的真值為表情4(生氣)。對(duì)訓(xùn)練集不熟悉的人臉的表情進(jìn)行識(shí)別的問(wèn)題可以通過(guò)大量的訓(xùn)練來(lái)解決。然而,人臉特征的空間非常大,在很多實(shí)際應(yīng)用中很難得到足夠的數(shù)據(jù)來(lái)進(jìn)行訓(xùn)練。因此,還需要尋找其他的方法來(lái)解決這個(gè)問(wèn)題。3測(cè)試人和訓(xùn)練集中所有人在人臉識(shí)別意義上的相似度上述傳統(tǒng)的方法不能對(duì)與訓(xùn)練集不熟悉的人的表情正確分類(lèi)的原因在于此時(shí)式(9)并不成立。eVtest轉(zhuǎn)移到ueitest的概率P(ueitest|Vetest),(i=1,2,,I,i≠j*)并不為零。這時(shí)候,應(yīng)該按照式(8)那樣來(lái)計(jì)算測(cè)試人的表情特征分類(lèi)到第j類(lèi)表情的概率?，F(xiàn)在問(wèn)題的關(guān)鍵就在于如何計(jì)算P(ueitest|Vetest),i=1,2,…,I。為了得到Vetest到所有ueitest,i=1,2,…,I的轉(zhuǎn)移概率,本文將在人臉表情合成中被廣泛應(yīng)用的一個(gè)假設(shè):“相似的人具有相似的表情”應(yīng)用到轉(zhuǎn)移概率的計(jì)算中。這個(gè)假設(shè)展開(kāi)來(lái)是說(shuō),從人臉識(shí)別的意義上比較相似的人,他們的表情表現(xiàn)方式、表情的外觀和形狀特征也比較相似。對(duì)這個(gè)假設(shè),可以將它模型化為:一個(gè)人的表情表現(xiàn)方式與另一個(gè)人的表情表現(xiàn)方式相似的概率正比于他們兩個(gè)人在人臉識(shí)別意義上的相似性。也就是說(shuō),如果這兩個(gè)人從人臉識(shí)別的意義上很相似,那么他們的表情表現(xiàn)方式也很相似。這個(gè)模型可以用式(10)來(lái)表示即,在給定測(cè)試人的初始表情特征Vetest的情況下,測(cè)試人的表情特征等于用第i個(gè)人的本征表情矢量計(jì)算得到的表情特征ueitest來(lái)表示的概率P(ueitest|Vetest)正比于測(cè)試人和第i個(gè)人在人臉識(shí)別意義上的相似度si。同時(shí),對(duì)于P(uej|ueitest)的計(jì)算,可以直接用這兩個(gè)表情特征之間的相似度sim(ueitest,uej)來(lái)表示。相似度sim(ueitest,uej)越高,則P(uej|ueitest)越大。這樣,式(8)可以改寫(xiě)為其中Z為標(biāo)準(zhǔn)化常數(shù)。從式(11)可以看到,測(cè)試人分類(lèi)到第j類(lèi)表情的概率相當(dāng)于一個(gè)人臉相似度加權(quán)的距離。通過(guò)加權(quán)的過(guò)程,可以有效地去除測(cè)試人的初始表情特征中的個(gè)人信息,減少由于訓(xùn)練數(shù)據(jù)不足而造成的對(duì)不熟悉的人進(jìn)行表情識(shí)別的影響。在這個(gè)加權(quán)的過(guò)程中,需要先確定測(cè)試人和訓(xùn)練集中所有人在人臉識(shí)別意義上的相似度。在本文的方法中,人臉相似度是利用Wang等提出的HOSVD分解中的人子空間Tp來(lái)進(jìn)行求取的。具體的細(xì)節(jié)請(qǐng)參考文獻(xiàn)。在本文的方法中,兩個(gè)矢量a和b之間的相似度的定義如式(12)所示。在計(jì)算測(cè)試人與訓(xùn)練集中所有人的相似度后,需要對(duì)相似度歸一化。根據(jù)式(11),在計(jì)算了測(cè)試人的表情特征到第j類(lèi)表情的距離后,距離最小的類(lèi)別就對(duì)應(yīng)著測(cè)試人表情的類(lèi)別。對(duì)圖2中所示的例子,在傳統(tǒng)的匹配方法中,最大的相似度在ue1test同ue2相比較時(shí)取得的。然而,測(cè)試人與第1個(gè)人的相似度非常的低,其人臉相似度為0.15。同時(shí),許多與其他人相關(guān)的表情特征與表情4之間的相似度相當(dāng)高。例如,與第9個(gè)人相關(guān)的表情特征ue9test與ue4的相似度為0.85,而他與測(cè)試人的人臉相似度為0.55,大大高于測(cè)試人與第1個(gè)人的人臉相似度。圖3給出了采用傳統(tǒng)的匹配方法與本文提出的方法在相似度計(jì)算結(jié)果上的比較。其中,灰色表示采用傳統(tǒng)的匹配方法得到的結(jié)果,黑色表示本文提出的方法得到的結(jié)果。經(jīng)過(guò)加權(quán)后,賦予用ue9test計(jì)算得到的相似度更大的權(quán)值。結(jié)果表明,加權(quán)后的距離能夠更好地表征測(cè)試表情與標(biāo)準(zhǔn)表情之間的距離,使得測(cè)試表情能夠得到正確地識(shí)別。4結(jié)果與討論4.1圖像數(shù)據(jù)的處理(1)數(shù)據(jù)選取本文采用了JAFFE(JapaneseFemaleFacialExpression)表情數(shù)據(jù)庫(kù)中的數(shù)據(jù)來(lái)測(cè)試非特定人表情識(shí)別的性能。JAFFE表情數(shù)據(jù)庫(kù)包括了10個(gè)日本女性,共213幅圖像。每個(gè)人都有7種表情(中性、高興、悲傷、生氣、驚訝、沮喪和恐懼)的圖像。由于在JAFFE表情數(shù)據(jù)庫(kù)中,對(duì)恐懼的表情的標(biāo)定有一些爭(zhēng)議,因此在本文的實(shí)驗(yàn)中,選擇了10個(gè)人,5種基本情感類(lèi)別,每個(gè)人每種表情一幅圖像,總共50幅圖像的數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。這5種基本情感類(lèi)別為:高興,悲傷,驚訝,生氣和沮喪。在對(duì)JAFFE表情數(shù)據(jù)庫(kù)的數(shù)據(jù)進(jìn)行的實(shí)驗(yàn)中,本文采用了leave-one-out的方式來(lái)測(cè)試各種方法對(duì)非特定人的表情的魯棒性。(2)初始表情特征提取在初始表情特征中,包含了幾何表情特征和外觀特征兩個(gè)部分。其中采用了和文獻(xiàn)中相似幾何表情參數(shù)。只是去除了有關(guān)臉頰的參數(shù)。因?yàn)槟橆a上的特征點(diǎn)不好定義。同時(shí),從本文的實(shí)驗(yàn)來(lái)看,臉頰上的特征點(diǎn)很難進(jìn)行魯棒地跟蹤。對(duì)于外觀特征,則采用了與文獻(xiàn)中相似的外觀參數(shù)。4.2基于bp網(wǎng)絡(luò)的初始溫度分類(lèi)算法的對(duì)比在實(shí)驗(yàn)中,采用上述的數(shù)據(jù)對(duì)本文提出的算法的性能進(jìn)行了測(cè)試。由于本文方法在Wang等提出的傳統(tǒng)的基于HOSVD算法的基礎(chǔ)上進(jìn)行了改進(jìn),初始表情參數(shù)與文獻(xiàn)中提出的表情參數(shù)比較接近,因此本文采用相同的數(shù)據(jù),相同的初始表情參數(shù)與下面兩種方法進(jìn)行了對(duì)比實(shí)驗(yàn):(1)Wang等提出的傳統(tǒng)的基于HOSVD算法;(2)利用包含1個(gè)隱層的3層BP網(wǎng)絡(luò)直接對(duì)初始表情特征進(jìn)行分類(lèi)的算法。表1給出了這3種方法在JAFFE表情數(shù)據(jù)庫(kù)上測(cè)試的結(jié)果的比較。從表1中可以看到,在JAFFE表情數(shù)據(jù)庫(kù)中,相比其他的兩種方法56%的平均識(shí)別率,本文提出的方法提高了對(duì)非特定人的魯棒性,平均識(shí)別率達(dá)到了62%。這主要是因?yàn)?當(dāng)測(cè)試人是訓(xùn)練集不熟悉的人的時(shí)候,加權(quán)的過(guò)程能減小個(gè)體差異造成的影響,從而使得分類(lèi)更為魯棒。圖2和圖3中所示的例子也說(shuō)明了本文提出的方法的優(yōu)越性。4.3測(cè)試溫度ld50與彈性特殊態(tài)的匹配測(cè)試雖然在大多數(shù)表情識(shí)別中,本文提出的方法表現(xiàn)比其他兩種方法好,但在一些表情的識(shí)別中,仍然不太理想。表2給出了本文的方法在JAFFE表情數(shù)據(jù)庫(kù)上測(cè)試的分類(lèi)結(jié)果表。從表中可以看到很多表情被誤分類(lèi)到生氣和悲傷的表情類(lèi)別中。圖4給出了這樣的一個(gè)例子。其中圖4(a)和圖4(e)分別給出了測(cè)試人沮喪的表情和生氣的表情。這兩種表情看起來(lái)非常的相似。匹配的結(jié)果也是這樣,無(wú)論是傳統(tǒng)的匹配的方法,還是本文提出的方法,測(cè)試表情與沮喪和生氣的標(biāo)準(zhǔn)表情特征之間的相似度相差無(wú)幾。但本文的方法未能得到正確的識(shí)別結(jié)果?！跋嗨频娜擞邢嗨频谋砬椤钡募僭O(shè)能否用于人臉表情分析,還是一個(gè)需要商榷的問(wèn)題。雖然這個(gè)假設(shè)被廣泛地應(yīng)用于人臉表情合成中,但目前尚未看到有這樣的心理學(xué)方面的研究支持這個(gè)觀點(diǎn)。從直觀上看,這個(gè)假設(shè)具有一定的普遍性。然而,這個(gè)假設(shè)并不是對(duì)所有的人,所有的表情都能成立。從實(shí)驗(yàn)結(jié)果來(lái)看,對(duì)別的方法能夠比較容易識(shí)別的表情,如高興,本文的方法并沒(méi)有達(dá)到令人滿(mǎn)意的效果。盡管如此,將這個(gè)假設(shè)用于人臉表情識(shí)別時(shí),在訓(xùn)練數(shù)據(jù)較少的情況下,其平均識(shí)別率還是比傳統(tǒng)的方法以及直接用BP網(wǎng)絡(luò)進(jìn)行分類(lèi)的方法好。這也證明了這個(gè)假設(shè)具有一定的普遍性。5本文方法的運(yùn)用本文提出了用于非特定人表情識(shí)別的人臉相似度加權(quán)的距離。通過(guò)加權(quán)的過(guò)程,可以有效地去除個(gè)體