發(fā)明專利案例-人臉識別方法

1、說 明 書一種人臉比對方法技術(shù)領(lǐng)域本發(fā)明涉及生物特征識別技術(shù)領(lǐng)域，尤其涉及一種人臉比對的方法。背景技術(shù)人臉是人的重要信息，是區(qū)分不同的人的重要依據(jù)，因此人臉比對是較指紋、虹膜等技術(shù)更自然、更直接的比對方式。人臉比對是將圖像或視頻輸入的人臉通過提取特定的人臉特征信息，與數(shù)據(jù)庫中已注冊的人臉特征信息相比較，獲得匹配的人臉極其相似度，確認(rèn)是否與數(shù)據(jù)庫中人臉為同一。人臉比對在很多場合下都具有非常重要的作用，例如手機(jī)彩信中的視頻彩信、人機(jī)界面、權(quán)限控制、智能監(jiān)視系統(tǒng)等。比對的準(zhǔn)確性、精度和魯棒性問題一直是業(yè)界關(guān)心的主要問題。另外，在人臉比對中，如果當(dāng)前輸入一張靜態(tài)照片，其與數(shù)據(jù)庫中已注冊人臉相比對，也會

2、得出匹配的結(jié)果，這將導(dǎo)致識別的客體并不是真實的人臉，導(dǎo)致無權(quán)限的人得到權(quán)限。因此，判斷當(dāng)前輸入為真實的人的臉還是靜態(tài)的照片非常重要，而現(xiàn)有技術(shù)還無法解決。因此，業(yè)界急需一種能夠確保輸入真實、具有較高準(zhǔn)確性與魯棒性的人臉比對技術(shù)。發(fā)明內(nèi)容為彌補(bǔ)現(xiàn)有技術(shù)的不足，本發(fā)明目的是提供一種人臉比對方法，解決人臉表情變化和姿態(tài)變化的影響，提高比對的準(zhǔn)確性、精度和魯棒性，保障比對的真實性。為了實現(xiàn)上述目的，本發(fā)明的技術(shù)方案如下：一種人臉比對方法，包含：人臉比對方法，其特征在于，包含：步驟601，人臉跟蹤，獲取特征點；步驟603，提取詳細(xì)的人臉特征數(shù)據(jù)；步驟605人臉比對，將該人臉特征數(shù)據(jù)與人臉數(shù)據(jù)庫中的每一個

3、人臉的特征數(shù)據(jù)進(jìn)行比對，獲得其相似性；具體方法為：（1） 選取數(shù)據(jù)庫中的一個人臉k的特征模板庫，；（2） 對特征模板，計算輸入人臉的特征與之間的相似度Skji；（3） 計算輸入人臉與特征模板的相似度；（4） 計算輸入人臉與人臉k的相似度為；（5） 重復(fù)步驟（1）-（4），獲得輸入人臉與數(shù)據(jù)庫中所有K個人臉的相似度，取其中最大者，得到其對應(yīng)的人臉k；其中，M為人的特征模板個數(shù)，N為選取的人的人臉特征點個數(shù)，i為人臉特征。步驟607，判斷是否已找到匹配的人臉；為相似度閾值，若，則判斷輸入人臉與數(shù)據(jù)庫中的人臉k 相匹配；步驟608，判斷表情是否有顯著變化；根據(jù)連續(xù)多幀人臉特征點進(jìn)行分析，包括但不限于

4、：嘴巴的張開與閉合，眼睛的張開與閉合，判斷人臉的表情是否發(fā)生了顯著的變化；在人臉表情有顯著變化時，執(zhí)行步驟609，輸出比中的人臉。其中，該步驟603提取詳細(xì)的人臉特征數(shù)據(jù)的具體方法為：根據(jù)步驟601人臉檢測跟蹤得到的精確的人臉特征點位置，插值獲得其他選取的人臉特征點的位置；根據(jù)雙眼位置對圖像進(jìn)行歸一化處理；計算得到人臉特征點i的Gabor特征，所有特征點的Gabor特征即組成一個人臉特征數(shù)據(jù)，N為選取的人臉特征點個數(shù)。其中，該人臉特征點為人臉上的顯著特征點，人臉特征點的特征選取所有80個Gabor復(fù)系數(shù)，表達(dá)完整的人臉信息，完整表達(dá)不同人臉之間的差異性。其中，該步驟601人臉跟蹤，獲取特征點所

5、選取的人臉特征為人臉的共同性的特征。進(jìn)一步的，該人臉比對方法還包含步驟604人臉注冊；保存人臉特征數(shù)據(jù)至人臉數(shù)據(jù)庫；具體方法為：將步驟603獲得的詳細(xì)人臉特征數(shù)據(jù)加入此人的人臉特征模板庫，M為此人的特征模板個數(shù)，保存至數(shù)據(jù)庫。其中，該步驟601人臉跟蹤，獲取特征點的具體包含離線訓(xùn)練方法和在線跟蹤方法；該離線訓(xùn)練方法包含多層結(jié)構(gòu)人臉模型訓(xùn)練方法和人臉特征點的離線模板訓(xùn)練方法；該多層結(jié)構(gòu)人臉模型訓(xùn)練方法為該在線跟蹤方法提供人臉模型，該離線模板訓(xùn)練方法為該在線跟蹤方法提供人臉特征點離線模板；該多層結(jié)構(gòu)人臉模型訓(xùn)練方法包含如下步驟：步驟301，選取適當(dāng)?shù)娜四槇D像作為訓(xùn)練樣本；步驟302，對人臉圖像的特

6、征點進(jìn)行標(biāo)記；步驟 3031-3061，得到基準(zhǔn)形狀模型；步驟3032-3062，得到全局形狀模型；步驟3033-3063，得到局部形狀模型。其中，該基準(zhǔn)形狀模型、該全局形狀模型與該局部形狀模型的獲得方法為： 用s表示一個人臉形狀向量：， 其中，為平均人臉形狀；P為一組正交的主形狀變化模式；b為形狀參數(shù)向量；人臉形狀向量s表示為，其中、和分別表示基準(zhǔn)特征點、全局特征點和局部特征點；剛性基準(zhǔn)形狀的點分布模型 全局基準(zhǔn)形狀的點分布模型 局部形狀模型的點分布模型 第i個局部形狀向量為，其中，分別表示屬于第i個局部形狀的全局和局部特征點。其中，該人臉特征點的表達(dá)方法為：給定灰度圖像中的一個像素，其附近

7、的局部圖像中的像素為，一系列Gabor系數(shù)可表達(dá)該點附近的局部外觀，定義為： 其中Gabor核為高斯包絡(luò)函數(shù)限定的平面波， 其中， 為頻率，為方向，為特征小波矢量，為特征小波x方向矢量，為特征小波y方向矢量，i為復(fù)數(shù)算子，優(yōu)選， ，且頻率波寬設(shè)為；Gabor核由10個頻率、8個方向組成80個Gabor 復(fù)系數(shù)，用以表達(dá)像素點附近的外觀特征，用一個jet向量表示這些系數(shù)，其中，和分別為第j個Gabor系數(shù)的幅值和相位；對80個Gabor復(fù)系數(shù)進(jìn)行實驗篩選，得到該人臉特征點表達(dá)所用的小波特征。其中，該人臉特征點的離線模板訓(xùn)練方法如下：步驟401，選取N張適當(dāng)?shù)娜四槇D像作為訓(xùn)練樣本；步驟402，對人

8、臉圖像的特征點進(jìn)行標(biāo)記；步驟403，對圖像進(jìn)行歸一化處理；步驟404，計算所有樣本的Gabor特征；步驟405，獲得各樣本Gabor特征之間的相似度； 其中，和為Gabor特征和分別為Gabor系數(shù)的幅值和相位，；為和之間的相對位移；如果，其中，和類似地進(jìn)行定義；對每個特征點，計算N個Gabor特征兩兩之間的相似度，當(dāng)其相似度大于閾值ST時即認(rèn)為兩者相似，ST可通過實驗選取，選取0.85；步驟406，計算各樣本Gabor特征的相似特征數(shù)n；步驟407，選擇n最大的樣本Gabor特征；步驟408，判斷n是否大于nT；若步驟408的判斷結(jié)果為否，則執(zhí)行步驟411，處理下一特征點，然后返回步驟404

9、繼續(xù)執(zhí)行；若步驟408的判斷結(jié)果為是，則執(zhí)行步驟409，將Gabor特征加入離線模板；對每一個Gabor特征，設(shè)有ni個與其相似的Gabor特征，將ni值最大且大于閾值nT的Gabor特征加入樣本特征集，nT也通過實驗選取，選取nT =2；步驟410，將該Gabor特征從樣本中刪除，同時將與其相似度大于閾值ST的Gabor特征從中刪除， ST大于ST，選取0.9；返回步驟405，對步驟405-409作迭代計算；對重復(fù)上述過程，直到選不出樣本為止；最終的樣本特征集即為該人臉特征點的特征樣本，作為人臉特征的離線模板提供給該在線跟蹤方法使用。其中，該在線跟蹤方法包含：步驟501，初始化，初始化變量和

10、參數(shù)設(shè)置，參數(shù)包含但不限于圖像格式、分辨率、顏色空間，跟蹤模式；步驟502，輸入一幀圖像； 步驟503，圖像歸一化，將輸入圖像轉(zhuǎn)換成標(biāo)準(zhǔn)尺寸的圖像；步驟504，判斷是否重新檢測；若步驟504的判斷結(jié)果為是，則執(zhí)行步驟505，利用基準(zhǔn)形狀模型，基于ASM形狀約束，對齊基準(zhǔn)特征點；步驟506，利用全局形狀模型，基于ASM形狀約束，對齊全局特征點；步驟507，利用局部形狀模型，基于ASM形狀約束，對齊局部特征點；步驟508，更新在線特征模板，根據(jù)得到的臉部特征點的位置更新其小波特征作為該人臉的在線特征模板；步驟515，估計人臉姿態(tài)，根據(jù)六個基礎(chǔ)點的位置估計人臉的姿態(tài)；返回步驟502循環(huán)執(zhí)行在線跟蹤方

11、法步驟502至步驟508以及步驟515并執(zhí)行步驟516，輸出人臉特征點及人臉姿態(tài)信息；若步驟504的判斷結(jié)果若為否，則執(zhí)行步驟509，基于在線特征模板更新眼角點；然后執(zhí)行步驟510，基于離線特征模板調(diào)整眼角點；然后執(zhí)行步驟511，更新其他特征點；然后執(zhí)行步驟512，根據(jù)前一幀的人臉姿態(tài)更新各形狀模型的平均形狀；然后執(zhí)行步驟513，基于形狀約束更新全局特征點；然后執(zhí)行步驟514，基于形狀約束更新局部特征點；然后返回步驟508，繼續(xù)執(zhí)行在線跟蹤方法步驟509至步驟514。本發(fā)明的有益效果是：1. 本發(fā)明選取人臉上的顯著特征點作為比對依據(jù)，人臉特征點的特征從所有80個Gabor復(fù)系數(shù)中選取，表達(dá)了完

12、整的人臉信息，使不同人臉之間的差異最大化，人臉比對的準(zhǔn)確性和魯棒性較好。2. 使用本發(fā)明的人臉比對方法，消除了人臉表情、姿態(tài)的影響，在比對中判斷出了人臉的真實性，使得跟蹤和比對準(zhǔn)確性、精度和魯棒性更高。3.使用本發(fā)明，能夠判斷當(dāng)前輸入為真實的人臉還是靜態(tài)的照片。附圖說明下面結(jié)合附圖，通過對本發(fā)明的具體實施方式的詳細(xì)描述，將使本發(fā)明的技術(shù)方案及其他有益效果顯而易見。圖1為本發(fā)明人臉跟蹤方法的組成框架圖；圖2為本發(fā)明的人臉特征點示意圖；圖3為本發(fā)明多層結(jié)構(gòu)人臉模型訓(xùn)練方法的流程圖；圖4為本發(fā)明人臉特征點的離線模板訓(xùn)練方法流程圖；圖5為本發(fā)明人臉跟蹤方法的流程圖；圖6為本發(fā)明人臉比對方法的流程圖。具

13、體實施方式為了使本發(fā)明實現(xiàn)的技術(shù)手段、創(chuàng)作特征、達(dá)成目的與功效易于明白了解，下面進(jìn)一步闡述本發(fā)明。本發(fā)明人臉比對方法主要包括兩個部分，一是訓(xùn)練部分，即注冊部分，一是比對部分。無論是訓(xùn)練部分，還是比對部分，都需先對人臉特征進(jìn)行檢測、跟蹤，從而得到精確的人臉特征點的位置。圖1-圖5示出了人臉檢測跟蹤、獲取特征點的具體方法。下面詳細(xì)說明：圖1表示了本發(fā)明跟蹤方法的組成框架。本發(fā)明人臉跟蹤方法包含離線訓(xùn)練方法102和在線跟蹤方法101兩部分。離線訓(xùn)練方法102包含：多層結(jié)構(gòu)人臉模型訓(xùn)練方法1021和人臉特征點的離線模板訓(xùn)練方法1022；前者為在線跟蹤方法101提供人臉模型103，后者為人臉跟蹤方法10

14、1提供人臉特征點離線模板104。圖2為本發(fā)明人臉特征點示意圖。圖3為本發(fā)明多層結(jié)構(gòu)人臉模型訓(xùn)練方法的流程圖。下面結(jié)合圖2與圖3詳細(xì)說明本發(fā)明多層結(jié)構(gòu)人臉模型訓(xùn)練方法。人的面部特征具有很大的相似性，這些特征點的相對運(yùn)動表達(dá)了人臉表情和人臉姿態(tài)的變化。給定這些人臉的特征點，用人臉特征點集的統(tǒng)計關(guān)系表示人臉模型，即可以構(gòu)建出一個點分布模型（PDM）來表達(dá)人臉的可能的形狀變化。本發(fā)明基于ASM的原理，從一系列人臉圖像訓(xùn)練得到多層結(jié)構(gòu)人臉模型。多層結(jié)構(gòu)人臉模型訓(xùn)練方法首先執(zhí)行步驟301，選取適當(dāng)?shù)娜四槇D像作為訓(xùn)練樣本。然后執(zhí)行步驟302，對人臉圖像的特征點進(jìn)行標(biāo)記。然后執(zhí)行步驟 3031-3061，得到

15、基準(zhǔn)形狀模型。具體為：步驟3031，基于剛性基準(zhǔn)點組成形狀向量，來表示基準(zhǔn)特征點的位置；然后執(zhí)行步驟3041，根據(jù)Procrustes變換對齊所有形狀向量到一個統(tǒng)一的坐標(biāo)框架下；然后執(zhí)行步驟3051，由PCA方法獲得形狀約束參數(shù)，步驟3061，得到基準(zhǔn)形狀模型。執(zhí)行步驟3032-3062，得到全局形狀模型。具體為：步驟3032，基于全局基準(zhǔn)點組成形狀向量，來表示全局特征點的位置；然后執(zhí)行步驟3042，根據(jù)Procrustes變換對齊所有形狀向量到一個統(tǒng)一的坐標(biāo)框架下；然后執(zhí)行步驟3052，由PCA方法獲得形狀約束參數(shù)，步驟3062，得到全局形狀模型。執(zhí)行步驟3033-3063，得到局部形狀模型

16、。具體為：步驟3033，基于局部基準(zhǔn)點組成形狀向量，來表示局部特征點的位置；然后執(zhí)行步驟3043，根據(jù)Procrustes變換對齊所有形狀向量到一個統(tǒng)一的坐標(biāo)框架下；然后執(zhí)行步驟3053，由PCA方法獲得形狀約束參數(shù)，步驟3063，得到局部形狀模型。步驟 3031-3061、步驟3032-3062和步驟3033-3063的計算方法具體為：用向量s表示一個人臉形狀：， （1）其中，為平均人臉形狀；P為一組正交的主形狀變化模式；b為形狀參數(shù)向量?，F(xiàn)有的ASM方法通過迭代過程搜索人臉形狀，迭代中所有的特征點位置同時更新，也就是說特征點之間的相互影響是簡單的平行關(guān)系。鑒于人臉的復(fù)雜結(jié)構(gòu)，以及表情豐富的

17、特點，這種簡單的平行機(jī)制并不足以描述特征點之間的相互關(guān)系。例如，假設(shè)眼角位置固定，則眼睛的開閉并不能影響口、鼻的特征點定位。本發(fā)明將人臉特征點組織為多個層次，以更好地適應(yīng)頭部運(yùn)動、表情變化等對特征點位置的不同影響，我們稱為多層結(jié)構(gòu)人臉模型。第一類為基準(zhǔn)特征點，基本只受頭部姿態(tài)的影響，如眼角、鼻端等。第二類為全局特征點，用來約束整個人臉的全局形狀，包括基準(zhǔn)特征點和其他關(guān)鍵點、如嘴角、眉端等。第三類為局部特征點，只用來約束人臉各組成部分如眼、嘴、眉的細(xì)部特征，位于其輪廓邊界上，如上下嘴唇的輪廓點，上下眼瞼等，主要受表情變化影響。基于此，本發(fā)明構(gòu)建的多層結(jié)構(gòu)人臉模型說明如下：如上所述，人臉形狀向量s

18、可表示為，其中、和分別表示基準(zhǔn)特征點、全局特征點和局部特征點?；诖耍四樞螤钅Ｐ涂煞譃閯傂曰鶞?zhǔn)形狀、全局基準(zhǔn)形狀、以及以下局部形狀：左眉、右眉、左眼、右眼、鼻、嘴等。對于剛性基準(zhǔn)形狀和全局基準(zhǔn)形狀，其點分布模型（PDM）可以從訓(xùn)練數(shù)據(jù)學(xué)習(xí)得到如下， （2） （3）對于局部形狀模型，第i個局部形狀向量為，其中，分別表示屬于第i個局部形狀的全局和局部特征點。亦有， （4）以上（2）、（3）、（4）三式即構(gòu)成了本發(fā)明的多層結(jié)構(gòu)人臉模型。其中各參數(shù)均基于ASM的原理通過訓(xùn)練得到。圖2顯示了本發(fā)明優(yōu)選的一組特征點，其中所有的星形點201為基準(zhǔn)特征點，所有的星形點201和空心原點202組成全局特征點，實

19、心原點203為局部特征點。圖4為本發(fā)明人臉特征點的離線模板訓(xùn)練方法流程圖。人臉特征點的特征表達(dá)有很多種，如灰度特征、邊緣特征、小波特征等等。本發(fā)明采用多尺度多方向Gabor小波來建模特征點附近的局部外觀，表達(dá)人臉特征點?；贕abor小波的特征表達(dá)具有人類視覺的心理物理基礎(chǔ)，并且對于光照變化以及外觀變化下的表情識別、人臉識別和特征點表示等都具有很好的魯棒性。本發(fā)明小波特征的計算方法為：給定灰度圖像中的一個像素，其附近的局部圖像中的像素為，一系列Gabor系數(shù)可表達(dá)該點附近的局部外觀，定義為： （5）其中Gabor核為高斯包絡(luò)函數(shù)限定的平面波（6） （7）其中， 為頻率，為方向，為特征小波矢量，

20、為特征小波x方向矢量，為特征小波y方向矢量，i為復(fù)數(shù)算子，優(yōu)選， ，且頻率波寬設(shè)為。由此，本發(fā)明優(yōu)選的Gabor核由10個頻率、8個方向組成80個Gabor 復(fù)系數(shù)，用以表達(dá)像素點附近的外觀特征。特別地，可用一個jet向量表示這些系數(shù)，可寫成， （8）其中，和分別為第j個Gabor系數(shù)的幅值和相位。給定一幅圖像，每個標(biāo)記的人臉特征點都可以計算得到Gabor小波的jet向量，該jet向量即表達(dá)了該點的特征。然而，針對每一個人臉特征點，并非所有80個Gabor復(fù)系數(shù)均適合表達(dá)該特征。為使其能表達(dá)各種人臉的共同特征，須對80個Gabor復(fù)系數(shù)進(jìn)行實驗篩選。以嘴角特征點為例，本發(fā)明優(yōu)選的Gabor復(fù)系

21、數(shù)為：。由此，優(yōu)選出的即為本發(fā)明方法中所用的小波特征。本發(fā)明人臉特征點的離線模板訓(xùn)練方法如下：首先執(zhí)行步驟401，選取N張適當(dāng)?shù)娜四槇D像作為訓(xùn)練樣本。步驟402，對人臉圖像的特征點進(jìn)行標(biāo)記。步驟403，對圖像進(jìn)行歸一化處理，以保證所有特征點的Gabor特征的計算條件是相近的，從而保證特征采樣的精確性。根據(jù)雙眼的位置，得到雙眼的中點作為基準(zhǔn)點，雙眼的連線作為圖像的橫軸，雙眼連線的中垂線作為縱軸，對圖像進(jìn)行旋轉(zhuǎn)，同時對圖像進(jìn)行縮放以使雙眼之間的距離（瞳距）達(dá)到一特定值。通過這種歸一化處理后能保證Gabor特征表達(dá)的精度和魯棒性。然后執(zhí)行步驟404，計算所有樣本的Gabor特征。具體方法是：將標(biāo)記的

22、特征點坐標(biāo)轉(zhuǎn)換至歸一化圖像中，對每個人臉特征點，根據(jù)式（5）-（8）計算其Gabor特征。則對每一個特征點而言，共得N個Gabor特征，。然后，執(zhí)行步驟405，獲得各樣本Gabor特征之間的相似度；方法為： 假設(shè)Gabor特征和，其相似度可由下式計算得到： （9）其中，為和之間的相對位移，可由下式求得（10）如果，其中，和類似地進(jìn)行定義。對每個特征點，根據(jù)式（9）、（10）計算N個Gabor特征兩兩之間的相似度，當(dāng)其相似度大于閾值ST時即認(rèn)為兩者相似，ST可通過實驗選取，選取0.85。然后執(zhí)行步驟406，計算各樣本Gabor特征的相似特征數(shù)n。然后執(zhí)行步驟407，選擇n最大的樣本Gabor特征

23、。然后執(zhí)行步驟408，判斷n是否大于nT。若步驟408的判斷結(jié)果為否，則執(zhí)行步驟411，處理下一特征點。然后返回步驟404，繼續(xù)執(zhí)行本發(fā)明方法。若步驟408的判斷結(jié)果為是，則執(zhí)行步驟409，將Gabor特征加入離線模板。對每一個Gabor特征，設(shè)有ni個與其相似的Gabor特征，將ni值最大且大于閾值nT的Gabor特征加入樣本特征集，nT也通過實驗選取，選取nT =2。然后執(zhí)行步驟410，將該Gabor特征從樣本中刪除，同時將與其相似度大于閾值ST的Gabor特征從中刪除，這里ST應(yīng)大于ST，選取0.9。然后返回步驟405，對步驟405-409作迭代計算。對重復(fù)上述過程，直到選不出樣本為止。

24、最終的樣本特征集即為該人臉特征點的特征樣本，作為人臉特征的離線模板提供給在線跟蹤使用。圖5為本發(fā)明人臉跟蹤方法的流程圖。本發(fā)明方法包含：步驟501，初始化。本步驟主要初始化引擎，包含：初始化變量，參數(shù)設(shè)置，參數(shù)包括圖像格式、分辨率、顏色空間，跟蹤模式等。然后執(zhí)行步驟502，輸入一幀圖像。本步驟是根據(jù)步驟501設(shè)置好的格式輸入一幀圖像數(shù)據(jù)。然后執(zhí)行步驟503，圖像歸一化。本步驟是對輸入圖像進(jìn)行歸一化處理。即根據(jù)前一幀的人臉信息，主要為雙眼的位置信息，將輸入圖像轉(zhuǎn)換成標(biāo)準(zhǔn)尺寸的圖像，優(yōu)選的尺寸可為256×256。對人臉圖像進(jìn)行歸一化處理，是為了保證所有特征點的計算條件相近，從而保證特征采

25、樣的精確性。根據(jù)雙眼的位置，得到雙眼的中點作為基準(zhǔn)點，雙眼的連線作為圖像的橫軸，雙眼連線的中垂線作為縱軸，對圖像進(jìn)行旋轉(zhuǎn)，同時對圖像進(jìn)行縮放以使雙眼之間的距離（瞳距）達(dá)到一特定值。通過這種歸一化處理后能保證Gabor特征表達(dá)的精度和魯棒性。然后執(zhí)行步驟504，判斷是否重新檢測。本步驟是根據(jù)前一幀的檢測結(jié)果判斷是否重新進(jìn)行人臉特征檢測，若為第一幀圖像，則直接進(jìn)行特征檢測。步驟504的判斷結(jié)果若為是，則繼續(xù)步驟505，基于形狀約束獲得基準(zhǔn)特征點。本步驟是利用基準(zhǔn)形狀模型517，基于ASM形狀約束對齊基準(zhǔn)特征點，基準(zhǔn)特征點不會因為表情的變化而運(yùn)動，如眼角、鼻端。基準(zhǔn)形狀模型517的獲得方法請參見圖2

26、和圖3及其對應(yīng)說明。步驟505基于形狀約束獲得基準(zhǔn)特征點的具體方法為:首先需對圖像進(jìn)行歸一化預(yù)處理。其次，根據(jù)雙眼的位置確定剛性基準(zhǔn)點的位置。根據(jù)雙眼位置和人臉模型中的剛性基準(zhǔn)形狀模型對齊剛性基準(zhǔn)點，獲得這些基準(zhǔn)點的初始位置。然后根據(jù)式（2）迭代更新其形狀參數(shù)，直到滿足迭代終止條件，即獲得剛性基準(zhǔn)點的準(zhǔn)確位置。迭代過程中，剛性基準(zhǔn)點的精度根據(jù)其Gabor特征與離線特征模板的相似度進(jìn)行判斷。具體步驟如下：（1） 對每一剛性基準(zhǔn)點i，計算其當(dāng)前位置的Gabor特征；（2） 根據(jù)式（9）、（10）計算與離線特征模板中每個Gabor特征的相似度，取相似度最大者作為與模板的相似度Si，并獲得其相對位移為

27、。（3） 當(dāng)滿足以下條件之一時，迭代過程結(jié)束，否則轉(zhuǎn)入步驟4）：a) 所有剛性基準(zhǔn)點的平均相似度小于上一次迭代的平均相似度；b) 90%以上的點的絕對位移值足夠小，即，這里閾值dT根據(jù)所需保證的精度確定，如可選dT =2；（4） 對相對位移值進(jìn)行限定，減少突變誤差，使得，這里閾值dxT和dyT根據(jù)所需保證的精度確定，如可選dxT =dyT =10；（5） 根據(jù)對剛性基準(zhǔn)點坐標(biāo)進(jìn)行更新：；（6） 根據(jù)更新的坐標(biāo)和剛性基準(zhǔn)形狀模型及式（2）更新形狀參數(shù)。根據(jù)更新的形狀參數(shù)獲得新的剛性基準(zhǔn)點坐標(biāo)值；（7） 迭代次數(shù)t 增加1次。若t超過閾值，則迭代過程結(jié)束，否則轉(zhuǎn)入步驟（1）。然后執(zhí)行步驟506，基

28、于形狀約束獲得全局特征點。本步驟是利用全局形狀模型518，基于ASM形狀約束，對齊全局特征點。全局特征點除包括8個基準(zhǔn)特征點外，還包括其他受表情影響較小的點，如嘴角、眉尖等。獲得全局形狀模型518的具體方法請參見圖2和圖3及其對應(yīng)說明。步驟506的基于形狀約束獲得全局特征點的具體方法與步驟505相同,不同的是其利用剛性基準(zhǔn)點的位置以及全局基準(zhǔn)形狀模型，并在迭代中固定剛性基準(zhǔn)點的位置不變。然后執(zhí)行步驟507，基于形狀約束獲得局部特征點。本步驟是針對人臉的每一個局部特征，利用局部形狀模型519，基于ASM形狀約束對齊局部特征點。本發(fā)明人臉的局部特征點主要包括左眼、右眼、嘴、鼻的輪廓點，如左（右）眼

29、包括眼角、上、下眼瞼等，嘴部包括兩個嘴角、上/下唇的中點，以及上/下唇中點與嘴角之間的輪廓點等。獲得局部形狀模型519的具體方法請參見圖2和圖3及其對應(yīng)說明。步驟507基于形狀約束獲得局部特征點的具體方法與步驟505相同,不同的是其利用局部形狀模型，并固定全局基準(zhǔn)點的位置不變。然后執(zhí)行步驟508，更新在線特征模板。本步驟是根據(jù)得到的臉部特征點計算其Gabor小波特征，作為新的在線特征模板。然后執(zhí)行步驟515，估計人臉姿態(tài)。本步驟是根據(jù)6個基礎(chǔ)點的位置估計人臉的姿態(tài)，6個基礎(chǔ)點為：4個眼角點和2個鼻端點。本發(fā)明既可以構(gòu)建多層結(jié)構(gòu)人臉模型以適應(yīng)人臉表情的變化，也可以構(gòu)建不同角度下的人臉形狀模型以適

30、應(yīng)人臉角度的變化，不再贅述。然而，構(gòu)建的人臉模型畢竟只能采樣有限的角度，如正面人臉，左側(cè)面人臉45度，右側(cè)面人臉45度，等等。為保證人臉特征跟蹤的精度，需估計出人臉的角度以選取適當(dāng)?shù)娜四樞螤钅Ｐ停ζ溥M(jìn)行角度的補(bǔ)償。本發(fā)明根據(jù)人臉的剛性基準(zhǔn)特征點的位置即能較好地估計出人臉角度，說明如下。為減少人臉表情的影響，需選取人臉的基準(zhǔn)特征點進(jìn)行人臉姿態(tài)的估計，本發(fā)明選擇4個眼角點和2個鼻端點作為參考。為估計人臉的姿態(tài)，這六個點的三維坐標(biāo)必須先進(jìn)行初始化。一般地，特征點的三維坐標(biāo)由通用的三維人臉模型，實際應(yīng)用中，可要求用戶面向攝像頭以獲得其正面人臉圖像，根據(jù)檢測結(jié)果，特征點的和值自動調(diào)整為該用戶的值，深

31、度值則仍采用三維模型的值進(jìn)行近似。設(shè)人臉姿態(tài)參數(shù)，其中為人臉三個方向的歐拉角，為人臉大小的縮放值。步驟515估計人臉姿態(tài)的具體步驟如下：1）構(gòu)建N個三角形。選擇任意三個非共線性的特征點組成一個三角形，對每一個，構(gòu)建一個局部坐標(biāo)系統(tǒng)。2）由每個三角形獲得投影矩陣M。圖像坐標(biāo)與局部坐標(biāo)系統(tǒng)的關(guān)系可表示為 （11）其中，表示坐標(biāo)系統(tǒng)中三維點的投影圖像，是參考點的投影圖像，M是2×2的投影矩陣。通過限定歐拉角在到的范圍，可以從M恢復(fù)出兩組人臉姿態(tài)參數(shù)，進(jìn)而生成完全投影矩陣，但其中只有一個是正確的。3）計算完全投影矩陣的投影偏差。根據(jù)完全投影矩陣將特征點的三維坐標(biāo)投影到圖像中，進(jìn)而獲得其與實際

32、特征點圖像坐標(biāo)的偏差。如果大于閾值d，則刪除該矩陣；否則保留該矩陣，并設(shè)置其權(quán)重為。4）加權(quán)得到最終結(jié)果。通過對N個三角形的檢測，最終得到K個完全投影矩陣，及其對應(yīng)的權(quán)重，。對每個，可得到唯一的一組參數(shù)。最終的人臉姿態(tài)參數(shù)為： （12）然后返回步驟502循環(huán)執(zhí)行在線跟蹤方法步驟502至508以及步驟515，并執(zhí)行步驟516，輸出人臉特征點及人臉姿態(tài)信息。步驟504的判斷結(jié)果若為否，則執(zhí)行步驟509，基于在線模板更新眼角點。本步驟是基于在線模板與特征點的上一幀位置的小波特征進(jìn)行比較，計算4個眼角點的位移，從而得到眼角的新位置。步驟509的具體獲得方法為：（1） 根據(jù)前一幀的雙眼位置對圖像進(jìn)行歸一

33、化預(yù)處理；（2） 根據(jù)在線特征模板更新剛性基準(zhǔn)點中的眼角特征點：對于眼角特征點，計算其在當(dāng)前圖像的Gabor特征，然后根據(jù)式（10）計算與在線特征模板的位移，則眼角特征點可更新為：。然后執(zhí)行步驟510，基于離線特征模板調(diào)整眼角點。本步驟是計算離線訓(xùn)練的特征模板與在線特征模板的距離和相似度，根據(jù)該距離和相似度對眼角位置進(jìn)行修改得到新的位置。獲得離線特征模板的具體方法見圖4及其對應(yīng)的說明。步驟510的具體計算方法為：根據(jù)離線特征模板對眼角特征點進(jìn)行再修正：對于眼角特征點，根據(jù)式（9）、（10）計算在線特征模板與離線特征模板的相似度和位移，則眼角特征點可進(jìn)一步修正為，其中為相似度調(diào)整值，根據(jù)精度要求

34、進(jìn)行設(shè)置，如優(yōu)選可設(shè)為。然后執(zhí)行步驟511，更新其他特征點。首先，計算新的眼角特征點位置與上一幀位置的平均位移作為人臉剛性運(yùn)動的初步估計，更新其他特征點所有特征點的坐標(biāo)為：。然后對每一特征點，重復(fù)步驟509與510，對眼角特征點以外的其他特征點的位置進(jìn)行更新。然后執(zhí)行步驟512，根據(jù)前一幀的人臉姿態(tài)更新各形狀模型的平均形狀。本步驟是根據(jù)前一幀估計的人臉姿態(tài)進(jìn)行誤差補(bǔ)償，對人臉的形狀模型進(jìn)行更新，以得到該姿態(tài)下的形狀模型。然后執(zhí)行步驟513，基于形狀約束更新全局特征點。本步驟是對全局特征點，根據(jù)補(bǔ)償?shù)娜中螤钅Ｐ瓦M(jìn)行形狀約束，獲得形狀參數(shù)，根據(jù)該形狀參數(shù)獲得準(zhǔn)確的全局特征點。本步驟是基于步驟51

35、2所更新的形狀模型約束更新全局特征點的位置。然后執(zhí)行步驟514，基于形狀約束更新局部特征點。本步驟是針對人臉的每一個局部特征，這一過程中，全局特征點不再更新。本步驟是基于步驟512所更新的形狀模型約束更新其局部特征點的位置。然后執(zhí)行步驟508，對所有特征點，計算其Gabor特征作為新的在線特征模板以上過程根據(jù)檢測的人臉及人眼的位置完成了人臉特征點的檢測定位。由于各個人臉的差異性，其特征點的Gabor特征與離線特征模板的相似度各不相同。為此，根據(jù)當(dāng)前人臉特征點位置獲得其Gabor特征作為后續(xù)幀人臉跟蹤的特征模板，即在線特征模板，以提高人臉特征跟蹤的效率和精度。圖6為本發(fā)明人臉比對方法的流程圖。本

36、發(fā)明方法包含：步驟601，人臉跟蹤，獲取特征點。本步驟對輸入的視頻或者攝像頭實時畫面中的人臉進(jìn)行處理，獲取特征點的精確位置。其詳細(xì)方法在圖1-圖5及其對應(yīng)的說明書中詳細(xì)說明。應(yīng)該注意的是，本發(fā)明的跟蹤部分選取的人臉特征為人臉的共同性的特征，如圖2中所示28個特征點。然后執(zhí)行步驟602，檢測圖像質(zhì)量，判斷是否滿足條件。本步驟是對于步驟601所獲取的圖像質(zhì)量進(jìn)行判斷，判斷圖像以及特征點的提取結(jié)果是否滿足注冊或比對的條件。檢測的參數(shù)包括圖像的亮度、光照的均勻性等。若步驟602的判斷結(jié)果為否，則執(zhí)行步驟610。若步驟602的判斷結(jié)果為是，則執(zhí)行步驟603，提取詳細(xì)的人臉特征數(shù)據(jù)。應(yīng)注意的是：為完整表達(dá)

37、不同人臉之間的差異性，需提取適當(dāng)?shù)娜四樚卣鼽c，以便充分表達(dá)人臉信息。本發(fā)明選取人臉上的顯著特征點作為比對依據(jù)，除了圖2中所示28個特征點外，還增加雙眉之間的中點、鼻根即雙眼之間的中點、鼻尖，等等。根據(jù)精度、運(yùn)算性能等要求，可對特征點的選取適當(dāng)進(jìn)行調(diào)整。而人臉特征點的特征必須選取式（8）中所有80個Gabor復(fù)系數(shù)，表達(dá)完整的人臉信息，以使不同人臉之間的差異最大化。步驟603的具體方法為：根據(jù)人臉檢測跟蹤得到的精確的人臉特征點位置，插值獲得其他選取的人臉特征點的位置，如：鼻根為雙眼位置的中點、鼻尖為4個鼻測點的中心點，等等。根據(jù)雙眼位置對圖像進(jìn)行歸一化處理。根據(jù)式（8）計算得到人臉特征點i的Gabor特征，所有特征點的Gabor特征即組成一個人臉特征模板，N為選取的人臉特征點個數(shù)。然后執(zhí)行步驟604人臉注冊或者步驟605人臉比對。步驟604人臉注冊是保存人臉特征數(shù)據(jù)至人臉數(shù)據(jù)庫。具體方法為：將步驟603獲得的詳細(xì)的人臉特征數(shù)據(jù)與此人已有的人臉特征模板庫進(jìn)行比較，若其相似度S>ST，則不保存該特征，否則將該特征加入此人的人臉特征模板庫，M為此人的特征模板個數(shù)，保存至數(shù)據(jù)庫。閾值ST根據(jù)實驗選取，其相似度S的具