基于MDMO的人臉微表情識別方法

基于基于 MDMO 的人臉微表情識別方法的人臉微表情識別方法 微表情是短暫的面部動作短 自主和低強(qiáng)度 識別面部自發(fā)微表情是一個很大的挑戰(zhàn) 文獻(xiàn)中提出了一個簡單而有效的主要方向 光學(xué)流動 mdmo 微表情識別特征 應(yīng)用一 個強(qiáng)大的微表情視頻光學(xué)流動法和面部區(qū)域劃分為感興趣區(qū)域 ROI 基于部分行動單位 這是一個基于光學(xué)流動興趣區(qū)域 歸一化的統(tǒng)計特征 考慮局部統(tǒng)計運(yùn)動信息和空間位置 為了減少噪聲由于頭部運(yùn)動的影響 提出了一種光學(xué)流驅(qū)動的方法將所有幀的微表情的視 頻剪輯 最后 一個 SVM 分類器利用 mdmo 特征識別微表情 1 DRMF 方法對面部區(qū)域進(jìn)行劃分 要建立了微表情識別的有效特征 首先通過使用受限的本地模型的一個實例來檢測并 將面部區(qū)域劃分為感興趣區(qū)域 即 ROIs 稱為判別響應(yīng)圖擬合 DRMF 使用 DRMF 方法 在每個微表情視頻片段中 在第一幀的面部區(qū)域 有力地檢測出一 組面部特征點 首先 使用 Viola Jones 人臉探測器來定位每一幀的面部區(qū)域 其次 通過 提取響應(yīng)塊和低維投影 計算出一組初始特征點 第三 drmf 迭代干擾這些初始特征點與 生成的特征模板 控制形狀和外觀的變化從一個訓(xùn)練集學(xué)習(xí)相關(guān)目標(biāo)圖像 形狀和外觀形 態(tài)變化的統(tǒng)計模型 應(yīng)用 DRMF 方法以一個強(qiáng)大的 準(zhǔn)確的方式定位面部地區(qū)的 68 個特征 點 在應(yīng)用中 使用了從 DRMF 方法獲得的 66 個特征點 在的微表情識別中 沒有使用兩 個特征點來識別內(nèi)唇角 圖圖 1 所示 左圖 使用所示 左圖 使用 DRMF 方法檢測面部區(qū)域的方法檢測面部區(qū)域的 66 個特征點 右圖 正常面部區(qū)域個特征點 右圖 正常面部區(qū)域 所有 66 個特征的面部特征都被表示為 FP fp1 fp66 在不同的框架中 面部區(qū)域 的部分在實踐中往往會有所不同 可以利用檢測到的特征點集 FP 對每個幀中的人臉區(qū)域進(jìn) 行歸一化處理 使每一幀的面部區(qū)域恢復(fù)正常 圖圖 2 所示 左圖 所示 左圖 36 個區(qū)域的劃分 由個區(qū)域的劃分 由 66 個特征點決定 右圖 由個特征點決定 右圖 由 ROIs 21 22 25 和和 26 所共享的所共享的 頂點的位置是頂點的位置是 IDs 4 和和 33 的兩個特征點的平均位置 的兩個特征點的平均位置 進(jìn)一步將標(biāo)準(zhǔn)化的面部區(qū)域劃分為 36 個 ROIs 由 66 個特征點決定 36 個 ROIs 中所 有頂點的規(guī)范規(guī)則 可以在計算機(jī)數(shù)字庫找到 例如 眉毛被劃分為外部和內(nèi)部部分 其中有兩個劃分準(zhǔn)則 1 ROI 劃分不應(yīng)該太粗糙 否則許多 AUs 將會定位在臉部相似或重疊的部分 在某些部分 比如嘴巴 提供了更多的分區(qū)來更好地區(qū)分不同的 AUs 2 ROI 劃分不應(yīng)該過于密集 一般來說 每個 ROI 至少對應(yīng)一個 AU 例如 ROI 1 只與 AU2 相關(guān) 不需要進(jìn)一步細(xì)分 2 光流場的計算 劃分好區(qū)域后就要進(jìn)行光流場的計算 光流是通過檢測兩個圖像幀之間不斷變化的像 素的強(qiáng)度來推斷物體的運(yùn)動 在一個視頻剪輯中 一個像素定位為 x y t 強(qiáng)度為 I x y t 在兩幀之間移動了 x y 和 t 根據(jù)亮度恒定約束條件 有 假設(shè)移動很小 I x y t 的圖像約束可以用泰勒級數(shù)來獲得 是一個高階無窮小的 從兩個方程式可以有 得到 Vx 和 Vy 是 x 和 y 分量 分別是 I x y t 的速度或光流 因此 在距離 t 的兩幀之間 一 個像素的光學(xué)量值 t 被表示為一個二維的向量 由于圖像幀之間的光照變化可能會影響光流量估計的準(zhǔn)確度 為了解決強(qiáng)度不一致性 問題 對圖像序列進(jìn)行預(yù)處理 每個圖像分解為兩個部分 即一個結(jié)構(gòu)部分和一個紋理部分 結(jié)果表明 強(qiáng)度不一致是因為陰影和明暗認(rèn)識只能出現(xiàn)在原始圖像和結(jié)構(gòu)部分 因此 在 紋理部分的光流計算可以提供準(zhǔn)確的結(jié)果 圖圖 3 所示 在緊張的微表達(dá)中 圖像序列的光流 所示 在緊張的微表達(dá)中 圖像序列的光流 b d 和和 f 的光流場在顏色編碼方案中被可視化 的光流場在顏色編碼方案中被可視化 3 光流領(lǐng)域的面校準(zhǔn) 圖 在微表情的第一個框架中 由圖 在微表情的第一個框架中 由 DRMF 方法檢測到方法檢測到 13 個特征點 以使所有后續(xù)的幀對齊個特征點 以使所有后續(xù)的幀對齊 在微表情的短時間內(nèi) 圖像序列中的面部區(qū)域可能會有一個小的旋轉(zhuǎn)和轉(zhuǎn)化 為了修 正這個小的頭部動作 為了一個微表情的視頻剪輯 在第一幀中使用了一些特征點的位置 在 66 個面部特征中通過使用 DRMF 方法檢測到的點 選擇了 13 個特征點 其中一個在鼻 子根部 另一個在面部輪廓線上 這 13 個特征點受各種微表情的影響最小 對于微表情剪輯中的每一個幀 Fi i 1 通過計算 f1 與 fi 之間的光流 使 fi 與 f1 保持 一致 將產(chǎn)生的光學(xué)流場表示為 Oi 這是第一幀中 13 個特征點的位置 則后面每一幀的 13 個特征點的位置 是這個表達(dá)式 按照光流場的計算方法有 是光流場中第 J 個點的光流失量 給定 P1 和 Pi 通過求解可以 很容易地得到仿射變換矩陣 在所有幀中利用 DRMF 方法 首先檢測到 13 個特征點 然后 每一幀與第一幀的特征 點的對應(yīng)關(guān)系確定仿射變換 使得每一幀的面部特征點在該矩陣變換下與第一幀的面部關(guān) 鍵點差異最小化 4 MDMO 特性 第一幀和之后的每一幀之間的光流被表示為 轉(zhuǎn)換歐式坐標(biāo)為極坐標(biāo) 其中分別是光流失量的大小和方向 在每一幀中 考慮每個區(qū) 域內(nèi)部的光流主方向 在每個分塊中計算 HOOF 特征 將所有光流方向向量量化到 8 個區(qū) 間 然后做統(tǒng)計直方圖運(yùn)算 是數(shù)量最多的方向向量的平均值的極坐標(biāo)表示 計算出這些 特征值來作為該區(qū)域的運(yùn)動特征 由于幅度和方向都是 36 維的 最終獲得的特征是 72 維 向量 最終微表情的視頻剪輯是由光學(xué)流動特征的級數(shù)表示 這里 nf 是視頻剪輯的幀數(shù) 考慮到在不同剪輯幀數(shù)不同 不同區(qū)域特征向量的分布可能十分廣泛 進(jìn)行標(biāo)準(zhǔn)化處理 分別地將極坐標(biāo)下的光流方向的平均值和光流場特征定義為笛卡爾坐標(biāo)下表達(dá)式 對 笛卡爾坐標(biāo)下的光流場特征求平均值 再將平均特征轉(zhuǎn)為極坐標(biāo)系下的坐標(biāo) 但是由于不 同剪輯下只要方向的強(qiáng)度不同 還要進(jìn)一步規(guī)范特征的幅值 最后 得到歸一化運(yùn)算后的 微表情的視頻剪輯 MDMO 特征向量 可以用來支持向量機(jī)建模 用于處理微表情的監(jiān)測和 識別任