移動(dòng)設(shè)備上實(shí)時(shí)動(dòng)畫系統(tǒng)

1、 移動(dòng)設(shè)備上的實(shí)時(shí)人臉動(dòng)畫系統(tǒng)PREFACE 基于實(shí)際表現(xiàn)的面部動(dòng)畫系統(tǒng)，它能夠以實(shí)時(shí)28fps在移動(dòng)設(shè)備上運(yùn)行，該系統(tǒng)的一個(gè)關(guān)鍵組件是一個(gè)新型的回歸算法，它能夠從一臺(tái)普通的攝像機(jī)的二維視頻圖像幀中準(zhǔn)確地推斷面部運(yùn)動(dòng)參數(shù)。demo摘要01相關(guān)研究的現(xiàn)狀1、基于特殊設(shè)備（例如面部標(biāo)記點(diǎn)）的面部動(dòng)畫技術(shù)已經(jīng)在電影和游戲制作方面取得了巨大的成功 ； 2、Weise等人（參考文獻(xiàn)2）開發(fā)了一個(gè)實(shí)時(shí)的面部動(dòng)畫系統(tǒng)，其利用了Kinect 的RGBD攝像頭中獲取的深度和色彩信息。；3、曹等人（參考文獻(xiàn)1)為普通用戶提出了一個(gè)更實(shí)際的解決方案，用戶只需要單個(gè)普通攝像頭即可，而大多數(shù)的移動(dòng)設(shè)備都能滿足這個(gè)條件。

2、02本篇論文的兩大貢獻(xiàn)點(diǎn)（1）曹等人在參考文獻(xiàn)1中通過兩步程序來跟蹤面部動(dòng)畫（首先回歸各面部標(biāo)定點(diǎn)的三維位置，然后計(jì)算頭部姿勢(shì)和表情系數(shù)）。而我們直接回歸頭部姿態(tài)和表情系數(shù)。這樣一步到位的方法可以大大減少回歸目標(biāo)的維度數(shù)，在保證跟蹤精度的前提下顯著地提高跟蹤過程的性能表現(xiàn)。（2）我們進(jìn)一步提出采集在不同的照明環(huán)境下的用戶的訓(xùn)練圖像，并利用數(shù)據(jù)來訓(xùn)練獨(dú)立用戶個(gè)體的回歸，這樣可以魯棒地解決使用移動(dòng)設(shè)備時(shí)頻繁發(fā)生照明變化而出現(xiàn)的問題。 我們提出學(xué)習(xí)一個(gè)能從2D視頻圖像幀中直接回歸面部動(dòng)作參數(shù)的用戶回歸因子，將一張圖像I和它的面部動(dòng)作參數(shù)的一個(gè)初步猜測(cè) 作為輸入，迭代地更新 的值，然后輸出最終的動(dòng)作參

3、數(shù)。 整個(gè)學(xué)習(xí)過程共分為以下 幾個(gè)步驟：1.制備訓(xùn)練數(shù)據(jù) （1）圖像的拍攝和標(biāo)記 （2）用戶混合外形的生成 具有自動(dòng)定位地標(biāo)記點(diǎn)的（a）（c）的兩幅拍攝圖像以及有手動(dòng)校正標(biāo)記點(diǎn)的（b）（d）圖像。 （3）運(yùn)動(dòng)參數(shù)的還原 最后將每張輸入圖像I的動(dòng)作參數(shù)串聯(lián)起來，形成一個(gè)46+4+3=53維向量：2.創(chuàng)建訓(xùn)練集 對(duì)于每個(gè)圖像和計(jì)算的運(yùn)動(dòng)參數(shù)向量 ，我們構(gòu)造 的一組增廣的參數(shù)向量作為它在回歸過程中的初步猜測(cè)。每個(gè)增廣的參數(shù)向量表示為 ，與之結(jié)合我們將一個(gè)訓(xùn)練元組構(gòu)造成 3.回歸訓(xùn)練，生成面部動(dòng)作回歸 用這N個(gè)訓(xùn)練數(shù)據(jù) ，我們基于圖像I的像素強(qiáng)度訓(xùn)練一個(gè)從 到 的運(yùn)動(dòng)參數(shù)回歸函數(shù)。我們使用參考文獻(xiàn)1中

4、的兩級(jí)推動(dòng)回歸算法。在第一級(jí)中，我們根據(jù)當(dāng)前的運(yùn)動(dòng)參數(shù)重建三維標(biāo)記，并對(duì)圖像I上的像素進(jìn)行采樣來構(gòu)造外觀向量，在第二級(jí)中，我們建立一個(gè)基于這個(gè)外觀向量的回歸序列，并通過最小化 和 之間的誤差來更新當(dāng)前的運(yùn)動(dòng)參數(shù)。核心：（1）生成外觀向量 （2）特征選?。?）蕨類結(jié)構(gòu)4.運(yùn)行時(shí)進(jìn)行回歸，將視頻圖像幀和前面的幀的面部動(dòng)作參數(shù)作為輸入，同時(shí)計(jì)算當(dāng)前幀的面部動(dòng)作參數(shù) 通過3中訓(xùn)練的面部運(yùn)動(dòng)回歸器，我們可以實(shí)時(shí)計(jì)算出輸入視頻幀I的面部運(yùn)動(dòng)參數(shù)。我們從前一幀的回歸結(jié)果 開始，從訓(xùn)練集中找到類似于運(yùn)動(dòng)參數(shù) 的運(yùn)動(dòng)參數(shù)作為回歸的初始參數(shù)，并通過回歸器對(duì)它進(jìn)行更新。最終，我們計(jì)算所有更新的參數(shù)向量 的中值作為最

5、后的結(jié)果。 第一個(gè)策略是用來自復(fù)雜環(huán)境的訓(xùn)練數(shù)據(jù)訓(xùn)練回歸器。我們收集不同環(huán)境下的用戶設(shè)置圖像。在我們的實(shí)驗(yàn)中，如圖所示，我們囊括了辦公室中，戶外陽(yáng)光直射下以及昏暗酒店房間中的的圖像。 第二個(gè)策略：由于移動(dòng)相機(jī)經(jīng)常執(zhí)行白平衡，這改變了圖像的整體強(qiáng)度，使整個(gè)圖像變暗或變亮。由于我們比較了從圖像中獲取的索引對(duì)特征，這些特征是與像素強(qiáng)度相關(guān)的絕對(duì)值，所以全局調(diào)整將使強(qiáng)度值在范圍內(nèi)不一致。為了處理這個(gè)問題，我們?cè)谟?xùn)練和運(yùn)行測(cè)試過程中對(duì)外觀向量進(jìn)行直方圖歸一化處理。左：歸一化前，大多數(shù)像素位于直方圖中的黑暗區(qū)域中，臉部顯得很暗; 右：歸一化后，直方圖均勻分布，人臉區(qū)域分布變得更加明亮。我們已經(jīng)在一臺(tái)擁有英

6、特爾酷睿i7 (3.5 GHz) CPU、能錄制30 fps的640480圖像的普通網(wǎng)絡(luò)攝像頭個(gè)人電腦上實(shí)現(xiàn)了該系統(tǒng)。實(shí)時(shí)算法在此設(shè)備上運(yùn)行速度超過200fps，比1快8倍。我們還測(cè)試了摩托羅拉MT788手機(jī)上的回歸算法，該手機(jī)自帶英特爾Atom 2.0 GHz CPU和Android 4.0操作系統(tǒng)。性能依舊強(qiáng)大，大約在30 fps。我們與參考文獻(xiàn)1中的算法對(duì)訓(xùn)練，測(cè)試中的時(shí)間消耗和不同的回歸目標(biāo)的內(nèi)存消耗分別進(jìn)行比較，可以看到具有很大的性能提升。下圖是和參考文獻(xiàn)1中算法的跟蹤結(jié)果的比較，看上去相差無幾。但是實(shí)際上，從我們的運(yùn)動(dòng)參數(shù)重建的標(biāo)記點(diǎn)位置并不像曹等人直接形狀回歸生成的那么準(zhǔn)確。我們結(jié)果中的一些面部特征并不能很好地匹配，不能捕獲到臉部的細(xì)節(jié)。上部：我們的跟蹤結(jié)果 下部：參考文獻(xiàn)1的結(jié)果。結(jié)論： 我們引入了一種新穎的面部運(yùn)動(dòng)回歸算法，并表明它即