魔術(shù)眼鏡從2D到3D.pptx

1、魔術(shù)眼鏡：從2D到3D,摘要,本文提出了一個由2D互聯(lián)網(wǎng)人臉圖像中的眼鏡實現(xiàn)虛擬的3D眼鏡試戴系統(tǒng)。本系統(tǒng)的主要的技術(shù)挑戰(zhàn)是從2D人臉的眼鏡自動重建3D眼鏡模型。,一、綜述,人體虛擬試穿是一個最重要的增強現(xiàn)實的應用。 虛擬試戴眼鏡 在現(xiàn)有的試戴系統(tǒng)-預定義的數(shù)據(jù)庫 互聯(lián)網(wǎng)圖片的眼鏡,第二部分回顧了現(xiàn)有的基于單一圖像的三維重建方法。 第三節(jié)介紹了我們的系統(tǒng)概述。 第四、第五、第六條將提供我們的系統(tǒng)在圖像提取、三維變形和虛擬試穿等方面的技術(shù)細節(jié)。 第七節(jié)實驗結(jié)果和討論在提出。 第八節(jié)總結(jié)的文件，并討論未來的工作。,2相關工作,1. 虛擬眼鏡試戴之前的研究工作 2. 提取人臉圖像感興趣區(qū)域 系統(tǒng)采用

2、了卷積神經(jīng)網(wǎng)絡的合成數(shù)據(jù)進行訓練的分類，首先在像素級得到粗糙的標簽，然后將分類結(jié)果納入我們的水平集能量函數(shù)的邊緣信息，并獲得滿意的最終結(jié)果。 3. 從二維圖像重建三維模型 系統(tǒng)利用二維圖像的幾何形狀，直接指導三維模板的變形，從而可以得到視覺上可以接受的三維模型，包括分割步驟和變形步驟。,3系統(tǒng)概述,系統(tǒng)的輸入是一個眼鏡架的正面人臉圖像。其輸出是一個重建的可以放在用戶的臉上3D眼鏡模型。,過程,第一個模塊是2D眼鏡提取，從人臉圖像中提取干凈的2D眼鏡形狀。 提出了一個粗糙卷及神經(jīng)網(wǎng)絡分類，迭代級集分割進行細化。我們將三維重建問題轉(zhuǎn)換為模板變形問題，簡化了計算，但產(chǎn)生了良好的結(jié)果。 最后一個模塊是

3、三維虛擬嘗試，這是建立在我們以前的工作基礎上。該模塊將重建的三維眼鏡放到用戶的臉上，并演示了重建的輸出。在用戶查看系統(tǒng)是一個軟件并且在電腦上配備Kinect攝像頭。,四、2D眼鏡提取,1.利用像素的卷積神經(jīng)網(wǎng)絡分類器來大致確定是眼鏡的邊界 利用1000無遮擋的正面人臉圖像，由著名的FERET數(shù)據(jù)庫。同時， 200個戴眼鏡的圖像。這些圖像的眼鏡是用純背景干凈，這樣很容易得到相應的輪廓形狀的面具，面部圖像通過兩只眼睛的位置校準，眼鏡的圖像通過它的最左上點和最右上點的位置進行校準。,2.按水平集細化分割,(1)基于邊界的卷積神經(jīng)網(wǎng)絡優(yōu)先的有效輪廓模型的生成，眼鏡的框架可以看作三個輪廓的組合：兩內(nèi)輪廓

4、和外輪廓。 (2)對稱性估計 內(nèi)輪廓，左右兩邊的輪廓是對稱的，而對于外輪廓，左右部分是對稱的。,(3)內(nèi)、外輪廓提取的細節(jié) 內(nèi)輪廓相對于外輪廓通常有相對較少的雜亂區(qū)域： 使用公式6來擴張眼鏡的輪廓和適合眼鏡內(nèi)輪廓。 外輪廓的情況更為復雜，通常是與眉毛，頭發(fā)等，為了減少這些干擾，初始輪廓由內(nèi)輪廓的擴張后生成。然后采用經(jīng)典的擴展水平集算法。 先擴張 再收縮,三維模型重建,1.首先進行模型檢索，從候選模型找到最合適的模型。 2.二維操作點的選擇 3.二維圖像三維模型變形 受幾何校正技術(shù)的啟發(fā)，提出了一種通過優(yōu)化后的目標函數(shù)的點對點的模型變形算法 4.紋理映射,六、虛擬眼鏡試戴,1.面部跟蹤 基于主動

5、外觀模型（AAM）的人臉跟蹤系統(tǒng)，可以得到頭平移和旋轉(zhuǎn)。 2.阻塞求解 不同于基于特征點或三維重建的方法，在補償過程中我們添加了一個透明的通用人臉模型Candide-3解決遮擋問題。,七.仿真結(jié)果與討論,人臉合成過程中使用了FERET數(shù)據(jù)庫1000人臉數(shù)據(jù)。我們還創(chuàng)建了一個2D眼鏡的二進制圖像形狀數(shù)據(jù)庫，包括合成步驟中187個眼鏡形狀。正面人臉圖像和三維模板模型是在在互聯(lián)網(wǎng)上搜索得到的。,1.眼鏡提取的結(jié)果 卷積神經(jīng)網(wǎng)絡的分析方法，給出了一個相當粗略的猜測眼鏡地區(qū)。 經(jīng)過水平集的細化，我們可以輪廓光滑，自然的圖片。 利用人臉數(shù)據(jù)庫和眼鏡數(shù)據(jù)庫，同時充分利用圖像邊緣信息和對稱性信息。因此，提取的

6、眼鏡的形狀更加自然和完整。,2.三維變形的結(jié)果,有2個主要的影響因素：一個是輸入的輪廓與模板的二維投影（可在模型檢索階段）的相似性，另一個是模板模型的頂點分布。模板A有一個均勻分布的頂點并且?guī)g的連接更順暢，所以變形結(jié)果通常更有利。,3.虛擬試穿的結(jié)果 圖13：三維變形結(jié)果及相應的虛擬試驗結(jié)果。第一行顯示輸入的人臉圖像與眼鏡。第二行顯示的輪廓圖像扭曲的三維模板的投影。第三行顯示處理點模板模型和提取輪廓。第四行顯示變形后的三維模型。最后一行顯示在3det系統(tǒng)中試戴的結(jié)果。所有這些變形的模型都是由模板生成的。,結(jié)論,我們的系統(tǒng)提供了3D眼鏡從一個單一的圖像生成系統(tǒng)重建虛擬試戴模型的新的解決方案。提出一個基于只有幾個有限的模板的有效