基于AI的虛擬主播設(shè)計(jì) 課件 第5章

基于AI的虛擬主播設(shè)計(jì)第5章3D模型制作真人版3D模型制作基于單張照片的3D人臉重建目錄一二5.1.1FaceGen的安裝5.1.2FaceGen的使用5.1.3FaceGen實(shí)現(xiàn)3D人臉重建5.2.1DAZStudio的安裝5.2.2DAZStudio的使用5.2.3DAZStudio生成真人版3D模型基于單張照片的3D人臉重建一

FaceGen是一款集成自定義三維面部網(wǎng)格和UV布局，可通過一張或多張照片建立真實(shí)三維人臉的三維人臉構(gòu)建軟件。FaceGen生成的3D人臉不受年齡、種族或者是性別的約束與限制，可進(jìn)行年齡、種族甚至是性別等多方面的修改，并且與多款軟件兼容。FaceGen已經(jīng)在3D游戲中的虛擬現(xiàn)實(shí)人物角色創(chuàng)建，個性化3D打印服務(wù)等多個領(lǐng)域被應(yīng)用。FaceGenFaceGen的安裝1

2

4

3FaceGen可生成高質(zhì)量3D人臉FaceGen可以根據(jù)用戶輸入的照片生成3D人臉模型。FaceGen可生成隨機(jī)人臉FaceGen可根據(jù)用戶選擇生成隨機(jī)人臉。FaceGen使用簡便高效FaceGen只需用戶上傳一張或多張?zhí)囟ń嵌鹊恼掌?，一鍵式3D人臉生成，簡便的步驟，生成高質(zhì)量3D模型。FaceGen可對生成人臉參數(shù)化調(diào)節(jié)FaceGen可對生成的3D人臉進(jìn)行年齡、種族、性別等進(jìn)行參數(shù)化調(diào)節(jié)，甚至還可以將3D人臉變成漫畫臉。使用FaceGen進(jìn)行3D人臉重建優(yōu)勢FaceGen的安裝

界面介紹“Create”|“Photo”界面的功能是根據(jù)單張或多張人臉正側(cè)面圖片進(jìn)行訓(xùn)練，生成真人版三維人臉模型。如圖為進(jìn)行人臉正側(cè)面圖片上傳的界面。

操作說明單擊“LoadImage”即可進(jìn)行照片上傳，單擊“ClearImage”按鈕，清除上傳的圖片，單擊“Next”進(jìn)入圖片訓(xùn)練過程。1.Create”界面FaceGen的使用

界面介紹在“Create”|“Generate”界面中，可根據(jù)界面中的選擇生成隨機(jī)三維人臉。種族（RacialGroup）、性別（Gender）的選擇框可以對生成人臉的種族與性別進(jìn)行選擇；“RandomVariance”調(diào)節(jié)框中可以進(jìn)行人臉對稱性等特征選擇。

操作說明單擊“Random”按鈕，軟件根據(jù)所選種族、性別以及人臉對稱性等特征生成隨機(jī)三維人臉；單擊“Average”，根據(jù)種族和性別生成的平均對稱三維人臉，如圖所示。1.Create”界面FaceGen的使用2.“Modify”界面“Modify”|“Demographics”界面的功能是對訓(xùn)練后對三維人臉特征信息進(jìn)行調(diào)整和修改，是該軟件中使用頻次較多的界面，可對三維人臉模型的特征信息進(jìn)行多方面調(diào)節(jié)，包括年齡、性別、種族、面部不對稱性甚至可以將生成的三維人臉模型漫畫化，并且可以調(diào)節(jié)生成漫畫人臉的色彩。Modify”|“Texture”界面，為生成的三維人臉模型提供添加面部皮膚紋理的功能。FaceGen的使用

界面介紹“Undo”界面中，“Undo”按鈕可撤銷對三維人臉面部信息的修改編輯，但是不能對紋理或者表達(dá)式進(jìn)行撤銷；

操作說明“Redo”按鈕則可重復(fù)上次撤銷指令，但使用條件是在上次撤銷操作后，不能對三維人臉模型面部進(jìn)行任何修改操作。3.“Undo”界面FaceGen的使用

界面介紹“View”|“Camera”界面可對相機(jī)的遠(yuǎn)近進(jìn)行調(diào)節(jié)，也就可以對三維人臉進(jìn)行放大、縮小的操作?！癛esetCamera”按鈕可對相機(jī)位置進(jìn)行復(fù)原，將相機(jī)位置恢復(fù)到默認(rèn)狀態(tài)。View-Render是對背景的三原色進(jìn)行調(diào)節(jié)，View-Lighting是對面部的三原色進(jìn)行調(diào)節(jié)。4.“View”界面FaceGen的使用5.“Modify”界面“File”|“Face”界面（圖5-20）中，“SaveAs”按鈕可對目前生成的三維人臉模型進(jìn)行保存，“Open”按鈕可以對之前保存的三維人臉模型進(jìn)行導(dǎo)入操作?！癋ile”|“Export”界面（圖5-21）可根據(jù)生成的三維人臉模型進(jìn)行面部、手臂、腿等全身部位的貼圖導(dǎo)出，以及三維人臉形變模型的導(dǎo)出。導(dǎo)出的全身貼圖和三維人臉形變模型將應(yīng)用于真人版3D模型的建立。FaceGen的使用選擇適宜的光線進(jìn)行照片拍攝，如果環(huán)境較暗，可以使用閃光燈進(jìn)行照片拍攝；盡量選擇白色墻面或者單一色調(diào)的環(huán)境進(jìn)行拍攝，這樣可以減少周圍環(huán)境對模型訓(xùn)練的影響；拍攝照片時(shí)，人臉位置應(yīng)在正中央的位置上，并確保正面照片拍攝時(shí)是五官全部露出的狀態(tài)，避免出現(xiàn)FaceGen中提示的錯誤照片形式，如反光、過于夸張的表情、戴眼鏡等非正常面部姿勢，側(cè)面拍照亦是如此。盡量根據(jù)FaceGen提示框中人物位置、姿勢去拍攝自己的正側(cè)面照片。1.人臉正側(cè)面圖片拍攝及處理FaceGen實(shí)現(xiàn)3D人臉重建2.人臉正側(cè)面圖片上傳及三維人臉模型訓(xùn)練

下圖是進(jìn)行上傳的人臉正側(cè)面圖片，如果想對拍攝的照片進(jìn)行修飾與優(yōu)化，可以使用Photoshop對人臉照片進(jìn)行編輯和完善。FaceGen實(shí)現(xiàn)3D人臉重建

選擇的人臉正、側(cè)面圖片組合為“正面-左側(cè)面”，單擊“LoadImage”按鈕進(jìn)行面部圖片上傳，單擊“Next”按鈕，進(jìn)入三維人臉模型訓(xùn)練過程。

圖中右上方的人物面部提示對上傳的正側(cè)面人臉圖片進(jìn)行特征點(diǎn)標(biāo)記。如果上傳多張圖片，將對每張圖片中的人臉面部進(jìn)行特征點(diǎn)標(biāo)記。FaceGen實(shí)現(xiàn)3D人臉重建人臉正側(cè)面圖片上傳人臉正面圖片特征點(diǎn)選擇

單擊“Create”按鈕，進(jìn)行三維人臉模型訓(xùn)練；三維人臉模型訓(xùn)練完成后，在界面左側(cè)框中顯示訓(xùn)練結(jié)果，在“Modify”|“Demographics”界面可對訓(xùn)練后的三維人臉模型進(jìn)行調(diào)整。FaceGen實(shí)現(xiàn)3D人臉重建人臉側(cè)面圖片特征點(diǎn)選擇訓(xùn)練3D人臉模型FaceGen實(shí)現(xiàn)3D人臉重建3D人臉模型特征調(diào)節(jié)

三維人臉模型訓(xùn)練完成后，在界面左側(cè)框中顯示訓(xùn)練結(jié)果，在“Modify”|“Demographics”界面可對訓(xùn)練后的三維人臉模型進(jìn)行調(diào)整。導(dǎo)出模型貼圖導(dǎo)出結(jié)果存儲路徑將三維人臉模型調(diào)節(jié)至與人臉照片相似時(shí)，可以將生成的三維人臉模型保存并導(dǎo)出三維人臉形變模型以及全身貼圖。導(dǎo)出后的結(jié)果為三維人臉形變模型的存儲路徑；為根據(jù)三維人臉模型生成的全身貼圖的存儲路徑。選擇“File”|“Export”|“Genesis8”|“Female/Male”，進(jìn)入導(dǎo)出界面，將模型命名為“Demo”，單擊“Export”按鈕，導(dǎo)出并保存三維人臉形變模型以及全身貼圖。導(dǎo)出路徑導(dǎo)出路徑為DAZStudio的數(shù)據(jù)庫，需要結(jié)合DAZStudio的安裝與使用完成該操作，如果還未安裝DAZStudio，請先學(xué)習(xí)DAZStudio的安裝與使用。導(dǎo)出模型保存設(shè)置1模型貼圖2保存位置真人版3D模型制作二DAZStudio是DAZ3D公司出品的一款用于3D人物模型創(chuàng)建和渲染的軟件。起初，DAZ3D公司是為Poser開發(fā)大量可編輯三維人物造型庫，在逐漸積累造型庫開發(fā)的技術(shù)與經(jīng)驗(yàn)后，DAZ3D公司推出了一款專業(yè)的三維人物動畫設(shè)計(jì)軟件DAZStudio，自此專注于3D內(nèi)容的發(fā)展，將內(nèi)容與3D開發(fā)愛好者關(guān)聯(lián)起來，創(chuàng)建了產(chǎn)銷合一的市場，逐漸擴(kuò)大自己的3D軟件產(chǎn)品。DAZStudioDAZStudioDAZStudio包含從基本角色和姿勢到初學(xué)者的教程，入門容易，操作簡便。無需建模基礎(chǔ)，即使作為一名新手，也可以通過導(dǎo)入人物模型，輕松裝扮3D人物角色，創(chuàng)造出很有質(zhì)感的3D人物模型。無論您是初學(xué)者，還是精通3D的藝術(shù)家，亦或是3D動畫師，DAZStudio都能讓您輕松創(chuàng)造出令人驚嘆的3D藝術(shù)。DAZStudio不僅支持本身的DZ格式，還集成了FBX，OBJ，Dae多種導(dǎo)出格式，方便導(dǎo)入Maya，3DMax，C4D，Unity3D。這一優(yōu)勢使DAZStudio可以實(shí)現(xiàn)多軟件交互，開發(fā)更精準(zhǔn)。入門容易使用簡便DAZStudio功能強(qiáng)大多軟件交互開發(fā)更精準(zhǔn)軟件優(yōu)勢提供3D人物創(chuàng)建高級平臺及渲染效果DAZStudio所提供的3D人物模型創(chuàng)建平臺是全新的Genesis系列數(shù)字平臺。Genesis系統(tǒng)為用戶提供創(chuàng)建數(shù)字變化的“無限集合”。DAZStudio采用DNASOFT公司的渲染技術(shù)，并支持業(yè)界著名的Renderman渲染器，從而提升渲染速度，增強(qiáng)渲染質(zhì)量。軟件功能可編輯的骨骼系統(tǒng)DAZStudio擁有可以編輯的骨骼系統(tǒng)，大部分操作可以通過參數(shù)面板修改參數(shù)來控制人物模型的細(xì)節(jié)生成。如圖展示為3D人物模型的身材參數(shù)控制面板，用戶可以根據(jù)自己的需求，調(diào)節(jié)參數(shù)控制面板，將3D人物模型身材調(diào)節(jié)為理想模式。軟件功能服飾發(fā)型變化可改變的材質(zhì)屬性DAZStudio允許用戶改變材質(zhì)的屬性，可編輯的材質(zhì)屬性包括表面顏色，表面貼圖，凹凸貼圖，透明貼圖，位移貼圖等。軟件功能獨(dú)特的藝術(shù)和動畫設(shè)計(jì)工具DAZStudio中為用戶提供虛擬人物、動物、道具、車輛、配件、環(huán)境等元素，用戶可以根據(jù)需求選擇相應(yīng)主題、設(shè)置以及配置元素。完成主題設(shè)置，元素選擇后，結(jié)合光線效果設(shè)置，就可以創(chuàng)造出美麗的藝術(shù)品。軟件功能多軟件交互DAZStudio的安裝首先安裝DAZInstallManagerDAZStudio的安裝

在桌面雙擊DAZInstallManager應(yīng)用程序圖標(biāo)，打開DAZInstallManager應(yīng)用窗口。出現(xiàn)的是登錄界面，在界面中輸入相應(yīng)郵箱號（如“AIrobot@”），并勾選“WorkOffline”（離線登錄），單擊“Start”按鈕，進(jìn)入DAZInstallManager。1.DAZManager的配置及使用DAZInstallManager登錄界面DAZStudio的安裝DAZStudio存儲路徑第一路徑：下載的素材安裝包的存放路徑第二路徑：素材安裝包的安裝路徑文件名稱可以根據(jù)自己的風(fēng)格進(jìn)行設(shè)置。在D盤創(chuàng)建名為“Daz”的文件夾，在“Daz”文件夾中創(chuàng)建“ku”和“xiazai”兩個文件夾。“xiazai”文件夾中存放的是素材安裝包，“ku”文件夾則作為素材安裝包的安裝路徑，也是DAZStudio的素材庫。DAZStudio的安裝

路徑設(shè)置完成后，需要對DAZInstallManager的文件路徑進(jìn)行配置?！霸O(shè)置”|“Downloads”，將PackageArchive的路徑設(shè)置為“D:/Daz/xiazai”，也就是素材安裝包的存放路徑。DAZStudio的安裝“設(shè)置”|“Installation”，在下方的庫目錄路徑中，單擊“+”按鈕，增加“D:/Daz/ku”路徑，并將原始路徑刪除，僅留下我們建立的新路徑。單擊“Accept”，應(yīng)用設(shè)置，完成路徑配置。FaceGen中的全身貼圖保存路徑也是“D:/Daz/ku”，通過FaceGen生成的3D模型全身貼圖和三維人臉形變模型都保存到DAZStudio的素材庫中，以便在DAZStudio中使用，生成真人版3D模型。完成DAZStudio的安裝后，可在FaceGen導(dǎo)出界面進(jìn)行三維人臉形變模型以及全身貼圖的導(dǎo)出操作。素材安裝包安裝路徑設(shè)置DAZStudio的安裝本書提供“Materialpackage”文件夾中包含開發(fā)所需素材及安裝包，將其拷貝到“D:/Daz/xiazai”目錄文件夾中。刷新或重啟DAZInstallManager軟件后，界面將顯示載入的素材安裝包。選中“Products”選擇框，選擇所有的安裝包，單擊“StartQueue”按鈕進(jìn)行DAZStudio4.12以及素材安裝包的安裝。DAZStudio的安裝2.DAZSTUDIO的配置及使用DAZStudio4.12以及素材包通過DAZInstallManager進(jìn)行安裝。DAZInstallManager執(zhí)行完成所有安裝包安裝任務(wù)后，可在桌面看到DAZStudio4.12的圖標(biāo)。DAZStudio4.12DAZStudio的安裝

在桌面雙擊DAZStudio應(yīng)用程序圖標(biāo)，打開DAZStudio應(yīng)用窗口。出現(xiàn)“登錄”對話框。在登錄界面中，選擇離線模式（WorkOffline）。打開DAZStudio后，還會要求登錄，再次選擇離線模式（WorkOffline），單擊“Next”按鈕，可進(jìn)行昵稱輸入。勾選“Donotshowthisagain”選擇框，下次進(jìn)入軟件時(shí)，就不會再彈出登錄界面。DAZStudio4.12登錄界面DAZStudio的安裝修正庫路徑，選擇“Edit”|“Preferences”或直接按“F2”鍵，進(jìn)入Preferences界面。選擇“Preferences”|“Content”，單擊“ContentDirectoryManager”按鈕。庫路徑修正界面DAZStudio的安裝進(jìn)入ContentDirectoryManager界面，這里有四個目錄：第一個為系統(tǒng)默認(rèn)目錄，無需修改；單擊側(cè)邊欄“Add”按鈕，在其中添加“D:/Daz/ku”路徑，此路徑與DAZInstallManager設(shè)置的庫目錄路徑一致即可。在修改路徑的三個目錄中，出現(xiàn)的其他路徑可以進(jìn)行刪除操作也可以保留。單擊“Accept”按鈕，返回Preference界面，單擊“Apply”按鈕完成庫路徑修改設(shè)置。庫路徑配置界面DAZStudio的使用DAZStudio素材庫中包含基礎(chǔ)人物、服飾、姿態(tài)以及場景，使用部分主要對人物、服飾以及基礎(chǔ)操作進(jìn)行介紹。（1）人物、服飾首先在界面左側(cè)邊框選擇“ContentLibrary”，這里展示的素材都是通過DAZInstallManager進(jìn)行安裝的素材包，其中包含人物（People）、場景（Scenes）、環(huán)境（Environments）、燈光預(yù)設(shè)（LightPresets）等。DAZStudio界面DAZStudio的使用人物（People）中又包含了男性和女性的素材庫，最為常用的是“Genesis8Female/Male”素材庫。以Genesis8Female為例，該庫中包含了女性人物角色（Characters）、服裝（Clothing）、發(fā)型（Hair）以及動作（Poses）等。

人物素材庫Genesis8Female人物素材庫DazStudio的使用選擇“Genesis8Female”|“Characters”，展示人物角色，雙擊其中任一角色，可將3D人物角色載入“Viewport”。單擊人物，選擇“Clothing”|“BasicWear”，雙擊服飾就可為3D人物穿上這套服裝。為人物增加發(fā)型的操作與穿衣操作一直，我們選擇Hair-ToulouseHair，雙擊發(fā)型可為3D人物增加發(fā)型裝飾。增加發(fā)型裝飾DazStudio的使用更換人物發(fā)色的操作：首先進(jìn)入界面右上方場景面板，選中的人物角色節(jié)點(diǎn)“VWEAsianCho”，雙擊打開。選擇“VWEAsianCho”|“ToulouseHair”，在“ToulouseHair”|“Materials”|“ToXic”|“Hair01”，雙擊選擇發(fā)色，完成人物發(fā)色的更換。服飾顏色及材質(zhì)的更換也是如此，首先需要在人物節(jié)點(diǎn)中選中需要進(jìn)行顏色或材質(zhì)更換的服裝，再雙擊選擇更換的材質(zhì)顏色，進(jìn)行服裝顏色更換。DazStudio的使用以Genesis8Female的人物角色更換Genesis3Female中的服飾作為示例進(jìn)行詳細(xì)介紹。首先選擇人物角色節(jié)點(diǎn)“VWEAsianCho”，選擇“Genesis3Female”|“Clothing”|“DarkStorm”，雙擊服飾，出現(xiàn)“Auto-Fit”對話框。“Auto-Fit”對話框可以根據(jù)用戶回答，對不同的基礎(chǔ)模型進(jìn)行素材的自動適配。不同角色服飾自動適配DazStudio的使用“Auto-Fit”對話框中，“Whatfigurewastheitemoriginallydesignedfor?”是詢問適配的基礎(chǔ)人物，選擇該素材的原本適配人物，這里選擇Genesis3Female；“Whattypeofitemisit?”是詢問該素材的類型，這里選擇“Full-Body”，單擊“Accept”按鈕進(jìn)行應(yīng)用。選擇不同基礎(chǔ)角色、不同類型的服飾都可以通過“Auto-Fit”自適應(yīng)素材修正框中進(jìn)行自動適配。服飾自動修正后的人物角色整體展示如圖。服裝適配后的人物角色展示DazStudio的使用快捷鍵實(shí)現(xiàn)功能Ctrl+Alt+鼠標(biāo)左鍵旋轉(zhuǎn)視圖Ctrl+Alt+鼠標(biāo)右鍵移動視圖鼠標(biāo)滑輪縮放視圖Ctrl+↑/↓/←/→人物后視圖/前視圖/右視圖/左視Alt+↑/↓人物頂視圖/底視圖W/S/A/D前進(jìn)/后退/左移/右移視圖I/K/J/L前進(jìn)/后退/左移/右移攝像機(jī)Ctrl+1/2/3/4/5/6/7/8/9/0切換顯示模式Ctrl+F定位所選對象Ctrl+P默認(rèn)透視視圖Ctrl+L開/關(guān)燈DAZStudio快捷鍵：DazStudio的使用PerspectiveView（圖左）可以進(jìn)行視圖選?。伙@示模式（圖右），可進(jìn)行顯示模式切換。面板圖標(biāo)：顯示模式切換操作DazStudio的使用

3D人物模型的渲染、保存與導(dǎo)出：3D人物模型渲染操作，選擇“Render”|“Render”（Ctrl+R），進(jìn)行渲染。因?yàn)闆]有加入燈光，所以渲染結(jié)果展示圖中人物皮膚有些發(fā)黑。渲染圖片取名為“Demo”，單擊“Save”按鈕，即可保存渲染圖片。3D人物模型渲染操作

渲染結(jié)果展示DazStudio的使用制作好的模型保存步驟為：“Genesis8Female”|“Characters”，單擊Characters面板下方“+”按鈕，選擇“CharactersPreset…”，進(jìn)行命名，單擊“保存”按鈕，在“CharactersPresetSaveOpti…”彈出框中單擊“Accept”按鈕，完成模型保存。可在Characters面板中看到保存模型的預(yù)覽圖，保存模型的目的是方便在DAZStudio直接取用制作好的模型，并可對該模型進(jìn)行使用和修改。DazStudio的使用DAZStudio模型保存：DAZStudio所建立的3D模型可導(dǎo)出為FBX形式，具體操作為：選擇“File”|“Export”，對模型進(jìn)行命名，單擊“保存”按鈕，導(dǎo)出FBX模型。FBX模型可以更好地應(yīng)用于其他軟件中。DazStudio生成真人3D版模型選擇“Genesis8Female”|“Genesis8BasicFemale”，雙擊“Genesis8BasicFemale”導(dǎo)入Genesis8Female基礎(chǔ)人物角色，并選擇服裝和發(fā)型。服裝選擇路徑為“Genesis8Female”|“Clothing”|“Crocodile”|“Hanfu”，為基礎(chǔ)人物角色選擇漢服服裝，服裝可以更換顏色和材質(zhì)，具體操作請見DAZStudio的使用。1.Genesis8Female基礎(chǔ)人物角色導(dǎo)入Genesis8Female基礎(chǔ)模型完成服飾與發(fā)型的選擇發(fā)型選擇“Genesis8Female”|“Hair”|“ToulouseHair”，選擇人物節(jié)點(diǎn)“Genesis8Female”|“ToulouseHair”，并在“Genesis8Female”|“Hair”|“Materials-ToXic”雙擊選擇“Hair01”，改變?nèi)宋锇l(fā)色。DazStudio生成真人3D版模型人物發(fā)色更換基礎(chǔ)人物模型展示2.導(dǎo)入FaceGen生成的三維人臉形變模型在場景面板中選擇人物節(jié)點(diǎn)“Genesis8Female”，右下方編輯控制界面中，側(cè)邊選擇“Shaping”，進(jìn)入Shaping面板，在搜索框中搜索“Demo”，單擊“Head”，右側(cè)邊欄中“Demo”的展示條顯示為“0”，將其拉到“100%”，Genesis8Female基礎(chǔ)人物模型載入“Demo”三維人臉形變模型。DazStudio生成真人3D版模型三維人臉形變模型導(dǎo)入操作DAZStudio模型保存：載入“Demo”三維人臉形變模型后的3D人物模型展示，相比較照片人物的真實(shí)度略低，下一步將載入FaceGen生成的三維模型全身貼圖。DazStudio生成真人3D版模型導(dǎo)入三維人臉形變模型人物模型展示3.導(dǎo)入FaceGen生成的全身貼圖界面右下方編輯控制界面中，選擇“Surface面板”|“Genesis8Female”|“Surface”|“Face”|“BaseColor”，單擊貼圖框，出現(xiàn)選擇列表，單擊“Browse”進(jìn)行面部貼圖選擇。FaceGen全身貼圖導(dǎo)出的位置為“D:\DAZ\ku\Runtime\Textures\FaceGen\Genesis8F\Demo\Demo_*”，根據(jù)貼圖存儲路徑進(jìn)入“Demo”文件夾，選擇其中的臉部貼圖“Demo_face.jpg”，單擊“打開”按鈕，基礎(chǔ)角色的Face就被賦予通過FaceGen生成的面部貼圖。DazStudio生成真人3D版模型人物面部貼圖操作選擇面部貼圖除了Fa