2023數(shù)字虛擬人賦能產(chǎn)業(yè)的起點(diǎn)

數(shù)字虛擬人賦能產(chǎn)業(yè)的起點(diǎn)PAGEPAGE6目錄目錄目錄1、虛擬人概覽7虛擬人定義 7虛擬人分類92、虛擬人技術(shù)12虛擬人發(fā)展歷史虛擬人分類92、虛擬人技術(shù)12真人驅(qū)動與計算機(jī)驅(qū)動20視覺制作技術(shù) 真人驅(qū)動與計算機(jī)驅(qū)動203、虛擬人應(yīng)市場3、虛擬人應(yīng)市場商業(yè)式 26演進(jìn) 27市場規(guī)模演進(jìn) 27虛擬分身 42虛擬偶像虛擬分身 42494、產(chǎn)業(yè)鏈及相關(guān)公司48多模態(tài)助手494、產(chǎn)業(yè)鏈及相關(guān)公司48多模態(tài)助手定義：數(shù)字虛擬人是擁有數(shù)字化外形的虛擬人物定義：數(shù)字虛擬人是擁有數(shù)字化外形的虛擬人物PAGE7PAGE7數(shù)字虛擬人的廣義定義為數(shù)字化外形的虛擬人物，具有“虛擬”（存在于非物理世界中）+“數(shù)字”（由計算機(jī)圖形學(xué)、圖形染、動作捕捉、深度學(xué)習(xí)、語音合成等計算機(jī)手段創(chuàng)造及使用）+“人”（具有多重人類特征，如外貌、人類表演/交互能力等）的綜合產(chǎn)物。打破物理界限提供擬人服務(wù)與體驗(yàn)是其核心價值。實(shí)現(xiàn)場景角度，目前以圖片、視頻、直播等為主，未來VR設(shè)備/全息投影有望為數(shù)字虛擬人在現(xiàn)實(shí)世界的投射提供更豐富的道具和軟硬件基礎(chǔ)。由于各場景時延（如直播等實(shí)時場景要求低時延，但內(nèi)容生成場景無該要求）、驅(qū)動方式（計算驅(qū)動對模型的深度學(xué)習(xí)能力有極高要求）等不同，對技術(shù)、運(yùn)營等要求差異較大。技術(shù)角度，數(shù)字虛擬人近年的發(fā)展來源于CG、語音識別、圖像識別、動捕等相關(guān)技術(shù)的共同成熟，除CG建模+真人驅(qū)動的類別外，多模態(tài)技術(shù)與深度學(xué)習(xí)成為未來核心點(diǎn)。（外貌形象、行為表情、交互的擬人程度）為用戶帶來的親切感、參與感、互動感與沉浸感是多數(shù)消費(fèi)者的核心使用動力。能否提供足夠自然逼真的相處體驗(yàn)，是數(shù)字虛擬人在各個場景中取代真人重要標(biāo)準(zhǔn)。圖表：廣義數(shù)字虛擬人核心要素未來VR設(shè)備與全息投影成為重要趨勢不同場景實(shí)現(xiàn)難度不同虛擬未來VR設(shè)備與全息投影成為重要趨勢不同場景實(shí)現(xiàn)難度不同虛擬目前以圖片、視頻、實(shí)時直播、實(shí)時動畫等方式存在于電子屏中，如APP、小程序、軟硬一體顯示設(shè)備化交互行為外表和交互已成為核心發(fā)展路線人外表多模態(tài)技術(shù)與深度學(xué)習(xí)為未來技術(shù)發(fā)展核心點(diǎn)相關(guān)技術(shù)成熟成為重要推動力化交互行為外表和交互已成為核心發(fā)展路線人外表多模態(tài)技術(shù)與深度學(xué)習(xí)為未來技術(shù)發(fā)展核心點(diǎn)相關(guān)技術(shù)成熟成為重要推動力數(shù)字CG、語音識別、圖像識別、動捕（真人驅(qū)動）等相關(guān)技術(shù)相對成熟數(shù)字虛擬人與現(xiàn)實(shí)世界的交互水平，會受到語音識別能力、自然語言理解及處理水平、知識圖譜、預(yù)先設(shè)置知識庫等影響面部表情、形體表達(dá)、語音表述等。會受到驅(qū)動方式（真人驅(qū)動、計算驅(qū)動、預(yù)制調(diào)節(jié)等）、驅(qū)動模型類別（精細(xì)肌肉驅(qū)動等）、訓(xùn)練數(shù)據(jù)、驅(qū)動模型精度等影響面部長相和整體形象。會受到數(shù)字虛擬人類別（如真人形象、高保真建模、風(fēng)格化）、制作細(xì)節(jié)（汗毛等細(xì)節(jié)建模）、渲染水平、設(shè)計審美等影響定義：廣義與狹義數(shù)字虛擬人核心差別在對“交互”的要求定義：廣義與狹義數(shù)字虛擬人核心差別在對“交互”的要求PAGE8PAGE8圖表：數(shù)字人、虛擬人、數(shù)字虛擬人釋義類別定義存在形式形象特征身份設(shè)定人格設(shè)定代表形象存在于非物理空間擬人化人物虛構(gòu)可以與現(xiàn)實(shí)人類進(jìn)行交互數(shù)字形象計算機(jī)等技術(shù)制作，以非物理空間展現(xiàn)√皮卡丘（任天堂，90S）游戲/動畫形象二次元形象，無人類外觀，擬人化程度低數(shù)字人（廣義數(shù)字虛擬人）強(qiáng)調(diào)形象擬人化，身份設(shè)定可以有現(xiàn)實(shí)人物對照，也可以純虛構(gòu)；對交互能力無嚴(yán)格要求√√迪麗冷巴（嘉行/次世文化，2018）漫畫形式人類外觀，人物身份真實(shí)，無法交互虛擬人強(qiáng)調(diào)身份虛構(gòu)，在現(xiàn)實(shí)社會中無人物直接映射，對交互能力無嚴(yán)格要求√√√AYAYI（燃麥科技，2021）社交賬號，以靜態(tài)圖片為主人類外觀，人物身份虛構(gòu)，無法交互數(shù)字虛擬人（狹義）強(qiáng)調(diào)人類交互：一是人的外觀，特定的相貌、性別和性格等；二是人的行為，語言、表情和肢體動作表達(dá)能力；三是人的思想，具有識別外界環(huán)境、并能與人互動的能力√√√DigiDoug（數(shù)字王國，2019）實(shí)時捕捉等技術(shù)，第一位登上TED虛擬人人類外觀，人物身份真實(shí)，可交互分類：類別多樣分類：類別多樣請務(wù)必閱讀附注中的免責(zé)條款PAGE請務(wù)必閱讀附注中的免責(zé)條款PAGE9圖形資源維度3D2D外形擬人程度風(fēng)格/卡通寫實(shí)/圖形資源維度3D2D外形擬人程度風(fēng)格/卡通寫實(shí)/擬人超寫實(shí)形態(tài)展現(xiàn)交互動態(tài)靜態(tài)

柳夜熙

嘉然2020

IMMA2019

央視小C2021 初音未來

迪麗冷巴2018

miquela2016 外觀外觀非交互真人驅(qū)動計算機(jī)驅(qū)動非交互真人驅(qū)動計算機(jī)驅(qū)動技術(shù)應(yīng)用虛擬分身虛擬IP、虛擬偶像/直播有人格：身份型深度交互：多模態(tài)個性化服務(wù)簡單交互：替代真人標(biāo)準(zhǔn)服務(wù)無人格：服務(wù)型動捕等基礎(chǔ)PGC生產(chǎn)微軟小冰2014 虛擬“鄧麗君”2020虛擬分身虛擬IP、虛擬偶像/直播有人格：身份型深度交互：多模態(tài)個性化服務(wù)簡單交互：替代真人標(biāo)準(zhǔn)服務(wù)無人格：服務(wù)型動捕等基礎(chǔ)PGC生產(chǎn)

AYAYI2021

洛天依2012

ZEPETO2018

新小微2020

SK-IIYumi2019發(fā)展歷史圖表：發(fā)展歷史發(fā)展歷史圖表：發(fā)展歷史PAGE10PAGE10探索階段（2000-2016）探索階段（2000-2016）萌芽階段（1980S-1990S）階段開始嘗試將虛擬人物引入到現(xiàn)實(shí)世界，技術(shù)以手繪為主 傳統(tǒng)手繪正逐漸被CG、動作捕捉等計算機(jī)技術(shù)取代，語音合成技術(shù)得以發(fā)展。階段形象形象手繪 真人特效化妝+

CG

全數(shù)字、3D人物形象：CG2.5D半全息透明

3DOCALOI3語繪 現(xiàn)場表演為播放

術(shù)合成；人物聲音：屏播放3D影像（需

（

音合成，聲源是山技術(shù)20122011201技術(shù)201220112010200720022001199819841982

VOCALOID1系列合成

能特定角度觀看

形象

新，形象由MOTH投稿設(shè)計，經(jīng)ideolo改編整合后完成誕生動畫《超時空要塞》女主角，被制并制作音樂專輯誕生

由George創(chuàng)作而生

BlurDamonAlbarnJamieeett共同創(chuàng)立

中的角色

我國首部全數(shù)字的主人公

由Crypton語音合成程序?yàn)榛A(chǔ)開發(fā)的音源庫

初音未來成為了的虛擬偶像

第一中文聲庫和虛擬形象人物事件

世界首位虛擬電影演員”MaxHeadroom

英國虛擬樂隊(duì)Goillaz

世界首個虛擬電生。

女“青娜”

初音未來“誕生。

行第二場演唱會

行第四場演唱會

中國內(nèi)地虛擬女生影響專輯成功打入當(dāng)行榜Oicon影響

出演一部電影，英國家喻戶曉

發(fā)布7年獲英國《GQ》年度人物年度樂隊(duì)

技術(shù)被《加勒比起》等電影采用

體現(xiàn)中國數(shù)字制效益不盡如人意

全球大火，活躍等2500張門票短時間售罄，演唱日當(dāng)晚有超過3費(fèi)網(wǎng)絡(luò)直播觀看

預(yù)售票2周內(nèi)售罄，到場人數(shù)達(dá)6000人

推出后大火，進(jìn)行廣告代言、MV演出等活動井噴式發(fā)展階段（2019至今）井噴式發(fā)展階段（2019至今）高速發(fā)展階段（2016-2018）形象階段深度學(xué)習(xí)算法和AI技術(shù)取得突破，數(shù)字人制作過程得以簡化。 朝著智能化、便捷化、精細(xì)化、多樣化發(fā)展，技術(shù)全面提升與突破形象階段技術(shù)3D技術(shù)CG、面部捕捉XR、全息投影

360°全息影像

高精度的實(shí)時自然語言處理、CoreR3技術(shù) 超寫實(shí)虛擬人，高效人臉制虛擬人技術(shù)，202202220212021202020192019201820182018201820162016誕生發(fā)布第而出現(xiàn)誕生

等擁有12人設(shè)計團(tuán)隊(duì)

技術(shù) 技2018年《英雄聯(lián)盟》S8決賽閉幕式會場上以虛擬女團(tuán)身份首次亮相

動作捕捉與渲染可實(shí)時交互的高保真數(shù)字人物騰訊游戲旗下NExTStudios冰潔。

形合成、表情合成、深度學(xué)習(xí)等新華社與搜狗聯(lián)合發(fā)布的合成主播”

套裝、機(jī)器學(xué)習(xí)實(shí)時渲染（由NVIDIARTX和虛擬引擎完成）數(shù)字王國軟件研發(fā)部負(fù)責(zé)人DougRoble在TED了自己的數(shù)字虛擬人DigiDoug

語音識別、計算機(jī)視覺等人工智能技術(shù)度聯(lián)合開發(fā)。

STARLabs（三星）

不以2D存在而是制作出短視頻創(chuàng)壹視頻的特視野

管線xFaceBuilder，將建模、綁定、動畫三個環(huán)節(jié)納入一體由新華社和騰實(shí)數(shù)字虛擬人

機(jī)器學(xué)習(xí)加持下的高階渲染系統(tǒng)MystiqueLive人物人物事件

vmodel“Lilmiquela

K/DA英雄聯(lián)

邁克爾·全息演唱會Siren（塞壬）世界首位全仿真智能AI主持人新小浩“誕生

作的數(shù)字虛擬人”DigiDoug“誕生

員工“小浦”

“NEON生

創(chuàng)壹視頻的特熙首個視頻

全球首位數(shù)字者“小諍”

由數(shù)字王國制影響正式確主播Vtuber影響

量代言，累計ins數(shù)百萬粉絲

首支單曲《POP/STARS》MV在Youtube上，播放量超1億。

票房過10金

高還原度媲美術(shù)的無限想象

用戶輸入文本報聲音同步

可在照片寫實(shí)及展現(xiàn)

擁有近似真人的能力

仿真虛擬人在短視頻上首次嘗試，首個視頻發(fā)布不到30粉絲數(shù)漲至130萬

在沒有原型演生產(chǎn)提供基礎(chǔ)

與周深同臺演繹《漫步人生技術(shù)：視覺制作層面建模、動技術(shù)：視覺制作層面建模、動/面捕捉、渲染為核心制作技術(shù)環(huán)節(jié)PAGEPAGE12數(shù)字虛擬人的制作涉及眾多技術(shù)領(lǐng)域，且制作方式尚未完全定型，《2020年數(shù)字虛擬人發(fā)展白皮書》總結(jié)出在“數(shù)字虛擬人通用系統(tǒng)框架”，包含任務(wù)形象、語音生成模塊、動畫生成模塊、音視頻合成顯示模塊以及交互模塊。在此基礎(chǔ)上提煉出五橫兩縱的技術(shù)架構(gòu)?！拔鍣M”是指用于數(shù)字人制作、交互的五大技術(shù)模塊，即人物生成、人物表達(dá)、合成顯示、識別感知、分析決策等模塊。其中，人物表達(dá)包括語音生成和動畫生成，動畫生成則包含驅(qū)動（動作生成）和渲染兩大部分?！皟煽v”是指2D、3D數(shù)字人，3D數(shù)字人需要額外使用三維建模技術(shù)生成數(shù)字形象，信息維度增加，所需的計算量更大。數(shù)字虛擬人視覺制作部分的工業(yè)化流程，涵蓋了建模、骨骼綁定、動捕、面捕、渲染、材質(zhì)解算等各個環(huán)節(jié)。2D數(shù)字人3D數(shù)字人知識庫、對話管理等分析決策人物建模綁定等無2D數(shù)字人3D數(shù)字人知識庫、對話管理等分析決策人物建模綁定等無人物生成人物形象語音語義識別、人臉識別、動作識別等識別感知語言生成模塊動畫生成模塊交互模塊通用框架終端顯示技術(shù)合成顯示音視頻合成顯示模塊語音生成、動畫生成（驅(qū)動、渲染）等人物表達(dá)實(shí)時渲染離線渲染渲染人體動態(tài)三維重建光場成像光學(xué)動捕技術(shù)核心動態(tài)建模動捕建模慣性動捕計算機(jī)視覺動捕模列建建技術(shù)層面技術(shù)層面——建模：相機(jī)陣列掃描靜態(tài)重建為主流，動態(tài)光場重建為發(fā)展重點(diǎn)PAGEPAGE13數(shù)字虛擬人建立的第一步需要進(jìn)行前期的形象設(shè)計以及建模。2D數(shù)字虛擬人需要原畫等形象設(shè)計，而3D數(shù)字虛擬人需要額外使用三維建模技術(shù)生成數(shù)字形象，信息維度增加，所需的計算量更大，無論是基于IP或者真人設(shè)計，都需要進(jìn)行面捕以及身體的建模。3D建模技術(shù)目前主要包含靜態(tài)掃描建模以及動態(tài)建模兩類：靜態(tài)掃描建模仍為主流，其中相機(jī)陣列掃描重建快速發(fā)展，目前可實(shí)現(xiàn)毫秒級高速拍照掃描（高性能的相機(jī)陣列精度可達(dá)到亞毫米級），滿足數(shù)字人掃描重建需求，替代結(jié)構(gòu)光掃描重建成為當(dāng)前人物建模主流方式。建模重點(diǎn)發(fā)展方向。海外rt、ogle、Il、Facbk等巨頭公司都在積極展開相關(guān)研究，國內(nèi)清華大學(xué)、商湯科技、華為等也展開了相關(guān)研究，并取得國際水平的同步進(jìn)展。圖表：主要建模技術(shù)概況項(xiàng)目 具體技術(shù)名稱 技術(shù)特點(diǎn) 優(yōu)缺點(diǎn) 國外相關(guān)技術(shù)應(yīng)用及公司 國內(nèi)相關(guān)技術(shù)應(yīng)用及公司項(xiàng)目 具體技術(shù)名稱 技術(shù)特點(diǎn) 優(yōu)缺點(diǎn) 國外相關(guān)技術(shù)應(yīng)用及公司 國內(nèi)相關(guān)技術(shù)應(yīng)用及公司結(jié)構(gòu)光掃描重建

可以實(shí)現(xiàn)0.1

在友好度和適應(yīng)性方面差強(qiáng)產(chǎn)、檢測領(lǐng)域 國際上IR、Ten24等公司已經(jīng)將靜態(tài)重建技術(shù)靜態(tài)重建技術(shù)

完全商業(yè)化，服務(wù)于好萊塢大型影視數(shù)字人目前可實(shí)現(xiàn)毫秒級高速拍照掃描 作可滿足虛擬人掃描重建需求，

凌云光等公司制作的拍照式人體掃描系統(tǒng)也已經(jīng)在電影、游戲、虛擬主播項(xiàng)目中成功應(yīng)用相機(jī)陣列掃描重建

（高性能的相機(jī)陣列精度可達(dá)到當(dāng)前人物建模主流方式亞毫米級）應(yīng)用計算機(jī)視覺/圖形學(xué)技術(shù)，

人體三維動態(tài)數(shù)據(jù)進(jìn)行采集，人體動態(tài)三維重建

可重建高低頻幾何、紋理、材質(zhì)者模型三維運(yùn)動

近年來Micosot、Google、Intel、Facebook中Micosot的108攝像機(jī)MRstudio已經(jīng)在全動態(tài)光場重建 球各大洲均有建設(shè)；Googleelightable系

國內(nèi)清華大學(xué)、商湯科技、華為等光場成像

集合模型重建、動作重建、光照重建的全部功能。和陰影 息技術(shù)層面技術(shù)層面——形象設(shè)計與建模技術(shù)：相機(jī)陣列掃描重建技術(shù)快速發(fā)展請務(wù)必閱讀附注中的免責(zé)條款PAGE請務(wù)必閱讀附注中的免責(zé)條款PAGE14圖表：主要建模技術(shù)概況相機(jī)陣列掃描重建：USCLightStage1/2/3/5/6ICTGraphicLab的PaulDebevec所領(lǐng)導(dǎo)開發(fā)的高保真的三維采集重建平臺系統(tǒng)（2000誕生）。該系統(tǒng)以高逼真度的3D人臉重建為主，并已經(jīng)應(yīng)用于好萊塢電影渲染（LightStage5《本杰明巴頓奇事》《蜘蛛俠3》《阿凡達(dá)》）中。動態(tài)光場重建示意：GoogleRelightable系統(tǒng)將結(jié)構(gòu)光、動態(tài)建模、重光照技術(shù)集成到一起，在一套系統(tǒng)中包含模型重建、動作重建、光照重建的全部功能?？刹蹲搅巳梭w自由視點(diǎn)，重建出幾何模型和反射率圖，并最終實(shí)現(xiàn)了能在任意場景中進(jìn)行合成的視覺效果。技術(shù)層面技術(shù)層面——建模綁定技術(shù)：技術(shù)突破不斷PAGEPAGE152018年，騰訊游戲旗下NExTStudios高保真數(shù)字虛擬人Siren(塞壬)亮相GDC2021年6月，由新華社、騰訊聯(lián)合打造的全球首位數(shù)字航天員、數(shù)字記者“小諍”首次出現(xiàn)新華社數(shù)字視頻中，帶領(lǐng)用戶漫游三大空間站；小諍項(xiàng)目的綁定流程較Siren(塞壬)xFaceBuilder。原有綁定結(jié)構(gòu)分析場景綁定相關(guān)控制器自動隨機(jī)生成海量訓(xùn)練數(shù)據(jù)云端訓(xùn)練圖表：綁定環(huán)節(jié)的技術(shù)革新原有綁定結(jié)構(gòu)分析場景綁定相關(guān)控制器自動隨機(jī)生成海量訓(xùn)練數(shù)據(jù)云端訓(xùn)練創(chuàng)新方法被神經(jīng)網(wǎng)絡(luò)定制節(jié)點(diǎn)所取代連續(xù)關(guān)系圖本地綁定節(jié)點(diǎn)控制參數(shù)面部實(shí)時變形效果用戶調(diào)節(jié)控制參數(shù)神經(jīng)網(wǎng)絡(luò)定制節(jié)點(diǎn)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)精簡，可實(shí)現(xiàn)實(shí)時推理被神經(jīng)網(wǎng)絡(luò)定制節(jié)點(diǎn)所取代連續(xù)關(guān)系圖本地綁定節(jié)點(diǎn)控制參數(shù)面部實(shí)時變形效果用戶調(diào)節(jié)控制參數(shù)神經(jīng)網(wǎng)絡(luò)定制節(jié)點(diǎn)神經(jīng)網(wǎng)絡(luò)實(shí)時推理深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)面部網(wǎng)格形變數(shù)據(jù)大數(shù)據(jù)分析神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)輕便優(yōu)勢操作流程底層技術(shù)新式方法神經(jīng)網(wǎng)絡(luò)實(shí)時推理深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)面部網(wǎng)格形變數(shù)據(jù)大數(shù)據(jù)分析神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)輕便優(yōu)勢操作流程底層技術(shù)綁定控件綁定速度提升綁定控件修形變形器動畫制作環(huán)節(jié)效率降低軟件交互速度下降場景負(fù)載過重綁定節(jié)點(diǎn)圖多且復(fù)雜傳統(tǒng)方法修形變形器動畫制作環(huán)節(jié)效率降低軟件交互速度下降場景負(fù)載過重綁定節(jié)點(diǎn)圖多且復(fù)雜PAGEPAGE16技術(shù)層面——驅(qū)動技術(shù)：智能合成、動作捕捉為虛擬人主流動作生產(chǎn)方式驅(qū)動動作技術(shù)包括手動調(diào)節(jié)關(guān)鍵幀、預(yù)制動作、動作捕捉、智能合成（文字/語音驅(qū)動）等。手動調(diào)整動畫關(guān)鍵幀與預(yù)制動作（類似MMD）無法實(shí)現(xiàn)實(shí)時互動。智能合成：其中2D、3D數(shù)字人均已實(shí)現(xiàn)嘴型動作的智能合成，其他面部/身體部位的動作智能合成未能完全實(shí)現(xiàn)。動捕：通過將捕捉采集的動作遷移至數(shù)字虛擬人是目前動作生成主要方式，核心技術(shù)是動作捕捉?？煞譃楣鈱W(xué)式、慣性式及計算機(jī)視覺動捕等?，F(xiàn)階段光學(xué)式和慣性式動捕占據(jù)主導(dǎo)。計算機(jī)視覺動捕雖然相對開發(fā)難度大，目前精度較低，但就成本/對環(huán)境要求低，可移動范圍大，使用場景想象力較大，目前已有消費(fèi)級應(yīng)用（部分VR設(shè)備采用），成為聚焦熱點(diǎn)。圖表：主要驅(qū)動技術(shù)概況

圖表：主要捕捉技術(shù)特性對比項(xiàng)目精度抗遮擋對環(huán)境要求硬件成本算法開發(fā)難度光學(xué)動捕高低高高中慣性動捕低高低中低計算機(jī)視覺動捕低低低低高項(xiàng)目 分類 技術(shù) 優(yōu)缺點(diǎn) 國外相關(guān)技術(shù)及公司 國內(nèi)相關(guān)技術(shù)及公司項(xiàng)目 分類 技術(shù) 優(yōu)缺點(diǎn) 國外相關(guān)技術(shù)及公司 國內(nèi)相關(guān)技術(shù)及公司智能合成

嘴型動作

建立輸入文本到輸出音頻與輸出視覺信息的關(guān)聯(lián)映射，主要是對已采集到的文本到語音和嘴型視頻（2D）/嘴型動畫（3D）的數(shù)據(jù)進(jìn)行模已實(shí)現(xiàn)智能合成型訓(xùn)練，得到輸入任意文本都可以驅(qū)動嘴型的模型，通過模型智能合成

Reallusion公司研究的利用語音生成面部表情Craytalk

搜狗相芯科技等公司也有部 技術(shù)已在動畫制作中被成功分項(xiàng)目落地應(yīng)用嘴型之外其他動作

本策略將預(yù)錄好的視頻3動作進(jìn)行循環(huán)播放來實(shí)現(xiàn)，觸發(fā)策略是通過人手動配置得到的

尚未實(shí)現(xiàn)智能合成，未來希望通過商用智能分析文本，學(xué)習(xí)人類的表達(dá)，實(shí)現(xiàn)自動配置光學(xué)動捕 通過對目標(biāo)上特定光點(diǎn)的監(jiān)視和跟蹤來完成運(yùn)動捕捉的任務(wù) 造價高昂，捕捉精度高 英國的Vicon，美國的OptiTrack（NP）和魔神

Nokov、uSens、青瞳視覺等慣性動捕基于慣性測量單元IM慣性動捕基于慣性測量單元IMU來完成對人體動作捕捉，即把集成了加速度計價格相對低廉，精度較低，會隨著陀螺儀和磁力計的IMU綁在人體的特定骨骼節(jié)點(diǎn)上，通過算法對測量連續(xù)使用時間的增加產(chǎn)生累積誤差荷蘭的sens數(shù)值進(jìn)行計算，從而完成動作捕捉 發(fā)生位置漂移，抗遮擋力強(qiáng)諾亦騰（Noitom）、幻境、國承萬通等。計算機(jī)視覺動捕 由多個高速相機(jī)從不同角度對目標(biāo)進(jìn)行監(jiān)視和跟蹤 簡單、易用、硬件成本較低 LeapMotion、微軟inect技術(shù)層面技術(shù)層面——驅(qū)動技術(shù)：計算機(jī)視覺動捕成熱點(diǎn)請務(wù)必閱讀附注中的免責(zé)條款PAGE請務(wù)必閱讀附注中的免責(zé)條款PAGE17圖表：各類動捕技術(shù)示意計算機(jī)視覺動捕技術(shù)示意（1） 計算機(jī)視覺動捕技術(shù)示意（2）Leapmotion（體感控制器）2013年上市售價500元光學(xué)動捕技術(shù)示意 慣性動捕技術(shù)示意技術(shù)層面技術(shù)層面——渲染技術(shù)：硬件與算法突破，渲染真實(shí)與實(shí)時性大幅提升PAGEPAGE18的過程。主要由離線與實(shí)時渲染兩種類型。跡渲染圖片，渲染完成后再將圖片連續(xù)播放，實(shí)現(xiàn)動畫效果。優(yōu)點(diǎn)是渲染質(zhì)量相對好，美學(xué)和視覺效果好，缺點(diǎn)是無法實(shí)時控制，主要應(yīng)用于影視等方面，代表性軟件包括Maya、3DMax等。實(shí)時渲染要受系統(tǒng)的負(fù)荷能力的限制，必要時要犧牲畫面效果，主要應(yīng)用于游戲等方面，代alEie（虛幻）、ityEie等。隨著硬件能力的提升和算法的突破，渲染速度、效果真實(shí)度、畫面分辨率均大幅提升，在虛擬人物實(shí)時渲染方面，已經(jīng)能做到以假亂真。2016年，EpicGames（虛幻引擎開發(fā)商）聯(lián)合3Lateral、CubicMotion等公司聯(lián)合開發(fā)的可實(shí)時驅(qū)動的虛擬人物在當(dāng)年的Siggraph會議中做了演示，成功在消費(fèi)級的硬件環(huán)境下實(shí)時渲染了高質(zhì)量的虛擬角色。2018年5月，騰訊發(fā)布虛擬人Siren，也一個支持實(shí)時渲染的虛擬人物。

圖表：騰訊虛擬人塞任（Siren）實(shí)時渲染示意項(xiàng)目 定義 優(yōu)缺點(diǎn) 渲染時間 計算資源 渲染質(zhì)量 軟件代表 主要應(yīng)用場景圖表：主要渲染技術(shù)概況項(xiàng)目 定義 優(yōu)缺點(diǎn) 渲染時間 計算資源 渲染質(zhì)量 軟件代表 主要應(yīng)用場景在計算出畫面時并不顯示畫面，強(qiáng)調(diào)“美學(xué)和視覺效果”主要優(yōu)點(diǎn)是計算機(jī)根據(jù)預(yù)先定義好的光線、

長（（

AutodeskMaya、3D

主要用于電影、廣告等預(yù)先設(shè)計好的模離線渲染

果。

實(shí)時控制物體和場景。

更長時間)

本地資源） 高

Max

式的演示實(shí)時渲染 實(shí)時渲染 計算機(jī)邊計算畫面邊將其輸出顯示能力的限制，必要時要犧牲畫面效果精細(xì)程度）來滿足實(shí)時系統(tǒng)的要求。短（(每秒至少渲染30幀）少欠佳主要用于無預(yù)定腳本的視景仿真，例如UnealEngine、Unityngine3游戲、軍事仿真、災(zāi)難模擬、交互式建筑演示等技術(shù)層面技術(shù)層面——渲染技術(shù)：實(shí)時渲染速度、真實(shí)度、畫面分辨率大幅提升請務(wù)必閱讀附注中的免責(zé)條款PAGE19請務(wù)必閱讀附注中的免責(zé)條款PAGE19圖表：歷代虛幻引擎制作游戲示意虛幻2：游戲《虛幻競技場2004》2004年推出 虛幻3：游戲《戰(zhàn)爭機(jī)器》2006年推出虛幻4：游戲《堡壘之夜》2018年 虛幻5：預(yù)覽視頻截圖，預(yù)計2022年初發(fā)布完整版 技術(shù)層面：交互式數(shù)字虛擬人可分為真人技術(shù)層面：交互式數(shù)字虛擬人可分為真人/計算機(jī)驅(qū)動兩種PAGE20PAGE20從驅(qū)動技術(shù)角度來看，交互型數(shù)字虛擬人可分為真人和計算機(jī)驅(qū)動兩種類型。真人驅(qū)動型數(shù)字虛擬人，以真人為核心，用戶可以通過3D建模、動作捕捉技術(shù)、渲染等技術(shù)，在網(wǎng)絡(luò)上形成真人的虛擬化身，在動作靈活度、互動效果等方面有明顯優(yōu)勢，一方面能夠在影視內(nèi)容的創(chuàng)作中減低生產(chǎn)成本，為影視行業(yè)降低門檻，推動影視級內(nèi)容向消費(fèi)級轉(zhuǎn)化。另一方面則多用于虛擬偶像、重要直播中，幫助數(shù)字虛擬人完成大型直播、現(xiàn)場路演等互動性、碎片化活動。計算機(jī)驅(qū)動型數(shù)字虛擬人，以深度學(xué)習(xí)技術(shù)為主，本質(zhì)上還是算法，但會擁有一個定制化的虛擬外表。計算驅(qū)動的數(shù)字虛擬人最終效果受到語音合成（情感、流暢度等方面是否符合真人發(fā)聲習(xí)慣）、NLP技術(shù)（與使用者的語言交互是否順暢、是否能夠理解使用者需求）、語音識別（）等技術(shù)的共同影響。盡管在特定方向上，各感知類技術(shù)已有的商業(yè)化能力已足以支撐，然而，但要達(dá)成理想的綜合效果，需要該公司在三個方面同時具有較強(qiáng)的綜合能力。圖表：真人驅(qū)動型和計算機(jī)驅(qū)動型數(shù)字虛擬人差別項(xiàng)目真人驅(qū)動型計算驅(qū)動型主要特點(diǎn) 真人驅(qū)動，在作活、互效等面明優(yōu)勢 語音表達(dá)、面表、體動將要過度習(xí)型運(yùn)結(jié)實(shí)或線動技術(shù)流程技術(shù)流程原畫設(shè)計—建綁定—捕設(shè)或像將于人動/表等動設(shè)計形象或?qū)θ讼笮写驋撸徒ń墶氼悇由钅?，?xí)特數(shù)字虛擬人—實(shí)時渲染完成容制現(xiàn)互動 語音、唇形、情數(shù)的潛映關(guān)—容作基輸?shù)囊艋蜉斘霓D(zhuǎn)的語音），預(yù)測唇動、表情等參數(shù)，推理圖片并與時間戳結(jié)合—渲染并生成內(nèi)容技術(shù)突破

動作捕捉環(huán)節(jié) 語音合成（語表在律、感流度方是符真發(fā)習(xí)）隨著圖像識別技術(shù)，姿勢、表情等識別算法的進(jìn)步，昂貴的慣性或光學(xué)動NLP技術(shù)（與使用者的語言交互是否順暢、是否能夠理解使用者需求）捕設(shè)備不再是驅(qū)動的必備工具。

語音識別（能否準(zhǔn)確識別使用者需求）降低影視行業(yè)門檻，推動消費(fèi)級轉(zhuǎn)化降低影視行業(yè)門檻，推動消費(fèi)級轉(zhuǎn)化虛擬人內(nèi)容生成適用場景虛擬偶像、大型直播等虛擬客服、虛擬助手計算機(jī)驅(qū)動：多模態(tài)技術(shù)與深度學(xué)習(xí)技術(shù)集大成者計算機(jī)驅(qū)動：多模態(tài)技術(shù)與深度學(xué)習(xí)技術(shù)集大成者PAGE21PAGE21圖表：計算機(jī)驅(qū)動型數(shù)字虛擬人運(yùn)作流程示意計算驅(qū)動型數(shù)字虛擬人技術(shù)是近年來多模態(tài)技術(shù)和深度學(xué)習(xí)發(fā)展的技術(shù) 文本TTSA人物模型文本TTSA人物模型識別感知智能分析與決策用戶終端人物動畫生成音視頻合成展示人物語言生成在計算機(jī)驅(qū)動型中，可通過智能系統(tǒng)自動讀取并解析識別外界輸入信息，根據(jù)解析結(jié)果決策數(shù)字人后續(xù)的輸出文本，然后驅(qū)動人物模型生成相應(yīng)的語音與動作來使數(shù)字人跟用戶互動。數(shù)字虛擬人的語音表達(dá)、面部表情、具體動作將主要通過深度學(xué)習(xí)模型的運(yùn)算結(jié)果實(shí)時或離線驅(qū)動，在渲染后實(shí)現(xiàn)最終效果。制作過程中最重要的步驟在于對各類驅(qū)動模型的訓(xùn)練，充足的驅(qū)動關(guān)鍵點(diǎn)配合以精度較高的驅(qū)動模型，能夠高還原度的復(fù)原人臉骨骼和肌肉的細(xì)微變化，得到逼真的表情驅(qū)動模型。圖表：計算機(jī)驅(qū)動型數(shù)字虛擬人制作技術(shù)流程形象設(shè)計&掃描真人&采集驅(qū)動數(shù)據(jù)

形象建模&進(jìn)行綁定

訓(xùn)練各類驅(qū)動模型(核心步驟)

內(nèi)容制作:基于輸入的語音/文本預(yù)測唇動、表情等參數(shù)

生成最終內(nèi)容 附加步直播時實(shí)時渲染利用多方位攝像頭，對通用/打點(diǎn)掃描，視最終需求可進(jìn)行全身或局部掃描。采集其說話時的唇動、表情、面部肌肉變

定。當(dāng)需要基于真人照片生成虛擬內(nèi)容時，一類做法是將通用人臉形成虛擬形象；另一類先將真人照片中的眼型、發(fā)型等元素進(jìn)行分類，再與預(yù)先設(shè)置的動漫元素進(jìn)行匹配，最終生成動漫式的虛擬形象。

音-唇形，語音-驅(qū)動，動作、手勢等驅(qū)動大多依靠人為現(xiàn)場指令或預(yù)設(shè)置驅(qū)動。

核心技術(shù)流程是基于輸入的語音，或首先基于TTS技術(shù)(Text-tospeech,技術(shù))、將輸入的本文轉(zhuǎn)化為語音?；谡Z音，結(jié)合上一步得到的驅(qū)動模型，并利用生成對抗模型GAN的圖片，推理得到每幀數(shù)字人的圖片。進(jìn)行結(jié)合。

效果。

針對需要進(jìn)行交互的數(shù)字虛擬人，生產(chǎn)商知識圖譜等，并承接入數(shù)字虛擬人的對話系統(tǒng)。真人驅(qū)動：成本逐漸降低，有消費(fèi)級應(yīng)用，技術(shù)突破重點(diǎn)在于動捕真人驅(qū)動：成本逐漸降低，有消費(fèi)級應(yīng)用，技術(shù)突破重點(diǎn)在于動捕PAGE22PAGE22圖表：真人驅(qū)動型數(shù)字虛擬人CodeMiko在真人驅(qū)動中，在完成原畫建模和關(guān)鍵點(diǎn)綁定后，動捕設(shè)備或攝像頭將基于真人的動作/表情等驅(qū)動數(shù)字虛擬人。由于背后有真人操作，真人驅(qū)動型在動作靈活度、互動效果等方面有明顯優(yōu)勢，一方面能夠在影視內(nèi)容的創(chuàng)作中減低生產(chǎn)成本，為影視行業(yè)降低門檻，推動影視級內(nèi)容向消費(fèi)級轉(zhuǎn)化。另一方面則多用于虛擬偶像、重要直播中，幫助數(shù)字虛擬人完成大型直播、現(xiàn)場路演等互動性、碎片化活動。事實(shí)上，這種技術(shù)思路可以看作是傳統(tǒng)影視制作中，CG技術(shù)的進(jìn)一步延續(xù)。近年來主要的技術(shù)突破在于動作捕捉環(huán)節(jié)。隨著圖像識別技術(shù)，姿勢、表情等識別算法的進(jìn)步，昂貴的慣性或光學(xué)動捕設(shè)備不再是驅(qū)動的必備工具。普通攝像頭結(jié)合理想的識別算法通用能實(shí)現(xiàn)較為精準(zhǔn)的驅(qū)動(如iPhone12攝像頭已可支持簡單的動作捕捉)，顯著降低了精細(xì)虛擬內(nèi)容生成的門檻。圖表：真人驅(qū)動型數(shù)字虛擬人制作技術(shù)流程形象設(shè)計形象設(shè)計&建模建模綁定表情捕捉驅(qū)動&渲染生成內(nèi)容進(jìn)行互動進(jìn)行直播，或錄制其動作生成內(nèi)容。真人演員實(shí)時驅(qū)動數(shù)字虛擬人。利用動作捕捉或特定攝像頭+圖像識別，捕捉在形體、表情、眼神、手勢等方面的關(guān)鍵點(diǎn)變化。將識別關(guān)鍵點(diǎn)映射至模型上，進(jìn)行綁定。置影響最佳效果?；贗P設(shè)計或真人偶像繪制原畫進(jìn)行面部及身體3D技術(shù)趨勢技術(shù)趨勢——擬人化：基礎(chǔ)是視覺層面的高保真+實(shí)時PAGEPAGE23（接近真人）+實(shí)時渲染。虛擬人外觀風(fēng)格選擇的兩極：高保真+風(fēng)格化。由于恐怖谷效應(yīng)的存在，人類視覺對同類的形象、特別是對面部高度敏感，在似像非像的階段，很容易跌入“恐怖谷”。因此虛擬人外觀存在風(fēng)格化+高保真兩個發(fā)展路線，風(fēng)格化的虛擬角色藝術(shù)創(chuàng)作空間較大，卡通形象做出夸張化的動作表情并不會嚇到觀眾，過去漫畫、影視等藝術(shù)形態(tài)均有過成熟的標(biāo)準(zhǔn)；而1:1接近真人的高保真技術(shù)難度相對更大。高保真技術(shù)突破點(diǎn)：CG建模/圖像遷移技術(shù)影響外觀的擬人程度。此外CV/文本中的因素進(jìn)行提取，增加情感驅(qū)動模型等。實(shí)時渲染：需要影視、游戲兩個領(lǐng)域技術(shù)的取長補(bǔ)短。影視很真實(shí)但不實(shí)時，游戲正好相反。游戲人物制作因顯卡運(yùn)算能力和引擎渲染能力不斷攀升，寫實(shí)風(fēng)格的角色效果正不斷向影視級靠近，影視領(lǐng)域的照相建模、高精度3D掃描、面部和動作捕捉相關(guān)技術(shù)，已經(jīng)應(yīng)用到游戲的實(shí)時渲染領(lǐng)域，為表現(xiàn)力帶來飛躍。而影視等非實(shí)時渲染領(lǐng)域，也探索出數(shù)字化復(fù)制、合成真實(shí)人類外形的技術(shù)，正向?qū)崟r渲染的游戲、遠(yuǎn)程會議等領(lǐng)域進(jìn)行遷移。圖表：游戲《古墓麗影》歷代勞拉變化 圖表：恐怖谷效應(yīng)示意（1969年日本森昌弘提出假設(shè)）技術(shù)趨勢技術(shù)趨勢——擬人化：“形似到神似”的重點(diǎn)為交互能力PAGE24PAGE24數(shù)字虛擬人是否能夠做到自然交流，主要受到語音合成TTS技術(shù)（語音表述在韻律、情感、流暢度等方面是否符合真人發(fā)聲習(xí)慣）、NLP技術(shù)（與使用者的語言交互是否順暢、是否能夠理解使用者需求）、語音識別ASR技術(shù)（能否準(zhǔn)確識別使用者需求）等AI技術(shù)的共同影響。已足以支撐；但要達(dá)成理想的綜合效果，需要該公司在三個方面同時具有較強(qiáng)的綜合能力。NLP交互技術(shù)影響交互體驗(yàn)：以對話能力為核心。繼文本對話助手、語音AI助手后，該技術(shù)繼續(xù)在數(shù)字虛擬人中發(fā)揮核心作用，可以視作為數(shù)字虛擬人的大腦。在AI交互助手方面已有理想成效，如小冰等，公司能夠?yàn)槠涮砑虞^好的通用式互動能力。追一科技等公司則通過知識圖譜、業(yè)務(wù)問答庫、對話型工程引擎等增強(qiáng)數(shù)字虛擬人的業(yè)務(wù)互動能力。圖表：騰訊虛擬人交互能力提升示意Siren（演員實(shí)時表情動作驅(qū)動；2017年-2018年） SirenAI（語音文字驅(qū)動；2018年下半年） MattAI（更真實(shí)情感表達(dá)；2019年）實(shí)現(xiàn)跨越影視和實(shí)時渲染邊界，制作可實(shí)時交互的數(shù)字人物；在高保真角色基礎(chǔ)上，進(jìn)一步增加高精度的實(shí)時動作捕捉與渲染。Epic發(fā)起協(xié)調(diào)項(xiàng)目，以Unreal引擎整合模型、貼圖、動作等數(shù)據(jù)資源；3Lateral制作高精度模型，建立綁定，為演員和虛擬人的同步搭建轉(zhuǎn)換橋梁；CubicMotion實(shí)時表情捕捉；騰訊NExT為項(xiàng)目所有者，提供基于Unreal引擎的高質(zhì)量的人物渲染。

讓虛擬人不止步于“提線木偶”，將智能音箱、語音助手與人自主交互的能力賦予Siren，讓她獨(dú)立做到能聽、會說。這涉及多個AI研究和工程領(lǐng)域，包括語音識別（ASR）、自然語言處理（NLP），語音合成（TTS），語音驅(qū)動面部動畫（ADFA）等。難點(diǎn)集中在最后一步，核心是利用AI訓(xùn)練出語音/文字和面部模型肌肉控制間的對應(yīng)關(guān)系，然后進(jìn)入渲染引擎、驅(qū)動虛擬人。

自主完成一整套高保真虛擬人的研發(fā)流程，探索語音自驅(qū)動且能表達(dá)情緒的虛擬人技術(shù)，將語音、情感、生動的面部表情緊密關(guān)聯(lián)起來。建立了一套精確的面部動捕流程，以不同情感下的動作捕捉，來訓(xùn)練語音驅(qū)動模型，最終構(gòu)造了一個長約20個小時、13339條語句的，包含語音、面部運(yùn)動和身體運(yùn)動的多模態(tài)訓(xùn)練數(shù)據(jù)集。在SirenAI基礎(chǔ)上，增加情感維度數(shù)據(jù)，讓Matt擁有微笑、蹙眉等微表情，多了更自然的“人情味”。技術(shù)趨勢技術(shù)趨勢——工具化：高效創(chuàng)作PAGE25PAGE25未來在元宇宙的數(shù)字場景中，每個用戶都需要自己的虛擬形象，開放世界中大量的非用戶角色（NPC）也需要做到千人千面。影視級制作的流程和效率顯然不適用。因此，需要為藝術(shù)家、一般創(chuàng)作者和普通人，提供符合各自能力和需求的制作工具與素材。工具化為數(shù)字虛擬人技術(shù)發(fā)展的必然趨勢，從0開始制作虛擬人，需要較長周期，耗費(fèi)較高成本。例如Siren更高效的工具應(yīng)運(yùn)而生，既滿足游戲制作流程中藝術(shù)家創(chuàng)造多樣化角色的需求，也讓普通人能夠便捷生成屬于自己的虛擬形象。較為有代表性的是騰訊NExTStuis的xFaceBuilder與Epic的uanreator。圖表：騰訊xFaceBuilder、EPICMetahumanCreator示意騰訊&新華社數(shù)字記者小諍（基于xFaceBuilder） 騰訊AILab自拍生成虛擬人流程效果 MetahumanCreator制作界面xFaceBuilder是面向?qū)I(yè)開發(fā)者的全流程管線，能夠敏捷生產(chǎn)適用多種終端設(shè)備的數(shù)字人臉；基于自建的高保真人臉庫xFaceDepot，提供影視級人臉建模、綁定、動畫生產(chǎn)管線；針對手機(jī)、PC、主機(jī)等不同的平臺和美術(shù)需求，提供了靈活的配置方式，已支持騰訊游戲的多款研發(fā)中游戲內(nèi)容。

僅需一段手機(jī)自拍視頻，就能在30秒內(nèi)合成一個高擬真度的3D虛擬人。視頻輸入到AI模型后，只需30秒處理時間就能生成一個高擬真度的虛擬人，不僅臉型和五官形狀非常貼合，而且具有毛孔、唇紋、毛發(fā)級別的細(xì)節(jié)。再借助虛幻4引擎等基于物理的渲染引擎（PBR），可以得到真實(shí)感很強(qiáng)的虛擬人。

2021年初Epic公布MetahumanCreator工具，產(chǎn)品基于預(yù)先制作的高品質(zhì)人臉?biāo)夭膸?，允許用戶以自動混合、手動調(diào)節(jié)的方式快速生成虛擬人。包含完整的綁定，可在虛幻引擎項(xiàng)目中用于制作動畫。特點(diǎn)：高效的模版混合技術(shù)，可以融合多張基礎(chǔ)臉后快速得到一個全新面孔，擁有細(xì)膩的微表情動畫；云端渲染，使制作過程做到輕量、優(yōu)質(zhì)、便捷。市場規(guī)模：天花板高，預(yù)計至市場規(guī)模：天花板高，預(yù)計至2030年市場規(guī)模達(dá)到2700億PAGEPAGE262030年，我國數(shù)字虛擬人整體市場規(guī)模將達(dá)到2700億。其中：身份型數(shù)字虛擬人：身份型數(shù)字虛擬人將占據(jù)主導(dǎo)地位，約1750億，并逐步成為Metaverse中的重要一環(huán)；主要得益于虛擬IP的巨大潛力（1474億元），以及虛擬第二分身的起步（262億元）。服務(wù)型數(shù)字虛擬人：服務(wù)型數(shù)字虛擬人相對穩(wěn)定發(fā)展，多模態(tài)AI助手仍有待進(jìn)一步發(fā)展（840億元），多種對話式服務(wù)升級至數(shù)字虛擬人形態(tài)（115億元），總規(guī)模超過950億。數(shù)字虛擬人市場天花板高，且有明確實(shí)現(xiàn)路徑，行業(yè)進(jìn)入高速發(fā)展期，主要體現(xiàn)在：應(yīng)用場景較多且商業(yè)價值得到驗(yàn)證：作為多模態(tài)升級的代表技術(shù)，數(shù)字虛擬人應(yīng)用場景眾多，可廣泛與各行業(yè)領(lǐng)域相結(jié)合，變現(xiàn)路徑和市場潛力明確。其中虛擬人技術(shù)在虛擬偶像、影視特效等領(lǐng)域已得到明確的商業(yè)價值驗(yàn)證。而虛擬分身生成等場景也已得到了資本和相關(guān)產(chǎn)業(yè)方的認(rèn)可。國內(nèi)玩家綜合基礎(chǔ)較好：大多數(shù)國內(nèi)玩家為綜合實(shí)力較強(qiáng)，發(fā)展成熟的AI科技公司，在客戶積累、技術(shù)實(shí)力、銷售渠道、資金供給等方面較為可靠，行業(yè)預(yù)計可直接進(jìn)入平穩(wěn)發(fā)展期。作為元宇宙交互載體潛力大：數(shù)字虛擬人作為Metaverse主要的交互載體，具有明確的巨大增長潛力，并基于NFT、VR等有理想的延展空間。行業(yè)天花板高，能夠維持長期和衍生發(fā)展。115.2,12%840.2,88%955.4,35%1747.2,65%115.2,12%840.2,88%955.4,35%1747.2,65%262.1,15%1474.3,85%替代真人服務(wù) 多模態(tài)AI助手

服務(wù)型虛擬人 身份型虛擬人

虛擬IP 虛擬分身演進(jìn)：數(shù)字虛擬人成為數(shù)字世界接口演進(jìn)：數(shù)字虛擬人成為數(shù)字世界接口PAGEPAGE27圖表：數(shù)字虛擬人商業(yè)模式應(yīng)用進(jìn)展預(yù)測GUI圖形化界面HUI擬人化界面DEEPLEARNING：人工智能+GUI圖形化界面HUI擬人化界面傀儡型/

真人/

計算機(jī)驅(qū)動為主虛擬IP/偶像

虛擬分身

虛擬助手

多模態(tài)助手流量吸引

數(shù)字資產(chǎn)+

伴侶式服務(wù)Vsinger/

影視特效

文旅（導(dǎo)航導(dǎo)覽） 醫(yī)療Vtuber/VUP/虛擬主播

金融地產(chǎn)（客服

日常陪伴虛擬網(wǎng)紅等

社交分身

傳媒（主持播報實(shí)現(xiàn)難易程度

個性化交互虛擬偶像：虛擬偶像：2022年核心市場規(guī)模將達(dá)121億PAGEPAGE28根據(jù)艾媒數(shù)據(jù)，虛擬偶像在網(wǎng)民中的認(rèn)可度較高，以網(wǎng)民總數(shù)10.11億（《中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計報告》2021年6月數(shù)據(jù)）計算，2021年深度+淺度追星人群占比超0%，約億人；而在追星群眾中66%根據(jù)艾媒數(shù)據(jù)，220年中國虛擬偶像核心市場規(guī)模為4.6億元，YOY+69.3%，預(yù)計21-03年中國虛擬偶像核心市場規(guī)模分別達(dá)6/2825.2億元，YOY796%/+94.%698%220年虛擬偶像帶動市場規(guī)模為645.6YOY703%21-23年分別達(dá)07.9166.13334.7%+.。根據(jù)愛奇藝專業(yè)內(nèi)容業(yè)務(wù)群總裁兼首席內(nèi)容官王曉暉曾表示，中國偶像市場總規(guī)模預(yù)計在2022年將達(dá)到1400億元，以2022年虛擬偶像核心市場規(guī)模121億計算，虛擬偶像占比僅為6%，滲透率有較大提升空間。圖表：虛擬偶像市場規(guī)模 圖表：追星規(guī)模943%

2021年中國網(wǎng)民追星情況

中國追星族網(wǎng)民支持和關(guān)注虛擬偶像的情況79.6%70.3%3334.778.7%6579.6%70.3%3334.778.7%652%76%6955%693%665%5254.2%1866.11074.9645.62017125.8.412379.120.534.662.2120.8205.22018201920202021E2022E2023E31.5%50.1%14%36.4%636%虛擬偶像帶動市場規(guī)模（億元） 虛擬偶像核心市場規(guī)模（億元帶動市場規(guī)模同比增長率 核心市場規(guī)模同比增長率

深度追星 淺度追星 不追

支持和關(guān)注虛擬偶像 其他虛擬偶像：用戶范圍廣、花費(fèi)多、時長長虛擬偶像：用戶范圍廣、花費(fèi)多、時長長請務(wù)必閱讀附注中的免責(zé)條款PAGE29請務(wù)必閱讀附注中的免責(zé)條款PAGE29根據(jù)艾媒數(shù)據(jù)，202129-30歲青年群體占比超90%，男女比例相對均衡，高收入人群居多。而中國網(wǎng)民中近0%用戶為虛擬偶像月均花費(fèi)金額超500元，且的用戶為虛擬偶像的花費(fèi)與現(xiàn)實(shí)偶像持平或者更多；近75擬偶像日均花費(fèi)時間超過1小時。隨著二次元領(lǐng)域的主要受眾群體9000后的逐漸擁有了自主消費(fèi)能力，

圖表：2021年中國網(wǎng)民為虛擬偶像日均花費(fèi)時間情況

1小時以內(nèi)1-2小時2-3小時小時5小時以上1.4%4.1%25.2%29.7%1.4%4.1%25.2%29.7%39.6%7070%250%56%464%923%.%

2021年中國網(wǎng)民為虛擬偶像花費(fèi)金額與現(xiàn)實(shí)偶像對比調(diào)查27273%295%232%146%316%135%36%49%年齡其他 19-30歲

性別男性 女性

平均月收入0-5000 5000元以上

更多 基本相同 更少虛擬偶像：對真人偶像有一定沖擊，核心在于IP運(yùn)營虛擬偶像：對真人偶像有一定沖擊，核心在于IP運(yùn)營PAGEPAGE30虛擬和真人偶像各有優(yōu)劣，整體看虛擬偶像對真人偶像有一定的沖擊性與替代性；核心在于IP運(yùn)營。在行業(yè)發(fā)展方面，虛擬偶像處于行業(yè)發(fā)展初期，在內(nèi)容和周邊產(chǎn)品的開發(fā)上擁有更多的空間和可能性，觀眾對虛擬偶像周邊付費(fèi)意愿更強(qiáng)；前期技術(shù)成本投入較高，根據(jù)世優(yōu)科技，虛擬偶像一年所需成本在200到500萬區(qū)間內(nèi)。但人力成本相對低，未來一旦技術(shù)突破標(biāo)準(zhǔn)化運(yùn)營，盈利預(yù)期相對樂觀。在可控性方面，人是不可控因素的根源，雖然目前虛擬偶像大多對“中之人”依賴度較高，存在一定“翻車”風(fēng)險，但比起真人偶像風(fēng)險依然更小。虛擬偶像客觀上壽命趨近于無線，隨著潮流的變化和時代的發(fā)展迭代進(jìn)化，引領(lǐng)不同階段的審美，在形象開發(fā)和內(nèi)容開發(fā)上擁有更強(qiáng)的延續(xù)性。在觀眾體驗(yàn)方面，虛擬偶像一般為現(xiàn)實(shí)美化過的形象，可實(shí)現(xiàn)實(shí)時互動，可保持和粉絲的高頻互動，但目前無法實(shí)現(xiàn)物理層面的互動，受眾主要為年輕人，從運(yùn)營層面如何持續(xù)吸收流量關(guān)注，提升變現(xiàn)水平為目前產(chǎn)業(yè)突破關(guān)鍵點(diǎn)。圖表：虛擬偶像與真人偶像對比項(xiàng)目虛擬偶像真人偶像行業(yè)發(fā)展

產(chǎn)業(yè)鏈 形成程度 尚未完全形成 完善周邊產(chǎn)業(yè)較多，受眾對周邊付費(fèi)意愿高周邊產(chǎn)業(yè)較多，受眾對周邊付費(fèi)意愿高有限發(fā)展程度科技賦能新賽道，目前屬于發(fā)展初期傳統(tǒng)影視行業(yè)準(zhǔn)入門檻較高，對技術(shù)、運(yùn)營等高要求較低可以不可以可以不可以制作期間盈利

成本種類 制作成本高、地用、 人工成本高、地用版權(quán)采買費(fèi)用、二創(chuàng)作本邊運(yùn)成低可控性

時間 壽命 可以很長 有崩塌難易 難 易負(fù)面新聞 較少 較多檔期風(fēng)險 基本無 有人設(shè)負(fù)面新聞 較少 較多檔期風(fēng)險 基本無 有多樣性 可多樣，人設(shè)變 基本單一互動可接觸性目前不可物理互動互動可接觸性目前不可物理互動可物理互動時空受限實(shí)時互動是否受限持續(xù)性 相對難持續(xù) 易持續(xù)

瞬間引爆次數(shù) 偶爾 經(jīng)常受眾各年齡段受眾各年齡段主要是年輕群體年齡段虛擬偶像虛擬偶像——運(yùn)營要點(diǎn)/分類：同人創(chuàng)作+要素抓取完善人設(shè)PAGEPAGE31虛擬偶像類型可以按生產(chǎn)方分為PGC與UGC模式，不同的展現(xiàn)形式?jīng)Q定其交互能力。目前主流形式的虛擬偶像分為Vocaloid/Vsinger、虛擬主播（Vtuber/VUP）以及虛擬網(wǎng)紅。我們認(rèn)為虛擬偶像運(yùn)營要點(diǎn)：（1）鼓勵同人粉絲參與創(chuàng)作：虛擬偶像由公司/個人運(yùn)營，設(shè)定有限，采用PGC強(qiáng)產(chǎn)出完成快速完成IP累積+UGC同人粉絲使用軟件制作音/畫/舞等內(nèi)容豐富人設(shè)。（2）抓取核心潮流設(shè)定元素：根據(jù)日本文化研究者東浩紀(jì)“數(shù)據(jù)庫”理論，日本御宅族的“數(shù)據(jù)庫”消費(fèi)模式，也即動漫作品生產(chǎn)主要依托于數(shù)據(jù)庫中既有的“元素”，創(chuàng)作者從中抽取各種“元素”重組成人設(shè)，編織故事，生產(chǎn)過程呈現(xiàn)去中心化的網(wǎng)狀特征；取代了“大敘事”和“物語”消費(fèi)模式

圖表：虛擬偶像分類虛擬網(wǎng)紅：社交賬號運(yùn)營，一般發(fā)布靜態(tài)圖片、動態(tài)動圖/視頻等形式。核心通過代言、直播帶貨等形式獲取收入。

PGC

虛擬主播Vtuber/VUP用虛擬形象活躍在YouTube、B站等平臺的視頻主，主要通過真人（中之人）動捕制作視頻/（受眾獲取、消費(fèi)動漫產(chǎn)品驅(qū)動力主要由其本身的故事性、敘事性、世界觀架構(gòu)等要素所提供和支撐），成為目前二次元文化主流商業(yè)模式。他認(rèn)為任何作品首先吸引受眾的是角色的人設(shè)，人設(shè)則可以分解成不同“要素”組合

超寫實(shí)數(shù)字人（靜態(tài)）AYAYI

超寫實(shí)數(shù)字人（視頻）柳夜熙

企業(yè)勢Vup

直播等形式面對粉絲。主要收入來自直播打賞等。企業(yè)（日本動漫中為“萌”，而我們認(rèn)為在中國可以分解為其他要素）。屬于數(shù)據(jù)庫消費(fèi)的群體一旦被某個作品俘虜后就會無限消費(fèi)相關(guān)產(chǎn)品和二次創(chuàng)作。

Asoul（字節(jié)+樂華VupPGC專業(yè)公司運(yùn)營；個人勢為UGC。圖表：部分動漫人設(shè)“萌系”元素

交互性弱

交互性強(qiáng)傲嬌呆萌傲嬌呆萌三無《龍與虎》逢坂大河《小林家的龍女仆》康娜《EVA》綾波麗

Vsinger/vocaloid初音未來基于Yamaha的Vocaloid歌聲合成引擎和專業(yè)公司自主研發(fā)的歌聲合成引擎所制作的聲音庫軟件（目前為主流），其人設(shè)簡單，核心IP內(nèi)容主要依靠PGC產(chǎn)出官方+UGC同人粉絲使用軟件制作音/畫/舞等內(nèi)容。主要收入來自軟件售賣、衍生品、代言、周邊等。

個人勢VUP永遠(yuǎn)永遠(yuǎn)醬UGC虛擬偶像虛擬偶像——盈利模式：直播帶貨/打賞及代言為主流，周邊衍生潛力大PAGEPAGE32收入端：營銷端（代言、直播帶貨等）、形象端（商演、直播打賞、影視劇參演等）、聲音端（歌曲、MV發(fā)售）、衍生品（游戲、動畫、手辦模型等）。成本端：10-100萬元，且后續(xù)的內(nèi)容制作和智能驅(qū)動研發(fā)還需持續(xù)投入，動態(tài)虛擬人直播或者視頻制作的數(shù)據(jù)/渲染等對技術(shù)/算力要求較高；此外優(yōu)秀的原創(chuàng)內(nèi)容是虛擬偶像的主要競爭壁壘，如果擁有專業(yè)運(yùn)營團(tuán)隊(duì)支持，運(yùn)營人力成本較高。以虛擬偶像短頻產(chǎn)品來看，一條普通的短視頻成本大約在幾千元甚至上萬元，數(shù)分鐘的定制視頻的成本則需要花費(fèi)數(shù)萬元乃至十幾萬元。圖表：虛擬偶像商業(yè)模式品牌CM代言直播帶貨品牌CM代言直播帶貨游戲、動畫、短劇等商演（門票）等手辦、模型等其他營銷 衍生產(chǎn)品直播打賞官方基于基礎(chǔ)人設(shè)與音源衍生漫畫插畫設(shè)定形象虛擬偶像同人創(chuàng)作文字（小說輕小說等）影視劇參演粉絲基于基礎(chǔ)人設(shè)與音源創(chuàng)作聲音視頻MMD/MAD/AMV等主持歌曲、MV等宅舞、cos等灰色部分為目前主流盈利模式虛擬偶像虛擬偶像——虛擬網(wǎng)紅：人設(shè)簡單、成本較低成為品牌代言營銷新寵PAGEPAGE33的巨大潛力將帶動更多的品牌入局，甚至可能會形成品牌虛擬形象常態(tài)化的局面。品牌方可選擇與有流量基礎(chǔ)的數(shù)字虛擬網(wǎng)紅合作，請他們代言/帶貨，目前以超寫實(shí)字虛擬代言人，比如花西子等美妝護(hù)膚品、華碩等電子、安慕斯等食品飲料類品牌。燃麥科技I燃麥科技I美妝護(hù)膚創(chuàng)壹科技柳夜熙外部商業(yè)合作虛擬代言人品牌自主打造花西子同名虛擬形象、屈臣氏代言人屈晨曦Wilson、歐萊雅虛擬形象M姐網(wǎng)華碩天選姬、釘釘釘哥釘妹等魔琺科技/次食品飲料麥當(dāng)勞虛擬形象開心姐姐、安慕希數(shù)字酸奶代言人、肯德基虛擬形象KI上校序號2021年Top15類型國家誕生時間ins粉絲量1LudoMagalu虛擬人巴西2007年5.9M2LilMiquela超寫實(shí)美國2016年3.1M3NobodySausage卡通-2020年2.7M4GoodAdviceCupcake卡通美國2018年2.4M5Barbie卡通美國/2.1M6Guggimon3D/獸人美國2019年1.4M7Janky3D/獸人美國2019年901.6K8MinnieMouse卡通美國/714.4K9KnoxFrost超寫實(shí)美國2019年678.2K10K/DA虛擬人美國2018年575K11DayzeeandStaxx3D/獸人美國2020年547K12AnyMalu卡通巴西2015年519.3K13AnnaCattish卡通俄羅斯2011年480.3K14Thalasya超寫實(shí)印度尼西亞2018年479K15Seraphine虛擬人美國2020年419.6K虛擬IP 公司 融資情況 國家 出現(xiàn)時間 平臺 粉絲數(shù) 廣告營銷代言圖表：頭部虛擬網(wǎng)紅及運(yùn)營公司虛擬IP 公司 融資情況 國家 出現(xiàn)時間 平臺 粉絲數(shù) 廣告營銷代言IMMA Aww.Inc 2020年9月種子輪融資100萬美金，oalapital領(lǐng)投。

日本 2018 S 3萬 -、屈臣氏蘇打汽水、夢龍AYAYIAYAYI燃麥科技 2022年1月或海納亞洲數(shù)千萬Pre-A+輪融資中國2021小紅書12.4萬NoProblem、安慕希；入職阿里L(fēng)ING翎

魔琺科技 2019年A輪融資數(shù)億元,紅杉、五源資本、頭頭是道投資基金 中國 2020 微博 625萬 特斯拉、奈雪的茶、ogueme、Dio、6氪、eep熱汗瑜伽、次世文化 2021年三個月內(nèi)完成兩輪來自網(wǎng)易、創(chuàng)世伙CCV等超千萬美金融資

100年潤發(fā)、天貓奢品、百雀羚、寶格麗MiquelaSousaBrud2019年600+1.25美國2016309.5萬香奈兒、ada、巴黎世家、、alvinlein、三星；在ns上，條帖子可賺約為2.11萬美元；平均互動為5.5萬柳夜熙創(chuàng)壹科技2021年2月中贏控股千萬級元股權(quán)融資中國2021抖音866.3萬-虛擬偶像虛擬偶像——虛擬網(wǎng)紅：2萬億電商直播市場大有可為PAGEPAGE34直播帶貨領(lǐng)域是虛擬人進(jìn)入較早且接受度較高的應(yīng)用領(lǐng)域，2020年618天貓開啟全明星直播計劃，虛擬偶像鼻祖洛天依（上海禾念）受邀入列，直播在線觀看人數(shù)一度高超630萬，洛天依在淘寶的坑位費(fèi)約90萬，超過同期頭部主播中報價最高的真人主播羅永浩（在抖音的坑位費(fèi)約60萬）。根據(jù)網(wǎng)經(jīng)社2021年電商直播市場規(guī)模預(yù)計為2.35萬億元，YOY+82.87%，虛擬網(wǎng)紅直播帶貨大有可為。相比于真人主播，虛擬帶貨主播在穩(wěn)定性、持續(xù)性方面有較大的優(yōu)勢，還通過新奇的形象增加直播間內(nèi)容的吸引力；但要做到流暢互動需要較高的技術(shù)成本，且目前具備認(rèn)知度的虛擬IP有限，想要持續(xù)運(yùn)營還有很多需要攻克的問題：基于平臺和定位差異，虛擬IP不能像真人主播一樣依賴“低價”帶貨，目前真人頭部主播MCN機(jī)構(gòu)議價能力足夠強(qiáng)，優(yōu)勢是“全網(wǎng)最低價”。但對內(nèi)容平臺生長出的虛擬IP而言，優(yōu)勢是“一邊養(yǎng)成、一邊變現(xiàn)”的模式。主播的定位人設(shè)，決定了其帶貨的品類，依托于主播的人設(shè)屬性選品，更容易引發(fā)消費(fèi)者對產(chǎn)品的認(rèn)可和信賴；目前頭部虛擬主播主要售賣食品飲料、手辦等產(chǎn)品。 中科深智（2021年獲得來自晨山資本等的B輪千萬級美元融資）為頭部虛擬網(wǎng)紅一禪小和尚（粉絲近5000萬，大禹網(wǎng)絡(luò)旗下）、萌芽熊（粉絲1600萬）、默默醬（粉絲近500萬）等提供技術(shù)支持，提供ToB的虛擬直播解決方案，價格在幾萬元/IP我不是白吃自2020年3月起開啟直播帶貨，創(chuàng)下400萬觀看、4-5萬人在線的記錄，2021年GMV過億元，2022年1月銷售額1500萬元，成為了虛擬主播領(lǐng)域的頭部明星。賬號名稱合作公司粉絲數(shù)直播總場次帶貨商品數(shù)推廣品類推廣品牌一禪小和尚中科深智賬號名稱合作公司粉絲數(shù)直播總場次帶貨商品數(shù)推廣品類推廣品牌一禪小和尚中科深智/大禹文化4704.0萬81011337我不是白吃重力聿畫2175.4萬4983330191157萌芽熊中科深智1638.6萬5956920貓總白一航-1502.5萬516511豬小屁之家科大訊飛1500.3萬2698829伊拾七一幾文化1286.4萬188941040熊小兜大禹文化988.6萬28124531默默醬中科深智492.6萬43124670虛擬偶像：虛擬網(wǎng)紅以代言營銷為主要盈利方式虛擬偶像：虛擬網(wǎng)紅以代言營銷為主要盈利方式PAGEPAGE35浙文互聯(lián)、藍(lán)色光標(biāo)、華揚(yáng)聯(lián)眾、天下秀、星期六、天地在線、利歐股份等營銷領(lǐng)域上市公司紛紛入場虛擬網(wǎng)紅/IP應(yīng)用領(lǐng)域，或推出自有虛擬網(wǎng)紅，或研發(fā)虛擬人制作/直播解決方案。公司 虛擬人相關(guān)業(yè)務(wù) 代表虛擬人形象 成立時間 公司地點(diǎn) 代碼圖表：主要虛擬網(wǎng)紅營銷運(yùn)營上市公司公司 虛擬人相關(guān)業(yè)務(wù) 代表虛擬人形象 成立時間 公司地點(diǎn) 代碼藍(lán)色光標(biāo)①成立藍(lán)色宇宙子公司作為元宇宙主要運(yùn)營平臺，與微軟小冰合作上線“分身有術(shù)”數(shù)字人驅(qū)動平臺（SaaS產(chǎn)品），是其元宇宙業(yè)務(wù)首個技術(shù)的商業(yè)應(yīng)用落地。②與阿里達(dá)摩院在數(shù)字人領(lǐng)域展開合作，共推虛擬主播直播電商解決方案（截止2021年11藍(lán)色光標(biāo)①成立藍(lán)色宇宙子公司作為元宇宙主要運(yùn)營平臺，與微軟小冰合作上線“分身有術(shù)”數(shù)字人驅(qū)動平臺（SaaS產(chǎn)品），是其元宇宙業(yè)務(wù)首個技術(shù)的商業(yè)應(yīng)用落地。②與阿里達(dá)摩院在數(shù)字人領(lǐng)域展開合作，共推虛擬主播直播電商解決方案（截止2021年11蘇小妹34間，價格為9.9萬元/間）。③虛擬人：打造伊利金典牛奶虛擬形象典典子；國風(fēng)虛擬人蘇小妹；虛擬音樂人“K”。1996年北京300058.SZ浙文互聯(lián)

三維數(shù)據(jù)采集及動態(tài)捕捉技術(shù)，創(chuàng)造出高精度的全息數(shù)字化人物形象，并使用5G+HOLOGRAM/AR/VR等新媒體技術(shù)形式呈現(xiàn)。③定增預(yù)案計劃投入2.1億在AI智能營銷系統(tǒng)項(xiàng)目，其中包含虛擬數(shù)字人領(lǐng)域技術(shù)開發(fā)。

君若錦 1993年 山東 600986.SH天下秀 魚太閑 2009年 廣西 天下秀 魚太閑 2009年 廣西 星期六 預(yù)計在2022年推出虛擬人（最快2022年3月底），或?qū)⒆鳛樘摂M主播參與直播帶貨等環(huán)節(jié)。 / 2002年 廣東 002291.SZ旗下子公司上海騫虹文化推出虛擬形象Aimee并進(jìn)行商業(yè)化嘗試；在Dior秀場推出景甜、Angelababy虛擬形象的虛擬形象及IP衍生內(nèi)容。①虛擬直播：在抖音上嘗試“湯姆貓”虛擬IP直播。②智能語音產(chǎn)品：GameBudTalking

Aimee 1994年 北京 603825.SH/ 2002年 北京 002995.SZ湯姆貓

Tom陪玩、線下交流、語音互動等多個功能。

湯姆貓 2007年 杭州 300459.SZ天舟文化①抖音虛擬主播：鄰家小仙（全平臺粉絲800萬），小丫同學(xué)（全平臺粉絲200萬）。天舟文化①抖音虛擬主播：鄰家小仙（全平臺粉絲800萬），小丫同學(xué)（全平臺粉絲200萬）。②B站鄰家小仙虛擬主播：弦羽、鶯可。2003年長沙300148.SZ

2020年起公司嘗試將AI人工智能和AR增強(qiáng)顯示技術(shù)運(yùn)用于電商直播，打造直播升級產(chǎn)品幻的AI代言人，同時推動虛擬偶像IP代言等創(chuàng)新營銷活動。

/ 2001年 浙江 002131.SZ虛擬偶像虛擬偶像——虛擬歌姬：初音未來15年生命力不減PAGEPAGE362004年ZEROG推出首個基于Vocaloid1（YAMAHA電子音樂制作語音合成軟件）的虛擬歌姬LEON&LOLA，單純販賣虛擬人聲軟件，吸引力不大。Crypton于2007年，添加女性二次元角色封面+女性音色，推出虛擬歌姬初音未來，一經(jīng)發(fā)售即爆火；接下來的15年中，聲庫版本不斷更新?lián)Q代，陸續(xù)發(fā)布多個聲庫，在音色上迭代更新，技術(shù)層面實(shí)現(xiàn)功能便捷化多樣化。根據(jù)BCN數(shù)據(jù)，Crypton在日本聲音軟件領(lǐng)域市占率自2008年后一直保持在20%左右，連續(xù)15年位居榜首。洛天依為中國首位中文虛擬歌姬，2013年版權(quán)被上海禾念收購，開啟本土化運(yùn)營，2019年被B站并購。

圖表：Crypton在日本音樂軟件市場歷年市占率27.6%27.6%24.5%23.7%21.4%18.4%24.2%23.3%20.6%16.6%17.4%16.2%15.7%200820092010201120122013201420152016201720182019202020212022圖表：中日頭部虛擬歌姬初音未來/洛天依設(shè)定 圖表：00后提及最多的偶像TOP30初音未來官方設(shè)定年齡（16歲）身高（158cm）體重（42kg）生日：8.31星座：處女座聲源：藤田咲運(yùn)營公司：日本Crypton

洛天依官方設(shè)定年齡（165歲）身高（156cm）生日：7.12星座：巨蟹座聲源：山新運(yùn)營公司：上海禾念（B站）虛擬偶像虛擬偶像——虛擬歌姬：技術(shù)進(jìn)步實(shí)現(xiàn)更完美的表現(xiàn)形式請務(wù)必閱讀附注中的免責(zé)條款PAGE請務(wù)必閱讀附注中的免責(zé)條款PAGE37初音未來V1設(shè)定2007 初音未來V設(shè)定2016 初音未來現(xiàn)場演唱會2020洛天依初始設(shè)定2012 洛天依V4全息投影形象2016 洛天依獻(xiàn)唱冬奧會音樂MV2022 虛擬偶像虛擬偶像——虛擬歌姬：初音未來15年生命力不減PAGEPAGE38經(jīng)過1年發(fā)展，rytn已經(jīng)基本實(shí)現(xiàn)了從軟件銷售、音樂發(fā)售到營銷代言（豐田、寶馬、索尼、小米等）、周邊衍生販?zhǔn)郏ㄊ洲k等）、游戲（SEA《歌姬計劃》等）、演唱會（在中國、日本、歐美、東南亞等地開展數(shù)十次）、活動（札幌冰雪節(jié)）等完整的收入鏈條。版權(quán)費(fèi)用收入版稅授權(quán)收入軟件銷售版權(quán)費(fèi)用收入版稅授權(quán)收入軟件銷售執(zhí)照費(fèi)用成本軟件開發(fā)成本軟件開發(fā)成本軟件開發(fā) IT團(tuán)隊(duì)軟件開發(fā)IT團(tuán)隊(duì)內(nèi)容、平臺管理IP音樂內(nèi)容虛擬音樂唱片廠牌內(nèi)容、平臺管理IP音樂內(nèi)容虛擬音樂唱片廠牌商務(wù)合作北海道札幌市虛擬歌姬創(chuàng)作者其他合作方Y(jié)AMAHA業(yè)務(wù)活動購買&使用商務(wù)合作北海道札幌市虛擬歌姬創(chuàng)作者其他合作方Y(jié)AMAHA業(yè)務(wù)活動各類代言廣告主各類代言廣告主

軟件軟件虛擬音樂軟件業(yè)余創(chuàng)作者專業(yè) 投業(yè)余創(chuàng)作者音樂 稿創(chuàng)作 /者 發(fā)行

授權(quán)平臺 共同消費(fèi)者平臺銷售渠道初音虛擬偶像平臺 共同消費(fèi)者平臺銷售渠道初音虛擬偶像產(chǎn)品&價值定位授權(quán)音樂聽眾流媒體/音樂下載平臺音樂聽眾

平臺開發(fā)商業(yè)公司KarentPiapro平臺開發(fā)粉絲/其他消費(fèi)者YouTube&niconico 其他線上及分銷商粉絲/其他消費(fèi)者創(chuàng)作 音樂作品

PCL：Piapro角色授權(quán)協(xié)議版權(quán)界定虛擬偶像虛擬偶像——虛擬歌姬：同人創(chuàng)作是核心初音未來發(fā)售后即有大量翻唱歌曲投稿在niconico上，并成為話題，反過來推動了初音未來（音樂軟件）和其他衍生品的銷售。公司Crypton開放二次創(chuàng)作權(quán)，鼓勵粉絲二次創(chuàng)作，加上本身沒有詳細(xì)的官方設(shè)定，同人創(chuàng)作十分活躍，niconico、pixiv等UGC網(wǎng)站上出現(xiàn)大量粉絲制作的手書、MMD、插畫、音樂、舞蹈，極大豐富角色內(nèi)容內(nèi)涵，放大了初音粉絲圈層，其每次出圈都伴隨著粉絲創(chuàng)作的洗腦神曲（如2007年甩蔥歌等），同人圈中誕生大量“大神”級別創(chuàng)作者，比如獲得日本帶動整個3D動畫軟件產(chǎn)業(yè)發(fā)展）的粉絲樋口優(yōu)等。大量的同人創(chuàng)作收到官方認(rèn)證，再次通過官方運(yùn)營進(jìn)行推廣，進(jìn)一步擴(kuò)大影響力。中國頭部虛擬歌姬洛天依也有次經(jīng)歷。在經(jīng)歷幾年P(guān)GC運(yùn)營，經(jīng)營情況不佳后，開啟鼓勵UGC創(chuàng)作，大量同人作品涌現(xiàn)，禾念官方會選擇部分優(yōu)質(zhì)作品進(jìn)行重點(diǎn)推廣，最終經(jīng)過層層選拔、抵達(dá)受眾視野中的作品，構(gòu)成了洛天依的整體人物形象。洛天依演唱會90%以上的曲目都來自于網(wǎng)友的同人創(chuàng)作。圖表：初音未來版權(quán)情況形象版權(quán)屬于Crypton所有形象著作權(quán)仍然歸屬于Crypton，專門建立了PI形象版權(quán)屬于Crypton所有形象著作權(quán)仍然歸屬于Crypton，專門建立了PIAPRO網(wǎng)站，并出臺了PCL協(xié)議對初音未來的二次創(chuàng)作進(jìn)行規(guī)范。畫師KEI作為初音未來“生父”，可以在一定程度上使用初音未來形象進(jìn)行營利，但在未經(jīng)Crypton同意的情況下，他創(chuàng)作的初音未來形象仍然不屬于他自己。同人二次創(chuàng)作可在不盈利的情況下自由進(jìn)行。音樂著作權(quán)屬于P（）關(guān)于vocaloid的音樂著作權(quán)基礎(chǔ)課程明確提到，使用Vocaloid創(chuàng)作的歌曲版權(quán)歸其創(chuàng)作者所有，就像普通歌曲一樣，因此，可在購買每個Vocaloid時在許可協(xié)議規(guī)定的范圍內(nèi)使用。音樂版權(quán)音樂表演權(quán)屬于P主/Crypton共有初音的語音商業(yè)使用必須得到CryptonP主創(chuàng)作的歌曲的時候，首先需要得到Crypton應(yīng)當(dāng)與Crypton和P主協(xié)議約定歌曲的使用方式以及獲得報酬的分配方式。P主的原創(chuàng)歌曲發(fā)布一般在網(wǎng)絡(luò)，唱片公司看中首先向詞曲作者P主取得許可，支付使用詞曲的報酬，然后由Crypton對唱片公司的商業(yè)使用行為授權(quán)；屬于表演者的報酬，由唱片公司按照約定比例支付給Crypton和PP主的原創(chuàng)歌曲發(fā)布一般在網(wǎng)絡(luò)，唱片公司看中首先向詞曲作者P主取得許可，支付使用詞曲的報酬，然后由Crypton對唱片公司的商業(yè)使用行為授權(quán)；屬于表演者的報酬，由唱片公司按照約定比例支付給Crypton和P主。在市場發(fā)行時，錄音制品的署名按照日本唱片公司一般的做法，在CD上標(biāo)注“歌曲名P主feat.初音未來”。唱片發(fā)行權(quán)初音未來版權(quán)分類可）其他版權(quán)（游戲、手辦、代言等）涉及多方版權(quán)其他版權(quán)（游戲、手辦、代言等）涉及多方版權(quán)SEGA必須同時征求Crypton和P主的同意與報酬分配。39請務(wù)必閱讀附注中的免責(zé)條款39虛擬偶像虛擬偶像——虛擬主播：國內(nèi)主播迎來機(jī)遇PAGEPAGE40VUP/Vtuber即虛擬主播，指使用虛擬形象在網(wǎng)絡(luò)平臺上進(jìn)行視頻創(chuàng)作和直播等娛樂活動的博主；與真人主播相比，優(yōu)勢在于高辨識度以及更長的生命周期。大部分會使用原創(chuàng)的角色設(shè)定，以MMD或Unity等軟件所制作的3D模型虛擬形象出現(xiàn)在觀眾的面前，對大多數(shù)通過真人驅(qū)動，即“中之人”（背后進(jìn)行活動的真人，是聲優(yōu)也是動作捕捉的對象）進(jìn)行配音。虛擬主播沒有絕對的人設(shè)，能否被人們喜愛、吸引注意，取決于背后的中之人以及團(tuán)隊(duì)的運(yùn)營能力。以第一個被大眾所認(rèn)可的虛擬主播是絆愛（2016年12月誕生）為例，由于分身化運(yùn)營以及中之人的變動，導(dǎo)致粉絲出現(xiàn)負(fù)面情緒和抵制行為，2021年末絆愛宣布將無限期休眠。早期國內(nèi)頭部虛擬主播以海外/日本為主，Hlive、彩虹社（NOLR）這類成熟的r運(yùn)營公司與B站合作，迅速搶占國內(nèi)市場，霸占了頭部流量。目前B站百大UP主“泠鳶yousa”、“七海Nana7mi”等，都誕生于B站與彩虹社的“VirtuaReal”虛擬藝人項(xiàng)目。國內(nèi)虛擬主播則學(xué)習(xí)日本主播產(chǎn)業(yè)進(jìn)行雜談、唱歌、游戲?qū)崨r等形式，導(dǎo)致內(nèi)容層面和國內(nèi)受眾有一定差距。近年國內(nèi)虛擬主播爆發(fā)，2021年6月，B站CEO陳睿曾提到，在過去的一年里共有超過3.2萬名虛擬主播在B站開播，YOY+40％，虛擬主播已經(jīng)成為B站直播領(lǐng)域增長最快的品類。新生代虛擬主播在內(nèi)容層面創(chuàng)新，無論是歌曲、舞蹈、游戲的選擇，還是和觀眾互動的方式，都更加多樣化，且更接地氣。Hllive01年末旗下虛擬主播“桐生可可”和“赤井心”在各自的節(jié)目中先后觸及敏感話題，加上后續(xù)Hllive公關(guān)不力，引發(fā)國內(nèi)觀眾群體不滿，并最終導(dǎo)致Hololive迅速失去了中國市場，國內(nèi)市場產(chǎn)生空缺；此外我們認(rèn)為隨著二次元文化在中國衍生發(fā)展創(chuàng)造新的文化內(nèi)核，同時融入流行文化，國內(nèi)虛擬主播市場將迎來新的發(fā)展機(jī)遇。圖表：設(shè)定特殊的國內(nèi)新生代虛擬主播 圖表：絆愛分身菜菜姐莎瘋了 i御十二（九尾狐）

圖表：「A-SOUL」隊(duì)長貝拉國風(fēng)舞蹈虛擬偶像虛擬偶像——虛擬主播：專業(yè)化運(yùn)營PAGEPAGE41虛擬主播按照活動方式來分類，可以分成直播勢，視頻勢和歌勢。顧名思義，以直播、上傳視頻、唱歌為主要活動的Vtuber可以分成這三類。三類間重合度較高，沒有刻意去區(qū)分的必要。雖然精心制作的視頻內(nèi)容固然能吸粉，但直播的成本更低、互動感強(qiáng)、變現(xiàn)快，目前國內(nèi)虛擬偶像主要收入來自直播打賞，其優(yōu)點(diǎn)在于可24小時持續(xù)進(jìn)行直播，頭部虛擬主播的直播打賞收入已可與頭部真人主播比較。以2022年1月B站月度直播營收頭部的VUP來看，排名頭位的嘉然（來自樂華+字節(jié)的ASOUL）月營收在73萬元（2021年部分月度頭名月營收可達(dá)200萬）；行業(yè)的收入中位數(shù)在5-10萬。按照運(yùn)營背景來分類，有個人勢、企業(yè)勢和社團(tuán)勢。但同時要遵守公司的制度；最后一類是社團(tuán)勢，不屬于某公司而是由一眾Vtuber組成的團(tuán)體進(jìn)行活動。目前隨著競爭越發(fā)激烈，企業(yè)勢更具優(yōu)勢。個人勢依靠單一“中之人”，內(nèi)容創(chuàng)作有限且有相對大的“翻車”風(fēng)險，早期積累流量難度較高；企業(yè)勢專業(yè)運(yùn)營團(tuán)隊(duì)，形象、人設(shè)、內(nèi)容、技術(shù)上有較大優(yōu)勢，一個賬號的初始建立成本在10萬以上（包括建模等），人力上風(fēng)險較小，早期積累快，后期商業(yè)活動/舞臺表演/原創(chuàng)歌曲等進(jìn)一步拉開差距，有的企業(yè)甚至采用了更接近于真人偶像的培養(yǎng)體系。頂流虛擬偶像組合A-SOUL由字節(jié)跳動負(fù)責(zé)開發(fā)，樂華娛樂（2021年獲字節(jié)跳動、阿里等戰(zhàn)略融資）負(fù)責(zé)運(yùn)營，A-SOUL的日常直播使用了電影《阿凡達(dá)》同類型光學(xué)動捕棚，一個攝像頭價格數(shù)十萬，一個棚根據(jù)精度需求有數(shù)十個這樣的攝像頭。2021年6月在A-SOUL成員向晚的B站生日會直播中共吸引了6900位粉絲為其充值，單日吸金累計高達(dá)125萬元；7月隊(duì)長貝拉的B站生日會直播中，其甚至創(chuàng)下虛擬主播區(qū)第一位、B站歷史第二位萬人艦長的紀(jì)錄，并且創(chuàng)造了233萬元的禮物收益。排名虛擬主播粉絲數(shù)（萬）性別國家平臺1泠鳶yousa319女排名虛擬主播粉絲數(shù)（萬）性別國家平臺1泠鳶yousa319女中國B站2Hanser303女中國斗魚、B站3祖婭納惜210.4女中國B站4多多POI208女中國B站5神樂七奈191女日本B站、YouTube6鹿乃ちゃん185女日本B站、NICO7嘉然今天吃什么163女中國B站8IChannel172女日本B站9小狼XF129男中國B站10一塊電鹿板124男中國B站排名虛擬主播營收（萬元）粉絲數(shù)（萬）1嘉然今天吃什么731632阿梓從小就很可愛6651.93七海Nana7mi5877.34乃琳Queen5766.45i御十二4944.16是姬拉ia4742.17染染_Ranoca470.98阿薩Aza3956.89老實(shí)憨厚的子衿365.910花花Haya3031.5虛擬分身：游戲行業(yè)虛擬形象需求擴(kuò)大虛擬分身：游戲行業(yè)虛擬形象需求擴(kuò)大PAGEPAGE42虛擬分身（AVATAR）滿足個人在虛擬世界中為自己創(chuàng)造獨(dú)特形象的身份需求，在社交、游戲等領(lǐng)域被反復(fù)驗(yàn)證。游戲需要玩家?guī)虢巧?，對人設(shè)天然要求高。隨著硬件技術(shù)迭代，游戲在畫面精細(xì)度和角色操控自由度方面越發(fā)強(qiáng)大，游戲廠商有較好的虛擬形象技術(shù)沉淀。以最典型的RPG為例，在2021年近3000TOP100收入移動游戲中，RPG（角色扮演類游戲）占比達(dá)1%，較0年309%仍有一定提升。RP游戲開始只有低還原度/有限的角色選擇，逐漸升級至設(shè)置自由度極高的“捏臉”系統(tǒng)，可以讓玩家根據(jù)自己的審美細(xì)化設(shè)定角色外觀，加強(qiáng)第二分身的游戲沉浸感、真實(shí)感。圖表：RPG游戲捏臉系統(tǒng)發(fā)展單機(jī)單機(jī)網(wǎng)游《上古卷軸3》（美） 《模擬人生》（美） 《完美世界》完美世界

《一夢江湖》網(wǎng)易 《逆水寒》網(wǎng)易

《幻塔》完美世界

《瑯琊榜》樂元素單機(jī)時代經(jīng)典RPG游戲。人物建模偏像素化，人物特征較粗糙，捏臉自由度較低。

國產(chǎn)網(wǎng)游最早捏臉系統(tǒng)之一，捏臉系統(tǒng)簡單

捏臉系統(tǒng)中可調(diào)整數(shù)據(jù)非常多，添加妝容玩法

首個實(shí)現(xiàn)基于照片的智能捏臉的MMORPG

推出二次元捏臉系統(tǒng)

全3D立體式捏臉技術(shù)，高自由度高精細(xì)度圖表：中國游戲市場規(guī)模 圖表：2020年、2021年中國收入前100的移動游戲產(chǎn)品收入分布41.6%34.0%41.6%34.0%35.1%38.0%37.6%2,7872,96526.7%22.9%1,65617%2,03623.0%2,1442,30920%1,1451,4078324466035%7%6%186263333.7.3.7.7.4演演,19.5%角色扮演RPG）,19.6%卡牌,7.8%策略,12.1%射擊,15.0%卡牌,8.6%MOBA,15.0%回合制角色扮演,11.5%MOBA,15.3%策略（含SLG）,10.0%回合制角色扮演,11.8%射擊,14.1%整體（億元） 增速（%）虛擬分身：虛擬社交構(gòu)建元宇宙支撐框架，虛擬分身成為元宇宙入口虛擬分身：虛擬社交構(gòu)建元宇宙支撐框架，虛擬分身成為元宇宙入口PAGEPAGE43手機(jī)端 手機(jī)端 超級QQ秀 測試階段自定義捏臉+AI捏臉（上傳照片）騰訊/VRVRchat2021年6月Anthos2017年 以VR設(shè)備為基礎(chǔ)，捏臉系統(tǒng)自由度高 GahamGaylo等Capital000元D輪融資VRHorizonworlds2021年象只有頭部和上身Metaacebook)/VR希壤2021年11自定義形象，目前捏臉自由度相對低百度/手機(jī)端Soul2015年9月 自動/手動定義捏臉任意門科技2021訊等戰(zhàn)略投資融資16900萬美元手機(jī)端BUD2021年空間相對較為有限零點(diǎn)一娛樂手機(jī)端 ZEPETO2018年依據(jù)照片進(jìn)行形象識別，后續(xù)可手動捏臉SNOW2022月2月啟明創(chuàng)投等A+輪融資1500萬美元2021年12月獲軟銀等1.89億美元B輪融資，估值超10億美元VRRecRoom 2016年自定義形象2021年12月虎系基AgainstGravityCoatue等1.45億美元融資，估值達(dá)到35億美元類型 APP 上線時間 形象 開發(fā)公司 融資信息 圖示圖表：國內(nèi)外虛擬形象社交產(chǎn)品虛擬社交方式帶來全新體驗(yàn)，虛擬形象為元宇宙入口。傳統(tǒng)社交平臺的文字、圖片社交為主，虛擬社交強(qiáng)調(diào)沉浸式體驗(yàn)，虛擬社交平臺用戶通過打造自己的虛擬形象最終要