TBIA 17-2024 數(shù)字人指標(biāo)要求及評估方法 第1部分：平臺基礎(chǔ)能力

IIICS33.160M61

團(tuán) 體 標(biāo) 準(zhǔn)T/BIA17-20241requirementsandtestmethodsfordigitalhumanPart1:Platformbasiccompetency2024年02月02日發(fā)布 2024年03月01日實施北京信息化協(xié)會IIII目錄前言 I范圍 1規(guī)范性引用文件 1術(shù)語、定義和縮略語 1術(shù)語和定義 1縮略語 2概述 2基礎(chǔ)技術(shù)能力 2能力要求 3評估方法 6基礎(chǔ)工程化能力 6能力要求 6評估方法 8基礎(chǔ)安全保障能力 8能力要求 8評估方法 9附錄A 10II前言本文件按照GB/T1.1—20201草。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識別這些專利的責(zé)任?！稊?shù)字人指標(biāo)要求及評估方法》分為以下部分：第1部分：平臺基礎(chǔ)能力；第2第3第4第5部分：終端一體機(jī)；第6第7……本文件為第1部分。本文件由北京信息化協(xié)會提出并歸口。（北京科技有限公（北京有限公（蘇州）有限公司、中傳景創(chuàng)(北京)文化旅游有限公司、寧波菊風(fēng)系統(tǒng)軟件有限公司。T/BIA17-2024T/BIA17-2024PAGEPAGE10數(shù)字人指標(biāo)要求及評估方法第1部分：平臺基礎(chǔ)能力范圍本文件適用于指導(dǎo)對數(shù)字人平臺基礎(chǔ)能力的設(shè)計、研發(fā)、評估、驗收等工作。規(guī)范性引用文件（包括所有的修改單）適用于本文件。ITU/TF.748.15數(shù)字人應(yīng)用系統(tǒng)基礎(chǔ)框架和評測指標(biāo)(Frameworkandmetricsfordigitalhumanapplicationsystems)術(shù)語、定義和縮略語術(shù)語和定義ITU/TF.748.15界定的以及下列術(shù)語和定義適用于本文件。3.1.1虛擬數(shù)字人 digitalhuman[來源：ITU/TF.748.15，3.2.1，有修改]3.1.2文本驅(qū)動text-driven是指支持不同類型的文本到最終數(shù)字人視頻（包括語音和畫面）的驅(qū)動方式。3.1.3音頻驅(qū)動audio-driven是指支持語音輸入以及音樂輸入，實現(xiàn)對數(shù)字人表情及動作的控制的驅(qū)動方式。3.1.4視頻驅(qū)動video-driven3.1.5動作捕捉設(shè)備驅(qū)動motioncapturedevicedriven是指通過動作捕捉設(shè)備對真人的動作捕捉，實現(xiàn)對數(shù)字人表情及動作的控制的驅(qū)動方式?？s略語下列縮略語適用于本文件。2D二維2-Dimensional3D三維3-DimensionalAPI應(yīng)用程序接口ApplicationProgrammingInterfaceCG計算機(jī)圖形學(xué)ComputerGraphicsCPU中央處理器CentralProcessingUnitGPU圖形處理器GraphicsProcessingUnitSaaS軟件即服務(wù)SoftwareasaServiceSDK軟件開發(fā)工具SoftwareDevelopmentKit概述數(shù)字人平臺基礎(chǔ)能力如圖1所示，主要涵蓋以下三個方面的內(nèi)容：基礎(chǔ)技術(shù)能力，即數(shù)字人平臺的基礎(chǔ)功能是否能夠滿足用戶普遍的使用需求，主基礎(chǔ)工程化能力，即數(shù)字人平臺的非功能性能力是否能夠支撐業(yè)務(wù)應(yīng)用落地，主基礎(chǔ)安全保障能力，即數(shù)字人平臺是否能夠滿足現(xiàn)有合規(guī)要求，主要從形象版權(quán)保障、內(nèi)容追溯能力、內(nèi)容風(fēng)險控制等方面進(jìn)行評估。圖1數(shù)字人基礎(chǔ)能力評估框架基礎(chǔ)技術(shù)能力能力要求概述表1基礎(chǔ)技術(shù)能力評估指標(biāo)及查驗內(nèi)容指標(biāo)類別指標(biāo)項查驗內(nèi)容必選/可選基礎(chǔ)技術(shù)能力形象技術(shù)能力支持的形象類型必選支持的形象精細(xì)度必選形象生成方式支持情況必選形象裝扮更換支持情況必選位移支持情況必選語音技術(shù)能力語音合成能?必選語音編輯能力可選語音轉(zhuǎn)換能力可選語音定制能力可選驅(qū)動技術(shù)能力支持的驅(qū)動方式必選驅(qū)動范圍必選交互技術(shù)能力支持的交互方式可選語音識別能力可選交互自主性可選支持的交互能力類型可選情感化表現(xiàn)可選富媒體展示能力可選喚醒能力可選內(nèi)容供給能力內(nèi)容構(gòu)建方式必選人設(shè)定制能力人設(shè)定制能力必選風(fēng)格一致性必選形象技術(shù)能力形象類型2D（2D真人形象、3D卡通形象（含動物、擬人化設(shè)計物）、3D半寫實形象、3D寫實形象等；注容、特色妝容、自由妝容、民族妝容等，動態(tài)表達(dá)風(fēng)格可分為正式風(fēng)、可愛風(fēng)等。注2：3D數(shù)字人形象各分類定義見附錄A的A.2。形象精細(xì)度支持一種或多種數(shù)字人形象精細(xì)度。若是2D真人形象類數(shù)字人，應(yīng)披露支持的分辨率；若是3D見附錄A；注（如手機(jī)類型的小屏場景、一體機(jī)以及會場大屏的大屏場景等）480p、720p、1080p等不同分辨率。注2：3D虛擬數(shù)字人的建模精細(xì)度決定了最終的呈現(xiàn)效果以及處理的效率，根據(jù)模型的面數(shù)可以將3D虛擬數(shù)字人的精細(xì)程度劃分成四個等級：普通質(zhì)量、中級質(zhì)量、高級質(zhì)量、超高級質(zhì)量，詳情見附錄A。形象生成方式支持一種及以上的數(shù)字人形象生成方式，供用戶定制數(shù)字人形象。其中，生成2D卡通、3D寫實形象、3D半寫實形象、3D卡通形象（含動物、擬人化設(shè)計物）的方式包括但不限于：根據(jù)用戶提供的需求，利用CG技術(shù)進(jìn)行生成數(shù)字人；提供模塊化數(shù)字人定制，系統(tǒng)定義數(shù)字人身體各部位參數(shù)，供用戶選擇搭配；提供深度數(shù)字人定制，用戶可完全自主定義數(shù)字人身體各部位的參數(shù)。生成2D真人形象的方式包括但不限于：用戶輸入照片，由系統(tǒng)根據(jù)照片參數(shù)生成數(shù)字人形象。用戶輸入視頻，利用人工智能算法處理視頻生成數(shù)字人形象。a)輸入大量視頻數(shù)據(jù)，生成高清真人數(shù)字人形象；b)輸入微量視頻數(shù)據(jù)，生成低成本，可即時任意替換的真人數(shù)字人形象。形象裝扮更換位移支持情況注1：全身移動是指數(shù)字人與虛擬鏡頭、背景、地?的相對位置可以發(fā)?變化，可以為觀眾帶來視角變化、距離變化、背景環(huán)境變化的視覺效果。注?的相對位置可以發(fā)??感受到整個空間所有元素相對位置的變化，數(shù)字人能與道具、環(huán)境進(jìn)行自然的互動（態(tài)等）。語音技術(shù)能力應(yīng)包含以下基本功能：——支持語音合成能?注唱語音；變聲是指將不同人的聲音轉(zhuǎn)換成特定聲音的能力；注2：發(fā)音編輯是指編輯文本中多音字、符號等的發(fā)音，并能依據(jù)用戶的設(shè)定合成正確的發(fā)音。（應(yīng)披露樣本數(shù)據(jù)時長）等；驅(qū)動技術(shù)能力應(yīng)包含以下基本功能：注：動作捕捉設(shè)備包括光學(xué)動作捕捉、慣性動作捕捉等動作捕捉設(shè)備。（半身或全身交互技術(shù)能力應(yīng)包含以下基本功能：景下，8k電話信道的識別率可達(dá)到88%以上，16k網(wǎng)絡(luò)信道的識別率可達(dá)到95%以上?！С种鲃咏换セ虮粍咏换ァＶ鲃咏换ナ侵父鶕?jù)時間、地點、用戶狀態(tài)，在恰當(dāng)?shù)臅r——披露支持的交互能力類型，如業(yè)務(wù)處理、常識性智能問答、閑聊等；——支持情感化表現(xiàn)，如喜、怒、哀、樂等情感；——支持交互過程中的富媒體展示能力，如圖表、視頻、虛擬物品等；——披露支持的喚醒方式，如基于傳感器、點擊、視覺、語音等。內(nèi)容供給能力應(yīng)包含以下基本功能：——支持一種或多種內(nèi)容構(gòu)建方式，如手工構(gòu)建、SaaS化工具構(gòu)建、智能生成等；注1：手工構(gòu)建是指通過非工具化的方式，手工準(zhǔn)備的數(shù)字人應(yīng)用場景內(nèi)容，需要實施人員進(jìn)行手工編輯、導(dǎo)入或提交；2：SaaS播劇本編輯工具、知識編輯等。用戶創(chuàng)建或修改完成后可以直接供數(shù)字人使用；注3：智能生成是指通過算法或大數(shù)據(jù)挖掘，系統(tǒng)自動化為數(shù)字人生成應(yīng)用場景內(nèi)容，如電商直播的商品介紹劇本、新聞直播的新聞劇本、問答知識庫等；人設(shè)定制能力數(shù)字人人設(shè)應(yīng)包括形象、服飾、表達(dá)、聲音等方面。數(shù)字人人設(shè)定制應(yīng)包含以下基本功能：——披露對數(shù)字人人設(shè)的定制能力，且數(shù)字人的人設(shè)應(yīng)當(dāng)與使用場景、目標(biāo)用戶通識認(rèn)知保持一致。注：目標(biāo)用戶通識認(rèn)知指在某一特定場景下，用戶認(rèn)為數(shù)字人應(yīng)當(dāng)具備的外貌特性以及性格特點。例如在服務(wù)行業(yè)場景，數(shù)字人被普遍認(rèn)為應(yīng)當(dāng)熱情體貼，而在司法場景，數(shù)字人被普遍認(rèn)為應(yīng)當(dāng)莊重嚴(yán)謹(jǐn)?！С诛L(fēng)格一致性，即在輸出數(shù)字人技術(shù)時需保持人設(shè)的統(tǒng)一性、自洽性、一貫性，包括但不限于：數(shù)字人身份、性格、形象、聲音、表達(dá)等。評估方法基礎(chǔ)工程化能力能力要求概述表2基礎(chǔ)工程化能力評估指標(biāo)及查驗內(nèi)容指標(biāo)類別指標(biāo)項查驗內(nèi)容必選/可選基礎(chǔ)工程化能力標(biāo)準(zhǔn)資源配置披露客戶端環(huán)境必選服務(wù)端標(biāo)準(zhǔn)軟硬件配置必選標(biāo)準(zhǔn)網(wǎng)絡(luò)環(huán)境必選可移植性適應(yīng)性必選易用性易操作性必選用戶界面舒適性必選易學(xué)性必選可擴(kuò)展性功能擴(kuò)展必選性能擴(kuò)展必選個性化擴(kuò)展可選兼容性渲染方案支持情況必選多渠道接入能力必選云端渲染SDK支持情況可選終端渲染SDK支持情況可選與已有AI能力集成能力可選與已有業(yè)務(wù)系統(tǒng)集成能力可選可兼容適配的軟硬件必選人工接管支持情況可選時效性生產(chǎn)周期必選實時響應(yīng)速度必選可靠性成熟性必選易恢復(fù)性必選交互質(zhì)檢功能可選標(biāo)準(zhǔn)資源配置披露應(yīng)對各類型數(shù)字人運行需要的標(biāo)準(zhǔn)資源配置進(jìn)行披露，包括以下信息的披露：——客戶端的環(huán)境要求；CPU、GPU、內(nèi)存、磁盤等；可移植性應(yīng)包含以下基本功能：SaaS——支持企業(yè)私有化本地/云端獨立部署，保障數(shù)據(jù)私密安全；易用性應(yīng)包含以下基本功能：——具備易操作性，產(chǎn)品或系統(tǒng)易于操作和控制?！邆溆脩艚缑媸孢m性，人機(jī)界面簡潔、直觀；——具備易學(xué)性，產(chǎn)品或系統(tǒng)無需培訓(xùn)學(xué)習(xí)，理解應(yīng)用成本低；——提供完整的用戶操作手冊；可擴(kuò)展性應(yīng)包含以下基本功能：——支持功能擴(kuò)展，具有良好可擴(kuò)展性的系統(tǒng)設(shè)計，支持添加新功能或修改完善現(xiàn)有功能；——支持性能擴(kuò)展，支持橫向擴(kuò)展增加服務(wù)器提高系統(tǒng)性能，支持縱向擴(kuò)展增加服務(wù)器的內(nèi)存或者CPU提高系統(tǒng)性能；——具有良好的定制擴(kuò)展能力，允許基于開放的API/SDK進(jìn)行二次開發(fā)和系統(tǒng)集成；兼容性應(yīng)包含以下基本功能：——支持云端渲染、本地終端渲染能力；注1：云端渲染是指依托云端CPU/GPU服務(wù)器的中心化算力，在云端進(jìn)行數(shù)字人的形象渲染合成。注2：本地終端渲染是指依托終端硬件設(shè)備算力，不依賴云端服務(wù)器和網(wǎng)絡(luò)流量，在本地進(jìn)行數(shù)字人的形象渲染合成?！С侄嗲澜尤肽芰?，如App、Web/H5、小程序、VTM、大屏設(shè)備、VoLTE等渠道終端；——支持云端渲染方式的標(biāo)準(zhǔn)化SDK，如WebSDK、AndroidSDK、iOSSDK；——支持終端渲染方式的標(biāo)準(zhǔn)化SDK，如AndroidSDK、iOSSDK、WindowsSDK、LinuxSDK；——支持與第三方廠商/客戶業(yè)務(wù)已有AI能力集成，如語音識別、語音合成、自然語言處理、計算機(jī)視覺等能力；——支持與客戶已有業(yè)務(wù)系統(tǒng)定制化集成對接，如音視頻平臺、呼叫中心系統(tǒng)等；——披露支持的可兼容適配的操作系統(tǒng)和硬件；——披露人工接管的支持情況，如文本接管、語音接管、視頻接管、動作捕捉設(shè)備接管等；時效性應(yīng)包含以下基本功能：——應(yīng)披露各類型（不同形象類型、驅(qū)動類型、交互類型等）數(shù)字人的生產(chǎn)周期；——應(yīng)披露各類型數(shù)字人在標(biāo)準(zhǔn)資源配置下的實時響應(yīng)速度。對于單向播報類數(shù)字人，可靠性應(yīng)包含以下基本功能：——支持滿負(fù)荷狀態(tài)下（硬件支持的最大并發(fā)路數(shù)），穩(wěn)定運行7*24小時，無內(nèi)存/顯存泄漏和CPU/GPU異?，F(xiàn)象，穩(wěn)定運行無崩潰、無數(shù)據(jù)卡死現(xiàn)象；評估方法基礎(chǔ)安全保障能力能力要求概述表3基礎(chǔ)安全保障能力評估指標(biāo)及查驗內(nèi)容指標(biāo)類別指標(biāo)項查驗內(nèi)容必選/可選基礎(chǔ)安全保障能力形象版權(quán)保障肖像權(quán)、著作權(quán)等可選內(nèi)容回溯能力數(shù)字水印支持情況可選內(nèi)容風(fēng)險控制內(nèi)容風(fēng)險控制機(jī)制可選顯著標(biāo)識顯著標(biāo)識支持情況必選形象版權(quán)保障——若涉及真人授權(quán)，需要肖像權(quán)等授權(quán)文件；——若涉及創(chuàng)作作品，需有設(shè)計著作權(quán)等證明文件?！獙?shù)字人除形象之外的聲音、音樂、背景等素材應(yīng)獲得相應(yīng)場景的版權(quán)許可。內(nèi)容回溯能力內(nèi)容回溯需支持從技術(shù)上提供不影響數(shù)字人效果的安全水印，支持添加、修改、刪除、內(nèi)容風(fēng)險控制內(nèi)容風(fēng)險審核支持機(jī)器審核、人工審核，并根據(jù)不同的使用場景提供不同的組合模式，同時保障服務(wù)可用性。顯著標(biāo)識數(shù)字人技術(shù)和業(yè)務(wù)提供方應(yīng)當(dāng)向數(shù)字人服務(wù)使用者提供對數(shù)字人信息內(nèi)容進(jìn)行顯著標(biāo)識的功能，并提示數(shù)字人服務(wù)使用者可以對深度合成信息內(nèi)容進(jìn)行顯著標(biāo)識。評估方法對于安全保障能力的評估主要對數(shù)字人形象版權(quán)保障、內(nèi)容回溯能力、內(nèi)容風(fēng)險控制、附錄A（資料性）3D數(shù)字人形象建模質(zhì)量分類分級3D數(shù)字人形象建模質(zhì)量分類分級總體說明3D數(shù)字人形象建模質(zhì)量分類分級是作為考察區(qū)分3D3D數(shù)字圖A-13D數(shù)字人形象質(zhì)量分類分級參考架構(gòu)數(shù)字人美術(shù)風(fēng)格分類分類分類標(biāo)準(zhǔn)卡通臉型、眼睛形狀與位置、嘴唇形狀與位置、眼球形狀等參數(shù)脫離真人比例。半寫實臉型、眼睛形狀與位置、嘴唇形狀與位置、眼球形狀等參數(shù)基本參照真人比例，臉部無皮膚細(xì)節(jié)。寫實臉型、眼睛形狀與位置、嘴唇形狀與位置、眼球形狀等參數(shù)嚴(yán)格參照真人比例，并可在特寫狀態(tài)下觀察到絨毛、皮膚毛孔等仿真細(xì)節(jié)。頭部模型質(zhì)量分級用來描述數(shù)字人頭部模型的質(zhì)量。分級為：普通質(zhì)量、中級質(zhì)量、高級質(zhì)量、超高級質(zhì)量。分級分級標(biāo)準(zhǔn)普通質(zhì)量所有頭部模型質(zhì)量子指標(biāo)達(dá)到普通質(zhì)量及以上中級質(zhì)量所有頭部模型質(zhì)量子指標(biāo)達(dá)到中級質(zhì)量及以上高級質(zhì)量所有頭部模型質(zhì)量子指標(biāo)達(dá)到高級質(zhì)量及以上超高級質(zhì)量所有頭部模型質(zhì)量子指標(biāo)達(dá)到超高級質(zhì)量及以上頭部模型面數(shù)描述構(gòu)成頭部模型的頂點數(shù)量。分級為：普通質(zhì)量、中級質(zhì)量、高級質(zhì)量、超高級質(zhì)量。分級分級標(biāo)準(zhǔn)普通質(zhì)量[0,10000)中級質(zhì)量[10000,20000)高級質(zhì)量[20000,40000)超高級質(zhì)量[40000,+∞)頭部模型完備度分級分級標(biāo)準(zhǔn)普通質(zhì)量頭部模型由一個整體網(wǎng)格構(gòu)成沒有獨立眼睛和口腔等部分。中級質(zhì)量頭部模型包含面部網(wǎng)格和獨立的口腔或舌頭網(wǎng)格，獨立的眼球結(jié)構(gòu)高級質(zhì)量超高級質(zhì)量獨立的左右眼球網(wǎng)格以及眼瞼網(wǎng)格、淚腺網(wǎng)格等細(xì)節(jié)子模型，并且有細(xì)致的皮膚紋理雕刻頭部紋理質(zhì)量（所對應(yīng)紋超高級質(zhì)量。a分級b分級標(biāo)準(zhǔn)c普通質(zhì)量d面部紋理有效區(qū)域面積小于等于2Ke中級質(zhì)量f面部紋理有效區(qū)域面積為4Kg高級質(zhì)量h面部紋理有效區(qū)域面積為8Ki量j面部紋理有效區(qū)域面積大于8K以上，并且使用多象限UV頭部紋理完備度k分級l分級標(biāo)準(zhǔn)m普通質(zhì)量n僅包含漫反射紋理o中級質(zhì)量p包含漫反射紋理、法線紋理、置換紋理q高級質(zhì)量r包含漫反射紋理、法線紋理、置換紋理、高光紋理、次表面散射紋理s量t表情驅(qū)動質(zhì)量分級分級分級標(biāo)準(zhǔn)普通質(zhì)量無中級質(zhì)量基礎(chǔ)表情數(shù)量100個以下高級質(zhì)量基礎(chǔ)表情數(shù)量100-400個超高級質(zhì)量基礎(chǔ)表情數(shù)量400個以上毛發(fā)系統(tǒng)質(zhì)量分級分級分級標(biāo)準(zhǔn)普通質(zhì)量使用非透明紋理的整體網(wǎng)格構(gòu)成頭發(fā)，并進(jìn)行著色和渲染中級質(zhì)量使用分片網(wǎng)格和半透明紋理構(gòu)成頭發(fā)及睫毛，并進(jìn)行著色和渲染高級質(zhì)量使基于引導(dǎo)線的毛發(fā)系統(tǒng)，結(jié)合各向異性材質(zhì)構(gòu)成頭發(fā)及睫毛，并進(jìn)行著色和渲染。超高級質(zhì)量使基于引導(dǎo)線的毛發(fā)系統(tǒng)，結(jié)合各向異性材質(zhì)構(gòu)成頭發(fā)及睫毛，同時包含細(xì)節(jié)臉部絨毛，并進(jìn)行著色和渲染，包含深度紋理和切線紋理。身體模型質(zhì)量分級用來描述數(shù)字人身體模型的質(zhì)量。分級為：普通質(zhì)量、中級質(zhì)量、高級質(zhì)量、超高級質(zhì)量。分級分級標(biāo)準(zhǔn)普通質(zhì)量所有身體模型質(zhì)量子指標(biāo)達(dá)到普通質(zhì)量及以上中級質(zhì)量所有身體模型質(zhì)量子指標(biāo)達(dá)到中級質(zhì)量及以上高級質(zhì)量所有身體模型質(zhì)量子指標(biāo)達(dá)到高級質(zhì)量及以上超高級質(zhì)量所有身體模型質(zhì)量子指標(biāo)達(dá)到超高級質(zhì)量及以上身體模型面數(shù)描述構(gòu)成身體模型的頂點數(shù)量。分級為：普通質(zhì)量、中級質(zhì)量、高級質(zhì)量、超高級質(zhì)量。分級分級標(biāo)準(zhǔn)普通質(zhì)量[0,10000)中級質(zhì)量[10000,20000)高級質(zhì)量[20000,40000)超高