周琳娜《AI 換臉與檢測(cè)》課件

AI換臉的由來(lái)與案例一AI換臉的原理與技術(shù)二AI換臉如何檢測(cè)三主要內(nèi)容AI換臉的影響及各國(guó)治理四一AI換臉的由來(lái)與案例GenerationFace

swappingExpression

transferChangeof

attributesSegmentation

map-to-imageCompositionCopy-moveInpaintingImage-to-imageSketch-to-imageVideo-to-videoRemovalChangeof

StylePaintwith

features+redlimbs

=Text-to-imageText-to

videoDeepfake=Deeplearning+

FakeDeep

learningGoogle

Brain研究員Ian

Goodfellow在2014年發(fā)明深度學(xué)習(xí)技術(shù)，原意是利用算法從現(xiàn)有數(shù)據(jù)中產(chǎn)生更多新數(shù)據(jù)。DeepVideo

Portraits深度視頻肖像（小屏出）日本綜藝用3D投影技術(shù)復(fù)活鄧麗君韓國(guó)媽媽用科技與去世女兒重逢人臉交換表情遷移背景遷移姿勢(shì)轉(zhuǎn)換面部合成（小屏出）人臉交換人臉操控二AI換臉的原理與技術(shù)臉部替換用某人臉部的影像，替換掉另一個(gè)目標(biāo)人物的臉，目標(biāo)人物的臉被覆蓋了，重點(diǎn)在換上去的臉。臉部再制可修改目標(biāo)人物的臉部表情，例如移動(dòng)他們的嘴巴、眉毛和眼睛，目的并不是取代他們的臉部特征，而是更改他們的面部細(xì)節(jié)，使照片傳達(dá)的訊息不同。人臉生成創(chuàng)造一個(gè)全新的臉，利用新興的GAN（生成對(duì)抗網(wǎng)絡(luò)）深度學(xué)習(xí)技術(shù)，使用兩個(gè)神經(jīng)網(wǎng)絡(luò)互相對(duì)抗，其中一個(gè)生成影像，另一個(gè)負(fù)責(zé)判斷生成的影像是否夠好。聲音合成Deepfake中一種相對(duì)新的分支，聲音合成可以創(chuàng)造一個(gè)人聲音的模型，使用那個(gè)人的說(shuō)話(huà)方式和語(yǔ)調(diào)念出文字。而有的聲音合成產(chǎn)品，例如Modulate.ai，則是能讓使用者挑選聲音的年紀(jì)和性別，并不是模仿某個(gè)特定的目標(biāo)。生成對(duì)抗網(wǎng)絡(luò)一個(gè)網(wǎng)絡(luò)用于生成數(shù)據(jù)，叫作“生成器”（Generator）。另一個(gè)網(wǎng)絡(luò)叫作“判別器”（Discriminator），任務(wù)是判斷數(shù)據(jù)是真實(shí)的還是“生成器”生成的?！吧善鳌迸c“判別器”相互對(duì)抗，“生成器”努力騙過(guò)“判別器”。FaceSwap換臉流程FaceSwap換臉流程Snapchat和FaceApp這兩款軟件被稱(chēng)為面部合成，通過(guò)特征點(diǎn)選取，任意合成生成不存在的人臉，主要技術(shù)包括人臉對(duì)齊、關(guān)鍵點(diǎn)檢測(cè)、無(wú)縫縫合，相當(dāng)于電子帶了一個(gè)人皮面具。Faceswap又稱(chēng)人臉交換，面部合成合成一個(gè)不存在的人臉，而人臉交換就可以把任意人臉交換到想換到的人臉上。Face2Face就是人臉操控，這項(xiàng)技術(shù)將目標(biāo)延申到了視頻范圍，只需一張照片就可以驅(qū)動(dòng)一個(gè)視頻。相比于Face2Face主要操控面部表情，HeadOn主要操控頭部姿態(tài)。三AI換臉如何檢測(cè)（一）Deepfake檢測(cè)技術(shù)瞳孔顏色不一致瞳孔中心反射細(xì)節(jié)失真基于紋理特征的檢測(cè)牙齒邊緣過(guò)于平整鼻子陰影偽影Deepfake視頻會(huì)出現(xiàn)眨眼、心率等特征異常。健康的成年人眨眼間隔一般為2—10秒，每次眨眼用時(shí)0.1—0.4秒。基于觀(guān)察發(fā)現(xiàn)，在偽造視頻中的人物很少或幾乎不眨眼?；谏锾卣鞯臋z測(cè)基于動(dòng)態(tài)特征的檢測(cè)基于固有特征的檢測(cè)基于混合偽影的檢測(cè)Deepfake視頻會(huì)造成一定的視頻抖動(dòng)，導(dǎo)致視頻出現(xiàn)幀間不一致情況?；趲g不一致性的檢測(cè)人類(lèi)傾向于通過(guò)整個(gè)面部分辨是否是偽造人臉。將對(duì)模型檢測(cè)結(jié)果影響最大的區(qū)域定義為敏感區(qū)域，對(duì)敏感區(qū)域進(jìn)行“遮擋”再訓(xùn)練，可獲得性能更強(qiáng)的深偽換臉檢測(cè)模型?；诿舾袇^(qū)域模型的檢測(cè)從海量數(shù)據(jù)集中學(xué)習(xí)Deepfake生成圖像的復(fù)雜特征?；跀?shù)據(jù)驅(qū)動(dòng)的檢測(cè)基于特定目標(biāo)人物的檢測(cè)（二）深偽取證技術(shù)：以AI對(duì)AI圖像像素層統(tǒng)計(jì)取證（小屏出）三維場(chǎng)景層建模取證（小屏出）語(yǔ)義層多線(xiàn)索關(guān)聯(lián)取證（小屏出）四AI換臉的影響及各國(guó)治理（一）國(guó)內(nèi)治理網(wǎng)絡(luò)音視頻信息服務(wù)提供者和網(wǎng)絡(luò)音視頻信息服務(wù)使用者不得利用基于深度學(xué)習(xí)、虛擬現(xiàn)實(shí)等的新技術(shù)新應(yīng)用制作、發(fā)布、傳播虛假新聞信息。——《網(wǎng)絡(luò)音視頻信息服務(wù)管理規(guī)定》國(guó)家互聯(lián)網(wǎng)信息辦公室、公安部加強(qiáng)對(duì)語(yǔ)音社交軟件和涉深度偽造技術(shù)的互聯(lián)網(wǎng)新技術(shù)新應(yīng)用安全評(píng)估，依法約談?dòng)晨?、小米、快手、字?jié)跳動(dòng)、鯨準(zhǔn)數(shù)服、云賬戶(hù)、喜馬拉雅、阿里巴巴、網(wǎng)易云音樂(lè)、騰訊、去演等11家企業(yè)，督促其按照《網(wǎng)絡(luò)安全法》《具有輿論屬性或社會(huì)動(dòng)員能力的互聯(lián)網(wǎng)信息服務(wù)安全評(píng)估規(guī)定》等法律法規(guī)及政策要求，認(rèn)真開(kāi)展安全評(píng)估，完善風(fēng)險(xiǎn)防控機(jī)制和措施，并對(duì)安全評(píng)估中發(fā)現(xiàn)的安全隱患及時(shí)采取有效整改措施，切實(shí)履行企業(yè)信息內(nèi)容安全主體責(zé)任。（一）國(guó)際治理2021年發(fā)布的AIinSecurity重點(diǎn)強(qiáng)調(diào)了Deepfake的威脅。2019年9月，F(xiàn)aceBook、微軟、麻省理工大學(xué)等聯(lián)合啟動(dòng)Deepfake視頻檢測(cè)挑戰(zhàn)賽。2019年11月，Twitter發(fā)布首個(gè)反Deepfake策略草案：如果一份Deepfake偽造的內(nèi)容威脅到某人的人身安全或可能造成嚴(yán)重傷害，將會(huì)被刪除。2018年，歐盟委員會(huì)發(fā)布了《反對(duì)虛假信息行為準(zhǔn)則》，旨在進(jìn)一步加強(qiáng)互聯(lián)網(wǎng)企業(yè)對(duì)平臺(tái)內(nèi)容的自我審查，從源頭打擊網(wǎng)絡(luò)謠言。2018年1月1日起，德國(guó)施行《社交媒