“AI換臉”威脅研究與安全策略 202403

2024.03ar@dgic.頂象防御云《“AI換臉”威脅研究及安全策略》一、“AI換臉”基于“深度偽造”技術(shù) 31、“深度偽造”的構(gòu)成 3（1）人臉識(shí)別和關(guān)鍵點(diǎn)檢測(cè) 3（2）圖像/視頻合成技術(shù) 3（3）生成對(duì)抗網(wǎng)絡(luò)(GAN) 3（4）增強(qiáng)效果技術(shù) 42、“深度偽造”的危害 4（1）“換臉”視頻和圖像 4（2）合成真人音頻 5（3）偽造文本信息 6二、常見的“深度偽造”欺詐類型 81、偽造賬號(hào)造謠傳謠 82、冒充熟人進(jìn)行詐騙 83、偽造身份申請(qǐng)銀行貸款 94、讓“網(wǎng)絡(luò)釣魚”更加難以識(shí)別 95、冒充他人遠(yuǎn)程面試入職 96、冒名登錄盜走銀行余額 三、“深度偽造”的產(chǎn)業(yè)鏈 1、“深度偽造”欺詐的過程 2、“深度偽造”欺詐上游：虛假圖文與視頻的制作 133、“深度偽造”欺詐下游：多個(gè)平臺(tái)多個(gè)方式實(shí)施詐騙 15四、識(shí)別檢測(cè)“深度偽造”的音視頻 1、人的行為與生物識(shí)別 2、設(shè)備與操作識(shí)別 3、技術(shù)識(shí)別與取證 4、社交防范與公眾教育 五、對(duì)抗“AI換臉”欺詐的安全策略 1、社交媒體場(chǎng)景下的安全策略 2、銀行信貸場(chǎng)景下的安全策略 六、國(guó)家監(jiān)管與相關(guān)法律法規(guī) 222、美國(guó) 233、歐盟 234、澳大利亞 235、國(guó)際組織及會(huì)議 七、哪些機(jī)構(gòu)需要負(fù)起責(zé)任 1、社交媒體 242、金融機(jī)構(gòu) 253、AI工具提供商 25八、關(guān)于情報(bào)作者 1、頂象業(yè)務(wù)安全情報(bào)簡(jiǎn)介 2、頂象簡(jiǎn)介 262marketing@頂象防御云《“AI換臉”威脅研究及安全策略》AI換臉，也稱為“深度偽造”（Deepfake是一種利用人工智能技術(shù)將人臉替換到另一個(gè)人的臉部上的技術(shù)?！吧疃葌卧臁奔夹g(shù)涉及多種技術(shù)和算法，這些技術(shù)和算法相互配合，可以生成非常逼真的圖像或視頻。將“深度偽造”的虛假內(nèi)容與真實(shí)信息的元素拼湊在一起，就可以用于可以偽造身份、傳播錯(cuò)誤信息、制作虛假數(shù)字內(nèi)容，進(jìn)行各類欺詐。（1）人臉識(shí)別和關(guān)鍵點(diǎn)檢測(cè)人臉識(shí)別和關(guān)鍵點(diǎn)檢測(cè)用于識(shí)別和定位人臉，是“深度偽造”技術(shù)的基礎(chǔ)，主要用于識(shí)別圖像或視頻中的人臉，并定位人臉的關(guān)鍵點(diǎn)，例如眼睛、鼻子、嘴巴等。這些信息可以用于將人臉從圖像或視頻中提取出來，并將其與其他圖像或視頻進(jìn)行合成。其中，人臉識(shí)別算法包含基于特征的人臉識(shí)別的Eigenfaces、Fisherfaces、LocalBinaryPatterns(LBP)，基于子空間的人臉識(shí)別的PrincipalComponentAnalysis(PCA)、LinearDiscriminantAnalysis(LDA)，以及基于深度學(xué)習(xí)的人臉識(shí)別的DeepFace、FaceNet、Dlib等；關(guān)鍵點(diǎn)檢測(cè)算法包含基于形狀的人臉關(guān)鍵點(diǎn)檢測(cè)的ActiveShapeModel(ASM)、ConstrainedLocalModel(CLM)，基于外觀的人臉關(guān)鍵點(diǎn)檢測(cè)的CascadedShapeRegression(CSR)、DeepPose等。（2）圖像/視頻合成技術(shù)圖像/視頻合成技術(shù)將不同的人臉、表情、動(dòng)作等合成到目標(biāo)圖像或視頻中，是“深度偽造”技術(shù)的核心，主要用于將不同的人臉、表情、動(dòng)作等合成到目標(biāo)圖像或視頻中。常用的圖像/視頻合成技術(shù)包括，含基于像素的圖像/視頻合成的PoissonBlending、SeamlessCloning，基于特征的圖像/視頻合成的FaceSwap、DeepFaceLab。（3）生成對(duì)抗網(wǎng)絡(luò)(GAN)生成對(duì)抗網(wǎng)絡(luò)(GAN)是一種深度學(xué)習(xí)技術(shù)，可以生成非常逼真的圖像或視頻。GAN由兩個(gè)神經(jīng)網(wǎng)絡(luò)組成：生成器和判別器，其中生成器的目標(biāo)是生成高度逼真的虛假圖像、視頻與聲音，是“深度偽造”技術(shù)的重要工具，其包含DCGAN、ProGAN、StyleGAN。3marketing@2024年1月，頂象防御云業(yè)務(wù)安全情報(bào)中心曾發(fā)文警示，AI正2024年1月，頂象防御云業(yè)務(wù)安全情報(bào)中心曾發(fā)文警示，AI正成為一種新的威脅手段，利用AI技術(shù)的攻擊者將給企業(yè)和個(gè)人用戶帶來前所未有的風(fēng)險(xiǎn)，并列舉了2024年業(yè)務(wù)欺詐風(fēng)險(xiǎn)的五大趨勢(shì)。（4）增強(qiáng)效果技術(shù)可以增強(qiáng)“深度偽造”效果的技術(shù)，包含用于合成偽造的WaveNet、Tacotron，用于創(chuàng)建逼真的3D模型ShapefromShading和ructurefromMotion等。2、“深度偽造”的危害圖1-1：“AI換臉”技術(shù)上稱為“深度偽造”2024年1月，香港一家跨國(guó)公司員工被騙2億港元。該員工收到一封偽裝成公司總部 CFO的電子郵件后，被邀請(qǐng)參加視頻會(huì)議。會(huì)議中，除了該員工外，其他人均為“深度偽造”技術(shù)制作的虛假影像。詐騙分子指示該員工，在一周內(nèi)陸續(xù)轉(zhuǎn)賬2億港元至五個(gè)銀行賬戶。4marketing@頂象防御云《“AI換臉”威脅研究及安全策略》圖1-2：香港“AI換臉”案被騙2億港元2023年12月，一名留學(xué)生在境外被“綁架”，父母遭“綁匪”索要500萬元贖金，還收到了“肉票”被控制、傷害的視頻。通過現(xiàn)場(chǎng)調(diào)查及國(guó)際警務(wù)合作，5個(gè)小時(shí)后，涉事留學(xué)生小賈被成功解救——不是從綁匪手中，而是在學(xué)校所在國(guó)的出入境口岸。真相也隨之揭開：讓小賈和父母經(jīng)歷驚心時(shí)刻的“綁架案”，其實(shí)是詐騙分子精心布設(shè)的騙局，是一起典型的針對(duì)留學(xué)生和家屬的“虛擬綁架”詐騙。詐騙分子偽造視頻和圖像，將陌生人的照片替換為同事的臉，然后借助遠(yuǎn)程視頻通話吸引和說服受害者共享機(jī)密信息（例如憑據(jù)并操縱受害人進(jìn)行未經(jīng)授權(quán)的金融交易。的一項(xiàng)數(shù)據(jù)顯示，“深度偽造”色情內(nèi)容就占所有在線“深度偽造”視頻的98%，幾乎都是以及流行歌星泰勒·斯威夫特（TaylorSwift）都因在詐騙視頻中偽造身份而成為受害者。（2）合成真人音頻2023年11月，內(nèi)蒙古包頭市警方通報(bào)了一起詐騙案件。詐騙分子通過“深度偽造”技術(shù)偽裝成福州市某科技公司法人代表郭先生的好友，然后通過微信視頻與郭先生聯(lián)系，在取得郭先生信任后，詐騙分子佯裝需要借用郭先生公司的賬戶走賬，成功騙取了郭先生430萬元。騙子對(duì)受害人進(jìn)行了長(zhǎng)時(shí)間的觀察和資料收集，對(duì)受害人的家庭、工作、社會(huì)關(guān)系、行蹤、軌跡、習(xí)慣、作息等有了比較清晰地了解，然后利用偽造的視頻、聲音實(shí)施了定向的詐騙。5marketing@圖1-3：“深度偽造”技術(shù)能夠克隆任何人的聲音用“深度偽造”克隆任何人的聲音非常容易。詐騙分子通過公開渠道（例如，社交媒體上的視頻片段，新聞媒體的采訪報(bào)道、公開活動(dòng)上的演講談話等）提取語音樣本，僅需30秒到1分鐘的樣本，就能制作出高度逼真的聲音克隆，然后可用于留下語音郵件或讓人們參與實(shí)時(shí)對(duì)話，進(jìn)一步模糊了現(xiàn)實(shí)與欺騙之間的界限?！吧疃葌卧臁钡奶摷僖纛l對(duì)基于語音的身份驗(yàn)證系統(tǒng)構(gòu)成了越來越大的威脅。擁有廣泛可用語音樣本的個(gè)人，例如名人和政治家，特別容易受到這種策略的影響。據(jù)調(diào)查，37%的組織在2022年經(jīng)歷了“深度偽造”的語音欺詐。（3）偽造文本信息基于“深度偽造”制作假新聞、假消息、假賬號(hào)等，進(jìn)行詐騙、勒索、誣陷、誹謗等違法行為和事例屢見不鮮。不僅危害社會(huì)經(jīng)濟(jì)安全，更關(guān)乎企業(yè)個(gè)人聲譽(yù)以及個(gè)人財(cái)產(chǎn)安全。6marketing@圖1-4：各種“深度偽造”的虛假信息肆虐例如，企業(yè)每年已經(jīng)因電子郵件釣魚欺詐損失數(shù)十億美元，“深度偽造”讓電子郵件網(wǎng)絡(luò)釣魚攻擊更加危險(xiǎn)，因?yàn)樵p騙分子可以使用他們的身份看起來更可信。能夠更容易創(chuàng)建虛假的企業(yè)高管個(gè)人資料，并利用它們來引誘員工。釣魚郵件還會(huì)冒充重要客戶公司的員工，并經(jīng)常使用“請(qǐng)求”“付款”和“緊急”等短語來誘使收件人點(diǎn)擊。文本信息的“深度偽造”是指看似由真人創(chuàng)作的書面內(nèi)容。尤其社交媒體的普及，是文本深度偽造被廣泛應(yīng)用的主要因素，其中帖子可以用作社交媒體操縱活動(dòng)或機(jī)器人生成的響應(yīng)的一部分。他們的目的通常是大規(guī)模傳播假新聞和虛假信息，造成一種欺騙性的看法，即各種媒體平臺(tái)上的許多人都有相同的信念。7marketing@頂象防御云《“AI換臉”威脅研究及安全策略》二、常見的“深度偽造”欺詐類型1、偽造賬號(hào)造謠傳謠利用“深度偽造”技術(shù)，詐騙分子能夠創(chuàng)建和分發(fā)高度定制和令人信服的內(nèi)容，這些內(nèi)容可以根據(jù)個(gè)人的在線行為、偏好和社交網(wǎng)絡(luò)來定位個(gè)人，并可以無縫地融入用戶的提要中，從而促進(jìn)快速和廣泛的傳播。這使得網(wǎng)絡(luò)犯罪對(duì)用戶和平臺(tái)來說更加高效和具有挑戰(zhàn)性。識(shí)別“深度偽造”的虛假賬號(hào)是一項(xiàng)極具挑戰(zhàn)性的任務(wù)，因?yàn)檫@些賬號(hào)通常涉及真實(shí)元素（如真實(shí)地址）和捏造信息的組合。這使得檢測(cè)和預(yù)防變得極其困難。使用合法組件和虛假詳細(xì)信息進(jìn)一步復(fù)雜化了檢測(cè)工作。此外，由于這些欺詐性身份缺乏先前的信用記錄或相關(guān)可疑活動(dòng)，因此很難通過傳統(tǒng)的欺詐檢測(cè)系統(tǒng)來識(shí)別它們。圖2-1：賬號(hào)背后的陌生人2、冒充熟人進(jìn)行詐騙2024年1月，香港跨國(guó)公司員工被騙2億港元，以及2023年11月內(nèi)蒙古包頭市警方通報(bào)的詐騙案件均屬冒充熟人詐騙?！吧疃葌卧臁奔夹g(shù)讓詐騙分子能輕易模仿目標(biāo)人的視頻、聲音等。這些虛假的視頻音頻不僅模仿聲音，還能模仿語調(diào)、口音和說話風(fēng)格。為了進(jìn)一步增加詐騙的可信度，詐騙分子還會(huì)在社交媒體、公開渠道等上獲取的被模仿者的敏感信息（如工作風(fēng)格、生活習(xí)慣、旅游動(dòng)態(tài)等用于佐證自己的冒名頂替身份的真實(shí)性，使受害者難以分辨真?zhèn)?。在取得受害人信賴后，進(jìn)而對(duì)受害人進(jìn)行財(cái)務(wù)資金、商業(yè)機(jī)密等詐騙。8marketing@頂象防御云《“AI換臉”威脅研究及安全策略》3、偽造身份申請(qǐng)銀行貸款根據(jù)麥肯錫研究所的數(shù)據(jù)，合成身份欺詐已成為美國(guó)增長(zhǎng)最快的金融犯罪類型，并且在全球范圍內(nèi)呈上升趨勢(shì)。事實(shí)上，合成身份欺詐占目前所有欺詐行為的85%。此外，英國(guó)GDG的研究表明，英國(guó)有超過860萬人使用虛假或他人的身份來獲取商品、服務(wù)或信貸。對(duì)于金融機(jī)構(gòu)來說，“深度偽造”欺詐更令人擔(dān)憂。詐騙分子利用“深度偽造”技術(shù)，偽造信息、聲音、視頻、圖片，然后將真實(shí)和虛假的身份信息結(jié)合起來，創(chuàng)建全新的虛假身份，用于開設(shè)銀行賬戶或進(jìn)行欺詐性的購(gòu)買。而且，詐騙分子可以使用“深度偽造”技術(shù)來學(xué)習(xí)不同的銀行業(yè)務(wù)和流程，然后迅速對(duì)不同銀行同時(shí)展開欺詐。還需要辨別“這個(gè)貸款申請(qǐng)人是人類？還是人工智能？”，預(yù)計(jì)92%銀行將遭遇“深度偽造”的欺詐威脅。4、讓“網(wǎng)絡(luò)釣魚”更加難以識(shí)別網(wǎng)絡(luò)釣魚一直是安全領(lǐng)域的一個(gè)突出話題，盡管這類詐騙形式已經(jīng)存在了幾十年，依舊是欺詐攻擊或滲透組織的最有效方法之一。詐騙分子基于社會(huì)工程原理，通過郵件、網(wǎng)站以及電話、短信和社交媒體，利用人性（如沖動(dòng)、不滿、好奇心）的手段，冒充受信任的實(shí)體，誘使受害者點(diǎn)擊虛假鏈接、下載惡意軟件、誘導(dǎo)轉(zhuǎn)移資金、提供賬號(hào)密碼等敏感數(shù)據(jù)行為。隨著技術(shù)的發(fā)展，網(wǎng)絡(luò)釣魚者也在改變策略，尤其在AI的幫助下，詐騙分子使用“深度偽造”技術(shù)欺騙受害者，讓釣魚攻擊更加復(fù)雜，攻擊極難檢測(cè)。2023年，深度偽造網(wǎng)絡(luò)釣魚欺詐事件激增了3,000%。5、冒充他人遠(yuǎn)程面試入職2022年7月，美國(guó)聯(lián)邦調(diào)查局（FBI）發(fā)出警告稱，越來越多的詐騙分子正在使用“深度偽造”技術(shù)在遠(yuǎn)程職位面試中冒充求職者，騙取企業(yè)薪資、盜取企業(yè)的商業(yè)機(jī)密。9marketing@頂象防御云《“AI換臉”威脅研究及安全策略》圖2-2：冒充他人遠(yuǎn)程面試marketing@2024年2月15日，國(guó)外安全公司2024年2月15日，國(guó)外安全公司Group-IB宣布，發(fā)現(xiàn)一個(gè)名為“GoldPickaxe”的惡意軟件。該惡意軟件的iOS版本，誘騙用戶進(jìn)行人臉識(shí)別、提交身份證件，然后基于用戶的人臉信息進(jìn)行深度偽造。詐騙分子利用“深度偽造”制作出虛假的面試人，在攝像頭，人的動(dòng)作和嘴唇動(dòng)作與說話者的音頻基本一致。甚至，咳嗽、打噴嚏或其他聽覺動(dòng)作等動(dòng)作與視覺呈現(xiàn)的內(nèi)容一致。聯(lián)邦調(diào)查局在公告中沒有說明騙子的最終目標(biāo)。但該機(jī)構(gòu)指出，這些虛假的面試人，一旦面試成功且入職，將被允許成功訪問“客戶PII（個(gè)人身份信息）、財(cái)務(wù)數(shù)據(jù)、公司IT數(shù)據(jù)庫(kù)和/或?qū)Ｓ行畔ⅰ钡让舾袛?shù)據(jù)。聯(lián)邦調(diào)查局還稱，該騙局的一些受害者被盜的個(gè)人信息已被用于進(jìn)行遠(yuǎn)程面試工作，并且還曾被用于與其他申請(qǐng)人的個(gè)人資料進(jìn)行就業(yè)前背景調(diào)查。6、冒名登錄盜走銀行余額圖2-3：最新發(fā)現(xiàn)的AI病毒“GoldPickaxe”通過深度偽造的虛假的人臉視頻，欺詐分子就可以登錄用戶的銀行賬號(hào)，攔截銀行發(fā)送的手機(jī)驗(yàn)證短信，就能夠進(jìn)行轉(zhuǎn)賬、消費(fèi)、修改賬號(hào)密碼等。marketing@頂象防御云《“AI換臉”威脅研究及安全策略》三、“深度偽造”的產(chǎn)業(yè)鏈以頂象防御云業(yè)務(wù)安全情報(bào)中心攔截的某個(gè)“深度偽造”金融詐騙案件為例，詐騙分子的詐騙過程主要有四個(gè)階段，“深度偽造”技術(shù)只是詐騙過程中的一個(gè)關(guān)鍵因素環(huán)節(jié)，其他環(huán)節(jié)中，受害人如果無法甄別和判斷，很容易在詐騙分子的指示下一步步步入陷阱。第一階段，騙取受害人信任。詐騙分子通過短信、社交工具、社交媒體、電話等方式，聯(lián)系到受害者（例如，能夠直接講出受害人的姓名、家庭、電話、單位、住址、身份證號(hào)碼、同事或伙伴，甚至部分經(jīng)歷并獲取信任。第二階段，盜錄受害人臉。詐騙分子通過社交工具、視頻會(huì)議、視頻電話等方式，與受害者進(jìn)行視頻通話，在視頻通話過程中獲取受害人的人臉信息（人臉、低頭、扭頭、張嘴、眨眼等等關(guān)鍵信息）進(jìn)行“深度偽造”虛假視頻和人像的制作。期間，還會(huì)誘導(dǎo)受害者設(shè)置電話呼叫轉(zhuǎn)移或誘導(dǎo)受害人下載惡意App軟件，可以呼叫轉(zhuǎn)移或攔截銀行的客服電話或電話。第三階段，登錄受害人銀行賬戶。詐騙分子通過銀行App登錄受害人的銀行賬戶，提交“深度偽造”制作的虛假視頻和虛假人像后，通過銀行的人臉識(shí)別認(rèn)證，并攔截受害人手機(jī)上，銀行發(fā)送的手機(jī)短信驗(yàn)證碼和風(fēng)險(xiǎn)提示等。第四階段，轉(zhuǎn)走受害人銀行余額。將銀行打來人工訪問電話呼叫轉(zhuǎn)移至詐騙分子預(yù)先設(shè)置的虛擬號(hào)碼，冒充受害者，通過銀行客服人員的人工核實(shí)，最后順利轉(zhuǎn)走受害人銀行卡內(nèi)的余額。marketing@頂象防御云《“AI換臉”威脅研究及安全策略》圖3-1：“深度偽造”欺詐最終目的是牟利“深度偽造”的危險(xiǎn)不僅在于生成虛假視頻和圖片，還在于其所促成的整個(gè)詐騙生態(tài)系統(tǒng)：一個(gè)由機(jī)器人、虛假賬戶和匿名服務(wù)組成的錯(cuò)綜復(fù)雜的網(wǎng)絡(luò)運(yùn)作，所有這些都旨在制作、放大和分發(fā)捏造的信息和內(nèi)容，具有識(shí)別難、檢測(cè)難和追溯難的問題。識(shí)別難。已經(jīng)發(fā)展到可以令人信服地生成逼真的個(gè)人模擬的地步，這使得區(qū)分真假內(nèi)容變得越來越困難，除非接受過專門培訓(xùn)，否則很難被人識(shí)別出來，意識(shí)到這種威脅是防御它的第一步。檢測(cè)難?！吧疃葌卧臁辟|(zhì)量的提高，檢測(cè)是一大難題。不僅肉眼無法有效識(shí)別，一些常規(guī)的檢測(cè)工具也不能及時(shí)發(fā)現(xiàn)。追溯難。沒有數(shù)字指紋、模擬器偽造的地址、虛假IP地址、虛假的設(shè)備信息，沒有明確的數(shù)字線索可循，甚至沒有直接的惡意軟件簽名可以檢測(cè)，傳統(tǒng)的網(wǎng)絡(luò)安全措施無法有效防護(hù)。這是數(shù)字時(shí)代的一種威脅形式，在這個(gè)欺詐體系中，攻擊者看不見且難以捉摸，他們不僅制作信息，還操縱每個(gè)參與者感知的現(xiàn)實(shí)結(jié)構(gòu)。所以，要打擊“深度偽造”欺詐，一方面需要識(shí)別檢測(cè)偽造的視頻、圖片和信息（有效甄別出虛假偽造的內(nèi)容另一方面需要對(duì)實(shí)行“深度偽造”欺詐的渠道和平臺(tái)網(wǎng)絡(luò)進(jìn)行識(shí)別與檢測(cè)（多方面提升數(shù)字賬號(hào)的安全性）。這不僅需要技術(shù)對(duì)策，更需要復(fù)雜的心理戰(zhàn)和公眾安全意識(shí)的提升。調(diào)查發(fā)現(xiàn)，GitHub（軟件項(xiàng)目托管平臺(tái)，用于托管和管理開發(fā)項(xiàng)目的代碼存儲(chǔ)庫(kù)、協(xié)作和版本控制的最大基于Web的平臺(tái)）上，有超過3000個(gè)與“深度偽造”技術(shù)相關(guān)的存儲(chǔ)庫(kù)，表明其廣泛的開發(fā)和分發(fā)潛力。在國(guó)外某個(gè)暗網(wǎng)工具上，擁有近千個(gè)提供“深度偽造”的頻道或群組。從虛假視頻自助制作到個(gè)性化定制，應(yīng)有盡有。這些“深度偽造”服務(wù)的定價(jià)各不相同，價(jià)格最低的“深度偽造”視頻只需要2美元，而需求復(fù)雜的一個(gè)“深度偽造”視頻要100美元起，易用性使得犯罪分子更容易進(jìn)行“深度偽造”欺詐。marketing@頂象防御云《“AI換臉”威脅研究及安全策略》隨著網(wǎng)絡(luò)犯罪即服務(wù)（Cybercrimeas-a-Service）的出現(xiàn)，由此導(dǎo)致普通人也可以輕松方便地購(gòu)買到“深度偽造”的服務(wù)或技術(shù)。頂象防御云業(yè)務(wù)安全情報(bào)中心分析發(fā)現(xiàn)，創(chuàng)建一個(gè)“深度偽造”視頻涉及如下過程。第一步，收集數(shù)據(jù)。收集目標(biāo)任務(wù)的大量數(shù)據(jù)，包含多角度的人臉照片、工作信息、生活信息等，其中在公開的社交媒體采集到大量圖片、信息和視頻。第二步，特征提取。利用深度學(xué)習(xí)算法，精準(zhǔn)地識(shí)別并提取出如眼睛、鼻子、嘴巴等關(guān)鍵面部特征。marketing@頂象防御云《“AI換臉”威脅研究及安全策略》第三步，人像合成。將目人臉覆蓋、融合到需要偽造視頻中的任務(wù)的臉上，對(duì)齊面部特征，以確保它們?cè)谠春湍繕?biāo)之間匹配、替換。第四步，聲音處理。用機(jī)器學(xué)習(xí)和人工智能以驚人的準(zhǔn)確性復(fù)制一個(gè)人的聲音，例如音高、語氣和說話風(fēng)格，并將視頻中的嘴唇動(dòng)作與合成語音相匹配。第五步，環(huán)境渲染。使用照明和顏色工具，進(jìn)一步完善視頻中人物、語音、動(dòng)作與環(huán)境、服飾的協(xié)調(diào)匹配。第六步，視頻合成。3、“深度偽造”欺詐下游：多個(gè)平臺(tái)多個(gè)方式實(shí)施詐騙2021年，國(guó)內(nèi)首部業(yè)務(wù)安全圖書《攻守道——企業(yè)數(shù)字業(yè)務(wù)安全風(fēng)險(xiǎn)與防范》認(rèn)為，網(wǎng)絡(luò)欺詐團(tuán)伙已經(jīng)形成一個(gè)以非法營(yíng)利為目的規(guī)?；⒔M織化、分工明確的群體組織，并自發(fā)形成上、中、下的生態(tài)鏈條。在這個(gè)黑灰產(chǎn)鏈條中，有群體專門制作工具、有群主提供各類敏感信息、有群體利用工具和信息進(jìn)行各類詐騙等。黑灰產(chǎn)群體既有不良用戶，又有專業(yè)詐騙分子，專業(yè)工具不斷更新，新手段層出不窮，對(duì)抗防御難度大?；凇吧疃葌卧臁眰卧斓囊粢曨l和圖文信息，詐騙分子利用借助模擬器、改機(jī)軟件、IP秒撥、注冊(cè)機(jī)、群控等工具，就能夠繞過銀行、社交媒體、遠(yuǎn)程視頻會(huì)議等平臺(tái)的安全檢測(cè)，通過遠(yuǎn)程會(huì)議、工作網(wǎng)絡(luò)、社交平臺(tái)等不同渠道進(jìn)行各類詐騙行動(dòng)。marketing@社交媒體平臺(tái)已成為“深度偽造”內(nèi)容的主要散發(fā)渠道，金融、政務(wù)與企業(yè)更是詐騙分子實(shí)施詐騙的重要目標(biāo)。頂象防御云業(yè)務(wù)安全情報(bào)中心分析，詐騙分子利用“深度偽造”內(nèi)容進(jìn)行詐騙時(shí)，會(huì)使用到如下技術(shù)工具。圖3-4：詐騙分子利用各種技術(shù)手段秒撥IP。IP地址就是用戶上網(wǎng)時(shí)的網(wǎng)絡(luò)信息地址。該類工具是能夠自動(dòng)調(diào)用全球的動(dòng)態(tài)IP地址，并可以自動(dòng)切換、斷線重?fù)?、自?dòng)清理瀏覽器的Cookies緩存、虛擬網(wǎng)卡信息等功能，能夠快速無縫切換不同區(qū)域的IP地址。模擬器。GPS定位就是用戶使用網(wǎng)絡(luò)服務(wù)時(shí)所處的地理位置信息，利用模擬軟件、第三方工具，就可以改變所在位置的經(jīng)緯度，可以實(shí)現(xiàn)任何地方的瞬間“穿越”。改機(jī)工具。設(shè)備的型號(hào)、串碼、IMEI等具有唯一性，利用改機(jī)工具能夠從系統(tǒng)層面劫持設(shè)備接口，當(dāng)應(yīng)用調(diào)用這些接口來獲取設(shè)備的各項(xiàng)參數(shù)時(shí)，獲取到的都是改機(jī)工具偽造出來設(shè)備的屬性信息。一般來說，2～3分鐘改機(jī)工具就能完成1000個(gè)設(shè)備屬性。注冊(cè)機(jī)。注冊(cè)是創(chuàng)建一個(gè)賬號(hào)的關(guān)鍵流程。利用注冊(cè)機(jī)能夠進(jìn)行批量自動(dòng)化賬號(hào)注冊(cè)，從而注冊(cè)幾百乃至幾萬個(gè)賬號(hào)。群控?？梢詫?shí)現(xiàn)一臺(tái)電腦控制上幾十、幾百部乃至幾千臺(tái)設(shè)備，進(jìn)行統(tǒng)一的注冊(cè)、登錄、申請(qǐng)。群控還提供模擬定位、搖一搖、批量導(dǎo)入通訊錄等功能，還可以進(jìn)行消息推送。2023年“央視315晚會(huì)”曝光的某公司云控系統(tǒng)就是該工具。marketing@頂象防御云《“AI換臉”威脅研究及安全策略》企業(yè)和個(gè)人需要通過多種渠道驗(yàn)證身份，采用多重策略來識(shí)別與防御“深度偽造”欺詐。當(dāng)每一個(gè)人都有可能成為攻擊對(duì)象，當(dāng)我們?cè)谙硎芸萍紟淼谋憷耐瑫r(shí)，也要同意增強(qiáng)自身防護(hù)意識(shí)及能力。最佳預(yù)防措施往往不是什么科技方案或軟件，而是人的因素。因此，技術(shù)+人雙重措施才能有效防御。1、人的行為與生物識(shí)別（1）在視頻對(duì)話的時(shí)候，可以要求對(duì)方摁鼻子、摁臉觀察其面部變化，如果是真人的鼻子，按下去是會(huì)變形的。也可以要求對(duì)方吃食物、喝水，觀察臉部變化?；蛘?，要求做一些奇怪的動(dòng)作或表情，比如，要求對(duì)方揮手、做某個(gè)難做的手勢(shì)等，以辨別真假。在揮手的過程中，會(huì)造成面部的數(shù)據(jù)的干擾，會(huì)產(chǎn)生一定的抖動(dòng)或者是一些閃爍，或者是一些異常的情況。在一對(duì)一的溝通中可以問一些只有對(duì)方知道的問題，驗(yàn)證對(duì)方的真實(shí)性。同時(shí)，當(dāng)有人在視頻或錄音中提出匯款要求時(shí)，必須致電或從其他渠道一再核實(shí)。（2）在點(diǎn)對(duì)點(diǎn)的溝通中可以問一些只有對(duì)方才知道的問題，以驗(yàn)證對(duì)方的真實(shí)性。（3）“深度偽造”可以復(fù)制聲音，但也可能包含不自然的語調(diào)、節(jié)奏或微妙的失真，仔細(xì)聆聽后會(huì)顯得格外突出。同時(shí)，語音分析軟件可以幫助識(shí)別語音異常。2、設(shè)備與操作識(shí)別（1）數(shù)字簽名和區(qū)塊鏈賬本具有唯一性，可以對(duì)行為來源跟蹤，并對(duì)其進(jìn)行標(biāo)記以供（2）對(duì)設(shè)備信息、地理位置以及行為操作進(jìn)行比對(duì)識(shí)別，能夠發(fā)現(xiàn)并防范異常操作。頂象設(shè)備指紋通過對(duì)設(shè)備指紋的記錄和比對(duì)，可以辨別合法用戶和潛在的欺詐行為。其對(duì)每個(gè)設(shè)備進(jìn)行唯一標(biāo)識(shí)和識(shí)別的技術(shù)，識(shí)別出虛擬機(jī)、代理服務(wù)器、模擬器等被惡意操控的設(shè)備，分析設(shè)備是否存在多賬號(hào)登錄、是否頻繁更換IP地址、頻繁更換設(shè)備屬性等出現(xiàn)異?；虿环嫌脩袅?xí)慣的行為，幫助追蹤和識(shí)別欺詐者的活動(dòng)。（3）賬號(hào)異地登錄、更換設(shè)備、更換手機(jī)號(hào)、休眠賬戶突然活躍等等，需要加強(qiáng)頻繁驗(yàn)證；此外，會(huì)話期間的持續(xù)身份驗(yàn)證至關(guān)重要，保持持久性檢查以確保用戶的身份在使用期間保持一致。頂象無感驗(yàn)證可以快速準(zhǔn)確地區(qū)分操作者是人還是機(jī)器，精準(zhǔn)識(shí)別欺詐行為，實(shí)時(shí)監(jiān)控并攔截異常行為。（4）此外，基于最小權(quán)限原則限制對(duì)敏感系統(tǒng)和賬戶的訪問，確保訪問其角色所需的資源，從而減少賬戶被盜用的潛在影響。marketing@頂象防御云《“AI換臉”威脅研究及安全策略》圖4-1：頂象全鏈路全景式人臉安全威脅感知方案（5）基于AI技術(shù)與人工審核人臉反欺詐系統(tǒng)，防范“深度偽造”的虛假視頻和虛假圖片。頂象全鏈路全景式人臉安全威脅感知方案，能夠有效檢測(cè)識(shí)別“深度偽造”的虛假視頻和虛假圖片。它針對(duì)人臉識(shí)別場(chǎng)景及關(guān)鍵操作的實(shí)時(shí)風(fēng)險(xiǎn)監(jiān)測(cè)（如攝像頭遭劫持、設(shè)備偽造、屏幕共享等然后通過人臉環(huán)境監(jiān)測(cè)、活體識(shí)別、圖像鑒偽、智能核實(shí)等多維度信息進(jìn)行核驗(yàn)，發(fā)現(xiàn)偽造視頻或異常人臉信息后，可自動(dòng)阻斷異?；蚱墼p操作。3、技術(shù)識(shí)別與取證（1）基于深度學(xué)習(xí)的生成對(duì)抗網(wǎng)絡(luò)（GAN）能夠訓(xùn)練一種稱之為“鑒別器”神經(jīng)網(wǎng)絡(luò)模型。通過訓(xùn)練，“鑒別器”可以更準(zhǔn)確地識(shí)別虛假圖像的目標(biāo)是區(qū)分真實(shí)與虛假的圖像視頻，識(shí)別真實(shí)版本和創(chuàng)建版本之間的任何差異。大數(shù)據(jù)模型可以快速分析大量視頻和音頻數(shù)據(jù)，以超出人類能力的速度識(shí)別異常。并且，機(jī)器學(xué)習(xí)模型可以識(shí)別“深度偽造”生產(chǎn)算法的特征模式，從而識(shí)別“深度偽造”的內(nèi)容。而且機(jī)器學(xué)習(xí)模型可以重新訓(xùn)練和調(diào)整，保持實(shí)時(shí)的迭代進(jìn)化。marketing@頂象防御云《“AI換臉”威脅研究及安全策略》圖4-2：用AI對(duì)抗“深度偽造”欺詐（2）AI取證工具在調(diào)查和歸因“深度偽造”內(nèi)容方面發(fā)揮著至關(guān)重要的作用，這些工具分析數(shù)字足跡、元數(shù)據(jù)和創(chuàng)建過程中留下的其他痕跡，幫助識(shí)別攻擊者的來源并協(xié)助法律調(diào)查。（3）在涉及文件的情況下，自動(dòng)文檔驗(yàn)證系統(tǒng)可以分析文檔是否存在不一致之處，例如字體更改或布局差異。4、社交防范與公眾教育（1）減少或者杜絕在社交媒體上分享賬戶、家庭家人、交通出行、工作崗位等敏感信息，防范欺詐分子盜用下載后進(jìn)行圖片和聲音的“深度偽造”。（2）持續(xù)對(duì)公眾進(jìn)行“深度偽造”技術(shù)及其相關(guān)風(fēng)險(xiǎn)的教育至關(guān)重要，鼓勵(lì)公眾保持警惕并快速報(bào)告異常情況，也可以顯著提高組織檢測(cè)和響應(yīng)“深度偽造”威脅的能力。技術(shù)在不斷發(fā)展，新的欺詐也在不斷涌現(xiàn)。盡可能隨時(shí)了解AI和“深度偽造”技術(shù)的最新發(fā)展，以相應(yīng)地調(diào)整保障措施。對(duì)AI模型的持續(xù)研究、開發(fā)和更新對(duì)于在日益復(fù)雜的“深度偽造”技術(shù)中保持領(lǐng)先地位至關(guān)重要。五、對(duì)抗“AI換臉”欺詐的安全策略1、社交媒體場(chǎng)景下的安全策略社交媒體平臺(tái)上的詐騙分子利用注冊(cè)機(jī)進(jìn)行大規(guī)模自動(dòng)化賬號(hào)注冊(cè)。為了規(guī)避社交平臺(tái)marketing@頂象防御云《“AI換臉”威脅研究及安全策略》的風(fēng)控防護(hù)，他們還使用改機(jī)工具來偽造設(shè)備屬性信息，以繞過平臺(tái)的安全措施。令人震驚的是，僅需2～3分鐘的改機(jī)工具就能完成1000個(gè)設(shè)備屬性的偽造，這使得欺詐分子能夠快速、高效地創(chuàng)建大量虛假賬號(hào)。圖5-1：社交媒體場(chǎng)景下的安全策略針對(duì)社交媒體平臺(tái)上“深度偽造針對(duì)社交媒體平臺(tái)上“深度偽造”欺詐信息肆虐問題，頂象防御云業(yè)務(wù)安全情報(bào)中心建議，首先精準(zhǔn)識(shí)別欺詐賬號(hào)，然后才能有效防范欺詐行為。針對(duì)欺詐賬號(hào)注冊(cè)過程的檢測(cè)與識(shí)別，建議及時(shí)發(fā)現(xiàn)是否存在刷機(jī)改機(jī)、Root、越獄、劫持注冊(cè)、風(fēng)險(xiǎn)注入、hook、模擬器等風(fēng)險(xiǎn)。通過與真機(jī)進(jìn)行比較，可以有效分辨模擬器作弊行為，例如運(yùn)營(yíng)商信息、系統(tǒng)信息、硬件信息、用戶行為、CPU指令以及模擬器特征等。針對(duì)欺詐賬號(hào)使用設(shè)備檢測(cè)與識(shí)別，建議快速識(shí)別同設(shè)備多次激活、同設(shè)備關(guān)聯(lián)IP行為異常，以及同IP短時(shí)間大量聚集、同一渠道中老設(shè)備型號(hào)占比異常、同一渠道中老操作系統(tǒng)占比異常等維度。同時(shí)，建議建立本地名單動(dòng)態(tài)運(yùn)營(yíng)維護(hù)機(jī)制，通過注冊(cè)數(shù)據(jù)、登錄數(shù)據(jù)、激活數(shù)據(jù)等，沉淀并維護(hù)對(duì)應(yīng)黑白名單數(shù)據(jù)，包括用戶ID、手機(jī)號(hào)、設(shè)備等維度的黑名單。marketing@針對(duì)欺詐賬號(hào)異常行為的監(jiān)測(cè)與發(fā)現(xiàn)，建議基于用戶行為進(jìn)行策略布控。通過風(fēng)控?cái)?shù)據(jù)和業(yè)務(wù)的沉淀數(shù)據(jù)，對(duì)注冊(cè)、登錄、瀏覽、發(fā)布行為進(jìn)行建模，以便及時(shí)識(shí)別出異常操作。這些模型的輸出可以直接在風(fēng)控策略中使用，提升社交媒體平臺(tái)的安全性。2、銀行信貸場(chǎng)景下的安全策略騙貸、盜刷、保險(xiǎn)詐騙等對(duì)銀行造成損失。尤其是利用“深度偽造”技術(shù)制作的虛假音視頻，盜用他人賬號(hào)，轉(zhuǎn)走銀行余額，給客戶帶來重大經(jīng)濟(jì)損失。圖5-2：金融業(yè)務(wù)場(chǎng)景下的安全策略頂象防御云業(yè)務(wù)安全情報(bào)中心建議，除了加強(qiáng)客戶身份驗(yàn)證和授權(quán)管理外，還需要實(shí)時(shí)監(jiān)測(cè)異常操作行為，并通過AI挖掘出潛在風(fēng)險(xiǎn)賬戶。首先，通過采用多因素身份驗(yàn)證、先進(jìn)的身份驗(yàn)證技術(shù)等措施，提高賬戶的安全性，增加身份驗(yàn)證的可靠性，防止賬戶被詐騙盜用。定期更新客戶信息，確保信息的準(zhǔn)確性，并建立完整的客戶檔案，確保只有合法客戶能夠訪問和使用賬戶。其次，利用頂象防御云和頂象Dinsight風(fēng)控引擎，構(gòu)建機(jī)器學(xué)習(xí)和規(guī)則導(dǎo)向相結(jié)合的風(fēng)marketing@頂象防御云《“AI換臉”威脅研究及安全策略》控體系。通過大數(shù)據(jù)匹配和追蹤，進(jìn)行多維度和深層次的分析，能夠準(zhǔn)確識(shí)別異常操作并進(jìn)行用戶深度畫像，及時(shí)發(fā)現(xiàn)可疑操作，評(píng)估風(fēng)險(xiǎn)，并跟蹤并阻止各種異常行為。此外，挖掘隱匿的風(fēng)險(xiǎn)賬戶。為了規(guī)避金融機(jī)構(gòu)的審核和反欺詐機(jī)制，詐騙分子會(huì)利用各種技術(shù)手段，由此增加異常行為的識(shí)別難度，可以使用頂象Xintell智能模型平臺(tái)對(duì)隱匿、復(fù)雜的欺詐行為進(jìn)行挖掘。六、國(guó)家監(jiān)管與相關(guān)法律法規(guī)“深度偽造”基于AI，而AI治理攸關(guān)全人類命運(yùn)，是世界各國(guó)面臨的共同課題。全球多個(gè)國(guó)家和組織紛紛出臺(tái)倡議或規(guī)范，一致要求加強(qiáng)AI的安全監(jiān)管。通過對(duì)“深度偽造”創(chuàng)建或傳播深度偽造的個(gè)人施加法律后果，可以阻止有害內(nèi)容的擴(kuò)散，并讓肇事者對(duì)其行為負(fù)責(zé)。對(duì)“深度偽造”欺詐定性刑事犯罪也可以起到威懾作用，防止將這項(xiàng)技術(shù)濫用于欺詐或其他惡意目的，是減輕“深度偽造”技術(shù)有害影響的一種有效方法。所以，各國(guó)需要應(yīng)對(duì)這一緊迫挑戰(zhàn)需要實(shí)施強(qiáng)有力的法律措施。例如，必須對(duì)那些故意制造或促進(jìn)有害深度偽造傳播的人處以刑事處罰。（1）2023年7月13日，國(guó)家網(wǎng)信辦聯(lián)合國(guó)家有關(guān)部門公布《生成式人工智能服務(wù)管理暫行辦法》。要求有輿論屬性或者社會(huì)動(dòng)員能力的生成式人工智能服務(wù)的，應(yīng)當(dāng)按照國(guó)家有關(guān)規(guī)定開展安全評(píng)估，并按照《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》履行算法備案和變更、注銷備案手續(xù)。（2）2023年9月，最高人民法院最高人民檢察院公安部印發(fā)《關(guān)于依法懲治網(wǎng)絡(luò)暴力違法犯罪的指導(dǎo)意見》，第8條明確規(guī)定，對(duì)“利用‘深度合成’等生成式人工智能技術(shù)發(fā)布違法信息”的情形予以從重處罰。（3）2023年10月18日，中央網(wǎng)信辦發(fā)布《全球人工智能治理倡議》，具體措施包括推動(dòng)建立風(fēng)險(xiǎn)等級(jí)測(cè)試評(píng)估體系，實(shí)施敏捷治理，分類分級(jí)管理，快速有效響應(yīng)。研發(fā)主體需要提高人工智能可解釋性和可預(yù)測(cè)性，提升數(shù)據(jù)真實(shí)性和準(zhǔn)確性，確保人工智能始終處于人類控制之下，打造可審核、可監(jiān)督、可追溯、可信賴的人工智能技術(shù)。同時(shí)，積極發(fā)展用于人工智能治理的相關(guān)技術(shù)開發(fā)與應(yīng)用，支持利用人工智能技術(shù)防范風(fēng)險(xiǎn)，提升治理能力。此外，倡議還強(qiáng)調(diào)逐步建立健全法律和規(guī)章制度，保障人工智能研發(fā)和應(yīng)用中的個(gè)人隱私和數(shù)據(jù)安全，反對(duì)非法收集、竊取、篡改和泄露個(gè)人信息等行為。（4）2024年3月1日，全國(guó)網(wǎng)絡(luò)安全標(biāo)準(zhǔn)化技術(shù)委員會(huì)發(fā)布《生成式人工智能服務(wù)安全基本要求》》，對(duì)生成式人工智能服務(wù)在安全方面的基本要求，包括語料安全、模型安全、安全措施等予以明確。其中，語料內(nèi)容安全方面，服務(wù)提供者需要關(guān)注語料內(nèi)容過濾、知識(shí)產(chǎn)權(quán)、個(gè)人信息三個(gè)方面。個(gè)人信息方面，強(qiáng)調(diào)使用包含敏感個(gè)人信息的語料前，應(yīng)取得對(duì)marketing@應(yīng)個(gè)人單獨(dú)同意或者符合法律、行政法規(guī)規(guī)定的其他情形。（1）2023年10月30日，美國(guó)總統(tǒng)拜登發(fā)布《安全、可靠及可信賴的人工智能》行政命令，要求美國(guó)多個(gè)政府機(jī)構(gòu)制定標(biāo)準(zhǔn)，對(duì)人工智能產(chǎn)品進(jìn)行測(cè)試，尋求“水印”等內(nèi)容驗(yàn)證的最佳方法，擬定網(wǎng)絡(luò)安全計(jì)劃，吸引技術(shù)人才，以保護(hù)隱私，促進(jìn)公平和公民權(quán)利，維護(hù)消費(fèi)者和勞動(dòng)者的利益，促進(jìn)創(chuàng)新和競(jìng)爭(zhēng)，提升美國(guó)的領(lǐng)導(dǎo)地位等。同時(shí)，行政命令指出，通過建立檢測(cè)AI生成內(nèi)容和認(rèn)證官方內(nèi)容的標(biāo)準(zhǔn)，從而保護(hù)美國(guó)用戶免受人工智能欺詐和欺騙。（1）2024年2月8日，美國(guó)聯(lián)邦通信委員會(huì)宣布機(jī)器人通話中AI生成的聲音為非法，美國(guó)各州的立法者已經(jīng)出臺(tái)了立法，以打擊AI生成的虛假和錯(cuò)誤信息。（1）2023年6月，歐洲議會(huì)通過了《歐盟人工智能法案》授權(quán)草案。該法案將人工智能系統(tǒng)根據(jù)風(fēng)險(xiǎn)級(jí)別分為四個(gè)分類，從最小到不可接受。其中，“技術(shù)穩(wěn)健性和安全性”要求人工智能系統(tǒng)在開發(fā)和使用過程中盡量減少意外傷害，并具備應(yīng)對(duì)意外問題的穩(wěn)健能力，以防止惡意第三方非法使用該系統(tǒng)或進(jìn)行改變其使用方式或性能的行為。此外，該法案禁止通過從互聯(lián)網(wǎng)或閉路電視錄像中無針對(duì)性地提取面部圖像來建立或擴(kuò)大面部識(shí)別數(shù)據(jù)庫(kù)，并禁止使用這種方式將人工智能系統(tǒng)投放市場(chǎng)、投入使用或使用。對(duì)于基于這些模型的生成型人工智能系統(tǒng)，法案要求遵守透明度要求，即必須披露內(nèi)容是由人工智能系統(tǒng)生成的，并確保防止生成非法內(nèi)容。此外，使用受版權(quán)保護(hù)的培訓(xùn)數(shù)據(jù)時(shí)，必須公開這些數(shù)據(jù)的詳細(xì)摘要。例如，第52條第（3）款要求，要求創(chuàng)作者保持透明度。這意味著任何創(chuàng)建或傳播“深度偽造”的人都必須披露其人工來源，并提供有關(guān)所用技術(shù)的信息。（1）2024年2月21日，歐盟人工智能辦公室于成立，標(biāo)志著在歐盟內(nèi)促進(jìn)負(fù)責(zé)任的人工智能實(shí)踐邁出了重要一步。人工智能辦公室的主要職能之一是鼓勵(lì)和促進(jìn)國(guó)際電聯(lián)層面行為守則的制定，以促進(jìn)有效履行與檢測(cè)和標(biāo)記人工生成或操縱內(nèi)容相關(guān)的義務(wù)。根據(jù)這項(xiàng)任務(wù)，委員會(huì)有權(quán)通過執(zhí)行法案來批準(zhǔn)這些業(yè)務(wù)守則。這種監(jiān)管機(jī)制確保行為準(zhǔn)則符合某些標(biāo)準(zhǔn)，并有效應(yīng)對(duì)人為生成或操縱的內(nèi)容帶來的挑戰(zhàn)。此外，如果委員會(huì)認(rèn)為某項(xiàng)業(yè)務(wù)守則不充分，它有權(quán)通過實(shí)施法案來解決任何缺陷。（1）2023年7月，ACCC和澳大利亞證券和投資委員會(huì)（ASIC）成立了國(guó)家反詐騙中心的投資詐騙融合小組，以打擊投資詐騙。據(jù)Lowe稱，自該小組成立以來，向Scamwatch報(bào)告的投資詐騙損失呈下降趨勢(shì)。（2）澳大利亞當(dāng)局周五警告其人民要警惕錯(cuò)誤信息，此前國(guó)家反詐騙中心透露，2023年有400人報(bào)告因在線交易平臺(tái)詐騙損失超過800萬澳元（約合520萬美元）。marketing@澳大利亞競(jìng)爭(zhēng)和消費(fèi)者委員會(huì)（ACCC）副主席卡特里奧娜·洛（CatrionaLowe）表示，這些騙局通過創(chuàng)建以名人為主角的虛假新聞文章和視頻來運(yùn)作?！霸p騙者正在制作假新聞文章和深度偽造視頻，讓人們相信名人和知名公眾人物正在使用在線投資交易平臺(tái)賺取巨額資金，而實(shí)際上這是一個(gè)騙局。”5、國(guó)際組織及會(huì)議（1）2023年11月1日，首屆全球人工智能（AI）安全峰會(huì)上，28國(guó)聯(lián)署關(guān)于人工智能國(guó)際治理的《布萊切利宣言》，這是全球第一份針對(duì)人工智能這一快速新興技術(shù)的國(guó)際性聲明?！缎浴饭膭?lì)相關(guān)行為者采取適當(dāng)措施，如安全測(cè)試、評(píng)估等，以衡量、監(jiān)測(cè)和減輕AI潛在有害能力及其可能產(chǎn)生的影響，并提供透明度和問責(zé)制。（2）2023年10月30日，七國(guó)集團(tuán)（G7）發(fā)布《開發(fā)先進(jìn)人工智能系統(tǒng)組織的國(guó)際行為準(zhǔn)則》。這套行為準(zhǔn)則共包含11項(xiàng)內(nèi)容，強(qiáng)調(diào)了開發(fā)過程中應(yīng)采取的措施，以確?？尚判?、安全性和保障性。其中，開發(fā)人員需要識(shí)別并減輕風(fēng)險(xiǎn)，包括紅隊(duì)測(cè)試、測(cè)試和緩解措施。同時(shí)，開發(fā)人員還需要在部署后識(shí)別并減少漏洞、事件和誤用模式，包括監(jiān)控漏洞和事件，并促進(jìn)第三方和用戶發(fā)現(xiàn)并報(bào)告問題。此外，該準(zhǔn)則還強(qiáng)調(diào)了開發(fā)和部署可靠的內(nèi)容身份驗(yàn)證和來源機(jī)制的重要性，例如水印。這些措施將有助于確保人工智能系統(tǒng)的安全性和可靠性，并提高用戶對(duì)其信任度。McAfee、Meta、Microsoft、OpenAI、Snap、TikTok和X等20家世界領(lǐng)先的科技公司宣布，將聯(lián)合打擊“深度偽造”信息。會(huì)上，他們集體簽署一項(xiàng)技術(shù)協(xié)議，以抵制欺騙性的人工智能生成的內(nèi)容，減少欺騙性人工智能內(nèi)容的生成及其帶來的風(fēng)險(xiǎn)，并同意在各自的平臺(tái)或產(chǎn)品提出解決方案。該協(xié)議還承諾，將與全球組織和學(xué)術(shù)界合作，讓公眾和媒體意識(shí)到人工智能生成的欺騙內(nèi)容的危險(xiǎn)。七、哪些機(jī)構(gòu)需要負(fù)起責(zé)任“深度造假”欺詐面向全球肆虐，哪些機(jī)構(gòu)需要負(fù)相關(guān)責(zé)任呢？平臺(tái)通常將自己定位為僅僅是內(nèi)容的渠道，然而，在包括澳大利亞在內(nèi)的多個(gè)國(guó)家卻不存在這種保護(hù)。澳大利亞競(jìng)爭(zhēng)和消費(fèi)者委員會(huì)（ACCC）正在將Facebook告上法庭。ACCC還認(rèn)為，F(xiàn)acebook應(yīng)該作為騙局的從犯承擔(dān)責(zé)任——因?yàn)樵谑盏絾栴}通知后未能及時(shí)刪除誤導(dǎo)性廣告。至少，平臺(tái)應(yīng)該負(fù)責(zé)及時(shí)刪除用于欺詐目的的深度偽造內(nèi)容。很多平臺(tái)已經(jīng)聲稱正在這樣做，例如，在Facebook上，任何AI生成的內(nèi)容都可能顯示一個(gè)圖標(biāo)，清楚地表明內(nèi)容是用人工智能生成的。marketing@社