2024人工智能安全報(bào)告

2024人工智能安全報(bào)告2024人工智能安全報(bào)告TOC\o"1-2"\h\z\u一、AI的定 二、AI引發(fā)科技變 三、AI存在濫用風(fēng) 四、AI普及引入多種威 1、深度偽 2、黑產(chǎn)大語(yǔ)言模型基礎(chǔ)設(shè) 3、利用AI的自動(dòng)化攻 4、AI武器 5、LLM自身的安全風(fēng) 6、惡意軟 7、釣魚(yú)郵 8、口令爆 9、驗(yàn)證碼破 10、社會(huì)工程學(xué)的技術(shù)支 11、虛假內(nèi)容和活動(dòng)的生 12、硬件傳感器相關(guān)威 五、當(dāng)前狀況總 六、應(yīng)對(duì)措施建 1、安全行 2、監(jiān)管機(jī) 3、政企機(jī) 4、網(wǎng)絡(luò)用 2024人工智能安全報(bào)告2024人工智能安全報(bào)告人工智能（I）是新一輪科技革命和產(chǎn)業(yè)變革的核心技術(shù)，被譽(yù)為下一個(gè)生產(chǎn)力前沿。具有巨AI奇安信預(yù)計(jì)，未來(lái)十年，人工智能技術(shù)的惡意使用將快速增長(zhǎng)，在政治安全、網(wǎng)絡(luò)安全、物理安全和軍事安全等方面將構(gòu)成嚴(yán)重威脅。AIAI3AI300%I100%；奇安信威脅情報(bào)PTIAI（Depake）、黑產(chǎn)大語(yǔ)AIAI加劇軍事威脅，AI武器化趨勢(shì)顯現(xiàn)。AI夠在沒(méi)有人類(lèi)直接控制的情況下選擇和攻擊目標(biāo)。這可能導(dǎo)致道德和法律問(wèn)題，如責(zé)任歸屬問(wèn)題及如何確保符合國(guó)際人道法。AII織手中，他們可能會(huì)使用這些技術(shù)進(jìn)行難以應(yīng)付的破壞活動(dòng)或恐怖襲擊。AI全球知OWAP未經(jīng)授權(quán)的代碼執(zhí)行等。此外，因訓(xùn)練語(yǔ)料存在不良信息導(dǎo)致生成的內(nèi)容不安全，正持續(xù)引發(fā)災(zāi)難研究與重視程度還遠(yuǎn)遠(yuǎn)不足。AII模型改變安全對(duì)抗格局，將會(huì)對(duì)地緣政治競(jìng)爭(zhēng)和國(guó)家安全造成深遠(yuǎn)的影響，各國(guó)正在競(jìng)相加強(qiáng)在人工智能領(lǐng)域的競(jìng)爭(zhēng)，以獲得面向未來(lái)的戰(zhàn)略?xún)?yōu)勢(shì)。全行業(yè)需啟動(dòng)人工智能網(wǎng)絡(luò)防御推進(jìn)計(jì)劃，包括利用防御人工智能對(duì)抗惡意人工智能，扭轉(zhuǎn)“防御者困境”。AIAIAIAIAI一、AIlIntelligenceAI人工智能涉及到多個(gè)子領(lǐng)域，包括機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)等。它的應(yīng)用范圍非常廣泛，包括自動(dòng)駕駛汽車(chē)、智能助手、智能家居系統(tǒng)、醫(yī)療診斷、金融預(yù)測(cè)等。人工智能的發(fā)展旨在使計(jì)算機(jī)系統(tǒng)具備更加智能化的能力，以解決復(fù)雜問(wèn)題并為人類(lèi)社會(huì)帶來(lái)更大的便利和AIAI和強(qiáng)AI弱A（狹義AIAI（通用AI）是可以理解、學(xué)習(xí)、適應(yīng)和實(shí)施任何智能任務(wù)的系統(tǒng)。2022年以后，以ChatGPT為代表的大語(yǔ)言模型（LargeLanguageModel，LLM）AI技術(shù)快AIAIAI二、AI效率和生產(chǎn)力的提升：AIAIAI新的服務(wù)和產(chǎn)品：AIAI解決復(fù)雜問(wèn)題：AI統(tǒng)方法難以解決的問(wèn)題。例如，AI提升人類(lèi)生活質(zhì)量：AI在網(wǎng)絡(luò)安全領(lǐng)域，近期大熱的生成式AISplunkCISO35AI20%

&&1AIAI三、AI《麻省理工學(xué)院技術(shù)評(píng)論洞察》曾對(duì)301名高級(jí)商界領(lǐng)袖和學(xué)者進(jìn)行了廣泛的人工智能相關(guān)問(wèn) 極其關(guān)注 關(guān)注 2AI對(duì)現(xiàn)有威脅的擴(kuò)增。AIAIAI業(yè)內(nèi)普遍預(yù)測(cè)，未來(lái)十年該技術(shù)的惡意使用將迅速增長(zhǎng)，人工智能的惡意使用在網(wǎng)絡(luò)安全、物理安全、政治安全、軍事安全等方面構(gòu)成嚴(yán)重威脅。網(wǎng)絡(luò)威脅：考慮到網(wǎng)絡(luò)空間固有的脆弱性及網(wǎng)絡(luò)攻擊所造成的威脅的不對(duì)稱(chēng)性，網(wǎng)絡(luò)威脅日益DDoS劃恐怖主義行為。威脅行為者可以利用人工智能系統(tǒng)來(lái)提高傳統(tǒng)網(wǎng)絡(luò)攻擊的效力和有效性，或者通過(guò)侵犯信息的機(jī)密性或攻擊其完整性、可用性來(lái)?yè)p害信息的安全。物理威脅：))AIAI解析，并在此基礎(chǔ)上通過(guò)AIAI干擾，則會(huì)對(duì)通常為操作對(duì)象的物理實(shí)體造成巨大的威脅，從工控系統(tǒng)的失控到人身傷害都已經(jīng)有了現(xiàn)實(shí)案例。政治威脅：隨著信息和通信技術(shù)的進(jìn)步及社交媒體在全球的突出地位，個(gè)人交流和尋找新聞來(lái)CatPTAI外，不法分子可以通過(guò)“深度偽造”技術(shù)換臉變聲、偽造視頻，“眼見(jiàn)未必為實(shí)”將成為常態(tài)，網(wǎng)絡(luò)欺詐大增，甚至引發(fā)社會(huì)認(rèn)知混亂、威脅政治穩(wěn)定。軍事威脅：AIAI(LW)事行動(dòng)的針對(duì)性更強(qiáng)、目標(biāo)更明確、打擊范圍更廣，越來(lái)越多的國(guó)家開(kāi)始探索人工智能在軍事領(lǐng)域的應(yīng)用。數(shù)據(jù)顯示，224AI2474IT上述威脅很可能是互有聯(lián)系的。例如，人工智能黑客攻擊可以針對(duì)網(wǎng)絡(luò)和物理系統(tǒng)，造成設(shè)施AI是以數(shù)字和物理攻擊為抓手。四、AI1威脅類(lèi)型：深度偽造（DeeFake）I（GANs等深度學(xué)習(xí)方法來(lái)生成逼真的內(nèi)容。這些技術(shù)可以用于創(chuàng)建虛假新聞、操縱公眾輿論、制造假象，AI面部替換：深度偽造技術(shù)可以將一個(gè)人的臉部特征無(wú)縫地替換到另一個(gè)人的臉上。這種技術(shù)可以用于制造虛假新聞，使名人或政治家似乎在說(shuō)或做一些從未說(shuō)過(guò)或做過(guò)的事情。這可能導(dǎo)致嚴(yán)重的社會(huì)和政治后果。幾年前，一個(gè)名為“DepFaksedit些視頻將名人的臉部特征替換到其他人的臉上，使得視頻看起來(lái)非常真實(shí)。這些視頻引發(fā)了關(guān)于深度偽造技術(shù)潛在濫用和隱20223月俄烏沖AI生成的烏克蘭總統(tǒng)澤降，并在烏克蘭24小時(shí)自戰(zhàn)爭(zhēng)爆發(fā)以來(lái)，其他

AI來(lái)制作虛假色情視頻。FBI分子經(jīng)常要求受害者向他們支付金錢(qián)、禮品卡甚至真實(shí)的性圖像，否則將在公開(kāi)互聯(lián)網(wǎng)上發(fā)布深度導(dǎo)致虛假色情圖像出現(xiàn)爆炸式增長(zhǎng)。NBC取深度偽造色情圖片。20241LiFeCorporation、LingoTelecom案例：Deep案例：DeepVideoPortraitseepVidoPrtrits術(shù)將一個(gè)人的動(dòng)作無(wú)縫地轉(zhuǎn)移到另一個(gè)人的身上，使得偽造視頻看起來(lái)非常真實(shí)。這種技術(shù)可以用于制作虛假新聞或操縱公眾輿論。為應(yīng)對(duì)深度偽造的威脅，研究人員正在開(kāi)發(fā)用于檢測(cè)和鑒別深度偽造內(nèi)容的技術(shù)。同時(shí)，公眾教育和提高媒體素養(yǎng)也是應(yīng)對(duì)深度偽造的關(guān)鍵策略。個(gè)人和組織需要保持警惕，確保從可靠來(lái)源獲取信息，以防止受到深度偽造內(nèi)容的影響。LM標(biāo)的網(wǎng)絡(luò)詐騙活動(dòng)，以及對(duì)于政治動(dòng)機(jī)的信息戰(zhàn)將起到巨大的支撐，這是新技術(shù)觸發(fā)的新威脅類(lèi)型的引入。LLM的生成能力，執(zhí)行從錢(qián)財(cái)詐騙到政治目標(biāo)的惡意操作，而且隨2威脅類(lèi)型：地下社區(qū)一直對(duì)大語(yǔ)言模型非常感興趣，首個(gè)工具WormGPT于2021年7月13日在暗網(wǎng)亮相。WormGPTChatGPT2021GPT-J該工具以月訂閱（00）或年訂閱（50）的形式出售，根據(jù)匿名銷(xiāo)售者的說(shuō)法，具備諸如無(wú)限制字符輸入、記憶保留和編碼功能等一系列特點(diǎn)。據(jù)稱(chēng)，該工具經(jīng)過(guò)惡意軟件數(shù)據(jù)訓(xùn)練，主要用于生成復(fù)雜的網(wǎng)絡(luò)釣魚(yú)和商業(yè)電子郵件攻擊及編寫(xiě)惡意代碼。WrmPTmFraudGPT2023722日在暗網(wǎng)上公開(kāi)出售。該工具基于相對(duì)較新的GPT3技術(shù)，定位為用于攻擊目的的高級(jí)機(jī)器人。其應(yīng)用包括編寫(xiě)惡意代碼、制作難以檢測(cè)的惡意軟件和黑客工具、編寫(xiě)網(wǎng)絡(luò)釣魚(yú)頁(yè)面和欺詐內(nèi)容，以及尋找安全漏洞。訂閱費(fèi)用從每月200美元至每年1700美元不等。據(jù)發(fā)現(xiàn)此漏洞的安全公司表示，F(xiàn)raudGPT可能專(zhuān)注于生成快速、大量的WormGPT則更傾向于生成復(fù)雜的惡意軟件和勒索軟件功能。黑產(chǎn)團(tuán)伙建立過(guò)多個(gè)可出租的大型僵尸網(wǎng)絡(luò)，可以用來(lái)實(shí)施發(fā)送垃圾郵件和DDoS攻擊等惡意行動(dòng)，目前已經(jīng)是一個(gè)很成熟的商業(yè)模式。由于目前效果最好的OpenAI的模型主要采用集中化的SaaS應(yīng)用模式，對(duì)惡意使用存在監(jiān)控，因此，基于開(kāi)源模型，通過(guò)定制化的微調(diào)創(chuàng)建自用或可出租具有實(shí)際自定義LLMAPI，不依賴(lài)于OpenAI(BEC)GPT-J-6BLLM模型進(jìn)行了修應(yīng)用程序中，導(dǎo)致LLM案制造假新聞、扭曲現(xiàn)實(shí)、操縱PythonChatGPTOpenAILLM開(kāi)發(fā)，接受不同來(lái)源VisaIDChatGPT目前尚處于初期階段，因此現(xiàn)在評(píng)估WormGPT和FraudGPT的實(shí)際效果還為時(shí)尚早。它們的具體數(shù)據(jù)集和算法尚不明確。這兩個(gè)工具所基于的GPT-JGPT-3模型發(fā)布于2021OpenAIGPT-4等更先進(jìn)的模型相比，屬于相對(duì)較舊的技術(shù)。與品，目的是欺騙其他網(wǎng)絡(luò)犯罪分子。畢竟，網(wǎng)絡(luò)犯罪分子本3（來(lái)源：國(guó)家信息中心3、利用AI威脅類(lèi)型：AIAIAI智能漏洞掃描：AI和已安裝的軟件等信息，AI案例：LLM案例：LLM202426UIUC)的計(jì)算機(jī)科學(xué)家通過(guò)將多個(gè)大型語(yǔ)言模型(LLM)武器化來(lái)證明這一點(diǎn)，無(wú)需人工指導(dǎo)即可危害易受攻擊的網(wǎng)站。先前的研究表明，盡管存在安全控制，LLM仍可用于協(xié)助創(chuàng)建惡意軟件。研究人員更進(jìn)一步表明，由LLM驅(qū)動(dòng)的代理（配備了用于訪問(wèn)API、自動(dòng)網(wǎng)頁(yè)瀏覽和基于反饋的規(guī)劃的工具的LLM）可以在網(wǎng)絡(luò)上漫游，并在沒(méi)有監(jiān)督的情況下闖入有缺陷的網(wǎng)絡(luò)應(yīng)用程序。研究人員在題為“LLM代理可以自主攻擊網(wǎng)站”的論文中描述了他們的發(fā)現(xiàn)。研究顯示，LLM代理可以自主破解網(wǎng)站，執(zhí)行盲目數(shù)據(jù)庫(kù)模式提取和SQL注案例：DeepHack案例：DeepHackDECN217DeeHckbeepHakQLWb8DeepExploitMLetsploitActor-Critics3peAILLMAI，LLM還處于早期的階段，以概念驗(yàn)證為主，在現(xiàn)實(shí)的環(huán)境中工作的穩(wěn)定性、魯棒性、適應(yīng)性欠佳。但隨AIAgnt4、AI威脅類(lèi)型：人工智能會(huì)帶來(lái)更加復(fù)雜和難以預(yù)測(cè)的軍事威脅，包括相關(guān)武器系統(tǒng)的誤用、濫用甚至惡用，以及戰(zhàn)爭(zhēng)的不可控性增加等。在人工智能技術(shù)的加持下，未來(lái)的戰(zhàn)爭(zhēng)可能會(huì)變得更加自動(dòng)化。例如，致命性自主武器系統(tǒng)（LAS）等為代表的機(jī)器人和自主系統(tǒng)，將能夠執(zhí)行軍事任務(wù)，如偵察、攻擊和防御，而不需要生一系列道德問(wèn)題。同時(shí)，人工智能如果被黑客攻擊，甚至被控制，它們可能會(huì)被用于攻擊自己的國(guó)家或其他目標(biāo)，如果數(shù)據(jù)被篡改或破壞，影響人工智能分析和預(yù)測(cè)，會(huì)導(dǎo)致軍隊(duì)做出錯(cuò)誤決策，導(dǎo)致災(zāi)難性的后果。案例：AI案例：AI據(jù)法新社2024210（AI）一名以色列高級(jí)國(guó)防官員稱(chēng)，這些技術(shù)正在摧毀敵方無(wú)人機(jī)，并被用于繪制哈馬斯在加沙的龐大隧道網(wǎng)絡(luò)地圖，這些新的防務(wù)技術(shù)，包括人工智能驅(qū)動(dòng)的瞄準(zhǔn)器和無(wú)人機(jī)等。以繪制地下隧道網(wǎng)絡(luò)地圖為例，該網(wǎng)絡(luò)非常龐大，軍方稱(chēng)其為“加沙地鐵”，美國(guó)西點(diǎn)軍校最300500創(chuàng)公司羅博蒂坎公司制造的一種無(wú)人機(jī)，它將無(wú)人機(jī)裝在一個(gè)形狀便于移動(dòng)的殼子里。人工智能可以將網(wǎng)絡(luò)、決策者和操作者相連接，讓軍事行動(dòng)針對(duì)性更強(qiáng)、目標(biāo)更明確、打擊范圍更廣范，因此，越來(lái)越多的國(guó)家開(kāi)始探索人工智能在軍事領(lǐng)域的應(yīng)用。數(shù)據(jù)顯示，2024I247674IT和電子戰(zhàn)能力。5、LLM（閱,債務(wù)個(gè)人損失和安全問(wèn)題運(yùn)行模型投毒（重編程O(píng)AP未經(jīng)授權(quán)的代碼執(zhí)行等。攻擊者通過(guò)繞過(guò)過(guò)濾器對(duì)大模型輸出結(jié)果未審?fù)ㄟ^(guò)訓(xùn)練數(shù)據(jù)投毒，可或使用精心設(shè)計(jì)的提示查即接受，就會(huì)出現(xiàn)此以導(dǎo)致改變模型的道德詞來(lái)操縱LLM，執(zhí)行攻漏洞，從而暴露后端系行為、導(dǎo)致應(yīng)用程序向擊者想要的操作 統(tǒng) 用戶(hù)提供虛假信息、攻擊者與LLMLLM大模型可能會(huì)通過(guò)向用LLM插件輸入不安全和LLM戶(hù)的回復(fù)，無(wú)意泄露敏訪問(wèn)控制不足的情況，限或自主權(quán)，導(dǎo)致大模感和機(jī)密信息。導(dǎo)致未可能會(huì)導(dǎo)致數(shù)據(jù)泄露、型執(zhí)行有害操作，產(chǎn)生經(jīng)授權(quán)的數(shù)據(jù)訪問(wèn)、隱遠(yuǎn)程代碼執(zhí)行、權(quán)限升影響數(shù)據(jù)機(jī)密性、完整 LLM，可能會(huì)因LLM成不正確的內(nèi)容而面臨錯(cuò)誤信息、溝通不暢、法律問(wèn)題和安全漏洞。即惡意行為者或APTLLM表5OWASP發(fā)布的大語(yǔ)言模型應(yīng)用10大安全漏洞ChatGPT0234ChtGThaGPT新程序的源代碼本體、與硬件相關(guān)的內(nèi)部會(huì)議記錄等數(shù)據(jù)。不到一個(gè)月的時(shí)間，三星曝出了三起員ChatGPT6AIChatGPT（LLM）擁有海量的編程相關(guān)的知識(shí)，包括使用手冊(cè)、代碼示例、設(shè)計(jì)模式，泛化能力也使其具備了極其強(qiáng)大的程序代碼生成能力，使用者可以通過(guò)層次化的描述需求方式構(gòu)造可用的軟件代碼，本質(zhì)上，除了極少數(shù)只可能導(dǎo)致破壞的惡意代碼，功能代碼本身很難說(shuō)是善意還是惡意的，很多時(shí)候取決于軟件及模塊的使用目標(biāo)。更深入地，威脅行為者已經(jīng)開(kāi)始利用AI（malwareAI自適應(yīng)惡意軟件：AI案例：DeepLocker案例：DeepLockerIBM研究人員開(kāi)發(fā)了一種名為DeepLocker的惡意軟件POC，以展示AI對(duì)性的攻擊。DeepLocker可以隱藏在正常軟件中，只有在滿(mǎn)足特定條件（DeepLocker僅作為概念驗(yàn)證而開(kāi)發(fā)，但它展示了AI在惡意軟件中的潛在應(yīng)用。為了應(yīng)對(duì)這種AI案例：BlackMamba案例：BlackMamba3年，HYASaPOC通道，并且可以通過(guò)一些良性通信通道（MSTems）推送任何攻擊者綁定的數(shù)據(jù)。第二個(gè)是利用人工智能代碼生成技術(shù)，可以合成新的惡意軟件變體，更改代碼以逃避檢測(cè)算法。Blckama利用良性可執(zhí)行文件在運(yùn)行時(shí)訪問(wèn)高信譽(yù)API(OpenAI)，因此它可以返回竊取受Pythonexec(行動(dòng)態(tài)生成的代碼，而惡意多態(tài)部分完全保留在內(nèi)存中。每次BlakMaba執(zhí)行時(shí)，它都會(huì)重新綜合其鍵盤(pán)記錄功能，使該惡意軟件的惡意組件真正具有多態(tài)性。BlackMamba針對(duì)行業(yè)領(lǐng)先的EDREDR網(wǎng)絡(luò)安全公司CyberArk也進(jìn)行了類(lèi)似的創(chuàng)建多模態(tài)惡意代碼的嘗試，也用到內(nèi)置的Python解釋器通過(guò)API從ChatGPT獲取功能代碼（C2和加密）執(zhí)行實(shí)時(shí)的操作，代碼不落磁盤(pán)，其中的多ChatGPT案例：ChatGPT案例：ChatGPT2023年1月，威脅情報(bào)公司RecordedFuture發(fā)布報(bào)告稱(chēng)，在暗網(wǎng)和封閉論壇發(fā)現(xiàn)了1500多條關(guān)于在惡意軟件開(kāi)發(fā)和概念驗(yàn)證代碼創(chuàng)建中使用ChatGPT的資料。其中包括利用開(kāi)源庫(kù)發(fā)現(xiàn)的惡意代碼對(duì)ChatGPT進(jìn)行培訓(xùn)，以生成可逃避病毒檢測(cè)的惡意代碼不同變體，以及使用ChatGPT創(chuàng)建惡意軟件配置文件并設(shè)置命令和控制系統(tǒng)。值得注意的是，根據(jù)RecordedFuture說(shuō)法，ChatGPT還可以用于生成惡意軟件有效載荷。研究團(tuán)隊(duì)已經(jīng)確定了ChatGPT可以有效生成案例：利用案例：利用LLM編寫(xiě)任務(wù)20242OpenAI索和測(cè)試不同的人工智能技術(shù)，其中包括使用LLM執(zhí)行基本腳本編寫(xiě)任務(wù)，例如，以編程方式識(shí)別系統(tǒng)上的某些用戶(hù)事件，尋求故障排除和理解各種Web技術(shù)方面的幫助，以及使用協(xié)助創(chuàng)建和完善根據(jù)環(huán)境調(diào)整惡意軟件的功能/利用ChatGPT的代碼生成功能開(kāi)發(fā)部分模塊的惡意代碼肯定已經(jīng)出現(xiàn)，但真正的包含上面想像AI7威脅類(lèi)型：AI（NLP）技術(shù)，AI 釣魚(yú)郵件生成：AIAI 精準(zhǔn)釣魚(yú)攻擊：AIAI 自動(dòng)化、規(guī)模化攻擊：AI郵件。利用LLMCyxteraeephish的項(xiàng)目，旨在展示AIAI的釣魚(yú)郵件比傳統(tǒng)方法生成的釣魚(yú)郵件更具說(shuō)服力，更容易欺騙受害者。借助AI，釣魚(yú)郵件欺詐有3000%，0.69%20.9%。為了應(yīng)對(duì)這種威脅，個(gè)人和組織需要提高安全意識(shí)，學(xué)會(huì)識(shí)別和應(yīng)對(duì)釣魚(yú)攻擊。同時(shí)，安全研AIAI從研究者的測(cè)試看，AI加持下的釣魚(yú)郵件攻擊似乎有一定的效果增強(qiáng)，但他們的操作方式與真8威脅類(lèi)型：AI口令爆破是一種試圖通過(guò)嘗試大量可能的密碼組合來(lái)破解用戶(hù)賬戶(hù)的攻擊。傳統(tǒng)的口令爆破方法通常是用字典攻擊或暴力攻擊，這些方法可能需要大量的時(shí)間和計(jì)算資源。AI在線(xiàn)資源，AI可以收集有關(guān)目標(biāo)的信息，如生日、寵物名字和興趣等，幫助攻擊者生成更具針對(duì)性案例：PassGAN案例：PassGANPssANGAN）技術(shù)、I223安全初創(chuàng)公司eitysN9u數(shù)據(jù)集中的8:65%71%81%為了應(yīng)對(duì)這種威脅，個(gè)人和組織需要使用更強(qiáng)的密碼策略，如使用復(fù)雜且難以猜測(cè)的密碼，并定期更新密碼。此外，啟用多因素認(rèn)證（MFA）也可以有效地降低口令爆破攻擊的成功率。與傳統(tǒng)的經(jīng)過(guò)長(zhǎng)時(shí)間考驗(yàn)和優(yōu)化的基于字典變化的爆破工具相比，并沒(méi)有多大提升，基本可以N9威脅類(lèi)型：驗(yàn)證碼（CATHA）是一種用于區(qū)分人類(lèi)和計(jì)算機(jī)程序的安全機(jī)制，它通常要求用戶(hù)識(shí)別并如垃圾郵件、爬蟲(chóng)和口令爆破。然而，隨著AIAIAI圖像識(shí)別：深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)（CN）在圖像識(shí)別領(lǐng)域取得了顯著進(jìn)展。攻擊者可AI擊者可以自動(dòng)化破解過(guò)程，從而繞過(guò)安全措施。自適應(yīng)攻擊：AI案例：unCAPTCHA案例：unCAPTCHAunCAPTCHAGooglereCAPTCHA驗(yàn)證碼的系統(tǒng)。通過(guò)利用語(yǔ)音識(shí)別技術(shù)，unCAPTCHA可以識(shí)別并輸入驗(yàn)證碼中的音頻序列，從而繞過(guò)安全檢查。雖然Gogle后來(lái)更新了reCAPTCHA，unCAPTCHAAIAI織應(yīng)采取其他安全措施來(lái)防止自動(dòng)化攻2023年10月發(fā)布的破解驗(yàn)證碼的測(cè)試表明，GPT-4V基本上完全有能力破解目前公開(kāi)的高難度驗(yàn)證機(jī)制，ChatGPT能夠輕松解決經(jīng)典的GPT這樣的圖像視頻對(duì)象識(shí)別，以GPT4自以出來(lái)以后，識(shí)別能力已經(jīng)不成問(wèn)題，限制來(lái)自于OpenAI的防御性禁用，由于目前OpenAI的模型主而且主動(dòng)權(quán)一直都會(huì)在OpenAI手里，10威脅類(lèi)型：

2社會(huì)工程學(xué)是一種操縱人際關(guān)系以獲取敏感信息或訪問(wèn)權(quán)限的技術(shù)。攻擊者通常利用人類(lèi)的心AI攻擊者開(kāi)始利用AIAI語(yǔ)音克隆和合成：AI案例：CEO案例：CEO語(yǔ)音克隆詐騙2019CEO24AICEOCEO進(jìn)行緊急轉(zhuǎn)賬。受害者在電話(huà)中無(wú)法分辨出偽造24萬(wàn)美元，從而導(dǎo)致了這起成功的詐騙。2022年，冒名26McAFee的《謹(jǐn)防人工冒名頂替者》報(bào)告，在全球25，77的語(yǔ)音詐騙目標(biāo)因此遭受了金案例：OpenAI案例：OpenAIOpenAI的GPT是一種先進(jìn)的自然語(yǔ)言生成模型。它可以用于各種合法應(yīng)用，如翻譯、摘要和問(wèn)答系統(tǒng)，但它也可以被用于生成逼真的社會(huì)工程攻擊內(nèi)容。例如，攻擊者可以使用GPT生成針對(duì)案例：AI案例：AIZeroFOXSNAP_RTwitterAI為應(yīng)對(duì)AIAIAgent將對(duì)社會(huì)工程學(xué)攻擊提供異常強(qiáng)大的支持，極大提升此類(lèi)攻擊的自動(dòng)化水平，滲透活動(dòng)的廣度和深度會(huì)持續(xù)增加。導(dǎo)致了很現(xiàn)實(shí)的危害。最近數(shù)據(jù)表明，人工智能生成深度偽造的安全威脅正在增長(zhǎng)，Onio顯示，023300%，人臉識(shí)別技術(shù)面臨崩盤(pán)危機(jī)。攻擊者越來(lái)越多地轉(zhuǎn)向使用深度偽造信息實(shí)施“注入攻擊”，攻擊者會(huì)繞過(guò)物理攝像頭，使用諸如虛擬攝像頭等工具將圖像直接輸入系統(tǒng)的數(shù)據(jù)流。11威脅類(lèi)型：AI虛假文本內(nèi)容生成：AI案例：AI案例：AI2238月，《連線(xiàn)》雜志報(bào)道了一個(gè)化名“eaPw”的神秘開(kāi)發(fā)者/CatGTounerClod”的人工智能宣傳機(jī)器，展示了人工智能在傳播rdCuntrClodAI7×40（社交媒體操縱AI在社交媒體平臺(tái)上發(fā)布帖子、評(píng)論和點(diǎn)贊。攻擊者可以利用這些機(jī)器人操縱輿論、傳播虛假信息和進(jìn)行網(wǎng)絡(luò)釣魚(yú)攻擊。案例：AI案例：AI2241通過(guò)具有誘惑性的虛構(gòu)對(duì)話(huà)來(lái)評(píng)估士兵的行為，確定士兵對(duì)來(lái)自國(guó)外的線(xiàn)上“美人計(jì)”信息提取和心理操縱的敏感程度。人工智能聊天機(jī)器人可以自我學(xué)習(xí)，可以輕松添加新場(chǎng)景以進(jìn)行有效訓(xùn)練，通過(guò)聊天機(jī)器人的數(shù)據(jù)可獲得有關(guān)國(guó)外情報(bào)機(jī)構(gòu)運(yùn)作的重要信息，并有助于改進(jìn)印度陸軍網(wǎng)絡(luò)防御，并有效保護(hù)士兵。虛假賬號(hào)創(chuàng)建和操縱：AI案例：AI案例：AILinkedIn2019AILinkedInAIAI社交媒體平臺(tái)需要采取更先進(jìn)的技術(shù)手段，如使用機(jī)器學(xué)習(xí)模型檢測(cè)虛假內(nèi)容和虛假賬號(hào)。此外，AI12威脅類(lèi)型：AIAI021（EISA）和聯(lián)合研究中心發(fā)布的報(bào)告顯示，與物理組件