ChatGPT：是崛起的AI攻擊之矛還是萬能的網(wǎng)絡(luò)安全之盾

ChatGPT：是崛起的AI攻擊之矛，還是萬能的網(wǎng)絡(luò)安全之盾什么是ChatGPT和大語言模型ChatGPT是由美國(guó)科技創(chuàng)業(yè)公司OpenAI開發(fā)的人工智能聊天機(jī)器人，最初是基于GPT-3大語言模型，使用深度學(xué)習(xí)來產(chǎn)生類似人類的文本，目前ChatGPT底層的大語言模型已經(jīng)進(jìn)化到GPT-4。

大語言模型指在基于大量文本的數(shù)據(jù)上訓(xùn)練模型，訓(xùn)練用的語料樣本最初是從開放的互聯(lián)網(wǎng)獲取，涵蓋了各種類型的網(wǎng)頁內(nèi)容，包括學(xué)術(shù)論文、社交媒體帖子、博客、新聞文章等大量的數(shù)據(jù)。

而這些大量的數(shù)據(jù)在攝入時(shí)，無法完全過濾所有冒犯性或不準(zhǔn)確的內(nèi)容，因此"有爭(zhēng)議的內(nèi)容"很可能包括在其模型中。該模型通過分析不同詞語之間的關(guān)系，并將其轉(zhuǎn)化為概率模型，然后可以給模型一個(gè)"提示"，它將根據(jù)其模型中的單詞關(guān)系提供一個(gè)在概率上最接近用戶期待的答案。ChatGPT的數(shù)據(jù)邊界問題ChatGPT現(xiàn)在已經(jīng)基本定義了一種新的AI應(yīng)用的工業(yè)范式，即人機(jī)交互使用Chatbot聊天模式，后端用大語言模型進(jìn)行意圖理解和內(nèi)容生成，再結(jié)合API實(shí)現(xiàn)多模態(tài)應(yīng)用。

既然是聊天，那么就需要有輸入和輸出。輸入就是“喂”給模型的數(shù)據(jù)，可以是向ChatGPT提出的問題，也可以是向其提供的數(shù)據(jù)資料；輸出則是經(jīng)過模型計(jì)算和API調(diào)用后利用模型生成接近用戶期待的內(nèi)容和格式的結(jié)果。

這樣在用戶與ChatGPT對(duì)話的過程中，就會(huì)把用戶的數(shù)據(jù)上傳給ChatGPT的服務(wù)器，根據(jù)ChatGPT官方的文檔確認(rèn)，用戶與ChatGPT之間的對(duì)話數(shù)據(jù)是會(huì)被上傳到OpenAI公司進(jìn)行存儲(chǔ)，并且將對(duì)話數(shù)據(jù)中的用戶個(gè)人信息（如姓名、地址、電話等）進(jìn)行脫敏處理后，可能會(huì)被用于模型后續(xù)的迭代訓(xùn)練，以提升產(chǎn)品效果，但這個(gè)過程并不會(huì)自動(dòng)被執(zhí)行。

ChatGPT目前沒有提供類似GoogleAssistant、Siri、AmazonAlexa和MicrosoftCortana這類聊天機(jī)器人應(yīng)用中的“隱私模式”或“無記錄模式”。在這種模式下，用戶可以保證自己的對(duì)話內(nèi)容和個(gè)人信息不會(huì)被記錄或收集。ChatGPT的用戶如果不想其數(shù)據(jù)被利用于ChatGPT的訓(xùn)練迭代，需要通過向OpenAI提交申請(qǐng)。

介于ChatGPT目前還處于未公開其技術(shù)細(xì)節(jié)和數(shù)據(jù)處理流程的狀態(tài)，其對(duì)用戶數(shù)據(jù)的使用也沒有得到第三方機(jī)構(gòu)進(jìn)行審計(jì)和監(jiān)管，如JPMorgan、Amazon、Verizon、BankofAmerica等一些企業(yè)已經(jīng)禁止其員工在工作時(shí)使用ChatGPT，以防止敏感的企業(yè)數(shù)據(jù)泄露，甚至如某些國(guó)家已經(jīng)官方宣布基于數(shù)據(jù)隱私安全的考慮，禁止使用ChatGPT。

觀點(diǎn)1：從政策和技術(shù)兩方面保證類ChatGPT應(yīng)用的數(shù)據(jù)邊界安全。面對(duì)上述的ChatGPT數(shù)據(jù)邊界問題，目前產(chǎn)品還不能滿足保護(hù)數(shù)據(jù)安全性的相關(guān)需求，需要通過加強(qiáng)相關(guān)的安全合規(guī)性立法、進(jìn)行模型私有化部署和對(duì)模型數(shù)據(jù)使用過程進(jìn)行審計(jì)等方法來解決這個(gè)問題。

以O(shè)penAI的ChatGPT為例，ChatGPT無法滿足GDPR和《個(gè)人信息保護(hù)法》中關(guān)于個(gè)人信息隱私保護(hù)的相關(guān)需求，如用戶無法行使對(duì)其個(gè)人數(shù)據(jù)的“刪除權(quán)”，這不僅是ChatGPT沒有開放這個(gè)功能，在技術(shù)上當(dāng)個(gè)人數(shù)據(jù)經(jīng)過處理進(jìn)入數(shù)據(jù)集后，往往就丟失了溯源能力，也很難再被單獨(dú)找出來刪除。對(duì)于部署在國(guó)外的服務(wù)器上的類ChatGPT的大語言模型應(yīng)用來說，更是無法滿足《數(shù)據(jù)安全法》對(duì)數(shù)據(jù)不出網(wǎng)、不出境和能夠進(jìn)行有效管控的要求。

從技術(shù)角度考慮，如果要滿足大語言模型應(yīng)用的數(shù)據(jù)安全合規(guī)性，需要在以下幾個(gè)方面做出改進(jìn)：

模型私有化部署：私有化（即本地化）部署是滿足企業(yè)用戶在使用大語言模型應(yīng)用時(shí)數(shù)據(jù)不出網(wǎng)、不被濫用的主要方法之一，這個(gè)部署包括了提供可以進(jìn)行模型微調(diào)（Fine-Tuning）在內(nèi)的算力環(huán)境。由于大語言模型的生成效果也取決于訓(xùn)練時(shí)的語料數(shù)據(jù)，在專業(yè)性很強(qiáng)的垂直領(lǐng)域要達(dá)到更好的生成效果，也是需要提供語料來優(yōu)化模型，因此大語言模型的私有化部署是讓數(shù)據(jù)在企業(yè)內(nèi)形成內(nèi)部循環(huán)來持續(xù)優(yōu)化模型的可行方法。對(duì)于云端提供的大語言模型中數(shù)據(jù)的使用過程進(jìn)行第三方審計(jì)：可以從數(shù)據(jù)的輸入、存儲(chǔ)和使用等環(huán)節(jié)提供第三方的系統(tǒng)來進(jìn)行數(shù)據(jù)安全合規(guī)性的監(jiān)控和審計(jì)。如通過調(diào)用大語言模型提供的API來自己提供Chat接口，并對(duì)聊天過程中輸入的數(shù)據(jù)進(jìn)行合法合規(guī)性審計(jì)；在線存儲(chǔ)的用戶對(duì)話數(shù)據(jù)必須進(jìn)行加密存儲(chǔ)；對(duì)被用于模型迭代更新的用戶數(shù)據(jù)進(jìn)行合規(guī)性審計(jì)后才可以使用。大語言模型賦能安全攻擊很多文章已經(jīng)討論過大語言模型被用于網(wǎng)絡(luò)滲透攻擊的例子，主要包括以下6個(gè)方向：①通過繞過ChatGPT的防御規(guī)則，來欺騙其通過大語言模型生成惡意代碼、生成攻擊腳本；②使用大語言模型快速批量生成社會(huì)工程攻擊的文本，如釣魚郵件或者根據(jù)用戶信息生成攻擊字典；③對(duì)開源代碼進(jìn)行自動(dòng)化漏洞挖掘和漏洞利用測(cè)試；④獲得網(wǎng)絡(luò)安全工具使用方法、漏洞信息等多種知識(shí)；⑤組合已有的單點(diǎn)攻擊工具，生成更強(qiáng)大的立體化多點(diǎn)攻擊工具；⑥使用大語言模型的編程能力實(shí)現(xiàn)代碼混淆和修改實(shí)現(xiàn)逃避檢測(cè)和免殺。

觀點(diǎn)2：大語言模型賦能攻擊可能引發(fā)新的網(wǎng)絡(luò)入侵潮。大語言模型的自動(dòng)化生成能力將大大提升安全入侵的效率、降低安全入侵的技術(shù)門檻、提升安全入侵自動(dòng)化能力、降低高級(jí)安全入侵的實(shí)施成本，國(guó)內(nèi)受到網(wǎng)絡(luò)安全法的震懾，相關(guān)安全事件發(fā)生會(huì)受到一定制約，但來自國(guó)外的個(gè)人和小團(tuán)體攻擊將有可能迎來一波大幅的提升。

大語言模型對(duì)網(wǎng)絡(luò)安全的威脅將大于對(duì)網(wǎng)絡(luò)安全的幫助似乎已經(jīng)成為共識(shí)。因?yàn)榇笳Z言模型的自動(dòng)生成能力可以很容易幫助入侵者把一個(gè)想法快速變成一段代碼或者文本。

比如，對(duì)于本來需要5-10人花費(fèi)數(shù)周時(shí)間，才能開發(fā)出來具有免殺能力的新型0day惡意代碼，運(yùn)用大語言模型的自動(dòng)生成能力，可能通過幾次對(duì)話生成，即使是略懂原理的初學(xué)者，也能在幾小時(shí)內(nèi)完成。從此腳本小子的個(gè)人戰(zhàn)力得到極大提升，給企業(yè)帶來威脅的入侵者數(shù)量將出現(xiàn)幾個(gè)數(shù)量級(jí)上的增長(zhǎng)。

ChatGPT通過對(duì)Github上大量開源代碼的自動(dòng)化漏洞挖掘可以讓入侵者以低成本快速掌握多個(gè)0day漏洞，尤其在一些不被大范圍使用的專業(yè)性較強(qiáng)的開源系統(tǒng)上的漏洞往往不會(huì)被注意，因?yàn)檫@些漏洞挖掘的性價(jià)比并不高，但ChatGPT改變了這個(gè)規(guī)則，完成這些工作只需要編寫一些自動(dòng)化的代碼，就可以完全交給ChatGPT進(jìn)行后續(xù)工作，甚至自動(dòng)化代碼都可以讓ChatGPT代勞。這讓入侵者可以把挖掘0day漏洞從原來主要聚焦于廣泛使用的開源軟件轉(zhuǎn)向所有開源軟件，這會(huì)對(duì)一些以前入侵者很少涉足的專業(yè)領(lǐng)域產(chǎn)生極大的潛在安全威脅。

ChatGPT使得使用釣魚郵件進(jìn)行社會(huì)工程攻擊變得更容易、更高效、更不易被發(fā)現(xiàn)。通過AIGC能力能夠快速批量生成不同表達(dá)方式的釣魚郵件，并且利用ChatGPT的角色扮演能力，能夠輕易以不同角色的身份來撰寫，這些郵件的內(nèi)容和口吻更加真實(shí)，使得分辨難度大大提高。大語言模型賦能安全防御大語言模型的很多能力在賦能安全攻擊和賦能安全防御兩個(gè)方面都是相對(duì)應(yīng)的，但安全防御與安全攻擊的不同點(diǎn)在于，安全攻擊只要找到任何一個(gè)突破點(diǎn)就能夠取得攻擊成果，而安全防御則需要盡可覆蓋所有場(chǎng)景才能夠防御成功。因此大語言模型在自動(dòng)化生成能力方面對(duì)安全防御的加成遠(yuǎn)小于對(duì)安全攻擊的加成。

大語言模型在以下5個(gè)方面對(duì)安全防御能力提供了能力加成：

①安全運(yùn)營(yíng)管理過程中的代碼生成：包括檢測(cè)腳本生成、安全設(shè)備配置策略下發(fā)命令生成、日志范式化正則表達(dá)式自動(dòng)生成，以及檢測(cè)腳本代碼在各種不同版本編程語言間的自動(dòng)化轉(zhuǎn)化、安全配置策略命令在不同品牌安全產(chǎn)品間的自動(dòng)轉(zhuǎn)換等；②代碼安全：包括針對(duì)代碼漏洞、注入點(diǎn)和內(nèi)存泄漏點(diǎn)的自動(dòng)化檢測(cè)和審計(jì)，自動(dòng)化生成代碼安全問題的修復(fù)建議；③安全模型訓(xùn)練數(shù)據(jù)增強(qiáng)：如通過批量產(chǎn)生垃圾郵件、釣魚郵件來增強(qiáng)訓(xùn)練樣本，批量生成弱口令樣本等；④安全運(yùn)營(yíng)知識(shí)獲取：包括如獲取安全分析方法、獲取安全分析工具信息、獲取漏洞情報(bào)和威脅情報(bào)等；⑤自動(dòng)化安全分析和響應(yīng)：通過大語言模型進(jìn)行安全運(yùn)營(yíng)的多意圖理解，并通過API驅(qū)動(dòng)接入的安全設(shè)備和系統(tǒng)完成包括安全事件調(diào)查、安全分析腳本推薦、安全事件響應(yīng)劇本生成、攻擊溯源圖生成、攻擊腳本和惡意代碼解讀、威脅情報(bào)關(guān)聯(lián)、安全分析總結(jié)和報(bào)告生成等。

觀點(diǎn)3：大語言模型賦能安全防御可以幫助專家節(jié)省時(shí)間，但沒有賦能安全攻擊更有威力。網(wǎng)絡(luò)安全防御是一種需要進(jìn)行精確判斷和決策的技術(shù)，大語言模型快速生成的代碼和方案可以幫專家節(jié)省時(shí)間，但由于大語言模型在AIGC過程中的“幻化”問題，所以由大語言模型提供的代碼和方案需要經(jīng)過人工驗(yàn)證其正確性，這對(duì)于具有驗(yàn)證能力的專業(yè)人員來說，大語言模型能夠在一定程度低提高其對(duì)安全事件的處理效率。

同樣的“幻化”問題也存在于大語言模型賦能安全入侵中，但一般認(rèn)為對(duì)安全防御水平的驗(yàn)證難度是高于安全入侵的。安全入侵過程很容易在模擬環(huán)境中被驗(yàn)證，只要通過返回的信息就可知曉攻擊是否成功，而安全防御則需在靶場(chǎng)中先模擬出各種可能的入侵，才有可能被驗(yàn)證，這在實(shí)戰(zhàn)應(yīng)用中防御效果的驗(yàn)證難度將會(huì)更高。大語言模型競(jìng)爭(zhēng)催生的安全問題ChatGPT驚艷世界后，引發(fā)了大語言模型領(lǐng)域的全球性競(jìng)爭(zhēng)，實(shí)力大廠、創(chuàng)業(yè)公司等都紛紛入局，這將會(huì)帶來兩大方面安全問題：

一是AI廠商為了爭(zhēng)奪大語言模型風(fēng)口的時(shí)機(jī)，短時(shí)間內(nèi)產(chǎn)生大量AI算力需求，上線大量AI算力平臺(tái)，但業(yè)界至今沒有很好解決AI算力平臺(tái)的自身安全問題，包括用戶數(shù)據(jù)使用過程中的傳輸、存儲(chǔ)的安全問題，模型訓(xùn)練和推理過程中的安全問題、算力平臺(tái)自身系統(tǒng)和軟件的安全問題等，也缺乏相應(yīng)的安全標(biāo)準(zhǔn)和規(guī)范，將有可能導(dǎo)致大量用戶數(shù)據(jù)被泄露的風(fēng)險(xiǎn)。

二是大語言模型不僅是單一應(yīng)用，通過開放API可以讓大語言模型成為連接萬物的智能大腦，大語言模型的應(yīng)用將會(huì)成為平臺(tái)級(jí)、系統(tǒng)級(jí)的龐大應(yīng)用。這就帶來了接入大語言模型的第三方應(yīng)用的接入安全問題、數(shù)據(jù)安全問題，以及第三方應(yīng)用的合規(guī)性問題、防止惡意第三方應(yīng)用接入、第三方應(yīng)用自身安全問題等多種問題。

觀點(diǎn)4：需要盡快推出面向AI算力平臺(tái)安全、大語言模型第三方應(yīng)用接入安全相關(guān)的安全標(biāo)準(zhǔn)和規(guī)范以及研發(fā)相關(guān)的安全產(chǎn)品和方案，為大語言模型發(fā)展護(hù)航。基于大語言模型的全球性科技競(jìng)爭(zhēng)由ChatGPT引爆，AI廠家紛紛搶占先