AI技術(shù)在威脅情報運(yùn)營的應(yīng)用實踐

一、AI的進(jìn)展回顧及在網(wǎng)絡(luò)安全的應(yīng)用1,人工智能關(guān)鍵事件的回顧與展望◆20世紀(jì)50年代，人工智能和圖靈測試就已經(jīng)提出，但可能受限于計算能力似乎一直進(jìn)展緩◆2010年開始，深度學(xué)習(xí)技術(shù)興起。2012年AlexNet首次應(yīng)用于圖像分類任務(wù)ImageNet競賽中，取得了顯著的成功，并且以極大的優(yōu)勢領(lǐng)先，進(jìn)步遠(yuǎn)超前幾年的比賽。◆2016年，DeepMindAlphaGo擊敗圍棋世界冠軍李世石，展示了強(qiáng)化學(xué)習(xí)在解決復(fù)雜策略問題上的潛力。從此，電腦成為圍棋最高水平的尺度，人類上千年的◆2017年，Google提出Transformer，其注意力機(jī)制成為NLP領(lǐng)域的新標(biāo)準(zhǔn)。2020年后，Transformer架構(gòu)不僅限于文本處理，◆2020年，OpenAI發(fā)布GPT3，展示了驚人的生成能力和跨任務(wù)適應(yīng)性，無需針對特定任務(wù)進(jìn)行微調(diào)即可完成多種NLP任務(wù)，但在2020年的◆2022年，11月ChatGPT發(fā)布，真正開始破圈。人工智能的熱潮開始洶涌，從此以后各種至于未來會怎么樣，人工智能會不會產(chǎn)生意識，面對超級人工智2.人工智能在網(wǎng)絡(luò)安全方面的應(yīng)用(1)前大模型時代MachineLearningandCybersecurity-HYPEA(2)大模型時代在大模型出來之前，基于機(jī)器學(xué)習(xí)的處理系統(tǒng)也經(jīng)常被描繪成一個大腦的樣子◆威脅檢測與分類，涉及惡意代碼的檢測和分析、釣魚郵件的識別、訪問異常行◆威脅響應(yīng)與決策支持，規(guī)則生成，自動化腳本與分派任務(wù)，告警降Yara，可以根據(jù)來自各種報告的相對高層次的自然語言的技術(shù)性描述生成各類檢測規(guī)則和腳◆漏洞信息整合，利用大模型強(qiáng)大的代碼理解和構(gòu)建能力挖掘和分析軟件中的漏洞，協(xié)助開發(fā)漏洞利用POC也是可能的?！魬?yīng)急響應(yīng)與事后分析，根據(jù)響應(yīng)過程中收集到的事實和技術(shù)信息自動生成事件報告，這些可◆教育和培訓(xùn)，生成安全最佳實踐、模擬攻擊場景和所有與文本和圖像分析和處理的工作都是大模型的強(qiáng)項和可以充分挖掘二、威脅情報運(yùn)營各環(huán)節(jié)及AI技術(shù)的應(yīng)用概覽首先簡單介紹一下奇安信威脅情報運(yùn)營的基本流程，這本質(zhì)統(tǒng)的機(jī)器學(xué)習(xí)的技術(shù)早已應(yīng)用，在大模型技術(shù)出現(xiàn)以后有些語義標(biāo)簽的自動分類和智能分析，從而完成精確的多維度的信息分類術(shù)以及大規(guī)模威脅知識圖譜的構(gòu)建，提取精準(zhǔn)的威脅實體并此之上，有各種應(yīng)用程序，做數(shù)據(jù)獲取比如ScrapeGraphA三、情報運(yùn)營各環(huán)節(jié)AI技術(shù)的測試應(yīng)用及體會1,網(wǎng)頁解析威脅情報的運(yùn)營開始于信息的收集，來自各種We利用大模型極其強(qiáng)大的文本分析能力，可以方便地實現(xiàn)網(wǎng)頁的處理，ScapeGraphAI工具工具充分利用了大模型理解抽象指令和頁面解析的能力，處理/cve-2024-3400/https://r.jina.ai/https://unit小結(jié)●利用大模型的能力進(jìn)行網(wǎng)頁爬取、解析及結(jié)構(gòu)化目前還處于概念驗證階段，實用系統(tǒng)需要較●用于處理復(fù)雜網(wǎng)頁較為合適，簡單網(wǎng)頁殺雞用牛刀?！瘾@取頁面內(nèi)容最好用jina這樣的核心信息提取服務(wù)，后續(xù)大模型處理時既可以減少非相關(guān)信●輸出后續(xù)用于大模型的精減格式化數(shù)據(jù)非常有用，數(shù)據(jù)通過API以結(jié)構(gòu)化的方式交換加速成2.文本翻譯/en/eset-research/moon-backdoors-lunar-landing-GPT4翻譯得比較通順，但對我們關(guān)注的概念處理上還談不上完全正確。小結(jié)●基于大模型技術(shù)的翻譯水平碾壓傳統(tǒng)的翻譯技術(shù)，大模型對于多語言的掌握已經(jīng)遠(yuǎn)超一般的●就翻譯中文的需求而言，中文的大模型翻譯效果上優(yōu)于哪怕是最好的國外大模型，在這點(diǎn)上3.ORC識別檔的處理已經(jīng)比較完善，識別完成以后保持與圖像完全一致的觀感(右邊是源文檔頁圖片可以看到它準(zhǔn)確地識別出了核心內(nèi)容，還自動分割了區(qū)這是某年參加的一個安全會議上拍的演講題目，拍得不清楚不是因為離得小結(jié)●對于一般印刷文本的識別上，基于神經(jīng)網(wǎng)絡(luò)的AI技術(shù)已經(jīng)能夠非常準(zhǔn)確地完成任務(wù)?！裼捎诖竽Ｐ途邆涞睦斫饽芰?，它不僅僅簡單識別其中包含的文本，還能對場景做出解其中的意義，對文本的呈現(xiàn)會選擇合適的方式，甚至利用模型內(nèi)部的知●涉及中文的處理最好還是用國內(nèi)的大模型，比如通義千問。大模型的智能可以是你的福音，但也可能成為你的毒藥，嚴(yán)肅4,情報自動分類傳統(tǒng)神經(jīng)網(wǎng)絡(luò)方法在大模型技術(shù)前，奇安信人工智能研究院就已經(jīng)使用心用到了Bert模型。之前的這個技術(shù)流程可以實現(xiàn)分類的粗分類，包括的屬性有：是否安全/2024/5/20/24161253/scarlett-johansson-openai-altman-/mac-security-blog/intego-discovers-new-cuckoo-mac-Llama3有更準(zhǔn)確的內(nèi)在知識。Llama3模型的屬性判定小結(jié)●各個模型對情報分類及其他任務(wù)上表現(xiàn)還是有區(qū)別的，需要仔細(xì)評估擅長點(diǎn)，根據(jù)不同的任●以上這些例子其實只是充分體現(xiàn)了大模型的在文本和圖像處理上通用能力，跟具體的安全業(yè)5.樣本分析描分析引擎處理的，但對于某些新文件對象可能需要人工的介入，這本，一個中等規(guī)模的可執(zhí)行文件處理時間僅為30-40秒，可以判斷是否惡意并給出相應(yīng)的參考WannaCry勒索蠕蟲樣本變種反編譯C代碼247Ked01ebfbc9eb5bbea545af4d01bf5f1071661840480439c6e5babe8e080e41aa_diskpart.c反編譯C代碼357K719b44d93ab39b4fe6113825349addfe5bd411b4d25081916561f9c403599e50_med下面是幾個模型對于WannaCry勒索蠕Kimi_1通義千問_1QAX-GPT安全大模型_1奇安信的安全大模型也分析得到了類似的結(jié)果，各個模型都通過發(fā)Kimi_2通義千問_2于第一個WannaCry變種樣本的判定很可能更多依賴已經(jīng)學(xué)習(xí)到來看一下奇安信安全大模型的分析結(jié)果，做出了準(zhǔn)確的惡意性判定，QAX-GPT安全大模型_2小結(jié)●從分析能力上看，即便是沒有專門為惡意代碼分析做過優(yōu)化的通用模型也表現(xiàn)出了一定的惡意代碼描述能力，但還遠(yuǎn)遠(yuǎn)不夠，經(jīng)過安全分析能力調(diào)●上下文窗口的大小非常重要，直接影響一次性處理代碼塊的大小，影6.威脅實體抽取從非結(jié)構(gòu)化的文檔里抽取威脅元素實體及關(guān)系，這是威脅情報信息收集開發(fā)應(yīng)用需要相當(dāng)專業(yè)的人員，使用還是比較麻煩，現(xiàn)在2.攻擊者的名稱，包括可能的別名。3.遭受攻擊的目標(biāo)。5.攻擊發(fā)生的起始和結(jié)束時間。9.攻擊者所使用的硬件。10.攻擊者所使用的攻擊手法，添加手法對應(yīng)的ATT&CK技術(shù)點(diǎn)ID/en/eset-research/moon-backdoors-lunar-landing-輸出的信息需要保持字段和結(jié)構(gòu)的一致，這可以通過給出樣例的方式小結(jié)●輸出樣式如果沒有明確的示例會非常隨機(jī)。●數(shù)據(jù)提取不能保證完整，因為有Token窗口限制，并且不一定每次保持一致?！耠m然有明確要求，但還是可能出現(xiàn)幻覺，后續(xù)如要嚴(yán)肅使用需要加入校驗環(huán)節(jié)?！衲Ｐ推脚_具備處理網(wǎng)頁鏈接的能力會非常方便●對于鏈接的爬取不是非常穩(wěn)定，可能由于網(wǎng)絡(luò)原因爬取失敗。7,大規(guī)模威脅知識圖譜的構(gòu)建和應(yīng)用基于已知惡意節(jié)點(diǎn)，在我們的數(shù)據(jù)視野范圍內(nèi)拓基于圖譜的推薦已經(jīng)形成穩(wěn)定的情報運(yùn)營流程，8.智能Agent10.報告生成最簡單的方案，整合一個數(shù)據(jù)接口出來，包含了一系列結(jié)構(gòu)化是否為動態(tài)域名（data.domain_attribute.is_dy（data.subdomain.examples當(dāng)前的資料鏈接（data.report.exa{"status":10000,"createdate":"2022-06-0715:10:40","updatedate":"2023-08-1919:03:10","expiratedate":"2023-06-0715:10:40","last_seen":"2024-03-2119:07:20","is_dynamic":false,GPT-4Llama370B結(jié)果看起來差不多？其實，從一些細(xì)節(jié)可以顯示模型在安全分析方APT組織名，這是模型內(nèi)置知識與推理能力的綜合秘塔，也有一些開源項目也實現(xiàn)了類似的功能，甚至可以本地部所導(dǎo)致的實際風(fēng)險，對用戶采取應(yīng)對措施的優(yōu)先級11.RAG威脅信息檢索增強(qiáng)問答服務(wù)的系統(tǒng)，通過外掛知識的方式解決生成人讀的答復(fù)，這也是加強(qiáng)安全設(shè)備使用檢四、實踐總結(jié)高；如果只是處理公開非敏感數(shù)據(jù)，建議直接使用各大模型3.長上下文窗口能力很關(guān)鍵，對于文本內(nèi)容的總結(jié)、惡意代碼的分析、漏洞的挖掘、4.大模型自身的能力強(qiáng)弱會極大影響提示詞工程和產(chǎn)品化的工作量，背后明人干活你只要給出目標(biāo)，不需要指導(dǎo)怎么做，但對能力不強(qiáng)各個大模型在不同的任務(wù)中各有擅長的表現(xiàn)，目前還沒發(fā)現(xiàn)全能的模型同◆Kimi的中文總結(jié)與指令跟隨能力強(qiáng)，