2024大模型安全研究報(bào)告

3.34.24.2大模型賦能安 1.1安全目1.21.2爆發(fā)期：語(yǔ)言大模型（2022年-2023年1.31.4訓(xùn)練數(shù)據(jù)安全風(fēng) 算法模型安全風(fēng) 系統(tǒng)平臺(tái)安全風(fēng) 業(yè)務(wù)應(yīng)用安全風(fēng)

3.4模型偏見(jiàn)緩 系統(tǒng)安全加固保 大模型插件安全保 FOUNDATIONMODELFOUNDATIONMODELSAFETYRESEARCHREPORT5.2

2.12.22.32.42.5

FOUNDATIONFOUNDATIONMODELSAFETYRESEARCHREPORT其 自動(dòng)化數(shù)據(jù)分類(lèi)分 自動(dòng)化APP（SDK）違規(guī)處理個(gè)人信息檢 智能文本內(nèi)容安全檢

ImageNet中以壓倒性?xún)?yōu)勢(shì)獲得第一名，拉開(kāi)了全球深度神經(jīng)網(wǎng)絡(luò)研究浪潮。2020年，OpenAI推出了GPT- 1.2爆發(fā)期：語(yǔ)言大模型（2022年-2023年 2022年末，OpenAI發(fā)布的ChatGPT引爆了全球大模型技術(shù)競(jìng)賽。此后，谷歌的PaLM、MetaLLaMA、AnthropicClaudeFalconNOOR、阿里云的通義千問(wèn)、百度的文心一言等語(yǔ) 2024OpenAISoraGPT-4o了全球多模態(tài)大模型研發(fā)和應(yīng)用熱潮。谷歌的GeminiUltra、阿里云的Qwen-VLMax、百度的Ernie-ViLG3.0

MindSpore FOUNDATIONMODELSAFETYFOUNDATIONMODELSAFETYRESEARCHREPORTFOUNDATIONFOUNDATIONMODELSAFETYRESEARCHREPORT

開(kāi)發(fā)工具鏈安全風(fēng)險(xiǎn)：大模型系統(tǒng)開(kāi)發(fā)過(guò)程中使用的工具鏈（如Langchain、Llama-Index、pandas-

FOUNDATIONFOUNDATIONMODELSAFETYRESEARCHREPORT FOUNDATIONMODELFOUNDATIONMODELSAFETYRESEARCHREPORT FOUNDATIONMODELSAFETYRESEARCHREPORTFOUNDATIONMODELSAFETYRESEARCHREPORT ISO/IEC22989:2022GB/T41867-2022《信息技

大模型展現(xiàn)其正確實(shí)現(xiàn)這些要求的性質(zhì)。 FOUNDATIONMODELFOUNDATIONMODELSAFETYRESEARCHREPORT 算法模型安全措施：算法模型安全措施指針對(duì)大模型算法模型部署的安全防御能力。算法模型安全措施主要

FOUNDATIONMODELFOUNDATIONMODELSAFETYRESEARCHREPORT KDEKLK-S

FOUNDATIONMODELFOUNDATIONMODELSAFETYRESEARCHREPORT 評(píng)測(cè)數(shù)據(jù)集主要包括AdvGLUE、ANLI、PromptBench等。魯棒性評(píng)測(cè)指標(biāo)主要包括模型預(yù)測(cè)的準(zhǔn)確性、性能TruthfulQA、HalluQA、UHGEval

模型偏見(jiàn)性評(píng)測(cè)。該測(cè)評(píng)旨在全面客觀定量評(píng)價(jià)大模型在訓(xùn)練階段和推理階段的偏見(jiàn)歧視程度。模型偏見(jiàn)性評(píng)測(cè)流程可分為偏見(jiàn)風(fēng)險(xiǎn)分析、評(píng)測(cè)任務(wù)選擇、評(píng)測(cè)指標(biāo)選擇和數(shù)據(jù)集構(gòu)建。主流的偏見(jiàn)性評(píng)測(cè)數(shù)據(jù)集包括WINOGENDEROLD 一是檢索增強(qiáng)生成（RetrievalAugmentedGeneration,FOUNDATIONMODELFOUNDATIONMODELSAFETYRESEARCHREPORT三是思維鏈技術(shù)（Chain-of-基于人工反饋的強(qiáng)化學(xué)習(xí)（ReinforcementLearningfromHumanFeedback,RLHF）。RLHF基于人工智能反饋的強(qiáng)化學(xué)習(xí)（ReinforcementLearningfromArtificialIntelligenceFeedback，RLAIF）。Anthropic、OpenAIGoogle

鍵部分。例如，OpenAIGPT-4GPT-2FOUNDATIONMODELFOUNDATIONMODELSAFETYRESEARCHREPORT 建立良好的安全開(kāi)發(fā)機(jī)制。首先，在大模型系統(tǒng)開(kāi)發(fā)過(guò)程中建立安全開(kāi)發(fā)標(biāo)準(zhǔn)，制定詳細(xì)的安全編碼規(guī)范、架將安全管控活動(dòng)嵌入到大模型系統(tǒng)開(kāi)發(fā)流程中,包括需求分析、設(shè)計(jì)、編碼、測(cè)試、部署和運(yùn)維階段，實(shí)現(xiàn)安全與開(kāi)發(fā)的深度融合；再次，加強(qiáng)安全開(kāi)發(fā)培訓(xùn)，定期舉辦安全培訓(xùn)課程，提升安全設(shè)計(jì)、安全編碼、安全開(kāi)發(fā)的意識(shí)、素養(yǎng)；同時(shí)，持續(xù)跟進(jìn)安全開(kāi)發(fā)技術(shù)，加強(qiáng)大模型系統(tǒng)安全開(kāi)發(fā)實(shí)踐；最后，定期進(jìn)行內(nèi)部或第三方安全審計(jì)，評(píng)估安全開(kāi)發(fā)機(jī)制的有效性，識(shí)別改進(jìn)點(diǎn)。

加強(qiáng)對(duì)大模型插件輸入內(nèi)容的檢測(cè)。第一，插件開(kāi)發(fā)人員應(yīng)根據(jù)OWASPASVS的建議，進(jìn)行有效的輸入驗(yàn)證FOUNDATIONMODELFOUNDATIONMODELSAFETYRESEARCHREPORT 4

AIGC

FOUNDATIONFOUNDATIONMODELSAFETYRESEARCHREPORT FOUNDATIONMODELFOUNDATIONMODELSAFETYRESEARCHREPORT1 FOUNDATIONMODELFOUNDATIONMODELSAFETYRESEARCHREPORT5結(jié)合行業(yè)實(shí)踐情況，本報(bào)告重點(diǎn)闡述大模型在網(wǎng)絡(luò)安全、數(shù)據(jù)安全、內(nèi)容安全三個(gè)領(lǐng)域的探索應(yīng)用情況。網(wǎng)絡(luò)領(lǐng)域，大模型可應(yīng)用于數(shù)據(jù)分類(lèi)分級(jí)、APP（SDK）違規(guī)處理個(gè)人信息檢測(cè)等場(chǎng)景。內(nèi)容安全領(lǐng)域，大模型可應(yīng)用于文本內(nèi)容安全檢測(cè)、圖像視頻內(nèi)容安全檢測(cè)和音頻內(nèi)容安全檢測(cè)等場(chǎng)景。2

IPURL、惡意文件哈希值等各類(lèi)IPFOUNDATIONMODELSAFETYFOUNDATIONMODELSAFETYRESEARCHREPORTC&C(CommandandControl)DNSIPC&C服務(wù)器、惡意域名和僵尸網(wǎng)絡(luò)節(jié)點(diǎn)等惡意基礎(chǔ)設(shè)施。

APTFOUNDATIONMODELFOUNDATIONMODELSAFETYRESEARCHREPORTL3

TCP FOUNDATIONMODELSAFETYRESEARCHREPORTFOUNDATIONMODELSAFETYRESEARCHREPORT

大模型憑借文本理解、文本生成等能力，可在精準(zhǔn)理解與解答、上下文感知與個(gè)性化推薦等方面發(fā)揮重要作etrieal-AugmentedGeneation,RG）、知識(shí)圖譜等技術(shù)，大模型能夠從外部知識(shí)庫(kù)中檢索關(guān)聯(lián)信息，API3

3.2自動(dòng)化APP（SDK）違規(guī)處理個(gè)人信息檢 APP（SDK）違規(guī)處理個(gè)人信息檢測(cè)技術(shù)旨在識(shí)別APP、軟件開(kāi)發(fā)工具包（SoftwareDevelopmentKit,APP（SDK）違APP、SDKAPP、SDKAPPAPP（SDK）L3APPFOUNDATIONFOUNDATIONMODELSAFETYRESEARCHREPORT FOUNDATIONMODELF