大模型安全實踐（2024）白皮書-清華大學螞蟻中關村

螞蟻集ANTGROUP螞蟻集ANTGROUP 螞蟻集ANTGROUP螞蟻集ANTGROUP 0505螞蟻集ANTGROUP螞蟻集ANTGROUP一、大模型發(fā)展趨勢與挑戰(zhàn)0606會高質(zhì)量發(fā)展的重要推動力，它將繼續(xù)發(fā)揮更為廣泛和深遠的影響，式，正受到廣泛關注。該模式以柔韌、流動、靈活及自適應為特點，07071.2大模型發(fā)展挑戰(zhàn)攻擊也在增多。大模型應用降低了查找漏洞和發(fā)動系統(tǒng)攻擊的難度，080809092.1總體框架 踐，將總體框架分為五個部分。首先，提出了“以人為本，AI向 1010信息篩選、決策判斷、任務執(zhí)行、內(nèi)容生成、藝術創(chuàng)作、方案優(yōu)化、人工智能倫理準則旨在確保人工智能技術的應用符合人類的道1111時間政策《歐盟人工智能倫理準準，強調(diào)人工智能的發(fā)展和應用應以增進人類1212人工智能應是以人為本的技術，強調(diào)了人工智能技術的發(fā)展和應用應該以提高人類福祉為最《新一代人工智能治理原則——發(fā)展負責任的協(xié)調(diào)發(fā)展與治理的關系，確保人工智能安全可《中國新一代人工智能提出人工智能的發(fā)展必須以人為本，關注其對人類社會的影響，并確保其發(fā)展的可持續(xù)性和《全球人工智能治理倡國《關于人工智能和全球強調(diào)中法兩國充分致力于促進安全、可靠和可這是美國迄今為止最全面的人工智能監(jiān)管原則，提出應確保數(shù)據(jù)隱私和網(wǎng)絡安全、防止歧《以人為中心的人工智提出了以尊嚴、多元包容和可持續(xù)作為人工智能社會的基本理念，確立了以人為中心等七項《實施人工智能原則的推進人工智能治理七項原則從理念向落地邁《人工智能倫理問題建為應對人工智能大模型所帶來的挑戰(zhàn)，這是首個關于以符合倫理要求的方式運用人工智能的《以人為本的人工智能提出了建立人工智能國際治理機構的指導原所人工智能在某些任務上已經(jīng)達到或超越了人類關注人工智能對人類社會、經(jīng)濟和文化等方面13131414抗攻擊測試和對抗學習等方法來發(fā)現(xiàn)漏洞和提升模型魯棒性和安全151516162.4大模型落地的三種主要模式:端、邊、云企業(yè)和組織在考慮將大模型整合到其業(yè)務流程或服務中時,對于如何部署和使用這些先進的人工智能系統(tǒng)有多種選擇。選擇最佳的部署模式,不僅關系到模型的性能和效率,而且影響整體的運營成本和用戶體驗。當前大模型的三種主要落地模式:端側部署、邊緣計算和云平臺服務。端側部署模式涉及將大模型直接整合到用戶的終端設備中,如智能手機、個人電腦或專業(yè)工作站。這種模式的主要優(yōu)點是能夠實現(xiàn)高度個性化的用戶體驗,并且由于計算過程在本地進行,因此能夠最小化數(shù)據(jù)傳輸延遲和提升響應速度。端側部署模式適合那些對隱私保護和實時性有極高要求的場景,如離線語音識別、即時翻譯和全知個人助理等。邊緣計算模式將大模型放置在接近用戶但不在端側設備上的邊緣服務器。邊緣計算集中了云計算的強大處理能力和端側部署的低延遲優(yōu)勢,適合處理計算和數(shù)據(jù)要求較高、而又需要快速響應的應用程序。此外,由于數(shù)據(jù)不需要傳輸?shù)竭h端云服務器,邊緣計算還能夠有效降低帶寬需求和改進數(shù)據(jù)安全性。為大模型提供了充足的存儲和計算資源,讓它們能夠運行最復雜的算法并處理大量數(shù)據(jù)。云平臺的模型服務(Maas)為模型的升級和維護提供了靈活性,同時確保了從任何地方都能訪問模型的便利性。然而,這種模式可能面臨網(wǎng)絡延遲和數(shù)據(jù)隱私的問題,這需要通過合理的系統(tǒng)設計和策略來緩解。操作效率進行細致考量。每種部署模式的安全性也是決策過程中的一1717安全解決方案需要在流量安全管理和數(shù)據(jù)隱私保護方面提供堅固的181819193.1大模型安全性技術研究和進展現(xiàn)的核心在于其大規(guī)模的模型參數(shù)以及對來源于海量數(shù)據(jù)的知識的戶信息和對話的所有內(nèi)容，以及互動網(wǎng)頁內(nèi)的各種隱私信息（包括），212021202222法十分多樣。例如圖3-3，用戶可直接要求模型忽視自己的安2323（1）硬件安全。用于訓練和推理的復雜硬件系統(tǒng)，提供了巨大并構建可靠的替代模型。針對內(nèi)存和存儲等硬件基礎設施，Row2424（2）軟件安全。在生成式人工智能時代下，開發(fā)生成式人工智2525（3）框架安全。大模型系統(tǒng)通常使用深度學習框架來實現(xiàn)，近學習框架存在的安全漏洞無疑給人工智能系統(tǒng)帶來了巨大的安全隱26262727會捕捉到訓練數(shù)據(jù)中的偏見，導致生成的文本也帶有類似的偏見。虛假圖像和視頻，這些圖像和視頻極其逼真，難息，忽略真實的證據(jù)，這給網(wǎng)絡安全和社會安定種隱蔽的意識形態(tài)滲透可能會潛移默化地影響人們的價值觀和世界29282928發(fā)的新型版權侵權風險已成為整個行業(yè)發(fā)展所面臨的緊迫問題。（2）教育行業(yè)誠信危機。大模型及其應用也引發(fā)了教育行業(yè)關3030（3）偏見誘發(fā)公平性問題。大型模型在實際應用中可能會對不31313232安全性，有效遏制可能產(chǎn)生的越獄威脅。當前的防御方法可以分為，333334343535依賴庫威脅的防范主要通過挖掘深度學習常用底層依賴庫中的功能要體現(xiàn)在對操作系統(tǒng)管理和調(diào)度計算機的硬件資源時所產(chǎn)生的物理37363736化學習的大模型對齊技術已逐漸成為當下大模型安全研究的主流技393839384040414142423.2大模型可靠性技術研究和進展4343題對于提升大模型系統(tǒng)的信任度、安全性和廣泛454445444646的智能體是一個面向未來的研究課題目前大部分的研究還是讓模型3.3大模型可控性技術研究和進展成多個單步動作進行執(zhí)行。在執(zhí)行的過程中會產(chǎn)生大量的過程信4747模不斷增長、基準數(shù)據(jù)集的缺乏、商業(yè)化因素導致模型閉源性問題，49484948攻擊類型主要是指原圖在直接傳播過程中受到的簡單干擾，包括5050等操作，提升泛化性，但是其多樣性和創(chuàng)造性仍然非常受限。Self-51513.4大模型安全評測技術研究和進展進行全面的評測。在大模型的安全評測領域，重點關注的技術挑戰(zhàn)5252通過文字同音詞替換或者把輸入圖像進行風格遷移的操作來構造出5353多輪交互引導的形式來誘導模型繞過防御策略輸出帶有風險的內(nèi)容。4.1金融領域大模型安全實踐它致力于為用戶提供透明可信賴的金融服務和高度智能化的專業(yè)建55545554支小寶通過復合方法確保模型安全：1.預訓練語料清掃，清除575657564.2醫(yī)療領域大模型安全實踐心功能，患者無需在紛繁的產(chǎn)品界面尋找特定功能，只需與醫(yī)療AI患者的病情和就醫(yī)訴求，并通過自然語言及語音的方式與患者互動，5858片敏感信息的識別和馬賽克/遮蓋；醫(yī)院紅章、二維碼等圖片敏感信5959控和控制進出API的數(shù)據(jù)流。達到防止惡意流量和攻擊的效果。在60604.3政務領域大模型安全實踐6161626263634.4人力資源領域大模型安全實踐65646564如薪資水平異常高/低，通過可視化工具或數(shù)據(jù)統(tǒng)計與分析，可以識侵防御系統(tǒng)（IPS使用雙因素認證等技術，或使用虛擬專用網(wǎng)絡6766676668684.5智能助理領域大模型安全實踐696970705.1未來展望717172727373