人工智能網(wǎng)絡(luò)安全實(shí)踐準(zhǔn)則實(shí)施指南（中文）

人工智能網(wǎng)絡(luò)安全實(shí)踐準(zhǔn)則實(shí)施指南科學(xué)、創(chuàng)新和技術(shù)部（DSIT）委托Kainos的高級(jí)安全架構(gòu)師JohnSotiropoulos創(chuàng)建此實(shí)施指南。每次迭代都由DSI人工智能（“AI”）的不斷部署英國政府的自愿行為準(zhǔn)則為各種類型的人工智能系統(tǒng)提供了基線網(wǎng)絡(luò)安全規(guī)定規(guī)范（“TS”）104223）中全球本文件將通過提供非詳盡的場(chǎng)景以及滿足這些規(guī)定的實(shí)際解決方解決方案來滿足聯(lián)合王國政府《業(yè)務(wù)守則》中的規(guī)定本文件也將提交給ETSI，并用于制定技術(shù)規(guī)范本文件作為指南，幫助人工智能系統(tǒng)供應(yīng)鏈中的利益相關(guān)者，特別是開發(fā)人員和系統(tǒng)運(yùn)營(yíng)商，滿足英國政府的ETSITS104223）中為人工智能系統(tǒng)概述的網(wǎng)絡(luò)開發(fā)商、中小企業(yè)、慈善機(jī)構(gòu)、地方當(dāng)局和其他非營(yíng)利組織。該文件也將有助于計(jì)劃購買人工智能服務(wù)的利益相關(guān)者。此旨在支持人工智能網(wǎng)絡(luò)安全標(biāo)準(zhǔn)的未來發(fā)展，包括可以為未來的保證和認(rèn)證計(jì)劃提供信息的規(guī)范。在相關(guān)的地方，本文件以下參考文件可進(jìn)一步支持本文件所涵蓋主題領(lǐng)域的應(yīng).ETSITR104222-保護(hù)人工智能;緩解策略報(bào)告：可在.ETSIGRSAI002-保護(hù)人工智能（SAI）;數(shù)據(jù)供應(yīng)鏈安全。可從以下網(wǎng)址獲得：.............ETSITRSAI-004-保護(hù)人工智能（SAI）;AI模型的可追歐盟人工智能法案-法規(guī)（EU）2024/1689：可在：https://eur-lex.europa.eu/el語：可/standard/7429ICO-人工智能：可在.uk/for-organisations/advice-and-services/audits/data-protection-auNCSC機(jī)器學(xué)習(xí)原則：可在.uk/collection/machine-learning-原則NCSC安全人工智能系統(tǒng)開發(fā)指南：可在.uk/collection/guidelines-secure-ai-sysCISA聯(lián)合網(wǎng)絡(luò)安全信息-部署人工智能系統(tǒng)Secretary：可在/2024/Ap新加坡網(wǎng)絡(luò)安全局-保護(hù)人工智能系統(tǒng)的指導(dǎo)方針：可在.sg/docs/新加坡網(wǎng)絡(luò)安全局-關(guān)于保護(hù)人工智能系統(tǒng)的配套指南：請(qǐng)?jiān)L問.sg/docs/OWASP機(jī)器學(xué)習(xí)安全十大：可在上獲得/www-project-machine-learning-sec在制定自愿行為準(zhǔn)則時(shí)，我們還咨詢了ICO，以確保與ICO有關(guān)遵守?cái)?shù)據(jù)保護(hù)法的指導(dǎo)一致各種ICO指導(dǎo)也可以在就本文件而言，英國政府的《業(yè)務(wù)守則》中的條款本文檔中未使用任ETSI：歐洲電信標(biāo)準(zhǔn)協(xié)會(huì)GDPR：一般ISO/IEC：國際標(biāo)準(zhǔn)化組織/國際電工委員會(huì)LLM：NIST：國家標(biāo)準(zhǔn)與技術(shù)研究所RBAC：基于角色的訪問控制對(duì)抗性人工智能：描述了利用人工智能系統(tǒng)工作方式中的漏洞的技術(shù)和方法，例如，通過引入惡意輸入來利用其機(jī)器學(xué)習(xí)方面，并欺騙系統(tǒng)產(chǎn)生不正確或意外的結(jié)果。這些技術(shù)通常用于對(duì)抗性攻擊，但不是一種獨(dú)特的AI系統(tǒng)。對(duì)抗性攻擊（AdversarialAttack）：試圖通過引入特制的輸入來操縱AI模型，從而導(dǎo)致模型產(chǎn)生錯(cuò)誤或意外結(jié)果。自主系統(tǒng)：能夠自主發(fā)起和執(zhí)行動(dòng)作的人工智能系統(tǒng)，通常與其他系統(tǒng)或環(huán)境交互以實(shí)現(xiàn)其目標(biāo)。應(yīng)用程序編程接口（API）：一組工具和協(xié)議，允許不同的軟件系統(tǒng)進(jìn)行通信和交互。人工智能（AI）：旨在執(zhí)行通常需要人類智能的任務(wù)的系統(tǒng)，例如決策，語言理解和模式識(shí)別。這些系統(tǒng)可以以不同的自主程度運(yùn)行，并適應(yīng)其環(huán)境或數(shù)據(jù)以提高性能。物料清單（BOM）：系統(tǒng)中使用的所有組件的綜合清單，例如軟件依賴項(xiàng)、配置和硬件。數(shù)據(jù)托管人：參見業(yè)務(wù)守則中的定義數(shù)據(jù)中毒：一種對(duì)抗性攻擊，將惡意數(shù)據(jù)引入訓(xùn)練數(shù)據(jù)集中，以損害AI系統(tǒng)的性能或行為。數(shù)據(jù)保護(hù)影響評(píng)估（DPIA）：英國GDPR中使用的一種工具，用于評(píng)估和減輕與人工智能系統(tǒng)中處理個(gè)人數(shù)據(jù)相關(guān)的隱私風(fēng)險(xiǎn)。嵌入：數(shù)據(jù)的矢量表示（例如，文本、圖像），其在數(shù)學(xué)空間中捕捉它們的語義含義，通常用于提高搜索、聚類和相似性比較的效率。逃避攻擊：一種對(duì)抗性攻擊，對(duì)手操縱輸入數(shù)據(jù)，導(dǎo)致AI系統(tǒng)產(chǎn)生不正確或意外的輸出，而不改變底層模型。過度代理：人工智能系統(tǒng)有能力做出超出其預(yù)期范圍的決策或采取行動(dòng)，可能導(dǎo)致意外后果或?yàn)E用的情況可解釋性：人工智能系統(tǒng)為其決策過程提供人類可理解的見解的能力。特征選擇：選擇相關(guān)特征（變量）子集用于模型訓(xùn)練的過程，以提高性能，降低復(fù)雜性并防止過擬合。生成式AI：基于訓(xùn)練數(shù)據(jù)生成新內(nèi)容（如文本、圖像或音頻）的AI模型例子包括圖像合成模型和大型語言模型，如聊天機(jī)器人。治理框架：制定政策和程序，以監(jiān)督人工智能系統(tǒng)的道德，安全和合規(guī)使用。護(hù)欄：預(yù)先定義的約束或規(guī)則，用于控制和限制人工智能系統(tǒng)的輸出和行為，確保安全性，可靠性，并符合道德或操作準(zhǔn)則?；糜X（AI）：AI生成的內(nèi)容看起來是真實(shí)的，但不正確或誤導(dǎo)。這在LLM中很普遍，這可能會(huì)產(chǎn)生聽起來合理但不準(zhǔn)確的反應(yīng)。推理攻擊：一種隱私攻擊，攻擊者通過分析AI模型的輸出來檢索有關(guān)訓(xùn)練數(shù)據(jù)或用戶的敏感信息大型語言模型（LLM一種基于大量文本數(shù)據(jù)訓(xùn)練的人工智能模型，用于理解和生成類似人類的語言。例子包括聊天機(jī)器人和內(nèi)容生成工具。機(jī)器學(xué)習(xí)（ML）：AI的一個(gè)子集，系統(tǒng)通過從數(shù)據(jù)中學(xué)習(xí)而不是遵循明確的指令來提高其在任務(wù)上的性能。機(jī)器學(xué)習(xí)物料清單（MLBOM）：AI系統(tǒng)的專用BOM，對(duì)機(jī)器學(xué)習(xí)解決方案的開發(fā)和部署中使用的模型、數(shù)據(jù)集、參數(shù)和訓(xùn)練配置進(jìn)行編目MLOps（機(jī)器學(xué)習(xí)操作一組實(shí)踐和工具，用于簡(jiǎn)化和簡(jiǎn)化生產(chǎn)環(huán)境中機(jī)器學(xué)習(xí)模型的部署、監(jiān)控和維護(hù)模型提?。汗粽咄ㄟ^查詢和分析其輸出來重新創(chuàng)建或近似專有AI模型，可能會(huì)暴露商業(yè)秘密或知識(shí)產(chǎn)權(quán)。ModelInversion：一種隱私攻擊，對(duì)手通過分析AI模型的輸出來推斷有關(guān)訓(xùn)練數(shù)據(jù)的敏感信息。多模態(tài)模型：處理和集成多種類型數(shù)據(jù)的AI模型（例如，文本、圖像、音頻）來執(zhí)行任務(wù)。自然語言處理（NLP）：一種機(jī)器學(xué)習(xí)，以有意義和有用的方式理解，解釋和生成人類語言。預(yù)測(cè)（或判別）AI：一種機(jī)器學(xué)習(xí)，旨在對(duì)輸入進(jìn)行分類或根據(jù)現(xiàn)有數(shù)據(jù)進(jìn)行這些模型專注于識(shí)別模式和區(qū)分，例如欺詐檢測(cè)或客戶細(xì)分。提示：提供給AI模型的輸入，通常以文本的形式，指導(dǎo)或引導(dǎo)其響應(yīng)。提示可以包括問題、說明或所需輸出的上下文。提示注入：攻擊者通過使用產(chǎn)生意外或有害輸出的提示來利用AI模型中的漏洞。檢索增強(qiáng)生成（RAG）：一種結(jié)合外部知識(shí)檢索（例如，文檔或數(shù)據(jù)庫），并提示生成語言模型以提供準(zhǔn)確和最新的響應(yīng)。強(qiáng)化學(xué)習(xí)（RL）：一種機(jī)器學(xué)習(xí)方法，其中代理通過與其環(huán)境交互并以獎(jiǎng)勵(lì)或懲罰的形式接收反饋來風(fēng)險(xiǎn)評(píng)估：識(shí)別、分析和緩解對(duì)人工智能系統(tǒng)安全或功能的潛在威脅的過程。清理：清理和驗(yàn)證數(shù)據(jù)或輸入的過程，以刪除錯(cuò)誤，不一致和惡意內(nèi)容，確保數(shù)據(jù)的完整性和安全性。軟件材料清單（SBOM）：系統(tǒng)中所有軟件組件的詳細(xì)清單，包括開放源代碼庫、版本和許可證，以確保透明度和安全性。系統(tǒng)提示：一種預(yù)定義的輸入或一組指令，用于指導(dǎo)AI模型的行為，通常用于定義其音調(diào)，規(guī)則或操作上下文。威脅建模：在系統(tǒng)設(shè)計(jì)和開發(fā)階段識(shí)別和解決潛在安全威脅的過程。訓(xùn)練：通過將人工智能模型暴露于標(biāo)記數(shù)據(jù)并調(diào)整其參數(shù)以最大限度地減少錯(cuò)誤，來教導(dǎo)人工智能模型識(shí)別模式，做出決策或生成輸出的過程網(wǎng)頁內(nèi)容無障礙指南。作為國際公認(rèn)標(biāo)準(zhǔn)的一部分，使網(wǎng)絡(luò)內(nèi)容更容易為有障礙的人所它們由萬維網(wǎng)聯(lián)盟（W3C）根據(jù)其Web無障礙倡議（WAI）開發(fā)和維護(hù)。本文件的目的是幫助本規(guī)范（和擬議的TS104223人工智能供應(yīng)鏈利益相關(guān)者應(yīng)遵循本準(zhǔn)則中的建議，除非這些建議因人工智能系統(tǒng)使用的模型類型而不具體相關(guān)者是否決定開發(fā)自己的模型，使用或微調(diào)第三方模型（直接或通過API遠(yuǎn)程）。本文件規(guī)定了特定條款在下圖強(qiáng)調(diào)了這些原則已映射到AI生命周期的各個(gè)階段。重要的是，其中一些原則和規(guī)定也與其他了澄清。一個(gè)例子是原則9，它包含在“開發(fā)”之下，但它對(duì)于人工智能系統(tǒng)的“部署”也非常重要為解決以下無遺或具有限制性;可以通過使用其他解決方案或所提供示例的變《守則》根據(jù)上述13項(xiàng)原則詳細(xì)列出各項(xiàng)規(guī)定本文檔可用于（在實(shí)施時(shí)）通知測(cè)試場(chǎng)景的定義和基于第4節(jié)提供了基于利益相關(guān)者如何創(chuàng)建和使用人工智能系統(tǒng)的各種場(chǎng)景（如下所述）.聊天機(jī)器人應(yīng)用程序：一個(gè)組織通過外部提供商提供的API使用公開可用的LLM來開發(fā)供內(nèi)部和客戶使用的聊天機(jī)器人。這可能包括：1）大型企業(yè)通過API使用公開可用的LLM來創(chuàng)建用于內(nèi)部和客戶交互的聊天機(jī)器人，例如回答常見問題或務(wù)任務(wù)。2）一家小型零售企業(yè)開發(fā)和使用人工智能聊天機(jī)器人來處理在線購物查詢，幫助客戶進(jìn)行產(chǎn)品推薦和訂單跟醫(yī)院開發(fā)并使用聊天機(jī)器人提供一般健康建議和預(yù)約安排，確保符合數(shù)據(jù)隱私要求。4)地方議會(huì)開發(fā)并使用.ML欺詐檢測(cè)：一家中型軟件公司選擇了一個(gè)開放訪問的分類模型，他們使用額外的數(shù)據(jù)集進(jìn)一步訓(xùn)練該模型，以開發(fā)和托管欺詐檢測(cè)系統(tǒng)。該系統(tǒng)旨在僅根據(jù)交易數(shù)據(jù)識(shí)別欺詐性金融交易的模式。它明確避免將決策與推斷的個(gè)人特易背景無關(guān)的任何因素該模型的主要重點(diǎn)是識(shí)別欺詐模式，不對(duì)個(gè)人的社會(huì)行為進(jìn)行評(píng)估或分類，也不實(shí)況不包括對(duì)某些自然人或群體的不利或不利待遇，這是不合理的或與其社會(huì)行為或其嚴(yán)重第5（1c）條所規(guī)定的禁止做法（條例（EU）2024/1689）。.LLM提供商：一家科技公司開發(fā)了一種新的多模式LLM，能夠理解和生成文本，音頻和圖像，為開發(fā)人員提供商業(yè)API.開放獲取LLM。一個(gè)小組織正在為特定的用訪問發(fā)布并通過支持協(xié)議貨幣化。2）一家律師事務(wù)所使用開放獲取法學(xué)碩士將其與他們的機(jī)密案件結(jié)合起來進(jìn)而能夠快速識(shí)別相關(guān)的法律先例和法規(guī)。3）一個(gè)農(nóng)村發(fā)展組織，開發(fā)本文檔中的信息將幫助利益相關(guān)者保護(hù)最終用戶和受影響的實(shí)體免受可能導(dǎo)致機(jī)密性、完整性或可用性攻擊的漏.數(shù)據(jù)中毒、后門、模型篡改、規(guī)避和供應(yīng)鏈攻擊.隱私攻擊，如模型竊取、模型提取、模型反演和推理攻擊.個(gè)人和特殊類別數(shù)據(jù)、機(jī)密業(yè)務(wù)信息或系統(tǒng)配置詳細(xì)信息的.即時(shí)注入、過度代理和訓(xùn)練數(shù)據(jù)提取以及模型拒絕服務(wù)這些是最常見的威脅，但威脅將繼續(xù)演變，新的威脅將出現(xiàn)。有關(guān)完整的分類，請(qǐng)人工智能模型和系統(tǒng)也可能被濫用。盡管該領(lǐng)域超出了本文檔的范圍，但由于人工智能安全支撐著人工智能責(zé)任的人工智能，因此存在因此，本指南將有助于降低人工智能模型和系統(tǒng)被第三方濫用的風(fēng)險(xiǎn)。本文件中可能有助于減少人工智能系統(tǒng)的濫用，例如幫助產(chǎn)生錯(cuò).人力監(jiān)督機(jī)制.訪問控制和基于速率的安全.威脅建模.風(fēng)險(xiǎn)評(píng)估.記錄和監(jiān)測(cè)被禁案件。.監(jiān)控和記錄.速率限制雖然本指南的主要重點(diǎn)是人工智能安全，但負(fù)責(zé)任人工智能的某些方面，如侵犯版權(quán)，偏都包含在本指南的特定章節(jié)在人工智能的背景下，這些領(lǐng)域通常源于或加劇了不良的人工智能安全實(shí)踐;保與隱私和數(shù)據(jù)保護(hù)相關(guān)的立法只涵蓋了代碼的一小部分，因?yàn)檫@些規(guī)定涵蓋了人工智能生命周期的所有階段因此，個(gè)人數(shù)據(jù)組織還需要在適當(dāng)?shù)那闆r下咨詢官方監(jiān)管指南，以確保合規(guī)性，包括ICO（和/或其他相關(guān)數(shù)據(jù)監(jiān)管機(jī)構(gòu)）發(fā)布的數(shù)據(jù)保護(hù)指南。此就本指南而言，“定期”表示由系統(tǒng)的相關(guān)風(fēng)險(xiǎn)和操作要求確定的頻率這可以從高風(fēng)險(xiǎn)場(chǎng)景的連續(xù)、每日本文件未包含有關(guān)利益相關(guān)者如何驗(yàn)證每項(xiàng)條款符合性的內(nèi)容，因?yàn)槲覀冋J(rèn)識(shí)到標(biāo)準(zhǔn)機(jī)構(gòu)有一個(gè)獨(dú)特的流程來創(chuàng)建規(guī)范與標(biāo)準(zhǔn)和實(shí)施指南并列。我們還認(rèn)識(shí)到，保證和認(rèn)證部門在這.ETSIGRSAI002-保護(hù)人工智能（SAI）;數(shù)據(jù)供應(yīng)鏈安全。.ETSIGRSAI007-保護(hù)人工智能（SAI）;AI處理的可解釋性和透明度.ETSITR104222-保護(hù)人工智能（SAI）;緩解策略報(bào)告.ETSITR104032-保護(hù)人工智能（SAI）;AI模型的可追溯性.ETSITR104225-保護(hù)人工智能TC（SAI）;AI/ML系統(tǒng)的隱私.ETSITR104066-保護(hù)人工智能;人工智能的安全測(cè)試.ISO/IEC22989：2022信息技術(shù)-人工智能-人工智能概念和術(shù)語.ISO/IEC42001：2023，信息技術(shù)-人工智能-管理系統(tǒng).ISO/IEC25059：2023，軟件工程-系統(tǒng)和軟件質(zhì)量要求和評(píng)價(jià)（SIEMERE）-人工智能系統(tǒng)的質(zhì)量模型.ETSITS104050-保護(hù)人工智能（SAI）;AI威脅本體論和定義.ISO/IECDIS12792，人工智能系統(tǒng)的透明度分類.ISO/IECJTC1/SC42/WG4，AI系統(tǒng)生命周期過程.ISO/IECDIS27090，解決人工智能系統(tǒng)安全威脅的指南.CEN/CLC/JTCprENXXX（WI=JT021024），AI風(fēng)險(xiǎn)管理.CEN/CLC/JTCprENXXX（WI=JT021008），AI可信度框架原則1：提高對(duì)AI安全威脅和風(fēng)險(xiǎn)的規(guī)定相關(guān)威脅/風(fēng)險(xiǎn)示例措施/控制參考/資源1.1組織的網(wǎng)絡(luò)安全培訓(xùn)計(jì)劃應(yīng)包括人工智能安全內(nèi)容，并在必要時(shí)定期審查和更新，例如出現(xiàn)新的與人工智能相關(guān)的重大安全威脅。員工可能不知道獨(dú)特的AI漏洞，如數(shù)據(jù)中毒，對(duì)抗性攻擊或即時(shí)注入，使系統(tǒng)暴露于復(fù)雜的攻擊。這些攻擊類型仍在被理解，并在生成AI等領(lǐng)域不斷發(fā)展，因此培訓(xùn)必須隨著知識(shí)的發(fā)展而不斷更新。建立人工智能安全意識(shí)培訓(xùn)計(jì)劃，涵蓋基本人工智能概念、威脅、適用法規(guī)等。您應(yīng)該包括有關(guān)如何監(jiān)視威脅以及報(bào)告安全問題的升級(jí)路徑的指導(dǎo)。1.聊天機(jī)器人應(yīng)用程序：關(guān)于人工智能概念，個(gè)人數(shù)據(jù)及其監(jiān)管影響，機(jī)密商業(yè)信息或系統(tǒng)配置風(fēng)險(xiǎn)，幻覺，過度依賴以及道德使用和安全的培訓(xùn);培訓(xùn)應(yīng)至少涵蓋ICO和NCSC指南，以及OWASP十大LLM應(yīng)用程序。2.ML欺詐檢測(cè)：提供關(guān)于AI概念的培訓(xùn)，并使用ICO和NCSC指南以及OWASPAIExchange，以涵蓋ML威脅，如中毒，逃避，模型提取，模型反演，推理和供應(yīng)鏈攻擊。3.LLM平臺(tái)：提供有關(guān)AI概念和威脅的培訓(xùn)，包括中毒，即時(shí)注射，安全和數(shù)據(jù)保護(hù)以及ICO，NCSC，指南;涵蓋OWASPAIExchange，LLM應(yīng)用程序的OWASPTop10以及最近關(guān)于通用系統(tǒng)風(fēng)險(xiǎn)的報(bào)告。4.開放獲取LLM模型：關(guān)于ICO指南的自我培訓(xùn)，OWASPAIExchangeOWASP十大LLM應(yīng)用程序和最近關(guān)于通用系統(tǒng)風(fēng)險(xiǎn)的報(bào)告。.ISO/IEC22989人工智能概念和術(shù)語ICO數(shù)據(jù)保護(hù)審計(jì)框架ICO：生成式AI-開發(fā)人員和用戶需要問NCSC機(jī)器學(xué)習(xí)原則，第1部分，1.1提高對(duì)ML威脅和風(fēng)險(xiǎn)的認(rèn)識(shí)。OWASPTop10forLLM申請(qǐng)OWASPAIExchange1.1.1人工智能安全培訓(xùn)應(yīng)根據(jù)工作人員的特定角色和職責(zé)進(jìn)行量身定制。如果沒有量身定制的人工智能安全培訓(xùn)，員工可能缺乏解決特定角色風(fēng)險(xiǎn)的知識(shí)，導(dǎo)致安全措施的無效實(shí)施，增加對(duì)威脅的脆弱性，以及人工智能系統(tǒng)的潛在濫用或管理不善。特定角色的AI安全培訓(xùn)：提供針對(duì)每個(gè)員工類別職責(zé)的特定角色的AI安全培訓(xùn)1.Chatbot應(yīng)用程序：培訓(xùn)工程師安全編碼和AI特定漏洞（見1.2.2）;針對(duì)CISO。包括治理框架，事件響應(yīng)策略和監(jiān)管合規(guī)性，如ICO和NCSC指南以及OWASPLLM應(yīng)用程序網(wǎng)絡(luò)安全和治理清單中所示。對(duì)于風(fēng)險(xiǎn)官，涵蓋相關(guān)框架，如NISTRMF，AI威脅建模和緩解策略;對(duì)于IT運(yùn)營(yíng)，重點(diǎn)是在生產(chǎn)環(huán)境中實(shí)施和維護(hù)安全控制。2.ML欺詐檢測(cè)：與ChatbotApp示例類似的方法。3.LLM平臺(tái)：與ChatbotApp示例類似的方法。4.開放獲取LLM模型：與ChatbotApp示例類似的方法。.ICO：我們應(yīng)該如何評(píng)估AI的安全性和數(shù)據(jù)最小化？.CISA聯(lián)合網(wǎng)絡(luò)安全信息-部署人工智能系統(tǒng).NCSC安全AI系統(tǒng)開發(fā).NISTAIRMF.OWASPLLM應(yīng)用程序網(wǎng)絡(luò)安全和治理清單整合AI威脅建模和紅色團(tuán)隊(duì)的培訓(xùn)。為開發(fā)人員和其他技術(shù)人員提供針對(duì)AI的威脅建模技術(shù)和紅色團(tuán)隊(duì)技術(shù)培訓(xùn).威脅建模備忘單-OWASP.地圖集1.聊天機(jī)器人應(yīng)用程序：為開發(fā)人員和風(fēng)險(xiǎn)所有者提供培訓(xùn)，培訓(xùn)內(nèi)容涉及威脅建模，并將OWASPTop10中的威脅和緩解措施納入LLM應(yīng)用程序。2.ML欺詐檢測(cè)：遵循與ChatbotApp示例相同的方法，但使用MITREATLAS和OWASPAIExchange3.LLM平臺(tái)：提供有關(guān)AI概念和威脅的培訓(xùn)，包括中毒，即時(shí)注射和數(shù)據(jù)保護(hù)MITREATLAS和OWASPAIExchange;以及生成式讀取團(tuán)隊(duì)（GRT）方法，包括AIVillageDefcon2024報(bào)告4.開放獲取LLM模型：團(tuán)隊(duì)?wèi)?yīng)該使用前面例子中的材料。生成AI：紅色團(tuán)隊(duì)挑戰(zhàn)透明度報(bào)告-AIVillageDefcon2024OWASPAIExchangeOWASPTop10forLLM應(yīng)用程序。1.2作為組織更廣泛的員工培訓(xùn)計(jì)劃的一部分，它們應(yīng)要求所有員工保持對(duì)與人工智能相關(guān)的最新安全威脅和漏洞的認(rèn)識(shí)。如果可行，這種意識(shí)應(yīng)包括建議的緩解措施。人工智能系統(tǒng)面臨著不斷變化的威脅，沒有定期更新這些漏洞的員工可能會(huì)在不知不覺中將系統(tǒng)暴露在風(fēng)險(xiǎn)中，例如對(duì)抗性攻擊或個(gè)人數(shù)據(jù)泄露，這將違反數(shù)據(jù)保護(hù)法規(guī)。保持培訓(xùn)意識(shí)：定期更新培訓(xùn)材料，提供新的AI威脅示例即時(shí)注射、對(duì)抗性攻擊）和緩解技術(shù)。1.聊天機(jī)器人應(yīng)用程序：大型組織應(yīng)定期（至少每年一次）審查培訓(xùn)材料和注冊(cè)更新變更的設(shè)施。較小的組織可以依靠記錄新的重大發(fā)展，例如。一個(gè)新版本的OWASP十大LLM應(yīng)用程序，并將其包括在知識(shí)共享會(huì)議。2.ML欺詐檢測(cè)：跟蹤和培訓(xùn)員工了解新的對(duì)抗性攻擊模式和數(shù)據(jù)驗(yàn)證技術(shù)或ICO指南，因?yàn)樗鼈儊碜訬IST，OWASP和MITREATLAS分類法的更新LLM平臺(tái)：如ML欺詐檢測(cè)示例。此外，通過關(guān)于AI漏洞的新研究論文更新培訓(xùn)，并分享關(guān)于生成AI濫用和相關(guān)緩解措施的案例研究開放獲取LLM模型：更新培訓(xùn)日志，包括數(shù)據(jù)記憶和未經(jīng)授權(quán)的數(shù)據(jù)使用，使用ICO，OWASP和其他人的策劃更新，包括研究，以及利用研討會(huì)。.地圖集.OWASPTop10forLLM申請(qǐng).OWASPAIExchangeNIST對(duì)抗性1.2.1這些更新應(yīng)通過多種渠道傳達(dá)，例如安全公告、新聞稿或內(nèi)部知識(shí)共享平臺(tái)。這將確保在工作人員中廣泛傳播和理解。如果不能通過各種渠道通報(bào)新的事態(tài)發(fā)展，可能會(huì)導(dǎo)致關(guān)鍵安全信息的傳播不均衡，使一些工作人員不了解漏洞、緩解措施或最佳做法，從而增加監(jiān)督和安全失誤的風(fēng)險(xiǎn)定期發(fā)布安全更新和公告。1.聊天機(jī)器人應(yīng)用程序：這包括人工智能安全公告，通訊（ICO，NCSC等），或知識(shí)共享平臺(tái)和通信（消息傳遞渠道）上的消息，以使員工了解最新的AI威脅，漏洞和緩解措施。訂閱ICO，OWASP和其他策劃的新聞稿和AIFeed，并由團(tuán)隊(duì)成員負(fù)責(zé)跟蹤更改。每個(gè)人都應(yīng)該通過團(tuán)隊(duì)消息渠道為團(tuán)隊(duì)更新做出貢獻(xiàn)。盡可能參加會(huì)議和活動(dòng)，并使用免費(fèi)或低成本的資源，如RSS提要或社區(qū)論壇，以獲取更新，包括關(guān)于新興AI安全漏洞的新學(xué)術(shù)論文。MITRE和OWSPslack頻道都向公眾開放，并提供有關(guān)AI安全新聞的優(yōu)秀信息。2.ML欺詐檢測(cè)：與以前一樣，但自動(dòng)化人工智能安全新聞和內(nèi)容的策劃數(shù)據(jù)源3.LLM平臺(tái)：與以前一樣，參加活動(dòng)和會(huì)議，使用知識(shí)共享過程和平臺(tái)傳播知識(shí)4.開放獲取LLM模型：與聊天機(jī)器人應(yīng)用程序一樣，包含新的LLM相關(guān)研究的自動(dòng).ICO新聞.NCSCNewsonAI.OWASP十大LLM應(yīng)用程序通訊.MITRESlack通道.OWASPSlack邀請(qǐng)1.2.2組織應(yīng)向開發(fā)人員提供針對(duì)人工智能開發(fā)的安全編碼和系統(tǒng)設(shè)計(jì)技術(shù)的培訓(xùn)，重點(diǎn)是預(yù)防和減輕人工智能算法、模型和相關(guān)軟件中的安全漏洞。如果沒有安全編碼和AI系統(tǒng)設(shè)計(jì)方面的專業(yè)培訓(xùn)，開發(fā)人員可能會(huì)無意中將漏洞引入AI算法，模型或支持軟件，從而增加漏洞利用，數(shù)據(jù)泄露或系統(tǒng)故障的風(fēng)險(xiǎn)。為工程師提供與AI威脅相關(guān)的安全編碼培訓(xùn)，并納入OWASP，NCSC，ETSI緩解策略報(bào)告的指導(dǎo)方針。1.聊天機(jī)器人應(yīng)用程序：培訓(xùn)工程師進(jìn)行安全編碼，包括實(shí)施輸入驗(yàn)證以減輕即時(shí)注入。較小的組織可以通過指向指導(dǎo)方針的編碼標(biāo)準(zhǔn)并使用代碼審查和開發(fā)人員指導(dǎo)作為培訓(xùn)來實(shí)現(xiàn)這種控制。2.ML欺詐檢測(cè)：培訓(xùn)開發(fā)人員對(duì)抗風(fēng)險(xiǎn)和OWASPAIExchange。3.LLM平臺(tái)：類似于欺詐檢測(cè)示例，但具有額外的系統(tǒng)設(shè)計(jì)技術(shù)來解決LLM特定的安全風(fēng)險(xiǎn)（例如，模型越獄）。4.開放獲取LLM模型：專注于安全編碼技術(shù)，符合LLM特定威脅和處理敏感培訓(xùn)數(shù)據(jù)的ICO指南。使用ChatbotApp部分中描述的小型組織方法來解決資源限制問題。.......ETSITR104222-保護(hù)人工智能;緩解戰(zhàn)略報(bào)告用于生成式人工智能和兩用基礎(chǔ)模型的NIST安全軟件開發(fā)框架OWASPTop10forLLM申請(qǐng)OWASPAIExchangeOWASP安全編碼實(shí)踐-快速參考指南NCSC安全開發(fā)和部署指南。NCSC安全AI系統(tǒng)發(fā)展原則2：為安全性、功能性和性能設(shè)計(jì)您的AI系統(tǒng)規(guī)定相關(guān)威脅/風(fēng)險(xiǎn)示例措施/控制參考/資源2.1作為決定是否創(chuàng)建人工智能系統(tǒng)的一部分，系統(tǒng)運(yùn)營(yíng)商和/或開發(fā)人員應(yīng)進(jìn)行全面評(píng)估，包括確定和記錄業(yè)務(wù)需求和/或問題，正在尋求解決，如果不評(píng)估人工智能系統(tǒng)是否需要滿足業(yè)務(wù)需求，系統(tǒng)可能是不必要的或不適合其環(huán)境，導(dǎo)致缺乏合規(guī)性，不必要進(jìn)行業(yè)務(wù)一致性審查：審查和記錄人工智能系統(tǒng)的業(yè)務(wù)需求1.聊天機(jī)器人應(yīng)用程序：如果聊天機(jī)器人用于簡(jiǎn)單的總結(jié)或情感分析，請(qǐng)?jiān)u估特定于任務(wù)的算法是否可能比LLM更合適，后者具有額外的復(fù)雜性和風(fēng)險(xiǎn)，包括監(jiān)管風(fēng)2.ML欺詐檢測(cè)：當(dāng)要求決策透明時(shí)，使用具有更好解釋性的3.LLM平臺(tái)：審查業(yè)務(wù)評(píng)估，以確保需要高級(jí).ICO：我們需要咨詢ICO嗎？.ICO數(shù)據(jù)保護(hù)審計(jì)框架.ICO：英國GDPR第22條對(duì)公平性有什么影.OWASPTop10forLLM申請(qǐng)以及潛在的AI安全風(fēng)險(xiǎn)和緩解策略復(fù)雜性、增加的攻擊面、意外行為和安全漏洞。4.開放獲取LLM模型：在創(chuàng)建專業(yè)LLM時(shí)，在決定遵循的路線之前，評(píng)估復(fù)雜性，數(shù)據(jù)保護(hù)和安全風(fēng)險(xiǎn)。微調(diào)預(yù)構(gòu)建的LLM更快，更簡(jiǎn)單，但可能涉及與提供商共享敏感數(shù)據(jù)，引發(fā)隱私問題和風(fēng)險(xiǎn)，如未經(jīng)授權(quán)的訪問或合規(guī)性問題（例如，英國GDPR）。從頭開始構(gòu)建模型可以提供更好的控制，但可能很復(fù)雜，需要強(qiáng)大的內(nèi)部控制，例如加密存儲(chǔ)和訪問管理，以保護(hù)訓(xùn)練數(shù)據(jù)。這兩種方法都需要仔細(xì)評(píng)估，以防止數(shù)據(jù)泄露并確保監(jiān)管合規(guī)執(zhí)行風(fēng)險(xiǎn)評(píng)估：執(zhí)行并記錄AI特定的風(fēng)險(xiǎn)評(píng)估，包括數(shù)據(jù)分類、個(gè)人數(shù)據(jù)的記錄風(fēng)險(xiǎn)及其在DPIA中的緩解措施。涵蓋預(yù)期的數(shù)據(jù)量、集成類型、模型的復(fù)雜性、架構(gòu)和參數(shù)數(shù)量。有關(guān)這些風(fēng)險(xiǎn)因素的更多信息，請(qǐng)參閱NCSC機(jī)器學(xué)習(xí)原則和NCSC安全AI系統(tǒng)開發(fā)指南。1.聊天機(jī)器人應(yīng)用程序：重點(diǎn)評(píng)估內(nèi)部數(shù)據(jù)的使用及其分類，安全性和濫用，如果聊天機(jī)器人提供誤導(dǎo)性或不適當(dāng)?shù)膬?nèi)容，則聲譽(yù)和法律風(fēng)險(xiǎn)。2.ML欺詐檢測(cè)：使用標(biāo)準(zhǔn)化的評(píng)估模板，如ICO的AI數(shù)據(jù)保護(hù)風(fēng)險(xiǎn)工具包，記錄AI風(fēng)險(xiǎn)變量和風(fēng)險(xiǎn)評(píng)分。包括其他相關(guān)因素，如可解釋性和監(jiān)管影響，然后匯總這些分?jǐn)?shù)以優(yōu)先考慮模型安全性。咨詢財(cái)務(wù)和監(jiān)管合規(guī)專家，了解行業(yè)特定的合規(guī)要求，包括PCIDSS和FCA標(biāo)準(zhǔn)，以確保提供指導(dǎo)。確保解決方案符合《歐盟人工智能法》的規(guī)定，特別是第5（1c）3.LLM平臺(tái)：除了使用ICO的AI數(shù)據(jù)保護(hù)風(fēng)險(xiǎn)工具包外，還考慮目標(biāo)市場(chǎng)的法規(guī)，立法和指導(dǎo)方針，并涵蓋版權(quán)侵犯風(fēng)險(xiǎn)以及最近關(guān)于通用系統(tǒng)風(fēng)險(xiǎn)的報(bào)告中發(fā)現(xiàn)的新風(fēng)險(xiǎn)。4.開放訪問LLM：遵循LLM平臺(tái)示例中的建議，但包括與濫用開源和開放訪問組件相關(guān)的風(fēng)險(xiǎn)，包括惡意代碼、數(shù)據(jù)泄露以及公共輸出的道德/法律責(zé)任（例如，偏見或錯(cuò)誤信息）。審查與許可合規(guī)性、在模型使用或微調(diào)期間保護(hù)敏感數(shù)據(jù)以及實(shí)施保護(hù)措施以防止濫用相關(guān)的責(zé)任和法律責(zé)任（例如，網(wǎng)絡(luò)釣魚或錯(cuò)誤信息活動(dòng)）。利用ICO的AI數(shù)據(jù)保護(hù)風(fēng)險(xiǎn)工具包、OWASPAI安全指南和MITREATLAS等工具來構(gòu)建評(píng)估。你的責(zé)任........歐盟人工智能法案瀏覽器ICO數(shù)據(jù)保護(hù)審計(jì)框架ICOAI數(shù)據(jù)保護(hù)風(fēng)險(xiǎn)工具包地圖集風(fēng)險(xiǎn)管理關(guān)于先進(jìn)人工智能安全性的國際科學(xué)報(bào)告：中期報(bào)告NCSC機(jī)器學(xué)習(xí)OWASPTop10forLLM申請(qǐng)整合風(fēng)險(xiǎn)管理和治理框架：在正式的風(fēng)險(xiǎn)管理框架（RMF）和人工智能治理結(jié)構(gòu)中嵌入人工智能系統(tǒng)評(píng)估，以確保在關(guān)鍵組織決策之前進(jìn)行全面的風(fēng)險(xiǎn)評(píng)估，一致的緩解和監(jiān)控。1.Chatbot應(yīng)用程序：實(shí)施NISTAIRMF，并將其用于評(píng)估應(yīng)用程序，作為框架結(jié)構(gòu)化方法的一部分，包括定義目的和風(fēng)險(xiǎn)目標(biāo)，風(fēng)險(xiǎn).NISTAIRMF.NISTAIRMF行動(dòng)手冊(cè).NISTAIRMFCrosswalk文檔分類、風(fēng)險(xiǎn)評(píng)估、控制選擇、實(shí)施、監(jiān)控和審查。擴(kuò)展現(xiàn)有的組織治理，提供檢查清單和指導(dǎo)方針，說明如何審查擬議的人工智能解決方案和標(biāo)準(zhǔn)，以將審查升級(jí)為涉及安全、法律、合規(guī)和業(yè)務(wù)部門的高影響力系統(tǒng)或模型的全面風(fēng)險(xiǎn)評(píng)估2.ML欺詐檢測(cè)：查看NISTAIRMF，看看它是否有助于標(biāo)準(zhǔn)化您的風(fēng)險(xiǎn)AI評(píng)估，以及如何將其與您組織中的其他GRC流程相3.LLM平臺(tái)：參見Chatbot應(yīng)用程序示例。4.開放獲取LLM模型：由于團(tuán)隊(duì)的規(guī)模，這不適用于此示例相反，該團(tuán)隊(duì)在其Wiki頁面中記錄了他們?nèi)绾螆?zhí)行風(fēng)險(xiǎn)評(píng)估。.ICO問責(zé)制和治理對(duì)AI的.歐洲人工智能聯(lián)盟：實(shí)施人工智能治理：從框架到實(shí)踐.OWASPAI安全卓越中心2.1.1如果數(shù)據(jù)托管人是開發(fā)人員組織的一部分，則在確定人工智能系統(tǒng)的要求和數(shù)據(jù)需求時(shí)，應(yīng)將其在討論人工智能系統(tǒng)要求和數(shù)據(jù)需求時(shí)，如果不包括數(shù)據(jù)托管人，可能會(huì)導(dǎo)致不遵守?cái)?shù)據(jù)治理政策、不適當(dāng)?shù)臄?shù)據(jù)使用或?qū)γ舾袛?shù)據(jù)的保護(hù)措施不足，從而增加數(shù)據(jù)泄露或違反監(jiān)管規(guī)定的風(fēng)險(xiǎn)確保與數(shù)據(jù)托管人的協(xié)作在設(shè)計(jì)和開發(fā)階段定義數(shù)據(jù)要求，以確定法規(guī)遵從性要求。確保數(shù)據(jù)托管人能夠平衡來自人工智能系統(tǒng)的數(shù)據(jù)的額外風(fēng)險(xiǎn)，以及預(yù)期的緩解措施和業(yè)務(wù)需求。1.Chatbot應(yīng)用程序：將數(shù)據(jù)治理清單作為設(shè)計(jì)討論的安排與數(shù)據(jù)托管人、開發(fā)人員和安全人員的研討會(huì)，以確保在數(shù)據(jù)需求、合規(guī)要求和數(shù)據(jù)訪問影響方面保持2.ML欺詐檢測(cè)：在使用個(gè)人數(shù)據(jù)時(shí)，包括數(shù)據(jù)托管人審查和功能簽核;解釋如何使用數(shù)據(jù)，記憶、提取和推斷等風(fēng)險(xiǎn)，以及保護(hù)使用的選項(xiàng)。3.LLM平臺(tái)：與內(nèi)部治理流程保持一致，讓數(shù)據(jù)托管人參與定義數(shù)據(jù)使用并確保合規(guī)性。4.開放獲取LLM模型：定義誰是您團(tuán)隊(duì)中的數(shù)據(jù)保管人，并讓他們與團(tuán)隊(duì)的其他成員一起執(zhí)行和記錄作為設(shè)計(jì)過程的一部分進(jìn)行審查的DPIA。審查ICO指南，以確保代理數(shù)據(jù)托管人以合規(guī)的方式履行其職責(zé)。.ICO的AI數(shù)據(jù)保護(hù)工具包.NISTAIRMF.NISTAIRMF行動(dòng)手冊(cè)2.2開發(fā)人員和系統(tǒng)運(yùn)營(yíng)商應(yīng)確保人工智能系統(tǒng)的設(shè)計(jì)和實(shí)施能夠抵御對(duì)抗性人工智能攻擊，意外輸入和人工智能系統(tǒng)故障。組織可能并不總是能夠成功地防止違規(guī)行為，因此深入防御需要假設(shè)和處理某種程度的妥協(xié)，如果沒有記錄，將違反數(shù)據(jù)隱私法規(guī)。應(yīng)用安全設(shè)計(jì)原則：通過進(jìn)行威脅建模，將安全性集成到AI系統(tǒng)的設(shè)計(jì)階段。威脅建模涵蓋了傳統(tǒng)的網(wǎng)絡(luò)威脅和可能由設(shè)計(jì)選擇引入的AI特定威脅。在系統(tǒng)設(shè)計(jì)控制中納入標(biāo)準(zhǔn)化安全控制，以減輕風(fēng)險(xiǎn)。記錄設(shè)計(jì)階段使用的每個(gè)標(biāo)準(zhǔn)化控制，并確保其與特定測(cè)試用例集成，以驗(yàn)證其在系統(tǒng)測(cè)試期間的有效性。確保監(jiān)控控制以及事件響應(yīng)記錄在系統(tǒng)設(shè)計(jì)中。1.聊天機(jī)器人應(yīng)用程序：使用威脅建模來識(shí)別聊天機(jī)器人應(yīng)用程序特有的風(fēng)險(xiǎn);應(yīng)用一般應(yīng)用程序安全控制以及與OWASPTop10forLLM相關(guān)的控制應(yīng)用程序，例如實(shí)現(xiàn)輸入驗(yàn)證以防止對(duì)其使用的LLM進(jìn)行即時(shí)注入攻擊.....CISA聯(lián)合網(wǎng)絡(luò)安全信息-部署人工智能系統(tǒng)CSA人工智能系統(tǒng)安全指南，第2.2.1節(jié)規(guī)劃和設(shè)計(jì)。地圖集MITREATTCKNCSC安全設(shè)計(jì)原則2.ML欺詐檢測(cè)：除了應(yīng)用程序安全控制之外，還可以在設(shè)計(jì)中加入相關(guān)的預(yù)測(cè)對(duì)抗性AI攻擊控制，例如中毒，逃避，模型提取和其他隱私攻擊。使用OWASPAI交換作為您的威脅和控制參考。3.LLM平臺(tái)：使用MITREATTCK和ATLAS對(duì)模型開發(fā)和操作進(jìn)行威脅建模，解決來自對(duì)抗性AI攻擊的威脅，特別是與LLM相關(guān)的威脅，例如中毒和安全措施，以防止越獄，數(shù)據(jù)提取和不安全使用。審查面向客戶的API，并將其納入使用場(chǎng)景的威脅建模中。4.開放獲取LLM模型：在LLM提供者示例中使用類似的方法，重點(diǎn)關(guān)注培訓(xùn)，但也關(guān)注其他人如何使用該模型以及它需要采取的保護(hù)措施。遵循輕量級(jí)的威脅建模方法作為設(shè)計(jì)的一部分，并使用MITREATLAS或OWASPAIExchange作為威脅，控件庫。.NCSC機(jī)器學(xué)習(xí)NCSC安全AI系統(tǒng)開發(fā)指.OWASPAIExchange2.3為了支持AI系統(tǒng)的數(shù)據(jù)準(zhǔn)備、安全審計(jì)和事件響應(yīng)過程，開發(fā)人員應(yīng)記錄并創(chuàng)建與AI系統(tǒng)相關(guān)的審計(jì)跟蹤。這應(yīng)包括模型、數(shù)據(jù)集和系統(tǒng)提示的操作和生命周期管理。缺乏審計(jì)跟蹤可能導(dǎo)致無法追蹤的更改或未經(jīng)授權(quán)的調(diào)整，使事件響應(yīng)、取證調(diào)查和法規(guī)遵從性變得復(fù)雜。ML操作（MLOPs）和系統(tǒng)更改的自動(dòng)審計(jì)跟蹤：為與模型訓(xùn)練、數(shù)據(jù)集更改、提示和參數(shù)調(diào)整相關(guān)的所有關(guān)鍵操作實(shí)施自動(dòng)日志記錄。對(duì)于具有法規(guī)遵從性要求的關(guān)鍵系統(tǒng)，請(qǐng)使用WORM（一次寫入、多次讀取）存儲(chǔ)來存儲(chǔ)日志，以確保它們保持防篡改并可供審計(jì)訪問。1.Chatbot應(yīng)用程序：使用版本控制系統(tǒng)來系統(tǒng)提示并提示所有相關(guān)文檔的更改如果模型提供者的API用于微調(diào)，請(qǐng)確保記錄訓(xùn)練和測(cè)試數(shù)據(jù)集。對(duì)于RAG工作流，跟蹤生成的嵌入，記錄有關(guān)檢索數(shù)據(jù)的元數(shù)據(jù)（例如，查詢術(shù)語、文檔ID），并維護(hù)檢索中使用的較小參考數(shù)據(jù)集的版本化快照，以確保可追溯性和再現(xiàn)性。2.ML欺詐檢測(cè)：在云平臺(tái)中使用MLOps平臺(tái)或MLOps功能，通過跟蹤模型、提示和其他實(shí)驗(yàn)的所有更改來使用數(shù)據(jù)生命周期管理工具來實(shí)現(xiàn)類似的數(shù)據(jù)集版本控制，存儲(chǔ)有關(guān)用于訓(xùn)練或測(cè)試系統(tǒng)的數(shù)據(jù)的詳細(xì)信息。3.LLM平臺(tái)：使用ML欺詐檢測(cè)示例中描述的相同方法。4.開放訪問LLM模型：使用開源工具來跟蹤和自動(dòng)化工作流程，例如版本化數(shù)據(jù)集、模型配置以及通過API進(jìn)行的更改，作為您的一部分常規(guī)工作流程。.CSA人工智能系統(tǒng)安全指南，第2.2.1節(jié)規(guī)劃和設(shè)計(jì)。.：MLOps原則.NCSC機(jī)器學(xué)習(xí)原則，第1部分，安全設(shè)計(jì)。.NCSC安全人工智能系統(tǒng)開發(fā)指南，安全設(shè)計(jì)。.OWASPAIExchange2.4如果開發(fā)人員或系統(tǒng)運(yùn)營(yíng)商使用外部組件，他們應(yīng)進(jìn)行AI安全風(fēng)險(xiǎn)評(píng)估和盡職調(diào)查流程，與現(xiàn)有的第三方組件通過外部供應(yīng)商的安全實(shí)踐中這可能不是為了外部組件的安全盡職調(diào)查：在使用組件（包括外部模型）之前，強(qiáng)制執(zhí)行風(fēng)險(xiǎn)評(píng)估過程，包括來源、已知風(fēng)險(xiǎn)以及使用個(gè)人數(shù)據(jù)時(shí)的DPIA。通過在內(nèi)部標(biāo)準(zhǔn)中強(qiáng)制規(guī)定組件只能由受信任和批準(zhǔn)的來源獲取，記錄來源、版本、許可、歷史和其他相關(guān)工件（例如，模型的模型卡保護(hù)出處;使用校驗(yàn)和驗(yàn)證完整性.ETSIGRSAI002-數(shù)據(jù)供應(yīng)鏈安全.網(wǎng)絡(luò)安全供應(yīng)鏈風(fēng)險(xiǎn)管理軟件開發(fā)流程，評(píng)估AI特定風(fēng)險(xiǎn)。和你的標(biāo)準(zhǔn)一樣。這包括操作系統(tǒng)和庫、容器映像、編程包以及模型和數(shù)據(jù)集。大型模型包含通用功能，您需要努力確保您關(guān)心的特定風(fēng)險(xiǎn)得到緩解或管理。1.Chatbot應(yīng)用程序：查看包括已知漏洞在內(nèi)的文檔，并對(duì)應(yīng)用程序和平臺(tái)包運(yùn)行自動(dòng)漏洞掃描;查閱已發(fā)布的文檔和基準(zhǔn)測(cè)試，或?qū)α奶鞕C(jī)器人使用的LLM模型運(yùn)行您自己的漏洞掃描如果您使用嵌入模型來生成嵌入作為RAG的一部分，而不是API，那么在您的工作中包括嵌入模型2.ML欺詐檢測(cè)：與Chatbot應(yīng)用程序示例相同，但對(duì)第三方基礎(chǔ)模型進(jìn)行了額外的調(diào)查查閱模型文檔并使用工具掃描漏洞，如序列化攻擊。將批準(zhǔn)的模型和組件存儲(chǔ)在內(nèi)部存儲(chǔ)庫中，確保它們是生產(chǎn)中唯一使用的。為外部組件設(shè)置更改警報(bào)或安全通知。3.LLM平臺(tái)：類似于欺詐檢測(cè)示例，但包括您可能正在使用的欺詐模型例如，較小的模型可以為RAG用例提供嵌入API，并在微調(diào)中為RLHF和RLFAI提供RL模型。外部數(shù)據(jù)集至關(guān)重要，需要對(duì)版權(quán)、隱私、偏見和道德風(fēng)險(xiǎn)進(jìn)行評(píng)估。4.開放訪問LLM模型：自動(dòng)掃描您使用的組件和模型（微調(diào)的基礎(chǔ)，測(cè)試RAG的輔助工具，RLHF和RLFAI場(chǎng)景的RL），并確保它們來自可信來源。審查僅來自信譽(yù)良好的來源的外部數(shù)據(jù)集，并使用自動(dòng)化工具來檢測(cè)偏見，個(gè)人數(shù)據(jù)和版權(quán)問題。.NCSC供應(yīng)鏈安全指南.OWASPAIExchange.OWASP十大LLM應(yīng)用程序-LLM03供應(yīng)鏈漏洞2.5數(shù)據(jù)托管人應(yīng)確保系統(tǒng)的預(yù)期用途與其所培訓(xùn)數(shù)據(jù)的敏感性以及旨在確保數(shù)據(jù)安全的控制措施相適應(yīng)人工智能系統(tǒng)的預(yù)期用途與其訓(xùn)練數(shù)據(jù)的敏感性之間的不一致可能導(dǎo)致不適當(dāng)?shù)臄?shù)據(jù)暴露，不充分的安全控制和監(jiān)管違規(guī)，從而導(dǎo)致潛在的數(shù)據(jù)泄露和濫用個(gè)人數(shù)據(jù)或其他機(jī)密信息。信息.確保數(shù)據(jù)托管人保證：要求數(shù)據(jù)托管人審查系統(tǒng)的預(yù)期用途和數(shù)據(jù)安全控制，以確保合規(guī)性，并平衡這些風(fēng)險(xiǎn)與業(yè)務(wù)需求。1.聊天機(jī)器人應(yīng)用程序：與數(shù)據(jù)保管員一起審查聊天機(jī)器人用例，訪問和使用策略，并確保它們與DPIA保持一致。2.ML欺詐檢測(cè)：與Chatbot應(yīng)用程序相同，但包括用于訓(xùn)練、數(shù)據(jù)記憶、反轉(zhuǎn)和推理風(fēng)險(xiǎn)的數(shù)據(jù)，以及英國GDPR第22條對(duì)自動(dòng)欺詐檢測(cè)的影響3.LLM平臺(tái)：類似于欺詐檢測(cè)的例子，不需要第22條，但將數(shù)據(jù)托管人審查與治理相結(jié)合，并由包括法律和數(shù)據(jù)保護(hù)專家在內(nèi)的多學(xué)科委員會(huì)4.開放訪問LLM模型：確保代理數(shù)據(jù)保管員與團(tuán)隊(duì)的其他成員一起審查設(shè)計(jì)和計(jì)劃，并確保其符合DPIA，并且您有足夠的控制措施，通過培訓(xùn)數(shù)據(jù)提取和即時(shí)注入攻擊來減輕個(gè)人數(shù)據(jù)泄漏.ICO：英國GDPR指導(dǎo)和資源.ICO：英國GDPR第22條對(duì)公平性有什么影.NCSC：保護(hù)大量個(gè)人數(shù)據(jù).歐盟委員會(huì)的GDPR合規(guī)ISO/IEC27001：信息安全管理體系2.5.1組織應(yīng)確保鼓勵(lì)員工主動(dòng)報(bào)告和識(shí)別人工智能中的任何潛在安全風(fēng)險(xiǎn)系統(tǒng)和確保缺乏對(duì)人工智能系統(tǒng)安全風(fēng)險(xiǎn)的主動(dòng)報(bào)告和識(shí)別可能會(huì)導(dǎo)致未被發(fā)現(xiàn)的漏洞，增加支持主動(dòng)報(bào)告安全風(fēng)險(xiǎn)。為員工報(bào)告人工智能系統(tǒng)中的潛在安全風(fēng)險(xiǎn)建立一個(gè)清晰、可訪問的流程，通過提供培訓(xùn)、溝通渠道、透明處理和對(duì)報(bào)告問題的認(rèn)可，鼓勵(lì)積極主動(dòng)的風(fēng)險(xiǎn)識(shí)別1.聊天機(jī)器人應(yīng)用程序：專門針對(duì)聊天機(jī)器人相關(guān)風(fēng)險(xiǎn)開發(fā)事件報(bào)告模板（例如，敏感數(shù)據(jù)泄漏或不適當(dāng)?shù)捻憫?yīng)）。使用協(xié)作工具（例如，建立專門的風(fēng)險(xiǎn)報(bào)告渠道。.ICO：報(bào)告流程.ICO：違約識(shí)別、評(píng)估和記錄有適當(dāng)?shù)陌踩┒础?shù)據(jù)泄露或?yàn)E用人工智能的可能性，可能會(huì)帶來重大的運(yùn)營(yíng)、財(cái)務(wù)和聲譽(yù)后果。2.ML欺詐檢測(cè)：培訓(xùn)員工識(shí)別潛在風(fēng)險(xiǎn)，例如欺詐檢測(cè)或誤報(bào)/漏報(bào)中的偏見提供一個(gè)匿名報(bào)告機(jī)制，以解決問題，并包括如何解決已確定的風(fēng)險(xiǎn)的后續(xù)行動(dòng)。3.LLM平臺(tái)：為員工創(chuàng)建一個(gè)集中的風(fēng)險(xiǎn)注冊(cè)表，以記錄對(duì)API濫用，數(shù)據(jù)暴露或意外系統(tǒng)輸出的擔(dān)憂定期更新已識(shí)別風(fēng)險(xiǎn)的管理和緩解情況。4.開放獲取LLM模型：為團(tuán)隊(duì)成員和外部貢獻(xiàn)者提供一個(gè)清單，以記錄團(tuán)隊(duì)工作管理板中的風(fēng)險(xiǎn)作為工作的一部分，審查報(bào)告的.NCSC-發(fā)展積極的網(wǎng)絡(luò)安全文化.NCSC應(yīng)對(duì)網(wǎng)絡(luò)事件-CEO指南2.6如果人工智能系統(tǒng)將與其他系統(tǒng)或數(shù)據(jù)源（無論是內(nèi)部還是外部）進(jìn)行交互，開發(fā)人員和系統(tǒng)運(yùn)營(yíng)商應(yīng)確保僅在功能需要時(shí)提供其他系統(tǒng)上授予人工智能系統(tǒng)的權(quán)限，并進(jìn)行風(fēng)險(xiǎn)評(píng)估。“代理系統(tǒng)”具有巨大的潛力和興趣，人工智能系統(tǒng)可以決定和執(zhí)行自己的行動(dòng)，通常通過與其他系統(tǒng)的集成。然而，由于AI系統(tǒng)可能采取的行動(dòng)并不完全可預(yù)測(cè)，并且可能受到攻擊者的脅迫，因此在提供AI系統(tǒng)將使用的帳戶或其他訪問時(shí)必須非常如果不能可靠地做到這一點(diǎn)，可能會(huì)導(dǎo)致未經(jīng)授權(quán)的訪問、數(shù)據(jù)泄露和權(quán)限升對(duì)AI系統(tǒng)訪問的數(shù)據(jù)和系統(tǒng)的最低權(quán)限訪問在使用組件之前，強(qiáng)制執(zhí)行風(fēng)險(xiǎn)確保評(píng)估涵蓋所有可能的模型狀態(tài)，而不僅僅是設(shè)計(jì)或預(yù)期的狀態(tài)。1.Chatbot應(yīng)用程序：如果應(yīng)用程序使用外部服務(wù)來豐富LLM輸入或驅(qū)動(dòng)系統(tǒng)（例如預(yù)訂系統(tǒng)），則為集成端點(diǎn)實(shí)施數(shù)據(jù)最小化和粒度最小特權(quán)訪問策略。檢查如果以錯(cuò)誤的順序或出于非預(yù)期的目的使用所建議的集成會(huì)發(fā)生什么。根據(jù)OWASPTop10forLLM應(yīng)用程序中定義的過度代理進(jìn)行審查，并考慮列出所有建議的集成及其權(quán)限，并詢問安全專家如果給予這些權(quán)限和集成，他們可能會(huì)對(duì)組織造成什么傷害2.ML欺詐檢測(cè)：審查和測(cè)試所使用的數(shù)據(jù)輸入（包括數(shù)據(jù)預(yù)處理和豐富），并確保僅使用所需的數(shù)據(jù)。如果模型輸出（預(yù)測(cè)）用于驅(qū)動(dòng)下游服務(wù)（例如自動(dòng)化流程則評(píng)估副作用。3.LLM平臺(tái)：如果系統(tǒng)允許添加額外的功能，如插件或連接到其他工具（例如，日歷應(yīng)用程序、API或電子郵件服務(wù)），測(cè)試這些功能如何協(xié)同工作并檢查風(fēng)險(xiǎn)。例如，確保系統(tǒng)在有人使用這些額外功能時(shí)不會(huì)產(chǎn)生有害4.開放獲取LLM模式：小型組織遵循與LLM提供商類似的方法......ICO：評(píng)估AI中的安全性和數(shù)據(jù)最小化。MITREATLAS：權(quán)限提升NCSC-安全地使用云平臺(tái)-應(yīng)用訪問控制NCSC零信任架構(gòu)設(shè)計(jì)原則NISTAIRMFOWASP十大LLM應(yīng)用程序：過度機(jī)構(gòu)2.7如果開發(fā)人員或系統(tǒng)運(yùn)營(yíng)商選擇與外部供應(yīng)商合作，他們應(yīng)承擔(dān)盡職調(diào)查與外部供應(yīng)商合作增加外部提供商的安全審查驗(yàn)證外部提供商對(duì)外部提供商的業(yè)務(wù)守則的實(shí)施情況1.Chatbot應(yīng)用程序：要求您的云、LLM和其他提供商提供CoP合規(guī)性證據(jù)DSIT：人工智能網(wǎng)絡(luò)安全實(shí)踐守則評(píng)估，并應(yīng)確保供應(yīng)商遵守本業(yè)務(wù)守則。漏洞，如缺乏法規(guī)遵從性，不安全的系統(tǒng)或不適當(dāng)?shù)捻憫?yīng)協(xié)議，這可能會(huì)危及整個(gè)系統(tǒng)的安全性。2.ML欺詐檢測(cè)：要求您的云或其他服務(wù)提供商提供遵守CoP的證據(jù)3.LLM平臺(tái)：遵循與ML欺詐檢測(cè)示例相同的方法。4.開放訪問LLM模型：要求云和其他服務(wù)提供商提供遵守CoP的證據(jù);如果沒有具體的CoP遵守文檔，請(qǐng)查看提供商文檔以確定遵守情況，并在wiki頁面中記錄您的發(fā)現(xiàn)。原則3：評(píng)估威脅并管理AI系統(tǒng)的風(fēng)險(xiǎn)規(guī)定相關(guān)威脅/風(fēng)險(xiǎn)示例措施/控制參考/資源3.1開發(fā)人員和系統(tǒng)運(yùn)營(yíng)商應(yīng)分析威脅并管理其系統(tǒng)的安全風(fēng)險(xiǎn)。威脅建模應(yīng)包括定期審查和更新，并解決AI特定的攻擊，如數(shù)據(jù)中毒，模型反轉(zhuǎn)和成員推理。人工智能系統(tǒng)面臨著獨(dú)特的威脅，如數(shù)據(jù)中毒、模型反轉(zhuǎn)和成員推斷攻擊，這些都是傳統(tǒng)威脅模型無法解釋的。新的威脅將會(huì)出現(xiàn)，需要將其納入威脅建模和風(fēng)險(xiǎn)管理。執(zhí)行威脅建模，包括人工智能威脅：應(yīng)用威脅建模，捕捉對(duì)利益相關(guān)者的潛在影響，包括人工智能和傳統(tǒng)網(wǎng)絡(luò)攻擊。詳細(xì)記錄每個(gè)已識(shí)別的威脅，概述對(duì)AI模型和更廣泛系統(tǒng)的潛在影響的可能性和嚴(yán)重性，并使用標(biāo)準(zhǔn)化的OWASP或MITRE控件列出緩解措施。OWASPAIExchange或MITREATLAS都提供了兩種類型攻擊的威脅分類和相關(guān)緩解措ICO關(guān)于人工智能和安全的指導(dǎo)對(duì)于遵守法規(guī)非常有用。1.Chatbot應(yīng)用程序：為應(yīng)用程序映射威脅和數(shù)據(jù)流，重點(diǎn)關(guān)注傳統(tǒng)和LLM威脅。包括所選模型或組件的未使用功能例如，如果一個(gè)多模態(tài)模型只用于語言，那么如果有人通過給它圖像來進(jìn)行攻擊或?yàn)E用，那么就對(duì)風(fēng)險(xiǎn)進(jìn)行建模。2.ML欺詐檢測(cè)：包括推理系統(tǒng)和開發(fā)環(huán)境，以涵蓋中毒，模型篡改，序列化攻擊以及運(yùn)行時(shí)攻擊，如逃避，提取，反轉(zhuǎn)和推理。3.LLM平臺(tái)：遵循欺詐檢測(cè)中描述的方法，但重點(diǎn)關(guān)注生成AI風(fēng)險(xiǎn)，如過度依賴，越獄LLM及其安全，道德，社會(huì)和監(jiān)管后果。4.開放獲取LLM模型：小型組織執(zhí)行與先前LLM平臺(tái)示例相同類型的建模.......ICO：評(píng)估AI中的安全性和數(shù)據(jù)最小化。NISTAIRMF-AIRMF核心-地圖NCSC風(fēng)險(xiǎn)管理-威脅建模威脅建模過程地圖集OWASPTop10forLLM申請(qǐng)OWASPAIExchange3.1.1應(yīng)進(jìn)行威脅建模和風(fēng)險(xiǎn)管理流程，以解決新的設(shè)置或配置選項(xiàng)在AI期間實(shí)施或更新設(shè)置或配置時(shí)未能進(jìn)行威脅建模生命周期可能導(dǎo)致針對(duì)配置更改進(jìn)行威脅建模描述：每當(dāng)實(shí)施或更新設(shè)置或配置時(shí)，都要執(zhí)行威脅建模1.聊天機(jī)器人應(yīng)用程序：當(dāng)啟用或修改用戶反饋選項(xiàng)時(shí)，評(píng)估潛在風(fēng)險(xiǎn)，例如通過輸入字段的注入攻擊，并實(shí)施輸入驗(yàn)證和消毒等緩解措施。.NIST-以數(shù)據(jù)為中心的系統(tǒng)威脅建模指南.NCSC-用于安全目的在AI生命周期的任何階段實(shí)現(xiàn)或更新未緩解的安全漏洞，如配置錯(cuò)誤或意外的攻擊媒介，增加了利用和系統(tǒng)危害的風(fēng)險(xiǎn)。2.ML欺詐檢測(cè)：當(dāng)特征選擇或檢測(cè)閾值發(fā)生變化時(shí)，或者部署了新的地理位置風(fēng)險(xiǎn)表時(shí)，評(píng)估對(duì)抗性規(guī)避攻擊等風(fēng)險(xiǎn)制定保障措施，如監(jiān)控異常模式和對(duì)配置進(jìn)行壓力測(cè)試。3.LLM平臺(tái)：在更改用戶身份驗(yàn)證設(shè)置時(shí)，評(píng)估未經(jīng)授權(quán)訪問的威脅，并實(shí)施速率限制，鎖定和增強(qiáng)日志記錄等緩解措施。4.開放訪問LLM模型：當(dāng)修改模型的配置以允許社區(qū)貢獻(xiàn)或插件時(shí)，評(píng)估和減輕風(fēng)險(xiǎn)，例如引入惡意代碼或意外功能。.OWASPTop10forAPI-API4：2019缺乏資源速率限制.OWASP威脅建模實(shí)踐3.1.2開發(fā)人員應(yīng)管理與提供多余功能的AI模型相關(guān)的安全風(fēng)險(xiǎn)，其中增加的功能會(huì)導(dǎo)致風(fēng)險(xiǎn)增加例如，在使用多模態(tài)模型但僅單一模態(tài)用于系統(tǒng)功能的情況下。允許人工智能模型保留系統(tǒng)目的不需要的多余功能可能會(huì)帶來不必要的安全風(fēng)險(xiǎn)，例如擴(kuò)大攻擊面、增加漏洞利用以及潛在濫用未使用功能，從而損害系統(tǒng)的整體安全。限制超級(jí)功能：將AI模型功能限制為對(duì)系統(tǒng)目的至關(guān)重要的功能，1.聊天機(jī)器人應(yīng)用程序：如果聊天機(jī)器人是為基于文本的客戶支持而實(shí)現(xiàn)的，請(qǐng)使用護(hù)欄或API阻止來禁用或限制對(duì)未使用的多模式功能的任何訪問，例如語音轉(zhuǎn)文本或文本轉(zhuǎn)語音功能，以防止意外的交互或漏洞。2.ML欺詐檢測(cè)：如果系統(tǒng)只分析交易數(shù)據(jù)，請(qǐng)刪除或禁用不必要的模型功能，例如圖像處理或基于位置的預(yù)測(cè)，以最大限度地降低風(fēng)險(xiǎn)和復(fù)雜性。只有在充分了解安全性影響的情況下，才啟用高級(jí)功能，例如使用RL算法探索復(fù)雜空間。3.LLM平臺(tái)：為文本提供不同的API，包括多模式輸入等高級(jí)功能（例如，圖像處理）的應(yīng)用僅使用文本。提供文本到語音場(chǎng)景中的特定語音，而不是允許語音克隆。4.開放獲取LLM模式：由于重點(diǎn)是法律咨詢和合同談判，因此實(shí)施安全措施以禁用通用或其他用途。向用戶提供輕量級(jí)文檔，說明這些限制的基本原理和安全優(yōu).NCSC安全設(shè)計(jì)原則.OWASPAI十大API安全風(fēng)險(xiǎn)-2023年.OWASP十大LLM應(yīng)用程序：過度機(jī)構(gòu).為大型語言模型將威脅建模與人工智能治理相集成：在人工智能生命周期的關(guān)鍵階段，要求完成威脅模型的1.Chatbot應(yīng)用程序：制定治理政策，強(qiáng)制在每次重大系統(tǒng)部署之前對(duì)威脅模型進(jìn)行正式審查，包括利益相關(guān)者和影響評(píng)估使用標(biāo)準(zhǔn)符號(hào)（例如STRIDE或PASTA）提供標(biāo)準(zhǔn)化威脅建模模板，并在MITREATLAS或OWASPAIExchange中找到AI威脅。2.ML欺詐檢測(cè)：引入對(duì)威脅模型的需求，作為部署批準(zhǔn)的一部分。3.LLM平臺(tái)：與聊天機(jī)器人應(yīng)用程序一樣，在批準(zhǔn)之前增加了正式4.開放獲取LLM模型：這不適用于小型組織;相反，通過在免費(fèi)的圖表工具中使用可重用的標(biāo)準(zhǔn)化模板來促進(jìn)威脅模型。.OWASP威脅建模行動(dòng)手冊(cè).NISTAIRMF-AIRMF核心.NCSC風(fēng)險(xiǎn)管理-網(wǎng)絡(luò)安全風(fēng)險(xiǎn)管理框架3.1.3系統(tǒng)運(yùn)營(yíng)商應(yīng)根據(jù)一系列考慮因素，包括與其企業(yè)風(fēng)險(xiǎn)承受能力相符的實(shí)施成本，對(duì)通過分析確定的當(dāng)在人工智能特定風(fēng)險(xiǎn)（如數(shù)據(jù)中毒或模型濫用）的背景下沒有明確定義風(fēng)險(xiǎn)容忍度時(shí)，這可能會(huì)導(dǎo)致控制措施優(yōu)先級(jí)不充分，從而導(dǎo)致違規(guī)、運(yùn)營(yíng)中斷或不道德的決策-制定人工智能風(fēng)險(xiǎn)控制的優(yōu)先級(jí)框架使用人工智能特定的風(fēng)險(xiǎn)評(píng)分系統(tǒng)，根據(jù)威脅的影響、發(fā)生的可能性以及與組織風(fēng)險(xiǎn)承受能力的一致性，確定緩解和控制的優(yōu)先級(jí)。這應(yīng)該考慮到監(jiān)管風(fēng)險(xiǎn)，包括數(shù)據(jù)保護(hù)，并涵蓋人工智能特有的漏洞，如對(duì)抗性操縱、模型漂移和偏見。1.Chatbot應(yīng)用程序：當(dāng)應(yīng)用程序用于招聘時(shí)，間接提示注入和偏差被評(píng)為高，但當(dāng)用于總結(jié)內(nèi)部文件時(shí)，間接提示注入和偏差被評(píng)為2.ML欺詐檢測(cè)：中毒后門和逃避攻擊優(yōu)先級(jí)為高，以避免代價(jià)高昂的欺詐交易。3.LLM平臺(tái)：通用模型的AI風(fēng)險(xiǎn)被提升為高，包括可能導(dǎo)致法律責(zé)任的版權(quán)侵犯4.開放獲取LLM模型：遵循與LMM平臺(tái)示例類似的方法。.NISTAIRMF行動(dòng)手冊(cè).NISTAIRMF，使用案例，用于交通標(biāo)志識(shí)別的自動(dòng)駕駛汽車風(fēng)險(xiǎn)3.2如果識(shí)別出開發(fā)人員無法解決的AI安全威脅，則應(yīng)將其傳達(dá)給系統(tǒng)運(yùn)營(yíng)商，以便他們可以對(duì)其系統(tǒng)進(jìn)行威脅建模。系統(tǒng)操作員應(yīng)將此信息傳達(dá)給最終用戶，以便他們了解這些威脅。這種溝通應(yīng)包括風(fēng)險(xiǎn)、潛在影響和建議的詳細(xì)描述。采取行動(dòng)應(yīng)對(duì)或監(jiān)測(cè)這些威脅。如果不就未解決的風(fēng)險(xiǎn)進(jìn)行明確的溝通，系統(tǒng)運(yùn)營(yíng)商和最終用戶可能缺乏意識(shí)，從而限制了他們有效應(yīng)用保障措施的能力。記錄和傳達(dá)已識(shí)別的未解決風(fēng)險(xiǎn)：確保清晰的記錄并及時(shí)向所有相關(guān)利益相關(guān)者傳達(dá)任何未解決的威脅。1.聊天機(jī)器人應(yīng)用程序：如果應(yīng)用程序執(zhí)行文檔摘要，則應(yīng)用程序可能容易受到間接提示注入。確保系統(tǒng)操作員了解，以便他們可以引入緩解措施，如PDF檢查和審查。2.ML欺詐檢測(cè)：通知系統(tǒng)運(yùn)營(yíng)商對(duì)可疑模式的輸入進(jìn)行實(shí)時(shí)監(jiān)控3.LLM平臺(tái)：記錄已知風(fēng)險(xiǎn)的公共API文檔以及如何減輕這些風(fēng)險(xiǎn)。4.開放獲取LLM模型：告知模型用戶潛在的風(fēng)險(xiǎn)，如模型濫用，以產(chǎn)生有偏見或有害的輸出，并記錄推薦的保障措施，如使用指南或?qū)嵤﹥?nèi)容審核機(jī)制。.NISTAIRMF行動(dòng)手冊(cè).NISTAIRMF，使用案例，用于交通標(biāo)志識(shí)別的自動(dòng)駕駛汽車風(fēng)險(xiǎn)3.3如果外部實(shí)體對(duì)組織基礎(chǔ)設(shè)施內(nèi)識(shí)別的AI安全風(fēng)險(xiǎn)負(fù)有責(zé)任，系統(tǒng)運(yùn)營(yíng)商應(yīng)確保這些風(fēng)險(xiǎn)在沒有充分驗(yàn)證的情況下依賴第三方可能會(huì)使人工智能系統(tǒng)暴露于未受管理的漏洞。為第三方進(jìn)行特定于AI的安全評(píng)估確保第三方組件和供應(yīng)商接受專門針對(duì)AI相關(guān)風(fēng)險(xiǎn)的安全評(píng)估，1.Chatbot應(yīng)用程序：模型提供商要求提供解決特定AI風(fēng)險(xiǎn)的保證2.ML欺詐檢測(cè)：需要類似于ChatbotApp示例的保證，但來自外部數(shù)據(jù)提供商，以確保負(fù)責(zé)和安全地.ISO9001-在供應(yīng)鏈中意味著什么？.NCSC供應(yīng)鏈安全指南.NCSC云安全指南-選擇云提供商締約方有能力應(yīng)對(duì)這些風(fēng)險(xiǎn)。3.LLM平臺(tái)：請(qǐng)參閱ML欺詐檢測(cè)示例。4.開放獲取LLM模型：通過關(guān)注關(guān)鍵的外部依賴關(guān)系來實(shí)現(xiàn)輕量級(jí)方法例如，向任何外部提供者請(qǐng)求一份簡(jiǎn)單的自我評(píng)估清單（例如，云托管，預(yù)訓(xùn)練模型或API），以確保它們解決基本的AI風(fēng)險(xiǎn)，如數(shù)據(jù)隱私，模型完整性和遵守安全標(biāo)準(zhǔn)。限制對(duì)復(fù)雜的外部集成的依賴，以減少潛在的漏洞。.世界經(jīng)濟(jì)論壇：負(fù)責(zé)任地采用人工智能私營(yíng)部門采購人工智能解決方案的指導(dǎo)方針行業(yè)：洞察報(bào)告3.4開發(fā)人員和系統(tǒng)運(yùn)營(yíng)商應(yīng)根據(jù)風(fēng)險(xiǎn)偏好持續(xù)監(jiān)控和審查其系統(tǒng)基礎(chǔ)設(shè)施。重要的是要認(rèn)識(shí)到，盡管應(yīng)用了控制措施來減輕風(fēng)險(xiǎn)，但人工智能系統(tǒng)仍將存在更高的風(fēng)險(xiǎn)剩余風(fēng)險(xiǎn)可能會(huì)被惡意行為者利用，特別是當(dāng)不斷變化的威脅引入新的漏洞或放大現(xiàn)有漏洞時(shí)，可能會(huì)導(dǎo)致潛在的漏洞、中斷或AI完整性受損。建立持續(xù)的人工智能風(fēng)險(xiǎn)監(jiān)控控制：實(shí)施人工智能發(fā)展的定期審查流程，以確定新出現(xiàn)的漏洞、改進(jìn)的緩解技術(shù)或人工智能模型的進(jìn)步是否需要更新風(fēng)險(xiǎn)評(píng)估控制。1.聊天機(jī)器人應(yīng)用程序：威脅情報(bào)源報(bào)告說，即時(shí)注入攻擊，包括使用表情包繞過安全措施等先進(jìn)技術(shù)，突然在黑客社區(qū)中流行起來。由于網(wǎng)站和應(yīng)用程序面臨著對(duì)這些漏洞的廣泛探測(cè)，該組織通過開發(fā)和部署內(nèi)部護(hù)欄來檢測(cè)和阻止此類攻擊來降低風(fēng)險(xiǎn)2.ML欺詐檢測(cè)：用于欺詐檢測(cè)的第三方模型的更新版本3.LLM平臺(tái)：一份新的政府報(bào)告強(qiáng)調(diào)了與音頻生成相關(guān)的風(fēng)險(xiǎn)，例如語音克隆繞過語音認(rèn)證系統(tǒng)的潛力作為回應(yīng)，該平臺(tái)開發(fā)了新的保障措施，以防止濫用其音頻生成功能。4.開放訪問LLM模型：對(duì)一份新研究論文的回顧展示了一種新的攻擊向量到越獄模型，需要開發(fā)額外的安全功能。.MITREAI風(fēng)險(xiǎn)數(shù)據(jù)庫.NISTSP800-137.聯(lián)邦信息系統(tǒng)和組織的信息安全持續(xù)監(jiān)控.NCSC預(yù)警.NCSC-威脅情報(bào)原則4：讓人類對(duì)AI系統(tǒng)負(fù)責(zé)規(guī)定相關(guān)威脅/風(fēng)險(xiǎn)示例措施/控制參考/資源4.1在設(shè)計(jì)人工智能系統(tǒng)時(shí)，開發(fā)人員和/或系統(tǒng)運(yùn)營(yíng)商應(yīng)整合并維護(hù)能夠?qū)崿F(xiàn)人類監(jiān)督的功能。如果沒有內(nèi)置的人類監(jiān)督，人工智能系統(tǒng)將生成難以解釋、驗(yàn)證或推翻的錯(cuò)誤輸出或決策，從而增加數(shù)據(jù)保護(hù)合規(guī)性的風(fēng)險(xiǎn)，產(chǎn)生意外后果，實(shí)現(xiàn)人類監(jiān)督機(jī)制：控制：實(shí)現(xiàn)允許人類操作員輕松解釋、驗(yàn)證和處理AI輸出的功能，包括手動(dòng)釋放和覆蓋。確保設(shè)計(jì)符合英國GDPR第22條中關(guān)于自動(dòng)決策的義務(wù)，并鼓勵(lì)有意義的人類決策，而不是被動(dòng)接受AI建議。1.聊天機(jī)器人應(yīng)用程序：對(duì)于允許聊天機(jī)器人采取自主行動(dòng)的新功能，例如安排約會(huì)或訂購辦公用品，由于其影響低至中等，因此已應(yīng)用覆蓋控制來取消約會(huì)或訂單。相比之下，向客戶提供個(gè)性化套餐的功能具有很高的聲譽(yù)和法律風(fēng)險(xiǎn)，因此已通過操作員審查和批準(zhǔn)界面實(shí)施手動(dòng)發(fā)布控制。.ICOAI審計(jì)框架工具包-人類審查.ICO關(guān)于人工智能和數(shù)據(jù)保護(hù)的指導(dǎo)-英國GDPR第22條對(duì)公平性有什么影響？.CSA關(guān)于保護(hù)AI系統(tǒng)的配套指南，第2.2.4節(jié)操作和維護(hù)濫用或有害影響2.ML欺詐檢測(cè)：實(shí)施SHAP（SHapley加法解釋）或LIME（本地可解釋模型不可知解釋）等解釋技術(shù)，使運(yùn)營(yíng)商能夠了解每個(gè)決策背后的關(guān)鍵因素，并在必要時(shí)進(jìn)行干預(yù)，以符合英國GDPR第22條，該條授予個(gè)人不受僅基于自動(dòng)處理的決定的影響的權(quán)利，這些自動(dòng)處理會(huì)產(chǎn)生與他們有關(guān)的法律效力或?qū)λ麄儺a(chǎn)生重大影響。3.LLM平臺(tái)：包含一個(gè)功能，允許人類主持人在發(fā)布之前審查4.開放獲取LLM模型：為用戶提供工具來標(biāo)記和報(bào)告不適當(dāng)或有害的AI生成的內(nèi)容，促進(jìn)人工監(jiān)督和持續(xù)改進(jìn)模型的輸出。.NISTIR8312：四個(gè)可解釋的人工智能.NCSC機(jī)器學(xué)習(xí)原理NCSC安全AI系統(tǒng)開發(fā)、安全操作和維護(hù)指南。測(cè)量和驗(yàn)證人類監(jiān)督?jīng)Q策的準(zhǔn)確性：定期測(cè)試和測(cè)量人類監(jiān)督?jīng)Q策的準(zhǔn)確性，驗(yàn)證操作員是否能夠正確解釋AI輸出并采取行動(dòng)，并確定需要改進(jìn)的領(lǐng)域。不僅要評(píng)估個(gè)人表現(xiàn)，還要評(píng)估系統(tǒng)如何支持人類的理解和參與，以促進(jìn)操作員和人工智能之間有效的社會(huì)技術(shù)溝通。1.聊天機(jī)器人應(yīng)用程序：對(duì)于聊天機(jī)器人應(yīng)用程序的招聘版本，定期審查人工智能自動(dòng)標(biāo)記為不適合評(píng)估人類操作員是否識(shí)別操作員行為中的誤解或偏見模式，并使用這些見解來完善培訓(xùn)、決策指南或AI的推薦標(biāo)準(zhǔn)。2.ML欺詐檢測(cè)：測(cè)試人工審核人員是否準(zhǔn)確驗(yàn)證標(biāo)記的交易，確保他們能夠有效區(qū)分真正的欺詐案例和誤報(bào)。3.LLM平臺(tái)：評(píng)估運(yùn)營(yíng)商如何識(shí)別和糾正平臺(tái)生成的有偏見或4.開放獲取LLM模型：這是一個(gè)很好的有一個(gè)小組織，在這種情況公司可以進(jìn)行實(shí)驗(yàn)以評(píng)估模型響應(yīng)和來自操作員的關(guān)于如何如上所述進(jìn)行改進(jìn)的反饋.ICOAI審計(jì)框架工具包-人類審查.ICO：解釋用AI做出的.NISTIR8312：四個(gè)可解釋的人工智能4.2開發(fā)人員應(yīng)該設(shè)計(jì)系統(tǒng)，使人類能夠輕松評(píng)估他們?cè)谒鱿到y(tǒng)中負(fù)責(zé)的輸出（例如通過確保模型輸出是可解釋或可解釋如果沒有清晰和易用性，用戶可能無法有效地進(jìn)行監(jiān)督，從而導(dǎo)致故障和傷害。開發(fā)用戶友好的人類責(zé)任UI：實(shí)現(xiàn)UI，清晰地顯示輸出，決策原理和日志，以便人類操作員輕松評(píng)估輸出并了解其責(zé)任。確保系統(tǒng)的設(shè)計(jì)鼓勵(lì)人類進(jìn)行嚴(yán)格的評(píng)估，而不是讓他們簡(jiǎn)單地點(diǎn)擊批準(zhǔn)按鈕。1.聊天機(jī)器人應(yīng)用程序：隨著聊天機(jī)器人擴(kuò)展到涵蓋新的案例，對(duì)現(xiàn)有使用情況的研究將在UX庫中進(jìn)行分析和整合，以實(shí)現(xiàn)監(jiān)督和人類責(zé)任功能的一致實(shí)施2.ML欺詐檢測(cè)：包括一個(gè)儀表板，顯示標(biāo)記的交易，并解釋模型的決策因素，為審查提供清晰的界面。ICO：解釋用AI做出的NISTIR8312：四個(gè)可解釋的商業(yè)智能.LLM中置信度評(píng)分的多重校準(zhǔn)3.LLM平臺(tái)：審查可解釋性審查，并為API請(qǐng)求提供Web界面，4.開放獲取LLM模型：提供一個(gè)API，可以選擇接收對(duì)法律查詢的回復(fù)從理解到使用：大型語言模型4.3如果人為監(jiān)督是一種風(fēng)險(xiǎn)控制，開發(fā)人員和/或系統(tǒng)運(yùn)營(yíng)商應(yīng)設(shè)計(jì)、開發(fā)、驗(yàn)證和維護(hù)技術(shù)措施，以通過此類監(jiān)督降低風(fēng)無效的監(jiān)督技術(shù)措施可能會(huì)通過過度負(fù)擔(dān)或未能充分支持人類審查人員而損害風(fēng)險(xiǎn)降低工作。實(shí)施監(jiān)督控制的驗(yàn)證和執(zhí)行設(shè)計(jì)和實(shí)施技術(shù)措施，提供護(hù)欄，以幫助人類審查人員理解，解釋和處理AI輸出。1.聊天機(jī)器人應(yīng)用程序：對(duì)于可以做出自動(dòng)分類決策的聊天機(jī)器人，為人類評(píng)論者提供聊天機(jī)器人分類決策的推理摘要（例如，關(guān)鍵用戶輸入），并允許他們?cè)谏?jí)之前調(diào)整或推翻決策。2.ML欺詐檢測(cè)：為審查人員提供按風(fēng)險(xiǎn)級(jí)別優(yōu)先排序的標(biāo)記交易，并附有可解釋的見解（例如，影響欺詐評(píng)分的關(guān)鍵特征3.LLM平臺(tái)：集成基于API的護(hù)欄，自動(dòng)標(biāo)記包含敏感信息或潛在偏見的AI生成的內(nèi)容，提供評(píng)分作為人類評(píng)審員的4.開放獲取LLM模型：使用額外的安全功能訓(xùn)練模型，以應(yīng)用AI安全措施，例如對(duì)抗性魯棒性檢查，以及潛在誤導(dǎo)或有害輸出的警告機(jī)制。這些措施可能包括應(yīng)用置信度閾值、記錄標(biāo)記的輸出以及確保模型響應(yīng)與合規(guī)策略一致。.ICOAI審計(jì)框架工具包-人類審查.為大型語言模型4.4開發(fā)人員應(yīng)驗(yàn)證數(shù)據(jù)托管人指定的安全控制是否已內(nèi)置到系統(tǒng)中。如果不對(duì)數(shù)據(jù)托管控制進(jìn)行驗(yàn)證，系統(tǒng)可能缺乏必要的數(shù)據(jù)保護(hù)和治理措施，從而可能導(dǎo)致安全漏洞或不符合監(jiān)管規(guī)定。進(jìn)行保管員驗(yàn)證驗(yàn)證數(shù)據(jù)保管員指定的所有控制措施是否已正確實(shí)施，并通過測(cè)試驗(yàn)證有效性以及是否符合數(shù)據(jù)保護(hù)要求和指南。1.Chatbot應(yīng)用程序：通過實(shí)施自動(dòng)數(shù)據(jù)清除機(jī)制并進(jìn)行定期審計(jì)以確認(rèn)合規(guī)性，確保數(shù)據(jù)保留策略符合數(shù)據(jù)托管人的規(guī)范2.ML欺詐檢測(cè)：確認(rèn)數(shù)據(jù)托管人指定的數(shù)據(jù)匿名控制措施3.LLM平臺(tái)：通過執(zhí)行滲透測(cè)試和安全評(píng)估，確認(rèn)LLM平臺(tái)API端點(diǎn)的訪問控制和加密協(xié)議符合數(shù)據(jù)托管人的要求4.開放訪問LLM模型：通過審查數(shù)據(jù)收集流程并進(jìn)行合規(guī)性檢查，驗(yàn)證模型的培訓(xùn)數(shù)據(jù)是否符合數(shù)據(jù)托管人關(guān)于數(shù)據(jù)來源和同意的指南.ICO：審計(jì).ICO：審計(jì)，人工智能審計(jì)4.5開發(fā)人員和系統(tǒng)運(yùn)營(yíng)商應(yīng)使最終用戶了解人工智能系統(tǒng)的禁止用例。如果沒有關(guān)于禁止使用的明確溝通，用戶可能會(huì)無意中記錄和培訓(xùn)用戶禁用用例：明確定義和記錄AI系統(tǒng)的禁用用例，確保最終用戶了解限制和約束。使用威脅建模來識(shí)別并告知用戶所有已知的有害狀態(tài)和未緩解的風(fēng)險(xiǎn)。.ICO問責(zé)制和治理對(duì)AI的濫用人工智能系統(tǒng)，導(dǎo)致法律、道德或運(yùn)營(yíng)風(fēng)險(xiǎn)。1.聊天機(jī)器人應(yīng)用程序：在應(yīng)用程序的文檔摘要使用中，在每次對(duì)話和在線文檔開始時(shí)引導(dǎo)用戶不要上傳機(jī)密內(nèi)部文檔，并解釋數(shù)據(jù)記憶和泄漏的風(fēng)險(xiǎn)。2.ML欺詐檢測(cè)：威脅建模已經(jīng)確定，人工智能可能會(huì)被濫用，在未經(jīng)同意的情況下監(jiān)控一個(gè)人的消費(fèi)習(xí)慣。記錄并告知操作員，禁止將系統(tǒng)用于不合規(guī)相關(guān)的監(jiān)督。提供有關(guān)道德界限的培訓(xùn)，并執(zhí)行合規(guī)審計(jì)，以確保正確使用。3.LLM平臺(tái)：在API的使用策略和TC中記錄禁止的用例。4.開放獲取LLM模型：威脅建模強(qiáng)調(diào)，開放獲取LLM可以進(jìn)行微調(diào)或部署，以產(chǎn)生錯(cuò)誤信息或操縱公眾輿論。在許可條款和文檔中明確說明使用模型進(jìn)行錯(cuò)誤信息活動(dòng)或惡意自動(dòng)化（例如，網(wǎng)絡(luò)釣魚詐騙）是嚴(yán)格的嚴(yán)禁監(jiān)控被禁止的用例：實(shí)施控制以主動(dòng)監(jiān)控、檢測(cè)和防止被禁止的用例。1.聊天機(jī)器人應(yīng)用程序：實(shí)施護(hù)欄，以檢測(cè)和阻止使用個(gè)人數(shù)據(jù)，并通過額外的自動(dòng)化測(cè)試和定期日志審計(jì)提供支持。2.ML欺詐檢測(cè)：實(shí)施對(duì)未經(jīng)授權(quán)訪問模式的監(jiān)控或觸發(fā)升級(jí)警報(bào)的分析3.LLM平臺(tái)：使用微調(diào)來添加阻止禁止用例的安全措施，API護(hù)欄來檢測(cè)和防止誤用，活動(dòng)監(jiān)控，并輸出水印來檢測(cè)禁止情況下的誤用。4.開放訪問LLM模型：Finetune實(shí)施安全措施以檢測(cè)和阻止禁止的使用，并通過水印模型輸出來識(shí)別釣魚攻擊中的誤用。.ETSITR104032-保護(hù)人工智能（SAI）;AI模型的可追溯性-5.3水印.NISTAIRMF行動(dòng)手冊(cè).OWASPTop10forLLM申請(qǐng).OWASPAIExchange.為大型語言模型.OWASP-LLM和生成式AI安全解決方案前景原則5：識(shí)別、跟蹤和保護(hù)您的資產(chǎn)規(guī)定相關(guān)威脅/風(fēng)險(xiǎn)示例措施/控制參考/資源5.1開發(fā)人員、數(shù)據(jù)托管人和系統(tǒng)運(yùn)營(yíng)商應(yīng)維護(hù)其資產(chǎn)的全面清單（包括其如果沒有對(duì)人工智能資產(chǎn)及其依賴關(guān)系的清晰理解，組織可能無法提供保護(hù)冒著暴露建立AI資產(chǎn)清單：創(chuàng)建并維護(hù)一個(gè)集中式清單，記錄所有AI資產(chǎn)，包括數(shù)據(jù)集、模型、軟件依賴關(guān)系、硬件資源和系統(tǒng)配置。1.聊天機(jī)器人應(yīng)用程序：記錄為不同用例、訓(xùn)練數(shù)據(jù)集、軟件庫和使用的API定制的所有聊天機(jī)器人版本。包括用于RAG和/或嵌入生成的組件.NCSC機(jī)器學(xué)習(xí)原則，2.3管理模型和數(shù)據(jù)集的整個(gè)生命周期.NCSC安全AI系統(tǒng)相互依賴性/連通他們的人工智能系統(tǒng)面臨未經(jīng)授權(quán)的訪問、數(shù)據(jù)泄露以及外部攻擊的脆弱性。2.ML欺詐檢測(cè)：使用所有正在使用的AI模型的詳細(xì)注冊(cè)表，列出模型版本，源，用于訓(xùn)練的數(shù)據(jù)集，以及進(jìn)行的任何更新或再培訓(xùn)這包括在模型的開發(fā)或運(yùn)行中使用的軟件庫。作為可選的保障措施，使用腳本和掃描工具生成MLBOM作為機(jī)器可讀的庫存列表3.LLM平臺(tái)：使用與欺詐檢測(cè)示例中相同的方法。4.開放訪問LLM模型：使用與欺詐檢測(cè)示例中相同的方法。發(fā)展，安全發(fā)展。CSA人工智能系統(tǒng)安全指南，第2.2.2節(jié)開發(fā)，項(xiàng)目2.35.2作為更廣泛的軟件安全實(shí)踐的一部分，開發(fā)人員，數(shù)據(jù)托管人和系統(tǒng)運(yùn)營(yíng)商應(yīng)擁有流程和工具來跟蹤，驗(yàn)證，管理版本控制，并保護(hù)其資產(chǎn)，因?yàn)锳I特定資產(chǎn)的復(fù)雜性增加。如果沒有安全的跟蹤、版本控制和身份驗(yàn)證，人工智能系統(tǒng)可能容易受到未經(jīng)授權(quán)的更改、數(shù)據(jù)完整性問題和版本沖突的影響，從而影響可靠性和安全性。這一點(diǎn)因Gen.AI工具和模型的快速變化而加劇。實(shí)施AI資產(chǎn)跟蹤使用版本控制和MLOps系統(tǒng)來管理和跟蹤AI資產(chǎn)的更改，包括模型、數(shù)據(jù)集和相關(guān)軟件組件，確保透明度和回滾能力。1.ChatbotApp：使用Git跟蹤會(huì)話流和訓(xùn)練數(shù)據(jù)集的更改使用內(nèi)部軟件包存儲(chǔ)庫鏡像用于組件。2.ML欺詐檢測(cè)：版本控制可以跟蹤訓(xùn)練數(shù)據(jù)更新，捕獲修改以確?？勺匪菪院蛿?shù)據(jù)完整性，而模型注冊(cè)表也類似地用于模型。組件使用內(nèi)部軟件包存儲(chǔ)庫鏡像。3.LLM平臺(tái)：實(shí)施欺詐檢測(cè)示例中描述的相同跟蹤，并根據(jù)CISA聯(lián)合網(wǎng)絡(luò)安全信息-部署AI系統(tǒng)安全建議，使用單獨(dú)的專用飛地將供應(yīng)商保存模型權(quán)重保存在受保護(hù)和隔離的存儲(chǔ)中4.開放訪問LLM模型：實(shí)現(xiàn)模型注冊(cè)表和腳本，以記錄版本化的訓(xùn)練數(shù)據(jù)集，模型權(quán)重和配置文件。使用基于哈希的驗(yàn)證來檢測(cè)對(duì)公共共享資產(chǎn)的未經(jīng)授權(quán)的修改保護(hù)包依賴關(guān)系文件（例如，requirements.txt），并為每個(gè)版本保留一個(gè)軟件包副本。參見“建立人工智能資產(chǎn)清單”中的參考資料對(duì)資產(chǎn)進(jìn)行身份驗(yàn)證、授權(quán)和記錄訪問實(shí)施嚴(yán)格的訪問控制和身份驗(yàn)證協(xié)議，將資產(chǎn)修改限制在僅記錄任何訪問的授權(quán)人員。1.Chatbot應(yīng)用程序：RAG中使用的系統(tǒng)提示、提示模板、數(shù)據(jù)集和2.ML欺詐檢測(cè)：使用RBAC以及通過API和CI管道限制對(duì)訓(xùn)練數(shù)據(jù)集和模型的訪問，并對(duì)關(guān)鍵資產(chǎn)進(jìn)行適當(dāng)?shù)呐鷾?zhǔn)。對(duì)敏感數(shù)據(jù)集的所有訪問事件都將被記錄，并針對(duì)未經(jīng)授權(quán)的用戶的訪問嘗試或異常訪問模式觸發(fā)警報(bào)當(dāng)模型或數(shù)據(jù)在流程外更新時(shí)觸發(fā)警報(bào)。3.LLM平臺(tái)：請(qǐng)參閱此控件的欺詐檢測(cè)示例。4.開放訪問LLM模型：請(qǐng)參閱此控制的欺詐檢測(cè)示例。5.3系統(tǒng)運(yùn)營(yíng)商應(yīng)制定和定制其災(zāi)難恢復(fù)計(jì)劃，以應(yīng)對(duì)針對(duì)人工智能系統(tǒng)的特定攻擊。如果沒有量身定制的災(zāi)難恢復(fù)，人工智能系統(tǒng)可能會(huì)對(duì)數(shù)據(jù)中毒或大型語言模型（LLM）武器化等事件毫無準(zhǔn)備，從而使組織容易受到長(zhǎng)時(shí)間中斷的影響，導(dǎo)致數(shù)據(jù)泄漏，拒絕服務(wù)或模型性能受損。保持可靠的已知良好狀態(tài)可能具有挑戰(zhàn)性，特別是對(duì)于不斷學(xué)習(xí)的模型或頻繁更新的系統(tǒng)，這增加了丟失的風(fēng)險(xiǎn)。數(shù)據(jù)完整性將AI特定的威脅場(chǎng)景納入恢復(fù)計(jì)劃：更新災(zāi)難恢復(fù)計(jì)劃以解決AI特定的風(fēng)險(xiǎn)，包括對(duì)抗性攻擊、數(shù)據(jù)中毒和模型漂移，并確保為快速恢復(fù)做好準(zhǔn)備。1.聊天機(jī)器人應(yīng)用程序：包括一個(gè)恢復(fù)計(jì)劃，以解決對(duì)抗性攻擊，例如通過維護(hù)回退機(jī)制暫時(shí)禁用自動(dòng)響應(yīng)，同時(shí)恢復(fù)完整性，提示注入以損害聊天機(jī)器人響應(yīng)。2.ML欺詐檢測(cè)：為數(shù)據(jù)中毒事件制定恢復(fù)計(jì)劃，包括手動(dòng)備份過程以維持操作，直到恢復(fù)具有可靠檢測(cè)和對(duì)抗魯棒性的測(cè)試模型檢查點(diǎn)。3.LLM平臺(tái)：與欺詐檢測(cè)類似的方法;考慮通過使用備份基礎(chǔ)設(shè)施（“高可用性”）或占位符來快速部署經(jīng)過測(cè)試的模型版本，以確保4.開放訪問LLM模型：如果發(fā)現(xiàn)中毒或其他可利用的AI漏洞，決定如何回滾到模型或數(shù)據(jù)的以前健康自動(dòng)執(zhí)行還原備份的過程以加快恢復(fù)速度。.CISA，JCDC，政府和行業(yè)合作伙伴進(jìn)行AI桌面演習(xí)5.3.1系統(tǒng)操作員應(yīng)確?？苫謴?fù)已知的良好狀態(tài)。