WDTA -生成式AI應(yīng)用程序安全測(cè)試和驗(yàn)證標(biāo)準(zhǔn)（英譯中）

生成式AI應(yīng)用程序安全測(cè)試和驗(yàn)證標(biāo)準(zhǔn)世界數(shù)字技術(shù)學(xué)院標(biāo)準(zhǔn)世界數(shù)字技術(shù)標(biāo)準(zhǔn)WDTAAI-STR-01被指定為WDTA規(guī)范。本文件是世界數(shù)字技術(shù)學(xué)院(WDTA)的財(cái)產(chǎn)，受國(guó)際版權(quán)法保護(hù)。未經(jīng)WDTA事先書面許可，禁止使用本文檔，包括復(fù)制、修改、分發(fā)或重新發(fā)布。WDTA不世界數(shù)字技術(shù)學(xué)院(WDTA)致力于成為全球數(shù)字技術(shù)創(chuàng)新的開拓者，與作為非政府組織的聯(lián)合國(guó)框架保持一致。WDTA堅(jiān)持其3s原則-速度，安全，共享-致力于加速數(shù)字規(guī)范的創(chuàng)建，帶頭通過(guò)合作努力，WDTA致力于推動(dòng)數(shù)字技術(shù)的發(fā)展，以改善社會(huì)計(jì)劃是WDTA國(guó)際計(jì)劃的核心部分，旨在解決人工智能系統(tǒng)擴(kuò)散帶來(lái)的復(fù)雜挑戰(zhàn)。認(rèn)識(shí)到術(shù)在全球范圍內(nèi)的快速擴(kuò)展和整合，AISTR本標(biāo)準(zhǔn)文檔提供了一個(gè)框架，用于測(cè)試和驗(yàn)證生成式AI應(yīng)用程序的安全性。該框架涵蓋了AI應(yīng)用程序生命周期中的關(guān)鍵領(lǐng)域，包括基本模型選擇，檢索增強(qiáng)生成設(shè)計(jì)模式中的嵌入和矢量數(shù)據(jù)庫(kù)，提示執(zhí)行/推理，代理行為，微調(diào)，響應(yīng)處理和AI應(yīng)用程序運(yùn)行時(shí)安全性。主要目標(biāo)是確保AI應(yīng)用程序在其整個(gè)生命周期中按照其預(yù)期設(shè)計(jì)安全運(yùn)行。通過(guò)為AI應(yīng)用程序堆棧的每一層提供一套測(cè)試和驗(yàn)證標(biāo)準(zhǔn)和指南，重點(diǎn)關(guān)注安全性和合規(guī)性，本文檔旨在幫助開發(fā)人員和組織增強(qiáng)使用llm構(gòu)建的AI應(yīng)用程序的安全性和可靠性，減輕潛在的安全風(fēng)險(xiǎn)，提高整體質(zhì)AISTR計(jì)劃代表了我們?nèi)绾翁幚鞟I技術(shù)的開發(fā)和部署的范式轉(zhuǎn)變。倡導(dǎo)人工智能系統(tǒng)中的安全、信任和責(zé)任，為更道德、安全和公平的數(shù)字未來(lái)奠定了基礎(chǔ)，在未來(lái)，人工智能技術(shù)是進(jìn)步的推動(dòng)者，而不是不確定性和傷害的來(lái)源。生成式AI應(yīng)用程序安全測(cè)試和驗(yàn)證標(biāo)準(zhǔn)是AI致謝WDTAAISTR工作組聯(lián)合主席主要作者道森廣告(OWASP?基礎(chǔ))審閱者郭建玲(百度)黃靜(科大訊飛)(OpenAI)(亞馬遜)王永霞(騰訊)1生成式AI應(yīng)用程序安全測(cè)試和驗(yàn)證標(biāo)準(zhǔn)生成式AI應(yīng)用程序安全測(cè)試和驗(yàn)證標(biāo)準(zhǔn)文檔概述了一個(gè)全面的框架，用于測(cè)AI應(yīng)用程序的安全性，特別是那些使用大型語(yǔ)言模型(llm)構(gòu)建的應(yīng)用程序。它定義了AI應(yīng)用程序堆棧各層的測(cè)試和驗(yàn)證范圍(圖1)。將生成的GenAI模型集成到更大的支持AI的系統(tǒng)或下游應(yīng)用程序中可能會(huì)引入安全問(wèn)題。因此，所有下游AI應(yīng)用程序都需要安全測(cè)試和標(biāo)準(zhǔn)驗(yàn)雖然本文檔作為初始版本，但其在本次迭代中的主要重點(diǎn)是LLM。但是，重要的是要注意范AI安全測(cè)試和驗(yàn)證協(xié)同工作，以確保AI應(yīng)用程序安全且按預(yù)期運(yùn)行。在可行的情況下，應(yīng)在整個(gè)開發(fā)生命周期中采用穩(wěn)健的方法，使用諸如快速注入，掃描和紅色團(tuán)隊(duì)練習(xí)之類的技術(shù)來(lái)主動(dòng)識(shí)別問(wèn)題。然而，單獨(dú)的測(cè)試有局限性，特別是對(duì)于第三方組件，測(cè)試可能是不可能的或有限的。在這種情況下，聘請(qǐng)專門審計(jì)AI治理、流程和程序的外部專家或組織組件的安全性極為重要。徹底審核AI應(yīng)用程序以檢查所有生命周期部署環(huán)境中對(duì)下游AI應(yīng)用程序的徹底檢查可確保遵守安全標(biāo)準(zhǔn)，即使在模型級(jí)別評(píng)估不充分的如此。具有強(qiáng)大測(cè)試實(shí)踐的集成保證方法以及對(duì)策略，流程和性能的持續(xù)驗(yàn)證，為系統(tǒng)繼續(xù)自主學(xué)習(xí)提供了負(fù)責(zé)任的AI結(jié)果的保證。它們共同提供有關(guān)系統(tǒng)優(yōu)缺點(diǎn)的信息，通2本規(guī)范涵蓋基于基本LLM模型構(gòu)建的下游應(yīng)用程序的安全測(cè)試，但不詳細(xì)說(shuō)明基本LLM模型本身的安全測(cè)試一下規(guī)范。將來(lái)要發(fā)布的單獨(dú)文檔將涵蓋專門針對(duì)基本LLM模型的安全測(cè)試基礎(chǔ)模型選擇:在選擇之前，應(yīng)檢查下游AI應(yīng)用的候選模型。本節(jié)介紹驗(yàn)證基本模型的合規(guī)性、適當(dāng)?shù)臄?shù)據(jù)使用和API安全性。該文件提供了指導(dǎo)，以確保所選擇的模型符合法律，道德和操作標(biāo)準(zhǔn)，這是確保AI應(yīng)用程序安全性的關(guān)鍵一步。范圍包括嵌入和矢量數(shù)據(jù)庫(kù):在大多數(shù)下游AI應(yīng)用程序中，這些都是關(guān)鍵組件，用于存儲(chǔ)和檢索語(yǔ)言數(shù)據(jù)塊。本文檔概述了測(cè)試數(shù)據(jù)完整性，質(zhì)量和匿名化過(guò)程的程序，以保護(hù)用戶隱私并遵守法規(guī)。該規(guī)范提供了測(cè)試矢量數(shù)據(jù)庫(kù)的機(jī)密性、提示和知識(shí)檢索與檢索增強(qiáng)生成(RAG):RAG可以顯著提高生成AI應(yīng)用程序的事實(shí)準(zhǔn)確性和可靠性，例如大型語(yǔ)言模型。它通過(guò)在文本生成期間實(shí)時(shí)地動(dòng)態(tài)合并從外部源提取的相關(guān)的、特定領(lǐng)域的知識(shí)來(lái)實(shí)現(xiàn)這一點(diǎn)。本節(jié)將指導(dǎo)有效提示的構(gòu)建、提示模板的創(chuàng)建和使用以及外部api的集成。它還包括測(cè)試矢量數(shù)據(jù)庫(kù)的檢索過(guò)程，確保AI應(yīng)用程序可以準(zhǔn)確地訪問(wèn)和利用相提示執(zhí)行/推理:文檔詳細(xì)介紹了提示執(zhí)行/推理層中LLMapi的測(cè)試過(guò)程，包括對(duì)緩存機(jī)制和驗(yàn)證過(guò)程的測(cè)試，以優(yōu)化性能和準(zhǔn)確性。此層還包括用于檢查提示和確保llm不被用于執(zhí)行未經(jīng)代理行為:這些是高級(jí)LLM應(yīng)用程序功能。該規(guī)范概述了對(duì)快速解釋，內(nèi)存利用率，知識(shí)應(yīng)用，計(jì)劃和動(dòng)作啟動(dòng)的測(cè)試。這包括測(cè)試集成到AI應(yīng)用程序中的工具微調(diào):通常會(huì)針對(duì)特定的下游AI應(yīng)用程序?qū)enAI模型進(jìn)行微調(diào)。本節(jié)包括數(shù)據(jù)隱私測(cè)試、基本模型選擇的重新評(píng)估和模型部署，以確保3響應(yīng)處理:對(duì)AI的響應(yīng)、相關(guān)性、毒性和倫理考慮進(jìn)行事實(shí)核查測(cè)試，以維護(hù)AI交互的可信和AI應(yīng)用程序運(yùn)行時(shí)安全性:運(yùn)行時(shí)安全性涉及對(duì)AI應(yīng)用程序的持續(xù)實(shí)時(shí)監(jiān)控。它涵蓋數(shù)據(jù)保護(hù)、模型安全、基礎(chǔ)設(shè)施安全以及審計(jì)跟蹤合規(guī)性。這確保了全面的安全方法，保護(hù)總體而言，生成式AI應(yīng)用程序安全測(cè)試和驗(yàn)證標(biāo)準(zhǔn)文檔提供了詳細(xì)和結(jié)構(gòu)化的方法來(lái)測(cè)試AI應(yīng)用程序堆棧的每一層，確保AI應(yīng)用程序的所有方面都經(jīng)過(guò)嚴(yán)格42.預(yù)期受眾本文檔的目標(biāo)受眾是參與確保生成式AI應(yīng)用程序的安全性和完整性的專業(yè)人員和利益相關(guān)AI安全工程師和分析師:主要負(fù)責(zé)實(shí)施和維護(hù)規(guī)范中概述的安全措施。他們?cè)u(píng)估AI應(yīng)用程序的威脅，設(shè)計(jì)安全架構(gòu)，并監(jiān)視系統(tǒng)以預(yù)防，檢測(cè)和響應(yīng)安全事件。這些工程師還會(huì)考慮偏見和人工智能開發(fā)人員、mlop和人工智能工程師:他們是構(gòu)建、維護(hù)和自動(dòng)化人工智能應(yīng)用程序工作流程的人。他們使用安全規(guī)范來(lái)理解并將安全最佳實(shí)踐集成到應(yīng)合規(guī)官和監(jiān)管專家:負(fù)責(zé)確保AI應(yīng)用程序符合不斷發(fā)展的法律和監(jiān)管標(biāo)準(zhǔn)的專業(yè)人員使用該規(guī)數(shù)據(jù)保護(hù)官:確保AI應(yīng)用程序安全地處理數(shù)據(jù)，并遵守?cái)?shù)據(jù)保護(hù)法律和政策。安全規(guī)范為他們IT和網(wǎng)絡(luò)管理員:這些管理員負(fù)責(zé)AI應(yīng)用程序的底層基礎(chǔ)架構(gòu)。這些專業(yè)人員將使用安全規(guī)范來(lái)保護(hù)網(wǎng)絡(luò)，服務(wù)器和其他組件，以防止不良行為者在AI相關(guān)風(fēng)險(xiǎn)管理專業(yè)人員:評(píng)估和管理與人工智能應(yīng)用相關(guān)的風(fēng)險(xiǎn)。安全規(guī)范幫助他們識(shí)別潛在的安道德審查委員會(huì):負(fù)責(zé)監(jiān)督人工智能道德使用的委員會(huì)依賴于安全規(guī)范，以確保人工智能應(yīng)用項(xiàng)目經(jīng)理和產(chǎn)品所有者:這些利益相關(guān)者確保AI項(xiàng)目安全高效地交付。安全規(guī)范指導(dǎo)他們?cè)O(shè)置5第三方或外部安全審核員和顧問(wèn):由這些專家對(duì)AI應(yīng)用程序的安全狀況進(jìn)行外部審查。他們使最終用戶或業(yè)務(wù)利益相關(guān)者:AI應(yīng)用程序的最終用戶或業(yè)務(wù)利益相關(guān)者雖然不直接參與實(shí)施安全性，但對(duì)這些系統(tǒng)的安全性具有既得利益。了解安全規(guī)范可以幫助他們?cè)u(píng)估AI應(yīng)用這些小組中的每一個(gè)都在確保AI應(yīng)用程序的安全性方面發(fā)揮著關(guān)鍵作用，從開發(fā)到部署和操3.規(guī)范性引用文件下面列出的參考文獻(xiàn)對(duì)于應(yīng)用和理解本文檔至關(guān)重要。它們提供了對(duì)安全和負(fù)責(zé)任地開發(fā)和部●拜登關(guān)于安全、可靠和值得信賴的人工智能的行政命令●NIST值得信賴和負(fù)責(zé)任的AINISTAI100-2e●MITRE阿特拉斯?(人工智能系統(tǒng)的對(duì)抗性威脅景觀)●降低檢索增強(qiáng)生成(RAG)LLM64.術(shù)語(yǔ)和定義代理行為:LLM應(yīng)用程序通過(guò)諸如內(nèi)存利用，知識(shí)應(yīng)用，計(jì)劃和執(zhí)行基于提示的操作來(lái)展示代AI應(yīng)用程序運(yùn)行時(shí)安全:為在操作期間保護(hù)AI應(yīng)用程序而實(shí)施的全面安全措施。它包括數(shù)據(jù)保人工智能治理:人工智能風(fēng)險(xiǎn)的框架、要求、監(jiān)督和問(wèn)責(zé)。這些結(jié)構(gòu)可以將風(fēng)險(xiǎn)映射到組織環(huán)AI響應(yīng)處理:處理和評(píng)估AI響應(yīng)的準(zhǔn)確性、相關(guān)性、無(wú)毒性、隱私性、保密性和道德一致性。API安全檢查:對(duì)與模型接口的API的安全措施進(jìn)行驗(yàn)證，如身份驗(yàn)證、授權(quán)和數(shù)據(jù)加密，以防基本語(yǔ)言模型:基本模型(有時(shí)稱為基礎(chǔ)模型)是一種大型語(yǔ)言模型，其原始模型構(gòu)建者已經(jīng)使用諸如從人類反饋(RLHF)的強(qiáng)化學(xué)習(xí)等技術(shù)對(duì)其進(jìn)行了一般功能的訓(xùn)練和微調(diào)。這些基本模型(例如OpenAI的GPT-4，Anthropic的Claude3，Google的Gemini1.5，CohereCommaAmazonTitan或Meta的開源LLaMA2)為進(jìn)一步的特定任務(wù)定制奠定了堅(jiān)實(shí)的基礎(chǔ)。通常，開發(fā)人員會(huì)調(diào)整基本模型輸出，以顯示廣泛的語(yǔ)言能力和對(duì)下游應(yīng)用程序中專業(yè)用例的適應(yīng)性。然后，工程師和公司將這些基本模型作為有效開發(fā)和部署針對(duì)其精確需求和應(yīng)用程序量身定制的AI解決方案的起點(diǎn)?；灸Ｐ拖藦念^開始訓(xùn)練完整模型的需要，提供了封閉和開源的基礎(chǔ)模型選擇:在考慮AI安全性的情況下選擇合適的基礎(chǔ)模型。選擇涉及評(píng)估諸如性能基準(zhǔn)，培訓(xùn)數(shù)據(jù)質(zhì)量，潛在偏差，安全程序，潛在有害輸出，預(yù)期用例和法規(guī)遵從性要求等因素?？煽康哪Ｐ蛠?lái)源，透明度，數(shù)據(jù)/培訓(xùn)方法的審核，跨職能審核流程以及遵守行為準(zhǔn)則是在負(fù)責(zé)任地部署llm時(shí)維護(hù)安全性，合規(guī)性和道德標(biāo)準(zhǔn)7緩存:用于存儲(chǔ)AI模型的推斷輸出的技術(shù)，以避免在推理過(guò)程中重復(fù)計(jì)算。由于深度神經(jīng)網(wǎng)絡(luò)模型的運(yùn)行計(jì)算成本很高，因此緩存其輸出可以在實(shí)時(shí)請(qǐng)求期間提供更快的響應(yīng)時(shí)間。典型的解決方案包括緩存聊天機(jī)器人的問(wèn)答對(duì)，計(jì)算機(jī)視覺模型的分類或大型語(yǔ)言緩存驗(yàn)證:在將AI應(yīng)用程序的緩存輸出返回給用戶之前，檢查其準(zhǔn)確性、相關(guān)性和安全性。這可能涉及置信度檢查，語(yǔ)義分析，敏感主題的輸入阻止或人工確認(rèn)。驗(yàn)證與緩存一起使用，以數(shù)據(jù)清理和匿名化:從數(shù)據(jù)中刪除不準(zhǔn)確和不一致之處，并匿名化個(gè)人或敏感信息，以維護(hù)隱數(shù)據(jù)使用檢查:確保用于培訓(xùn)和操作模型的數(shù)據(jù)是適當(dāng)?shù)?，符合道德?guī)范的，并符合數(shù)據(jù)保護(hù)外部API集成:將外部API集成到LLM應(yīng)用程序中，以增強(qiáng)功能，例如訪問(wèn)其他數(shù)據(jù)源或執(zhí)行專微調(diào):針對(duì)特定任務(wù)或數(shù)據(jù)集調(diào)整基于模型的過(guò)程，以提高性能，相關(guān)性和對(duì)數(shù)據(jù)隱私的合規(guī)LLM(大型語(yǔ)言模型):大型語(yǔ)言模型(LLM)是一種在大型文本語(yǔ)料庫(kù)上訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，通過(guò)預(yù)測(cè)下一個(gè)單詞或令牌來(lái)生成智能文本，從而允許開放式文本生成應(yīng)用程序，模型合規(guī)性檢查:評(píng)估所選模型是否符合法律、法規(guī)和道德標(biāo)準(zhǔn)。這包括數(shù)據(jù)隱私法和偏差最小化等考慮因素。請(qǐng)記住，合規(guī)性會(huì)隨著時(shí)間的推移而改變，不要假設(shè)它總是給定的。也不要推斷一個(gè)供應(yīng)商對(duì)另一個(gè)供應(yīng)商的合規(guī)性。模型本身很少經(jīng)過(guò)認(rèn)證，但它模型注冊(cè)表:用于存儲(chǔ)、版本控制和編目機(jī)器學(xué)習(xí)/AI模型和相關(guān)元數(shù)據(jù)(例如，模型卡)的數(shù)據(jù)庫(kù)、存儲(chǔ)庫(kù)或系統(tǒng)。模型花園是注冊(cè)表的一個(gè)精選版本，其中包含提供商的精選模型。它通8提示構(gòu)建和模板:為L(zhǎng)LM創(chuàng)建有效且安全的提示，并開發(fā)模板以標(biāo)準(zhǔn)化和提示處理:LLM解釋并處理提示以生成響應(yīng)的過(guò)程。此過(guò)程涉及理解提示，訪問(wèn)相關(guān)知識(shí)以及RAG，或檢索增強(qiáng)生成:檢索增強(qiáng)生成AI應(yīng)用程序的事實(shí)準(zhǔn)確性，如大型語(yǔ)言模型，通過(guò)從矢量數(shù)據(jù)庫(kù)中實(shí)時(shí)提取相關(guān)知識(shí)來(lái)增強(qiáng)它們。在推理期間，檢索器模塊首先使用生成器的內(nèi)部狀態(tài)向量來(lái)查詢存儲(chǔ)外部知識(shí)(文本、圖像等)的向量數(shù)據(jù)庫(kù)。然后，與生成上下文最相關(guān)的檢索到的向量與內(nèi)部狀態(tài)交叉，以產(chǎn)生下一個(gè)生成的輸出。這個(gè)過(guò)程動(dòng)態(tài)地使模型的生成更接近現(xiàn)實(shí)，糾正錯(cuò)誤的假設(shè)并減少幻覺內(nèi)容。這種可擴(kuò)展的檢索基礎(chǔ)結(jié)構(gòu)在開放式推理期間為生成器提供了相關(guān)外部數(shù)據(jù)的連續(xù)供應(yīng)。這種檢索增強(qiáng)的生成方法抵消了生成器的知識(shí)限制和捏造信息的趨勢(shì)，從而提高了開放域生成AI應(yīng)用程序中的事實(shí)一致矢量數(shù)據(jù)庫(kù):矢量數(shù)據(jù)庫(kù)充當(dāng)?shù)孛鎸?shí)況，幫助將知識(shí)擴(kuò)展到訓(xùn)練時(shí)間以外的運(yùn)行時(shí)間，并減少生成AI模型中的幻覺。它們?cè)试S將大量的真實(shí)世界數(shù)據(jù)(圖像、文本、分子結(jié)構(gòu)等)存儲(chǔ)為捕獲語(yǔ)義概念和特征的矢量表示。然后，這些矢量數(shù)據(jù)集在推理過(guò)程中充當(dāng)生成模型的參考，以使其輸出更接近現(xiàn)實(shí)，并避免制造錯(cuò)誤的細(xì)節(jié)(幻覺)。從生成模型輸向量匹配提供了一種檢測(cè)和過(guò)濾超分辨率內(nèi)容的自動(dòng)化方法。這個(gè)數(shù)據(jù)集條件對(duì)于生成AI的安全關(guān)鍵應(yīng)用至關(guān)重要，如藥物發(fā)現(xiàn)和內(nèi)容創(chuàng)建。優(yōu)化的矢量搜索和可擴(kuò)展性使PGvector，Milvus，Weaviate和Pinecone等數(shù)據(jù)庫(kù)非常適合為現(xiàn)實(shí)世界中部署的生成AI應(yīng)用程序啟用此類95.AI應(yīng)用安全和驗(yàn)證標(biāo)準(zhǔn)要確保AI應(yīng)用程序的安全性和完整性，需要對(duì)AI應(yīng)用程序堆棧中的所有組件進(jìn)行結(jié)構(gòu)化和嚴(yán)格的測(cè)試。全面的測(cè)試制度可以驗(yàn)證下游AI應(yīng)用程序的每個(gè)方面(從基礎(chǔ)模型選擇到運(yùn)行時(shí)安全性)是否按預(yù)期安全運(yùn)行，并且沒(méi)有漏洞。細(xì)致的測(cè)試規(guī)范設(shè)定了明確的要求，方法和預(yù)期結(jié)果，從而實(shí)現(xiàn)了透明的評(píng)估。本節(jié)提供了AI應(yīng)用程序體系結(jié)構(gòu)每一層的詳細(xì)測(cè)5.1基本模型選擇測(cè)試標(biāo)準(zhǔn)基礎(chǔ)模型選擇是確保AI應(yīng)用程序安全性和合規(guī)性的關(guān)鍵方面。選擇涉及對(duì)開源和閉源模型的不同考慮，認(rèn)識(shí)到雖然閉源模型可能有更容易獲得的合規(guī)性文檔，但開源模型可能缺乏已建立需要注意的是，基礎(chǔ)模型的測(cè)試和驗(yàn)證是一個(gè)持續(xù)的過(guò)程，尤其是在上游基礎(chǔ)情況下。隨著基礎(chǔ)模型的發(fā)展和更新，重新驗(yàn)證模型以確保它仍然滿足所需的安全性和合規(guī)性標(biāo)準(zhǔn)至關(guān)重要。這種持續(xù)的驗(yàn)證過(guò)程有助于維護(hù)AI應(yīng)用程序的完整性和可靠性，即使5.1.1模型合規(guī)性和上下文測(cè)試檢查模型合規(guī)性涉及每種模型類型的不同方法，并考慮其獨(dú)特的特要求:基于人工智能的模型，無(wú)論是開源還是閉源，都符合法律、監(jiān)方法:對(duì)于閉源模型，根據(jù)相關(guān)法律、行業(yè)法規(guī)和道德準(zhǔn)則，對(duì)供應(yīng)商提供的可用合規(guī)性文檔進(jìn)行詳細(xì)審查。為確保合規(guī)性，應(yīng)審查和評(píng)估模型的培訓(xùn)數(shù)據(jù)質(zhì)量(符合目的作參數(shù)和社區(qū)反饋。對(duì)已關(guān)閉模型的權(quán)限和訪問(wèn)權(quán)限可能會(huì)限制此評(píng)估。對(duì)于所有模型，模型卡1和數(shù)據(jù)報(bào)表等工具2為模型和數(shù)據(jù)文檔提供基準(zhǔn)。這可能包括與法律和行業(yè)專家進(jìn)行磋商，以解釋缺乏正式文件的領(lǐng)域的合規(guī)性。測(cè)試一下模型在特定任務(wù)上的準(zhǔn)確性、相關(guān)性、一致性和性能是否滿足預(yù)定要求。使用預(yù)設(shè)場(chǎng)景和數(shù)據(jù)集對(duì)模型進(jìn)行基準(zhǔn)測(cè)試，以衡量其性能和輸出有用于測(cè)試的資源，但它們的效用可能會(huì)隨著時(shí)間的推移而變化和降低。對(duì)于封閉和開源模型，都有許多公開可用的即時(shí)安全測(cè)試結(jié)果。由于它們使用不同的測(cè)試一下數(shù)據(jù)集，因此這些安全評(píng)估工作可能會(huì)為同一模型產(chǎn)生不同的結(jié)果。盡管如此，咨詢多個(gè)公開可用的結(jié)果可以指出LLM更有可能表現(xiàn)出哪種類型的有害行為。隨著新的故障模型和攻擊的發(fā)現(xiàn)，基準(zhǔn)也會(huì)隨著時(shí)間的推移而變化;考慮并報(bào)告用于評(píng)估模型的此外，識(shí)別并列出來(lái)自MITREAtlas等來(lái)源的已知漏洞(?)3、AV預(yù)期結(jié)果:基礎(chǔ)模型完全滿足所有法律、法規(guī)、安全和道德要求，無(wú)論其來(lái)源如何。對(duì)于閉源模型，任何不合規(guī)的領(lǐng)域都被明確標(biāo)識(shí)，對(duì)于開源模型，則會(huì)2.檢查模型卡中存在每個(gè)模型的上下文元數(shù)據(jù)，訓(xùn)練和微調(diào)的血統(tǒng)。模型卡提供每1./doi/10.1145/3287560.32875962./數(shù)據(jù)-報(bào)表//34https://avidml。組織/5https://airisk.io/6https://incidentdatabase.ai/要求:無(wú)論是開源還是閉源，AI模型都要有模型卡，詳細(xì)說(shuō)明模型的來(lái)源、數(shù)據(jù)敏感度、訓(xùn)練方法:對(duì)所有模型(包括托管模型)的可用模型卡進(jìn)行詳細(xì)審查。確保模型卡具有模型沿襲和所有權(quán)的詳細(xì)信息。模型卡應(yīng)該能夠提供用于訓(xùn)練和微調(diào)的數(shù)據(jù)集(如果適用)。對(duì)于閉源模型，維護(hù)和管理模型卡作為模型管理員，所有權(quán)，預(yù)期結(jié)果:無(wú)論其來(lái)源如何，基本模型都具有模型應(yīng)5.1.2數(shù)據(jù)使用檢查測(cè)試方法:對(duì)敏感數(shù)據(jù)和個(gè)人數(shù)據(jù)的用戶提示實(shí)施數(shù)據(jù)匿名化或偽匿名化技術(shù)。進(jìn)行定期審核，以確保有效地掩蓋個(gè)人標(biāo)識(shí)符。此外，請(qǐng)確保存儲(chǔ)的提示和輸出不超過(guò)策略指定的內(nèi)容。這可以限制存儲(chǔ)的內(nèi)容和存儲(chǔ)時(shí)間的長(zhǎng)度。進(jìn)行對(duì)抗性測(cè)試以檢查數(shù)據(jù)是否泄漏，使用方法(例如，預(yù)期結(jié)果:在不泄露個(gè)人身份的情況下處理用戶提示，確保隱私并遵守?cái)?shù)據(jù)保護(hù)法。如果需2.在處理和使用數(shù)據(jù)時(shí)保持道德完整性和法律方法:根據(jù)道德標(biāo)準(zhǔn)和法律要求制定數(shù)據(jù)使用指南。執(zhí)行常規(guī)合規(guī)性檢查和審核，以監(jiān)控對(duì)這預(yù)期結(jié)果:來(lái)自用戶提示、微調(diào)訓(xùn)練數(shù)據(jù)和矢量數(shù)據(jù)庫(kù)的數(shù)據(jù)在道德和法律上使用，沒(méi)有濫用方法:獲得用戶同意，確保數(shù)據(jù)透明度，并為用戶提供對(duì)其數(shù)據(jù)的控制。數(shù)據(jù)最小化僅收集必要的個(gè)人數(shù)據(jù)，并避免過(guò)度收集。通過(guò)技術(shù)手段最大限度地減少個(gè)人數(shù)據(jù)的使用和存儲(chǔ)時(shí)間。根據(jù)數(shù)據(jù)的敏感性采取差異化的隱私保護(hù)措施。定期對(duì)員工進(jìn)行數(shù)據(jù)保護(hù)法培訓(xùn)，并進(jìn)行合規(guī)性審計(jì)。實(shí)施響應(yīng)訪問(wèn)信息請(qǐng)求和被遺忘請(qǐng)預(yù)期結(jié)果:通過(guò)審計(jì)結(jié)果和用戶反饋，完全遵守GDPR或CCPA等4.使用數(shù)據(jù)沿襲和元數(shù)據(jù)的數(shù)據(jù)起源過(guò)直接或間接訪問(wèn)數(shù)據(jù)集的數(shù)據(jù)源、數(shù)據(jù)敏感性、合規(guī)方法:對(duì)數(shù)據(jù)卡和數(shù)據(jù)集進(jìn)行審查。驗(yàn)證每個(gè)數(shù)據(jù)集，尤其是那些用于訓(xùn)集，都有一個(gè)數(shù)據(jù)卡。確保數(shù)據(jù)卡具有數(shù)據(jù)集沿襲和維護(hù)和管理數(shù)據(jù)卡。數(shù)據(jù)卡中的集合和內(nèi)容將隨著數(shù)據(jù)管理員、所預(yù)期結(jié)果:無(wú)論其來(lái)源如何，基本模型都具有模型應(yīng)要求:AI應(yīng)用程序開發(fā)人員與基礎(chǔ)模型提供商之間的數(shù)據(jù)使用協(xié)議。這包括以證方法:對(duì)協(xié)議進(jìn)行審核，以驗(yàn)證各方均已正確識(shí)別，并且協(xié)議的范圍(包括特定的基礎(chǔ)模型或預(yù)期結(jié)果:協(xié)議準(zhǔn)確地確定了所有各方并概述了范圍，對(duì)所涉及的模型或數(shù)據(jù)集的模糊性較方法:對(duì)協(xié)議進(jìn)行詳細(xì)分析，以確保明確說(shuō)明和理解使用權(quán)和限制，包括對(duì)修改和重新分配的預(yù)期結(jié)果:對(duì)使用權(quán)有清晰的理解和文檔記錄，確保明確定義并遵守許可類型(排他性或非排方法:對(duì)處理用戶提示、精細(xì)圖靈訓(xùn)練數(shù)據(jù)和矢量數(shù)據(jù)庫(kù)內(nèi)容的流程進(jìn)行回顧。檢查數(shù)據(jù)匿名預(yù)期結(jié)果:數(shù)據(jù)處理方法完全符合協(xié)議和法律標(biāo)準(zhǔn)，并采用安全和方法:確認(rèn)協(xié)議清楚地概述了有關(guān)基礎(chǔ)模型、微調(diào)模型、輸入數(shù)據(jù)、微調(diào)數(shù)據(jù)和輸出數(shù)據(jù)的知識(shí)產(chǎn)權(quán)。檢查實(shí)踐中的合規(guī)性。此外，請(qǐng)查看模型提供者授予其用戶的任何賠償條款。通過(guò)審預(yù)期結(jié)果:尊重知識(shí)產(chǎn)權(quán)，并為使用、修改和重新分配模型輸出提供明確的指導(dǎo)方針。任何賠方法:對(duì)保密和保密條款的執(zhí)行情況進(jìn)行評(píng)估，尤其是對(duì)預(yù)期結(jié)果:嚴(yán)格遵守保密義務(wù)，根據(jù)組織關(guān)于處理公司機(jī)密信息和重大非公開信息的政策保護(hù)方法:審查組織處理與AI系統(tǒng)相關(guān)的責(zé)任和擔(dān)保的方法。評(píng)估組織為理解和實(shí)施相關(guān)術(shù)語(yǔ)，應(yīng)對(duì)潛在的模型故障或數(shù)據(jù)泄露以及遵守該領(lǐng)域適用的標(biāo)準(zhǔn)和法規(guī)而做出預(yù)期結(jié)果:本組織承諾盡其所能妥善管理負(fù)債和履行擔(dān)保，并制定旨在處理可能出現(xiàn)的任何問(wèn)題的政策和程序。我們努力遵守相關(guān)的行業(yè)標(biāo)準(zhǔn)、最佳做法和法律要求，以分配責(zé)任和補(bǔ)救失敗或違規(guī)行為，同時(shí)認(rèn)識(shí)到完美的執(zhí)行可能方法:對(duì)協(xié)議的終止和續(xù)約條件進(jìn)行審查，包括預(yù)期結(jié)果:定義明確的終止和續(xù)約條款，任何一方都可以遵循方法:在出現(xiàn)分歧或違約的情況下，檢查爭(zhēng)議解決條款并評(píng)估參與概方法:明確規(guī)定和理解管轄法律和管轄權(quán)，并檢查是否與開發(fā)或使用AI應(yīng)用程序的當(dāng)?shù)胤捎蓄A(yù)期結(jié)果:所有相關(guān)方簽字的具有法律約束力的協(xié)議，5.1.3基礎(chǔ)模型推理API安全測(cè)試本節(jié)概述了用于全面評(píng)估客戶端應(yīng)用程序如何與第三方模型推理API集成的特定測(cè)試規(guī)范。當(dāng)應(yīng)用程序與外部API交互時(shí)，這些測(cè)試至關(guān)重要，需要采用與傳統(tǒng)API測(cè)試不同的方法。本節(jié)著重于從客戶端應(yīng)用程序的角度進(jìn)行測(cè)試，這與5.4.1節(jié)中概述的由API提供者進(jìn)行的測(cè)試不同。這種區(qū)別至關(guān)重要，因?yàn)槲覀冋谔幚韺⑹褂玫谌酵评韆pi的客戶端應(yīng)用程序。為此用為了確保采用全面和結(jié)構(gòu)化的方法來(lái)測(cè)試與第三方模型推理API集成的客戶端應(yīng)用程序的安全要求:必須對(duì)API的所有請(qǐng)求進(jìn)行身份驗(yàn)證和授權(quán)，以確?？蛻舳藢?duì)請(qǐng)求的資源具有權(quán)限和適方法:通過(guò)模擬各種身份驗(yàn)證場(chǎng)景，測(cè)試一下協(xié)議實(shí)現(xiàn)預(yù)期結(jié)果:客戶端必須在請(qǐng)求標(biāo)頭中包含有效的身份驗(yàn)證令牌，通常作為承載令牌。API應(yīng)使●403如果經(jīng)過(guò)身份驗(yàn)證的客戶端沒(méi)有執(zhí)行提供清晰簡(jiǎn)潔的錯(cuò)誤消息，以指示特定的授權(quán)問(wèn)題，例如缺要求:必須在所有狀態(tài)下應(yīng)用加密:傳輸中數(shù)據(jù)傳輸子要求:對(duì)通過(guò)網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)使用強(qiáng)大的加密協(xié)議，如TLS1.2或更高版本，以確保安全的機(jī)密性和完整性。實(shí)施完美的前向保密，以保護(hù)過(guò)去的加密通信免受解密，即使長(zhǎng)期密鑰受到損害。在傳輸之前，必須對(duì)敏感數(shù)據(jù)進(jìn)行加密，以確保在到達(dá)目方法:對(duì)基本模型推理API端點(diǎn)進(jìn)行全面的漏洞評(píng)估和滲透測(cè)試，以評(píng)估其抵御潛在攻擊的能力。確保其加密配置和加密協(xié)議是健壯和不可穿透的。持續(xù)監(jiān)控進(jìn)出端點(diǎn)的網(wǎng)絡(luò)流量，驗(yàn)證嚴(yán)格加密標(biāo)準(zhǔn)的執(zhí)行情況和安全協(xié)議的采用情況，例如最新的TLS版本，優(yōu)先考慮保持完美的前預(yù)期結(jié)果:使用符合當(dāng)前加密標(biāo)準(zhǔn)的最新安全協(xié)議對(duì)所有傳輸?shù)臄?shù)據(jù)進(jìn)行安全加密。加密密鑰應(yīng)在每個(gè)會(huì)話中動(dòng)態(tài)更改，以防止在將來(lái)的密鑰受到損數(shù)據(jù)靜態(tài)子要求:采用多層安全方法對(duì)敏感數(shù)據(jù)進(jìn)行去標(biāo)識(shí)，包括標(biāo)記化、匿名化和假名化。應(yīng)采用強(qiáng)大的加密標(biāo)準(zhǔn)，如AES-256或等效標(biāo)準(zhǔn)，以安全地存儲(chǔ)敏感數(shù)據(jù)，其中去識(shí)別敏感數(shù)據(jù)或個(gè)人信息是不可行的。加密密鑰應(yīng)與加密數(shù)據(jù)分開存儲(chǔ)，以增強(qiáng)安全性。必須實(shí)施嚴(yán)格的對(duì)于令牌化，請(qǐng)?jiān)u估令牌生成安全性和隨機(jī)性。評(píng)估令牌字典訪問(wèn)安全性。驗(yàn)證所有標(biāo)記化操作的日志記錄/審核。評(píng)估令牌數(shù)據(jù)映射的加密和訪問(wèn)控制。測(cè)試一下標(biāo)記化數(shù)據(jù)使用中的數(shù)對(duì)于匿名化，驗(yàn)證不可逆的匿名化和無(wú)法重新識(shí)別數(shù)據(jù)。檢查匿名數(shù)據(jù)是否用于預(yù)期目的。對(duì)具有風(fēng)格代表性的數(shù)據(jù)進(jìn)行風(fēng)險(xiǎn)分析，以進(jìn)行潛在的重新識(shí)別。回顧使用的匿名技術(shù)及其有效對(duì)于假名化，請(qǐng)確保假名的唯一性、安全性以及與源數(shù)據(jù)的分離。分析考慮數(shù)據(jù)相關(guān)性的重新數(shù)據(jù)應(yīng)在各種情況下得到充分保護(hù)，而不會(huì)損害其在合法業(yè)務(wù)流程中的實(shí)用性。根據(jù)數(shù)據(jù)敏感性，從匿名數(shù)據(jù)中重新識(shí)別個(gè)人的風(fēng)險(xiǎn)應(yīng)理想地介于0.04%和0.1%之間或更低。只有經(jīng)過(guò)授權(quán)的個(gè)人才能訪問(wèn)令牌或假名并將其鏈接到原始數(shù)據(jù)，并進(jìn)行從匿名或假名數(shù)據(jù)中重新識(shí)別個(gè)人實(shí)際上是不可能的，從數(shù)據(jù)在用子要求:對(duì)內(nèi)存中處理的敏感數(shù)據(jù)實(shí)施加密。應(yīng)用程序必須使用安全編碼實(shí)踐來(lái)防止內(nèi)存轉(zhuǎn)儲(chǔ)和側(cè)信道攻擊。應(yīng)采用最小特權(quán)原則來(lái)限制在處理過(guò)程中對(duì)敏感數(shù)據(jù)的訪問(wèn)。應(yīng)考慮提供機(jī)密計(jì)算聯(lián)盟定義的硬件信任根的機(jī)密計(jì)算硬方法:通過(guò)評(píng)估應(yīng)用程序和系統(tǒng)來(lái)驗(yàn)證內(nèi)存加密的有效性，以確認(rèn)它們?cè)趦?nèi)存中有效地加密了評(píng)估應(yīng)用程序如何處理內(nèi)存中的敏感數(shù)據(jù)，重點(diǎn)是防止通過(guò)內(nèi)存轉(zhuǎn)儲(chǔ)泄漏和測(cè)試一下是否存在側(cè)信道攻擊的漏洞，檢查如何處理數(shù)據(jù)并將其存儲(chǔ)在內(nèi)存中，以識(shí)別潛在的根據(jù)最小特權(quán)原則，審查用戶和進(jìn)程訪問(wèn)權(quán)限，以確保它們是最小的和必要的，以降低未經(jīng)授可信執(zhí)行環(huán)境(tee)提供安全執(zhí)行環(huán)境，在處理期間將敏感數(shù)據(jù)隔離在受保護(hù)的CPU飛地中。證明是機(jī)密計(jì)算的關(guān)鍵部分，允許從信任根(RoT)預(yù)期結(jié)果:在處理敏感數(shù)據(jù)時(shí)，確保數(shù)據(jù)保持加密、假名、匿名和安全。只有必要的用戶和進(jìn)程才能訪問(wèn)正在使用的敏感數(shù)據(jù)，并且必須嚴(yán)格控制和記錄此類訪問(wèn)。機(jī)密計(jì)算和TEE驗(yàn)證結(jié)方法:評(píng)估應(yīng)用程序處理和清理各種潛在攻擊向量的能力，包括超出通常用例參數(shù)的輸入。執(zhí)行模糊測(cè)試，該測(cè)試應(yīng)涵蓋API接口的所有功能點(diǎn)，包括各種HTTP方法(例如GET，POST，PUT，DELETE等)。執(zhí)行滲透和安全漏洞測(cè)試，例如SQL注入，跨站點(diǎn)腳本(XSS)，命令注預(yù)期結(jié)果:應(yīng)用程序有效地過(guò)濾和清理輸入，防止注入，不相關(guān)的輸入和其他數(shù)據(jù)操作攻擊。方法:信息泄露時(shí)，觸發(fā)錯(cuò)誤條件，分析日志。如果可能，在日志存儲(chǔ)之前自動(dòng)刪除敏感信預(yù)期結(jié)果:安全地處理錯(cuò)誤而不泄漏敏感數(shù)據(jù)，并方法:在變化的負(fù)載條件下測(cè)試一下應(yīng)用程序，以評(píng)估是否符合速率預(yù)期結(jié)果:應(yīng)用程序遵守速率限制并有效管要求:通過(guò)使用秘密管理方法將API密鑰和憑證存儲(chǔ)在安全保管庫(kù)中來(lái)安全地管理它們。API密鑰和機(jī)密必須定期輪換，不得超過(guò)180天，或在出現(xiàn)潛在危害跡象時(shí)立即輪換。輪換過(guò)程必須方法:通過(guò)實(shí)施安全保管庫(kù)來(lái)存儲(chǔ)和檢索API密鑰和憑證，確保它們不會(huì)暴露或泄露。觀察并驗(yàn)證安全密鑰管理流程，包括但不限于密鑰生成、密鑰輪換、禁用舊密鑰、密鑰銷毀和處理密鑰材料安全。采訪負(fù)責(zé)人員并審查培訓(xùn)材料，以確認(rèn)相關(guān)團(tuán)隊(duì)對(duì)安全API密鑰輪換和機(jī)密管理流程的認(rèn)識(shí)和理解。通過(guò)嘗試使用舊的/已撤銷的API密鑰和機(jī)密訪問(wèn)資源并驗(yàn)證訪問(wèn)是否被適當(dāng)預(yù)期結(jié)果:安全地存儲(chǔ)API密鑰和憑證，降低未經(jīng)授權(quán)訪問(wèn)要求:用于API通信的最新且安全的庫(kù)和依賴項(xiàng)。方法:進(jìn)行漏洞掃描在過(guò)時(shí)和不推薦使用的組件。預(yù)期結(jié)果:所有組件都是最新的，沒(méi)有方法:根據(jù)API的安全協(xié)議查看和測(cè)試一下應(yīng)用程預(yù)期結(jié)果:應(yīng)用程序符合API的所有指要求:對(duì)異常API活動(dòng)的有效監(jiān)控和強(qiáng)大方法:為intAPI輸入和輸出確定用例的正常API行為基線，包括相關(guān)性、典型請(qǐng)求率、響應(yīng)大小和模式。此基線有助于檢測(cè)異常，尤其是由審核或用例篩選api觸發(fā)的異常。保留詳細(xì)的日預(yù)期效果:應(yīng)用程序符合相關(guān)數(shù)據(jù)保護(hù)法規(guī)，有預(yù)期結(jié)果:對(duì)與API交互相關(guān)的安全問(wèn)題進(jìn)行持續(xù)5.2嵌入和矢量數(shù)據(jù)庫(kù)對(duì)于AI應(yīng)用程序的嵌入和矢量數(shù)據(jù)庫(kù)組件，測(cè)試5.2.1數(shù)據(jù)清理和匿名測(cè)試通過(guò)驗(yàn)證其清潔度和有效的匿名化來(lái)確保用于創(chuàng)建嵌入的數(shù)據(jù)的完要求:根據(jù)用例，確保用于創(chuàng)建嵌入的數(shù)據(jù)被有效地清理和匿名化，特別是對(duì)于面向公眾的應(yīng)方法:通過(guò)實(shí)施測(cè)試來(lái)評(píng)估數(shù)據(jù)清理過(guò)程的徹底性，確保不相關(guān)、冗余或錯(cuò)誤的數(shù)據(jù)被識(shí)別并糾正或刪除。此外，根據(jù)GDPR等隱私標(biāo)準(zhǔn)，測(cè)試一下匿名化流程以確認(rèn)個(gè)人或敏感信息被有效地隱藏或刪除。這可能涉及審查匿名化算法、技預(yù)期結(jié)果:嵌入過(guò)程中使用的數(shù)據(jù)干凈，相關(guān)且無(wú)錯(cuò)誤。匿名化過(guò)程可有效保護(hù)個(gè)人和敏感信5.2.2Vector數(shù)據(jù)庫(kù)安全測(cè)試通過(guò)實(shí)施和驗(yàn)證高級(jí)加密、用于數(shù)據(jù)訪問(wèn)的RBAC、強(qiáng)大的密鑰管理、全面的IAM策略和其他要求:對(duì)高級(jí)加密技術(shù)(包括端到端加密)的使用情況進(jìn)行評(píng)估，以保護(hù)靜態(tài)和傳輸中的數(shù)據(jù)。方法:對(duì)使用中的加密協(xié)議和加密標(biāo)準(zhǔn)進(jìn)行全面評(píng)估，分析其在保護(hù)預(yù)期結(jié)果:通過(guò)采用高級(jí)加密方法并在傳輸，使用和存儲(chǔ)過(guò)程中保護(hù)數(shù)據(jù)來(lái)要求:從創(chuàng)建到停用，檢查加密密鑰的整個(gè)生命周期，以確保遵方法:對(duì)密鑰發(fā)放、更新、撤銷和銷毀過(guò)程進(jìn)行測(cè)試一下，評(píng)估其穩(wěn)健性和對(duì)密鑰管理標(biāo)準(zhǔn)的預(yù)期結(jié)果:安全的密鑰管理生命周期，有效保護(hù)加密密鑰，降低未經(jīng)需求:針對(duì)不同的用戶角色和場(chǎng)景，實(shí)現(xiàn)和測(cè)試一下精細(xì)的身份和訪問(wèn)管理(IAM)策略，為不方法:基于場(chǎng)景進(jìn)行測(cè)試，驗(yàn)證每個(gè)用戶角色只能根據(jù)定義的權(quán)限訪預(yù)期結(jié)果:對(duì)訪問(wèn)權(quán)限進(jìn)行精細(xì)控制，確保用戶只能執(zhí)行授權(quán)操作，從要求:經(jīng)常進(jìn)行全面的安全審計(jì)，超出標(biāo)準(zhǔn)檢查的范圍，包括評(píng)估是否符合國(guó)際標(biāo)準(zhǔn)和行業(yè)特方法:深入執(zhí)行審計(jì)、漏洞評(píng)估和合規(guī)性檢查，以確保符合相預(yù)期結(jié)果:在遵守行業(yè)最佳實(shí)踐和合規(guī)性要求的情況下，要求:對(duì)零信任安全模型的實(shí)現(xiàn)進(jìn)行評(píng)估，在該模型中，信任永遠(yuǎn)不會(huì)被方法:在零信任環(huán)境中評(píng)估矢量數(shù)據(jù)庫(kù)的部署，驗(yàn)證是否基于身份和上下預(yù)期結(jié)果:通過(guò)零信任模型增強(qiáng)安全性，減少攻擊面并確要求:實(shí)時(shí)實(shí)施和評(píng)估監(jiān)控系統(tǒng)和異常檢測(cè)算法，以實(shí)時(shí)識(shí)別和響應(yīng)異常方法:通過(guò)模擬安全事件并監(jiān)控其檢測(cè)和響應(yīng)，測(cè)試一下實(shí)時(shí)監(jiān)控工具和預(yù)期結(jié)果:對(duì)安全威脅的早期檢測(cè)和快速響應(yīng)，最大限度地減少潛在方法:對(duì)災(zāi)難恢復(fù)和備份系統(tǒng)進(jìn)行測(cè)試一下，使其能夠在發(fā)生破壞或數(shù)據(jù)預(yù)期結(jié)果:高效可靠的災(zāi)難恢復(fù)和數(shù)據(jù)備份流程，在發(fā)生事故時(shí)最大限度地要求:評(píng)估矢量數(shù)據(jù)庫(kù)中的數(shù)據(jù)訪問(wèn)是否符合基方法:對(duì)數(shù)據(jù)訪問(wèn)的RBAC進(jìn)行全面評(píng)估。使用不同的角色訪問(wèn)數(shù)據(jù)，并確保正確的角色只能5.3使用RAG進(jìn)行提示和知識(shí)檢索AI應(yīng)用程序的“使用RAG(檢索增強(qiáng)生成)進(jìn)行提示和知識(shí)檢索”階段的測(cè)試規(guī)范包含以下組件:5.3.1及時(shí)施工測(cè)試要求:請(qǐng)確保為RAG模型構(gòu)建的提示有效且準(zhǔn)確地表示方法:為了清晰、相關(guān)和完整，測(cè)試一下快速構(gòu)建過(guò)程。這涉及評(píng)估各種提示，以確保它們有效地將預(yù)期的請(qǐng)求傳達(dá)給RAG模型，并且模型的響應(yīng)與提示的意圖一致。這些測(cè)試可能包括證明此要求可能需要大量資源或需要專業(yè)知識(shí)，具體取決于下游AI應(yīng)用程序。因需要一系列方法來(lái)證明這一要求。例如，有78和第三方公司的公共存儲(chǔ)庫(kù)可以幫助進(jìn)行需求演預(yù)期結(jié)果:構(gòu)造良好的提示，明確無(wú)誤，并有效地指導(dǎo)RAG模型提供相2.驗(yàn)證RAG模型的輸出是否與提供的用7/microsoft/promptbench8/promptfoo/promptfoo方法:為不同的用例測(cè)試一下不同的提示，并查看輸出在清晰度和相關(guān)性方面是否與預(yù)期輸出證明此要求可能需要大量資源或需要專業(yè)知識(shí)，具體取決于下游AI應(yīng)用程序。因需要一系列方法來(lái)證明這一要求。例如，有預(yù)期結(jié)果:GenerativeAI輸出可以提供與用例無(wú)關(guān)的結(jié)果。確保輸出一致有助于確保輸出的可用方法:將模型的響應(yīng)測(cè)試一下到各種精心設(shè)計(jì)的潛在惡意輸入。這涉及模擬可能利用輸入處理中的漏洞的場(chǎng)景。測(cè)試一下應(yīng)包括直接和間接即時(shí)注射，如OWASPTop10為L(zhǎng)LM應(yīng)用程序記預(yù)期結(jié)果:模型始終安全地處理精心設(shè)計(jì)的輸入，而不會(huì)執(zhí)行意外操作或顯示易受攻擊的行方法:在可能泄露敏感或機(jī)密信息的情況下評(píng)估模型的輸出。這包括測(cè)試可能通過(guò)提示工程，越獄以及各種策略和技術(shù)觸發(fā)此類披露的場(chǎng)景?；仡檶W(xué)術(shù)文獻(xiàn)和公開的獨(dú)立測(cè)試一下結(jié)果，評(píng)估信息泄漏。如果沒(méi)有公開的獨(dú)立測(cè)試，組織應(yīng)考慮是否可以選預(yù)期結(jié)果:模型始終避免在其輸出中泄露要求:采用多層方法，確保聊天機(jī)器人保持在其域內(nèi)。這種方法需要強(qiáng)大的故障安全機(jī)制，完方法:通過(guò)提供與其指定域無(wú)關(guān)的有意查詢來(lái)測(cè)試一下聊天機(jī)器人，評(píng)估其識(shí)別和管理此類情況的能力。模擬具有異常和噪聲的真實(shí)數(shù)據(jù)場(chǎng)景，確保聊天機(jī)器人提供準(zhǔn)確可靠的信息。進(jìn)行A/B測(cè)試，將聊天機(jī)器人的性能與對(duì)照組進(jìn)行比較，為其在特定領(lǐng)域的有效性提供有價(jià)值的見預(yù)期結(jié)果:聊天機(jī)器人展示了識(shí)別其領(lǐng)域之外的查詢的非凡能力，禮貌地承認(rèn)它們的無(wú)關(guān)性或引導(dǎo)對(duì)話回到正軌。該系統(tǒng)在模擬的真實(shí)世界場(chǎng)景中可靠地提取了準(zhǔn)確的特定領(lǐng)域數(shù)據(jù)，不受不相關(guān)或嘈雜信息的影響。在A/B測(cè)試期間，聊天機(jī)器人的性能超出了預(yù)期，特別是在響應(yīng)質(zhì)量、用戶滿意度和指定領(lǐng)域內(nèi)的相關(guān)性方面。它努力堅(jiān)持實(shí)施的故障安全機(jī)制，護(hù)欄和專門的算法，確保強(qiáng)大和安全的用戶體驗(yàn)。用戶對(duì)聊天機(jī)器人的準(zhǔn)確和有用的響應(yīng)表示很高的滿意5.3.2提示模板測(cè)試提示模板是預(yù)定義的結(jié)構(gòu)或準(zhǔn)則，用于生成提示，以促進(jìn)來(lái)自模型的特定類型的響應(yīng)。這些模板旨在通過(guò)提供一致且優(yōu)化的方式來(lái)表達(dá)查詢或命令，從而簡(jiǎn)化與模型的交互，確保模型盡可能準(zhǔn)確地理解用戶的意圖。提示模板的設(shè)計(jì)可以顯著影響模型響應(yīng)的有效性和效率，使其對(duì)于要求:請(qǐng)確保系統(tǒng)對(duì)提示模板的使用符合總體訪問(wèn)控制策略，防止模板被利用來(lái)規(guī)避安全機(jī)制方法:進(jìn)行系統(tǒng)級(jí)測(cè)試，以評(píng)估提示模板如何被不同角色/用戶訪問(wèn)以及如何在系統(tǒng)的安全和訪問(wèn)控制框架的上下文中使用。這涉及驗(yàn)證系統(tǒng)在允許訪問(wèn)特定模板限，尤其是那些可能觸發(fā)敏感操作或訪問(wèn)特權(quán)信息的功能。測(cè)試應(yīng)模擬應(yīng)調(diào)查他們是否可以限制的方式使用模板，查看系統(tǒng)在處理模板之前是否預(yù)期結(jié)果:系統(tǒng)確保與提示模板的所有交互都受到適當(dāng)?shù)脑L問(wèn)控制。用戶只能以符合其權(quán)限的方式使用模板，而不能使用模板繞過(guò)系統(tǒng)級(jí)訪問(wèn)限制。拒絕用戶訪問(wèn)或使用超出其授權(quán)級(jí)別的模板的嘗試，這表明系統(tǒng)有效實(shí)施了與提示模板要求:請(qǐng)確保提示模板具有強(qiáng)大的功能，以防止可能導(dǎo)致意外或不適當(dāng)輸出的誤解和誤用。模板應(yīng)清楚地指導(dǎo)用戶，減少利用歧義或?qū)е虏涣枷捣椒?對(duì)模板進(jìn)行徹底的審查和用戶測(cè)試(涵蓋所有相關(guān)的用戶角色)，以評(píng)估其清晰度和誤解的可能性。這包括與各種用戶一起評(píng)估模板，包括那些打算測(cè)試一目標(biāo)是識(shí)別并糾正用戶可能(有意或無(wú)意)利用的任何歧義或弱點(diǎn)，以生成意外，不適當(dāng)或超出模板預(yù)期用途范圍的響應(yīng)。測(cè)試還應(yīng)評(píng)估模板對(duì)輸入格式和內(nèi)預(yù)期結(jié)果:模板有效地指導(dǎo)用戶提供與模板預(yù)期用途一致的輸入，同時(shí)將誤解或誤用的風(fēng)險(xiǎn)降至最低。這些模板的設(shè)計(jì)和說(shuō)明明顯減輕了對(duì)抗性操縱的可能性，確保系統(tǒng)的響應(yīng)保持在預(yù)期和適當(dāng)?shù)姆秶鷥?nèi)。用戶輸入和系統(tǒng)輸出是高度一致的，反映了模板在以安全和預(yù)期的方式指導(dǎo)實(shí)現(xiàn)動(dòng)態(tài)訪問(wèn)控制。應(yīng)用程序必須根據(jù)上下文(包括時(shí)間、位置、設(shè)備類型和網(wǎng)絡(luò)安全狀況)評(píng)估用戶請(qǐng)求。應(yīng)用程序必須根據(jù)上下文動(dòng)態(tài)調(diào)整用戶權(quán)限，例如限制在工作時(shí)間以外對(duì)敏感利用基于屬性的訪問(wèn)控制(ABAC)。應(yīng)用程序必須使用ABAC來(lái)管理基于各種屬性的用戶訪問(wèn)，例如用戶角色和數(shù)據(jù)分類。應(yīng)用程序必須將ABAC與企業(yè)身確保數(shù)據(jù)集成和訪問(wèn)驗(yàn)證。應(yīng)用程序必須安全地與外部系統(tǒng)集成，驗(yàn)證API密鑰，并使用作用域訪問(wèn)令牌來(lái)限制對(duì)授權(quán)數(shù)據(jù)的訪問(wèn)。應(yīng)用程序必須將從集成平臺(tái)檢索到的訪問(wèn)權(quán)限與用戶的實(shí)現(xiàn)上下文響應(yīng)過(guò)濾。應(yīng)用程序必須實(shí)現(xiàn)基于用戶上下文和權(quán)限過(guò)濾搜索結(jié)果的邏輯。應(yīng)序必須根據(jù)用戶的角色或上下文動(dòng)態(tài)修改響應(yīng)，以排除方法:代碼審查:審查應(yīng)用程序代碼，以確保存在用于動(dòng)態(tài)訪問(wèn)控制、ABAC實(shí)現(xiàn)和數(shù)據(jù)訪問(wèn)驗(yàn)動(dòng)態(tài)分析:必須使用安全測(cè)試工具來(lái)動(dòng)態(tài)分析應(yīng)用程序在運(yùn)行時(shí)的行為。應(yīng)模擬具有不同上下滲透測(cè)試:必須進(jìn)行滲透測(cè)試，以嘗試通過(guò)各種技術(shù)對(duì)敏感數(shù)據(jù)進(jìn)行未經(jīng)授權(quán)的訪問(wèn)，以驗(yàn)證預(yù)期結(jié)果:始終確保敏感信息免受未經(jīng)授權(quán)的訪問(wèn)和泄漏。用戶應(yīng)該能夠僅訪問(wèn)其特定上下文和角色所需的數(shù)據(jù)，從而在保持運(yùn)營(yíng)效率的同時(shí)增強(qiáng)安全性。系統(tǒng)必須適應(yīng)各種用戶環(huán)境，動(dòng)態(tài)應(yīng)用適當(dāng)?shù)脑L問(wèn)控制和過(guò)濾器。系統(tǒng)必須遵守相關(guān)的數(shù)據(jù)保護(hù)法律和標(biāo)準(zhǔn)，最大限度地降低5.3.3外部API集成測(cè)試(函數(shù)調(diào)用、插件)外部API集成是指將LLM應(yīng)用程序與外部API連接以擴(kuò)展其功能并從其他系統(tǒng)訪問(wèn)數(shù)據(jù)或服務(wù)確定外部api和RAG模型之間集成的可靠性和安全性，確保無(wú)縫連接、準(zhǔn)確的數(shù)據(jù)交換和強(qiáng)大要求:確保外部api與RAG和LLM模型的可靠和安全集成，包括管理用于方法:對(duì)API連接、數(shù)據(jù)交換、錯(cuò)誤處理和安全性進(jìn)行測(cè)試。這包括測(cè)試正確的函數(shù)調(diào)用，數(shù)據(jù)傳輸準(zhǔn)確性，強(qiáng)大的錯(cuò)誤和異常處理以及對(duì)安全協(xié)議(例如身份驗(yàn)證和數(shù)據(jù)加密)的合規(guī)預(yù)期結(jié)果:將外部api與RAG和LLM模型安全地集成，展示可靠和安全的數(shù)據(jù)交換，并在不影響系統(tǒng)性能或安全性的情況下有效地處理錯(cuò)誤。作為客戶端或API提供者，請(qǐng)參閱第5.4.1節(jié)和第5.3.4從矢量數(shù)據(jù)庫(kù)測(cè)試中檢索為了保證RAG系統(tǒng)準(zhǔn)確、有效和相關(guān)地從矢量數(shù)據(jù)庫(kù)檢索信息方法:對(duì)檢索過(guò)程的相關(guān)性、準(zhǔn)確性和速度進(jìn)行測(cè)試一下。這涉及用各種輸入查詢矢量數(shù)據(jù)庫(kù)，并評(píng)估檢索到的信息的相關(guān)性和正確性。組織還可以評(píng)估其他性能預(yù)期結(jié)果:RAG系統(tǒng)有效地從矢量數(shù)據(jù)庫(kù)中檢索相關(guān)和準(zhǔn)確的信息，有助于對(duì)提示做出準(zhǔn)確和5.4即時(shí)執(zhí)行/推理AI應(yīng)用程序中“提示執(zhí)行/推理”階段的測(cè)試規(guī)范，主要側(cè)重于LLMapi以及緩存和驗(yàn)證機(jī)制，5.41LLM應(yīng)用程序api測(cè)試如果您將LLM應(yīng)用程序提供商API提供給第三方，則需要求身份驗(yàn)證:OAuth2.0、SAML2.0和OpenIDConnect等身份驗(yàn)證協(xié)議的正確實(shí)現(xiàn)，以及API密鑰和令牌的安全處理。使用基于令牌的身份驗(yàn)證機(jī)制(如JSONWeb令牌(JWT))在無(wú)狀態(tài)環(huán)方法:通過(guò)模擬各種身份驗(yàn)證場(chǎng)景，測(cè)試一下協(xié)議實(shí)現(xiàn)和密鑰/令牌管理。如果使用JWT令牌，請(qǐng)通過(guò)驗(yàn)證簽名，檢查頒發(fā)者并確保受眾與預(yù)期收件人匹配來(lái)驗(yàn)證預(yù)期結(jié)果:身份驗(yàn)證過(guò)程成功，敏感憑據(jù)要求授權(quán):根據(jù)用戶的角色和權(quán)限實(shí)施全面的訪問(wèn)控制，以管理和限制用戶操作。這些措施包授權(quán)矩陣必須以結(jié)構(gòu)化和機(jī)器可讀的格式記錄，同時(shí)易于被人類理解以進(jìn)行更新。還應(yīng)采用分層方法設(shè)計(jì)，以定義授權(quán)的各種組合，這些組合應(yīng)適用于應(yīng)用程序的不同技術(shù)平臺(tái)和體系結(jié)構(gòu)方法:使用正確分配和實(shí)施的權(quán)限驗(yàn)證基于角色的訪問(wèn)控制(RBAC)或基于屬性的訪問(wèn)控制(ABAC)系統(tǒng)。組織必須創(chuàng)建一組廣泛的集成測(cè)試，以驗(yàn)證所測(cè)試應(yīng)用程序的授權(quán)矩陣的完整性和適用性。這些測(cè)試應(yīng)直接利用形式化矩陣作為其輸入。任何測(cè)試一下失敗實(shí)例都必須突出預(yù)期結(jié)果:訪問(wèn)受控，確保只有授權(quán)的API用戶/客戶端才能根據(jù)允許的范圍訪問(wèn)或修改數(shù)據(jù)，要求:對(duì)傳輸中和靜態(tài)的所有敏感數(shù)據(jù)采用高級(jí)加密，包括使用行業(yè)標(biāo)準(zhǔn)加密協(xié)議和定期更新預(yù)期結(jié)果:數(shù)據(jù)的強(qiáng)大加密，大大降低了未經(jīng)授權(quán)的數(shù)據(jù)要求:通過(guò)驗(yàn)證所有輸入數(shù)據(jù)并使用安全的數(shù)據(jù)庫(kù)訪問(wèn)方法，保護(hù)API免受SQL、NoSQL和命預(yù)期結(jié)果:注入漏洞的有效緩解，確保數(shù)據(jù)預(yù)期結(jié)果:彈性的API架構(gòu)從設(shè)計(jì)階段就將安全風(fēng)險(xiǎn)和要求:系統(tǒng)地配置并定期審核所有安全設(shè)置，使所有系統(tǒng)和軟件預(yù)期結(jié)果:配置良好的API環(huán)境，最大限度地降低由于配置錯(cuò)要求:實(shí)現(xiàn)強(qiáng)大的身份驗(yàn)證系統(tǒng)，包括多因素身份驗(yàn)證和安全密碼策略，方法:通過(guò)部署多因素身份驗(yàn)證，實(shí)施安全密碼實(shí)踐，并監(jiān)控要求:對(duì)API處理的軟件和數(shù)據(jù)的完整性進(jìn)行定期驗(yàn)證，防止未經(jīng)授權(quán)的代碼更要求:實(shí)現(xiàn)強(qiáng)大的日志記錄和監(jiān)控系統(tǒng)，可以實(shí)時(shí)檢測(cè)、提醒和響應(yīng)方法:針對(duì)異常模式或安全事件建立全面的要求:通過(guò)嚴(yán)格驗(yàn)證所有用戶提供的輸入，尤其是服務(wù)器端請(qǐng)求中使用的方法:嚴(yán)格執(zhí)行輸入驗(yàn)證和清理程序，重點(diǎn)預(yù)期結(jié)果:SSRF風(fēng)險(xiǎn)的有效緩解，保護(hù)API免受未經(jīng)授權(quán)5.4.2緩存和驗(yàn)證測(cè)試評(píng)估緩存機(jī)制在提高響應(yīng)時(shí)間方面的效率，以及驗(yàn)證過(guò)程在確保LLMs響應(yīng)的準(zhǔn)確性和適當(dāng)性要求:在提高響應(yīng)時(shí)間和驗(yàn)證過(guò)程的健壯性方面驗(yàn)證緩存機(jī)制的有效性，以確保響應(yīng)的準(zhǔn)確方法:通過(guò)評(píng)估緩存系統(tǒng)對(duì)重復(fù)查詢的響應(yīng)時(shí)間的影響來(lái)測(cè)試一下緩存系統(tǒng)。這包括評(píng)估高速緩存命中率、高速緩存中的數(shù)據(jù)完整性以及高速緩存更新的效率。對(duì)于驗(yàn)證測(cè)試，請(qǐng)執(zhí)行檢查以確保LLM的響應(yīng)準(zhǔn)確，相關(guān)且沒(méi)有錯(cuò)誤或不適當(dāng)?shù)膬?nèi)容。這可能涉及自動(dòng)驗(yàn)證檢查和手動(dòng)預(yù)期結(jié)果:緩存機(jī)制可顯著提高頻繁查詢的響應(yīng)時(shí)間，而不會(huì)影響數(shù)據(jù)完整性。驗(yàn)證過(guò)程有效地確保LLM響應(yīng)的準(zhǔn)確性和適當(dāng)性，最大限度地減5.5代理行為人工智能代理是一個(gè)復(fù)雜的軟件系統(tǒng)，它根據(jù)預(yù)定義的目標(biāo)或?qū)μ囟ㄝ斎氲捻憫?yīng)自動(dòng)執(zhí)行任務(wù)。其體系結(jié)構(gòu)的核心是不同的組件，包括提示機(jī)制，通過(guò)指令或問(wèn)題激活代理;內(nèi)存模塊，致力于存儲(chǔ)過(guò)去對(duì)話的詳細(xì)信息，以通知上下文相關(guān)的響應(yīng);以及一個(gè)單獨(dú)的知識(shí)庫(kù)，代理用于準(zhǔn)確理解世界并與世界進(jìn)行交互的最新信息。此外，戰(zhàn)略規(guī)劃和反思模塊包含用于決策的算法，使代理能夠通過(guò)一組工具評(píng)估選項(xiàng)，預(yù)測(cè)盡管人工智能代理技術(shù)發(fā)展迅速，但其開發(fā)的通用標(biāo)準(zhǔn)仍未確定，這促進(jìn)了持續(xù)創(chuàng)新的前景。在這個(gè)不斷發(fā)展的領(lǐng)域中，安全的重要性怎么強(qiáng)調(diào)都不為過(guò)。隨著人工智能代理變得越來(lái)越復(fù)雜，并越來(lái)越多地融入日常生活的各個(gè)方面，確保其抵御威脅和漏洞的能力至關(guān)重要，強(qiáng)調(diào)在人工智能代理開發(fā)過(guò)程中必須采取強(qiáng)有力的安全措施，以保持人工智能應(yīng)用中的“代理行為”測(cè)試規(guī)范可以詳細(xì)描述如下，涵蓋了提示、記憶、知識(shí)、計(jì)5.5.1快速響應(yīng)測(cè)試方法:對(duì)AIagent理解和響應(yīng)各種提示的能力進(jìn)行測(cè)試一下，評(píng)估響應(yīng)的清晰度、相關(guān)預(yù)期結(jié)果:AIagent始終能夠正確解釋提示，并提供連貫、相關(guān)且上下要求:請(qǐng)確保AI代理沒(méi)有采取自主操作，這可能是不允許的。它還要求在采取任何可能導(dǎo)致安方法:通常AI代理具有很高的權(quán)限。測(cè)試一下AI代理訪問(wèn)和采取可能不允許的自主操作的能力。確保代理沒(méi)有訪問(wèn)位置、文件或采取可能是敵對(duì)的或被對(duì)手使用的操作。還要確保人工智能代理在采取行動(dòng)之前征求人類的批準(zhǔn)，如果人類不預(yù)期結(jié)果:人工智能代理在采取任何行動(dòng)之前不斷要求人類5.5.2內(nèi)存利用率測(cè)試驗(yàn)證AI是否熟練使用其內(nèi)存來(lái)響應(yīng)提示和執(zhí)行任務(wù)，確保準(zhǔn)確調(diào)用和應(yīng)要求:在響應(yīng)提示和執(zhí)行任務(wù)時(shí)，驗(yàn)證AI代理有方法:通過(guò)評(píng)估AI如何將先前學(xué)習(xí)或提供的信息整合到其響應(yīng)和動(dòng)作中，來(lái)測(cè)試一下AI的記憶預(yù)期結(jié)果:人工智能展示了對(duì)記憶的有效利用，在其響應(yīng)和決策中準(zhǔn)確地回憶和利用相關(guān)的過(guò)5.5.3知識(shí)應(yīng)用測(cè)試為了確定人工智能有效利用其知識(shí)庫(kù)(在大多數(shù)情況下，知識(shí)庫(kù)由矢量數(shù)據(jù)庫(kù)、圖形數(shù)據(jù)庫(kù)甚要求:在響應(yīng)和行動(dòng)中確保AI能夠有效方法:通過(guò)呈現(xiàn)需要利用其存儲(chǔ)信息的場(chǎng)景或查詢來(lái)評(píng)估AI對(duì)其知識(shí)庫(kù)的使用。評(píng)估應(yīng)側(cè)重于預(yù)期結(jié)果:人工智能有效地應(yīng)用其知識(shí)庫(kù)，根據(jù)其積累的信息提供準(zhǔn)確和深5.5.4規(guī)劃能力測(cè)試評(píng)估人工智能在規(guī)劃和執(zhí)行復(fù)雜任務(wù)方面的熟練程度，重點(diǎn)是其戰(zhàn)略思維和方法:通過(guò)呈現(xiàn)需要行動(dòng)或決策步驟的任務(wù)或場(chǎng)景來(lái)評(píng)估AI的規(guī)劃能力。這包括評(píng)估人工智能預(yù)期結(jié)果:人工智能展示了強(qiáng)大的規(guī)劃能力，為各種場(chǎng)景制定和執(zhí)行有效的5.5.5。動(dòng)作執(zhí)行測(cè)試確保人工智能有效和適當(dāng)?shù)貓?zhí)行行動(dòng)的能力，重點(diǎn)是各種場(chǎng)景的準(zhǔn)確方法:在模擬環(huán)境中或通過(guò)預(yù)定義的任務(wù)測(cè)試一下AI執(zhí)行操作。重點(diǎn)應(yīng)該放在AI采取的行動(dòng)的預(yù)期結(jié)果:AI始終正確，高效，適當(dāng)?shù)貓?zhí)行操作，以響應(yīng)5.5.6工具利用率測(cè)試確認(rèn)AI在集成和利用可用工具方面的有效性，從而提高其在任務(wù)執(zhí)行和快速響應(yīng)方面的性能方法:在執(zhí)行任務(wù)或響應(yīng)提示時(shí)，評(píng)估AI對(duì)各種工具(例如數(shù)據(jù)庫(kù)，軟件庫(kù)或硬件設(shè)備)的集成和使用。這包括測(cè)試AI利用這些工具來(lái)提高預(yù)期結(jié)果:人工智能成功地集成和利用了各種工具，在其響應(yīng)和行動(dòng)中展示了增強(qiáng)的性能和能5.5.7過(guò)度的機(jī)構(gòu)測(cè)試嚴(yán)格評(píng)估和規(guī)范代理人執(zhí)行的行動(dòng)范圍，確保它們是平衡的，不會(huì)要求:對(duì)代理人采取的行動(dòng)范圍進(jìn)行分析和限制基于場(chǎng)景的測(cè)試:開發(fā)廣泛的測(cè)試一下場(chǎng)景，涵蓋各種決策情況，包括邊緣案例和潛在的道德對(duì)抗性測(cè)試:采用模糊測(cè)試，輸入操作和故意嘗試“破壞”系統(tǒng)等技術(shù)，以識(shí)別AI代理決策過(guò)程模擬測(cè)試:創(chuàng)建真實(shí)環(huán)境的詳細(xì)模擬，以測(cè)試一下AI代理在現(xiàn)實(shí)條件下的決策能力。監(jiān)視代理訪問(wèn)控制測(cè)試:實(shí)施并徹底測(cè)試一下訪問(wèn)控制機(jī)制，以確保只有授權(quán)用戶才能與AI代理的決策過(guò)程進(jìn)行交互或修改AI代理的決策過(guò)程。這包括測(cè)試正確的身份驗(yàn)證，授權(quán)和審核止未經(jīng)授權(quán)的訪問(wèn)或篡改?；谧钚√貦?quán)原則，只給人工智能代理有限的系統(tǒng)和數(shù)據(jù)訪問(wèn)權(quán)限是至關(guān)重要的。這意味著授予代理執(zhí)行其預(yù)期功能所需的最低訪問(wèn)級(jí)別，僅此而已。通過(guò)限制代理對(duì)敏感信息和關(guān)鍵系統(tǒng)的訪問(wèn)，我們可以減輕與受損或故障AI代理相關(guān)的潛在風(fēng)險(xiǎn)格測(cè)試此有限訪問(wèn)方法，以確保代理不會(huì)超出其預(yù)期權(quán)限或獲得對(duì)受保護(hù)資源的未經(jīng)授權(quán)的訪問(wèn)權(quán)限。應(yīng)定期進(jìn)行審核和審查，以驗(yàn)證訪問(wèn)控制是否仍然有效，并且隨著AI代理的Human-in-the-loop測(cè)試:讓人類專家參與測(cè)試過(guò)程，對(duì)AI代理的決策提供監(jiān)督、指導(dǎo)和反饋。這種協(xié)作有助于確保代理的行為與人類的判斷保持一致，并且可持續(xù)監(jiān)控和評(píng)估:實(shí)施機(jī)制，持續(xù)監(jiān)控和評(píng)估部署后AI代理的決策過(guò)程。根據(jù)既定的指標(biāo)、基準(zhǔn)和人為反饋，定期評(píng)估代理的績(jī)效，以識(shí)別任何偏預(yù)期結(jié)果:代理人表現(xiàn)出平衡和受控的代理，避免5.6微調(diào)人工智能應(yīng)用中“微調(diào)”的測(cè)試規(guī)范，側(cè)重于數(shù)據(jù)隱私檢查、基礎(chǔ)模型選擇、模型部署和訓(xùn)練5.6.1數(shù)據(jù)隱私檢查測(cè)試為了確保用于微調(diào)AI模型的數(shù)據(jù)嚴(yán)格遵守隱私和數(shù)據(jù)保護(hù)法規(guī)，確保道德采購(gòu)和適當(dāng)?shù)哪涿?用于微調(diào)的數(shù)據(jù)應(yīng)確保尊重隱私并符合相在微調(diào)的背景下，對(duì)數(shù)據(jù)收集、處理和存儲(chǔ)實(shí)踐進(jìn)行全面審查。這包括驗(yàn)證遵守隱私法(如GDPR或HIPAA)，確保在需要時(shí)對(duì)檢查差異隱私(DP)是否用于訓(xùn)練數(shù)據(jù)隱私:DP是一種在共享有關(guān)一組個(gè)人的信息時(shí)提供隱私的方法，方法是描述組內(nèi)的模式，同時(shí)保留有關(guān)特定個(gè)人的信息。它是通過(guò)對(duì)不改變感興統(tǒng)計(jì)數(shù)據(jù)的單個(gè)數(shù)據(jù)進(jìn)行任意小的更改來(lái)完成的。因此，數(shù)據(jù)不能用來(lái)推斷任何個(gè)人。如果使/nistpubs/SpecialPublications/NIST.SP.800-226.Ipd.pdf預(yù)期結(jié)果:微調(diào)過(guò)程中使用的數(shù)據(jù)完全符合隱私法規(guī)，經(jīng)過(guò)適當(dāng)?shù)哪涿蚣倜幚?，并符合?.6.2用于微調(diào)的基本模型選擇測(cè)試為了確定所選的基礎(chǔ)模型與特定應(yīng)用和微調(diào)要求最佳匹配，如文檔第5.1節(jié)所述，確保其性能要求:針對(duì)特定應(yīng)用和微調(diào)過(guò)程，確認(rèn)所選的基礎(chǔ)模型是最合適的。另請(qǐng)參閱本文檔中的5.1方法:對(duì)基礎(chǔ)模型的性能、對(duì)目標(biāo)領(lǐng)域的適用性以及有效整合新數(shù)據(jù)的能力進(jìn)行評(píng)估。這可以包括針對(duì)特定性能指標(biāo)對(duì)模型進(jìn)行基準(zhǔn)測(cè)試，并評(píng)估其對(duì)微調(diào)期間引預(yù)期結(jié)果:選定的基本模型展示了與微調(diào)目標(biāo)的高度兼容性，顯示了調(diào)優(yōu)后的顯著性能改進(jìn)和5.6.3用于微調(diào)的基本模型存儲(chǔ)測(cè)試要求:使用適當(dāng)?shù)脑L問(wèn)權(quán)限確認(rèn)任何經(jīng)過(guò)微調(diào)的模型都已正確存儲(chǔ)。使用正確的模型卡適當(dāng)?shù)胤椒?基于模型被微調(diào)的數(shù)據(jù)來(lái)評(píng)估微調(diào)的模型訪問(wèn)。確保對(duì)模型的特定敏感度沒(méi)有權(quán)限的用戶在使用較高敏感度數(shù)據(jù)對(duì)模型進(jìn)行微調(diào)后無(wú)法訪問(wèn)該模型。檢查模型卡是否具有正確的模型預(yù)期結(jié)果:選定的基本模型展示了與微調(diào)目標(biāo)的高度兼容性，顯示了調(diào)優(yōu)后的顯著性能改進(jìn)和5.6.4訓(xùn)練數(shù)據(jù)中毒測(cè)試為了確保訓(xùn)練數(shù)據(jù)的完整性，檢測(cè)并防止篡改、偏差或損壞方法:檢查訓(xùn)練數(shù)據(jù)的完整性，尋找篡改的跡象，插入偏見，預(yù)期結(jié)果:保證訓(xùn)練數(shù)據(jù)無(wú)篡改和偏差，保證模型5.6.5微調(diào)后的模型部署測(cè)試驗(yàn)證經(jīng)過(guò)微調(diào)的模型在生產(chǎn)環(huán)境中高效、安全地運(yùn)行并有效擴(kuò)展，從而保持高性能和健壯性，要求:確保微調(diào)后的模型在生產(chǎn)環(huán)境中有效且安全地執(zhí)行，并且不會(huì)暴露機(jī)密，敏感或?qū)Ｓ袛?shù)方法:在微調(diào)后測(cè)試一下部署的模型的性能、可伸縮性和安全性，并適當(dāng)控制可能誘使模型暴露機(jī)密、敏感或?qū)Ｓ袛?shù)據(jù)的輸入請(qǐng)求。這涉及評(píng)估模型的響應(yīng)準(zhǔn)確性，延遲，高負(fù)載場(chǎng)景預(yù)期結(jié)果:經(jīng)過(guò)微調(diào)的模型在生產(chǎn)中保持高性能和準(zhǔn)確性，在變化的負(fù)載下有效擴(kuò)展，并針對(duì)5.7響應(yīng)處理AI應(yīng)用程序中“響應(yīng)處理”的測(cè)試規(guī)范，重點(diǎn)是基礎(chǔ)或事實(shí)檢查，相關(guān)性檢查，毒性檢查和道5.7.1接地或事實(shí)檢查測(cè)試方法:進(jìn)行測(cè)試以驗(yàn)證響應(yīng)的事實(shí)準(zhǔn)確性。這涉及將AI響應(yīng)與可靠的數(shù)據(jù)源或已建立的事實(shí)進(jìn)預(yù)期結(jié)果:人工智能始終提供事實(shí)準(zhǔn)確和可驗(yàn)證的響應(yīng)，展要求:為用戶或其他系統(tǒng)建立和測(cè)試一下反饋系統(tǒng)，以報(bào)告AI生成內(nèi)容的問(wèn)題，促進(jìn)持續(xù)改評(píng)估反饋機(jī)制在收集用戶或系統(tǒng)報(bào)告問(wèn)題方面的有效性。測(cè)試一下分評(píng)估AI應(yīng)用程序?qū)Ψ答伒捻憫?yīng)能力及其迭代增強(qiáng)確保AI應(yīng)用程序?qū)Ψ答佔(zhàn)龀鲰憫?yīng)，并在生成的內(nèi)5.7.2相關(guān)性檢查測(cè)試確認(rèn)AI的響應(yīng)始終與給定的提示或查詢相方法:通過(guò)將AI響應(yīng)與提示的上下文和內(nèi)容進(jìn)行比較來(lái)評(píng)估AI響應(yīng)的相關(guān)性。這包括評(píng)估各種預(yù)期結(jié)果:AI的響應(yīng)始終與提示相關(guān)，表明對(duì)查詢的上下文和5.7.3毒性檢查測(cè)試為了保證AI的回復(fù)沒(méi)有有毒、冒犯性或不恰當(dāng)?shù)膬?nèi)容，堅(jiān)要求:請(qǐng)確保AI的回復(fù)不包含有毒、令人反感方法:進(jìn)行測(cè)試，以識(shí)別和測(cè)量AI響應(yīng)中是否存在有毒或不恰當(dāng)?shù)恼Z(yǔ)言。這可以涉及使用預(yù)定根據(jù)特定的下游AI應(yīng)用程序，證明此要求可能需要大量資源或需要專業(yè)知識(shí)。因需要一系列方法來(lái)證明這一要求。例如，有公共資源和第三方公司可以幫助進(jìn)行需求演示。什么是有毒的，令人反感的或不合適的是高度依賴于上下文的，并且會(huì)根據(jù)操作環(huán)境而有所不同。評(píng)估人員應(yīng)在測(cè)試過(guò)程中考預(yù)期結(jié)果:AI應(yīng)用程序始終避免生成有毒或不適當(dāng)?shù)膬?nèi)容，保持高標(biāo)準(zhǔn)的對(duì)5.7.4道德檢查測(cè)試確保AI的回應(yīng)在道德上是合理的，沒(méi)有有害的偏見或刻板印象，并且不認(rèn)可不道德的做法，要求:確保AI的回應(yīng)符合道德準(zhǔn)則，不會(huì)助長(zhǎng)有害的偏方法:對(duì)人工智能對(duì)道德誠(chéng)信的反應(yīng)進(jìn)行評(píng)估，檢查偏見、刻板印象或促進(jìn)不道德行為。這可根據(jù)特定的下游AI應(yīng)用程序，證明此要求可能需要大量資源或需要專業(yè)知識(shí)。因證明這一要求。例如，有公共資源和第三方公司可以幫助進(jìn)行需求演示。什么是不道德的是高度依賴于上下文的，并且會(huì)根據(jù)特定的下游AI應(yīng)用程序和操作環(huán)境而有所不同。評(píng)預(yù)期結(jié)果:人工智能始終如一地提供沒(méi)有有害偏見和刻板印象的響應(yīng)，符合道德標(biāo)準(zhǔn)，不促進(jìn)5.7.5不安全的輸出處理測(cè)試方法:對(duì)處理模型輸出所涉及的機(jī)制和流程進(jìn)行驗(yàn)證，檢查可預(yù)期結(jié)果:安全的輸出處理過(guò)程，有效地防5.7.6后門攻擊測(cè)試要求:針對(duì)后門攻擊測(cè)試一下AI系統(tǒng)的恢復(fù)能力，后門攻擊涉及惡意訓(xùn)練的模型，這些模型在典型情況下表現(xiàn)正常，但在特定觸發(fā)條件下表現(xiàn)在這些觸發(fā)條件下評(píng)估模型的行為和輸出，以檢測(cè)任何目標(biāo)錯(cuò)誤分類或評(píng)估旨在檢測(cè)和減輕后門攻擊的防御措施和AI系統(tǒng)展示了強(qiáng)大的抵御后門攻擊的能力，即使在存在潛在觸發(fā)的情況下也能保持預(yù)期的性該系統(tǒng)能夠抵御后門攻擊或從后門攻擊中恢復(fù)，而不會(huì)損害整5.7.7隱私和版權(quán)合規(guī)性檢查要求:AI系統(tǒng)的響應(yīng)和輸出符合相關(guān)隱私法規(guī)和版權(quán)法，尊重用戶評(píng)估AI系統(tǒng)對(duì)用戶數(shù)據(jù)和個(gè)人信息的處理，驗(yàn)證是否符合適用的隱私法規(guī)，如GDPR、CCPA測(cè)試一下AI系統(tǒng)通過(guò)匿名化或保護(hù)其響應(yīng)和輸出中的敏感信息來(lái)評(píng)估AI系統(tǒng)對(duì)知識(shí)產(chǎn)權(quán)的尊重，通過(guò)測(cè)試其適當(dāng)?shù)貧w因于內(nèi)容的能力，避免抄襲，利用內(nèi)容來(lái)源和真實(shí)性聯(lián)盟(C2PA)標(biāo)準(zhǔn)來(lái)驗(yàn)證AI系統(tǒng)中使用的數(shù)據(jù)的來(lái)源，確保符合版權(quán)要AI系統(tǒng)始終符合相關(guān)隱私法規(guī)，在其響應(yīng)和輸出中正確處理和保護(hù)用戶數(shù)據(jù)和個(gè)人信該系統(tǒng)有效地匿名或保護(hù)敏感的用戶信息，確人工智能系統(tǒng)尊重知識(shí)產(chǎn)權(quán)，正確歸屬內(nèi)容，避免剽竊，并在其輸出中使用受版權(quán)保護(hù)的材料系統(tǒng)的響應(yīng)和輸出不受侵犯隱私和侵犯版權(quán)的影響，從而降低了部署AI應(yīng)審計(jì)和評(píng)估確認(rèn)AI系統(tǒng)遵守隱私和版權(quán)要人工智能系統(tǒng)展示了適應(yīng)隱私法規(guī)和知識(shí)產(chǎn)權(quán)法更C2PA標(biāo)準(zhǔn)已成功實(shí)施，以驗(yàn)證AI系統(tǒng)中使用的數(shù)據(jù)的來(lái)源，從而實(shí)現(xiàn)正確5.7.8正常處理未知或不支持的查詢要求:AI系統(tǒng)能夠優(yōu)雅地處理未知、不支持或不相關(guān)的查詢，為測(cè)試一下AI系統(tǒng)對(duì)超出其知識(shí)領(lǐng)域、不受支持或與預(yù)期用評(píng)估系統(tǒng)提供信息和用戶友好反饋的能力，指導(dǎo)用戶進(jìn)行更合人工智能系統(tǒng)優(yōu)雅地處理未知、不支持或不相關(guān)的查詢，該系統(tǒng)向用戶提供清晰且信息豐富的反饋，建議替代查詢，5.8AI應(yīng)用程序運(yùn)行時(shí)安全5.8.1數(shù)據(jù)保護(hù)測(cè)試為了保護(hù)敏感數(shù)據(jù)并維護(hù)隱私標(biāo)準(zhǔn)，必須采取嚴(yán)格的措施來(lái)確保術(shù)(PET)時(shí)，至關(guān)重要的是驗(yàn)證PET技術(shù)是否正確實(shí)現(xiàn)并按預(yù)期運(yùn)行。PET實(shí)現(xiàn)的正確驗(yàn)證有助于確保正在處理的數(shù)據(jù)的機(jī)密性和完整性以及隱私保護(hù)技術(shù)的有效性。如果沒(méi)有徹底的驗(yàn)證，PET解決方案可能無(wú)法提供預(yù)期的保護(hù)級(jí)別，從而有可能將敏感數(shù)據(jù)或計(jì)算暴露給未經(jīng)授預(yù)期結(jié)果:靜態(tài)和傳輸中的數(shù)據(jù)完全加密，訪問(wèn)控制可有效防止未經(jīng)授權(quán)的訪問(wèn)，監(jiān)控系統(tǒng)可5.8.2模型安全測(cè)試使用以下測(cè)試規(guī)范保護(hù)經(jīng)過(guò)微調(diào)的AI模型免受對(duì)抗性攻擊要求:在AI模型中實(shí)現(xiàn)水印技術(shù)，以在模型中嵌入唯一標(biāo)識(shí)符。此標(biāo)識(shí)符應(yīng)有助于識(shí)別模型復(fù)方法:通過(guò)嘗試復(fù)制模型并驗(yàn)證是否可以提取嵌入的標(biāo)識(shí)符來(lái)測(cè)試一下水印過(guò)程的有效性。此預(yù)期結(jié)果:通過(guò)水印成功識(shí)別模型所有權(quán)和來(lái)源，阻止了未經(jīng)授權(quán)的復(fù)制。模型性能下降(如要求:對(duì)訪問(wèn)模型實(shí)施嚴(yán)格的訪問(wèn)控制機(jī)方法:對(duì)用戶身份驗(yàn)證過(guò)程、基于角色的訪問(wèn)控制進(jìn)行測(cè)試一下，并監(jiān)控訪問(wèn)日志中是否存在預(yù)期結(jié)果:訪問(wèn)控制強(qiáng)大，確保只有授權(quán)用戶才能訪問(wèn)模型，并及時(shí)檢測(cè)和阻止未經(jīng)授權(quán)的嘗方法:通過(guò)全面測(cè)試來(lái)驗(yàn)證API端點(diǎn)的安全性，包括通過(guò)速率限制來(lái)防止大量下載或抓取模型要求:使用代碼/參數(shù)混淆和加密技術(shù)，使模型不易理方法:針對(duì)逆向工程嘗試和未經(jīng)授權(quán)的訪問(wèn)，測(cè)試一下代碼混預(yù)期結(jié)果:難以進(jìn)行逆向工程的代碼/參數(shù)，從而阻止方法:對(duì)可能允許未經(jīng)授權(quán)訪問(wèn)或下載模型的安全漏洞預(yù)期結(jié)果:對(duì)漏洞的持續(xù)識(shí)別和補(bǔ)救，確保要求:使用入侵檢測(cè)系統(tǒng)和異常監(jiān)控工具，以識(shí)別可能表明模型方法:通過(guò)模擬入侵嘗試并監(jiān)視警報(bào)來(lái)測(cè)試一下入預(yù)期結(jié)果:可及早發(fā)現(xiàn)可疑活動(dòng)，以便及時(shí)應(yīng)對(duì)要求:對(duì)版權(quán)、專利和商業(yè)秘密等法律保護(hù)的遵守情況進(jìn)行審查和測(cè)試一下，這些法律保護(hù)為方法:進(jìn)行法律和合規(guī)性檢查，以確保遵守知識(shí)產(chǎn)權(quán)、數(shù)據(jù)保護(hù)法律和任何應(yīng)用程序AI合規(guī)性預(yù)期結(jié)果:實(shí)施法律保護(hù)并遵守相關(guān)法律，為示范5.8.3基礎(chǔ)設(shè)施安全測(cè)試方法:系統(tǒng)定期更新和打補(bǔ)丁，進(jìn)行網(wǎng)絡(luò)安全評(píng)估，評(píng)估硬件安全。經(jīng)常進(jìn)行漏洞掃描，以識(shí)別任何潛在的弱點(diǎn)或不必要的服務(wù)。利用強(qiáng)化驗(yàn)證技術(shù)來(lái)確預(yù)期結(jié)果:基礎(chǔ)設(shè)施展示了強(qiáng)大的網(wǎng)絡(luò)威脅防御能力，并且所有組件都具有5.8.4API安全測(cè)試應(yīng)用程序編程接口(api)必須經(jīng)過(guò)嚴(yán)格的測(cè)試，以驗(yàn)證身份驗(yàn)證，授權(quán)，速率限制和輸入清理要求:通過(guò)api確保與外部系統(tǒng)的安全方法:用于身份驗(yàn)證、授權(quán)、速率限制和預(yù)期結(jié)果:針對(duì)未經(jīng)授權(quán)的訪問(wèn)和濫用，api表現(xiàn)出強(qiáng)大的彈性，保持?jǐn)?shù)據(jù)完整性和系統(tǒng)穩(wěn)定5.8.5合規(guī)性和審計(jì)跟蹤測(cè)試遵守適用的法律和標(biāo)準(zhǔn)對(duì)于道德人工智能應(yīng)用至關(guān)重要，需要持續(xù)的合規(guī)性驗(yàn)證和詳細(xì)的審計(jì)要求:對(duì)相關(guān)法律和標(biāo)準(zhǔn)的遵守情況進(jìn)行驗(yàn)證，并預(yù)期結(jié)果:應(yīng)用程序符合法律標(biāo)準(zhǔn)，審計(jì)跟蹤可準(zhǔn)確5.8.6實(shí)時(shí)監(jiān)控和異常檢測(cè)測(cè)試主動(dòng)監(jiān)控系統(tǒng)活動(dòng)和模型性能中的異常對(duì)于及早發(fā)現(xiàn)影響安全性或準(zhǔn)方法:從網(wǎng)絡(luò)、操作系統(tǒng)和應(yīng)用層實(shí)現(xiàn)和測(cè)試一下實(shí)時(shí)預(yù)期結(jié)果:對(duì)潛在安全問(wèn)題進(jìn)行有效識(shí)別和預(yù)警的系統(tǒng)，5.8.7配置和狀態(tài)管理測(cè)試為了確保安全基礎(chǔ)架構(gòu)內(nèi)SaaS應(yīng)用程序、身份和數(shù)據(jù)的完整性，通過(guò)安全狀態(tài)管理(SSPM)解決方案進(jìn)行配置和狀態(tài)管理測(cè)試至關(guān)重要。SSPM解決方案可幫助安全團(tuán)隊(duì)維護(hù)當(dāng)前的監(jiān)控和安全更新。通過(guò)建立安全基線，這些解決方案促進(jìn)了對(duì)配置設(shè)置的監(jiān)督，并提醒安全團(tuán)隊(duì)注意任何偏差，這對(duì)于管理配置漂移和識(shí)別其他與配置相關(guān)的漏洞至關(guān)重要。配置漂移-可能由于多種原因而發(fā)生的對(duì)系統(tǒng)的未經(jīng)授權(quán)的更改-對(duì)系統(tǒng)完整性構(gòu)成風(fēng)險(xiǎn)。手動(dòng)姿勢(shì)檢查是麻煩且容易出錯(cuò)的。因此，采用具有集成AI和自動(dòng)化的SSPM解決方案進(jìn)行連續(xù)配置檢查非常有益。要求:確保SSPM有效監(jiān)控和維護(hù)SaaS應(yīng)用程序、身份和數(shù)據(jù)的安全狀態(tài)，并及時(shí)提供配置漂方法:使用AI驅(qū)動(dòng)的自動(dòng)化實(shí)施SSPM解決方案，以進(jìn)行持續(xù)的配置驗(yàn)證和管理。定期評(píng)估這預(yù)期結(jié)果:SSPM解決方案應(yīng)始終保持基線配置設(shè)置，自動(dòng)檢測(cè)和糾正配置漂移，并確保IT審核就緒。這些解決方案應(yīng)提供對(duì)SaaS安全狀況的全面衡量，并支持隨著時(shí)間的推移進(jìn)行風(fēng)險(xiǎn)報(bào)5.8.8事件響應(yīng)計(jì)劃測(cè)試必須建立全面的事件響應(yīng)計(jì)劃，并通過(guò)模擬事件進(jìn)行測(cè)試，以便及時(shí)和有組織地解決安全事件方法:進(jìn)行響應(yīng)演習(xí)，溝通和影響評(píng)估測(cè)試，包預(yù)期結(jié)果:快速有效地執(zhí)行事件響應(yīng)協(xié)議，最大限度地減5.8.9用戶訪問(wèn)管理測(cè)試用于限制用戶權(quán)限的精細(xì)訪問(wèn)控制和多因素身份驗(yàn)證系統(tǒng)提供了關(guān)鍵的防線，以防止對(duì)AI應(yīng)方法:對(duì)用戶權(quán)限進(jìn)行審計(jì)，并測(cè)試一下預(yù)期結(jié)果:適當(dāng)限制訪問(wèn)，并且身份驗(yàn)證機(jī)制可靠地5.8.10依賴項(xiàng)和第三方組件安全測(cè)試由于外部庫(kù)和組件在受到損害時(shí)會(huì)帶來(lái)重大進(jìn)行細(xì)致的驗(yàn)證，并且還需要定期進(jìn)行依賴預(yù)期結(jié)果:所有依賴項(xiàng)均來(lái)自受信任的來(lái)源，并且沒(méi)有已知漏洞，并且依賴項(xiàng)檢查是一個(gè)連續(xù)5.8.11強(qiáng)大的測(cè)試和驗(yàn)證在人工智能應(yīng)用程序上模擬復(fù)雜的網(wǎng)絡(luò)攻擊，如滲透測(cè)試、漏洞掃描和道德黑客攻擊，對(duì)于揭預(yù)期結(jié)果:針對(duì)真實(shí)世界的攻擊，AI應(yīng)用程序具有強(qiáng)大的防御能力，并且可以及時(shí)識(shí)別和解決5.8.12可用性測(cè)試為了確保在強(qiáng)烈需求下的可用性和可靠性，人工智能系統(tǒng)必須在推動(dòng)基礎(chǔ)設(shè)施負(fù)載限制的模擬方法:將模型應(yīng)用于高負(fù)載場(chǎng)景，以評(píng)估其性能以及在不中斷服務(wù)的情況下處理高流量的能5.8.13偵察防護(hù)測(cè)試保護(hù)人工智能應(yīng)用程序的敏感細(xì)節(jié)免受外部發(fā)現(xiàn)是當(dāng)務(wù)之急。審計(jì)和模擬攻擊對(duì)于發(fā)現(xiàn)和解決要求:在運(yùn)行期間進(jìn)行模擬和審核，以識(shí)別外部實(shí)體可能用于收集有關(guān)AI應(yīng)用程序的敏感信息預(yù)期結(jié)果:識(shí)別與信息泄露相關(guān)的漏洞，并確認(rèn)AI應(yīng)用程序的5.8.14持久性緩解測(cè)試:為了防止攻擊者獲得和維護(hù)秘密訪問(wèn)以利用人工智能系統(tǒng)，嚴(yán)格的安全測(cè)試和補(bǔ)救措施必須不要求:定期掃描并消除可能允許攻擊者在運(yùn)行時(shí)保持對(duì)AI應(yīng)用程預(yù)期結(jié)果:在運(yùn)行時(shí)檢測(cè)并緩解可能允許攻擊者進(jìn)5.8.15權(quán)限提升防御測(cè)試:防止人工智能系統(tǒng)在運(yùn)行時(shí)未經(jīng)授權(quán)的用戶權(quán)限提升對(duì)于維護(hù)訪問(wèn)控制完要求:在運(yùn)行時(shí)評(píng)估系統(tǒng)防止未經(jīng)授權(quán)的預(yù)期結(jié)果:在運(yùn)行時(shí)確認(rèn)有效阻止了未經(jīng)5.8.16防御規(guī)避檢測(cè)測(cè)試:為了維護(hù)強(qiáng)大的安全標(biāo)準(zhǔn)，人工智能系統(tǒng)必須能夠可靠地檢測(cè)和應(yīng)對(duì)在實(shí)時(shí)操作期間繞過(guò)或禁要求:系統(tǒng)在運(yùn)行時(shí)檢測(cè)和響應(yīng)逃避現(xiàn)有安全機(jī)制的嘗方法:對(duì)規(guī)避嘗試進(jìn)行模擬，并評(píng)估系統(tǒng)檢預(yù)期結(jié)果:在運(yùn)行時(shí)驗(yàn)證系統(tǒng)可以有效地檢5.8.17發(fā)現(xiàn)電阻測(cè)試:保護(hù)人工智能系統(tǒng)的專有細(xì)節(jié)和敏感功能需要進(jìn)行嚴(yán)格的測(cè)試，以驗(yàn)證在實(shí)時(shí)操作期間防止未要求:進(jìn)行評(píng)估，以確保內(nèi)部系統(tǒng)細(xì)節(jié)和功能不容易被未經(jīng)授權(quán)預(yù)期結(jié)果:在運(yùn)行時(shí)驗(yàn)證內(nèi)部系統(tǒng)詳細(xì)信息是否得到充分保護(hù)，防止5.8.18收集保障測(cè)試:對(duì)保障措施的嚴(yán)格評(píng)估必須確認(rèn)人工智能系統(tǒng)可以防止在實(shí)時(shí)操作期間未經(jīng)授權(quán)的數(shù)據(jù)收集和要求:在運(yùn)行時(shí)驗(yàn)證系統(tǒng)是否有足夠的措施來(lái)防止未經(jīng)授預(yù)期結(jié)果:確保數(shù)據(jù)收集受到控制，并在運(yùn)行期間防止未經(jīng)授5.9附加測(cè)試規(guī)范5.9.1供應(yīng)鏈漏洞測(cè)試要求:對(duì)應(yīng)用供應(yīng)鏈中使用的所有第三方組件、庫(kù)和依賴項(xiàng)進(jìn)行評(píng)估，以識(shí)別漏洞或安全弱利用自動(dòng)漏洞掃描工具來(lái)識(shí)別供應(yīng)鏈中第三方對(duì)供應(yīng)鏈中的第三方代碼執(zhí)行手動(dòng)代碼審查和分析，以發(fā)現(xiàn)自動(dòng)化工具可能無(wú)法檢測(cè)到的安全預(yù)期結(jié)果:詳細(xì)介紹供應(yīng)鏈中第三方組件的漏洞和安全弱點(diǎn)的綜合要求:全面執(zhí)行軟件物料清單分析，以加強(qiáng)安全措施。這需要對(duì)集成到供應(yīng)鏈中的第三方代碼方法:針對(duì)供應(yīng)鏈中使用的第三方代碼，審查來(lái)自第三方的靜態(tài)和動(dòng)態(tài)代碼評(píng)估結(jié)果，并進(jìn)行SBOM分析，以進(jìn)行漏洞審查、第三方依賴關(guān)系、軟件綜合分析(SCA)和許可證審查。利用靜態(tài)代碼分析工具自動(dòng)檢測(cè)指示第三方代碼中的安全漏洞的代碼模式。如果發(fā)現(xiàn)漏洞，應(yīng)進(jìn)行后續(xù)SCA和修復(fù)后的漏洞評(píng)估，以驗(yàn)證已發(fā)現(xiàn)預(yù)期結(jié)果:重點(diǎn)介紹供應(yīng)鏈中使用的第三方代碼中存在的安全漏洞，以及如何糾正這些問(wèn)題的要求:在運(yùn)行時(shí)使用動(dòng)態(tài)測(cè)試技術(shù)來(lái)評(píng)估供應(yīng)鏈中與第三方組件使用自動(dòng)化動(dòng)態(tài)測(cè)試工具主動(dòng)與應(yīng)用程序及其集成(測(cè)試一下供應(yīng)鏈集成中的輸入驗(yàn)證問(wèn)題、訪問(wèn)控制問(wèn)題和預(yù)期結(jié)果:在運(yùn)行時(shí)檢測(cè)到供應(yīng)鏈集成中的安全漏洞，包括在靜態(tài)代碼分析要求:利用軟件組成分析工具來(lái)識(shí)別和跟蹤供應(yīng)根據(jù)已知漏洞數(shù)據(jù)庫(kù)檢查清單，以識(shí)別供應(yīng)鏈中預(yù)期結(jié)果:供應(yīng)鏈中開源組件的完整清單以及具有已知漏洞和建要求:進(jìn)行威脅建模練習(xí)，以識(shí)別特定于LLM應(yīng)用程序供應(yīng)鏈的潛在威脅和與利益相關(guān)者合作，創(chuàng)建威脅模型，記錄供應(yīng)鏈預(yù)期結(jié)果:提供對(duì)與第三方代碼相關(guān)的供應(yīng)鏈特定安全風(fēng)險(xiǎn)的清晰理解的威要求:在供應(yīng)鏈中驗(yàn)證從供應(yīng)商或第三方來(lái)源收到的軟件組件和更新實(shí)施安全更新機(jī)制，如數(shù)字簽名或校驗(yàn)和，以確保供應(yīng)鏈中的第三方組件和更新在傳輸過(guò)程中驗(yàn)證供應(yīng)商和第三方來(lái)源的身份和安全實(shí)踐，以預(yù)期結(jié)果:對(duì)第三方組件的真實(shí)性和完整性充滿信心，并從供應(yīng)鏈中的供應(yīng)商或第三方來(lái)源收要求:評(píng)估與外部系統(tǒng)和服務(wù)集成的安全性，強(qiáng)調(diào)LLM應(yīng)用程序與供應(yīng)鏈中第三方實(shí)體之間的對(duì)供應(yīng)鏈中的集成點(diǎn)進(jìn)行滲透測(cè)試和漏洞掃描，以驗(yàn)證與供應(yīng)鏈內(nèi)第三方實(shí)體交換的數(shù)據(jù)是否預(yù)期結(jié)果:與供應(yīng)鏈中的外部系統(tǒng)和第三方實(shí)體進(jìn)行安全集成，防止數(shù)據(jù)泄露和未經(jīng)授權(quán)的訪方法:為開源AI應(yīng)用程序建立透明和積極的社區(qū)審查流程。鼓勵(lì)社區(qū)參與驗(yàn)證數(shù)據(jù)使用和道德實(shí)踐。保持最新的安全最佳實(shí)踐/補(bǔ)丁。盡可能發(fā)布完整或部分評(píng)估報(bào)告，例如redteamin預(yù)期結(jié)果:社區(qū)對(duì)開源人工智能應(yīng)用程序的高度信任和滿意度，由積極的社區(qū)反饋和參與(如存儲(chǔ)庫(kù)克隆、分叉、追隨者和明星)表明，是一些客觀的衡