確保人工智能時代的關(guān)鍵基礎(chǔ)設(shè)施安全（中文）

作者的觀點，并不一定代表美國政府的觀點。政府、微軟公司或作者可能隸屬的任何機構(gòu)、組織或?qū)嶓w隨著人工智能能力的不斷提高，關(guān)鍵基礎(chǔ)設(shè)施（CI）運營商和提供商尋求在其企業(yè)中集成新的人工智能系統(tǒng);然而，這些能力伴隨著風(fēng)險和好處。人工智能的采用可能會帶來更強大的系統(tǒng)、業(yè)務(wù)運營的改進以及更好的工具來檢測和應(yīng)對網(wǎng)絡(luò)威脅。與此同時，人工智能系統(tǒng)還將引入CI提供商必須應(yīng)對的新網(wǎng)絡(luò)威脅去年的人工智能行政命令指示各部門風(fēng)險管理機構(gòu)（SRMA）“評估并提供......評估與關(guān)鍵基礎(chǔ)設(shè)施部門使用人工智能相關(guān)的潛在風(fēng)險，包括部署人工智能可能使關(guān)鍵基礎(chǔ)障，物理攻擊和網(wǎng)絡(luò)攻擊的方式。盡管行政命令最近的方向，人工智能在關(guān)鍵基礎(chǔ)設(shè)施中的使用并不新鮮。擅長預(yù)測和異常檢測的人工智能工具多年來一直用于網(wǎng)絡(luò)防御和其他商業(yè)活動。例如，提供商長期以來一直依賴由人工智能驅(qū)動的商業(yè)信息技術(shù)解決方案來檢測惡意活動。發(fā)生變化的是，新的生成式人工智能技術(shù)變得更加強大，并為人工智能運營商提供了新的機會。潛在的用途包括用于客戶交互的更強大的聊天機器人，增強的威脅情報合成和優(yōu)先級排序，更快的代碼生成流程，以及最近可以根據(jù)用戶提示執(zhí)行操作的AI代理。CI運營商和行業(yè)正試圖駕馭這一快速變化和不確定的環(huán)境幾年前，網(wǎng)絡(luò)連接的創(chuàng)新為CI運營商提供了一種遠程監(jiān)控和操作許多系統(tǒng)的方法然而，這也為惡意行為者創(chuàng)造了新的攻擊媒介。過去的經(jīng)驗教訓(xùn)可以幫助企業(yè)了解如何整障，以及惡意使用人工智能系統(tǒng)攻擊CI部門。手段有助于縮小差距。這些計劃在組織間共享它以應(yīng)對事件或緊急情況，以及非正式的努力，如開發(fā)在當(dāng)前的企業(yè)結(jié)構(gòu)中，人工智能風(fēng)險的所有權(quán)可能是模糊重大挑戰(zhàn)。組織通常不確定如何應(yīng)用美國國家標準與技術(shù)研究所最近發(fā)布的人人工智能風(fēng)險方法。對這一指南進行調(diào)整并確定其優(yōu)先次足的提供者和那些有具體需求（往往是定制需求）的人更容易獲得這一指人工智能安全問題、緩解措施和最佳實踐也至關(guān)重要，但明確什么是人工智能事件，應(yīng)該報告哪些事件，報告的閾告渠道是否足夠?qū)⑹怯袃r值的。為了促進跨部門的可見性●管理網(wǎng)絡(luò)和人工智能風(fēng)險的技能相似但不完全相同。人工智能系統(tǒng)的實施將其現(xiàn)有勞動力的技能，并尋求機會對員工進行交叉培訓(xùn)，相關(guān)的網(wǎng)絡(luò)安全技能，以有效地解決人工智能一、導(dǎo)言 6背景 7 7 設(shè) 劃 機會 12 障意見 內(nèi) 之 的建議 21 部分 25組織 25 AIDevelopers 26作者 28 組織 界 尾注 介紹2023年10月，白宮發(fā)布了《關(guān)于安全、可靠、可信地開發(fā)和使1正在討論州、聯(lián)邦和國際層面的人工智能治理策略，但保護人工關(guān)者的首要任務(wù)。然而，考慮到監(jiān)管格局的破碎和16個CI部門為了解決其中一些問題，安全與新興技術(shù)中心（CSET）于20研討會，匯集了來自美國聯(lián)邦政府，智庫，工業(yè)界，學(xué)術(shù)界和五個技術(shù)，水，能源和金融服務(wù)）的討論圍繞CI的安全問題展開，包及部署的AI系統(tǒng)中的潛在漏洞或故障帶來的風(fēng)險。研討會的目施中人工智能現(xiàn)狀的坦誠對話，確定人工智能采用所帶來的機遇全相關(guān)的機遇和風(fēng)險，并建議技術(shù)緩解措施和政策選項，以管理討論的重點是美國的競爭情報，對全球監(jiān)管格局進行了有限的部分中概述了研討會的結(jié)論。背景部分包含CSET對人相關(guān)的問題。第三部分“觀察”對討論中的這些建議由目標受眾（政府，CI部門以及部門和為了準備這次研討會，CSET的研究人員審查了各聯(lián)邦部門宮人工智能行政命令第4.3節(jié)。這些報告提供了一些CI所有者和運營商如何在其行業(yè)內(nèi)使用AI的見解，但有時不清楚CI提供商正在使用或考慮使用什么類型的AI系統(tǒng)。例如，美國能源部（DOE）的總結(jié)報告概述了使用人工智能指導(dǎo)或人工智能輔助系統(tǒng)來支持能源基礎(chǔ)設(shè)施控制的潛力，但它沒有具體說明這些是生成人工智能還是傳統(tǒng)模型。背景研究中評估的許多來源和用例都是如此，定行業(yè)的用例。這種模糊性降低了人工智能在CI部門采用現(xiàn)狀的可見性本節(jié)總結(jié)了CSET為研討會所做的初步研究，并根據(jù)聯(lián)邦機構(gòu)的報告，提供了研究方法美國國土安全部（DHS）最近發(fā)布了針對人工智能所有者和運營商的指導(dǎo)方針，將150多2雖然該報告涵蓋了所有16個CI部門，但沒有具體說明用例。為了確定參與研討會的部門的人工智能用例，我們評估了美國財政部（金融服務(wù)），能源部（能源）和美國環(huán)境保護署（EPA，水）的報告。我們還檢查了每個部門和機構(gòu)的AI庫存，但它們只包括這些組織內(nèi)部的用例，而不是一般的行業(yè)。財政部和能源部的報告是根據(jù)人工智能行政命令編寫相對全面，并考慮了許多人工智FinancialManagement）和I5為了確定水資源領(lǐng)域的更多用例，我們評估了水資源管理（水資源管理制物理系統(tǒng)和基礎(chǔ)設(shè)施（如工業(yè)控制系統(tǒng)）中的應(yīng)用。特定能檢測金融行業(yè)的欺詐或預(yù)測能源行業(yè)的電力需求。這些廣參考框架，并捕捉了跨行業(yè)AI用例的廣度。然而，它們并在討論CI的用例時，我們考慮了廣泛的AI應(yīng)用。雖然較新的技如，大型語言模型）最近已經(jīng)成為許多政策制定者的系統(tǒng)，包括預(yù)測和識別數(shù)據(jù)中模式（而不是生成內(nèi)容題，這些問題可能更難以管理，需要仔細研究。這包括解釋模輸出、管理不可預(yù)測的行為以及識別幻覺和虛假信息的困難。最為AI代理提供動力，使這些模型能夠在現(xiàn)實世界中采取更直接處于萌芽階段，但它們自動化任務(wù)的潛力--無論是日常工作流還是網(wǎng).許多IT用例使用人工智能來補充現(xiàn)有的網(wǎng)絡(luò)安全實踐，并在各個部門之間具有共性。例如，人工智能通常用于檢測IT中的惡意事件或威脅，無論是在金融公司還是水務(wù)設(shè)施。一些AIIT用例，例如掃描安全日志以發(fā)現(xiàn)異常，可以追溯到20世紀90年代。在過去的20年里，出現(xiàn)了其他一些技術(shù)，例如異?；驉阂馐录z測。隨著最近生成式AI的出現(xiàn)，新的潛在用例已經(jīng)浮出水面，例如減輕代碼漏洞和分析威脅行為。.根據(jù)報告的用例，沒有在OT中使用生成AI的明確例子。雖然傳統(tǒng)人工智能的一些這部分是由于擔(dān)心在關(guān)鍵OT中造成錯誤。然而，未來如在人類參與的情況下實時控制能源基礎(chǔ)設(shè)施。.許多特定于行業(yè)的人工智能用例尋求提高CI的可靠性，魯棒性和效率。然而，它們也引發(fā)了對數(shù)據(jù)隱私、網(wǎng)絡(luò)安全、人工智能安全以及以確保負責(zé)任的人工智能部署。為這些用例實施一個通.人工智能的采用在CI部門之間存在很大差異。每個部門的組織都有不同的技術(shù)專長、資金、整合新技術(shù)的經(jīng)驗、監(jiān)管或法律限制以及數(shù)據(jù)可用性。此外，目前還不清楚某些人工智能用例是否正在積極實施，是否在短期內(nèi)考慮，或者是否在長期內(nèi)可行。相關(guān)文獻中強調(diào)的許多潛在人工智能用例都是理論上的，實驗僅在實驗室、受控或有限的環(huán)境中進行。一個例子是一個建議的智能灌溉系統(tǒng)原型，用于農(nóng)業(yè)中的有效用水，該系統(tǒng)是使用從現(xiàn)實環(huán)境中收集的數(shù)據(jù)開7目前尚不清楚在實踐中和在各組織之間實施這些應(yīng)用程序的可行性。.很難評估部門內(nèi)各組織使用人工智能的深度。在金融、能源和水行業(yè)有數(shù)千個組織。目前尚不清楚這些行業(yè)中有多少組織正在資料來源：CSET（見附錄A）。*在我們的初步研究中檢查的來源不包含任何當(dāng)前，近期或未來的金融部門OT中的AI用例示例，水利部門OT或IT中的AI用例的當(dāng)前或近期示例，也不包含任何未來的能源部門IT中的AI用例。正如人工智能在關(guān)鍵基礎(chǔ)設(shè)施中的廣泛的當(dāng)前和潛在用例所證明的那樣，許多研討會參與者表示有興趣在各自的行業(yè)中采用人工智能技術(shù)然而，許多人也擔(dān)心與人工智能采用相關(guān)的廣泛和未知的風(fēng)險，無論是來自外部惡意行為者還是來自人工智能系統(tǒng)的內(nèi)部部署。人工智能行業(yè)在采用人工智能方面也面臨著各種障礙，即使是對他們可能立即有利的用例。本節(jié)將簡要總結(jié)關(guān)于這三個主題的討論：風(fēng)險、機遇和采用障礙。風(fēng)險人工智能風(fēng)險是雙重的，包括惡意使用人工智能系統(tǒng)和人工智能系統(tǒng)漏洞或故障。本小節(jié)將討論這兩個類別，首先是惡意使用的風(fēng)險，鑒于目前美國關(guān)鍵基礎(chǔ)設(shè)施上網(wǎng)絡(luò)攻擊的普遍性，一些研討會參與者對此表示擔(dān)憂。這些問題包括人工智能如何幫助惡意行為者發(fā)現(xiàn)新的攻擊媒介，對復(fù)雜的CI網(wǎng)絡(luò)進行偵察和映射，以及使網(wǎng)絡(luò)攻擊更難以檢測或防御。人工智能驅(qū)動的工具降低了惡意行為者的進入門檻，為他們提供了一種新的（潛在的低成本）方法來合成大量信息，以進行網(wǎng)絡(luò)和物理安全攻擊。然而，僅僅增加人工智能并不一定會帶來新的威脅，因為人工智能系統(tǒng)已有動機的網(wǎng)絡(luò)行為者的目標。在這種情況下，對人工智能的大多數(shù)擔(dān)憂都集中在其可能實現(xiàn)目前可能不可能的攻擊或增加未來攻擊的嚴重性。攻擊者對人工智能的更具變革性的使用可能涉及尋求更好的洞察力，了解哪些系統(tǒng)和數(shù)據(jù)流會被破壞或破壞，以實現(xiàn)最大的在某些情況下，生成式AI功能目前正在增加對CI提供商的威脅言模型支持的增強型魚叉式網(wǎng)絡(luò)釣魚。研究人員已經(jīng)觀察人工智能系統(tǒng)的能力，這些系統(tǒng)不一定會改變游戲規(guī)則，社會工程等廣泛的此外，隨著人工智能開發(fā)人員努力通過并與其他數(shù)字系統(tǒng)交互來提高生成模型的能力，可以將一絡(luò)安全攻擊面以及更大的系統(tǒng)復(fù)雜性。數(shù)據(jù)泄露是一個重大問題人工智能系統(tǒng)的升級還可能以新的或未知的方式增加CI運是如果人工智能系統(tǒng)用于OT或IT。（包含OT和IT的用例，通常與防火墻嚴格分離以限制妥協(xié)風(fēng)險，將進一步增加攻擊面對于某些行業(yè)，與會者指出，即使是繪制運營商的網(wǎng)絡(luò)來評估人工智能系統(tǒng)的有用性，并隨后存儲或共享這些敏感信息，也可能成為有動機的威脅行為者的目標。CI運營商比其他行業(yè)的組織面臨更多的限制，因此在披露有關(guān)其系統(tǒng)的信息時需要格外謹慎較新的人工智能產(chǎn)品，特別是生成式人工智能系統(tǒng)，也可能會意外失敗，因為不可能徹底測試它們可能接收的整個輸入范圍。最后，人工智能系統(tǒng)的復(fù)雜性給測試和評估帶來了挑戰(zhàn)，特別是考慮到某些系統(tǒng)無法完全解釋（從無法跟蹤導(dǎo)致輸入和輸出之間關(guān)系的過程的意義上說）。與復(fù)雜性相關(guān)的風(fēng)險由于人工智能和關(guān)鍵基礎(chǔ)設(shè)施的交叉點普遍缺乏專業(yè)知識而變得更加復(fù)雜，無論是在人工智能社區(qū)內(nèi)部還是在人工智能提供商方面機會盡管承認使用人工智能存在風(fēng)險，但與會者普遍認為，在關(guān)鍵基礎(chǔ)設(shè)施中使用人工智能人工智能技術(shù)已經(jīng)在多個領(lǐng)域用于異常檢測、運營感知和對成熟的用例，依賴于較老的、已建立的人工智能和機器學(xué)習(xí)形式（如分類系統(tǒng)而不是較新的生成式人工智能工具。人工智能在CI部門采用的其他機會包括問題分類或優(yōu)先級排序（例如第一響應(yīng)者促進網(wǎng)絡(luò)安全或欺詐環(huán)境中的信息共享，預(yù)測，威脅狩獵，安全運營中心(SOC)運營和OT系統(tǒng)的預(yù)測性維護。更廣泛地說情況并幫助運營商為具有特定需求的客戶或利益相關(guān)者提供更有針對性的信息的潛力感興趣。采用障礙然而，即使在考慮了風(fēng)險與機會的權(quán)衡之后，一些與會者指出，人工智能運營商面臨著各種障礙，這些障礙可能會阻止他們采用人工智能系統(tǒng)，即使它可能是完全有益的。其中一些采用障礙與對人工智能相關(guān)風(fēng)險的猶豫有關(guān)例如數(shù)據(jù)隱私和網(wǎng)絡(luò)安全攻擊面的潛在擴大一些運營商特別猶豫是否在OT（可能影響物理系統(tǒng)）或面向客戶的應(yīng)用程序中采用人工智能。人工智能系統(tǒng)的可信度--或者說缺乏可信度--也是猶豫不決的一個原因其他障礙是由于CI運營商面臨的獨特例如，一些系統(tǒng)必須持續(xù)OT行業(yè)還必須應(yīng)對額外的技術(shù)壁壘，例如普遍缺乏有用的數(shù)據(jù)或依賴無法產(chǎn)生可用數(shù)字輸出的遺留系統(tǒng)。在某些情況下，當(dāng)涉及到物理系統(tǒng)的控徹底的測試和評估也可能過于昂貴，甚至在技術(shù)上是不可能的。第三類障礙涉及合規(guī)、責(zé)任和監(jiān)管要求。人工智能運營商擔(dān)心戶數(shù)據(jù)所帶來的風(fēng)險，以及需要遵守不同州或不同國家的監(jiān)管要行業(yè)的跨國公司需要遵守多個司法管轄區(qū)的法律，并需要最后，幾乎所有行業(yè)進入的一個重大障礙是需要具有人工智能相關(guān)技能的與會者指出，通過雇傭新員工或提高現(xiàn)有員工的技能來緩解勞動力短缺是在任何實際崗位上采用在整個研討會期間，從更廣泛的討論中出現(xiàn)了四個共同趨勢。不代表不同的部門或政府機構(gòu)，在談話中多次提出這些問題，這表明他們的突出性。這些主題包括大型和小型CI提供商之間的差異，定義AI和難，組織內(nèi)對AI風(fēng)險缺乏明確的所有權(quán)，以及破碎的監(jiān)管和指CI在美國涵蓋了許多不同的組織和任務(wù)，從全國性的銀行到區(qū)域電力公司，再到可能只為幾千居民服務(wù)的當(dāng)?shù)毓┧?。傳播和信息提供者之間的資源差距很大，大體上是大組織和小提供者之間的差距，在整個研討會期間一再提出。這種差距可能存在于部門之間，如資源相對較好的金融服務(wù)部門和資源較少的水部門之間，也可能存在于部門內(nèi)部，如主要銀行和區(qū)域貸款機構(gòu)之間可能繼續(xù)導(dǎo)致人工智能的采用集中在資金最充足的組織中。因此，前面討論的人工智能的許多潛在好處對于許多沒有財政或技術(shù)援助的小型供應(yīng)商來說可能是遙不可及的.人才：與充足資金問題密切相關(guān)的是，不同提供者的工作人員或有能力雇用的技術(shù)專長有限。擁有人工智能和網(wǎng)絡(luò)安全技能的工人市場，以及這些職位的較高工資，使小型供應(yīng)商業(yè)，如IT和金融，已經(jīng)擁有大量的技術(shù)人員，并且與制造組織相比，已經(jīng)能夠很好地整合和支持新的人工智能.數(shù)據(jù)：生產(chǎn)或獲取大量數(shù)據(jù)用于人工智能應(yīng)用的能力對小型供應(yīng)商來說可能是一個巨大的挑戰(zhàn)。組織的規(guī)模和業(yè)務(wù)的規(guī)模只是問題的一個方面小型公用事業(yè)公司通常運行較舊或定制的OT系統(tǒng)，這些系統(tǒng)生成的數(shù)據(jù)有限或缺乏數(shù)字輸出。使定制數(shù)據(jù)可用于AI應(yīng)用程序通常成本高昂且耗時。此外，這些系統(tǒng)中的許多系統(tǒng)被配置為適合提供商的獨特需求，這可能會阻止在來自部署在其他環(huán)境中的相同機器或設(shè)備的數(shù)據(jù)上訓(xùn)練的模型的泛化。.論壇：各部門內(nèi)各組織之間的溝通和協(xié)調(diào)方法差別很大。雖然大多數(shù)部門都有值得信賴的第三方，如部門協(xié)調(diào)委員會和信息共享和分析中心（ISAC），但某些部門還有其他論壇來促進合作，共享威脅信息和制定最佳實踐，所有這些都在采用人工智能等新技術(shù)方面發(fā)揮著關(guān)鍵作用。建立良好的合作論壇的例子包括金融服務(wù)部門的金融和銀行信息基礎(chǔ)設(shè)施委員會和網(wǎng)絡(luò)風(fēng)險研究所，以及能源部門的電力分部門協(xié)調(diào)理事會的網(wǎng)絡(luò)互助方案。網(wǎng)絡(luò)安全和基礎(chǔ)設(shè)施安全局（CISA）、行業(yè)風(fēng)險管理機構(gòu)（SRMA）和行業(yè)本身需要識別、消除沖突，并可能擴大現(xiàn)有論壇，以管理新出現(xiàn)的人工智能風(fēng)險和安全問題。這還可以包括*缺乏這些團體的投入，可能會導(dǎo)致人工智能標準的開發(fā)乏對優(yōu)先實踐的適當(dāng)指導(dǎo)，對于較小的組織來說，實盡管存在所有這些挑戰(zhàn)，但即使是規(guī)模較小、資源較少的組追求人工智能應(yīng)用。在人工智能提供的許多潛在好處中，使用檢測特別有影響力，并且在CI的背景下至關(guān)重要。較小的供應(yīng)*最近成立的國土安全部人工智能安全和安保委員會可以作為另一個論壇，因為其作用和責(zé)任得到進一步界更快、更微妙、更復(fù)雜的人工智能網(wǎng)絡(luò)攻擊帶來的潛在威脅作為服務(wù)提供的解決方案或為定制應(yīng)用程序定制AI的解決方案將有助于降低這些障礙，并允許使用部門或組織的數(shù)據(jù)庫（一旦為AI培訓(xùn)正確格式化）來支持IT或OT安全任務(wù)。區(qū)分與人工智能和網(wǎng)絡(luò)安全相關(guān)的問題，以及兩者之間的重疊，是各部門面臨的共同挑戰(zhàn)總的來說，這一挑戰(zhàn)反映了人工智能安全和人工智能安全之間的潛在模糊性-這兩個學(xué)科分別發(fā)展，但兩者都是強大的人工智能風(fēng)險管理所必需的。[10]這種模糊性產(chǎn)生于三種情況：風(fēng)險、事故和勞動力。.風(fēng)險：確定與人工智能系統(tǒng)相關(guān)的給定風(fēng)險是屬于美國國家標準與技術(shù)研究院人行這種明確的區(qū)分，然而，獨立框架的存在以及平問題是人工智能風(fēng)險，網(wǎng)絡(luò)風(fēng)險還是兩者兼而有之。這于使用AI的應(yīng)用程序的上下文，以及它如何與提供商的關(guān)鍵金融領(lǐng)域的關(guān)鍵功能--信用評分決策中使用人工智能的偏見和安全和安保的風(fēng)險。這對于試圖明確劃分人工智能和網(wǎng)絡(luò)承認的那樣，“將AI風(fēng)險與其他關(guān)鍵風(fēng)險（如網(wǎng)絡(luò)安全和隱私更綜合的結(jié)果和組織效率。然而，在與研討會與會者的討.事件：關(guān)于什么是網(wǎng)絡(luò)事件、人工智能事件、安全事件、道德事件或這些事何共享與非網(wǎng)絡(luò)人工智能事件相關(guān)的信息。此外，網(wǎng)絡(luò)和似性并不完美。例如，正如其他研究所指出的那樣，一些定義人工智能相關(guān)事件的范圍以及哪些子集屬于現(xiàn)有的報告要求將是有價值的。對于現(xiàn)有要求未涵蓋的人工智能事件，研討會參與者廣泛認關(guān)的故障、緩解措施和最佳實踐相關(guān)的信息的好處。然而否應(yīng)該通過具有明確報告要求的正式渠道進行，還是通過其他擬議的公共存儲庫等非正式渠道進行，存在分歧。明確什么是人工智能事件，應(yīng)該報告哪些事件，報告的閾值以及現(xiàn)有的網(wǎng)絡(luò)事件報告時候提供進一步的指導(dǎo)。14.勞動力：預(yù)測CI組織需要什么勞動力來利用人工智能并應(yīng)對人工智能威脅帶來的挑戰(zhàn)是困難的。目前尚不清楚人工智能風(fēng)險管理是否需要具備人工智能特定技能的人員、具備人工智能風(fēng)險專業(yè)化或交叉培訓(xùn)的網(wǎng)絡(luò)安全專家，還是一批具備人工智能和網(wǎng)絡(luò)安全專業(yè)知識的全新人員傳統(tǒng)網(wǎng)絡(luò)安全最佳實踐的某些方面，如身份驗證和數(shù)據(jù)保護，也適用于管理人工智能風(fēng)險。然而，人工智能系統(tǒng)的設(shè)計和實施需要獨特的專業(yè)知識，許多CI提供商在其當(dāng)前的網(wǎng)絡(luò)勞動力中可能沒有。至少，一個組織中的人工智能和網(wǎng)絡(luò)安全專家需要一些交叉培訓(xùn)，以有效地進行合作，并使用共同的語言來應(yīng)對各種人工智能和網(wǎng)絡(luò)風(fēng)險。者指出，需要將人工智能風(fēng)險管理整合到許多組織的現(xiàn)有流程當(dāng)前的企業(yè)結(jié)構(gòu)中，人工智能風(fēng)險的所有權(quán)可能是模糊的。如今，人工智能風(fēng)險管理并不完全屬于任何單一的企業(yè)領(lǐng)導(dǎo)職位，例如首席信息安全官、首席技術(shù)官、首席信息官或首席數(shù)據(jù)官。人工智能及其相關(guān)風(fēng)險的各個方面通常跨越這些不同角色的職責(zé)。雖然將人工智能風(fēng)險管理納入整體企業(yè)戰(zhàn)略的必要性是明確的，但組織內(nèi)誰擁有人工智能風(fēng)險卻并非如此。例如，NISTAIRMF的Governn2.1指出，“與映射，測量和管理AI風(fēng)險相關(guān)的角色和責(zé)任以及溝通渠道都有記錄，并且對整個組織中的個人和團隊都很清楚”，但有關(guān)哪些參與者應(yīng)該直接負責(zé)的細節(jié)有限。一些組織正在通過任命新的首席人工智能官來應(yīng)對這一挑戰(zhàn)，而另一些組織則將其納入首席彈性官的職責(zé)。然而，最常見的解決方案（盡管可能不太持久）是讓組織在不同角色之間分擔(dān)責(zé)任，或者讓現(xiàn)有官員（通常是首席數(shù)據(jù)官）“身兼兩職”雖然CI內(nèi)外的組織都在努力解決如何管理人工智能帶來的風(fēng)險，但這些挑戰(zhàn)在CI部門可能尤為嚴峻。許多CI提供商由于面臨高度監(jiān)管以及管理的基本服務(wù)（例如提供清潔水或保持燈亮）而具有“合規(guī)文化”。因此，法規(guī)要求和由此產(chǎn)生的組織策略通常以二元方式編寫-組織滿足或不滿足給定的要求。然而，同樣的方法并不適用于人工智能的背景人工智能模型的輸出本質(zhì)上是概率性的：一個系統(tǒng)會或不會產(chǎn)生概率為n的某種結(jié)果。這與以合規(guī)為導(dǎo)向的制度下的政策和要求不一致，這些政策和要求規(guī)定系統(tǒng)將（100%的可能性）或不會（0%的可能性）完全確定地做某事因此，人工智能風(fēng)險管理需要一種“風(fēng)險意識文化”，其重點是減少傷害的可能性，而不是滿足要求清單。風(fēng)險管理文化的這些差異可能會影響人工智能在許多CI部門的安全采用。研討會期間普遍表達的擔(dān)憂是，許多CI提供商正在努力實施AI風(fēng)險管理。除了前面討論過的資源限制之外，還有兩個關(guān)鍵因素造成了這一問題：指導(dǎo)和監(jiān)管的斷裂?！癙laybook”和“GenerativeAIProfile”草案）、CSF和隱私框了解這些框架如何協(xié)同工作，哪一套指南適用于何處，以及如何為給定的AI用例實施推薦的實踐，對組織來說是一個巨大的障礙。與會者注意到與這一問題有關(guān)的兩個關(guān)鍵挑戰(zhàn)。o首先，每一個框架都提出了許多建議實施的做法，如果將這些建議結(jié)合起來，即使對資源充足的組織來說，這些建議的范圍也與會者強調(diào)，缺乏關(guān)于如何在眾多建議做法中確定優(yōu)先次序的一般性指導(dǎo)，特別情況下，以及缺乏針對具體部門的指導(dǎo)，是實施建議做法指出，社區(qū)概況，如與國別服務(wù)框架一起編制的概況，是對高級別指導(dǎo)的有益補充。然而，這些配置文件需要時間來開發(fā)，目前還沒置文件。隨著人工智能的快速發(fā)展和采用的推動，值得信賴的第三方可能會在解決這一指導(dǎo)差距方面發(fā)揮重要作用。o其次，這些重疊框架交叉處的模糊性使得組織難以解釋哪些指導(dǎo)適用于何處。例如，網(wǎng)絡(luò)安全和隱私框架的核心活動都包括保護功能（分別為“保護”和“保護-P”），其中涵蓋建議的保障和安全措施。然而，AIRMF沒有保護功能。雖然組織可以借鑒CSF的安全實踐，但網(wǎng)絡(luò)安全的類似物-例如紅隊-并不總是直接轉(zhuǎn)化為人工智能的背景。此外，這些措施可能無法防止AI系統(tǒng)特有17.這些框架相互交叉時產(chǎn)生的模糊性和潛在差距，使人難以拼湊出應(yīng)如何協(xié)調(diào)一致地適用這些框架。因此，希望實施安全可靠的人工智能系統(tǒng)的CI提供商面臨著一個挑戰(zhàn)，即試圖從一系列框架、技術(shù)研究報告和行業(yè)實踐中消除實施指導(dǎo)的沖突。提煉這些信息需要時間和專門知識，許多組織，特別是資源較少的組織，如果沒有援助，是負擔(dān)不起的內(nèi)部正在進行的努力NIST，如數(shù)據(jù)治理和管理簡介，可能在這方面有所幫助，并被與會者視為高度優(yōu)先事項。18.監(jiān)管：對數(shù)據(jù)保護和網(wǎng)絡(luò)安全方面支離破碎的監(jiān)管環(huán)境的擔(dān)憂，以及人工智能類似治理機制的可能性，構(gòu)成了人工智能提供商采用人工智礙。由于缺乏對隱私或網(wǎng)絡(luò)安全的總體聯(lián)邦法規(guī)，州一級制須遵守的要求。此外，一些CI提供商在全球范圍內(nèi)開展業(yè)影響，特別是歐盟的GDPR和最近的人工智能法案。這調(diào)，給尋求實施人工智能系統(tǒng)的組織帶來了合規(guī)風(fēng)：（智能和關(guān)鍵基礎(chǔ)設(shè)施交叉點的所有參與者的（3）CI部門的建議;以及（4）針對單個組織的建議，包跨領(lǐng)域建議以下建議適用于關(guān)鍵基礎(chǔ)設(shè)施和人工智能生態(tài)系統(tǒng)中的所有利益相關(guān)者.參與信息共享。共享最佳實踐、威脅信息和事件對于維護CI中使用的AI系統(tǒng)的安全至關(guān)重要。雖然共享人工智能安全與人工智能安全信息的具體渠道尚不清楚，但在這兩個領(lǐng)域共享信息的需求至關(guān)重要。。SRMA應(yīng)該利用現(xiàn)有的場所進行AI安全信息共享。能系統(tǒng)中的人工智能威脅和安全漏洞提供了一個自然的論壇。JCDC也可能有助于這些努力不太清楚的是共享與安全無關(guān)的人工智能安全風(fēng)險信息的機制共享人工智能安全信息的渠道-例如在給定的人工智能模型中發(fā)現(xiàn)的錯誤輸出，偏差或故障-可以納入現(xiàn)有的ISAC或單獨建立。將人工智能安全通信集成到現(xiàn)有的ISAC中可以減少開銷，防止冗余，為管理風(fēng)險提供更全面的見解，并減輕前面討論的人工智能安全和安全之間的模糊性。另一方面，為人工智能安全創(chuàng)建單獨的信息共享中心可以提供更有針對性的情報，幫助減少需要處理的信息量，并保持ISAC以安全為中心的使命。一個具體部門的例子*人工智能安全的單獨信息共享渠道可能適合或補充人工智能安全研究所，因為它將繼續(xù)發(fā)展和獲得能力。安全中心（不專注于人工智能）是由MITRE運營的航空安全信息分析和共使用進行高級別的可見性對于管理總體風(fēng)險至關(guān)重要。這包括確定人工智能在何處以及如何使用，開發(fā)最佳實踐，以及評估人工智能安全和安全信息-無論是通過相同還是不同的渠道共享。為了促進跨部門的信息共享和分析，我們建議建立一個集中的人工智能安全和安全分析中關(guān)鍵基礎(chǔ)設(shè)施觀測站，將為這個跨部門中心創(chuàng)造一個潛在的家園。19定義人工智能事件并在發(fā)生時共享相關(guān)信息，無論是否存在網(wǎng)絡(luò)安全影響，對于識別新的漏洞和危害至關(guān)重要。為了使這些信息有用，提供商需要確保他們正在收集相關(guān)數(shù)據(jù)和審計日志，以評估導(dǎo)致事件發(fā)生的原因，事件如何展開，以及之后采取了哪些措施來確定問題的根源并進行補救。我們注意到，目前關(guān)于溝通人工智能事件的指導(dǎo)很少，指導(dǎo)越早是重要的先決條件。人工智能提供商還應(yīng)采取積極措施，分享有關(guān)觀察到的威脅、發(fā)現(xiàn)的漏洞以及與人工智能使用和部署相關(guān)的行業(yè)最佳實踐的信息此外，共享特定部門的數(shù)據(jù)，包括人工智能系統(tǒng)的培訓(xùn)數(shù)據(jù)，可以幫助CI提供商。雖然出于專有原因或責(zé)任風(fēng)險可能會傾向于保留數(shù)據(jù)，但協(xié)作方法將有助于每個部門內(nèi)的組織受益，特別是可能無法為AI用例生成所需數(shù)據(jù)量的小型提供商。第一步可能是優(yōu)先考慮為人工智能應(yīng)用程序共享數(shù)據(jù)的工作，這些應(yīng)用程序可以促進或保護預(yù)測性維護和網(wǎng)絡(luò)安全等關(guān)鍵服務(wù)。.發(fā)展勞動力。與會者普遍認為，招聘和培養(yǎng)人工智能人才是在關(guān)鍵基礎(chǔ)設(shè)施系動力能力以及缺乏勞動力的問題是貫穿整個討論的主題。一些與會者建議決策者考慮為明確旨在提高傳播和信息部門能力的勞動力發(fā)展舉措提供資金。應(yīng)該在人工智能培訓(xùn)計劃的設(shè)計和實施中發(fā)揮重要的中介作用。這首先要確定其行業(yè)內(nèi)的特定人工智能人才需求，并制定有助于設(shè)計培訓(xùn)計劃的要求此外，傳播和信息部門應(yīng)發(fā)揮主導(dǎo)作用，協(xié)調(diào)這些方案的實施，。CI運營商和供應(yīng)商應(yīng)積極提高其現(xiàn)有勞動力的技能。開發(fā)必要的人工智能人才仍然是一項艱巨的任務(wù)，部分滿足需求的一種方法是提高現(xiàn)有員工的技能。這種技能提升的一個方面可能是培訓(xùn)能夠為運營AI系統(tǒng)的組織部署和管理AI系統(tǒng)的個人工作人員。另一個可能包括在員工中推廣人工智能知識，正確使用人工智能工具以及人工智能威脅帶來的風(fēng)險，例如復(fù)雜的魚叉式網(wǎng)絡(luò)釣魚攻擊。特別值得注意的是，人工智能提供商應(yīng)確保其員工意識到在發(fā)送給第三方人工智能服務(wù)的提示中包含專有或敏感信息的風(fēng)險特別是在國家一級。監(jiān)管協(xié)調(diào)將有助于CI運營商規(guī)劃前一些與會者還表示希望在州和聯(lián)邦兩級將協(xié)調(diào)統(tǒng)一的努力適用于未來任何專門針對人工智能的立法。府指導(dǎo)由于其一般性而難以實施。從本質(zhì)上講，制定適用于每個人的指導(dǎo)方針存在不適合任何人的風(fēng)險。這一點在傳播和信息部門尤為突出，因為供應(yīng)商往往經(jīng)營定制和專門的系統(tǒng)。針對具體部門的指導(dǎo)和關(guān)于操作的額外指導(dǎo)將使許多運營商受益。例如，在NISTCSF發(fā)布之前，NIST已經(jīng)發(fā)布了一個專門針對改善CI網(wǎng)絡(luò)安全的網(wǎng)絡(luò)安全框架版本。20與人工智能相關(guān)的類似指導(dǎo)-在比現(xiàn)有資源（如NISTAIRMFPlaybook）更具體的層面上-可能對CI運營商有幫助，特別是那些資源不足的運營商。21NIST的“生成式人工智能配置文件”和“生成式人工智能和兩用基礎(chǔ)模型的安全軟件開發(fā)實踐”就是這種定制指導(dǎo)的例子。22門的AI配置文件，類似于現(xiàn)有的網(wǎng)絡(luò)安全配置文件，也將有助于促進安全和可靠的采用。.支持相關(guān)基礎(chǔ)設(shè)施，以測試和評估AI系統(tǒng)。如上所述，人工仍然不成熟。許多評估是由模型開發(fā)人員進行的，沒有獨立評估結(jié)果的機制。然而，重要的是，第三方在評價中將發(fā)揮的作用仍不明確。NIST人工智能安全研究所等組織可以在未來的模型評估中發(fā)揮主導(dǎo)作用，但需要以資金和人員的形式提供額外的資源第三方對模型的審計和針對定義的基準的評估可以為CI運營商提供對這些模型的安全性和安全性的額外信心。研討會上討論的想法包括使用現(xiàn)有的CI測試床或設(shè)計專門用于AI測試和評估的測試床，這可以允許繼續(xù)研究模型在部署環(huán)境中的行為。此外，還需要進一步研究人工智能的風(fēng)險評估指標，以及如何使用網(wǎng)絡(luò)安全測試和評估實踐來測試部署人工智能技術(shù)的網(wǎng)絡(luò)基礎(chǔ)設(shè)施。理想的情況是，所有傳播和信息部門都能獲得這些資源。.擴大生態(tài)系統(tǒng)監(jiān)測工作。繼續(xù)和擴大識別跨CI部門部署的AI用例的努力對于保持整個生態(tài)系統(tǒng)的可見性和評估整體風(fēng)險至關(guān)重要。在能應(yīng)用程序進行背景研究時，我們發(fā)現(xiàn)許多報告的用細節(jié)，例如組織如何使用人工智能系統(tǒng)（例如，實部門對于實施人工智能安全和安保指導(dǎo)至關(guān)重要。傳播和信息部門應(yīng)促進這些有針對性的最佳做法的發(fā)展和協(xié)調(diào)，確保大小提供者都能為這一進程提供投入.擴大和支持互助。為了幫助解決部門之間和部門內(nèi)部的差距，講習(xí)班與會者建議擴大非正式和正式的互助手段。這些舉措有助于在組織間共享資源、人才和知識，以提高整個行業(yè)的安全性和彈性。正式互助的一個例子是電力分部門協(xié)調(diào)委員會的網(wǎng)絡(luò)互助方案，該方案將網(wǎng)絡(luò)安全專業(yè)人員網(wǎng)絡(luò)連接起來，在網(wǎng)絡(luò)緊急情況下向參與的供應(yīng)商提供支持。非正式互助往往是大型提供方努力的結(jié)果，對小型提供方具有溢出效應(yīng)或次要利益例如，可制定行業(yè)標準，審查產(chǎn)品和服務(wù)提供商。為了解決較小的提供者在其中一些非正式做法中沒有發(fā)言權(quán)的問題，較大的組織和部門協(xié)調(diào)機構(gòu)應(yīng)努力收集和采納較小提供者的意見，作為這些進程的一部分組織.將AI風(fēng)險管理融入企業(yè)風(fēng)險管理。為了正確合到現(xiàn)有的企業(yè)風(fēng)險管理實踐中。組織應(yīng)該基于NIST的AIRMF開發(fā)這些實踐，并利用NIST最近發(fā)布的Dioptra評估平臺等工具。23然而，如前所述，需要就如何將AIRMF建議納入現(xiàn)有實踐提供進一步的.明確AI風(fēng)險管理的所有權(quán)。雖然在企業(yè)結(jié)構(gòu)中誰應(yīng)該擁有人工智能風(fēng)險的問題上存在不同的觀點，但很明顯，將人工智能風(fēng)險整合到企業(yè)風(fēng)險管理中取決于明確定義所有權(quán)。由于與人工智能風(fēng)險相關(guān)的問題涵蓋了標準企業(yè)領(lǐng)導(dǎo)職位的許多職責(zé)，因此一種選擇可能是建立一個新的首席人工智能官意創(chuàng)建新的職位，他們可能需要考慮利用現(xiàn)有的內(nèi)部論壇或創(chuàng)建一個新的論壇，將相關(guān)的組織領(lǐng)導(dǎo)者聚集在一起評估人工智能風(fēng)險。然而，對于許多希望在非常狹窄的范圍內(nèi)部署人工智能的小型供應(yīng)商或組織來說，將人工智能風(fēng)險的所有權(quán)分配給現(xiàn)有的官員-或特定的董事會成員，對于本地供應(yīng)商來說-可能是更可異常和威脅檢測。然而，對于較新的人工智能技贊成采用謹慎和謹慎的方法。像MITREAI開發(fā)者人工智能開發(fā)人員幾乎每天都在開發(fā)新的生成性人工智能提供商操作其系統(tǒng)和特定于行業(yè)的用例。然而，許多CI運營商.參與透明度最佳實踐。這包括以模型卡或“營養(yǎng)標簽”的形式發(fā)布有關(guān)模型的信息，類似于物聯(lián)網(wǎng)設(shè)備的建議。25.與會者還指出，增加關(guān)于訓(xùn)練數(shù)據(jù)來源的信息（大多數(shù)人工智能開發(fā)人員目前沒有提供）將有利于評估與人工智能系統(tǒng)相關(guān)的風(fēng)險。模型評估結(jié)果（安全性、安全性或其他方面）和模型漏洞的透明度也是有價值的。.通過開發(fā)AI可解釋性和可解釋性的方法來提與此同時，缺乏可解釋性是CI運營商考慮采用AI系或面向客戶的用例。雖然這些都是不斷發(fā)展的研究領(lǐng)域，還沒有可解釋或可解釋的人工智能的靈丹妙藥，但對這些作者JohnBansemer-CSET高級研究員兼CyberAI項目主任ZacharyArnold-致謝我們要感謝圓桌會議的幾位與會者，他們對討論做出了很大貢獻，但無法參與寫作過程：本杰明·阿姆斯特丹、達科塔·卡里、邁爾斯·馬丁、凱特·梅加斯、尼基爾·穆拉?2024由安全和新興技術(shù)中心。本作品采用知識共享署名-非商業(yè)性4.0國際許可進行許可。要查看此許可證的副本，請訪問/li事實說明書：DHS促進了聯(lián)邦政府，關(guān)鍵基礎(chǔ)設(shè)施和美國安），“““MohammadElHajj和JamilHammoud，“揭示人工智能和機器學(xué)習(xí)對金融市場的影響：對交易，風(fēng)險管理和金融運營中人工智能應(yīng)用的全面“1執(zhí)行號訂單14110，3CFR（2023），/briefing-room/presidential-actions/2023/10/30/executive-order-on-the-safe-secure-and-trustworthy-development-and-use-of-artificial-intelligence/.2國土安全部，減輕人工智能（AI）風(fēng)險：關(guān)鍵基礎(chǔ)設(shè)施所有者和運營商的安全指南（華盛頓特區(qū)：國土安全部，2024年），/sites/default/files/2024-04/24_0426_dhs_ai-ci-safety-security-guidelines-508c.pdf。3Treasury，ManagingArtificialIntelligence-SpecificCybersecurityRisksintheFinancialServicesSector（Washington，DC：Treasury，2024/system/files/136/Managing-Artificial-Intelligence-Specific-Cybersecurity-Risks-In-The-Financial-Services-Sector.pdf;OfficeofCybersecurity，EnergySecurity，andEmergencyResponse，PotentialBenefitsandRisksofArtificialIntelligenceforCriticalEnergyInfrastructure（Washington，DC：DOE，2024），/sites/default/files/2024-04/DOE%20CESER_EO14110-AI%20Report%20Summary_4-26-24.pdf.4MuhammadElHajj和JamilHammoud，“揭示人工智能和機器學(xué)習(xí)對金融市場的影響：對人工智能在交易，風(fēng)險管理和金融運營中的應(yīng)用的全面分析”，風(fēng)險與金融管理雜志16，第16期。10（2023年10月434，/10.3390/jrfm16100434;IndigoAdvisoryGroup，“Utilities&ArtificialIntelligence-ANewErainthePowerSector”，Medium，May15，2024，/@indigoadvisory/utilities-artificial-intelligence-research-brief-0890e4ec5533。5T.Boe等人，“人工智能在EPA國土安全中的應(yīng)用”，EPA，2022年7月26日，/si/si_public_record_Report.cfm?dirEntryId=357842&實驗室=CESER。6AlmandoMorain等人，“人工智能水消費評估：最先進的評論，”水資源管理38（2024）：3113-3134，/10.1007/s11269-024-03823-x;艾哈邁德E。Alprol等人，“人工智能技術(shù)革命廢水處理：當(dāng)前趨勢和未來展望，”水16，沒有。2（2024年1月）：314，/10.3390/w16020314。7AshutoshBhoi等人，“物聯(lián)網(wǎng)IIRS：基于物聯(lián)網(wǎng)的智能灌溉推薦系統(tǒng)，使用機器學(xué)習(xí)方法實現(xiàn)高效用水，”PeerJComputerScience7：e578（2021年6月21日），/10.7717/peerj-cs.578。8CISA，“#StopRansomware：RansomwareAttacksonCriticalInfrastructureFundDPRKMaliciousCyberActivities，”February9，2023，/news-events/cybersecurity-advisories/aa23-040a;CISA，“PRCState-SponsoredActorsCompromiseandMaintainPersistentAccesstoU.S.CriticalInfrastructure，”February7，2024，/news-events/cybersecurity-advisories/aa24-038a.9MicrosoftThreatIntelligence，“StayingAheadofThreatActorsintheAgeofAI，”MicrosoftSecurityBlog，F(xiàn)ebruary14，2024，/en-us/security/blog/2024/02/14/staying-ahead-of-threat-actors-in-the-age-of-ai/.10XiangyuQietal.，“AI風(fēng)險管理應(yīng)該同時包含安全性和安全性，”arXiv預(yù)印本arXiv：2405.19524（2024），/abs/2405.19524。11MicahMusser等人，“對抗性機器學(xué)習(xí)和網(wǎng)絡(luò)安全：風(fēng)險，挑戰(zhàn)和法律影響”（CSET，2023年4月），/publication/adversarial-machine-learning-和-cybersecurity/。12AndrewLohn和WyattHoffman，“保護人工智能：傳統(tǒng)漏洞披露必須如何適應(yīng)”（CSET，2022年3月），/publication/securing-ai-how-traditional-13參議員馬克·R。Warner，“Warner，TillisIntroduceLegislationtoAdvanceSecurityofArtificialIntelligenceEcosystem，”新聞稿，2024年5月1日，/public/index.cfm/2024/5/warner-tillis-introduce-legislation-to-advance-security-of-artificial-intelligence-ecosystem。14CISA，“CISA，JCDC，政府和行業(yè)合作伙伴進行AI桌面演習(xí)”，新聞稿，2024年6月14日，/news-events/news/cisa-jcdc-government-and-industry-partners-conduct-ai-tabletable-exercise。[15]NIST，ArtificialIntelligenceRiskM