人工智能安全治理框架解讀-系統(tǒng)安全風(fēng)險(xiǎn)及應(yīng)對篇

人工智能安全治理框架解讀——系統(tǒng)安全風(fēng)險(xiǎn)及應(yīng)對篇

2024年9月9日，全國網(wǎng)絡(luò)安全標(biāo)準(zhǔn)化技術(shù)委員會發(fā)布了《人工智能安全治理框架》1.0版（以下簡稱“《治理框架》”）?！吨卫砜蚣堋反_定了人工智能的總體安全治理框架。按照“提出問題”到“解決問題”的邏輯：首先梳理人工智能技術(shù)本身及其在應(yīng)用過程中面臨的各種安全風(fēng)險(xiǎn)；之后針對前述安全風(fēng)險(xiǎn)點(diǎn)提出解決方案；最后還針對模型算法研發(fā)者、AI服務(wù)提供者、重點(diǎn)領(lǐng)域用戶和社會公眾用戶給出了開發(fā)應(yīng)用人工智能技術(shù)的若干安全指導(dǎo)規(guī)范。本文以《治理框架》為基礎(chǔ)，進(jìn)一步用盡量簡單易懂的例子解讀風(fēng)險(xiǎn)和應(yīng)對措施，以饗讀者。本文主要圍繞人工智能系統(tǒng)安全風(fēng)險(xiǎn)和應(yīng)對措施展開討論。1.缺陷、后門被攻擊利用風(fēng)險(xiǎn)人工智能算法模型設(shè)計(jì)、訓(xùn)練和驗(yàn)證的標(biāo)準(zhǔn)接口、特性庫和工具包，以及開發(fā)界面和執(zhí)行平臺可能存在邏輯缺陷、漏洞等脆弱點(diǎn)，還可能被惡意植入后門，存在被觸發(fā)和攻擊利用的風(fēng)險(xiǎn)。以系統(tǒng)缺陷為例，人工智能系統(tǒng)中的漏洞或缺陷是指系統(tǒng)中未發(fā)現(xiàn)或未修補(bǔ)的安全問題，攻擊者可以利用這些漏洞進(jìn)行惡意操作。例如：AI模型的輸入驗(yàn)證機(jī)制存在缺陷，允許攻擊者通過輸入惡意數(shù)據(jù)來操縱模型的輸出。如果系統(tǒng)基礎(chǔ)設(shè)施（如數(shù)據(jù)庫、操作系統(tǒng)）中存在安全漏洞，攻擊者可以通過這些漏洞獲得對AI系統(tǒng)的未授權(quán)訪問。系統(tǒng)缺陷風(fēng)險(xiǎn)：數(shù)據(jù)泄露：攻擊者可以通過利用漏洞獲取系統(tǒng)中的敏感數(shù)據(jù)。系統(tǒng)癱瘓：攻擊者可能通過漏洞對系統(tǒng)進(jìn)行拒絕服務(wù)（DoS）攻擊，導(dǎo)致AI系統(tǒng)無法正常運(yùn)行。錯(cuò)誤決策：模型的漏洞可能被利用，使AI系統(tǒng)做出錯(cuò)誤的決策或預(yù)測，影響自動駕駛、醫(yī)療診斷等場景。后門攻擊風(fēng)險(xiǎn)是指開發(fā)人員或攻擊者在AI系統(tǒng)中故意或無意留下的秘密訪問點(diǎn)或控制機(jī)制，使得在不符合正常安全協(xié)議的情況下，攻擊者能夠進(jìn)入系統(tǒng)并操控模型或數(shù)據(jù)。例如：AI模型的開發(fā)者在模型中植入了后門代碼，當(dāng)攻擊者輸入特定觸發(fā)條件時(shí)，模型將產(chǎn)生預(yù)定的錯(cuò)誤輸出。例如，某圖像分類模型在識別普通交通標(biāo)志時(shí)準(zhǔn)確無誤，但在面對帶有特定符號的標(biāo)志時(shí)，卻會錯(cuò)誤地將“停止”標(biāo)志識別為“通行”，從而引發(fā)潛在的危險(xiǎn)。在模型訓(xùn)練數(shù)據(jù)或算法中故意加入惡意代碼，使得在特定情況下，攻擊者能夠通過后門獲得對系統(tǒng)的控制。具體的風(fēng)險(xiǎn)可能是：操控結(jié)果：攻擊者可以通過后門操控AI模型，使其在面對特定輸入時(shí)做出不正常的決策（例如在自動駕駛汽車系統(tǒng)中故意引發(fā)錯(cuò)誤決策）。信息竊?。汉箝T可以被攻擊者用來獲取系統(tǒng)中的敏感數(shù)據(jù)，如用戶隱私信息或商業(yè)秘密。攻擊擴(kuò)散：攻擊者可以通過后門進(jìn)一步入侵系統(tǒng)的其他部分或網(wǎng)絡(luò)中的其他系統(tǒng)，擴(kuò)大攻擊范圍?？刹扇〉膽?yīng)對措施有：安全開發(fā)和代碼審查：在AI系統(tǒng)開發(fā)過程中，采用嚴(yán)格的安全開發(fā)流程，確保每一步都經(jīng)過安全性驗(yàn)證；定期進(jìn)行代碼審查和安全測試，識別并修復(fù)潛在漏洞和后門。模型驗(yàn)證和測試：使用防后門檢測工具和對抗性測試，對AI模型進(jìn)行全面的安全性評估，確保模型未被植入惡意后門。強(qiáng)化訪問控制：實(shí)施嚴(yán)格的訪問控制策略，限制只有經(jīng)過授權(quán)的人員才能訪問和修改AI系統(tǒng)的核心代碼和模型。防篡改機(jī)制：使用防篡改技術(shù)保護(hù)模型的完整性，確保模型在使用過程中不會被未經(jīng)授權(quán)的修改或注入惡意代碼。模型更新和監(jiān)控：定期更新AI模型和系統(tǒng)，修補(bǔ)已知漏洞，并對模型的行為進(jìn)行持續(xù)監(jiān)控，識別任何潛在的異?；顒?。

2.算力安全風(fēng)險(xiǎn)人工智能訓(xùn)練運(yùn)行所依賴的算力基礎(chǔ)設(shè)施，涉及多源、泛在算力節(jié)點(diǎn)，不同類型計(jì)算資源，面臨算力資源惡意消耗、算力層面風(fēng)險(xiǎn)跨邊界傳遞等風(fēng)險(xiǎn)。AI系統(tǒng)依賴于強(qiáng)大的計(jì)算能力來處理大規(guī)模的數(shù)據(jù)和復(fù)雜的模型訓(xùn)練，而算力安全風(fēng)險(xiǎn)主要涉及對計(jì)算資源的濫用、攻擊或不當(dāng)管理。具體風(fēng)險(xiǎn)和表現(xiàn)包括：（1）計(jì)算資源濫用攻擊者通過未授權(quán)的訪問，惡意利用AI系統(tǒng)的計(jì)算資源進(jìn)行其他目的的計(jì)算，導(dǎo)致系統(tǒng)負(fù)載過高或算力資源枯竭。例如，黑客侵入AI系統(tǒng)或云計(jì)算平臺，利用其算力進(jìn)行加密貨幣挖礦，消耗大量計(jì)算資源，導(dǎo)致AI系統(tǒng)性能下降甚至癱瘓。或者攻擊者使用“算力劫持”技術(shù)，將AI模型的計(jì)算資源用于處理無關(guān)的任務(wù)，影響正常工作流程。潛在風(fēng)險(xiǎn)：系統(tǒng)性能下降：正常的AI任務(wù)處理速度變慢，甚至導(dǎo)致關(guān)鍵業(yè)務(wù)中斷。經(jīng)濟(jì)損失：算力濫用會增加企業(yè)的云計(jì)算成本和電力消耗，尤其是當(dāng)計(jì)算資源在云平臺上計(jì)費(fèi)時(shí)。

（2）拒絕服務(wù)攻擊（DoS/DDoS）攻擊者通過大量虛假請求或惡意輸入，耗盡AI系統(tǒng)的計(jì)算資源，使其無法響應(yīng)合法用戶的請求。例如：攻擊者向AI推理系統(tǒng)發(fā)送海量的請求，導(dǎo)致系統(tǒng)過載，從而影響關(guān)鍵業(yè)務(wù)的運(yùn)行。或者，在訓(xùn)練過程中，攻擊者輸入大量惡意數(shù)據(jù)，迫使模型進(jìn)行復(fù)雜的計(jì)算，從而拖慢訓(xùn)練進(jìn)度。潛在風(fēng)險(xiǎn)：系統(tǒng)不可用：系統(tǒng)因過載而無法處理正常業(yè)務(wù)，可能影響到醫(yī)療、金融等領(lǐng)域的實(shí)時(shí)決策。數(shù)據(jù)丟失或損壞：系統(tǒng)資源耗盡可能導(dǎo)致數(shù)據(jù)處理錯(cuò)誤或模型崩潰。

（3）資源爭奪和優(yōu)先級問題在多租戶環(huán)境中，不同的AI任務(wù)可能會爭奪有限的計(jì)算資源，導(dǎo)致高優(yōu)先級任務(wù)無法及時(shí)獲得足夠的算力支持。例如：在共享的云計(jì)算平臺上，低優(yōu)先級的任務(wù)占用了大部分計(jì)算資源，導(dǎo)致高優(yōu)先級的任務(wù)（如實(shí)時(shí)監(jiān)控系統(tǒng)）無法在規(guī)定時(shí)間內(nèi)完成。潛在風(fēng)險(xiǎn)：任務(wù)延遲或失?。宏P(guān)鍵任務(wù)因資源不足而被延遲或無法完成，特別是在醫(yī)療診斷、自動駕駛等對時(shí)效性要求高的領(lǐng)域。服務(wù)質(zhì)量下降：AI系統(tǒng)的響應(yīng)速度變慢，用戶體驗(yàn)惡化，影響業(yè)務(wù)穩(wěn)定性。（4）計(jì)算資源過載與可擴(kuò)展性不足AI系統(tǒng)中的模型訓(xùn)練和推理需要大量計(jì)算資源，隨著數(shù)據(jù)規(guī)模和模型復(fù)雜度的增加，可能導(dǎo)致系統(tǒng)過載或無法按需擴(kuò)展。例如一個(gè)企業(yè)的AI模型需要處理越來越多的數(shù)據(jù)，但系統(tǒng)的計(jì)算能力未能及時(shí)擴(kuò)展，導(dǎo)致訓(xùn)練速度變慢或模型性能下降。潛在風(fēng)險(xiǎn)：計(jì)算資源不足：系統(tǒng)無法在高負(fù)載條件下保持正常運(yùn)行，影響AI項(xiàng)目的進(jìn)度和效率。經(jīng)濟(jì)損失：若系統(tǒng)過載導(dǎo)致任務(wù)失敗，可能造成商業(yè)決策延誤或錯(cuò)誤，帶來直接或間接的經(jīng)濟(jì)損失。（5）惡意算力競爭攻擊攻擊者通過惡意行為占用大量的計(jì)算資源，阻礙合法用戶或任務(wù)的計(jì)算需求，從而獲得競爭優(yōu)勢。例如，在共享云平臺上，競爭對手通過發(fā)送大量無用請求，惡意搶占AI計(jì)算資源，導(dǎo)致企業(yè)的合法AI任務(wù)無法按時(shí)完成。潛在風(fēng)險(xiǎn)：市場競爭受損，合法的AI系統(tǒng)因資源競爭受阻，無法在規(guī)定時(shí)間內(nèi)交付業(yè)務(wù)結(jié)果，損害企業(yè)競爭力，破壞市場秩序。（6）算力管理和分配中的漏洞在計(jì)算資源的管理和分配過程中，存在不當(dāng)?shù)呐渲没蚬芾砺┒?，?dǎo)致計(jì)算資源被不當(dāng)使用或管理不善。例如，在AI云平臺中，管理員誤配置了資源分配策略，導(dǎo)致高優(yōu)先級任務(wù)沒有獲得足夠的算力，影響任務(wù)的完成。潛在風(fēng)險(xiǎn)：效率低下：計(jì)算資源沒有得到合理配置，導(dǎo)致AI系統(tǒng)整體效率下降。安全風(fēng)險(xiǎn)：管理漏洞可能使得攻擊者通過操作系統(tǒng)或虛擬機(jī)漏洞獲得對計(jì)算資源的控制權(quán)。（7）濫用AI代理（AIAgentMisuse）AI代理或自治系統(tǒng)在分布式環(huán)境中可能控制大量的計(jì)算資源，如果被惡意操控，這些代理可能被濫用，導(dǎo)致算力被惡意利用。例如，一個(gè)AI代理在無人機(jī)控制系統(tǒng)中被攻擊者劫持，利用其計(jì)算資源進(jìn)行非授權(quán)任務(wù)。這導(dǎo)致的風(fēng)險(xiǎn)是：系統(tǒng)控制失效：AI代理失控可能導(dǎo)致整個(gè)系統(tǒng)被惡意行為操控，甚至影響到公共安全。

（8）能源消耗與環(huán)境影響AI模型的訓(xùn)練過程需要消耗大量的算力，這對能源的消耗有直接影響，尤其是在長時(shí)間運(yùn)行的大規(guī)模模型時(shí)，能源管理不善可能引發(fā)安全問題。例如，在數(shù)據(jù)中心，AI系統(tǒng)長時(shí)間高負(fù)載運(yùn)行導(dǎo)致能源過度消耗，增加了數(shù)據(jù)中心的運(yùn)營成本，并可能引發(fā)散熱和系統(tǒng)維護(hù)問題。主要風(fēng)險(xiǎn)是資源浪費(fèi)：能源消耗過大，不僅會增加成本，還可能對環(huán)境產(chǎn)生負(fù)面影響，尤其是企業(yè)未采取節(jié)能措施的情況下。

可采取的應(yīng)對措施有：（1）資源監(jiān)控與配額管理實(shí)時(shí)監(jiān)控AI系統(tǒng)的計(jì)算資源使用情況，確保資源分配合理，并對異常情況進(jìn)行及時(shí)處理。通過設(shè)置資源配額，防止單個(gè)任務(wù)或用戶濫用算力資源。（2）防御和檢測機(jī)制部署強(qiáng)大的入侵檢測系統(tǒng)（IDS）和防火墻，防止惡意攻擊者利用漏洞進(jìn)行算力劫持或拒絕服務(wù)攻擊。使用防止DDoS攻擊的技術(shù)和工具，保障系統(tǒng)在高負(fù)載條件下的正常運(yùn)行。

（3）使用分布式計(jì)算和彈性架構(gòu)采用分布式計(jì)算和云平臺的彈性擴(kuò)展功能，確保AI系統(tǒng)在計(jì)算需求突然增加時(shí)，能夠快速擴(kuò)展資源，避免過載。

（4）采用節(jié)能技術(shù)和優(yōu)化計(jì)算資源通過優(yōu)化AI模型的訓(xùn)練過程（如模型剪枝、量化等技術(shù)），減少算力需求和能源消耗。在數(shù)據(jù)中心使用節(jié)能設(shè)備和綠色能源，減少因長時(shí)間運(yùn)行AI模型帶來的環(huán)境影響。（5）合理分配任務(wù)優(yōu)先級為AI系統(tǒng)中的任務(wù)設(shè)置合理的優(yōu)先級，確保關(guān)鍵任務(wù)獲得足夠的計(jì)算資源支持。

總的來說，算力安全風(fēng)險(xiǎn)是AI系統(tǒng)中不可忽視的一個(gè)重要方面，特別是在大規(guī)模模型訓(xùn)練和分布式計(jì)算環(huán)境中。通過合理的資源監(jiān)控、漏洞防御、節(jié)能措施和任務(wù)分配，可以有效減輕算力安全帶來的風(fēng)險(xiǎn)，確保AI系統(tǒng)的安全性和穩(wěn)定性。3.供應(yīng)鏈安全風(fēng)險(xiǎn)人工智能產(chǎn)業(yè)鏈呈現(xiàn)高度全球化分工協(xié)作格局。但個(gè)別國家利用技術(shù)壟斷和出口管制等單邊強(qiáng)制措施制造發(fā)展壁壘，惡意阻斷全球人工智能供應(yīng)鏈，帶來突出的芯片、軟件、工具斷供風(fēng)險(xiǎn)。供應(yīng)鏈安全風(fēng)險(xiǎn)指的是在AI系統(tǒng)開發(fā)、部署和運(yùn)行過程中，系統(tǒng)所依賴的第三方組件、硬件、軟件和服務(wù)可能會引入安全隱患。隨著AI系統(tǒng)復(fù)雜性的增加，供應(yīng)鏈中的任何薄弱環(huán)節(jié)都可能被惡意利用，影響整個(gè)系統(tǒng)的安全性和穩(wěn)定性。尤其是地緣政治和國際競爭的影響下，尤其需要注意。以下是供應(yīng)鏈安全風(fēng)險(xiǎn)的來源及示例。（1）第三方軟件和庫的安全問題AI系統(tǒng)通常依賴于多個(gè)第三方軟件組件、開源庫和框架。這些組件可能存在未被發(fā)現(xiàn)的漏洞或被惡意篡改的風(fēng)險(xiǎn)，攻擊者可以通過這些漏洞侵入系統(tǒng)。例如：開源AI框架中存在安全漏洞，攻擊者利用該漏洞獲取系統(tǒng)訪問權(quán)限或篡改模型行為?；蛘?，第三方供應(yīng)商提供的機(jī)器學(xué)習(xí)模型或預(yù)訓(xùn)練模型被植入了后門，使得攻擊者能夠在特定輸入條件下觸發(fā)惡意行為。潛在風(fēng)險(xiǎn)：系統(tǒng)被控制：攻擊者通過第三方軟件中的漏洞獲得對系統(tǒng)的控制權(quán)。數(shù)據(jù)泄露：攻擊者利用漏洞竊取敏感數(shù)據(jù)，如訓(xùn)練數(shù)據(jù)或模型權(quán)重。（2）硬件供應(yīng)鏈風(fēng)險(xiǎn)AI系統(tǒng)依賴的硬件設(shè)備（如GPU、TPU、傳感器、服務(wù)器）可能會在生產(chǎn)和分發(fā)過程中被植入惡意固件或硬件后門，導(dǎo)致系統(tǒng)安全受損。例如，AI訓(xùn)練所使用的硬件設(shè)備中被植入了惡意芯片或固件，允許攻擊者通過遠(yuǎn)程方式監(jiān)控或篡改系統(tǒng)中的數(shù)據(jù)和模型。潛在風(fēng)險(xiǎn)：數(shù)據(jù)篡改或泄露：硬件后門可能允許攻擊者竊取敏感數(shù)據(jù)或篡改模型訓(xùn)練過程，導(dǎo)致模型輸出錯(cuò)誤結(jié)果。系統(tǒng)癱瘓：惡意硬件可能被遠(yuǎn)程激活，導(dǎo)致系統(tǒng)性能下降甚至完全癱瘓。（3）云服務(wù)供應(yīng)鏈風(fēng)險(xiǎn)許多AI系統(tǒng)依賴于第三方云服務(wù)提供商進(jìn)行模型訓(xùn)練、存儲和推理。如果云服務(wù)提供商的安全性不足，可能會成為攻擊者的目標(biāo)。例如：AI模型訓(xùn)練和推理使用的云計(jì)算平臺遭遇數(shù)據(jù)泄露或服務(wù)商內(nèi)部人員的惡意行為，導(dǎo)致模型和數(shù)據(jù)被竊取?；蛘撸品?wù)的基礎(chǔ)設(shè)施存在漏洞，攻擊者通過這些漏洞獲取對AI系統(tǒng)的訪問權(quán)限。潛在風(fēng)險(xiǎn)：數(shù)據(jù)泄露：托管在云端的訓(xùn)練數(shù)據(jù)或模型參數(shù)被惡意竊取。服務(wù)中斷：云服務(wù)供應(yīng)商的安全問題可能導(dǎo)致AI系統(tǒng)的關(guān)鍵服務(wù)中斷，影響業(yè)務(wù)連續(xù)性。

（4）軟件更新供應(yīng)鏈風(fēng)險(xiǎn)AI系統(tǒng)在運(yùn)行過程中需要定期進(jìn)行軟件更新和補(bǔ)丁修復(fù)。如果更新機(jī)制不安全或更新來源不可信，可能被攻擊者利用來傳播惡意軟件或后門。例如，供應(yīng)商發(fā)布的AI模型更新包中包含了未被察覺的惡意代碼，用戶在更新系統(tǒng)時(shí)不知情地引入了安全威脅。潛在風(fēng)險(xiǎn)：系統(tǒng)被篡改：通過惡意更新，攻擊者可以植入后門或惡意代碼，從而影響AI系統(tǒng)的安全性和功能。模型攻擊：模型更新過程中，惡意代碼可能對模型行為進(jìn)行微調(diào)，導(dǎo)致預(yù)測結(jié)果失準(zhǔn)或被操控。（5）外包和第三方服務(wù)風(fēng)險(xiǎn)在AI系統(tǒng)的開發(fā)和維護(hù)過程中，企業(yè)可能依賴外部供應(yīng)商或外包服務(wù)。第三方人員的安全素養(yǎng)和可信度直接影響系統(tǒng)的安全性。例如，一個(gè)公司外包的AI模型標(biāo)注服務(wù)方雇傭的員工在數(shù)據(jù)標(biāo)注過程中故意引入錯(cuò)誤數(shù)據(jù)，影響模型的訓(xùn)練質(zhì)量?；蛘?，外包開發(fā)的代碼中被植入后門，開發(fā)方或黑客利用這些后門進(jìn)行攻擊。潛在風(fēng)險(xiǎn)：數(shù)據(jù)泄露和篡改：外包方或第三方供應(yīng)商可能因安全管理不足或惡意行為導(dǎo)致數(shù)據(jù)泄露或篡改。不安全的模型或代碼：外部開發(fā)的模型或代碼可能未經(jīng)充分測試和安全審查，增加安全隱患。

供應(yīng)鏈安全風(fēng)險(xiǎn)的應(yīng)對措施

（1）供應(yīng)鏈透明度和安全審查：在引入第三方組件、硬件或服務(wù)時(shí)，確保供應(yīng)鏈的透明性，要求供應(yīng)商提供詳細(xì)的安全保證和安全測試報(bào)告。對供應(yīng)鏈的各個(gè)環(huán)節(jié)進(jìn)行安全審計(jì)，確保其符合安全標(biāo)準(zhǔn)，并定期進(jìn)行供應(yīng)商的安全評估。（2）第三方軟件安全驗(yàn)證：對所有使用的第三方開源庫和軟件進(jìn)行安全驗(yàn)證，使用安全掃描工具識別潛在的漏洞。在使用第三方模型或預(yù)訓(xùn)練模型前，進(jìn)行詳細(xì)的代碼審查和模型測試，以確保其安全性。（3）硬件安全認(rèn)證和檢測：選擇經(jīng)過認(rèn)證的硬件供應(yīng)商，確保所采購的硬件符合行業(yè)安全標(biāo)準(zhǔn)，并且進(jìn)行獨(dú)立的安全檢測。使用防篡改技術(shù)和硬件加密措施，保護(hù)硬件設(shè)備免受惡意篡改和攻擊。（4）云服務(wù)安全管理：選擇有良好安全記錄和認(rèn)證的云服務(wù)供應(yīng)商，并與供應(yīng)商簽署嚴(yán)格的數(shù)據(jù)保護(hù)協(xié)議（如GDPR合規(guī)）。對云端存儲的數(shù)據(jù)和模型進(jìn)行加密，確保即使云供應(yīng)商遭到攻擊，敏感信息也不會被泄露。

（5）軟件更新和補(bǔ)丁管理：實(shí)施安全的更新機(jī)制，使用簽名驗(yàn)證技術(shù)確保軟件更新的來源可信，并在更新之前進(jìn)行