人工智能安全標準化白皮書（2023版）

人工智能安全標準化白皮書（2023版）目錄CONTENTSTOC\o"1-2"\h\z\u一、人工智能發(fā)展現(xiàn)狀 1（一）人工智能技術(shù)特點 1（二）人工智能應(yīng)用趨勢 2（三）人工智能安全屬性 3二、人工智能安全風險分析 5（一）用戶數(shù)據(jù)用于訓練，放大隱私信息泄露風險 5（二）算法模型日趨復(fù)雜，可解釋性目標難實現(xiàn) 5（三）可靠性問題仍然制約人工智能關(guān)鍵領(lǐng)域應(yīng)用 6（四）濫用誤用人工智能，擾亂生產(chǎn)生活安全秩序 6（五）模型和數(shù)據(jù)成為核心資產(chǎn)，安全保護難度提升 6（六）網(wǎng)絡(luò)意識形態(tài)安全面臨新風險 7三、人工智能安全政策與標準現(xiàn)狀 8（一）國內(nèi)外人工智能安全戰(zhàn)略與政策法規(guī) 8（二）國內(nèi)外人工智能安全標準 四、人工智能安全標準需求分析 15（一）人工智能安全屬性定義和度量指標 15（二）用戶輸入數(shù)據(jù)安全保護相關(guān)規(guī)范 15（三）人工智能服務(wù)網(wǎng)絡(luò)安全防護相關(guān)指南 15（四）人工智能安全評估相關(guān)規(guī)范 16（五）生成式人工智能安全標準 16-IV-目錄CONTENTS五、人工智能安全標準化工作建議 17（一）持續(xù)完善人工智能安全標準體系 17（二）大力開展基礎(chǔ)共性安全標準研究 17（三）加快出臺產(chǎn)業(yè)發(fā)展急需安全標準 17附錄A：標準列表 19國內(nèi)人工智能安全相關(guān)標準列表 19國外人工智能安全相關(guān)標準列表 22-V-一、人工智能發(fā)展現(xiàn)狀一、人工智能發(fā)展現(xiàn)狀一、人工智能發(fā)展現(xiàn)狀向應(yīng)用，已成為社會生產(chǎn)生活的支柱性技術(shù)。2020年后，當自動駕駛、人臉識別等熱門應(yīng)用發(fā)展逐漸放緩、社會對人工智能整體發(fā)展預(yù)期日益冷靜時，大模型技術(shù)潛力的釋放以最振聾發(fā)聵的方式宣告了人工智能第三次高速發(fā)展期遠未結(jié)束，當前正是攀登發(fā)展高峰的關(guān)鍵時期。另一方面，當人工智能可以通過人類最嚴格的考試、同時執(zhí)行多種工作命令、具備一定的推理規(guī)劃能力、生成以假亂真的照片、模仿人類與人聊天不被發(fā)現(xiàn)時，其安全問題也更為復(fù)雜棘手，傳統(tǒng)安全考慮以及管理方法需要重新審視。在此背景下，人工智能是否安全、如何保障安全成為全球焦點，統(tǒng)籌安全與發(fā)展是其中關(guān)鍵。（一）人工智能技術(shù)特點技術(shù)發(fā)展方面，隨著謂詞推理、專家系統(tǒng)、知識樹和向量機學習等傳統(tǒng)技術(shù)的發(fā)展日趨放緩，促使以聯(lián)結(jié)主義和概率統(tǒng)計等理論為基礎(chǔ)的深度學習加速發(fā)展，邁入了以人工神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)、以大模型為典型應(yīng)用的新發(fā)展階段。在模型方面，大規(guī)模人工智能模型逐步成為業(yè)界主流。以生成式人工智能為例，具備數(shù)百億參數(shù)的模型已非罕見，并隨著模型規(guī)模增長產(chǎn)生了接近人類的“高級”能力，使人們相信通用人工智能或?qū)⒌絹?。StableDiffusion、Midjourney等視覺生成模型具有類似人類的視覺創(chuàng)作能力，ChatGPT等文本生成模型具有高度近似人類的語言推理和規(guī)劃等能力。有研究認為，這些能力是隨著模型參數(shù)達到數(shù)百億級別后逐漸產(chǎn)生的，雖其-1-人工智能安全標準化白皮書（2023版）人工智能安全標準化白皮書（2023版）技術(shù)原理尚未明晰，但進一步推動了模型越來越大的技術(shù)趨勢。在訓練方面，有人類參與的指令微調(diào)技術(shù)是近年來人工智能的另一大技術(shù)特點。指令微調(diào)主要有三種實現(xiàn)形式，以預(yù)訓練語言模型為例：一是引入人工撰寫的大量對話數(shù)據(jù)對模型進行微調(diào)訓練；二是人工對微調(diào)后模型面向同一提示詞生成的多個備選答案進行價值排序，訓練價值評分模型；三是在價值評分模型的獎勵信號下，微調(diào)模型進行強化學習訓練，不斷改進模型的表現(xiàn)。通過該部分技術(shù)，可將在海量語料庫上訓練的模型與復(fù)雜的人類價值觀實現(xiàn)對齊，期望人工智能可以生成正確、有用、無害的內(nèi)容。（二）人工智能應(yīng)用趨勢應(yīng)用發(fā)展方面，人工智能進一步與社會各方面融合?？珙I(lǐng)域、面向通用的人工智能應(yīng)用持續(xù)發(fā)展，各領(lǐng)域處理獨立任務(wù)的人工智能應(yīng)用更加深度嵌入產(chǎn)業(yè)生態(tài)。未來，預(yù)期形成以通用人工智能應(yīng)用為基座，專用人工智能應(yīng)用環(huán)繞的新人工智能“生態(tài)圈”。1、人工智能與實體經(jīng)濟融合發(fā)展近年來，人工智能與實體經(jīng)濟融合愈發(fā)深入，融合形式愈發(fā)多樣，對產(chǎn)業(yè)促進作用明顯，推動新型業(yè)態(tài)逐步形成。當前，人工智能在多個行業(yè)領(lǐng)域廣泛應(yīng)用，在制造領(lǐng)域的運營管理優(yōu)化、制造過程優(yōu)化等環(huán)節(jié)，智能家居領(lǐng)域的身份鑒別、功能控制、安全防護等環(huán)節(jié)，智能交通領(lǐng)域的動態(tài)感知、自動駕駛、車路協(xié)同等方面，智能醫(yī)療領(lǐng)域的輔助診斷、治療監(jiān)護、疫情防控等方面，教育領(lǐng)域的虛擬實驗室、虛擬教室、課件制作、智能判卷、教學效果分析等方面，金融領(lǐng)域的金融風險控制等方面，都推動了相關(guān)產(chǎn)品服務(wù)的新一輪變革。-2-一、人工智能發(fā)展現(xiàn)狀一、人工智能發(fā)展現(xiàn)狀2、人工智能作為助手融入新領(lǐng)域人工智能的發(fā)展不僅顛覆了數(shù)字內(nèi)容生產(chǎn)方式、處理方式和消費模式，而且極大豐富了人們的數(shù)字生活，虛擬試裝增加購物體驗、虛擬主播增強廣告效果、智能客服提升反饋效率、虛擬教師增強師生交互、智能辦公助手提高各類文檔的撰寫效率、智能編程助手降低編程時間與人力成本、智能翻譯降低溝通壁壘，人工智能應(yīng)用已成為人類生產(chǎn)生活中必不可少的電子助手。（三）人工智能安全屬性伴隨著人工智能應(yīng)用的常態(tài)化，人工智能安全問題的研討也持續(xù)開展。除了網(wǎng)絡(luò)安全基本屬性，即人工智能系統(tǒng)及其相關(guān)數(shù)據(jù)的機密性、完整性、可用性以及系統(tǒng)對惡意攻擊的抵御能力之外，討論人工智能安全一般還需要考慮以下屬性。1、可靠性：指人工智能及其所在系統(tǒng)在承受不利環(huán)境或意外變化時，例如數(shù)據(jù)變化、噪聲、干擾等因素，仍能按照既定的目標運行、保持結(jié)果有效的特性?？煽啃酝ǔＰ枰C合考慮系統(tǒng)的容錯性、恢復(fù)性、健壯性等多個方面。2、透明性：指人工智能在設(shè)計、訓練、測試、部署過程中保持可見、可控的特性，只有具備了透明性，用戶才能夠在必要時獲取模型有關(guān)信息，包括模型結(jié)構(gòu)、參數(shù)、輸入輸出等，方可進一步實現(xiàn)人工智能開發(fā)過程的可審計以及可追溯。3、可解釋性：描述了人工智能算法模型可被人理解其運行邏輯的特性。具備可解釋性的人工智能，其計算過程中使用的數(shù)據(jù)、算法、參數(shù)和邏輯等對輸出結(jié)果的影響能夠被人類理解，使人工智能更易于被人類管控、更容易被社會接受。-3-人工智能安全標準化白皮書（2023版）人工智能安全標準化白皮書（2023版）4、公平性：指人工智能模型在進行決策時，不偏向某個特定的個體或群體，也不歧視某個特定的個體或群體，平等對待不同性別、不同種族、不同文化背景的人群，保證處理結(jié)果的公正、中立，不引入偏見和歧視因素。5、隱私性：指人工智能在開發(fā)與運行的過程中實現(xiàn)了保護隱私的特性，包括對個人信息和個人隱私的保護、對商業(yè)秘密的保護等。隱私性旨在保障個人和組織的合法隱私權(quán)益，常見的隱私增強方案包括最小化數(shù)據(jù)處理范圍、個人信息匿名化處理、數(shù)據(jù)加密和訪問控制等。-4-二、人工智能安全風險分析二、人工智能安全風險分析一、人工智能發(fā)展現(xiàn)狀二、人工智能安全風險分析一、人工智能發(fā)展現(xiàn)狀近年來，人工智能保持快速發(fā)展勢頭，但人工智能所帶來的安全風險也不容忽視。（一）用戶數(shù)據(jù)用于訓練，放大隱私信息泄露風險當前，人工智能利用服務(wù)過程中的用戶數(shù)據(jù)進行優(yōu)化訓練的情況較為普遍，但可能涉及在用戶不知情情況下收集個人信息、個人隱私、商業(yè)秘密等，安全風險較為突出。一方面，人工智能模型日益龐大，開發(fā)過程日益復(fù)雜，數(shù)據(jù)泄露風險點更多、隱蔽性更強，人工智能所使用開源庫漏洞引發(fā)數(shù)據(jù)泄露的情況也很難杜絕。另一方面，交互式人工智能的應(yīng)用降低了數(shù)據(jù)流入模型的門檻。用戶在使用交互式人工智能時往往會放松警惕，更容易透露個人隱私、商業(yè)秘密、科研成果等數(shù)據(jù)，例如企業(yè)員工在辦公時容易將商業(yè)秘密輸入人工智能尋找答案，繼而導致商業(yè)秘密的泄露。為應(yīng)對該問題，特別是為保護個人信息安全，部分歐洲國家甚至已開始著手禁止ChatGPT等人工智能應(yīng)用。（二）算法模型日趨復(fù)雜，可解釋性目標難實現(xiàn)長期以來可解釋性都是制約人工智能用在司法判決、金融信貸等關(guān)鍵領(lǐng)域的主要因素，時至今日問題尚未解決、且變得更為棘手。由于深度模型算法的復(fù)雜結(jié)構(gòu)是黑盒，人工智能模型天然缺乏呈現(xiàn)決策邏輯進而使人相信決策準確性的能力。為提升可解釋性，技術(shù)上也出現(xiàn)了降低模型復(fù)雜度、突破神經(jīng)網(wǎng)絡(luò)知識表達瓶頸等方法，但現(xiàn)實中效果有限。主要是因為當前模型參數(shù)越來越多、結(jié)構(gòu)越來越復(fù)雜，解釋模型、讓人類理解模型的-5-人工智能安全標準化白皮書（2023版）人工智能安全標準化白皮書（2023版）難度變得極大，目前部分研究正朝借助人工智能解釋大模型的方向探索。同時，由于近年來人工智能算法、模型、應(yīng)用發(fā)展演化速度快，如何判斷人工智能是否具備可解釋性一直缺乏統(tǒng)一認知，難以形成統(tǒng)一判別標準。（三）可靠性問題仍然制約人工智能關(guān)鍵領(lǐng)域應(yīng)用由于現(xiàn)實場景中環(huán)境因素復(fù)雜多變，人工智能難以通過有限的訓練數(shù)據(jù)覆蓋現(xiàn)實場景中的全部情況，因此模型在受到干擾或攻擊等情況下會發(fā)生性能水平波動，嚴重時甚至可引發(fā)安全事故。盡管可通過數(shù)據(jù)增強方法等方式提高人工智能可靠性，然而由于現(xiàn)實場景的異常情況無法枚舉，可靠性至今仍然是制約自動駕駛、全自動手術(shù)等關(guān)鍵領(lǐng)域應(yīng)用廣泛落地的主要因素。（四）濫用誤用人工智能，擾亂生產(chǎn)生活安全秩序人工智能在對加速社會發(fā)展、提升生產(chǎn)效率等方面產(chǎn)生極大促進作用的同時，也出現(xiàn)了被濫用誤用、惡意使用的現(xiàn)象，引起威脅社會安全、人身安全等負面事件。近年來，濫用誤用人工智能方面，出現(xiàn)了物業(yè)強制在社區(qū)出入口使用人臉識別、手機應(yīng)用扎堆推送雷同信息構(gòu)筑信息繭房等問題。惡意使用人工智能方面，出現(xiàn)了利用虛假視頻、圖像、音頻進行詐騙勒索、傳播色情暴力信息等問題。（五）模型和數(shù)據(jù)成為核心資產(chǎn)，安全保護難度提升人工智能訓練數(shù)據(jù)的獲取以及模型開發(fā)已經(jīng)逐漸變成重資產(chǎn)投入、重人力投入的工作，算法模型、參數(shù)、加工后的訓練數(shù)據(jù)已成為核心資產(chǎn)，不免遭到覬覦。通過模型竊取、成員推理等攻擊手段反向獲取模型、數(shù)據(jù)，或者利用人工標注、數(shù)據(jù)存儲等環(huán)節(jié)的安全管理漏洞套取數(shù)據(jù)的情況時有發(fā)生。-6-二、人工智能安全風險分析二、人工智能安全風險分析一、人工智能發(fā)展現(xiàn)狀（六）網(wǎng)絡(luò)意識形態(tài)安全面臨新風險一、人工智能發(fā)展現(xiàn)狀人工智能的目標是模擬、擴展和延伸人類智能，如果人工智能只是單純追求統(tǒng)計最優(yōu)解，可能表現(xiàn)得不那么有“人性”；相反，包含一些人類政治、倫理、道德等方面觀念的人工智能會表現(xiàn)得更像人、更容易被人所接受。事實上，為了解決人工智能面對敏感復(fù)雜問題的表現(xiàn)，開發(fā)者通常將包含著開發(fā)者所認為正確觀念的答案加入訓練過程，并通過強化學習等方式輸入到模型中，當模型掌握了這些觀念時，能夠產(chǎn)生更能被人接受的回答。然而，由于政治、倫理、道德等復(fù)雜問題往往沒有全世界通用的標準答案，符合某一區(qū)域、人群觀念判斷的人工智能，可能會與另一區(qū)域、人群在政治、倫理、道德等方面有較大差異。因此，使用內(nèi)嵌了違背我國社會共識以及公序良俗的人工智能，可能對我國網(wǎng)絡(luò)意識形態(tài)安全造成沖擊。-7-人工智能安全標準化白皮書（2023版）人工智能安全標準化白皮書（2023版）三、人工智能安全政策與標準現(xiàn)狀在人工智能技術(shù)快速發(fā)展、應(yīng)用規(guī)模迅速擴大的背景下，世界各國紛紛開展人工智能安全政策與標準相關(guān)工作。（一）國內(nèi)外人工智能安全戰(zhàn)略與政策法規(guī)1、聯(lián)合國持續(xù)關(guān)注人工智能倫理安全聯(lián)合國教科文組織于2021年11月發(fā)布《人工智能倫理問題建議書》，旨在為和平使用人工智能系統(tǒng)、防范人工智能危害提供基礎(chǔ)。建議書提出了人工智能價值觀和原則，以及落實價值觀和原則的具體政策建議，推動全球針對人工智能倫理安全問題形成共識。2023年3月31日，該組織號召各國立即執(zhí)行《人工智能倫理問題建議書》。2、歐盟嚴格人工智能監(jiān)管，持續(xù)推進立法進程歐盟專門立法，試圖對人工智能進行整體監(jiān)管。2021年4月，歐盟委員會發(fā)布了立法提案《歐洲議會和理事會關(guān)于制定人工智能統(tǒng)一規(guī)則（人工智能法）和修訂某些歐盟立法的條例》（以下簡稱《歐盟人工智能法案》），在對人工智能系統(tǒng)進行分類監(jiān)管的基礎(chǔ)上，針對可能對個人基本權(quán)利和安全產(chǎn)生重大影響的人工智能系統(tǒng)建立全面的風險預(yù)防體系，該預(yù)防體系是在政府立法統(tǒng)一主導和監(jiān)督下，推動企業(yè)建設(shè)內(nèi)部風險管理機制，但如何判斷評估人工智能系統(tǒng)風險等級是《歐盟人工智能法案》的重點和難點。歐盟及時填補通用目的人工智能監(jiān)管空白。2023年5月11日，歐洲議會的內(nèi)部市場委員會和公民自由委員會通過了關(guān)于《歐盟人工智能法案》-8-三、人工智能安全政策與標準現(xiàn)狀三、人工智能安全政策與標準現(xiàn)狀一、人工智能發(fā)展現(xiàn)狀的談判授權(quán)草案，新版本補充了針對“通用目的人工智能”和GPT等基礎(chǔ)模型的管理制度，擴充了高風險人工智能覆蓋范圍，并要求生成式人工智能模型的開發(fā)商必須在生成的內(nèi)容中披露“來自于人工智能”，并公布訓練數(shù)據(jù)中受版權(quán)保護的數(shù)據(jù)摘要等。一、人工智能發(fā)展現(xiàn)狀3、美國強調(diào)安全原則，鼓勵企業(yè)行業(yè)自律相較于歐盟，美國監(jiān)管要求少，主要強調(diào)安全原則。美國參議院、聯(lián)邦政府、國防部、白宮等先后發(fā)布《算法問責法（草案）》《人工智能應(yīng)用的監(jiān)管指南》《人工智能道德原則》《人工智能權(quán)利法案》《國家網(wǎng)絡(luò)安全戰(zhàn)略》等文件，提出風險評估與風險管理方面的原則，指導政府部門與私營企業(yè)合作探索人工智能監(jiān)管規(guī)則，并為人工智能實踐者提供自愿適用的風險管理工具。美國鼓勵企業(yè)依靠行業(yè)自律，自覺落實政府安全原則保障安全。美國企業(yè)通過產(chǎn)品安全設(shè)計，統(tǒng)一將美國的法律法規(guī)要求、安全監(jiān)管原則、主流價值觀等置入產(chǎn)品。以生成式人工智能企業(yè)提高內(nèi)容安全水平為例，工作一般集中在三個方面，一是在產(chǎn)品設(shè)計階段加入符合安全要求的定制化內(nèi)容作為重點訓練數(shù)據(jù)；二是在產(chǎn)品運行階段的人機交互環(huán)節(jié)加入自動化內(nèi)容過濾機制；三是在每個用戶使用產(chǎn)品時置入隱藏的安全前提引導生成內(nèi)容安全合規(guī)。4、其他國家均構(gòu)建各自人工智能戰(zhàn)略（1）英國：支持創(chuàng)新，建立監(jiān)管框架，暫緩立法2021年9月，英國數(shù)字、文化、媒體和體育部（DCMS）發(fā)布《國家人工智能戰(zhàn)略》，旨在推動英國成為人工智能領(lǐng)域的大國。該文件闡述了英國人工智能戰(zhàn)略愿景，并提出了人工智能發(fā)展、人工智能作為經(jīng)濟支柱、人工智能治理和監(jiān)管的三個方面的核心目標與行動建議。-9-人工智能安全標準化白皮書（2023版）人工智能安全標準化白皮書（2023版）2021年12月，英國政府發(fā)布《國家網(wǎng)絡(luò)戰(zhàn)略2022》。該文件闡述了英國將如何鞏固網(wǎng)絡(luò)強國地位、保障網(wǎng)絡(luò)安全、提升網(wǎng)絡(luò)空間行動能力。其中明確了英國將積極引領(lǐng)人工智能等七項優(yōu)先技術(shù)領(lǐng)域的安全發(fā)展。2023年3月，英國政府發(fā)布了人工智能新監(jiān)管框架的提案《支持創(chuàng)新的人工智能監(jiān)管方法》。該文件圍繞以下五個方面展開：一是自身安全、應(yīng)用安全和健壯性，二是適度的透明和可解釋性，三是公平性，四是問責制和治理，五是競爭和賠償，并表示近期不會將上述原則立法。（2）加拿大：聚焦人工智能應(yīng)用的民眾權(quán)益保護2022年6月，加拿大政府公布《2022年數(shù)字憲章實施法案》，旨在加強對加拿大私營部門的管理，為負責任的人工智能開發(fā)和使用創(chuàng)建新規(guī)則。其中擬議法案《人工智能與數(shù)據(jù)法》敦促各公司在開發(fā)和部署人工智能系統(tǒng)時以減輕傷害和偏見風險為前提，進而維護加拿大民眾的權(quán)益。（3）俄羅斯：關(guān)注人工智能對國家安全影響2019年，俄羅斯總統(tǒng)令批準《2030年前國家人工智能發(fā)展戰(zhàn)略》，旨在加快推進俄人工智能發(fā)展與應(yīng)用，確保國家安全，提升經(jīng)濟實力。2020年，俄聯(lián)邦政府批準《至2024年人工智能和機器人技術(shù)監(jiān)管構(gòu)想》，旨在積極探索俄羅斯法律、人、機器之間的相互適應(yīng)關(guān)系，為人工智能和機器人技術(shù)的安全應(yīng)用和法律監(jiān)管提供指導。（4）新加坡：關(guān)注人工智能應(yīng)用安全治理和評估2019年11月，新加坡金融管理局（MAS）宣布與多家金融機構(gòu)共同設(shè)立Veritas計劃框架，旨在幫助金融機構(gòu)評估人工智能和數(shù)據(jù)分析解決方案，保證其遵循“公平、道德、負責和透明”的安全準則。2022年5月，新加坡資訊通信媒體發(fā)展局（IMDA）和個人數(shù)據(jù)保護委員會（PDPC）共同發(fā)布人工智能安全治理評估框架和工具包—A.I.VERIFY，旨在結(jié)合人工智能系統(tǒng)的技術(shù)評估和程序檢查，提高評估主體與利益相關(guān)者之間的透明度。-10-三、人工智能安全政策與標準現(xiàn)狀三、人工智能安全政策與標準現(xiàn)狀一、人工智能發(fā)展現(xiàn)狀（5）日本：同時關(guān)注人工智能正面和負面影響一、人工智能發(fā)展現(xiàn)狀2022年4月，日本政府發(fā)布了《人工智能戰(zhàn)略2022》，旨在推動人工智能克服自身社會問題、提高產(chǎn)業(yè)競爭力。其中提出以人為本、多樣性、可持續(xù)三項原則，圍繞社會安全、流行疾病、重大災(zāi)害等安全問題提出了具體方針。5、我國高度重視，有效平衡發(fā)展和安全2021年12月和2022年11月，國家互聯(lián)網(wǎng)信息辦公室先后發(fā)布《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》和《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》，針對利用人工智能算法從事傳播違法和不良信息、侵害用戶權(quán)益、操縱社會輿論等問題，加強安全管理，推進算法推薦技術(shù)和深度合成技術(shù)依法合理有效利用。2023年4月，國家互聯(lián)網(wǎng)信息辦公室發(fā)布了《生成式人工智能服務(wù)管理辦法（征求意見稿）》，統(tǒng)籌安全與發(fā)展，提出生成式人工智能產(chǎn)品或服務(wù)應(yīng)當遵守的規(guī)范要求，保障相關(guān)技術(shù)產(chǎn)品的良性創(chuàng)新和有序發(fā)展。（二）國內(nèi)外人工智能安全標準1、人工智能安全國際標準以基礎(chǔ)通用為主國際標準組織（ISO）在人工智能領(lǐng)域已開展大量標準化工作，并專門成立了ISO/IECJTC1SC42人工智能分技術(shù)委員會。目前，與人工智能安全相關(guān)的國際標準及文件主要為基礎(chǔ)概念與技術(shù)框架類通用標準，在內(nèi)容上集中在人工智能管理、可信性、安全與隱私保護三個方面。在人工智能管理方面，國際標準主要研究人工智能數(shù)據(jù)的治理、人工智能系統(tǒng)全生命周期管理、人工智能安全風險管理等，并對相應(yīng)的方面提出建議，相關(guān)標準包括ISO/IEC38507:2022《信息技術(shù)治理組織使用人工智能的治理影響》、ISO/IEC23894:2023《人工智能風險管理》等。-11-人工智能安全標準化白皮書（2023版）人工智能安全標準化白皮書（2023版）在可信性方面，國際標準主要關(guān)注人工智能的透明度、可解釋性、健壯性與可控性等方面，指出人工智能系統(tǒng)的技術(shù)脆弱性因素及部分緩解措施，相關(guān)標準包括ISO/IECTR24028:2020《人工智能人工智能中可信賴性概述》等。在安全與隱私保護方面，國際標準主要聚焦于人工智能的系統(tǒng)安全、功能安全、隱私保護等問題，幫助相關(guān)組織更好地識別并緩解人工智能系統(tǒng)中的安全威脅，相關(guān)標準包括ISO/IEC27090《人工智能解決人工智能系統(tǒng)中安全威脅和故障的指南》、ISO/IECTR5469《人工智能功能安全與人工智能系統(tǒng)》、ISO/IEC27091《人工智能隱私保護》等。電氣與電子工程師協(xié)會（IEEE）在人工智能安全方面主要聚焦倫理安全風險、可解釋人工智能、深度學習評估、人工智能責任化等安全問題。最新的標準和報告有IEEEP7000系列標準、IEEE2841-2022《深度學習評估過程與框架》，在研項目有IEEEP2840《責任化人工智能許可標準》、IEEEP2894《可解釋人工智能的體系框架指南》等。2、歐洲陸續(xù)發(fā)布多份人工智能安全指南文件及標準需求歐洲電信標準化協(xié)會（ETSI）近期關(guān)注的重點議題包括人工智能數(shù)據(jù)安全、完整性和隱私性、透明性、可解釋性、倫理與濫用、偏見緩解等方面，已發(fā)布多份人工智能安全研究報告，包括ETSIGRSAI004《人工智能安全：問題陳述》、ETSIGRSAI005《人工智能安全：緩解策略報告》等，描述了以人工智能為基礎(chǔ)的系統(tǒng)安全問題挑戰(zhàn)，并提出了一系列緩解措施與指南。歐洲標準化委員會（CEN）、歐洲電工標準化委員會（CENELEC）成立了新的CEN-CENELEC聯(lián)合技術(shù)委員會JTC21“人工智能”，并在人工智能的風險管理、透明性、健壯性、安全性等多個方面提出了標準需求。-12-三、人工智能安全政策與標準現(xiàn)狀三、人工智能安全政策與標準現(xiàn)狀一、人工智能發(fā)展現(xiàn)狀3、美國關(guān)注可信任可解釋研究，出臺企業(yè)標準一、人工智能發(fā)展現(xiàn)狀美國國家標準與技術(shù)研究院（NIST）關(guān)注人工智能安全的可信任、可解釋等問題。最新的標準項目有：NISTSP1270《建立識別和管理人工智能偏差的標準》，提出了用于識別和管理人工智能偏見的技術(shù)指南；NISTIR-8312《可解釋人工智能的四大原則》草案，提出了可解釋人工智能的四項原則；NISTIR-8332《信任和人工智能》草案，研究了人工智能應(yīng)用安全風險與用戶對人工智能的信任之間的關(guān)系；NISTAI100-1《人工智能風險管理框架》，旨在為人工智能系統(tǒng)設(shè)計、開發(fā)、部署和使用提供指南。2022年3月，谷歌更新《人工智能原則》，提出人工智能對社會有益、避免制造或加強不公平的偏見、建立并測試安全性、對人負責、結(jié)合隱私設(shè)計、堅持科學的高標準等原則。該文件同時聲明谷歌不會將人工智能技術(shù)應(yīng)用于武器開發(fā)，也不會將人工智能用于可能侵犯人權(quán)的活動。2022年6月，微軟發(fā)布新版《負責任人工智能標準》，提出公平性、可靠性和內(nèi)部安全性、隱私和外部安全性、包容性、透明度和問責制六項基本原則，用于指導人工智能工作。4、我國提前布局，即將出臺多項人工智能安全標準2020年7月，國家標準委、中央網(wǎng)信辦、發(fā)展改革委、科技部、工業(yè)和信息化部聯(lián)合印發(fā)了《國家新一代人工智能標準體系建設(shè)指南》，形成了標準支撐人工智能高質(zhì)量發(fā)展新格局。（1）研制人工智能安全基礎(chǔ)標準我國首個人工智能安全國家標準《信息安全技術(shù)機器學習算法安全評估規(guī)范》即將發(fā)布，規(guī)定了機器學習算法技術(shù)在生存周期各階段的安全要求，以及應(yīng)用機器學習算法技術(shù)提供服務(wù)時的安全要求，并給出了對應(yīng)評估方法。-13-人工智能安全標準化白皮書（2023版）人工智能安全標準化白皮書（2023版）2022年，全國信息安全標準化技術(shù)委員會（TC260）啟動編制《信息安全技術(shù)人工智能計算平臺安全框架》國家標準，規(guī)范了人工智能計算平臺安全功能、安全機制、安全模塊以及服務(wù)接口，指導人工智能計算平臺設(shè)計與實現(xiàn)。（2）推動關(guān)鍵應(yīng)用方向安全保護標準在生物特征識別、智能汽車等人工智能應(yīng)用領(lǐng)域，針對網(wǎng)絡(luò)安全重點風險，多項國家標準已經(jīng)發(fā)布。生物特征識別方向，發(fā)布了GB/T40660—2021《信息安全技術(shù)生物特征識別信息保護基本要求》，以及人臉、聲紋、基因、步態(tài)等4項數(shù)據(jù)安全國家標準。智能汽車方向，發(fā)布了國家標準GB/T41871—2022《信息安全技術(shù)汽車數(shù)據(jù)處理安全要求》，有效支撐《汽車數(shù)據(jù)安全管理若干規(guī)定（試行）》，提升了智能汽車相關(guān)企業(yè)的數(shù)據(jù)安全水平。-14-四、人工智能安全標準需求分析四、人工智能安全標準需求分析一、人工智能發(fā)展現(xiàn)狀四、人工智能安全標準需求分析一、人工智能發(fā)展現(xiàn)狀（一）人工智能安全屬性定義和度量指標隨著人工智能安全工作開展，安全屬性定義逐步形成一些共識，國際標準以及相關(guān)技術(shù)文件也給出了部分安全屬性的定義描述，但不同文件之間仍有差異?？煽啃?、可解釋性、公平性等重要安全屬性定義的標準統(tǒng)一，以及其度量指標的規(guī)范化，將對人工智能的發(fā)展有著重要促進意義。（二）用戶輸入數(shù)據(jù)安全保護相關(guān)規(guī)范在人工智能通常收集用戶輸入數(shù)據(jù)用于訓練的背景下，如何保障用戶輸入數(shù)據(jù)的安全亟需技術(shù)標準。根據(jù)操作場景的不同，用戶輸入的數(shù)據(jù)可能包含人臉、身份證號、家庭住址等個人信息，可能包括個人健康情況、情感狀況等個人隱私，可能包括企業(yè)技術(shù)和經(jīng)營活動有關(guān)的商業(yè)秘密，甚至可能包括國家秘密等。需要落實《數(shù)據(jù)安全法》《個人信息保護法》等法律法規(guī)，提出可以切實解決用戶輸入數(shù)據(jù)安全問題的相關(guān)標準規(guī)范。（三）人工智能服務(wù)網(wǎng)絡(luò)安全防護相關(guān)指南圍繞人工智能服務(wù)過程中，可能會面臨的對抗樣本攻擊、爬山攻擊、模型竊取、供應(yīng)鏈攻擊等新型攻擊威脅，需要研究在數(shù)據(jù)集防護、算法模型保護、抗逆向攻擊等方面的安全技術(shù)措施指南，幫助人工智能服務(wù)提供者保護業(yè)務(wù)數(shù)據(jù)以及人工智能模型參數(shù)等的機密性和完整性。-15-人工智能安全標準化白皮書（2023版）人工智能安全標準化白皮書（2023版）（四）人工智能安全評估相關(guān)規(guī)范當前，隨著人工智能在各行各業(yè)的應(yīng)用逐步深入，需要以確認其基本安全水平作為提供產(chǎn)品或服務(wù)的基礎(chǔ)。研究人工智能安全評估規(guī)范標準，將有助于確定人工智能產(chǎn)品或服務(wù)的安全水平，促進安全隱患提前防范，推動人工智能應(yīng)用與行業(yè)的進一步融合發(fā)展。（五）生成式人工智能安全標準為應(yīng)對生成式人工智能帶來的安全挑戰(zhàn)，以促進生成式人工智能發(fā)展為基本目標，統(tǒng)籌發(fā)展和安全，亟需針對生成式人工智能的網(wǎng)絡(luò)安全問題出臺專門標準，包括但不限于生成式人工智能訓練數(shù)據(jù)安全、人工標注過程安全等方面的標準規(guī)范。-16-五、人工智能安全標準化工作建議五、人工智能安全標準化工作建議一、人工智能發(fā)展現(xiàn)狀五、人工智能安全標準化工作建議一、人工智能發(fā)展現(xiàn)狀面對未來人工智能發(fā)展關(guān)鍵時期，我國人工智能安全標準化工作將繼續(xù)發(fā)揮基礎(chǔ)性、規(guī)范性、引領(lǐng)性作用。（一）持續(xù)完善人工智能安全標準體系面向人工智能變化快、安全挑戰(zhàn)新等特點，加大研究力度，強化頂層設(shè)計，結(jié)合當前人工智能面臨的安全風險，完善人工智能安全標準體系，統(tǒng)籌規(guī)劃人工智能安全的基礎(chǔ)共性、技術(shù)系統(tǒng)、管理服務(wù)、測試評估、產(chǎn)品應(yīng)用等方面標準研制工作。（二）大力開展基礎(chǔ)共性安全標準研究圍繞現(xiàn)階段人工智能安全發(fā)展所需的基礎(chǔ)共性標準，加快開展標準化研制。一是加快推動《信息安全技術(shù)機器學習算法安全評估規(guī)范》《信息安全技術(shù)人工智能計算平臺安全框架》等通用性標準編制發(fā)布。二是大力開展技術(shù)標準研究，圍繞統(tǒng)一人工智能安全屬性和度量指標、保護用戶輸入數(shù)據(jù)安全、人工智能服務(wù)網(wǎng)絡(luò)安全防護等方面做好標準預(yù)研。（三）加快出臺產(chǎn)業(yè)發(fā)展急需安全標準面向當前人工智能安全發(fā)展的痛點、堵點問題，聚焦以安全促發(fā)展，細化支撐《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》《生成式人工智能服務(wù)管理辦法》等法律法規(guī)，加快推動《信息安全技術(shù)生成式人工智能預(yù)訓練和優(yōu)化訓練數(shù)據(jù)安全規(guī)范》《信-17-人工智能安全標準化白皮書（2023版）人工智能安全標準化白皮書（2023版）息安全技術(shù)生成式人工智能人工標注安全規(guī)范》《信息安全技術(shù)互聯(lián)網(wǎng)信息服務(wù)深度合成安全規(guī)范》《基于個人信息的自動化決策安全要求》等標準的編制發(fā)布。-18-附錄A：標準列表附錄A：標準列表附錄A附錄A一、人工智能發(fā)展現(xiàn)狀附錄A：標準列表一、人工智能發(fā)展現(xiàn)狀國內(nèi)人工智能安全相關(guān)標準列表人工智能安全標準負責/歸口標準類型標準編號標準名稱階段全國信安標委（TC260）國家標準20211000-T-469信息安全技術(shù)機器學習算法安全評估規(guī)范報批稿全國信安標委（TC260）國家標準20230249-T-469信息安全技術(shù)人工智能計算平臺安全框架征求意見稿（TC28/SC42）國家標準20221791-T-469人工智能管理體系立項中國電子工業(yè)標準化技術(shù)協(xié)會（CESA）團體標準T/CESA1193-2022評估發(fā)布-19-人工智能安全標準化白皮書（2023版）人工智能安全標準化白皮書（2023版）與人工智能直接相關(guān)的安全標準負責/歸口標準類型標準編號標準名稱階段全國信安標委（TC260）國家標準GB/T38542-2020信息安全技術(shù)基于生物特征識別的移動智能終端身份鑒別技術(shù)框架發(fā)布全國信安標委（TC260）國家標準GB/T38671-2020信息安全技術(shù)遠程人臉識別系統(tǒng)技術(shù)要求發(fā)布全國信安標委（TC260）國家標準GB/T40660-2021信息安全技術(shù)生物特征識別信息保護基本要求發(fā)布全國信安標委（TC260）國家標準GB/T41819-2022信息安全技術(shù)人臉識別數(shù)據(jù)安全要求發(fā)布全國信安標委（TC260）國家標準GB/T41807-2022信息安全技術(shù)聲紋識別數(shù)據(jù)安全要求發(fā)布全國信安標委（TC260）國家標準GB/T41806-2022信息安全技術(shù)基因識別數(shù)據(jù)安全要求發(fā)布全國信安標委（TC260）國家標準GB/T41773-2022信息安全技術(shù)步態(tài)識別數(shù)據(jù)安全要求發(fā)布全國信安標委（TC260）國家標準GB/T41871-2022信息安全技術(shù)汽車數(shù)據(jù)處理安全要求發(fā)布全國信安標委（TC260）國家標準20230253-T-469信息安全技術(shù)基于個人信息的自動化決策安全要求立項全國信標委生物特征識別分委會（TC28/SC37）國家標準GB/T41815.1-2022信息技術(shù)生物特征識別呈現(xiàn)攻擊檢測第1部分：框架發(fā)布全國信標委生物特征識別分委會（TC28/SC37）國家標準GB/T41815.2-2022信息技術(shù)生物特征識別呈現(xiàn)攻擊檢測第2部分：數(shù)據(jù)格式發(fā)布全國信標委生物特征識別分委會（TC28/SC37）國家標準GB/T41815.3-2023信息技術(shù)生物特征識別呈現(xiàn)攻擊檢測第3部分：測試與報告發(fā)布全國信標委生物特征識別分委會（TC28/SC37）國家標準GB/T37036.3-2019信息技術(shù)移動設(shè)備生物特征識別第3部分：人臉發(fā)布全國信標委生物特征識別分委會（TC28/SC37）國家標準GB/T37036.8-2022信息技術(shù)移動設(shè)備生物特征識別第8部分：呈現(xiàn)攻擊檢測發(fā)布全國信標委生物特征識別分委會（TC28/SC37）國家標準GB/T5271.37-2021信息技術(shù)詞匯第37部分：生物特征識別發(fā)布-20-一、人工智能發(fā)展現(xiàn)狀附錄A：標準列表一、人工智能發(fā)展現(xiàn)狀附錄A：標準列表負責/歸口標準類型標準編號標準名稱階段全國信標委生物特征識別分委會（TC28/SC37）國家標準20221220-T-469信息技術(shù)生物特征識別人臉識別系統(tǒng)應(yīng)用要求立項中國通信標準化協(xié)會（CCSA）行業(yè)標準YD/T4087-2022移動智能終端人臉識別安全技術(shù)要求及測試評估方法發(fā)布中國通信標準化協(xié)會（CCSA）行業(yè)標準2023-0041T-YD人工智能開發(fā)平臺通用能力要求第2部分：安全要求立項中國通信標準化協(xié)會（CCSA）行業(yè)標準2023-0039T-YD面向人臉識別系統(tǒng)的人臉信息保護基礎(chǔ)能力要求立項中國通信標準化協(xié)會（CCSA）行業(yè)標準——人臉識別線下支付安全要求草案中國通信標準化協(xié)會（CCSA）行業(yè)標準2021-0630T-YD電信網(wǎng)和互聯(lián)網(wǎng)人臉識別數(shù)據(jù)安全檢測要求立項上海市市監(jiān)局地方標準——人工智能數(shù)據(jù)通用安全要求征求意見稿上海市市監(jiān)局地方標準——人臉識別分級分類應(yīng)用標準草案中國電子工業(yè)標準化技術(shù)協(xié)會（CESA）團體標準T/CESA1124-2020信息安全技術(shù)人臉比對模型安全技術(shù)規(guī)范發(fā)布新一代人工智能產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟（AITISA）團體標準T/AI110.1-2020人工智能視覺隱私保護第1部分：通用技術(shù)要求發(fā)布新一代人工智能產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟（AITISA）團體標準T/AI110.2-2022人工智能視覺隱私保護第2部分：技術(shù)應(yīng)用指南發(fā)布新一代人工智能產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟（AITISA）團體標準T/AI113-2021生物特征識別服務(wù)中的隱私保護技術(shù)指南發(fā)布新一代人工智能產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟（AITISA）團體標準T/AI111-2020生物特征模板的安全使用要求發(fā)布新一代人工智能產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟（AITISA）團體標準2023011205信息技術(shù)數(shù)字視網(wǎng)膜系統(tǒng)第11部分：安全與隱私保護草案-21-人工智能安全標準化白皮書（2023版）人工智能安全標準化白皮書（2023版）國外人工智能安全相關(guān)標準列表負責/歸口標準類型標準編號標準名稱階段ISOIEC/JTC1/SC27國際標準ISO/IECAWI27090Cybersecurity—ArtificialIntelligence—Guidanceforaddressingsecuritythreatsandfailuresinarti?cialintelligencesystems立項ISOIEC/JTC1/SC27國際標準ISO/IECAWI27091CybersecurityandPrivacy—ArtificialIntelligence—Privacyprotection立項ISOIEC/JTC1/SC27國際技術(shù)報告ISO/IECTR27563Securityandprivacyinarti?cialintelligenceusecases—Bestpractices發(fā)布ISOIEC/JTC1/SC42國際標準ISO/IEC22989:2022Informationtechnology—Artificialintelligence—Artificialintelligenceconceptsandterminology發(fā)布ISOIEC/JTC1/SC42國際標準ISO/IEC23894:2023Informationtechnology—Artificialintelligence—Guidanceonriskmanagement發(fā)布ISOIEC/JTC1/SC42國際技術(shù)報告ISO/IECTR24368:2022Informationtechnology—Artificialintelligence—Overviewofethicalandsocietalconcerns發(fā)布ISOIEC/JTC1/SC42國際預(yù)研項目ISO/IECPWI17866Artificialintelligence—Bestpracticeguidanceformitigatingethicalandsocietalconcerns預(yù)研（PWI）ISOIEC/JTC1/SC42國際技術(shù)報告ISO/IECDTR5469Artificialintelligence—FunctionalsafetyandAIsystems報批ISOIEC/JTC1/SC42國際標準ISO/IECFDIS42001Informationtechnology—Artificialintelligence—Managementsystem報批ISO/TC199國際技術(shù)報告ISO22100-5:2021Safetyofmachinery—RelationshipwithISO12100—Part5:Implicationsofarti?cialintelligencemachinelearning發(fā)布ISO/TC22/SC32國際標準I