2021年人工智能安全風險及治理研究報告

國家工信安全中心信息政策所葉曉亮2021年9月22(一)人工智能安全相關概念人工智能定義及發(fā)展人工智能風險的界定人工智能安全的內(nèi)涵>對于人工智能的定義，目前業(yè)界仍未形成統(tǒng)一意見>人工智能經(jīng)過基礎理論及算法研究階段、專家系統(tǒng)中的初步應用階段，迎來了第三個高潮期，我國將其當前發(fā)展階段定義為“新一代人工智能”時期，在該時期人工智能正在給人類經(jīng)濟、社會與生活帶來顛覆性影響針對人工智能的安全性評估，業(yè)界往往圍繞安全性、消費者基本權利等方面進行分析。本報告將人工智能風險分為三個層次：>技術本身脆弱性導致的風險>人工智能被攻擊者利用產(chǎn)生的風險>人工智能隨著在各領域廣泛應用所產(chǎn)生的風險常代表兩種不同含義。在網(wǎng)絡安全在風險分析及應對方面，人工智能安全更多用來描述人工智能技術存本文將聚焦于后一種含義的詮釋44(二)人工智能安全風險分析人工智能學習框架易被攻擊每種深度學習框架依賴圖像處理、矩陣計算、數(shù)據(jù)各個基礎庫和組件潛藏的安全隱患都會威脅學習框架本身以及上層應用的安全性仍難以避免特征描述的局限、目標函數(shù)的偏差、計算成本的制約都是可能導致決策偏離預期甚至出現(xiàn)健性易受威脅惡意攻擊者可利用樣本迭代對目標模型進行查詢，根據(jù)其返回結果構建出相似模型，進而還原模型內(nèi)部信息，或基于這個相似模型，構造對抗樣本，使之做出錯誤決策數(shù)據(jù)“投毒”易導致結果異常攻擊者通過修改樣本、刪除部分樣本或加入精心設計的惡意樣本等惡意操作，導致訓練出的模型可用性和完整性遭到破壞數(shù)據(jù)不均衡易引發(fā)數(shù)據(jù)“偏見”人工智能決策結果的準確性、客觀性很大程度依賴于數(shù)據(jù)本身。數(shù)據(jù)本身的分布偏差、技術人員本身對事物的認知的“主觀性”,易導致人工智能決策結果往往出現(xiàn)偏見、歧視(二)人工智能安全風險分析深度偽造是指利用對抗網(wǎng)絡實現(xiàn)對圖像、音頻及視頻的生成或修改形成“虛假信息”。這不僅是對公民肖像權等個人權益的侵犯，若將其用于敲詐勒索、偽造罪證等惡意活動，還會嚴重危害人際關系、影響社會穩(wěn)定。基于深度偽造的虛假新聞還可能對社會輿論生態(tài)造成惡劣影響，甚至威脅國家安全人工智能技術被用于升級網(wǎng)絡攻擊手段一方面人工智能能夠?qū)崿F(xiàn)惡意軟件編寫和分發(fā)的自動化，大大提升滲透效率。另一方面基于被感染設備構建智能僵尸網(wǎng)絡，利用人工智能技術可實現(xiàn)智能分析和主動攻擊(二)人工智能安全風險分析技術的智能化發(fā)展將帶來倫理問題及結構性失業(yè)等社會風險技術的智能化發(fā)展將帶來倫理問題及結構性失業(yè)等社會風險發(fā)個人隱私問題和數(shù)據(jù)泄露風險人工智能技術實現(xiàn)所依靠的數(shù)據(jù)采集設備，例如攝像頭、手機等，已經(jīng)能夠?qū)崿F(xiàn)數(shù)據(jù)無感采集，存在未經(jīng)本人知情同意就進行個人信息采集的可能性，加之其強大的關聯(lián)分析能力，能夠?qū)崿F(xiàn)人臉信息、身份信息、日常行蹤甚至親屬關系的匹配，形成個人信息畫像，公民隱私透明化風險尤其突出。同時，相關數(shù)據(jù)存儲不當或遭遇黑客攻擊，還將引發(fā)(一)人臉識別技術重準確輕安全目前人臉識別準確率已基本實現(xiàn)了對人類肉眼的超越。作為當前人工智能技術普及程度最高的應用之一，人臉識別技術已廣泛應用于公共場所安保、金融業(yè)務等場景中，但其尚未完全兼顧功能與安全錯誤識別、易被欺騙等錯誤識別、易被欺騙等>針對人臉識別系統(tǒng)的欺騙手段和技術也逐步升級。除了圖問題問題自動駕駛技術對數(shù)據(jù)高度依賴，使其在數(shù)據(jù)采集、信息交互、海量數(shù)據(jù)存儲方面都面臨安全威脅信息交互方面數(shù)據(jù)存儲方面>汽車通過各類傳感器采集車速、油門、剎車、行識別(三)無人駕駛飛機重功能輕穩(wěn)定故，無人機一般都設有自主降落的應急預案，但其潛在的安全隱患仍對飛行安全構成威脅無人機設備軟硬件故障是影響其飛行安全的主要安全風險通信鏈路的薄弱環(huán)節(jié)將影響無人機系統(tǒng)的正常運行無人機對惡劣天氣或第三方干擾的應對能力仍然不足分析，根據(jù)環(huán)境的變化進行自主、動態(tài)的調(diào)整，具有很強的自適應能力、學習能力和自治功能工業(yè)機器人工業(yè)機器人>傳感器干擾方面，通過物理手段或網(wǎng)絡攻擊可實>系統(tǒng)漏洞方面，機器人控制系統(tǒng)等安全保障不足>網(wǎng)絡通信方面，通信大多使用Wi-Fi、藍牙等，家用機器人及醫(yī)療機器人家用機器人及醫(yī)療機器人全面的搜集，其收集的信息遠不止于文本類信息，還廣泛涵蓋了聲音、圖像、視頻等信息。一旦機器人出現(xiàn)突發(fā)系統(tǒng)故障或遭遇網(wǎng)絡攻擊，極易出現(xiàn)隱(一)探索人工智能安全前沿技術可解釋人工智能框架有助于提升透明度可解釋人工智能框架有助于提升透明度■微軟可解釋機器學習框架InterpretML可為機■臉書神經(jīng)網(wǎng)絡解釋決策工具Captum,可幫助多樣化方法助力人工智能數(shù)據(jù)隱私保護多樣化方法助力人工智能數(shù)據(jù)隱私保護■加密技術可實現(xiàn)機器學習全流程密文處理模型“殺毒軟件”預防對抗樣本病毒模型“殺毒軟件”預防對抗樣本病毒初始便自帶“免疫力”人工智能技術助力網(wǎng)絡安全防御系統(tǒng)人工智能技術助力網(wǎng)絡安全防御系統(tǒng)■2021年3月美國人工智能國家安全委員會指出，■微軟人工智能攻防對抗模擬工具(二)開展人工智能應用規(guī)范探索針對人工智能可能存在的安全風險，各個國家和國際組織積極展開約束性規(guī)則研制，確保人工智能在設旨在推動人工智能將人類福祉擺在優(yōu)先位置規(guī)定AI輸入數(shù)據(jù)應遵循旨在推動人工智能將人類福祉擺在優(yōu)先位置規(guī)定AI輸入數(shù)據(jù)應遵循數(shù)據(jù)質(zhì)量、透明度與非歧視性等原則韓國《自動駕駛汽車安全標準》能可信研究組為AI自動化決策的合法自動駕駛規(guī)范性文件突出人身安全保障要求數(shù)據(jù)作為人工智能的重要驅(qū)動力，針對其安全性國內(nèi)外一直積極出臺治理舉措·我國于2017年7月發(fā)布《新一代人工智能發(fā)展規(guī)劃》提出須強化數(shù)據(jù)安全與隱私保護，2019年6月發(fā)布的《新一代人工智能治理原則—發(fā)展負責任的人工智能》要求人工智能發(fā)展應尊重和保護個人隱私·美國在2019年6月發(fā)布的新版《國家人工智能研究與發(fā)展戰(zhàn)略計劃》中，將確保人工智能系統(tǒng)安全可靠作為八大戰(zhàn)略之一·歐盟2018年12月發(fā)布的《人工智能協(xié)調(diào)計劃》提出必須遵從GDPR的關鍵原則。2019年4月發(fā)布的《可信賴人工智能倫理指南》指出AI系統(tǒng)必須確保隱私和數(shù)據(jù)安全·印度在2018年6月發(fā)布《人工智能國家戰(zhàn)略》強調(diào)在使用人工智能情況下采取更高標準的隱私保護規(guī)范·英國在2018年4月發(fā)布《產(chǎn)業(yè)戰(zhàn)略：人工智能部門協(xié)議》,首次承諾開發(fā)公平、安全的數(shù)據(jù)共享框架據(jù)相關法律來收集、使用、共享和存儲數(shù)據(jù)(四)聚焦人工智能倫理原則建設推動人工智能遵守倫理道德原則一直是世界許多國家、地區(qū)及國際組織的關注重點>2018年將制定人工智能倫理準則作為戰(zhàn)略重點>2019年發(fā)布《人工智能倫理>2018年將制定人工智能倫理準則作為戰(zhàn)略重點>2019年發(fā)布《人工智能倫理準則》應設計符合倫理的人工智能架構>《新一代人工智能發(fā)展規(guī)劃》發(fā)展負責任的人工智能》中國>聯(lián)合國教科文組織的《機器人>聯(lián)合國教科文組織的《機器人倫理的報告》>電氣與電子工程師協(xié)會的《人工智能設計的倫理準則》2021年4月，巴西發(fā)布《國家人工智能發(fā)展戰(zhàn)略》,強調(diào)人工智能須確保人權國際組織國際組織2020年11月，韓國發(fā)布《國家人工智能倫理標準》,指出人工智能應以人為中心■建立健全政府監(jiān)管治理機制，對現(xiàn)■建立健全政府監(jiān)管治理機制，對現(xiàn)■強化行業(yè)自律與企業(yè)自治，通過行■準確把握監(jiān)管力度■盡快建立AI安全上位法，完善部門規(guī)章■形成涵蓋人工智