《信息技術(shù)-人工智能-風(fēng)險(xiǎn)管理指南》ISO∕IEC 23894-2023解讀

《信息技術(shù)-人工智能-風(fēng)險(xiǎn)管理指南》ISO∕IEC23894-2023解讀人工智能的誕生和使用可能會(huì)徹底改變?cè)S多行業(yè)并改善我們的日常生活，但隨著人工智能的使用不斷擴(kuò)大，越來越需要有效的風(fēng)險(xiǎn)管理來處理隨之而來的問題，例如算法失敗、決策偏見、道德問題等。風(fēng)險(xiǎn)管理的目的在于創(chuàng)造和保護(hù)價(jià)值，進(jìn)行風(fēng)險(xiǎn)管理有助于提高績(jī)效、鼓勵(lì)創(chuàng)新及支持目標(biāo)的實(shí)現(xiàn)。2023年2月14日，國(guó)際標(biāo)準(zhǔn)組織（InternationalOrganizationforStandardization，以下簡(jiǎn)稱“ISO”）

和國(guó)際電工委員會(huì)（InternationalElectrotechnicalCommittee，以下簡(jiǎn)稱“IEC”）聯(lián)合發(fā)布了國(guó)際標(biāo)準(zhǔn)《ISO/IEC23894：2023信息技術(shù)-人工智能-風(fēng)險(xiǎn)管理指南》（ISO/IEC23894：2023InformationTechnology-ArtificialIntelligence-GuidanceonRiskManagement，以下簡(jiǎn)稱“《指南》”），提供了一種全面和積極主動(dòng)的方法來管理與人工智能相關(guān)的風(fēng)險(xiǎn)?！吨改稀窞殚_發(fā)、生產(chǎn)、部署或使用人工智能的產(chǎn)品、系統(tǒng)和服務(wù)的組織如何管理與人工智能具體相關(guān)的風(fēng)險(xiǎn)提供了指導(dǎo)，旨在協(xié)助各組織將風(fēng)險(xiǎn)管理納入其與人工智能相關(guān)的活動(dòng)和職能中?！吨改稀愤€描述了有效實(shí)施和整合人工智能風(fēng)險(xiǎn)管理的流程，以供組織參考。《指南》需與《ISO31000：2018風(fēng)險(xiǎn)管理標(biāo)準(zhǔn)》（ISO31000：2018RiskManagement–Guidelines，以下簡(jiǎn)稱“ISO31000：2018”）一起使用。ISO31000：2018為管理任何類型的風(fēng)險(xiǎn)提供了通用方法，而不是僅限于某一行業(yè)或行業(yè)特定的。[1]《指南》則調(diào)整和發(fā)展了ISO31000：2018中所描述的風(fēng)險(xiǎn)管理指南和一般原則，更加聚焦于企業(yè)在人工智能領(lǐng)域的風(fēng)險(xiǎn)管理工作，描述了一個(gè)風(fēng)險(xiǎn)管理框架，要求用戶建立背景，并識(shí)別、分析、評(píng)估、處理、監(jiān)測(cè)和審查風(fēng)險(xiǎn)，使用戶能夠有效地管理風(fēng)險(xiǎn)，以充分利用人工智能的潛力?！吨改稀分饕獌?nèi)容包括風(fēng)險(xiǎn)管理的原則、框架和流程。此外，《指南》的三個(gè)附件還分別介紹了與人工智能相關(guān)的共同目標(biāo)、風(fēng)險(xiǎn)來源以及風(fēng)險(xiǎn)管理流程和人工智能系統(tǒng)生命周期之間的映射實(shí)例。本文對(duì)《指南》的主要內(nèi)容解讀如下[2]：一、風(fēng)險(xiǎn)管理的原則《指南》繼續(xù)沿用了ISO31000：2018中關(guān)于風(fēng)險(xiǎn)管理的幾個(gè)通用原則，并就如何在必要時(shí)應(yīng)用這些原則提供了進(jìn)一步的指導(dǎo)。具體而言，風(fēng)險(xiǎn)管理原則包括以下八點(diǎn)：（一）整合的風(fēng)險(xiǎn)管理是所有組織活動(dòng)的組成部分。（二）結(jié)構(gòu)化和全面性結(jié)構(gòu)化和全面性的風(fēng)險(xiǎn)管理辦法有助于取得一致的和可比較的結(jié)果。（三）定制化風(fēng)險(xiǎn)管理框架和流程是根據(jù)本組織與其目標(biāo)相關(guān)的外部和內(nèi)部環(huán)境定制的，并與之相稱。（四）包容性人工智能系統(tǒng)的使用會(huì)引入更多的利益相關(guān)者，需要考慮利益相關(guān)者的適當(dāng)且及時(shí)的參與，融入他們的知識(shí)、觀點(diǎn)和看法，以此提高風(fēng)險(xiǎn)意識(shí)和知情的風(fēng)險(xiǎn)管理。例如利益相關(guān)者可以幫助識(shí)別有關(guān)數(shù)據(jù)收集、處理操作、數(shù)據(jù)來源和類型的風(fēng)險(xiǎn)，以及在特定情況下或在數(shù)據(jù)主體可能異常的情況下使用數(shù)據(jù)的風(fēng)險(xiǎn)；利益相關(guān)者可以幫助確定風(fēng)險(xiǎn)管理的目標(biāo)，并為提高人工智能系統(tǒng)透明度和可解釋性提供方法；利益相關(guān)者可以幫助定義人工智能系統(tǒng)自動(dòng)化決策的公平標(biāo)準(zhǔn)，也可以幫助確定人工智能系統(tǒng)工作中可能出現(xiàn)的偏見。（五）動(dòng)態(tài)的隨著組織內(nèi)外部環(huán)境的變化，風(fēng)險(xiǎn)可能出現(xiàn)、改變或消失。風(fēng)險(xiǎn)管理會(huì)以適當(dāng)和及時(shí)的方式預(yù)測(cè)、監(jiān)控、掌握和響應(yīng)這止變化和事件。由于人工智能系統(tǒng)的本質(zhì)就是動(dòng)態(tài)的——會(huì)不斷地學(xué)習(xí)、完善、評(píng)估和驗(yàn)證，與人工智能相關(guān)的法律法規(guī)和監(jiān)管要求也在隨之頻繁變化和更新，動(dòng)態(tài)風(fēng)險(xiǎn)管理對(duì)于人工智能系統(tǒng)就更加重要了。（六）最佳可用信息風(fēng)險(xiǎn)管理的輸入是基于歷史和當(dāng)前的信息以及未來的預(yù)期。風(fēng)險(xiǎn)管理應(yīng)明確考慮到與這些信息和預(yù)期相關(guān)的任何限制和不確定性。信息應(yīng)及時(shí)地、清晰地提供給相關(guān)的利益相關(guān)方。由于人工智能是一項(xiàng)新興技術(shù)并且在不斷發(fā)展，各組織應(yīng)考慮到歷史信息是非常有限的，未來的預(yù)期可能會(huì)迅速改變。各組織應(yīng)考慮人工智能系統(tǒng)的內(nèi)部使用，跟蹤客戶和外部用戶對(duì)人工智能系統(tǒng)的使用可能會(huì)受到知識(shí)產(chǎn)權(quán)、合同或特定市場(chǎng)的限制。（七）人文因素人類行為和文化在每個(gè)層次和階段都會(huì)對(duì)風(fēng)險(xiǎn)管理的各個(gè)方面產(chǎn)生重大影響。從事人工智能系統(tǒng)設(shè)計(jì)、開發(fā)或部署的組織應(yīng)注意監(jiān)測(cè)它們所處的人類和文化環(huán)境，應(yīng)重點(diǎn)確定人工智能系統(tǒng)或組件如何與預(yù)先存在的社會(huì)模式相互作用，從而導(dǎo)致對(duì)公平結(jié)果、隱私、言論自由、公平、安全、保障、就業(yè)、環(huán)境和人權(quán)等方面產(chǎn)生廣泛影響。（八）持續(xù)改進(jìn)從事人工智能系統(tǒng)相關(guān)工作的組織應(yīng)該通過學(xué)習(xí)和經(jīng)驗(yàn)，不斷提高風(fēng)險(xiǎn)管理水平。在持續(xù)改進(jìn)過程中，應(yīng)考慮識(shí)別與使用人工智能系統(tǒng)有關(guān)的先前未知的風(fēng)險(xiǎn)，監(jiān)測(cè)人工智能生態(tài)系統(tǒng)的性能成效、缺點(diǎn)和經(jīng)驗(yàn)教訓(xùn)，并保持對(duì)新的人工智能研究發(fā)現(xiàn)和技術(shù)的認(rèn)識(shí)。二、風(fēng)險(xiǎn)管理的框架風(fēng)險(xiǎn)管理涉及為組織制定決策和處理風(fēng)險(xiǎn)收集相關(guān)信息，而風(fēng)險(xiǎn)管理框架的目的是協(xié)助組織將風(fēng)險(xiǎn)管理整合到重大活動(dòng)和職能中。風(fēng)險(xiǎn)管理的有效性取決于它能否被整合到組織治理和決策當(dāng)中，這需要利益相關(guān)方，尤其是最高管理層的支持。風(fēng)險(xiǎn)管理的框架一般圍繞整個(gè)組織中風(fēng)險(xiǎn)管理的整合、設(shè)計(jì)、實(shí)施、評(píng)價(jià)和改進(jìn)而展開，具體包括：（一）領(lǐng)導(dǎo)力和承諾在適當(dāng)情況下，高級(jí)管理層和監(jiān)督機(jī)構(gòu)應(yīng)確保將風(fēng)險(xiǎn)管理納入所有組織活動(dòng)，并且要有針對(duì)性地設(shè)計(jì)和實(shí)現(xiàn)框架的所有要素，發(fā)布風(fēng)險(xiǎn)管理的方法、計(jì)劃或行動(dòng)方針的聲明或政策，確保為管理風(fēng)險(xiǎn)分配必要的資源，在組織內(nèi)相應(yīng)的級(jí)別分配權(quán)限和職責(zé)。由于與人工智能的開發(fā)和使用有關(guān)的信任和責(zé)任特別重要，最高管理層應(yīng)考慮發(fā)布與其與人工智能風(fēng)險(xiǎn)管理有關(guān)的政策和聲明，以增強(qiáng)其利益相關(guān)方對(duì)其使用人工智能的信心。最高管理者也應(yīng)該意識(shí)到管理人工智能風(fēng)險(xiǎn)所需要的專門資源，并適當(dāng)?shù)胤峙溥@些資源。（二）整合風(fēng)險(xiǎn)管理依賴于對(duì)組織結(jié)構(gòu)和環(huán)境的理解。結(jié)構(gòu)因組織的目標(biāo)和復(fù)雜性而異。組織結(jié)構(gòu)的每個(gè)部分都應(yīng)進(jìn)行風(fēng)險(xiǎn)管理，組織中的每個(gè)人都有管理風(fēng)險(xiǎn)的責(zé)任。組織治理意味著指導(dǎo)組織的發(fā)展過程，其外部和內(nèi)部關(guān)系，以及實(shí)現(xiàn)其目的所需的規(guī)則、流程和實(shí)踐。管理結(jié)構(gòu)將治理方向轉(zhuǎn)換為實(shí)現(xiàn)預(yù)期的可持續(xù)提高績(jī)效和長(zhǎng)期生存能力所需的戰(zhàn)略和相關(guān)目標(biāo)。確定組織內(nèi)的風(fēng)險(xiǎn)管理責(zé)任和監(jiān)督角色是組織治理的組成部分。將風(fēng)險(xiǎn)管理集成到組織中是一個(gè)動(dòng)態(tài)的迭代過程，應(yīng)該根據(jù)組織的需求和文化進(jìn)行定制。風(fēng)險(xiǎn)管理應(yīng)該是組織目標(biāo)、治理、領(lǐng)導(dǎo)力和承諾、戰(zhàn)略、目標(biāo)和運(yùn)營(yíng)的一部分，而不是與之相互分離的。（三）設(shè)計(jì)在設(shè)計(jì)風(fēng)險(xiǎn)管理框架時(shí)，組織應(yīng)該做到：第一，了解組織本身及其背景，審查并理解其外部和內(nèi)部的環(huán)境。除了基本考量因素外，對(duì)于從事人工智能的組織而言，需要考慮的外部環(huán)境因素例如與人工智能相關(guān)的法律要求；政府相關(guān)團(tuán)體、監(jiān)管機(jī)構(gòu)、標(biāo)準(zhǔn)化機(jī)構(gòu)、民間社會(huì)、學(xué)術(shù)界和行業(yè)協(xié)會(huì)發(fā)布的人工智能和自動(dòng)化系統(tǒng)道德使用和設(shè)計(jì)指南；人工智能各個(gè)領(lǐng)域的技術(shù)趨勢(shì)和進(jìn)展等。需要考慮的內(nèi)部環(huán)境因素例如組織的目標(biāo)、使命和價(jià)值觀；組織治理、結(jié)構(gòu)、角色和責(zé)任；組織戰(zhàn)略、目標(biāo)和政策；組織的文化等。第二，明確風(fēng)險(xiǎn)管理承諾。在適當(dāng)?shù)那闆r下，高級(jí)管理層和監(jiān)督機(jī)構(gòu)應(yīng)以政策、聲明或其他形式明確地傳達(dá)組織的目標(biāo)和對(duì)風(fēng)險(xiǎn)管理的持續(xù)承諾。第三，分配組織角色、權(quán)限和職責(zé)。在適當(dāng)?shù)那闆r下，高級(jí)管理層和監(jiān)督機(jī)構(gòu)應(yīng)確保在組織各級(jí)分配和傳達(dá)有關(guān)風(fēng)險(xiǎn)管理的權(quán)限和職責(zé)，強(qiáng)調(diào)風(fēng)險(xiǎn)管理是核心責(zé)任，確定有權(quán)處理人工智能風(fēng)險(xiǎn)以及負(fù)責(zé)建立和監(jiān)測(cè)處理人工智能風(fēng)險(xiǎn)的程序的人員。第四，分配資源。在適當(dāng)?shù)那闆r下，高級(jí)管理層和監(jiān)督機(jī)構(gòu)應(yīng)確保為風(fēng)險(xiǎn)管理分配適當(dāng)資源，同時(shí)考慮現(xiàn)有資源的能力和限制。第五，建立溝通和咨詢渠道。為支持風(fēng)險(xiǎn)管理的框架，并促進(jìn)風(fēng)險(xiǎn)管理的有效應(yīng)用，組織應(yīng)建立溝通和咨詢的渠道。溝通包括與目標(biāo)受眾共享信息。咨詢包括參與者期望對(duì)決策或其他活動(dòng)作出貢獻(xiàn)，以便更好地提供反饋信息。溝通和咨詢的方法和內(nèi)容應(yīng)反映相關(guān)利益相關(guān)方的期望。溝通和咨詢應(yīng)當(dāng)及時(shí)進(jìn)行，確保相關(guān)信息的收集、整理、匯總和共享，提供反饋意見并改進(jìn)。（四）實(shí)施組織實(shí)施風(fēng)險(xiǎn)管理框架的方式如下：制定適當(dāng)?shù)挠?jì)劃，包括時(shí)間計(jì)劃和資源配置計(jì)劃；確定整個(gè)組織在什么地點(diǎn)、什么時(shí)間、由誰進(jìn)行不同類型的決策：必要時(shí)修改決策流程以適用；確保組織的風(fēng)險(xiǎn)管理安排被清楚地理解和實(shí)施。（五）評(píng)價(jià)組織應(yīng)該根據(jù)目標(biāo)、實(shí)施計(jì)劃、指標(biāo)和預(yù)期行為，定期衡量風(fēng)險(xiǎn)管理框架的績(jī)效，評(píng)估風(fēng)險(xiǎn)管理框架的有效性，確定它是否仍然適合支持本組織目標(biāo)的實(shí)現(xiàn)。（六）改進(jìn)組織應(yīng)持續(xù)監(jiān)控和調(diào)整風(fēng)險(xiǎn)管理框架，以應(yīng)對(duì)內(nèi)外部的變化。組織應(yīng)不斷改進(jìn)風(fēng)險(xiǎn)管理框架的適用性、充分性和有效性，以及風(fēng)險(xiǎn)管理流程的整合方式．三、風(fēng)險(xiǎn)管理的流程由于人工智能技術(shù)具有潛在復(fù)雜性、不可預(yù)測(cè)性以及缺乏透明度，應(yīng)特別考慮人工智能系統(tǒng)項(xiàng)目層面的風(fēng)險(xiǎn)管理過程。項(xiàng)目級(jí)風(fēng)險(xiǎn)管理過程的范圍、背景和標(biāo)準(zhǔn)直接受到項(xiàng)目范圍內(nèi)的人工智能系統(tǒng)生命周期的影響。一般而言，風(fēng)險(xiǎn)管理流程包括系統(tǒng)地將政策、程序和實(shí)踐應(yīng)用于溝通和咨詢活動(dòng)，建立環(huán)境和評(píng)估、處理、監(jiān)測(cè)、審查、記錄和報(bào)告風(fēng)險(xiǎn)。在整個(gè)風(fēng)險(xiǎn)管理流程中，都應(yīng)考慮到人類行為和文化的動(dòng)態(tài)性和變化性，盡管風(fēng)險(xiǎn)管理流程通常表現(xiàn)為有一定的順序性，但在實(shí)踐中流程步驟可以是循環(huán)反復(fù)的。（一）溝通和咨詢溝通和咨詢的目的是為了幫助利益相關(guān)方理解風(fēng)險(xiǎn)、明確決策依據(jù)以及需要采取特定行動(dòng)的原因。溝通旨在提高對(duì)風(fēng)險(xiǎn)的認(rèn)識(shí)和理解，而咨詢涉及到獲得反饋和信息以支持決策，兩者之間的密切協(xié)調(diào)可以促成真實(shí)、及時(shí)、相關(guān)、準(zhǔn)確和可理解的信息交流，同時(shí)需要考慮到信息的保密性、完整性以及個(gè)人的隱私權(quán)。在風(fēng)險(xiǎn)管理流程的所有步驟中以及整個(gè)過程中，應(yīng)與適當(dāng)?shù)耐獠亢蛢?nèi)部利益相關(guān)方進(jìn)行溝通和咨詢。（二）范圍、環(huán)境和標(biāo)準(zhǔn)確定范圍、環(huán)境和標(biāo)準(zhǔn)的目的是有針對(duì)性地設(shè)置風(fēng)險(xiǎn)管理流程，從而實(shí)現(xiàn)有效的風(fēng)險(xiǎn)評(píng)估和怡當(dāng)?shù)娘L(fēng)險(xiǎn)應(yīng)對(duì)。范圍、環(huán)境和標(biāo)準(zhǔn)涉及到界定流程的范圍，以及對(duì)外部和內(nèi)部環(huán)境的理解。對(duì)于人工智能組織來說，人工智能風(fēng)險(xiǎn)管理的范圍、風(fēng)險(xiǎn)管理過程的背景還有評(píng)價(jià)風(fēng)險(xiǎn)重要性以支持決策過程的標(biāo)準(zhǔn)應(yīng)擴(kuò)大到確定組織內(nèi)正在開發(fā)或使用人工智能系統(tǒng)的地方。這種人工智能開發(fā)和使用的清單應(yīng)被記錄下來，并納入組織的風(fēng)險(xiǎn)管理過程。對(duì)人工智能組織而言，需要考慮的外內(nèi)部環(huán)境因素包括但不限于：人工智能系統(tǒng)是否會(huì)損害人類、剝奪基本服務(wù)（如果中斷，將危及生命、健康或人身安全）或侵犯人權(quán)（例如不公平和有偏見的自動(dòng)決策）或助長(zhǎng)環(huán)境損害；外部和內(nèi)部對(duì)本組織社會(huì)責(zé)任的期望；外部和內(nèi)部對(duì)組織環(huán)境責(zé)任的期望等。由于風(fēng)險(xiǎn)管理系統(tǒng)潛在影響的巨大，組織在形成和建立風(fēng)險(xiǎn)管理過程的背景時(shí)，應(yīng)特別注意其利益相關(guān)者的環(huán)境，應(yīng)注意考慮形成一份利益相關(guān)者名單。組織應(yīng)明確與目標(biāo)相關(guān)的可能發(fā)生或不發(fā)生的風(fēng)險(xiǎn)的數(shù)量和類型，還應(yīng)該定義評(píng)估風(fēng)險(xiǎn)重要性和支持決策過程的標(biāo)準(zhǔn)。風(fēng)險(xiǎn)標(biāo)準(zhǔn)應(yīng)與風(fēng)險(xiǎn)管理框架保持一致，并根據(jù)具體活動(dòng)的具體目的和范圍進(jìn)行有針對(duì)性的設(shè)計(jì)。風(fēng)險(xiǎn)標(biāo)準(zhǔn)應(yīng)反映組織的價(jià)值觀、目標(biāo)和資源，并與風(fēng)險(xiǎn)管理的政策和聲明保持一致。風(fēng)險(xiǎn)標(biāo)準(zhǔn)的定義應(yīng)該考慮到組織的義務(wù)和利益相關(guān)方的觀點(diǎn)。（三）風(fēng)險(xiǎn)評(píng)估風(fēng)險(xiǎn)評(píng)估是風(fēng)險(xiǎn)識(shí)別、風(fēng)險(xiǎn)分析和風(fēng)險(xiǎn)評(píng)價(jià)的整個(gè)過程。風(fēng)險(xiǎn)評(píng)估應(yīng)該借鑒利益相關(guān)方的知識(shí)和觀點(diǎn)，以系統(tǒng)、迭代且協(xié)作的方式開展，它應(yīng)使用現(xiàn)有的最佳資料，并在必要時(shí)輔以進(jìn)一步調(diào)查。風(fēng)險(xiǎn)識(shí)別包括對(duì)資產(chǎn)及其價(jià)值、風(fēng)險(xiǎn)源、潛在事件和結(jié)果、控制措施和后果的識(shí)別。風(fēng)險(xiǎn)分析的目的是理解包括適當(dāng)?shù)娘L(fēng)險(xiǎn)水平在內(nèi)的風(fēng)險(xiǎn)性質(zhì)及其特征。風(fēng)險(xiǎn)分析涉及對(duì)不確定性、風(fēng)險(xiǎn)來源、后果、可能性、事件、場(chǎng)景、控制及其有效性的詳細(xì)考慮。風(fēng)險(xiǎn)分析包括后果評(píng)估（包括業(yè)務(wù)影響評(píng)估、個(gè)人影響評(píng)估和社會(huì)影響評(píng)估）和可能性評(píng)估。風(fēng)險(xiǎn)評(píng)價(jià)的目的是支持決策。風(fēng)險(xiǎn)評(píng)價(jià)涉及將風(fēng)險(xiǎn)