ISO∕IEC 42001-2023人工智能管理體系之20：“9 績效評價-9.3 管理評審”解讀、實施流程和風險描述(雷澤佳編制-2024)

“9績效評價-9.3管理評審”解讀、實施流程和風險描述ISO∕IEC42001-2023《信息技術-人工智能管理體系》之20：“9績效評價-9.3管理評審”解讀、實施流程和風險描述(雷澤佳編制，2024年9月)第1部分：“9.3管理評審”解讀“9.3管理評審”條文“9.3管理評審”標準條文解讀9.3管理評審管理評審可以定義:由組織的最高管理者按照策劃的時間間隔，對人工智能管理體系的適宜性、充分性和有效性進行全面、系統(tǒng)的評價活動，以確保其與組織的戰(zhàn)略方向保持一致，并識別持續(xù)改進的機會。最高管理者的責任：管理評審是最高管理者的核心職責之一，體現(xiàn)了高層領導對人工智能管理體系的重視和直接參與；最高管理者通過管理評審，確保組織的人工智能管理體系與整體戰(zhàn)略和業(yè)務目標保持高度一致。定期性與系統(tǒng)性：管理評審需按照預先策劃的時間間隔進行，通常每年至少進行一次，以確保人工智能管理體系的持續(xù)有效性；評審過程應全面且系統(tǒng)，涵蓋人工智能管理體系的各個方面，包括但不限于戰(zhàn)略方向、流程優(yōu)化、技術應用、數(shù)據(jù)管理等。戰(zhàn)略性與前瞻性：管理評審屬于戰(zhàn)略控制范疇，以戰(zhàn)略的眼光審視整個人工智能管理體系的有效性。這種戰(zhàn)略性評審確保了組織的目標與戰(zhàn)略保持一致，為戰(zhàn)術控制提供了前提和方向。管理評審還體現(xiàn)了前瞻性，通過對未來趨勢的預測和分析，為組織制定長期發(fā)展規(guī)劃提供重要依據(jù)。9.3.1總則最高管理者應在策劃的時間間隔內(nèi)對組織的人工智能管理體系進行評審，以確保人工智能管理體系持續(xù)的適宜性、充分性和有效性。明確最高管理者的主導角色組織的最高管理者在人工智能管理體系中扮演著至關重要的角色。他們需要在預先設定的時間間隔內(nèi)，親自組織和實施對人工智能管理體系的評審工作。這一職責不僅體現(xiàn)了最高管理者對人工智能管理體系的直接參與和監(jiān)督，也確保了評審工作的權威性和有效性。管理評審的目的管理評審的目的是確保人工智能管理體系能夠持續(xù)保持其適宜性、充分性和有效性。適宜性：人工智能管理體系是否仍然適合組織的目標和戰(zhàn)略方向，是否適應內(nèi)外部環(huán)境的變化。充分性：人工智能管理體系是否識別了所有關鍵過程活動，并分配了相應的職責和資源；有效性：人工智能管理體系是否實現(xiàn)了設定的目標和預期結果，包括提升人工智能應用的效果、優(yōu)化流程、提高決策質(zhì)量等。策劃合理的時間間隔：最高管理者應根據(jù)組織的實際情況和需求，策劃合理的管理評審時間間隔。定期管理評審。一般來說，評審應至少每年進行一次，以確保人工智能管理體系的連續(xù)性和穩(wěn)定性。專項管理評審。在遇到以下重大變化或特殊情況時，可適當增加評審的次數(shù)：外部環(huán)境發(fā)生重大變化；法規(guī)政策變化：當與人工智能相關的法律法規(guī)、政策標準發(fā)生更新或變化時，組織需要迅速評價這些變化對其人工智能系統(tǒng)的影響，并調(diào)整人工智能管理體系以符合新的要求。例如，數(shù)據(jù)保護、隱私保護、算法透明度等方面的新法規(guī)出臺；市場環(huán)境變化：市場需求的轉變、競爭對手的策略調(diào)整或新興技術的出現(xiàn)，都可能對組織的人工智能戰(zhàn)略和人工智能管理體系產(chǎn)生影響。組織需要定期評審這些變化，以確保人工智能管理體系的適應性和競爭力。人工智能系統(tǒng)發(fā)生重大變化；新系統(tǒng)的引入：當組織引入新的人工智能系統(tǒng)或升級現(xiàn)有系統(tǒng)時，需要對新系統(tǒng)的性能、安全、合規(guī)性等進行全面評估。管理評審應在新系統(tǒng)上線前后進行，以確保人工智能管理體系的有效銜接；系統(tǒng)架構調(diào)整：人工智能系統(tǒng)的架構調(diào)整、算法優(yōu)化或數(shù)據(jù)流程變更都可能對系統(tǒng)的穩(wěn)定性和效能產(chǎn)生重大影響。這些變化需要及時納入管理評審的范疇，以評估其對人工智能管理體系的影響。內(nèi)部環(huán)境或資源發(fā)生重大變化；組織結構調(diào)整：當組織內(nèi)部出現(xiàn)重大的人事變動、部門重組或職能調(diào)整時，人工智能管理體系的相關職責、權限和接口可能發(fā)生變化。管理評審有助于確保這些變化得到妥善處理，并維持人工智能管理體系的完整性。資源投入變化：人工智能系統(tǒng)的運行和維護需要充足的資源支持，包括資金、人力、技術設備等。當資源投入發(fā)生變化時，組織需要評估這些變化對人工智能管理體系的影響，并采取相應的調(diào)整措施。出現(xiàn)重大風險或事故；安全事件：當人工智能系統(tǒng)發(fā)生數(shù)據(jù)泄露、算法偏見、系統(tǒng)崩潰等安全事件時，組織需要迅速進行事故調(diào)查，分析原因并采取相應的糾正措施。管理評審應作為事故處理的一個重要環(huán)節(jié)，確保人工智能管理體系的完善性和有效性。重大風險識別：在人工智能系統(tǒng)的運行過程中，可能會識別出新的重大風險或潛在威脅。組織需要定期評估這些風險的影響程度和可控性，并調(diào)整人工智能管理體系以加強風險防控能力。相關方反饋或投訴增加用戶反饋：當用戶對人工智能系統(tǒng)的性能、準確性、透明度等方面提出大量反饋或投訴時，組織需要認真對待這些反饋，評估其對人工智能管理體系的影響，并采取相應的改進措施。管理評審應作為反饋處理的一個重要環(huán)節(jié)，確保用戶需求的得到滿足。9.3.2管理評審輸入管理評審應包括：a）以往管理評審所采取措施的狀況；b）與人工智能管理體系相關的外部和內(nèi)部因素的變化；c）與人工智能管理體系相關的相關方的需求和期望的變化；d）人工智能管理體系績效信息，包括以下方面的趨勢：1）不符合及糾正措施；2）監(jiān)視和測量結果；3）審核結果；e）持續(xù)改進的機會。以往管理評審所采取措施的狀況；管理評審應首先回顧上一次或之前歷次管理評審中提出的改進措施的執(zhí)行情況，包括這些措施是否得到有效實施、實施效果如何、是否達到預期目標等。這一步驟旨在評估組織對過去問題的響應能力和解決效率，確保持續(xù)改進機制的有效性；與人工智能管理體系相關的外部和內(nèi)部因素的變化；組織需要持續(xù)關注與人工智能管理體系相關的外部因素（如法律法規(guī)、技術標準、市場動態(tài)、競爭格局等）和內(nèi)部因素（如組織戰(zhàn)略、組織結構、資源配置、技術能力等）的變化。這些變化可能對人工智能管理體系的適宜性、充分性和有效性產(chǎn)生影響，因此必須納入管理評審的范疇進行評估和應對。與人工智能管理體系相關的相關方的需求和期望的變化；相關方（包括客戶、供應商、監(jiān)管機構、公眾等）的需求和期望是組織制定和調(diào)整人工智能管理體系的重要依據(jù)。管理評審應關注這些需求和期望的變化情況，評估其對人工智能管理體系的影響，并制定相應的應對措施，以確保人工智能管理體系能夠滿足相關方的要求并保持其競爭力和適應性。人工智能管理體系績效信息（績效趨勢分析）管理評審應對人工智能管理體系的績效進行全面評估，包括以下幾個方面：不符合及糾正措施：分析人工智能管理體系運行中出現(xiàn)的不符合項及其糾正措施的實施情況和效果，識別潛在的風險和改進點。監(jiān)視和測量結果：通過持續(xù)監(jiān)視和測量人工智能管理體系的運行情況，收集相關數(shù)據(jù)和信息，評估人工智能管理體系的有效性并發(fā)現(xiàn)潛在的改進機會。審核結果：內(nèi)部審核和外部審核的結果是評估人工智能管理體系符合性和有效性的重要依據(jù)。管理評審應關注審核中發(fā)現(xiàn)的問題和建議，評估其對人工智能管理體系的影響并制定相應的改進措施。持續(xù)改進的機會。管理評審的最終目的是識別人工智能管理體系中的持續(xù)改進機會。通過對人工智能管理體系的全面評價和分析，組織可以發(fā)現(xiàn)潛在的改進點和創(chuàng)新點，為未來的人工智能管理體系優(yōu)化和發(fā)展提供方向。這些改進機會可能來自于人工智能管理體系的各個方面，包括流程優(yōu)化、技術創(chuàng)新、資源配置等。組織應充分利用這些機會，推動人工智能管理體系的持續(xù)改進和創(chuàng)新發(fā)展。9.3.3管理評審輸出管理評審的輸出應包括持續(xù)改進的機會，以及變更人工智能管理體系的任何需要的決定。管理評審輸出的關鍵要素。管理評審的輸出應包括：持續(xù)改進的機會；在管理評審過程中，應全面評審人工智能管理體系的運行狀況，識別出體系中的不足之處以及潛在的改進空間。這些改進機會可能涉及到以下多個方面：技術架構升級：決定對現(xiàn)有的人工智能技術架構進行升級，以支持更高級別的數(shù)據(jù)處理、模型訓練和推理能力。這可能包括引入新的硬件加速器、優(yōu)化軟件框架或升級云平臺服務等；流程自動化：識別關鍵業(yè)務流程中可自動化的環(huán)節(jié)，并決定采用人工智能技術實現(xiàn)自動化處理，以提高效率并減少人為錯誤。例如，自動化測試、故障預測和異常檢測等；數(shù)據(jù)治理強化：針對數(shù)據(jù)質(zhì)量、安全性和合規(guī)性問題，決定加強數(shù)據(jù)治理措施。這可能包括建立更嚴格的數(shù)據(jù)質(zhì)量標準、引入數(shù)據(jù)加密和匿名化處理機制，以及優(yōu)化數(shù)據(jù)訪問控制和權限管理；知識管理與傳承：決定建立或優(yōu)化知識管理系統(tǒng)，以有效捕獲、整理和分享組織內(nèi)部關于人工智能項目、技術棧和最佳實踐的知識。這有助于加速新員工的學習和項目的快速啟動；跨部門協(xié)作機制：針對當前協(xié)作中的瓶頸和問題，決定引入新的跨部門協(xié)作機制，如敏捷開發(fā)團隊、DevOps流程或項目管理工具，以提升團隊協(xié)作效率和響應速度；合規(guī)性與道德審查：鑒于人工智能應用的敏感性和潛在影響，決定加強對新項目和應用場景的合規(guī)性和道德審查流程。確保項目在遵守法律法規(guī)的同時，也符合道德和社會責任標準；性能優(yōu)化與擴容計劃：根據(jù)現(xiàn)有系統(tǒng)的性能瓶頸和未來增長預測，決定實施性能優(yōu)化措施（如算法改進、代碼重構）和擴容計劃（如增加計算資源、擴展存儲能力），以應對不斷增長的業(yè)務需求；用戶體驗與交互設計：針對用戶反饋和市場調(diào)研結果，決定改進人工智能產(chǎn)品的用戶界面和交互設計，以提升用戶體驗和滿意度。這可能包括簡化操作流程、增加個性化推薦和優(yōu)化反饋機制等；創(chuàng)新與研發(fā)投資：決定增加對創(chuàng)新技術和研發(fā)的投入，以支持前沿技術的探索和原型開發(fā)。這可能包括與高校、研究機構或初創(chuàng)企業(yè)的合作，以及內(nèi)部研發(fā)團隊的擴編和激勵措施；組織文化與領導力發(fā)展：認識到文化和領導力在推動持續(xù)改進中的重要性，決定加強組織文化建設，培養(yǎng)具備創(chuàng)新精神和領導力的管理層和員工隊伍。這可能包括制定領導力發(fā)展計劃、提供培訓和輔導機會以及建立創(chuàng)新激勵機制等。變更人工智能管理體系的決定當人工智能管理體系不再適應組織的發(fā)展需求或外部環(huán)境的變化時，應及時作出調(diào)整。這些變更可能涉及到以下一個或多個方面。通過適時調(diào)整人工智能管理體系，組織可以確保其始終保持與組織的戰(zhàn)略目標和發(fā)展方向相一致，提高人工智能管理體系的適應性和靈活性。組織結構調(diào)整：根據(jù)業(yè)務發(fā)展和戰(zhàn)略需要，決定對組織結構進行調(diào)整，以更好地支持人工智能項目的實施和管理。這可能包括成立專門的人工智能部門、調(diào)整團隊配置或優(yōu)化跨部門協(xié)作機制；流程優(yōu)化與重組：識別當前流程中的瓶頸和低效環(huán)節(jié)，決定對流程進行優(yōu)化或重組，以提高整體運營效率。這可能涉及到簡化審批流程、引入自動化工具或調(diào)整項目交付方式等；技術選型與更新：根據(jù)技術發(fā)展趨勢和業(yè)務需求，決定采用新的技術?；蚋卢F(xiàn)有技術，以提升人工智能應用的性能和效果。這可能包括引入更高效的機器學習算法、采用先進的自然語言處理技術或升級數(shù)據(jù)處理平臺等；風險管理策略調(diào)整：針對人工智能項目中可能面臨的風險，決定調(diào)整風險管理策略，包括識別新的風險點、優(yōu)化風險評估方法和制定更有效的應對措施；資源重新分配：根據(jù)業(yè)務需求和管理評審的結果，決定對資源進行重新分配，以確保關鍵項目和活動的順利進行。這可能包括增加對某個領域的投資、調(diào)配人力資源或調(diào)整財務預算等；政策與合規(guī)性調(diào)整：鑒于法律法規(guī)的不斷變化和人工智能應用的特殊性，決定對人工智能管理體系中的政策和合規(guī)性要求進行調(diào)整，以確保項目在合法合規(guī)的前提下進行；績效評價與激勵機制優(yōu)化：根據(jù)管理評審的反饋和員工的績效表現(xiàn)，決定對績效評價體系和激勵機制進行優(yōu)化，以激發(fā)員工的積極性和創(chuàng)造力。這可能包括調(diào)整考核標準、引入新的獎勵機制或提供更多的培訓和發(fā)展機會等；數(shù)據(jù)策略與管理：鑒于數(shù)據(jù)在人工智能應用中的重要性，決定對數(shù)據(jù)策略和管理進行變更，以提升數(shù)據(jù)質(zhì)量、安全性和可用性。這可能包括優(yōu)化數(shù)據(jù)采集和處理流程、加強數(shù)據(jù)安全防護和制定數(shù)據(jù)共享與合作機制等；外部合作與伙伴關系建立：根據(jù)業(yè)務需求和戰(zhàn)略考慮，決定與外部機構或企業(yè)建立合作關系或伙伴關系，以共享資源、技術和市場機會。這可能包括與供應商、客戶、研究機構或競爭對手建立戰(zhàn)略聯(lián)盟或合作項目等；文化與價值觀強化：認識到文化和價值觀在推動人工智能管理體系變革中的重要作用，決定強化組織文化和價值觀，以營造更加開放、包容和創(chuàng)新的工作氛圍。這可能包括制定文化宣傳計劃、開展員工培訓和教育活動或建立員工參與機制等。成文信息應作為管理評審結果證據(jù)可獲取。成文信息應作為管理評審結果證據(jù)應予以保留，包括：管理評審計劃：詳細記錄評審的目的、范圍、標準、內(nèi)容、時間、地點、主持人及參與者等信息，以及評審前的準備要求和會議議程。這是評審活動的基礎和指南，確保了評審的有序進行；會議通知與簽到表：正式發(fā)送會議通知，并準備簽到表記錄實際出席人員。這確保了評審的正式性和參與者的準時出席；管理評審記錄：保留評審過程中的所有記錄，包括管理者代表的總結報告、與會者的討論發(fā)言記錄或書面材料、評審過程中產(chǎn)生的其他重要信息。這些記錄是評審過程的關鍵證據(jù)，用于后續(xù)的分析和改進；管理評審報告：編寫報告，評價評審目的是否達成，評估人工智能管理體系的適宜性、充分性和有效性，并提出改進建議或結論。這是評審活動的總結和成果，為后續(xù)的改進活動提供了方向和依據(jù)；整改計劃與措施：根據(jù)評審報告中的改進建議或問題，制定詳細的整改計劃和具體的改進措施，并記錄每一項改進措施。這確保了整改活動的針對性和有效性；改進措施跟蹤驗證記錄：對整改措施的執(zhí)行情況進行持續(xù)的跟蹤和驗證，確保措施的有效性和實施進度，并保留所有相關的跟蹤驗證記錄。這確保了整改活動的持續(xù)性和可追溯性。第2部分：“9.3管理評審”流程控制表一級流程二級流程三級流程流程節(jié)點控制要點所期望的輸出管理評審策劃與準備制定評審計劃確定評審目的、時間、地點、參加人員、評審內(nèi)容等確保評審計劃詳細、明確，包含所有必要信息管理評審計劃文檔收集評審輸入收集與人工智能管理體系相關的所有必要數(shù)據(jù)和信息確保輸入信息完整、準確，覆蓋所有關鍵領域評審輸入材料發(fā)送評審通知向所有參加評審的人員發(fā)送評審通知確保所有相關人員收到通知，了解評審安排評審通知回執(zhí)管理評審實施管理評審輸出召開評審會議主持人開場，明確評審目的和議程確保會議高效有序進行會議記錄進行評審討論對人工智能管理體系進行全面、系統(tǒng)的評價確保所有評審輸入得到充分討論，識別改進機會評審討論記錄形成評審結論根據(jù)討論結果，形成評審結論和決策確保結論和決策明確、具體，可實施性強評審結論文檔制定改進措施根據(jù)評審結論，制定具體的改進措施確保改進措施針對性強，責任明確改進措施計劃文檔分配責任和資源明確各項改進措施的責任部門和所需資源確保改進措施得到有效執(zhí)行責任和資源分配表確定改進時間表制定改進措施的時間表和里程碑確保改進措施按計劃進行，及時跟蹤改進時間表跟蹤與驗證監(jiān)督實施情況定期檢查改進措施的實施進度確保改進措施按計劃執(zhí)行，及時發(fā)現(xiàn)并解決問題實施進度報告驗證實施效果對已實施的改進措施進行效果驗證確保改進措施達到預期效果，形成持續(xù)改進機制效果驗證報告更新人工智能管理體系根據(jù)驗證結果，更新人工智能管理體系文件和記錄確保人工智能管理體系與當前實際情況保持一致，持續(xù)改進更新后的人工智能管理體系文件第3部分：“9.3管理評審”過程風險清單一級流程二級流程風險描述（風險源、過程運行可能發(fā)生什么并產(chǎn)生什么后果及其對實現(xiàn)業(yè)務流程目標產(chǎn)生的影響）管理評審策劃與準備制定評審計劃風險源：計劃制定不全面或不合理風險描述：若評審計劃未充分覆蓋關鍵評審內(nèi)容或未合理安排時間、地點、人員，可能導致評審效果不佳或無法達到預期目的后果：評審結論不全面，改進措施針對性不強，影響人工智能管理體系的持續(xù)改進對目標實現(xiàn)的影響：延緩人工智能管理體系的優(yōu)化進程，影響組織戰(zhàn)略目標的實現(xiàn)收集評審輸入風險源：信息收集不完整或不準確風險描述：若評審輸入信息缺失或不準確，可能無法全面反映人工智能管理體系的運行狀況后果：評審結論偏差，無法識別所有潛在問題對目標實現(xiàn)的影響：導致改進措施的遺漏，影響人工智能管理體系的適宜性、充分性和有效性發(fā)送評審通知風險源：通知發(fā)送不及時或遺漏風險描述：若評審通知未能及時送達所有相關人員，或某些人員遺漏未通知，可能導致評審參與度不高或評審無法順利進行后果：評審效率降低，甚至導致評審無法按期舉行對目標實現(xiàn)的影響：延誤管理評審的開展，影響人工智能管理體系的持續(xù)改進計劃管理評審實施召開評審會議風險源：會議組織不力風險描述：若會議組織不當，可能導致會議效率低下，討論偏離主題后果：評審時間延長，討論結果不明確對目標實現(xiàn)的影響：影響評審結論的形成，拖延改進措施的實施進行評審討論風險源：討論不充分或存在偏見風險描述：若評審討論不夠深入或存在主觀偏見，可能無法準確識別人工智能管理體系中的問題和改進機會后果：評審結論不客觀，改進措施缺乏針對性對目標實現(xiàn)的影響：導致資源浪費，無法有效提升人工智能管理體系的績效形成評審結論風險源：結論形成草率或偏離實際風險描述：若評審結論未經(jīng)充分討論或基于不準確的信息形成，可能導致結論偏離實際情況