《人工智能輔助醫(yī)療診斷系統(tǒng)的性能評(píng)價(jià)規(guī)范（征求意見(jiàn)稿）》

ICS13.100CCSC5032范Specificationforperformanceevaluationof（本草案完成時(shí)間：）在提交反饋意見(jiàn)時(shí)，請(qǐng)將您知道的相關(guān)專利連同支持性文件一并附上。IDB32/TXXXX—XXXX前言 2規(guī)范性引用文件 3術(shù)語(yǔ)和定義 4評(píng)價(jià)機(jī)構(gòu)與人員 5評(píng)價(jià)平臺(tái)與設(shè)備 26評(píng)價(jià)體系 37評(píng)價(jià)檔案管理 6DB32/TXXXX—XXXX本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專利的責(zé)任。本文件由江蘇省衛(wèi)生健康委員會(huì)提出。本文件由江蘇省衛(wèi)生標(biāo)準(zhǔn)化技術(shù)委員會(huì)歸口。本文件起草單位：江蘇省疾病預(yù)防控制中心（江蘇省公共衛(wèi)生研究院）、江蘇省衛(wèi)生健康信息中心（江蘇省中醫(yī)藥信息中心）、江蘇省人工智能學(xué)會(huì)、南京信息工程大學(xué)、南京航天航空大學(xué)、南京博視醫(yī)療科技有限公司、南京醫(yī)科大學(xué)。本文件主要起草人：徐酩、朱寶立、韓磊、季英凱、張國(guó)明、房偉、徐軍、王詩(shī)丹、楊一洲、陳遠(yuǎn)方、季心語(yǔ)、張杰、王京、張道強(qiáng)、俞婷婷、杜牧龍、高玥、于政民、劉嘯文。1DB32/TXXXX—XXXX人工智能輔助醫(yī)療診斷系統(tǒng)的性能評(píng)價(jià)規(guī)范本文件規(guī)定了人工智能輔助醫(yī)療診斷系統(tǒng)的評(píng)價(jià)的機(jī)構(gòu)與人員、設(shè)備、評(píng)價(jià)體系及評(píng)價(jià)檔案管理。本文件適用于人工智能輔助醫(yī)療診斷系統(tǒng)研發(fā)企業(yè)對(duì)人工智能輔助醫(yī)療診斷系統(tǒng)產(chǎn)品的自評(píng)價(jià)、第三方評(píng)價(jià)企業(yè)評(píng)價(jià)，以及相關(guān)監(jiān)管部門的監(jiān)督與管理參考依據(jù)。2規(guī)范性引用文件本文件沒(méi)有規(guī)范性引用文件。3術(shù)語(yǔ)和定義下列術(shù)語(yǔ)和定義適用于本文件。3.1人工智能artificialintelligence（AI）表現(xiàn)出與人類智能相關(guān)的各種功能的功能單元的能力。3.2人工智能輔助醫(yī)療診斷artificialintelligenceassistedmedicaldiagnosis（AIAMD）采用AI技術(shù)對(duì)文字、音頻、圖像、視頻等多媒體形式的診斷數(shù)據(jù)進(jìn)行分析與理解，挖掘和區(qū)分病情特征，進(jìn)行診斷和評(píng)估。3.3數(shù)據(jù)集dataset具有一定主題，可以標(biāo)識(shí)并可以被計(jì)算機(jī)化處理的數(shù)據(jù)集合。3.4數(shù)據(jù)脫敏datamasking通過(guò)去標(biāo)識(shí)化或匿名化，實(shí)現(xiàn)對(duì)個(gè)人敏感信息的可靠保護(hù)。3.5數(shù)據(jù)標(biāo)注dataannotation對(duì)數(shù)據(jù)進(jìn)行分析，添加外部知識(shí)的過(guò)程。4評(píng)價(jià)機(jī)構(gòu)與人員4.1評(píng)價(jià)機(jī)構(gòu)資質(zhì)人工智能輔助醫(yī)療診斷系統(tǒng)評(píng)審單位應(yīng)設(shè)有獨(dú)立倫理委員會(huì)，保證評(píng)價(jià)過(guò)程中受試者的權(quán)益。評(píng)價(jià)過(guò)程中所涉及的知情同意及相關(guān)要求在無(wú)其他特殊規(guī)定時(shí)，參照現(xiàn)有藥物臨床實(shí)驗(yàn)機(jī)構(gòu)（GCP）進(jìn)行。2DB32/TXXXX—XXXX4.2數(shù)據(jù)處理人員4.2.1數(shù)據(jù)處理人員團(tuán)隊(duì)構(gòu)成評(píng)價(jià)主體應(yīng)確立一名數(shù)據(jù)管理代表全面負(fù)責(zé)數(shù)據(jù)處理相關(guān)工作。其他數(shù)據(jù)處理人員一般包括首席研究員、數(shù)據(jù)管理員、數(shù)據(jù)采集員、標(biāo)注人員、審核人員等，標(biāo)注過(guò)程中標(biāo)注人員與審核人員不可相互兼任。4.2.2數(shù)據(jù)處理人員崗位需求明確人員職責(zé)、任職資質(zhì)、選拔、培訓(xùn)、考核要求，如職稱、工作年限、工作經(jīng)驗(yàn)等；應(yīng)有任命、培訓(xùn)及考核記錄等；對(duì)于評(píng)價(jià)主體外部聘用人員的還應(yīng)該記錄聘用、主要執(zhí)業(yè)機(jī)構(gòu)、培訓(xùn)等信息，明確其資質(zhì)是否滿足崗位需求。4.3算法相關(guān)人員4.3.1算法相關(guān)人員團(tuán)隊(duì)構(gòu)成評(píng)價(jià)主體應(yīng)建立具有算法研發(fā)能力且穩(wěn)定的算法評(píng)價(jià)團(tuán)隊(duì)，確立一名團(tuán)隊(duì)負(fù)責(zé)人負(fù)責(zé)算法相關(guān)評(píng)價(jià)工作。算法評(píng)價(jià)團(tuán)隊(duì)人員應(yīng)包括：算法研究人員、算法工程人員、算法測(cè)試人員、算法部署人員及具有醫(yī)學(xué)背景的專家。4.3.2算法相關(guān)人員崗位需求對(duì)于評(píng)價(jià)主體外部聘用人員應(yīng)記錄聘用、主要執(zhí)業(yè)機(jī)構(gòu)、培訓(xùn)等信息，明確其資質(zhì)是否滿足崗位需5評(píng)價(jià)平臺(tái)與設(shè)備5.1一般要求評(píng)價(jià)主體應(yīng)結(jié)合待評(píng)價(jià)產(chǎn)品的實(shí)際情況，在產(chǎn)品評(píng)價(jià)過(guò)程中提供充分、適宜、有效的軟硬件設(shè)備、測(cè)試工具、網(wǎng)絡(luò)資源以及數(shù)據(jù)保護(hù)等保障。5.2評(píng)價(jià)數(shù)據(jù)集構(gòu)建所用設(shè)備5.2.1數(shù)據(jù)采集設(shè)備要求數(shù)據(jù)采集設(shè)備管理應(yīng)明確兼容性和采集特征等要求。5.2.1.1設(shè)備兼容性設(shè)備的兼容性記錄應(yīng)包括采集設(shè)備的名稱、規(guī)格型號(hào)、制造商、性能指標(biāo)，若無(wú)需考慮兼容性要求應(yīng)詳述理由并予以記錄。5.2.1.2設(shè)備采集特征采集特征需明確采集設(shè)備的采集方式（如常規(guī)成像、增強(qiáng)成像）、采集協(xié)議（如MRI成像序列）、采集參數(shù)（如CT加載電壓、加載電流、加載時(shí)間、層厚）、采集精度（如分辨率、采樣率）。5.2.2歷史數(shù)據(jù)使用條件3DB32/TXXXX—XXXX數(shù)據(jù)采集若使用歷史數(shù)據(jù)，需列明采集設(shè)備及采集特征要求，并開展數(shù)據(jù)采集質(zhì)量評(píng)估工作。5.2.3評(píng)價(jià)主題所需資源評(píng)價(jià)主體應(yīng)配備執(zhí)行數(shù)據(jù)集相關(guān)任務(wù)需要的資源，如訪問(wèn)、讀取數(shù)據(jù)、預(yù)覽、檢索等任務(wù)需要的軟件、硬件、網(wǎng)絡(luò)配置。測(cè)試集應(yīng)配備封閉管理需要的軟件、硬件、網(wǎng)絡(luò)配置，明確管理要求。5.2.4數(shù)據(jù)標(biāo)注要求數(shù)據(jù)標(biāo)注應(yīng)明確標(biāo)注軟件（包含自動(dòng)標(biāo)注軟件）的要求，明確標(biāo)注軟件的名稱、規(guī)格型號(hào)、完整版本、制造商、運(yùn)行環(huán)境、軟件確認(rèn)等要求并予以記錄。5.2.5特定外部設(shè)備記錄要求若需使用特定的外部設(shè)備獲取附加的信息（如病理結(jié)果、檢驗(yàn)結(jié)果、數(shù)據(jù)模態(tài)轉(zhuǎn)化、多模態(tài)配準(zhǔn)、體積測(cè)量、三維打印等），設(shè)備的規(guī)格型號(hào)、計(jì)量信息（如需計(jì)量）等應(yīng)確認(rèn)要求并予以記錄。5.2.6軟件工具確認(rèn)數(shù)據(jù)整理所用軟件工具（含腳本）均需明確名稱、規(guī)格型號(hào)、完整版本、制造商、運(yùn)行環(huán)境，并進(jìn)行軟件確認(rèn)。5.3算法評(píng)價(jià)所用設(shè)備5.3.1服務(wù)器配置明確定義并記錄進(jìn)行算法訓(xùn)練、算法測(cè)試、算法部署所用到服務(wù)器算力的典型配置（如GPU型號(hào)和數(shù)量、CPU型號(hào)和數(shù)量、內(nèi)存大小、網(wǎng)絡(luò)帶寬等）。5.3.2算法訓(xùn)練服務(wù)器記錄明確定義并記錄算法訓(xùn)練所用的操作系統(tǒng)、開發(fā)環(huán)境（如編程語(yǔ)言及版本、集成開發(fā)環(huán)境及版本、web服務(wù)及版本、支持軟件及版本等）、算法架構(gòu)（如基礎(chǔ)計(jì)算包、GPU指令集、集成開發(fā)環(huán)境插件等）。5.3.3算法測(cè)試服務(wù)器記錄明確定義并記錄算法測(cè)試所用的操作系統(tǒng)、開發(fā)環(huán)境、算法框架、基礎(chǔ)服務(wù)等，若與其他外部設(shè)備進(jìn)行配合或作為軟件組件集成到其他醫(yī)療器械中，明確說(shuō)明外部設(shè)備和器械的規(guī)格型號(hào)。5.3.4算法服務(wù)器部署記錄明確定義并記錄算法部署運(yùn)行的操作系統(tǒng)、開發(fā)環(huán)境、算法框架、基礎(chǔ)服務(wù)、虛擬機(jī)、應(yīng)用容器引擎等。6評(píng)價(jià)體系6.1評(píng)價(jià)需求原則6.1.1綜合分析用戶需求與風(fēng)險(xiǎn)應(yīng)以用戶需求與風(fēng)險(xiǎn)為導(dǎo)向，結(jié)合產(chǎn)品的預(yù)期用途、使用場(chǎng)景、核心功能，綜合分析法律、法規(guī)、4DB32/TXXXX—XXXX規(guī)章、標(biāo)準(zhǔn)、用戶、產(chǎn)品、功能、性能、接口、用戶界面、網(wǎng)絡(luò)安全、警示提示等需求。6.1.2形成評(píng)價(jià)文件應(yīng)明確風(fēng)險(xiǎn)管理、可追溯性分析、數(shù)據(jù)收集、算法性能、使用限制、現(xiàn)成軟件（現(xiàn)成算法）的驗(yàn)證與確認(rèn)等活動(dòng)要求，形成相應(yīng)文件。6.1.3使用限制評(píng)價(jià)應(yīng)提出使用限制，如考慮產(chǎn)品禁用、慎用等場(chǎng)景，準(zhǔn)確表述產(chǎn)品使用場(chǎng)景，提供必要警示提示信息等。6.2評(píng)價(jià)數(shù)據(jù)收集6.2.1評(píng)價(jià)數(shù)據(jù)采集6.2.1.1數(shù)據(jù)來(lái)源特性評(píng)價(jià)數(shù)據(jù)采集應(yīng)當(dāng)確保數(shù)據(jù)來(lái)源的合規(guī)性、充分性和多樣性，數(shù)據(jù)分布的科學(xué)性和合理性，數(shù)據(jù)質(zhì)控的充分性、有效性和準(zhǔn)確性。6.2.1.2數(shù)據(jù)質(zhì)控?cái)?shù)據(jù)采集應(yīng)當(dāng)明確采集設(shè)備、采集過(guò)程、數(shù)據(jù)脫敏等質(zhì)控要求，并建立數(shù)據(jù)采集操作規(guī)范。若使用歷史數(shù)據(jù)，應(yīng)當(dāng)結(jié)合樣本規(guī)模、采集難度等影響因素合理選擇數(shù)據(jù)采集方式，明確數(shù)據(jù)篩選標(biāo)準(zhǔn)并對(duì)采集的數(shù)據(jù)進(jìn)行質(zhì)量評(píng)估。6.2.1.3數(shù)據(jù)脫敏采集的數(shù)據(jù)應(yīng)進(jìn)行數(shù)據(jù)脫敏以保護(hù)患者隱私，數(shù)據(jù)脫敏需明確脫敏的類型（靜態(tài)、動(dòng)態(tài)）、規(guī)則、方法以及脫敏內(nèi)容的確定依據(jù)。如使用歷史數(shù)據(jù)，企業(yè)接收的數(shù)據(jù)應(yīng)為脫敏后的數(shù)據(jù)，不應(yīng)有敏感數(shù)據(jù)流入企業(yè)。6.2.2評(píng)價(jià)數(shù)據(jù)整理應(yīng)基于原始數(shù)據(jù)庫(kù)明確數(shù)據(jù)清洗、數(shù)據(jù)預(yù)處理的質(zhì)控要求。數(shù)據(jù)清洗應(yīng)當(dāng)明確清洗的規(guī)則、方法、結(jié)果，數(shù)據(jù)預(yù)處理應(yīng)當(dāng)明確處理的方法（如濾波、增強(qiáng)、重采樣、尺寸裁剪、均一化等）、結(jié)果。數(shù)據(jù)經(jīng)整理后形成基礎(chǔ)數(shù)據(jù)庫(kù)，需明確樣本類型、樣本量、樣本分布等信息。6.2.3評(píng)價(jià)數(shù)據(jù)標(biāo)注6.2.3.1操作規(guī)范數(shù)據(jù)標(biāo)注應(yīng)當(dāng)明確標(biāo)注資源管理、標(biāo)注過(guò)程質(zhì)控、標(biāo)注質(zhì)量評(píng)估等要求，并建立數(shù)據(jù)標(biāo)注操作規(guī)范。6.2.3.2標(biāo)注內(nèi)容標(biāo)注過(guò)程質(zhì)控包括人員職責(zé)（如人員資質(zhì)、人員數(shù)量、職責(zé)分工）、標(biāo)注規(guī)則（如臨床指南、專家共識(shí)、專家評(píng)議、文獻(xiàn)分析）、標(biāo)注流程（如標(biāo)注對(duì)象、標(biāo)注形式、標(biāo)注輪次、標(biāo)注步驟、結(jié)果審核）、分歧處理（如仲裁人員、仲裁方式）、可追溯性（如數(shù)據(jù)、操作）等要求。6.2.3.3標(biāo)注數(shù)據(jù)庫(kù)類型5DB32/TXXXX—XXXX數(shù)據(jù)經(jīng)標(biāo)注后形成標(biāo)注數(shù)據(jù)庫(kù)，樣本類型可分為數(shù)據(jù)塊（如圖像區(qū)域、數(shù)據(jù)片段）、單一數(shù)據(jù)（由多個(gè)數(shù)據(jù)塊組成）、數(shù)據(jù)序列（由多個(gè)單一數(shù)據(jù)組成）。6.2.3.4標(biāo)注數(shù)據(jù)庫(kù)要求標(biāo)注數(shù)據(jù)庫(kù)的樣本量、樣本分布等要求及風(fēng)險(xiǎn)考量與基礎(chǔ)數(shù)據(jù)庫(kù)相同。6.2.4評(píng)價(jià)數(shù)據(jù)集構(gòu)建6.2.4.1評(píng)價(jià)數(shù)據(jù)集要求基于標(biāo)注數(shù)據(jù)庫(kù)構(gòu)建訓(xùn)練集、調(diào)優(yōu)集（若有）、測(cè)試集，應(yīng)當(dāng)明確訓(xùn)練集、調(diào)優(yōu)集、測(cè)試集的劃分方法、劃分依據(jù)、數(shù)據(jù)分配比例。訓(xùn)練集應(yīng)保證樣本分布具有均衡性，測(cè)試集、調(diào)優(yōu)集應(yīng)保證樣本分布符合真實(shí)情況，訓(xùn)練集、調(diào)優(yōu)集、測(cè)試集的樣本應(yīng)兩兩無(wú)交集并通過(guò)查重予以驗(yàn)證。6.2.4.2數(shù)據(jù)擴(kuò)增要求數(shù)據(jù)擴(kuò)增（若有）應(yīng)當(dāng)明確擴(kuò)增的對(duì)象、范圍、方式（離線、在線）、方法（如翻轉(zhuǎn)、旋轉(zhuǎn)、鏡像、平移、縮放、濾波、生成對(duì)抗網(wǎng)絡(luò)等）、倍數(shù)，在線擴(kuò)增亦需予以記錄，擴(kuò)增需考慮數(shù)據(jù)偏倚的影響及風(fēng)險(xiǎn)。不應(yīng)對(duì)測(cè)試集進(jìn)行數(shù)據(jù)擴(kuò)增，對(duì)抗測(cè)試除外。6.2.4.3擴(kuò)增數(shù)據(jù)庫(kù)數(shù)據(jù)經(jīng)擴(kuò)增后應(yīng)當(dāng)形成擴(kuò)增數(shù)據(jù)庫(kù)，需列表對(duì)比擴(kuò)增數(shù)據(jù)庫(kù)與標(biāo)注數(shù)據(jù)庫(kù)在樣本量、樣本分布（注明擴(kuò)增倍數(shù)）等差異，以證實(shí)擴(kuò)增數(shù)據(jù)庫(kù)樣本量的充分性以及樣本分布的合理性。6.3算法性能評(píng)價(jià)6.3.1綜合評(píng)估內(nèi)容應(yīng)當(dāng)基于測(cè)試集對(duì)算法設(shè)計(jì)結(jié)果進(jìn)行評(píng)估，綜合評(píng)估內(nèi)容應(yīng)包括：靈敏度、精確度、特異度、召回率、準(zhǔn)確率、F1度量、約登指數(shù)、假陰性（率）與假陽(yáng)性(率)、重復(fù)性與再現(xiàn)性、魯棒性、Dice系數(shù)、Kappa系數(shù)、受試者操作特征曲線積及曲線下面積等適用性指標(biāo)，兼顧不同性能指標(biāo)的制約關(guān)系，以證實(shí)算法性能滿足算法設(shè)計(jì)目標(biāo)，并作為軟件驗(yàn)證、軟件確認(rèn)的基礎(chǔ)。若使用第三方數(shù)據(jù)庫(kù)開展算法性能評(píng)估，應(yīng)當(dāng)提供第三方數(shù)據(jù)庫(kù)的基本信息（如名稱、創(chuàng)建者、數(shù)據(jù)總量等）和使用情況（如測(cè)試數(shù)據(jù)樣本量、評(píng)估指標(biāo)、評(píng)估結(jié)果等）。6.3.2限制情況與警示信息如遇黑盒算法應(yīng)開展算法性能影響因素分析，并提供算法性能影響因素分析報(bào)告，明確影響算法性能的主要因素及其影響程度，以及產(chǎn)品使用限制和必要警示提示信息。6.4驗(yàn)證與確認(rèn)6.4.1軟件驗(yàn)證軟件驗(yàn)證應(yīng)當(dāng)基于軟件需求予以開展，保證軟件的安全有效性，并作為軟件確認(rèn)的基礎(chǔ)。6.4.2軟件確認(rèn)軟件確認(rèn)測(cè)試應(yīng)當(dāng)基于用戶需求，由預(yù)期用戶在真實(shí)或模擬使用場(chǎng)景下予以開展，涵蓋現(xiàn)成軟件、網(wǎng)絡(luò)安全的測(cè)試要求，確定缺陷管理、風(fēng)險(xiǎn)管理、可追溯性分析、評(píng)審等活動(dòng)要求，形成用戶測(cè)試記錄、6DB32/TXXXX—XXXX測(cè)試報(bào)告以及評(píng)審記錄并經(jīng)批準(zhǔn)，適時(shí)更新并經(jīng)批準(zhǔn)?？勺匪菪苑治龃藭r(shí)應(yīng)當(dāng)分析用戶測(cè)試與用戶需求、用戶測(cè)試與風(fēng)險(xiǎn)管理的關(guān)系。6.5評(píng)價(jià)部署運(yùn)行測(cè)試應(yīng)在相關(guān)文件列明算法（及更新）關(guān)鍵模塊的功能、接口、版本、存儲(chǔ)形式（如pt、pth、binpb、keras、ckpt、pkl等）；主要功能組件模塊及相互依賴和接口關(guān)系；軟件的前后端部署方式；對(duì)基礎(chǔ)軟件和硬件的依賴和兼容性要求等。6.6更新控制評(píng)價(jià)應(yīng)考慮產(chǎn)品在算法更新、軟件更新時(shí)是否引入回滾機(jī)制，以保證醫(yī)療業(yè)務(wù)的連續(xù)性，特別是對(duì)風(fēng)險(xiǎn)較高的軟件。6.7網(wǎng)絡(luò)與數(shù)據(jù)安全6.7.1網(wǎng)絡(luò)與數(shù)據(jù)安全評(píng)估應(yīng)考慮其全生命周期過(guò)程中應(yīng)當(dāng)考慮網(wǎng)絡(luò)安全與數(shù)據(jù)安全問(wèn)題，對(duì)網(wǎng)絡(luò)與數(shù)據(jù)安全過(guò)程的控制需進(jìn)行全面評(píng)估。包括數(shù)據(jù)轉(zhuǎn)移、數(shù)據(jù)集構(gòu)建、算法訓(xùn)練、數(shù)據(jù)集標(biāo)注、軟件確認(rèn)等活動(dòng)開展過(guò)程中的數(shù)據(jù)污染防護(hù)集數(shù)據(jù)接口。6.7.2算法風(fēng)險(xiǎn)管理評(píng)估應(yīng)明確算法的軟件安全性級(jí)別（輕、中、重）并詳述判定理由。應(yīng)形成算法風(fēng)險(xiǎn)管理評(píng)估資料，明確過(guò)擬合與欠擬合、陽(yáng)性、數(shù)據(jù)污染與數(shù)據(jù)偏移、中外差異等風(fēng)險(xiǎn)的控制措施。6.8可追溯性分析應(yīng)當(dāng)建立控制程序，涵蓋軟件、現(xiàn)成軟件、算法及數(shù)據(jù)、網(wǎng)絡(luò)安全的控制要求，形成軟件及算法的可追溯性分析報(bào)告。使用可追溯保證軟件開發(fā)、軟件更新過(guò)程滿足可追溯性要求，并貫穿于軟件生存周期全過(guò)程。提供算法可追溯性分析報(bào)告等相關(guān)文件及記錄，即追溯算法需求、算法實(shí)現(xiàn)、算法驗(yàn)證與確認(rèn)、風(fēng)險(xiǎn)管理、數(shù)據(jù)集的管理。若無(wú)單獨(dú)文檔可提供軟件可追溯性分析報(bào)告，并注明算法可追溯性分析所在位置。6.9不良事件評(píng)估6.9.1控制風(fēng)險(xiǎn)對(duì)于上市后具有持續(xù)開展算法泛化能力的產(chǎn)品，評(píng)價(jià)應(yīng)當(dāng)結(jié)合用戶投訴、不良事件和召回等情況識(shí)別前期未預(yù)見(jiàn)的風(fēng)險(xiǎn)，并采取有效的風(fēng)險(xiǎn)控制措施將風(fēng)險(xiǎn)降至可接受水平。6.9.2更新算法根據(jù)產(chǎn)品更新需求，經(jīng)評(píng)估后實(shí)施更新活動(dòng)，開展與之相適宜的驗(yàn)證與確認(rèn)活動(dòng)，保證算法泛化能力持續(xù)滿足用戶需求。7評(píng)價(jià)檔案管理7.1檔案的創(chuàng)