人工智能醫(yī)療器械生產(chǎn)質量管理規(guī)范檢查指南

附件1設計開發(fā)檢查要點舉例說明1.算法策劃算法開發(fā)策劃階段，應對算法需求、數(shù)據(jù)收集、算法設計、驗證與確認、算法更新、風險管理、可追溯性分析等過程進行算法生命周期策劃，輸出《算法開發(fā)計劃書》。2.算法需求算法需求分析以用戶需求與風險為導向，結合產(chǎn)品的預期用途、使用場景、核心功能，綜合分析法律、法規(guī)、規(guī)章、標準、用戶、產(chǎn)品、功能、性能、接口、用戶界面、網(wǎng)絡安全、警示提示等需求，重點考慮數(shù)據(jù)收集、算法性能、使用限制等要求。輸出《算法需求規(guī)范》。3.數(shù)據(jù)收集3.1數(shù)據(jù)入選、排除標準在《算法需求規(guī)范》中明確算法數(shù)據(jù)入選、排除標準。3.2數(shù)據(jù)來源及質控數(shù)據(jù)收集應確保數(shù)據(jù)來源的合規(guī)性，數(shù)據(jù)質控的充分性、有效性、準確性。3.3數(shù)據(jù)采集數(shù)據(jù)采集需考慮采集設備、采集過程、數(shù)據(jù)脫敏等質控要求，并建立《數(shù)據(jù)采集操作規(guī)范》。3.4數(shù)據(jù)整理脫敏數(shù)據(jù)匯總形成原始數(shù)據(jù)庫，不同模態(tài)的數(shù)據(jù)在原始數(shù)據(jù)庫中需加以區(qū)分。數(shù)據(jù)整理基于原始數(shù)據(jù)庫考慮數(shù)據(jù)清洗、數(shù)據(jù)預處理的質控要求。輸出《數(shù)據(jù)整理規(guī)范》，同時《數(shù)據(jù)整理規(guī)范》中需明確樣本類型、樣本量、樣品分布等信息，數(shù)據(jù)經(jīng)整理后形成基礎數(shù)據(jù)庫。3.5數(shù)據(jù)標注3.5.1數(shù)據(jù)標注前應建立《數(shù)據(jù)標注操作規(guī)范》，明確標注資源管理、標注過程質控、標注質量評估等要求。數(shù)據(jù)經(jīng)標注后形成標注數(shù)據(jù)庫。3.5.2數(shù)據(jù)標注可使用自動標注軟件，但自動標注結果不得直接使用，應由標注人員審核后方可使用；同時，自動標注軟件亦需明確名稱、型號規(guī)格、完整版本、制造商、運行環(huán)境等信息，并進行軟件確認。3.6數(shù)據(jù)集構建3.6.1基于標注數(shù)據(jù)庫構建訓練集、調優(yōu)集、測試集，明確訓練集、調優(yōu)集、測試集的劃分方法、劃分依據(jù)、數(shù)據(jù)分配比例，輸出《數(shù)據(jù)集構建標準》。3.6.2訓練集應當保證樣本分布具有均衡性，測試集、調優(yōu)集應當保證樣本分布符合臨床實際情況，訓練集、調優(yōu)集、測試集的樣本應當兩兩無交集并通過查重予以驗證。3.6.3為解決樣本分布不滿足預期的問題，可對訓練集、調優(yōu)集小樣本量數(shù)據(jù)進行擴增，原則上不得對測試集進行數(shù)據(jù)擴增，對抗測試除外。數(shù)據(jù)擴增需明確擴增的對象、方式（離線、在線）、方法（如翻轉、旋轉、鏡像、平移、縮放、濾波、生成對抗網(wǎng)絡等）、倍數(shù)，擴增倍數(shù)過大應考慮數(shù)據(jù)偏倚的影響及風險。若采用生成對抗網(wǎng)絡進行數(shù)據(jù)擴增，需明確算法基本信息以及算法選用依據(jù)。3.6.4數(shù)據(jù)經(jīng)擴增后形成擴增數(shù)據(jù)庫，需列表對比擴增數(shù)據(jù)庫與標注數(shù)據(jù)庫在樣本量、樣本分布（注明擴增倍數(shù)）等差異，以證實擴增數(shù)據(jù)庫樣本量的充分性以及樣本分布的合理性。3.7數(shù)據(jù)庫管理3.7.1數(shù)據(jù)庫管理應遵循真實性、完整性、可用性、合規(guī)性、可追溯性、臨床代表性、時效性、安全性、準確性9大原則。3.7.2應定期對邏輯數(shù)據(jù)庫的數(shù)據(jù)以及文件數(shù)據(jù)進行備份，備份文件保存在不同機架的機器磁盤上以提高備份的安全性。3.7.3在整個數(shù)據(jù)轉移過程中，應當明確數(shù)據(jù)轉移方法、數(shù)據(jù)防污染措施以及數(shù)據(jù)銷毀方式。4.算法設計人工智能算法設計主要考慮算法選擇、算法目標設定分析、算法訓練、算法性能評估等要求，形成《算法設計說明書》。對于黑盒算法，算法設計應開展算法性能影響因素分析，同時與現(xiàn)有醫(yī)學知識建立關聯(lián)，以提升算法可解釋性。5.驗證與確認算法訓練過程中，需要明確算法訓練環(huán)境，應當對算法進行性能評估，以確保選擇的算法準確、有效。算法驗證階段，明確算法性能評估環(huán)境，應完成算法性能指標評估、壓力測試、對抗測試，黑盒需要算法性能影響因素分析，輸出《算法性能評估報告》。同時，開展算法性能比較分析，詳述各類測試場景（含臨床評價）算法性能變異度較大的原因，基于分析結果明確產(chǎn)品使用限制和必要警示提示信息，輸出《算法性能比較分析報告》。最后，結合算法訓練、算法性能評估、臨床評價等結果開展算法性能綜合評價，針對訓練樣本量和測試樣本量過少、測試結果明顯低于算法設計目標、算法性能變異度過大等情況，對產(chǎn)品的適用范圍、使用場景、核心功能進行必要限制。輸出《算法性能綜合評價報告》。6.算法風險管理人工智能醫(yī)療器械的軟件安全性級別可基于產(chǎn)品的預期用途、使用場景、核心功能進行綜合判定，并開展風險管理活動，采取有效的風險控制措施將風險降至可接受水平，并貫穿于人工智能醫(yī)療器械全生命周期過程。人工智能醫(yī)療器械的主要風險從算法角度包括過擬合和欠擬合。從用途角度，輔助決策主要包括假陰性和假陽性，其中假陰性即漏診，可能導致后續(xù)診療活動延誤，特別是要考慮快速進展疾病的診療活動延誤風險，而假陽性即誤診，可能導致后續(xù)不必要的診療活動；非輔助決策從算法設計目標能否得以實現(xiàn)角度，亦可參考輔助決策分為假陰性和假陽性。應輸出《風險管理報告》，明確過擬合與欠擬合、假陰性與假陽性、數(shù)據(jù)擴增與數(shù)據(jù)偏倚等風險的控制措施。7.算法可追溯性分析醫(yī)療器械全生命周期管理中，應實現(xiàn)算法的可追溯性，并形成算法可追溯性分析報告等相關文件及記錄，即追溯算法需求、算法設計、算法實現(xiàn)、算法驗證與確認、風險管理、數(shù)據(jù)集的管理。在數(shù)據(jù)收集過程中，數(shù)據(jù)采集、數(shù)據(jù)整理、數(shù)據(jù)標注、數(shù)據(jù)集構建過程中形成《數(shù)據(jù)脫敏交接記錄》《數(shù)據(jù)清洗記錄》《數(shù)據(jù)標注記錄》《數(shù)據(jù)審核記錄》《數(shù)據(jù)仲裁記錄》《數(shù)據(jù)集構建記錄》，以上記錄均由操作人員簽字確認。數(shù)據(jù)集管理過程中，每一例數(shù)據(jù)都可追溯到唯一識別號、脫敏人員、清洗人員、標注人員、審核人員、仲裁人員、入庫人員，保證了數(shù)據(jù)收集各環(huán)節(jié)的數(shù)據(jù)和操作人員的可追溯。8.算法更新控制人工智能醫(yī)療器械若發(fā)生算法更新、軟件更新，均應當按照質量管理體系的要求，開展與算法更新、軟件更新的類型、內容和程度相適宜的驗證與確認活動，將風險管理、可追溯分析貫穿于更新全程，形成記錄以供體系核查。對于算法更新，無論算法驅動型更新還是數(shù)據(jù)驅動型更新，均應開展算法性能評估、臨床評價等驗證與確認活動，以保證算法更新的安全有效性。對于軟件更新，具體要求詳見醫(yī)療器械軟件指導原則、醫(yī)療器械獨立軟件生產(chǎn)質量現(xiàn)場檢查指導原則。人工智能醫(yī)療器械所含的每個人工智能算法，均應獨立開展需求分析、數(shù)據(jù)收集、算法設計、驗證與確認、更新控制等活動，同時考慮人工智能算法組合的整體評價要求，以保證產(chǎn)品的安全有效性。

附件2人工智能醫(yī)療器械常用術語人工智能artificialintelligence（AI）：表現(xiàn)出與人類智能（如推理和學習）相關的各種功能的功能單元的能力。人工智能醫(yī)療器械artificialintelligencemedicaldevice（AIMD）：采用AI技術實現(xiàn)其預期用途的醫(yī)療器械。注1：如采用機器學習、模式識別、規(guī)則推理等技術實現(xiàn)其醫(yī)療用途的獨立軟件。注2：如采用內嵌AI算法、AI芯片實現(xiàn)其醫(yī)療用途的醫(yī)療器械。機器學習machinelearning：功能單元通過獲取新知識或技能，或通過整理已有的知識或技能來改進其性能的過程。注：也可稱為自動學習。深度學習deeplearning：通過訓練具有多個隱層的神經(jīng)網(wǎng)絡來獲得輸入輸出間映射關系的機器學習方法。訓練training：基于機器學習算法，利用訓練數(shù)據(jù)，建立或改進機器學習模型參數(shù)的過程。監(jiān)督學習supervisedlearning：一種學習策略，獲得的知識的正確性通過來自外部知識源的反饋加以測試的學習策略。注：也可稱為監(jiān)督式學習。無監(jiān)督學習unsupervisedlearning：一種學習策略，它在于觀察并分析不同的實體以及確定某些子集能分組到一定的類別里，而無需在獲得的知識上通過來自外部知識源的反饋，以實現(xiàn)任何正確性測試。注1：一旦形成概念，就對它給出名稱，該名稱就可以用于其他概念的后續(xù)學習了；注2：也可稱為無師（式）學習。強化學習reinforcementlearning：一種學習策略，它強調從環(huán)境狀態(tài)到動作映射的過程，目標是使動作從環(huán)境中獲得的累積獎賞值最大。集成學習ensemblelearning：通過結合多個學習器來解決問題的一種機器學習范式。注：其常見形式是利用一個基學習算法從訓練集產(chǎn)生多個基學習器，然后通過投票等機制將基學習器進行結合。遷移學習transferlearning利用一個學習領域A上有關學習問題T(A)的知識，改進學習領域B上相關學習問題T(B)的學習算法的性能。過擬合overfitting：學習器對訓練樣本過度學習，導致訓練樣本中不具有普遍性的模式被學習器當作一般規(guī)律，降低了泛化性能；典型表現(xiàn)是訓練集上的性能越高，測試集上的性能越低。欠擬合underfitting：學習器對訓練樣本學習不充分，導致訓練樣本中包含的重要模式?jīng)]有被學習器獲取，降低了泛化性能；典型表現(xiàn)是訓練集上的性能可以繼續(xù)提高，測試集上的性能同時得以提高。人工智能醫(yī)療器械生存周期模型AIMDlifecyclemodel：人工智能醫(yī)療器械從起始到退役的整個演進過程的框架。注1：包括：需求分析，設計與開發(fā)，驗證與確認，部署，運維與監(jiān)控，再評價直至停運。注2：在人工智能醫(yī)療器械生存周期中，某些活動可出現(xiàn)在不同的過程中，個別過程可重復出現(xiàn)。例如為了修復系統(tǒng)的隱錯和更新系統(tǒng)，需要反復實施開發(fā)過程和部署過程。數(shù)據(jù)data：信息的可再解釋的形式化表示，以適用于通信、解釋或處理。注：可以通過人工或自動手段處理數(shù)據(jù)。個人敏感數(shù)據(jù)personalsensitivedata： 一旦泄露、非法提供或濫用可能危害人身和財產(chǎn)安全，極易導致個人名譽、身心健康受到損害或歧視性待遇等的個人信息。注：個人敏感信息包括身份證件號碼、個人生物識別信息、銀行賬號、通信記錄和內容、財產(chǎn)信息、征信信息、行蹤軌跡、住宿信息、健康生理信息、交易信息、14歲以下（含）兒童的個人信息等。健康數(shù)據(jù)healthdata：與身體或心理健康相關的個人敏感數(shù)據(jù)。注：由于目前全球規(guī)定了不同的隱私合規(guī)性法律和法規(guī)。例如，在歐洲，可能需要采取的要求和參考變更為“個人數(shù)據(jù)”和“敏感數(shù)據(jù)”，在美國，健康數(shù)據(jù)可能會變更為“受保護的健康信息（PHI）”，這需要不同國家或地區(qū)的制造商進一步考慮中國當?shù)氐姆苫蚍ㄒ?guī)。數(shù)據(jù)集dataset：具有一定主題，可以標識并可以被計算機化處理的數(shù)據(jù)集合。訓練集trainingset：用于訓練人工智能算法的數(shù)據(jù)集，其外部知識源可用于算法參數(shù)的計算。調優(yōu)集tuningset：用于優(yōu)化人工智能算法的數(shù)據(jù)集，其外部知識源可用于算法超參數(shù)的選擇。注：為避免與醫(yī)療器械領域所用術語“確認”進行區(qū)分，這里不使用通用人工智能領域的validationset，二者含義一致。測試集testingset：用于測試人工智能算法性能的數(shù)據(jù)集，其外部知識源可用于對算法的評估。參考標準referencestandard：篩查、診斷和治療過程或基于標注過程建立的基準。注：參考標準可包含疾病、生理狀態(tài)或生理異常以及位置和程度等信息標簽。金標準goldstandard：篩查、診斷和治療可依據(jù)的最佳參考標準。數(shù)據(jù)清洗datacleaning：檢測和修正數(shù)據(jù)集合中錯誤數(shù)據(jù)項的預處理過程。數(shù)據(jù)采集dataacquisition：數(shù)據(jù)由生成裝置按照數(shù)據(jù)采集規(guī)范生成，以數(shù)字化格式存儲并傳輸?shù)侥繕讼到y(tǒng)的過程。數(shù)據(jù)脫敏datamasking：通過去標識化或匿名化，實現(xiàn)對個人敏感信息的可靠保護。數(shù)據(jù)標注dataannotation：對數(shù)據(jù)進行分析，添加外部知識的過程。仲裁arbitration：多名標注人員對同一原始數(shù)據(jù)的標注結果不一致時用于決定最終結果的過程。軟件質量softwarequality：在規(guī)定條件下使用時，軟件產(chǎn)品滿足明確或隱含要求的能力。軟件質量保證softwarequalityassurance：a)為使某項目或產(chǎn)品遵循已建立的技術需求提供足夠的置信度，而必須采取的有計劃的和有系統(tǒng)的全部動作的模式。b)設計以估算產(chǎn)品開發(fā)或制造過程的一組活動。可靠性reliability：在規(guī)定時間間隔內和規(guī)定條件下，系統(tǒng)或部件執(zhí)行所要求功能的能力。完整性integrity：保護數(shù)據(jù)準確性和完備性的性質。一致性consistency：在數(shù)據(jù)集的各階段、部分之間，一致、標準化、無矛盾的程度。重復性repeatability： 由同一操作員按相同的方法、使用相同的測試或測量設施、在短時間間隔內對同一測試/測量對象進行測試/測量，所獲得的獨立測試/測量結果間的一致程度。再現(xiàn)性reproducibility：由不同的操作員按相同的方法，使用不同的測試或測量設施，對同一測試/測量對象進行觀測以獲得獨立測試/測量結果，所獲得的獨立測試/測量結果間的一致程度?？蛇_性accessibility：組成軟件的各部分便于選擇使用或維護的程度?？傻眯詀vailability：a）軟件（系統(tǒng)或部件）在投入使用時可操作或可訪問的程度或能實現(xiàn)其制定系統(tǒng)功能的概率；b）系統(tǒng)正常工作時間和總的運行時間之比；c）在運行時，某一配置項實現(xiàn)指定功能的能力。保密性confidentiality：數(shù)據(jù)對未授權的個人、實體或過程不可用或不泄露的特性。網(wǎng)絡安全cybersecurity：通過采取必要措施，防范對數(shù)據(jù)、模型等攻擊、侵入、干擾、破壞和非法使用以及意外事故，使設備處于穩(wěn)定可靠運行的狀態(tài)，以及保障數(shù)據(jù)、模型等的完整性、保密性、可得性的能力。安全性safety：免除于不可接受的風險。魯棒性/穩(wěn)健性：在存在無效輸入或急迫的環(huán)境條件下，系統(tǒng)或部件其功能正確的程度。泛化能力generalizability：機器學習算法對陌生樣本的適應能力。可追溯性traceability：系統(tǒng)對其決策過程及輸出進行記錄的特性。公平性fairness：系統(tǒng)做出不涉及喜好和偏袒決策的性質?？山忉屝詄xplainability：以人能理解的方式，對系統(tǒng)決策因素進行說明的能力。黑盒測試black-boxtesting：忽略系統(tǒng)或部件的內部機制只集中于響應所選擇的輸入和執(zhí)行條件產(chǎn)生的輸出的一種測試。白盒測試glass-boxtesting：側重于系統(tǒng)或部件內部機制的測試。類型包括分支測試、路徑測試、語句測試等。對抗[措施]countermeasure：為減小脆弱性而采用的行動、裝置、過程、技術或其他措施。對抗樣本adversarialsample：基于原始數(shù)據(jù)上添加擾動達到混淆系統(tǒng)判別目的新樣本。對抗測試adversarialtest：使用對抗性樣本開展的測試，或采用不同目標樣本分布的特選數(shù)據(jù)作為壓力數(shù)據(jù)集進行的測試。陽性樣本positivesample：由參考標準確定為帶有某一種或幾種特定特征的樣本。陰性樣本negativesample：除陽性樣本以外的樣本。真陽性truepositive(TP)：被算法判為陽性的陽性樣本。假陽性falsepositive(FP)：被算法判為陽性的陰性樣本。真陰性truenegative(TN)：被算法判為陰性的陰性樣本。假陰性falsenegative(FN)：被算法判為陰性的陽性樣本。目標區(qū)域targetregion：在影像評價中，根據(jù)參考標準從原始數(shù)據(jù)中劃分出的若干個包含特定類別目標的最小數(shù)據(jù)子集（子集元素為像素，體素等）。分割區(qū)域segmentationregion：在影像評價中，從原始數(shù)據(jù)中劃分出的若干個包含特定類別目標的最小數(shù)據(jù)子集（子集元素為像素，體素等）。病變定位lesionlocalization：算法檢出病變位置正確標識出參考標準確定的病變位置。非病變定位non-lesionlocalization：算法檢出病變位置未能正確標識出參考標準確定的病變所在位置。病變定位率lesionlocalizationrate：病變定位數(shù)量占由參考標準確定的全體病變數(shù)量的比例。非病變定位率non-lesionlocalizationrate：非病變定位數(shù)量占全體病例數(shù)量的比例，非病變定位率可以大于1。假陽性率falsepositiverate：假陽性病例數(shù)量（陰性病例中包含非病變定位）占全部陰性病例數(shù)量的比例。靈敏度sensitivity召回率（查全率）recall:真陽性樣本占全體陽性樣本的比例。特異度specificity:真陰性樣本占全體陰性樣本的比例。漏檢率missrate:1減去靈敏度。精確度（查準率）precision陽性預測值positivepredictionvalue：真陽性樣本占被算法判為陽性樣本的比例。陰性預測值negativepredictionvalue：真陰性樣本占被算法判為陰性樣本的比例。準確率accuracy：算法判斷正確的樣本占全體樣本的比例。F1度量F1-measure：召回率和精確度的調和平均數(shù)。約登指數(shù)Youdenindex：靈敏度與特異度之和減去1。受試者操作特征曲線receiveroperatingcharacteristicscurve（ROCcurve）：以假陽性率為橫坐標、真陽性率為縱坐標，根據(jù)算法在不同閾值設定下對于給定的測試集得到的一系列結果繪制的曲線。曲線下面積areaundercurve(AUC):曲線下與坐標軸圍成的積分面積。自由響應受試者操作特征曲線free-responsereceiveroperatingcharacteristicscurve(fROC)：以非病變定位率為橫坐標、病變定位率為縱坐標，根據(jù)算法在不同閾值設定下對于給定的測試集得到的一系列結果繪制的曲線。候選自由受試者操作特征曲線alternativefreereceiveroperatingcharacteristicscurve(AFROCcurve)：以假陽性率為橫坐標、病變定位率為縱坐標，根據(jù)算法在不同閾值設定下對于給定的測試集得到的一系列結果繪制的曲線。精確度-召回率曲線precision-recallcurve(P-R)：以召回率為橫坐標、精確度為縱坐標，根據(jù)算法在不同閾值設定下對于給定的測試集得到的一系列結果繪制的曲線。平均精確度averageprecision(AP)：精確度-召回率曲線下與坐標軸圍成的積分面積。平均精確度均值meanaverageprecision(MAP)：在多目標檢測問題上，算法對于各類目標的平均精確度的平均值。交并比intersectionoverunion(IoU)：分割區(qū)域與目標區(qū)域的交集占分割區(qū)域與目標區(qū)域并集的比例注：也可稱為Jaccard系數(shù)。Dice系數(shù)Dicecoefficient：分割區(qū)域與目標區(qū)域的交集占分割區(qū)域與目標區(qū)域平均值的比例。中心點距離centraldistance：分割區(qū)域中心與目標區(qū)域中心的距離，該指標反映兩個集合的接近程度。混淆矩陣confusionmatrix：一種矩陣，它按一組規(guī)則記錄試探性實例的正確分類和不正確分類的個數(shù)。注1：通常矩陣的列代表人工智能的分類結果，而矩陣的行代表參考標準的分類結果；注2：也可稱為含混矩陣。Kappa系數(shù)Kappacoefficient：一種用于評價結果一致性的指標。信噪比signal-to-noiseratio(SNR)：信號平均功率水平與噪聲平均功率水平的比值。峰值信噪比peaksignal-to-noiseratio：:信號最大可能功率與噪聲平均功率水平的比值。結構相似性structuralsimilarity：是一種衡量兩幅圖像相似度的指標。余弦相似度cosinesimilarity：通過測量兩個向量的夾角的余弦值來度量它們之間的相似性。困惑度perpl