消化內(nèi)鏡腸息肉輔助檢測軟件臨床評價思路探討

9/9消化內(nèi)鏡腸息肉輔助檢測軟件臨床評價思路探討內(nèi)容提要：通過研究美國食品藥品監(jiān)督管理局和我國已批準(zhǔn)的內(nèi)鏡腸息肉輔助檢測軟件的上市前臨床評價資料，并結(jié)合該類產(chǎn)品臨床應(yīng)用特點，探討消化內(nèi)鏡領(lǐng)域人工智能醫(yī)療器械的臨床評價思路。近年來，消化內(nèi)鏡領(lǐng)域的人工智能醫(yī)療器械發(fā)展迅速，本研究通過研究美國食品藥品監(jiān)督管理局（FoodandDrugAdministration，F(xiàn)DA）和我國已批準(zhǔn)的內(nèi)鏡腸息肉輔助檢測軟件的上市前臨床評價資料，并結(jié)合該類產(chǎn)品臨床應(yīng)用特點，探討消化內(nèi)鏡領(lǐng)域人工智能醫(yī)療器械的臨床評價思路。根據(jù)美國國立衛(wèi)生研究院的數(shù)據(jù)，結(jié)直腸癌是美國癌癥死亡的第二大原因。結(jié)直腸癌通常始于直腸或結(jié)腸中的息肉或其他癌前病變，其轉(zhuǎn)歸、預(yù)后與病變分期密切相關(guān)，多數(shù)早期可治愈，5年生存率達91%，局部進展期為72%，而晚期不足15%。因此，發(fā)現(xiàn)并切除癌前病變是降低結(jié)直腸癌發(fā)病率和病死率的最有效方法。有研究顯示，腺瘤性息肉的檢出率每增加1%，間期結(jié)腸癌的風(fēng)險就會降低3%。但內(nèi)鏡醫(yī)生進行結(jié)腸鏡檢查時，由于腸道環(huán)境復(fù)雜、息肉形態(tài)難以識別以及腸道準(zhǔn)備差等原因，有多達27%的息肉漏診。在美國和日本開展的兩項串聯(lián)對照臨床試驗中，作為對照組的常規(guī)結(jié)腸鏡檢查有30%~41%的腺瘤被漏診。多項臨床試驗和觀察證明，人工智能輔助的結(jié)腸鏡檢查能夠明顯提高內(nèi)鏡醫(yī)師的腺瘤檢出率及平均腺瘤檢出數(shù)，并降低腺瘤和無蒂鋸齒狀病變漏診率。1.深度學(xué)習(xí)輔助決策醫(yī)療器械監(jiān)管概況美國FDA在1997年批準(zhǔn)第一款人工智能產(chǎn)品；2012年，美國FDA發(fā)布了計算機輔助類軟件的臨床評價指導(dǎo)原則，對深度學(xué)習(xí)技術(shù)的人工智能（ArtificialIntelligence，AI）輔助決策產(chǎn)品的臨床評價要求基本延續(xù)了傳統(tǒng)計算機輔助決策類產(chǎn)品的監(jiān)管思路。2017年7月27日，F(xiàn)DA的器械和放射健康中心（CenterforDevicesandRadiologicalHealth，CDRH）發(fā)布數(shù)字健康創(chuàng)新行動劃（DigitalHealthInnovationActionPlan），對醫(yī)療軟件提出監(jiān)管方法的新舉措，并在2017年批準(zhǔn)了第一個基于深度學(xué)習(xí)技術(shù)的人工智能輔助決策醫(yī)療器械軟件。人工智能醫(yī)療器械主要審批途徑為510（k）和DeNovo。我國在2019年發(fā)布了《深度學(xué)習(xí)輔助決策醫(yī)療器械軟件審評要點》，在2022年發(fā)布了《醫(yī)療器械軟件注冊審查指導(dǎo)原則（2022年修訂版）》和《人工智能醫(yī)療器械注冊審查指導(dǎo)原則》，對深度學(xué)習(xí)輔助決策類產(chǎn)品的審評提出了基本要求。臨床評價要求基于核心功能或核心算法，結(jié)合預(yù)期用途和成熟度予以綜合考慮；輔助決策類功能，如是全新的功能、算法和用途原則上均需開展臨床試驗。2.消化內(nèi)鏡腸息肉輔助檢測軟件上市臨床試驗情況消化內(nèi)鏡腸息肉輔助檢測軟件由軟件安裝光盤組成，臨床功能模塊包括：采集卡管理模塊，處理算法管理模塊，繪制檢測區(qū)域模塊。產(chǎn)品供醫(yī)療機構(gòu)的執(zhí)業(yè)內(nèi)窺鏡醫(yī)師用于成人結(jié)腸鏡檢查時，在內(nèi)窺鏡設(shè)備輸出的視頻圖像中檢測并在圖像中標(biāo)記出疑似息肉，為執(zhí)業(yè)內(nèi)窺鏡醫(yī)師的臨床診斷提供輔助參考，適用于結(jié)腸鏡的白色光源。2021年4月，F(xiàn)DA通過DeNovo批準(zhǔn)了首個內(nèi)鏡腸息肉輔助檢測軟件即GIGenius。臨床試驗在意大利3家研究機構(gòu)開展，臨床試驗設(shè)計為前瞻性、多中心、隨機、平行對照設(shè)計。試驗組為患者接受CADe輔助醫(yī)生結(jié)腸鏡檢查，對照組為常規(guī)結(jié)腸鏡檢查。提交FDA注冊申報的主要為基于263例患者的臨床試驗數(shù)據(jù)。主要評價指標(biāo)為腺瘤檢出率，次要評價指標(biāo)包括平均腺瘤數(shù)、平均息肉數(shù)、無蒂鋸齒狀病變檢出率，右半結(jié)腸腺瘤檢出率，回盲部到達率，退鏡時間等；安全性評價指標(biāo)為不良事件發(fā)生率和陽性預(yù)測一致度。2021年11月，成都微識的腸息肉輔助檢測軟件EndoScreener取得510k。臨床試驗在境外4家研究機構(gòu)開展，臨床試驗設(shè)計為前瞻性、多中心、隨機、平行、交叉對照設(shè)計。試驗組為患者先行“CADe+醫(yī)生”檢查再進行一次醫(yī)生獨立檢查，對照組為先進行醫(yī)生獨立檢查后再進行一次“CADe+醫(yī)生”檢查。計劃入組232例，實際完成患者223例。主要評價指標(biāo)為腺瘤漏診率，次要評價指標(biāo)包括息肉漏診率、無蒂鋸齒狀病變漏診率、腺瘤檢出數(shù)、息肉檢出數(shù)、腺瘤檢出率、息肉檢出率，安全性評價指標(biāo)為不良事件發(fā)生率和陽性預(yù)測一致度。2022年8月，波士頓IterativeScopes公司的腸息肉輔助檢測系統(tǒng)取得510k。臨床試驗在美國5所研究機構(gòu)和社區(qū)醫(yī)院開展，臨床試驗設(shè)計為前瞻性、多中心、隨機、平行對照設(shè)計，試驗組為患者接受CADe輔助醫(yī)生結(jié)腸鏡檢查，對照組為常規(guī)結(jié)腸鏡檢查。實際完成患者1359例。主要評價指標(biāo)為平均腺瘤數(shù)和陽性病例比例（等同于陽性預(yù)測一致度），次要評價指標(biāo)包括腺瘤檢出率，無蒂鋸齒狀病變檢出率，陽性患者平均腺瘤數(shù)，退鏡時間，息肉檢出率，平均息肉數(shù)。安全性評價指標(biāo)為不良事件發(fā)生率。三款產(chǎn)品均不對病變進行表征或分類，也不建議臨床醫(yī)生如何處理可疑息肉。由臨床醫(yī)生決定所識別的區(qū)域是否實際包含可疑病變，以及根據(jù)標(biāo)準(zhǔn)臨床實踐和指南應(yīng)該如何管理和處理病變。2022年7月成都微識通過境外臨床試驗路徑在我國境內(nèi)獲批上市。目前該類在審項目有4個，臨床設(shè)計類型包括平行對照設(shè)計和交叉對照設(shè)計。3.消化內(nèi)鏡腸息肉輔助檢測軟件臨床監(jiān)管分析目前，我國批準(zhǔn)上市較多的是靜態(tài)醫(yī)學(xué)圖像AI檢測識別的產(chǎn)品，靜態(tài)影像的成像和閱片是兩個獨立環(huán)節(jié)，AI產(chǎn)品只會影響后者，并不會干擾成像環(huán)節(jié)。然而，實時動態(tài)AI檢測軟件發(fā)揮作用必須在醫(yī)學(xué)檢查的過程中（如內(nèi)鏡，超聲等應(yīng)用），成像和閱片是實時發(fā)生在動態(tài)視頻流上，所以AI的輔助檢測提示功能本質(zhì)上影響了圖像的獲取過程。例如，在結(jié)腸鏡的操作中，AI產(chǎn)品的提示腸息肉的目的是引導(dǎo)醫(yī)生發(fā)現(xiàn)、進一步觀察并確認病灶，那么正確的提示將引導(dǎo)合理的鏡頭視野，從而實現(xiàn)更有效的病灶發(fā)現(xiàn)，反之，誤報可能對操作和圖像獲取產(chǎn)生負面影響，比如導(dǎo)致醫(yī)生的精力被分散到陰性區(qū)域，減少了可能存在的病灶被捕捉進入鏡頭的概率，也會發(fā)生過多的誤報導(dǎo)致醫(yī)生心煩意亂影響檢查效果。因此，實時動態(tài)醫(yī)療AI的臨床效果不能通過回顧性研究來評價，而需要通過前瞻性隨機對照試驗來評價使用AI之后是否優(yōu)于醫(yī)生單獨檢出。FDA關(guān)注的是消化內(nèi)鏡腸息肉輔助檢測軟件輔助檢查是否增加了癌前病變的檢出，是否減少了漏診，因此腺瘤漏診率和平均腺瘤數(shù)等成為臨床試驗的主要評價指標(biāo)。以下將詳細討論FDA目前認可的臨床試驗設(shè)計相關(guān)要素。3.1臨床試驗設(shè)計和比較類型FDA目前認可平行對照和交叉對照試驗兩種設(shè)計。對照試驗具有能夠最大程度地避免臨床試驗設(shè)計、實施中可能出現(xiàn)的各種偏倚，平衡混雜因素，提高統(tǒng)計學(xué)檢驗的有效性等諸多優(yōu)點。交叉對照設(shè)計可以最大程度地反映干預(yù)的檢測差異，采用交叉對照試驗，前后兩次結(jié)腸鏡檢查的內(nèi)鏡醫(yī)生需要是同一人，并且需要對第一次檢查發(fā)現(xiàn)的息肉進行切除或活檢，以防止對第二次檢查造成影響，盡可能減少偏倚。從臨床試驗結(jié)果上看，兩組四次檢查的對照可以互相檢驗，更容易暴露出操作者的主觀偏倚，所以交叉對照設(shè)計是FDA早期的要求。最早獲批的兩個申請人都進行了該設(shè)計，但是從后續(xù)進行的臨床試驗看，申請人更愿意選擇普通平行對照RCT。因為交叉對照試驗需要對患者進行兩次結(jié)腸鏡檢查，相當(dāng)于延長患者的麻醉時間，可能增大患者的并發(fā)癥的概率。另外，交叉對照試驗還存在由于第二次檢查的存在而導(dǎo)致的心理因素，醫(yī)生可能在第一次檢查時有所松懈。平行對照試驗在樣本量足夠大的情況下，可能更能反映產(chǎn)品臨床應(yīng)用的真實情況。但平行對照試驗更需要關(guān)注試驗組和對照組的基線，因為陽性率較高的患者，容易影響試驗結(jié)果。目前我國目前關(guān)于深度學(xué)習(xí)輔助決策類產(chǎn)品的臨床試驗設(shè)計，主要有單組目標(biāo)值法和隨機平行對照設(shè)計兩種。對患者是否患有目標(biāo)疾病，從而對患者的分診轉(zhuǎn)診提供輔助決策建議的產(chǎn)品，該類產(chǎn)品不給出具體病變情況，且無論輔助分診結(jié)果為陰性、陽性，均需專業(yè)醫(yī)師再一次對患者影像進行評閱，如糖尿病視網(wǎng)膜病變輔助分診、肺炎輔助分診、腦出血輔助分診等各類目標(biāo)疾病患者的計算機輔助分診、轉(zhuǎn)診產(chǎn)品等，可以考慮采用單組目標(biāo)值設(shè)計，主要評價指標(biāo)可考慮產(chǎn)品輔助分診結(jié)果的診斷準(zhǔn)確度指標(biāo)（如敏感度、特異度等，通常為患者水平）。對目標(biāo)疾病的病變病灶進行輔助檢測的產(chǎn)品，如肺結(jié)節(jié)輔助檢測產(chǎn)品、骨折CT影像輔助檢測產(chǎn)品等，臨床試驗建議采用對照設(shè)計，試驗組為醫(yī)師與申報產(chǎn)品共同檢測，對照組為傳統(tǒng)檢測診斷方法（如臨床醫(yī)師的閱片/綜合診斷）。主要評價指標(biāo)考慮診斷準(zhǔn)確度指標(biāo)（如敏感度、特異度、AFROC曲線、檢出率等，一般靈敏度考慮病灶病變水平，特異度考慮患者水平）。臨床試驗比較類型應(yīng)能夠體現(xiàn)產(chǎn)品受益風(fēng)險的可接受性，建議考慮優(yōu)效性設(shè)計，如針對4mm以上肺結(jié)節(jié)CT影像輔助檢測軟件可考慮患者水平的特異度優(yōu)效和病灶水平的敏感度非劣效。對于腸息肉輔助檢測軟件也是類似考慮。3.2評價指標(biāo)及醫(yī)生要求無論是交叉對照試驗還是普通平行對照試驗，目前FDA注冊相關(guān)的臨床試驗中的主要臨床終點和次要臨床終點的設(shè)置較為一致，如表1所示。作為主要臨床終點，F(xiàn)DA除了關(guān)注反映臨床效用的腺瘤漏診率或平均腺瘤數(shù)之外，還引入了陽性預(yù)測一致度作為重點關(guān)注的安全性指標(biāo)。也就是說FDA對本類產(chǎn)品的安全性考慮并不只局限在不良事件，而是設(shè)置了更精細的安全性標(biāo)準(zhǔn)，即不能因為AI產(chǎn)品的引入導(dǎo)致臨床上切除或活檢了過多的非癌前病變的組織，導(dǎo)致患者經(jīng)受額外無謂的醫(yī)療干預(yù)。關(guān)于次要評價指標(biāo)里，無蒂鋸齒狀病變在內(nèi)鏡下呈現(xiàn)扁平隱匿的特點，臨床上很不容易被發(fā)現(xiàn)和完全切除。有研究指出，1/3的間期結(jié)直腸癌源于無蒂鋸齒狀病變。因此，無蒂鋸齒狀病變檢出率也是很重要的指標(biāo)。客觀上，無蒂鋸齒狀病變的識別對內(nèi)鏡醫(yī)師和AI都是比較大的挑戰(zhàn)，所以作為次要指標(biāo)進行觀測，無法用其獨立評價AI的性能。當(dāng)前，臨床界對無蒂鋸齒狀病變的研究也是個重點議題。但腺瘤漏診率需要采用串聯(lián)試驗，增加了患者發(fā)生穿孔、麻醉并發(fā)癥的風(fēng)險。同時在我國醫(yī)療常規(guī)診療中，門診發(fā)現(xiàn)息肉不能進行大量切除，需患者住院治療。關(guān)于目前正在申報的臨床試驗設(shè)計主要采用隨機對照設(shè)計，試驗組為醫(yī)師與申報產(chǎn)品共同檢測，對照組為醫(yī)師，主要評價指標(biāo)考慮息肉檢出符合率，臨床試驗設(shè)計比較類型考慮優(yōu)效性設(shè)計，以高年資醫(yī)師為金標(biāo)準(zhǔn)。該臨床試驗設(shè)計需在充分考慮試驗組和對照組的腸道清潔波士頓評分、是否到達回盲部、退鏡時間等基線數(shù)據(jù)均衡的基礎(chǔ)上，是否也可以反映申報產(chǎn)品的安全有效性有待探討。對于臨床試驗的操作醫(yī)生，F(xiàn)DA建議參與研究的醫(yī)生應(yīng)當(dāng)具有代表性的經(jīng)驗水平（至少有1000例結(jié)腸鏡檢查經(jīng)驗），1000例結(jié)腸鏡檢查經(jīng)驗只是入門門檻，是內(nèi)鏡醫(yī)師在腸鏡檢查方面合格的通用標(biāo)準(zhǔn)。同時，F(xiàn)DA可能認為水平不足的醫(yī)生的提升空間更大，所以如果以較低水平的醫(yī)生作為標(biāo)準(zhǔn)來測量產(chǎn)品的臨床有效性，可能會導(dǎo)致臨床效用的高估。但是又無法科學(xué)地按照年資來進行醫(yī)生的篩選限制，因為高年資醫(yī)生不一定比低年資醫(yī)生更為優(yōu)秀。因此，F(xiàn)DA對參與研究的醫(yī)生提出了更高要求，希望對照試驗在教學(xué)醫(yī)院進行，并且參與醫(yī)生在沒有AI輔助的情況下的自然腺瘤檢出率應(yīng)該在25%~40%。目前國內(nèi)在審的部分臨床試驗中醫(yī)生資質(zhì)也要求在2000例以上。3.3臨床前數(shù)據(jù)集驗證確認要求FDA對本類產(chǎn)品強調(diào)通過隨機對照試驗評價臨床效用和安全性的同時，也明確了臨床前獨立性能測試的重要性，根據(jù)FDA公開材料和獲批產(chǎn)品的相關(guān)的學(xué)術(shù)論著，臨床前獨立性能測試，也就是數(shù)據(jù)集測試評價的核心原則和方法。數(shù)據(jù)集測試中最核心環(huán)節(jié)是基于幀的真陽性、真陰性、假陽性和假陰性驗證，主要評價指標(biāo)通常選擇每幀靈敏度（Frame-BasedSensitivity），定義為基于識別區(qū)域與金標(biāo)準(zhǔn)交并比（IoU）的真陽性幀數(shù)除以陽性幀總數(shù)；每幀特異度（Frame-BasedSpecificity），定義為真陰性幀數(shù)除以陰性幀總數(shù)。次要評價指標(biāo)皆基于上述驗證結(jié)果，包含每息肉的敏感度（Lesion-BasedSensitivity），定義為基于交并比（Intersection-over-Union，IoU）且滿足檢測時點（TimetoDetection）和標(biāo)記持續(xù)性（MarkPersistence）的真陽性息肉數(shù)除以總息肉數(shù)。檢測時間點即從息肉第一次出現(xiàn)到第一次被算法標(biāo)記檢測的時間。例如，設(shè)置400ms作為參數(shù)，即一個息肉出現(xiàn)400ms以內(nèi)如果沒有被算法識別到，就算是基于息肉的假陰性（LesionBasedFalseNegative）。標(biāo)記持續(xù)性是指算法對息肉的連續(xù)檢測時間。次要評價指標(biāo)也包括基于幀的受試者操作特征（ReceiverOperatingCharacteristic，ROC）曲線和ROC曲線下的面積（AreaUnderROCCurve，AUC）、平均每分鐘誤報率（假陽性Rate/minute）等。ROC曲線的繪制是基于主要評價指標(biāo)每幀靈敏度和每幀特異度。一個假陽性被定義為在一個非息肉對象上的任何檢測標(biāo)記，且標(biāo)記持續(xù)時間大于等于要求的標(biāo)記持續(xù)性（MarkerPersistence）值。平均每分鐘誤報率是指一分鐘誤報的平均個數(shù)。對于測試數(shù)據(jù)