人工智能在腫瘤影像發(fā)展現(xiàn)狀與展望

1、Medical ImagingArtificial IntelligenceWhen MI meets AI in MDTMultiDisciplinary Team人工智能在腫瘤影像發(fā)展現(xiàn)狀與展望Artificial IntelligenceWhen MI meets AI in MDTMedical ImagingMultiDisciplinary Team人工智能 AI醫(yī)學影像 MI多學科協(xié)作 MDT肝動脈化療栓塞 (TACE)射頻消融術 (RFA)立體定向放射治療 (SBRT)化療靶向治療免疫治療開腹手術腹腔鏡手術胃鏡粘膜切除術達芬奇機器人手術腫瘤臨床診治現(xiàn)狀：治療手段日趨多樣，且交叉

2、增多外科內(nèi)科非手術局部治療針對某一器官或系統(tǒng) 疾病，至少來自兩個以 上學科固定的專家構成 工作組，通過定時、定 址的會議，有計劃、合 理的為病人提出最科學 的診療建議的工作模式多學科團隊(模式)Multidisciplinary Team，MDT多學科診療協(xié)作組（MDT）面對MDT需求的發(fā)展，影像醫(yī)師對自身角色的再定位傳統(tǒng)工作模式： 檢出+診斷后臺模式(獨立)6:30am, FriMDT工作模式：影像醫(yī)師 走向前臺，直接的思維碰撞 帶來工作理念和模式的轉變Davies AR. Dis Esophagus 2006：MDT中影像學對上消化道癌分期準確率提高10%Lim HK. ANZ J Sur

3、g 2016：MDT影像學重新讀片導致24%患者調(diào)整上消化道癌治療方案Llewellyn-Jones G. J Med Imaging Radiat Oncol 2016：MDT模式下17.9%的影像學結果改進了兒科患者治療Prakash, S. Can Assoc Radiol J 2016：影像學參與乳腺MDT使29例乳腺疾病患者避免了不必要手術影像學在MDT中的價值腫瘤MDT中關于臨床決策制定的相關剖析根據(jù)2010-2014年英國4個腫瘤MDT團隊52名醫(yī)生對1045例患者 的決策情況評分得出（1-5分，分數(shù)越高，信息和貢獻的質量越高） 影像信息1stLeader：外科醫(yī)生常規(guī)報告：腹腔

4、干周圍淋巴結轉移MDT復閱：吻合口壁部分容積效應挖坑vs.填坑MDT對常規(guī)影像報告的質控意義影像參與MDT對信息化的需求圖像載體： 電子數(shù)據(jù)北腫胃癌住院患者MDT信息化發(fā)展歷程幻燈展示胃癌MDT信息化歷程初級階段高級階段基于Web，整合HIS 系統(tǒng)的MDT數(shù)據(jù)庫中間階段基于Filemaker的 MDT數(shù)據(jù)庫幻燈展示隨意性強數(shù)據(jù)無標準化，根據(jù)住院總醫(yī)師個人習慣制作，隨意性強單機版，數(shù)據(jù)保存困難隨手做、隨手丟，難于保存、管理應用困難檢索困難、統(tǒng)計困難、追溯困難初級階段2006-2013胃癌MDT數(shù)據(jù)的初始積累專業(yè)數(shù)據(jù)庫數(shù)據(jù)標準化、規(guī)范化，可檢索、統(tǒng)計，和臨床工作流緊密相連多終端應用電腦、手機、iP

5、ad多終端應用，但僅限蘋果系統(tǒng)，終端數(shù)目受限工作量大數(shù)據(jù)庫維護需人工錄入，工作繁瑣基于Filemaker的MDT數(shù)據(jù)庫中間階段2013-2017基于Web， 整合HIS系統(tǒng)MDT數(shù)據(jù)庫胃癌MDT數(shù)據(jù)的規(guī)范化積累專業(yè)數(shù)據(jù)庫數(shù)據(jù)標準化、規(guī)范化，可檢索、統(tǒng)計，和臨床工作流緊密相連多終端應用基于Web，只要設備可聯(lián)網(wǎng)，即可應用接入醫(yī)院HIS系統(tǒng)檢驗、檢查結果自動從HIS系統(tǒng)提取，節(jié)省人力且更精準高級階段2017-今MDT院際交流（討論、比賽）增多帶來信息化需求的增高影像學數(shù)據(jù)載體及展示方式：云平臺、云PACSMDTNationwide cloud-based integrated database o

6、f idiopathic interstitial pneumonias for multidisciplinary discussion.基于全國性云端的肺炎MDT數(shù)據(jù)庫 (39 centers)Fujisawa T. Eur Respir J. 2019 Mar 17衛(wèi)健委：腫瘤多學科診療試點（231家三甲醫(yī)院）Artificial IntelligenceWhen MI meets AI in MDTMedical ImagingMultiDisciplinary Team人工智能 AI醫(yī)學影像 MI多學科協(xié)作 MDT加德納技術成熟度（熱度）曲線（2018）人工智能成為國際研究熱點（期望

7、頂點）技術期望泡沫化穩(wěn)步爬升 萌芽期膨脹期谷底期的光明期實質生產(chǎn) 的高峰期N engl j med, Lancet, Lancet Oncol, Science, Nature1997ANN神經(jīng)網(wǎng)絡強大而靈活的機器學習算法Sanjiv Gambhir, Stanford University, 2018Deep Learning2016數(shù)以千萬計的參數(shù)神經(jīng)網(wǎng)絡到深度學習量變到質變起始結構, GoogLeCNHetI, M20A1 42019提高臨床效率（熱點）輔助檢出，良惡鑒別提高效率，減少漏診輔助診斷，拓展思路解決深層需求（痛點）人工智能與醫(yī)學影像的契合點影像報告過程中的思維“短路”前后不一

8、致（增大-縮?。﹩挝诲e誤（mm-m） 病灶漏診 左右寫反張冠李戴錯詞、病句報告已切除臟器食管癌術后，隨訪過程中三個月后提高診斷效率，減少漏誤診AI醫(yī)療器械產(chǎn)品審批要點提高臨床效率（熱點）輔助檢出，良惡鑒別提高效率，減少漏診輔助診斷，拓展思路解決深層需求（痛點）人工智能與醫(yī)學影像的契合點療后9個月療后6個月療前療后3個月靶向/免疫治療影像學評效的遲滯效應GISTCT靶向治療評效時間窗的局限性：軟組織對比差+輻射療后 2-3個月進行第一次評效腫瘤在此時間段可能經(jīng)歷短暫有效期，而后快速進展Roller Coaster sign:rapid remission followed by rapid pr

9、ogression腫瘤病理學單點活檢無法評價腫瘤全貌, 而對個體化治療帶來挑戰(zhàn)， 腫瘤基因異質性可能通過達爾文選擇導致腫瘤適應及治療失敗Gerlinger et al. N Engl J Med 366, 883-92 (2012).腫瘤異質性(heterogenity): 影響治療預后的重要因素腫瘤影像學異質性的定量描述效評價相關模型，指導臨床診治影像組學Radiomics讓機器“看”人類看不到的東西AI+醫(yī)學影像（人工智能技術應用于醫(yī)學影像學評估）：第一步 圖像識別，通過圖像分割配準，自動定位、提取病變第二步 特征提取及紋理分析，從影像圖像中獲取盡可能多的客觀信息第三步 深度學習，AI應用

10、的核心環(huán)節(jié)，借助算法手段統(tǒng)合大樣本影像數(shù)據(jù) 提取的紋理特征、臨床信息甚至基因信息，建立疾病診斷、分期評估及療成像勾畫感興趣區(qū)特征提取分析建模影像組學關鍵技術：紋理分析及人工智能可解釋性深度學習可提取多層特征（邊緣、形 狀、抽象特征等），可視化腫瘤高危 區(qū)域進而指導穿刺活檢Courtesy: 中科院自動化所董迪博士形狀特征：體積，長短軸，表面積等影像紋理特征分類峰度，偏度 = . /1 01231 . 401234 = 1 . :0123 . 41 0123:灰度、直方圖特征：均值，方差，峰度，偏度等紋理特征：灰度共生矩陣，游程等高維變換的特征：將原圖像先進行高通、低通的濾波變換等灰度共生矩陣假

11、設灰度為N階相鄰灰度為i，j的像素對的個數(shù) 游程連續(xù)灰度為i的像素條的個數(shù)0000000002100310003102200深度學習算法：無需特征定義病例1-nfeature1 feature2feature3:分類器深度學習傳統(tǒng)機器學習：需要對特征進行定義評價模型肝轉移 40%腹膜轉移 53-60%腹膜轉移(PM)是影響胃癌治療選擇和預后 的重要因素應用案例：胃癌腹膜轉移的影像學診斷美國：CT漏診23%進展期胃癌腹膜轉移Sarela AI. Am J Surg, 2006, 191:134-138.CT檢查M0可切除外科醫(yī)生影像醫(yī)生我院：CT漏診20.5%進展期胃癌腹膜轉移Subphreni

12、c perihepatic hepatogastric ligament transverse mesocolon paracolic gutter omentum Douglas pouchCT漏診的腹膜轉移：MDT模式下與腹腔鏡探查的點對點對照研究種子-土壤Fibroblasts Angiogenesis 影像學隱匿性腹膜轉移（OPM）污跡樣磨玻璃征 Smudge GGO （S-GGO）0級：未見異常密度改變1級：脂肪密度略高、較均勻，呈較淡S-GGO征2級：脂肪密度增高、不均勻，斑片狀或密集S-GGO征RSNA 2014Oral presentation腹膜隱匿性轉移（OPM）CT風險度

13、分級0級1級2級3級OPM-OPM+Score0Score 1Score 2Score378019226747以Score 2 判斷OPM+： 假陰性率2%真陽性率32%3級：脂肪密度明顯增高，伴多發(fā)索條、卷發(fā)征或小結節(jié)應用 效果臨床 數(shù)據(jù)智能 手段術前預測胃癌隱匿性腹膜轉移，避免不必 要的開腹手術及有創(chuàng)探查 (外科)前瞻性納入554例CT漏診的胃癌腹膜轉移 患者的影像及臨床信息 (影像)單中心建模及多中心外部驗證數(shù)據(jù)，預測 效能AUC均0.9 (all)紋理分析提取3000個影像特征，構建臨 床結合影像的智能預測模型 (中科院)臨床 問題北大腫瘤醫(yī)院胃癌MDT 團隊與中科院自動化 所合作牽頭

14、，國內(nèi)多 家胃癌診療中心參與 的多中心前瞻性研究影像組學診斷胃癌隱匿性腹膜轉移（OPM）理論 創(chuàng)新拓展“土壤-種子”理論，構建融合原發(fā) 灶和腹膜的雙標組學模型 (內(nèi)外科)D Dong, L Tang, ZY Li, et al. Annals of Oncology, 2019，IF 14.018構建基于土壤-種子學說的影像組學雙標模型，進行紋理特征的提取和分析影像紋理特征預測OPM陽性概率： 強腫瘤+弱腹膜 弱腫瘤+強腹膜 種子作用強度土壤從臨床角度加強理論佐證，兼具臨 床和理論意義N engl J med 376;26, June 29, 2017圣經(jīng)舊約創(chuàng)世記. Chapter 11不同

15、機型，不同場強，不同序列， 不同b值，不同質控水平，不同從單指數(shù)模型 到 雙指數(shù)模型， 從快擴散 到 慢擴散，從統(tǒng)計分布模型 到 DKI模型，從Stretch模型 到 FROC模型， 從ADC 到 D 到、不斷發(fā)展的技術提供更多可能， 使得影像醫(yī)生不依賴臨床也能做科研、發(fā)表文章多中心影像統(tǒng)一標準的建立北大腫瘤醫(yī)院胃癌MDT數(shù)據(jù)庫通過信息化手段規(guī)范資料積累，提高臨床及科研效率AI取代影像醫(yī)生？人類由于受到緩慢的生物進化的限制，無法與機器競爭，并會被取代。全人 工智能的發(fā)展可能導致人類的終結。-斯蒂芬威廉霍金人腦：洞察，預感，頓悟，靈感，第六感Insight, Conscious, Inspirati