人工智能在腫瘤影像發(fā)展現(xiàn)狀與展望

1、Medical ImagingArtificial IntelligenceWhen MI meets AI in MDTMultiDisciplinary Team人工智能在腫瘤影像發(fā)展現(xiàn)狀與展望Artificial IntelligenceWhen MI meets AI in MDTMedical ImagingMultiDisciplinary Team人工智能 AI醫(yī)學(xué)影像 MI多學(xué)科協(xié)作 MDT肝動(dòng)脈化療栓塞 (TACE)射頻消融術(shù) (RFA)立體定向放射治療 (SBRT)化療靶向治療免疫治療開(kāi)腹手術(shù)腹腔鏡手術(shù)胃鏡粘膜切除術(shù)達(dá)芬奇機(jī)器人手術(shù)腫瘤臨床診治現(xiàn)狀：治療手段日趨多樣，且交叉

2、增多外科內(nèi)科非手術(shù)局部治療針對(duì)某一器官或系統(tǒng) 疾病，至少來(lái)自兩個(gè)以 上學(xué)科固定的專家構(gòu)成 工作組，通過(guò)定時(shí)、定 址的會(huì)議，有計(jì)劃、合 理的為病人提出最科學(xué) 的診療建議的工作模式多學(xué)科團(tuán)隊(duì)(模式)Multidisciplinary Team，MDT多學(xué)科診療協(xié)作組（MDT）面對(duì)MDT需求的發(fā)展，影像醫(yī)師對(duì)自身角色的再定位傳統(tǒng)工作模式： 檢出+診斷后臺(tái)模式(獨(dú)立)6:30am, FriMDT工作模式：影像醫(yī)師 走向前臺(tái)，直接的思維碰撞 帶來(lái)工作理念和模式的轉(zhuǎn)變Davies AR. Dis Esophagus 2006：MDT中影像學(xué)對(duì)上消化道癌分期準(zhǔn)確率提高10%Lim HK. ANZ J Sur

3、g 2016：MDT影像學(xué)重新讀片導(dǎo)致24%患者調(diào)整上消化道癌治療方案Llewellyn-Jones G. J Med Imaging Radiat Oncol 2016：MDT模式下17.9%的影像學(xué)結(jié)果改進(jìn)了兒科患者治療Prakash, S. Can Assoc Radiol J 2016：影像學(xué)參與乳腺M(fèi)DT使29例乳腺疾病患者避免了不必要手術(shù)影像學(xué)在MDT中的價(jià)值腫瘤MDT中關(guān)于臨床決策制定的相關(guān)剖析根據(jù)2010-2014年英國(guó)4個(gè)腫瘤MDT團(tuán)隊(duì)52名醫(yī)生對(duì)1045例患者 的決策情況評(píng)分得出（1-5分，分?jǐn)?shù)越高，信息和貢獻(xiàn)的質(zhì)量越高） 影像信息1stLeader：外科醫(yī)生常規(guī)報(bào)告：腹腔

4、干周圍淋巴結(jié)轉(zhuǎn)移MDT復(fù)閱：吻合口壁部分容積效應(yīng)挖坑vs.填坑MDT對(duì)常規(guī)影像報(bào)告的質(zhì)控意義影像參與MDT對(duì)信息化的需求圖像載體： 電子數(shù)據(jù)北腫胃癌住院患者M(jìn)DT信息化發(fā)展歷程幻燈展示胃癌MDT信息化歷程初級(jí)階段高級(jí)階段基于Web，整合HIS 系統(tǒng)的MDT數(shù)據(jù)庫(kù)中間階段基于Filemaker的 MDT數(shù)據(jù)庫(kù)幻燈展示隨意性強(qiáng)數(shù)據(jù)無(wú)標(biāo)準(zhǔn)化，根據(jù)住院總醫(yī)師個(gè)人習(xí)慣制作，隨意性強(qiáng)單機(jī)版，數(shù)據(jù)保存困難隨手做、隨手丟，難于保存、管理應(yīng)用困難檢索困難、統(tǒng)計(jì)困難、追溯困難初級(jí)階段2006-2013胃癌MDT數(shù)據(jù)的初始積累專業(yè)數(shù)據(jù)庫(kù)數(shù)據(jù)標(biāo)準(zhǔn)化、規(guī)范化，可檢索、統(tǒng)計(jì)，和臨床工作流緊密相連多終端應(yīng)用電腦、手機(jī)、iP

5、ad多終端應(yīng)用，但僅限蘋(píng)果系統(tǒng)，終端數(shù)目受限工作量大數(shù)據(jù)庫(kù)維護(hù)需人工錄入，工作繁瑣基于Filemaker的MDT數(shù)據(jù)庫(kù)中間階段2013-2017基于Web， 整合HIS系統(tǒng)MDT數(shù)據(jù)庫(kù)胃癌MDT數(shù)據(jù)的規(guī)范化積累專業(yè)數(shù)據(jù)庫(kù)數(shù)據(jù)標(biāo)準(zhǔn)化、規(guī)范化，可檢索、統(tǒng)計(jì)，和臨床工作流緊密相連多終端應(yīng)用基于Web，只要設(shè)備可聯(lián)網(wǎng)，即可應(yīng)用接入醫(yī)院HIS系統(tǒng)檢驗(yàn)、檢查結(jié)果自動(dòng)從HIS系統(tǒng)提取，節(jié)省人力且更精準(zhǔn)高級(jí)階段2017-今MDT院際交流（討論、比賽）增多帶來(lái)信息化需求的增高影像學(xué)數(shù)據(jù)載體及展示方式：云平臺(tái)、云PACSMDTNationwide cloud-based integrated database o

6、f idiopathic interstitial pneumonias for multidisciplinary discussion.基于全國(guó)性云端的肺炎MDT數(shù)據(jù)庫(kù) (39 centers)Fujisawa T. Eur Respir J. 2019 Mar 17衛(wèi)健委：腫瘤多學(xué)科診療試點(diǎn)（231家三甲醫(yī)院）Artificial IntelligenceWhen MI meets AI in MDTMedical ImagingMultiDisciplinary Team人工智能 AI醫(yī)學(xué)影像 MI多學(xué)科協(xié)作 MDT加德納技術(shù)成熟度（熱度）曲線（2018）人工智能成為國(guó)際研究熱點(diǎn)（期望

7、頂點(diǎn)）技術(shù)期望泡沫化穩(wěn)步爬升 萌芽期膨脹期谷底期的光明期實(shí)質(zhì)生產(chǎn) 的高峰期N engl j med, Lancet, Lancet Oncol, Science, Nature1997ANN神經(jīng)網(wǎng)絡(luò)強(qiáng)大而靈活的機(jī)器學(xué)習(xí)算法Sanjiv Gambhir, Stanford University, 2018Deep Learning2016數(shù)以千萬(wàn)計(jì)的參數(shù)神經(jīng)網(wǎng)絡(luò)到深度學(xué)習(xí)量變到質(zhì)變起始結(jié)構(gòu), GoogLeCNHetI, M20A1 42019提高臨床效率（熱點(diǎn)）輔助檢出，良惡鑒別提高效率，減少漏診輔助診斷，拓展思路解決深層需求（痛點(diǎn)）人工智能與醫(yī)學(xué)影像的契合點(diǎn)影像報(bào)告過(guò)程中的思維“短路”前后不一

8、致（增大-縮小）單位錯(cuò)誤（mm-m） 病灶漏診 左右寫(xiě)反張冠李戴錯(cuò)詞、病句報(bào)告已切除臟器食管癌術(shù)后，隨訪過(guò)程中三個(gè)月后提高診斷效率，減少漏誤診AI醫(yī)療器械產(chǎn)品審批要點(diǎn)提高臨床效率（熱點(diǎn)）輔助檢出，良惡鑒別提高效率，減少漏診輔助診斷，拓展思路解決深層需求（痛點(diǎn)）人工智能與醫(yī)學(xué)影像的契合點(diǎn)療后9個(gè)月療后6個(gè)月療前療后3個(gè)月靶向/免疫治療影像學(xué)評(píng)效的遲滯效應(yīng)GISTCT靶向治療評(píng)效時(shí)間窗的局限性：軟組織對(duì)比差+輻射療后 2-3個(gè)月進(jìn)行第一次評(píng)效腫瘤在此時(shí)間段可能經(jīng)歷短暫有效期，而后快速進(jìn)展Roller Coaster sign:rapid remission followed by rapid pr

9、ogression腫瘤病理學(xué)單點(diǎn)活檢無(wú)法評(píng)價(jià)腫瘤全貌, 而對(duì)個(gè)體化治療帶來(lái)挑戰(zhàn)， 腫瘤基因異質(zhì)性可能通過(guò)達(dá)爾文選擇導(dǎo)致腫瘤適應(yīng)及治療失敗Gerlinger et al. N Engl J Med 366, 883-92 (2012).腫瘤異質(zhì)性(heterogenity): 影響治療預(yù)后的重要因素腫瘤影像學(xué)異質(zhì)性的定量描述效評(píng)價(jià)相關(guān)模型，指導(dǎo)臨床診治影像組學(xué)Radiomics讓機(jī)器“看”人類看不到的東西AI+醫(yī)學(xué)影像（人工智能技術(shù)應(yīng)用于醫(yī)學(xué)影像學(xué)評(píng)估）：第一步 圖像識(shí)別，通過(guò)圖像分割配準(zhǔn)，自動(dòng)定位、提取病變第二步 特征提取及紋理分析，從影像圖像中獲取盡可能多的客觀信息第三步 深度學(xué)習(xí)，AI應(yīng)用

10、的核心環(huán)節(jié)，借助算法手段統(tǒng)合大樣本影像數(shù)據(jù) 提取的紋理特征、臨床信息甚至基因信息，建立疾病診斷、分期評(píng)估及療成像勾畫(huà)感興趣區(qū)特征提取分析建模影像組學(xué)關(guān)鍵技術(shù)：紋理分析及人工智能可解釋性深度學(xué)習(xí)可提取多層特征（邊緣、形 狀、抽象特征等），可視化腫瘤高危 區(qū)域進(jìn)而指導(dǎo)穿刺活檢Courtesy: 中科院自動(dòng)化所董迪博士形狀特征：體積，長(zhǎng)短軸，表面積等影像紋理特征分類峰度，偏度 = . /1 01231 . 401234 = 1 . :0123 . 41 0123:灰度、直方圖特征：均值，方差，峰度，偏度等紋理特征：灰度共生矩陣，游程等高維變換的特征：將原圖像先進(jìn)行高通、低通的濾波變換等灰度共生矩陣假

11、設(shè)灰度為N階相鄰灰度為i，j的像素對(duì)的個(gè)數(shù) 游程連續(xù)灰度為i的像素條的個(gè)數(shù)0000000002100310003102200深度學(xué)習(xí)算法：無(wú)需特征定義病例1-nfeature1 feature2feature3:分類器深度學(xué)習(xí)傳統(tǒng)機(jī)器學(xué)習(xí)：需要對(duì)特征進(jìn)行定義評(píng)價(jià)模型肝轉(zhuǎn)移 40%腹膜轉(zhuǎn)移 53-60%腹膜轉(zhuǎn)移(PM)是影響胃癌治療選擇和預(yù)后 的重要因素應(yīng)用案例：胃癌腹膜轉(zhuǎn)移的影像學(xué)診斷美國(guó)：CT漏診23%進(jìn)展期胃癌腹膜轉(zhuǎn)移Sarela AI. Am J Surg, 2006, 191:134-138.CT檢查M0可切除外科醫(yī)生影像醫(yī)生我院：CT漏診20.5%進(jìn)展期胃癌腹膜轉(zhuǎn)移Subphreni

12、c perihepatic hepatogastric ligament transverse mesocolon paracolic gutter omentum Douglas pouchCT漏診的腹膜轉(zhuǎn)移：MDT模式下與腹腔鏡探查的點(diǎn)對(duì)點(diǎn)對(duì)照研究種子-土壤Fibroblasts Angiogenesis 影像學(xué)隱匿性腹膜轉(zhuǎn)移（OPM）污跡樣磨玻璃征 Smudge GGO （S-GGO）0級(jí)：未見(jiàn)異常密度改變1級(jí)：脂肪密度略高、較均勻，呈較淡S-GGO征2級(jí)：脂肪密度增高、不均勻，斑片狀或密集S-GGO征RSNA 2014Oral presentation腹膜隱匿性轉(zhuǎn)移（OPM）CT風(fēng)險(xiǎn)度

13、分級(jí)0級(jí)1級(jí)2級(jí)3級(jí)OPM-OPM+Score0Score 1Score 2Score378019226747以Score 2 判斷OPM+： 假陰性率2%真陽(yáng)性率32%3級(jí)：脂肪密度明顯增高，伴多發(fā)索條、卷發(fā)征或小結(jié)節(jié)應(yīng)用 效果臨床 數(shù)據(jù)智能 手段術(shù)前預(yù)測(cè)胃癌隱匿性腹膜轉(zhuǎn)移，避免不必 要的開(kāi)腹手術(shù)及有創(chuàng)探查 (外科)前瞻性納入554例CT漏診的胃癌腹膜轉(zhuǎn)移 患者的影像及臨床信息 (影像)單中心建模及多中心外部驗(yàn)證數(shù)據(jù)，預(yù)測(cè) 效能AUC均0.9 (all)紋理分析提取3000個(gè)影像特征，構(gòu)建臨 床結(jié)合影像的智能預(yù)測(cè)模型 (中科院)臨床 問(wèn)題北大腫瘤醫(yī)院胃癌MDT 團(tuán)隊(duì)與中科院自動(dòng)化 所合作牽頭

14、，國(guó)內(nèi)多 家胃癌診療中心參與 的多中心前瞻性研究影像組學(xué)診斷胃癌隱匿性腹膜轉(zhuǎn)移（OPM）理論 創(chuàng)新拓展“土壤-種子”理論，構(gòu)建融合原發(fā) 灶和腹膜的雙標(biāo)組學(xué)模型 (內(nèi)外科)D Dong, L Tang, ZY Li, et al. Annals of Oncology, 2019，IF 14.018構(gòu)建基于土壤-種子學(xué)說(shuō)的影像組學(xué)雙標(biāo)模型，進(jìn)行紋理特征的提取和分析影像紋理特征預(yù)測(cè)OPM陽(yáng)性概率： 強(qiáng)腫瘤+弱腹膜 弱腫瘤+強(qiáng)腹膜 種子作用強(qiáng)度土壤從臨床角度加強(qiáng)理論佐證，兼具臨 床和理論意義N engl J med 376;26, June 29, 2017圣經(jīng)舊約創(chuàng)世記. Chapter 11不同

15、機(jī)型，不同場(chǎng)強(qiáng)，不同序列， 不同b值，不同質(zhì)控水平，不同從單指數(shù)模型 到 雙指數(shù)模型， 從快擴(kuò)散 到 慢擴(kuò)散，從統(tǒng)計(jì)分布模型 到 DKI模型，從Stretch模型 到 FROC模型， 從ADC 到 D 到、不斷發(fā)展的技術(shù)提供更多可能， 使得影像醫(yī)生不依賴臨床也能做科研、發(fā)表文章多中心影像統(tǒng)一標(biāo)準(zhǔn)的建立北大腫瘤醫(yī)院胃癌MDT數(shù)據(jù)庫(kù)通過(guò)信息化手段規(guī)范資料積累，提高臨床及科研效率AI取代影像醫(yī)生？人類由于受到緩慢的生物進(jìn)化的限制，無(wú)法與機(jī)器競(jìng)爭(zhēng)，并會(huì)被取代。全人 工智能的發(fā)展可能導(dǎo)致人類的終結(jié)。-斯蒂芬威廉霍金人腦：洞察，預(yù)感，頓悟，靈感，第六感Insight, Conscious, Inspirati