醫(yī)學(xué)人工智能與磁共振成像技術(shù)課件

醫(yī)學(xué)人工智能與磁共振成像技術(shù)1醫(yī)學(xué)人工智能與磁共振成像技術(shù)1主要內(nèi)

容2背景知

識(shí)研究方

法臨床應(yīng)

用主要內(nèi)容2背景知識(shí)主要內(nèi)

容3背景知

識(shí)研究方

法臨床應(yīng)

用主要內(nèi)容3背景知識(shí)AI+醫(yī)學(xué)影像醫(yī)學(xué)影像深度學(xué)習(xí)：智能診療在視網(wǎng)膜、肺炎肺癌、皮膚癌等診斷中，深度學(xué)習(xí)方法媲美醫(yī)生AI

影像組學(xué)：鏈接影像與個(gè)性化診療James

O'Connor曼徹斯特大學(xué)癌癥中心教授CRUK和EPSRC癌癥影像中心放射科學(xué)家影像組學(xué)利用人工智能方法，實(shí)現(xiàn)腦腫瘤個(gè)性化精準(zhǔn)診療NatureReviewClinicalOncology,14(169),2017AI+醫(yī)學(xué)影像醫(yī)學(xué)影像深度學(xué)習(xí)：智能診療AI影像組學(xué)：鏈接4共識(shí)：AI醫(yī)學(xué)影像將成為臨床的助手科研界 工業(yè)界共識(shí)：AI醫(yī)學(xué)影像將成為臨床的助手科研界 工業(yè)界5股市預(yù)測(cè)自動(dòng)駕駛推薦系統(tǒng)????????= A股指數(shù)????= 方向盤(pán)角度= 購(gòu)買(mǎi)可能性使用者

A 商品

BAI在做什么？6股市預(yù)測(cè)自動(dòng)駕駛推薦系統(tǒng)????= A股指數(shù)????= 方向6MRI+AI

可以幫助醫(yī)生做什么？臨床任務(wù)：診斷、手術(shù)、放療、化療、活檢、篩查

…醫(yī)生工作：識(shí)別、勾勒、定位、測(cè)量、計(jì)算、評(píng)估先驗(yàn)知識(shí)：解剖、生理、病理等專(zhuān)業(yè)知識(shí)，人腦圖像分析功能，醫(yī)生診斷治療經(jīng)驗(yàn)；眼腦手配合AI影像工具：

MRI、

X-Ray、CT、PET、US、DSA、MicroscopyAI7MRI+AI可以幫助醫(yī)生做什么？臨床任務(wù)：診斷、手術(shù)、放7模

型f(x)……x1x2xNy1y2yM人工智能系統(tǒng)的一般性描述變量定義：輸入變量

x=(x1,…,xN)，輸出變量

y=(y1,…,yN)。訓(xùn)練集

T={(x1,

y1),…,(xN,

yN)}

?；炯僭O(shè)：假設(shè)(x,y)遵循聯(lián)合分布，P(x,y)且獨(dú)立同分布。模型

f(x)

是輸入空間

X

到輸出空間Y

的映射的集合，這個(gè)集合就是假設(shè)空間F，即F={f

|y=f(x)}或F={P|

P(y|x)}。AI問(wèn)題的一般性描述：給定輸入數(shù)據(jù)x或訓(xùn)練集T，構(gòu)建機(jī)器學(xué)習(xí)模型

f(x)

或

P(y|x)，對(duì)輸出數(shù)據(jù)

y進(jìn)行預(yù)測(cè)。8模型……x1y1人工智能系統(tǒng)的一般性描述變量定義：輸入變量8人工智能模型的三要素三要素：人工智能方法

=

模型

+

策略

+

算法模型：所要學(xué)習(xí)的映射函數(shù)

f(x)

或條件概率分布，選定一個(gè)模型空間，比如線(xiàn)性模型

f(x)

=wx

+

b策略：按照從假設(shè)空間中選擇最優(yōu)模型的準(zhǔn)則如何判定一個(gè)模型的優(yōu)劣，比如預(yù)測(cè)值與真值交叉熵最小算法：依照上述準(zhǔn)則從假設(shè)空間中得出最優(yōu)模型的計(jì)算方法如何從模型空間中找到最好的模型，比如梯度下降搜索算法步驟

1:

模型定義一個(gè)模型空間步驟

2:

策略評(píng)判一個(gè)模型好壞步驟

3:

算法找到一個(gè)最好模型人工智能模型的三要素三要素：人工智能方法=模型+策略9舉例說(shuō)明：邏輯回歸分類(lèi)模型的三要素ii iw

x

bz

zw1wiwI…x1xixI

b

z

………

z

z1

e

z1

z

SigmoidFunction????????,????????=

?????

????????

????????

+????????步驟

1:

模型定義一個(gè)模型空間模型：模型空間就是????????,???? ???? 所描述的所有模型的集合舉例說(shuō)明：邏輯回歸分類(lèi)模型的三要素ii iwx bz10水桶：N個(gè)進(jìn)水管，一個(gè)出水管。。。激活函數(shù)加權(quán)求和水桶：N個(gè)進(jìn)水管，一個(gè)出水管。。。激活函數(shù)加權(quán)求和11舉例說(shuō)明：邏輯回歸分類(lèi)模型的三要素?????真值步驟

2:

策略評(píng)判一個(gè)模型好壞ii iw

x

bz

z1wwiIw…x1xixI

b

z

………y預(yù)測(cè)值交叉熵=?????????????????????? ????

,

?????策略：使得???? ????

,?????最小的那個(gè)模型，就是最好的模型舉例說(shuō)明：邏輯回歸分類(lèi)模型的三要素?????真值步驟2:12????????顏色深淺:

損失函數(shù)L(w,b)

的大小舉例說(shuō)明：邏輯回歸分類(lèi)模型的三要素(?????

?????????????????,

?????

?????????????????)計(jì)算

?????????????????,

?????????????????步驟

3:

算法找到一個(gè)最好模型???????? ????????

????,

???? =

?????????????????? =

?????????????????? ?

????

???? +

????13????????顏色深淺:損失函數(shù)舉例說(shuō)明：邏輯回歸分類(lèi)模13舉例說(shuō)明：邏輯回歸分類(lèi)模型的三要素步驟

3:

算法找到一個(gè)最好模型????????1????2LossThevalueoftheparameter

w平坦區(qū)域下降很慢局部極小值被卡住????????

∕

????????=

0鞍點(diǎn)被卡住????????

∕

????????=

0????????

∕

????????≈

014舉例說(shuō)明：邏輯回歸分類(lèi)模型的三要素步驟3:算法找到一個(gè)14損失函數(shù)w1w2均方誤差步驟

3:

算法找到一個(gè)最好模型交叉熵舉例說(shuō)明：邏輯回歸分類(lèi)模型的三要素?fù)p失函數(shù)w1w2均方誤差步驟3:算法找到一個(gè)最好模151x2xInput

FeatureLabelx1x200Class

201Class

110Class

111Class

2y

zw2x1

w1x2b

Class2

Class1y

0.5y

0.5z

w1x1

w2x2

bz

≥0z

≥0z

<0z

<0異或問(wèn)題?(????

≥

0)(????

<

0)邏輯回歸的局限：線(xiàn)性不可分問(wèn)題1x2xInputFeatureLabelx1x200Cl16Deep

Learning!神經(jīng)網(wǎng)絡(luò)多個(gè)單元連接在一起，模型參數(shù)w和b通過(guò)學(xué)習(xí)得到.

z

z

z

“Neuron”

z

DeepLearning!神經(jīng)網(wǎng)絡(luò)多個(gè)單元連接在一起，模型17x12x……x256………………y1y2y10CrossEntropy“1”100……target……Softmax???? ????

,?????10=??

?????????

????????????????????=1?????1?????2?????10………Givenaset

…ofparameters…?????????深度神經(jīng)網(wǎng)絡(luò)三要素是什么？模型：深度神經(jīng)網(wǎng)絡(luò)，由網(wǎng)絡(luò)結(jié)構(gòu)決定；策略：損失函數(shù)算法：梯度下降x12x…x256…………y1CrossEntrop18MRI在計(jì)算機(jī)看來(lái)是什么？磁共振圖像????×

????

維矩陣245211233198187178255236256276199186266235257278218190266233256257225193267238242253215186278231235242211187灰度形狀位置紋理邊緣MRI在計(jì)算機(jī)看來(lái)是什么？磁共振圖像×????維矩陣2419如何從MRI圖像中獲取有用特征？手工設(shè)計(jì)特征病灶分割特征提取特征選擇分類(lèi)器去冗余度單因子排序LASSOmRMRBoruta……影像組學(xué)邏輯回歸隨機(jī)森林SVM人工神經(jīng)網(wǎng)絡(luò)XGBoost……手工特征工程如何從MRI圖像中獲取有用特征？手工設(shè)計(jì)特征病灶分割特征提取20影像組學(xué)特征有什么意義？灰度形狀位置紋理RobertHaralick/GLCM

GLRLMGLSZMNGTDM……HaralickRM,ShanmugamK(1973).Texturalfeaturesforimageclassification.IEEETransactionsonsystems,man,andcybernetics,(6),

610-621.GallowayMM.(1974).Textureanalysisusinggreylevelrunlengths.NASASTI/ReconTechnicalReportN,

75.影像組學(xué)特征有什么意義？灰度形狀位置紋理RobertHar21全連接前饋網(wǎng)絡(luò)鑒別診斷，預(yù)后預(yù)測(cè)，療效預(yù)測(cè)……卷積層池化層卷積層池化層Flatten特征提取多次堆疊重復(fù)使用深度卷積神經(jīng)網(wǎng)絡(luò)線(xiàn)性分類(lèi)器全連接前饋網(wǎng)絡(luò)鑒別診斷，預(yù)后預(yù)測(cè)，療效預(yù)測(cè)……卷積層池化層221000010100100011001000100100100010106x6

image1-1-1-11-1-1-11卷積核

13-1-3-1-310-3-3-3013-2-2-1stride=1同樣的局部特征會(huì)多次出現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)在做什么？10000101001000110010001001001023卷積神經(jīng)網(wǎng)絡(luò)在做什么？1000010100100011001000100100100010106x6

image-313-1-11-1-11-1-11-1Filter

23-1-1-1-3-1-1--310-31-1 -1 -2-3 01-11-13-2 -20 -44x4

image采用每個(gè)卷積核重復(fù)做加權(quán)求和stride=1FeatureMap-1 -2卷積神經(jīng)網(wǎng)絡(luò)在做什么？100001010010001100124“monkey”f1f2f3f4所有的卷積核都是通過(guò)學(xué)習(xí)得到的卷積神經(jīng)網(wǎng)絡(luò)提取了什么特征？“monkey”f1f2f3f4所有的卷積核都是通過(guò)學(xué)習(xí)得到25KerasHowtousetheneuralnetwork

(testing):case

1:case

2:Don’tworryifyoucannotunderstand

this.BcozKerascanhandle

it.KerasHowtousetheneuralnet26Keras/Pytorch

使用心得朋友覺(jué)得我在導(dǎo)師覺(jué)得我在我媽覺(jué)得我在我自己覺(jué)得我在大家覺(jué)得我在事實(shí)上我在Deep

Learning

研究生Keras/Pytorch使用心得朋友覺(jué)得我在導(dǎo)師覺(jué)得我在27主要內(nèi)

容背景知

識(shí)研究方

法臨床應(yīng)

用28主要內(nèi)容背景知識(shí)2828ClassificationEvaluation&InterpretationCT/MR/PETAI+醫(yī)學(xué)影像分析：典型流程O(píng)rgan Lesion

/Segmentation AbnormalitySegmentationFeatureExtraction器組織官器分官分割割 病病灶灶分分割割 特特征征提提取取分類(lèi)特征/分回類(lèi)歸統(tǒng)臨床計(jì)決策分支析持ClassificationEvaluation&In29入組病人30研究類(lèi)型：前瞻性、回溯性？多中心？AI影像分析最好進(jìn)行多中心研究入組條件：腫瘤級(jí)別？年齡？TNM？亞型？影像？選擇不當(dāng)會(huì)導(dǎo)致文章直接悲劇病例數(shù)目：劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集？類(lèi)別均衡性？劃分不當(dāng)會(huì)導(dǎo)致AI模型訓(xùn)練困難入組病人30研究類(lèi)型：前瞻性、回溯性？多中心？選擇不當(dāng)會(huì)導(dǎo)致MRI預(yù)處理灰度標(biāo)化配準(zhǔn)去偏移場(chǎng)去骨標(biāo)準(zhǔn)化前的灰度直方圖31標(biāo)準(zhǔn)化后的灰度直方圖MRI預(yù)處理灰度標(biāo)化配準(zhǔn)去偏移場(chǎng)去骨標(biāo)準(zhǔn)化前的灰度直方圖病灶分割手工分割：不同醫(yī)生分割結(jié)果之間的差異，導(dǎo)致可重復(fù)性問(wèn)題需要做特征的可重復(fù)性測(cè)試自動(dòng)分割：需要給出分割的精度，在benchmark數(shù)據(jù)集評(píng)估自動(dòng)分割結(jié)果需要逐個(gè)核對(duì)32病灶分割手工分割：不同醫(yī)生分割結(jié)果之間的差異，導(dǎo)致可重復(fù)性問(wèn)影像組學(xué)：特征提取特征提取過(guò)程中涉及到的參數(shù)：像素大小、量化方法、灰度等級(jí)33影像組學(xué)：特征提取特征提取過(guò)程中涉及到的參數(shù)：像素大小、量化影像組學(xué)：特征選擇+分類(lèi)器特征選擇：減少特征數(shù)量，防止過(guò)擬合，增加可解釋性特征選擇算法：特征選擇算法的選取要兼顧性能和可解釋性特征選擇數(shù)量：數(shù)量適中，兼顧模型復(fù)雜度和模型可解釋性模型選擇：隨機(jī)森林，支持向量機(jī)，邏輯回歸，Cox，LASSO34影像組學(xué)：特征選擇+分類(lèi)器特征選擇：減少特征數(shù)量，防止過(guò)擬合深度學(xué)習(xí)：網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練方法測(cè)試集表現(xiàn)良好?訓(xùn)練集表現(xiàn)良好？YESYESLoss/深度/預(yù)處理/超參數(shù)…重新定義網(wǎng)絡(luò)結(jié)構(gòu)Early

Stopping/驗(yàn)證集正則化DropoutNo35No深度學(xué)習(xí)：網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練方法YESYESLoss/深度/預(yù)處深度學(xué)習(xí)：如何調(diào)參？NVidiaGPUis

allyou

needTalkischeap,show

methe

$$$VGG(2014)GoogleNet(2014)3.57%Residual

Net(2015)16.4%AlexNet(2012)7.3%6.7%36深度學(xué)習(xí)：如何調(diào)參？NVidiaGPUisall36MRI智能分析模型訓(xùn)練與測(cè)試流程臨床數(shù)據(jù)1訓(xùn)練 獨(dú)立測(cè)試智能模型……影像數(shù)據(jù)影像數(shù)據(jù)標(biāo)準(zhǔn)化腫瘤區(qū)域分割特征工程/深度學(xué)習(xí)機(jī)器學(xué)習(xí)模型構(gòu)建臨床數(shù)據(jù)2臨床數(shù)據(jù)3……性能測(cè)試MRI智能分析模型訓(xùn)練與測(cè)試流程臨床數(shù)據(jù)1訓(xùn)練 獨(dú)立測(cè)試智能37主要內(nèi)

容38背景知

識(shí)研究方

法臨床應(yīng)

用主要內(nèi)容38背景知識(shí)應(yīng)用1：MRI影像組學(xué)生存分析術(shù)前磁共振影像預(yù)測(cè)腦膠質(zhì)瘤病人總生存期臨床問(wèn)題磁共振影像組學(xué)特征是否可以預(yù)測(cè)膠母瘤病人總生存期？是否具有預(yù)后價(jià)值？科學(xué)假設(shè)現(xiàn)有不足采用醫(yī)生判讀的少量影像學(xué)定性特征，精度和可重復(fù)性有限建立術(shù)前磁共振影像組學(xué)生存期預(yù)測(cè)模型，評(píng)估模型的獨(dú)立性、準(zhǔn)確性和臨床價(jià)值39研究目標(biāo)應(yīng)用1：MRI影像組學(xué)生存分析術(shù)前磁共振影像預(yù)測(cè)腦膠質(zhì)瘤病人影像組學(xué)生存分析：腦腫瘤分割3D

U-NetVAE

正則化多任務(wù)網(wǎng)絡(luò)DICE

LOSS+KL

LOSS+L240影像組學(xué)生存分析：腦腫瘤分割3DU-NetVAE正則化多自研影像組學(xué)軟件：Ultimage

Lab41自研影像組學(xué)軟件：UltimageLab41影像組學(xué)特征提取灰度特征形狀特征紋理特征提取參數(shù)中間結(jié)果42影像組學(xué)特征提取灰度特征形狀特征紋理特征提取參數(shù)中間結(jié)果42影像組學(xué)特征選擇去冗余度LASSOBoruta特征合并43影像組學(xué)特征選擇去冗余度LASSOBoruta特征合并43影像組學(xué)分類(lèi)模型訓(xùn)練隨機(jī)森林SVM邏輯回歸ANN44影像組學(xué)分類(lèi)模型訓(xùn)練隨機(jī)森林SVM邏輯回歸ANN44影像組學(xué)分類(lèi)模型測(cè)試測(cè)試選型性能指標(biāo)45影像組學(xué)分類(lèi)模型測(cè)試測(cè)試選型性能指標(biāo)45總生存期預(yù)測(cè)結(jié)果訓(xùn)練集KM生存曲線(xiàn)46驗(yàn)證集KM生存曲線(xiàn)總生存期預(yù)測(cè)結(jié)果訓(xùn)練集KM生存曲線(xiàn)46驗(yàn)證集KM生存曲線(xiàn)Molecular-ClinicalNomogramRad-Mol-ClinicalNomogramCalibrationCurveCalibrationCurve47Radiomics-Molecular-Clinical

NomogramMolecular-ClinicalNomogramMultilayer

Nomogram:

提升預(yù)后性能ModelsBrier

ScoreC-IndexIDIAUC12monthsSingle

layerClinical0.1350.62-0.705Molecular(IDH1+MGMT+1p19q)0.1200.710.0840.756Radiomics0.1310.700.0360.720Deep

Learning0.1250.730.0650.769Two

layerClinical+Molecular0.1190.730.0900.765Clinical+Radiomics0.1120.750.1080.771Molecular+Radiomics0.1050.790.1100.805MultilayerRadiomics+Molecular+Clinical0.0950.810.1190.82548K-MCurvefor

MultilayermodelDecisionCurveMultilayerNomogram:提升預(yù)后性能Mod應(yīng)用2：MRI深度學(xué)習(xí)生存分析術(shù)前磁共振影像預(yù)測(cè)腦膠質(zhì)瘤病人總生存期臨床問(wèn)題磁共振深度學(xué)習(xí)是否可以預(yù)測(cè)膠母瘤病人總生存期？是否優(yōu)于影像組學(xué)？科學(xué)假設(shè)現(xiàn)有不足影像組學(xué)需要手工設(shè)計(jì)并調(diào)試特征工程建立術(shù)前磁共振深度學(xué)習(xí)生存期預(yù)測(cè)模型，與影像組學(xué)模型進(jìn)行性能對(duì)比49研究目標(biāo)應(yīng)用2：MRI深度學(xué)習(xí)生存分析術(shù)前磁共振影像預(yù)測(cè)腦膠質(zhì)瘤病人DeepAttentionSurvival

Model3D

Resnet金字塔注意力機(jī)制數(shù)據(jù)預(yù)處理-log最大似然LOSS+L250DeepAttentionSurvivalModel3DeepAttentionSurvival

ModelAttentionMapPredictionPerformance51DeepAttentionSurvivalModelAMGMT啟動(dòng)子甲基化是重要分子標(biāo)志物NEnglJMed,

2005;352NatureReviewsDP,vol1,

2015重要的預(yù)測(cè)和預(yù)后分子標(biāo)志物52MGMT啟動(dòng)子甲基化是重要分子標(biāo)志物NEnglJMed應(yīng)用3：MRI智能分析預(yù)測(cè)MGMT啟動(dòng)子甲基化依靠術(shù)前MRI影像無(wú)創(chuàng)檢測(cè)腦膠質(zhì)瘤MGMT啟動(dòng)子甲基化臨床問(wèn)題磁共振智能分析是否可以預(yù)測(cè)膠母瘤MGMT甲基化？如何進(jìn)行解釋?zhuān)靠茖W(xué)假設(shè)現(xiàn)有不足術(shù)中取組織，做分子病理檢測(cè)建立術(shù)前磁共振MGMT甲基化人工智能預(yù)測(cè)模型，嘗試進(jìn)行解釋53研究目標(biāo)應(yīng)用3：MRI智能分析預(yù)測(cè)MGMT啟動(dòng)子甲基化依靠術(shù)前MRI特征選擇方法對(duì)于Radiomics的影響Thenbestfeaturesarenotthebestnfeatures

All-relevantFeaturesMWU

FDR-p<0.05