基于多種染色病理圖像的非炎性主動脈中膜變性計算機(jī)輔助診斷方法

基于多種染色病理圖像的非炎性主動脈中膜變性計算機(jī)輔助診斷方法胸主動脈瘤及夾層（TAA/TAD）是最復(fù)雜、最危重的心血管疾病之一[1]，此類疾病的臨床表現(xiàn)特異性差，常被誤診為心肌梗死而錯失搶救時間，明確病因、及時診斷以及手術(shù)干預(yù)是提高TAA/TAD患者生存率的關(guān)鍵。結(jié)合臨床特點及術(shù)后標(biāo)本病理學(xué)表現(xiàn)，有利于分析此類疾病的發(fā)生機(jī)制及影響因素。因此，準(zhǔn)確的病理診斷結(jié)果對TAA/TAD的病因?qū)W研究具有重要意義。中膜變性（MD）是TAA/TAD的主要病理改變。心血管病理學(xué)會及歐洲心血管病理協(xié)會制訂的共識（2016版）[2]對于非炎性主動脈病變提出了統(tǒng)一診斷方案，并根據(jù)MD分類及病變程度明確了分級標(biāo)準(zhǔn)。在上述診斷標(biāo)準(zhǔn)中，MD包括層內(nèi)型黏液樣細(xì)胞外基質(zhì)聚集（MEMA-I）、穿透型黏液樣細(xì)胞外基質(zhì)聚集（MEMA-T）、彈力纖維斷裂和/或缺失（EFFL）、平滑肌細(xì)胞核缺失（SMCNL）、層狀中膜崩解（LMC）5個量化指標(biāo)。常規(guī)診斷方法需病理醫(yī)師于顯微鏡下觀察HE染色切片，并結(jié)合特殊染色及免疫組化染色的病灶性質(zhì)進(jìn)行輔助評估（圖1），將5個量化指標(biāo)進(jìn)行病變程度判定并將所有病變區(qū)域綜合分析，才可得出最終診斷結(jié)果。圖1

同一病變部位5種不同染色的中膜變性病理圖像（×20）A.常規(guī)HE染色；B.彈力纖維/VanGieson（彈力/VG）染色示彈力纖維呈黑色，斷裂、排列紊亂（箭頭）；C.阿辛藍(lán)/過碘酸雪夫（AB/PAS）染色示黏液聚集呈藍(lán)色（箭頭）；D.Masson染色示膠原纖維呈藍(lán)色（黑色箭頭），肌纖維呈紅色（紅色箭頭）；E.平滑肌肌動蛋白（SMA）染色示平滑肌纖維呈棕黃色（箭頭）該診斷方法不僅工作量大、耗時費(fèi)力，且受主觀因素影響，診斷準(zhǔn)確率低且結(jié)果一致性差。計算機(jī)輔助診斷(CAD)可為MD的評估提供新的診斷途徑。由于LMC繼發(fā)于SMCNL，MD的診斷可進(jìn)行簡化，僅針對非炎性主動脈組織中的MEMA-I、MEMA-T、EFFL及SMCNL進(jìn)行分類量化。本團(tuán)隊在既往研究中，基于CAD技術(shù)已實現(xiàn)了非炎性主動脈MDHE染色病理圖像4分類[3]，經(jīng)反復(fù)模型調(diào)試與測試，模型整體分類準(zhǔn)確率可達(dá)98.78%[4]。但該診斷方法在應(yīng)用時仍存在諸多挑戰(zhàn)，如僅依靠單一染色圖像對病變范圍及病變間的相互關(guān)系不易把握，進(jìn)而造成綜合診斷時輔助分級難度大，不利于最終分級軟件的運(yùn)行與研究等。本研究對既往模型進(jìn)行優(yōu)化與改進(jìn)，以解決前期研究中存在的問題。1材料與方法1.1一般材料與分組1.1.1材料回顧性收集2018年7—12月首都醫(yī)科大學(xué)附屬北京安貞醫(yī)院TAA/TAD患者的非炎性主動脈手術(shù)標(biāo)本病理切片。納入標(biāo)準(zhǔn)：（1）按照國際共識中的標(biāo)準(zhǔn)[2]，患者均診斷為TAA/TAD非炎性主動脈病變且均行手術(shù)治療；（2）每組切片均包括HE染色、特殊染色(彈力纖維/VanGieson、Masson、阿辛藍(lán)/過碘酸雪夫)及平滑肌肌動蛋白染色5種染色的病理圖像。排除標(biāo)準(zhǔn)：切片質(zhì)量不合格。1.1.2分組采用3DHistechPannoramicScan數(shù)字玻片掃描系統(tǒng)以400倍率將病理切片掃描為全視野數(shù)字圖像（WSI）[5]。由2名病理科醫(yī)師依據(jù)共識[2]，采用CaseViewer軟件對WSI中的病變進(jìn)行標(biāo)注（標(biāo)注不一致時需經(jīng)另1名高級職稱醫(yī)師進(jìn)行復(fù)核）。將標(biāo)注后的WSI圖像按6:1的比例隨機(jī)分為訓(xùn)練集和測試集，分別用于模型訓(xùn)練與評價。為避免分類偏差，隨機(jī)分組時應(yīng)保證訓(xùn)練集和測試集包含相同的病變類型分布，且2個數(shù)據(jù)集不可同時包含來自同一患者的圖像。本研究已通過首都醫(yī)科大學(xué)附屬北京安貞醫(yī)院倫理審查委員會審批（審批號：2018088X），并豁免患者知情同意。1.2方法1.2.1數(shù)據(jù)增強(qiáng)在臨床數(shù)據(jù)較為有限的情況下，所標(biāo)注的圖像數(shù)據(jù)類別常出現(xiàn)不平衡現(xiàn)象。此時，可通過數(shù)據(jù)增強(qiáng)[4]的方式擴(kuò)大樣本數(shù)據(jù)。本研究通過圖像旋轉(zhuǎn)的方法進(jìn)行數(shù)據(jù)增強(qiáng)，即將標(biāo)注后的WSI隨機(jī)裁剪后分別旋轉(zhuǎn)60°、90°、180°和270°，可產(chǎn)生5倍的圖像樣本，避免因數(shù)據(jù)過少導(dǎo)致模型過擬合現(xiàn)象。1.2.2圖像預(yù)處理1.2.2.1顏色歸一化病理切片在取材、制片、圖像掃描等過程中，由于個體組織樣本的差異性、醫(yī)師經(jīng)驗和掃描儀參數(shù)設(shè)定的不同，會造成WSI圖像顯色存在差異。采用基于染色分離的歸一化法[6]可減少圖像的顏色差異，并保留圖像中的關(guān)鍵信息，盡可能保存細(xì)胞內(nèi)的結(jié)構(gòu)信息，提升模型的分類性能(圖2)。圖2

顏色歸一化處理前后的病理圖像比較A.處理前；B.處理后1.2.2.2圖像分級配準(zhǔn)由于制片的差異及人工標(biāo)注的局限性，前期處理所獲取的同一組織相同部位病變的相鄰切面病理圖像不可能完全相同，通過簡單疊加的方式并不能得到所需圖像，因此需通過可變形配準(zhǔn)方法將多張不同染色的圖像進(jìn)行配準(zhǔn)。此外，染色病理圖像的尺寸約為9萬×18萬像素（最高分辨率水平），以現(xiàn)有計算機(jī)的性能，使用現(xiàn)有的配準(zhǔn)算法幾乎無法直接完成圖像配準(zhǔn)任務(wù)。因此，本研究提出一種分級配準(zhǔn)方法，對低、高分辨率的病理圖像依次進(jìn)行配準(zhǔn)。在低分辨率水平下，采用基于圖像特征的粗輪廓配準(zhǔn)算法，提取基于尺度不變特征變換（SIFT）的圖像特征[7]進(jìn)行圖像輪廓配準(zhǔn)，可保證圖像內(nèi)部細(xì)節(jié)不會有較大失真?；赟IFT的算法完成輪廓配準(zhǔn)后得到的病灶切面圖像可能存在錯位現(xiàn)象，無法滿足病理圖像信息融合的要求。基于灰度強(qiáng)度的配準(zhǔn)算法具有較好的魯棒性，在處理多模態(tài)醫(yī)學(xué)圖像的配準(zhǔn)中應(yīng)用廣泛。在得到高分辨率水平下的病灶切面圖像后，使用基于灰度強(qiáng)度的配準(zhǔn)算法，可實現(xiàn)病灶切面圖像內(nèi)部位置配準(zhǔn)。配準(zhǔn)過程中，選取的變換模型為仿射變換，配準(zhǔn)評價指標(biāo)為互信息，迭代器為Adam。1.2.3模型設(shè)計本研究基于SE-EmbraceNet網(wǎng)絡(luò)結(jié)構(gòu)，首次構(gòu)建MD多分類模型。該模型可分為3個部分：輸入層、融合層和分類層。輸入層用于提取不同染色病理圖像的特征。融合層中，使用SENet[8]進(jìn)行特征重標(biāo)定，并獲取不同染色病理圖像間的融合權(quán)重，實現(xiàn)特征融合。分類層中，引入Dropout機(jī)制[9]避免模型對某種染色圖像的過度學(xué)習(xí)，提高模型的泛化能力，并將最終分類結(jié)果通過Softmax模型輸出。1.2.3.1輸入層設(shè)計SE-EmbraceNet為一個包含5個輸入通道的輕量級分類模型，每個通道結(jié)構(gòu)相同，均由卷積層、池化層及全連接層組成。每個通道分別輸入一種染色的主動脈病理圖像。本研究以x(k)表示第k個輸入通道的輸入向量，其中k∈{1,2,3,4,5}。第k個輸入通道i層的輸出向量可表示為公式（1）：其中wi(k)和bi(k)分別為權(quán)重向量和偏置。yi(k)經(jīng)過激活函數(shù)fa（線性修正單元ReLU或Sigmoid），可得到k個輸入通道的輸出向量，見公式（2）：其中zk=［z1(k)，z2(k),…,z512(k)］T，所有輸出向量(z1，z2，z3，z4，z5)均為512維的向量。1.2.3.2融合層設(shè)計融合層特征圖像的輸入尺寸為5×1×512。通過SENet模塊可進(jìn)行圖像特征融合，具體算法設(shè)計參照合作單位前期研究成果[10]。在模型訓(xùn)練過程中，SENet模型引入了注意力機(jī)制，可自動對染色通道進(jìn)行判定，提升有診斷價值染色通道的權(quán)重，并降低對病理診斷意義不大的染色通道的權(quán)重，即“特征重標(biāo)定”策略。具體過程包括三個步驟。步驟一，為獲取某種染色病理圖像的全局特征，采用全局平均池化層進(jìn)行特征圖處理，計算方法見公式（3）：其中，h

和w

分別為輸入通道池化層中特征圖z

的長和寬，u

為池化層的輸出特征圖。步驟二，基于通道注意力機(jī)制，獲取特征通道間的依賴關(guān)系，方法見公式（4）：其中s

為融合權(quán)重，σ

表示激活函數(shù)Sigmoid，w1、w2分別為連接層的參數(shù)，fb表示激活函數(shù)ReLU。共包含2個全連接層的結(jié)構(gòu)，第1個全連接層起到降維的作用，第2個全連接層用于將特征圖恢復(fù)至原始維度。步驟三，將步驟二獲取的病理圖像融合權(quán)重通過加權(quán)至特征圖，實現(xiàn)對各染色通道原始特征的重新標(biāo)定，從而利用各類染色圖像的特征進(jìn)行更高效訓(xùn)練。計算過程見公式（5）：其中，fscale表示基于通道的乘法操作，t

為完成特征重組的特征圖，最終所輸出的特征圖尺寸為5×1×512。1.2.3.3分類層設(shè)計為避免模型過擬合，通過Dropout機(jī)制調(diào)控分類層輸入，以有效避免訓(xùn)練階段對特定染色圖像的過度學(xué)習(xí)。全連接層緊跟Dropout層，神經(jīng)元總數(shù)為1×1×512。最后通過Softmax激活函數(shù)獲取4種MD病變類型（SMCNL、EFFL、MEMA-I以及MEMA-T）分類結(jié)果。其中SMCNL為主動脈中膜多個層狀單位內(nèi)的平滑肌細(xì)胞核不能清晰識別；EFFL為主動脈中膜廣泛的穿層狀彈力纖維斷裂和/或缺失以及層狀彈力纖維間隔增大；MEMA-I是指主動脈中膜黏液樣細(xì)胞外基質(zhì)增加，但層狀結(jié)構(gòu)無顯著改變；MEMA-T是指主動脈中膜黏液樣細(xì)胞外基質(zhì)增加且層狀結(jié)構(gòu)存在不同程度改變。1.3模型運(yùn)算環(huán)境采用基于PyTorch的深度學(xué)習(xí)框架進(jìn)行模型搭建，采用高性能計算平臺（華為G5500系列服務(wù)器）和NVIDIAV100GPU卡進(jìn)行模型訓(xùn)練，采用MatlabR2018b平臺和Python3.7對圖像進(jìn)行預(yù)處理。1.4評價指標(biāo)雖然MD包括4種病變，但本研究在分類結(jié)果評價時采用二分類評價方法，即在識別某一種病變類型時，其余3種病變均被歸為非同組類別。采用準(zhǔn)確率、靈敏度、精確率、F1值（靈敏度和精確率的調(diào)和均值）對分類結(jié)果的性能進(jìn)行量化，計算公式為：其中，TP（truepositive）為真陽性，F(xiàn)P（falsepositive）為假陽性，TN（truenegative）為真陰性，F(xiàn)N（falsenegative）為假陰性，PRE（precision）為精確率，SEN（sensitivity）為靈敏度。1.5統(tǒng)計學(xué)處理采用SPSS23.0軟件進(jìn)行統(tǒng)計學(xué)分析，采用MicrosoftExcel2016軟件繪制圖像分類結(jié)果的柱狀圖。準(zhǔn)確率、靈敏度、精確率、F1值為計數(shù)資料，以百分?jǐn)?shù)表示。2結(jié)果2.1數(shù)據(jù)集共入選符合納入和排除標(biāo)準(zhǔn)的TAA/TAD患者非炎性病變主動脈手術(shù)標(biāo)本病理切片530張(手術(shù)標(biāo)本106份)?？偺崛?265組圖像（每組包含同一病變部位5種染色病理圖像），其中SMCNL1153組、EFFL2348組、MEMA-I1559組、MEMA-T205組。訓(xùn)練集包括4513組圖像，其中SMCNL987組、EFFL2013組、MEMA-I1337組、MEMA-T176組；測試集包括752組圖像，其中SMCNL166組、EFFL335組、MEMA-I222組、MEMA-T29組。2.2模型分類結(jié)果模型對測試集4種病變圖像的識別、分類能力良好，絕大部分圖像可被正確分類，僅個別圖像分類錯誤（圖3）。圖3

模型對測試集主動脈中膜變性病理圖像的四分類結(jié)果SMCNL:平滑肌細(xì)胞核缺失；EFFL:彈力纖維斷裂和/或缺失；MEMA-I:層內(nèi)型黏液細(xì)胞樣細(xì)胞外基質(zhì)聚集；MEMA-T:穿透型黏液樣細(xì)胞外基質(zhì)聚集其中2組SMCNL圖像被錯分為EFFL，2組被錯分為MEMA-I；4組EFFL圖像被錯分為MEMA-I，1組被錯分為MEMA-T，提示當(dāng)存在MEMA-I病變時，其圖像特征會對模型識別EFFL病變有一定干擾。此外，分別有3、3、5組MEMA-I圖像被錯分為SMCNL、EFFL、MEMA-T；6組MEMA-T圖像被錯分為MEMA-I，提示相較于MEMA-I，模型對MEMA-T病變的識別具有較高特異性，被錯分為SMCNL及EFFL的概率均為0。2.3模型評價除對MEMA-T分類的靈敏度、精確率和F1值均為79.31%外（由于測試數(shù)據(jù)集中包含的MEMA-T樣本較少，數(shù)據(jù)分類不平衡），SE-EmbraceNet模型識別MD4種病變類型的準(zhǔn)確率、靈敏度、精確率、F1值均高于90%，整體準(zhǔn)確率為96.54%（726/752），提示模型的整體分類效果良好。其中對EFFL的識別能力最強(qiáng)，準(zhǔn)確率、靈敏度、精確率和F1值均≥98.51%，其次為SMCNL，各指標(biāo)均≥97.59%，亦具有較好的分類能力。相較SMCNL和EFFL，模型對MEMA-I、MEMA-T的識別能力略差（表1）。表1

模型在測試集中的評價結(jié)果（%）3討論MD病變類型的識別與評估可為TAA/TAD的診斷和早期干預(yù)提供重要參考依據(jù)。鑒于目前通過人工顯微鏡下閱片完成MD病變分類及TAA/TAD診斷的方式存在主觀性強(qiáng)、工作量大等局限性，本研究團(tuán)隊在既往研究成果的基礎(chǔ)上，提出了基于SE-EmbraceNet網(wǎng)絡(luò)結(jié)構(gòu)的MD病變多分類模型，結(jié)果顯示該模型對4種病變類型的分類能力良好（多數(shù)評價指標(biāo)高于90%），其中對EFFL的識別能力最強(qiáng)（各評價指標(biāo)均≥98.51%），其次為SMCNL（各評價指標(biāo)均≥97.59%）。WSI圖像蘊(yùn)含豐富的表型信息，是監(jiān)測疾病進(jìn)展、判斷病灶嚴(yán)重程度、研究疾病潛在機(jī)制的重要手段。人工智能已成為解析病理圖像的先進(jìn)技術(shù)，廣泛應(yīng)用于乳腺癌、肺癌、肝癌、宮頸癌等惡性腫瘤的分類識別與鑒別診斷[11-14]。目前，CAD在病理領(lǐng)域中的研究成果多集中于腫瘤區(qū)域，在非腫瘤性病變中的應(yīng)用較少。關(guān)于TAA/TAD，有限的相關(guān)研究主要基于影像圖像分割或分類，聚焦于根據(jù)幾何形態(tài)對主動脈腫瘤進(jìn)行分類，以評估其危險程度，并對主動脈夾層進(jìn)行分類與診斷[15]。探索主動脈非炎性病理改變的CAD模型有助于評估其在間質(zhì)性病變分析中的可行性，為間質(zhì)性病變相關(guān)研究提供思路。本研究團(tuán)隊在前期研究中已證實，人工智能算法在保持高準(zhǔn)確率的前提下，對主動脈MD病變的識別具有人工閱片無法比擬的速度優(yōu)勢，可節(jié)約病理科醫(yī)生人工初判的時間。目前，本團(tuán)隊已在單一染色非炎性主動脈MD病理圖像病變識別相關(guān)研究中得到了較為可觀的分類結(jié)果，課題組先后應(yīng)用ResNet模型及GoolgeNet模型對單一染色病理圖像判讀，整體準(zhǔn)確率分別為96.32%和98.78%[3-4]。尤其GoolgeNet單一染色模型的各項指標(biāo)均較理想，但單一染色模型在軟件轉(zhuǎn)化及數(shù)據(jù)整合時的適用性不高。因此，若通過軟件獨(dú)立完成最終的主動脈MD診斷分級，多種染色病理圖像分類模型的研究勢在必行。圖像信息融合是進(jìn)行多種染色病理圖像分類面臨的最大挑戰(zhàn)?；谏鲜鲅芯砍晒n題組首次提出了SE-EmbraceNet模型，其為輕量級神經(jīng)網(wǎng)絡(luò)模型，通過搭載SENet模塊，實現(xiàn)了多種染色病理圖像信息融合。SENet自注意力機(jī)制可對融合層各染