T-CIATCM 111-2024 中醫(yī)四診合參病案數(shù)據(jù)處理和融合規(guī)范

ICS35.240.80DataProcessingandIntegrationStandardsforMedicalCaseswithCombiDiagnosticMethodsofTraditionalChineseMedicine中國(guó)中醫(yī)藥信息學(xué)會(huì)發(fā)布IT/CIATCM111—2024 2規(guī)范性引用文件 3術(shù)語(yǔ)和定義 4規(guī)范性技術(shù)要素 4.1總體規(guī)范內(nèi)容 4.2總體數(shù)據(jù)流程圖 4.3具體規(guī)范內(nèi)容 附錄A（規(guī)范性附錄）數(shù)據(jù)安全規(guī)范 A.1系統(tǒng)安全要求 T/CIATCM111—2024本文件參照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分:標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專利的責(zé)任。本文件由中國(guó)中醫(yī)科學(xué)院醫(yī)學(xué)實(shí)驗(yàn)中心提出。本文件由中國(guó)中醫(yī)藥信息學(xué)會(huì)歸口。本文件起草單位：中國(guó)中醫(yī)科學(xué)院醫(yī)學(xué)實(shí)驗(yàn)中心、清華大學(xué)、博奧生物集團(tuán)有限公司、上海中醫(yī)藥大學(xué)、天津帕斯泰克醫(yī)療器械有限公司、成都中醫(yī)藥大學(xué)、北京中醫(yī)藥大學(xué)東直門醫(yī)院、蘇州思必馳科技有限公司。本文件主要起草人：汪南玥、徐華、李福鳳、王東、溫川飆、劉佳、田貴華、錢鵬、王文君、駱學(xué)榮、吳至婧、余文夢(mèng)、毛惠生、李心怡、周躍。T/CIATCM111—2024中醫(yī)四診合參是中醫(yī)診斷中最重要的思想之一，中醫(yī)四診客觀化數(shù)據(jù)進(jìn)行融合研究是中醫(yī)診斷現(xiàn)代化的必然發(fā)展趨勢(shì)。中醫(yī)四診合參數(shù)據(jù)源自中醫(yī)的“望聞問(wèn)切”四種診斷方式，結(jié)合多種中醫(yī)診斷設(shè)備，采集受試者后得到的文本、音頻和圖片等多模態(tài)數(shù)據(jù)。由于采集過(guò)程的長(zhǎng)期性、多種診斷模式以及處理數(shù)據(jù)、分析方法的復(fù)雜性，使中醫(yī)四診合參數(shù)據(jù)處理及融合進(jìn)展緩慢。本文件通過(guò)對(duì)四診合參中的多個(gè)單模態(tài)數(shù)據(jù)的數(shù)據(jù)采集及數(shù)據(jù)格式、數(shù)據(jù)處理過(guò)程進(jìn)行規(guī)范，并將多個(gè)單模態(tài)特征融合的過(guò)程進(jìn)行規(guī)范，這樣，可以更好地綜合各個(gè)模態(tài)特征的優(yōu)勢(shì)，挖掘數(shù)據(jù)的潛能，從而提升病情預(yù)測(cè)的準(zhǔn)確率。1T/CIATCM111—2024中醫(yī)四診合參病案數(shù)據(jù)處理和融合規(guī)范本文件通過(guò)對(duì)四診合參中的多個(gè)單模態(tài)數(shù)據(jù)的采集、格式、處理過(guò)程進(jìn)行規(guī)范并對(duì)多個(gè)單模態(tài)特征融合的過(guò)程進(jìn)行規(guī)范，可開展四診合參數(shù)據(jù)的處理、分析與研究工作。本文件適用于中醫(yī)四診合參數(shù)據(jù)的采集、處理及融合應(yīng)用，中醫(yī)師、中西醫(yī)結(jié)合醫(yī)師、臨床數(shù)據(jù)采集人員、相關(guān)科研人員、數(shù)據(jù)分析人員等可依據(jù)本文件，在中醫(yī)科研機(jī)構(gòu)、數(shù)據(jù)分析機(jī)構(gòu)、中醫(yī)醫(yī)療機(jī)構(gòu)、中醫(yī)藥企業(yè)等適合場(chǎng)所開展中醫(yī)四診合參數(shù)據(jù)處理、分析與融合等研究工作。2規(guī)范性引用文件下列文件對(duì)于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T40665.1—2021中醫(yī)四診操作規(guī)范第1部分：望診GB/T40665.2—2021中醫(yī)四診操作規(guī)范第2部分：聞診GB/T40665.3—2021中醫(yī)四診操作規(guī)范第3部分：?jiǎn)栐\GB/T40665.4—2021中醫(yī)四診操作規(guī)范第4部分：切診T/CIATCM058—2019中醫(yī)藥信息標(biāo)準(zhǔn)編制通則3術(shù)語(yǔ)和定義下列術(shù)語(yǔ)和定義適用于本文件3.1數(shù)據(jù)采集dataacquisition工作人員使用輔助設(shè)備對(duì)受試者進(jìn)行數(shù)據(jù)收集的過(guò)程，包括望診數(shù)據(jù)，主要為舌、面診與目診的圖片采集；聞診數(shù)據(jù)主要為音頻的采集；問(wèn)診數(shù)據(jù)，主要通過(guò)臨床量表與相關(guān)生理參數(shù)填寫的文本表格數(shù)據(jù)；切診數(shù)據(jù)主要為脈搏波信號(hào)數(shù)據(jù)。3.2數(shù)據(jù)處理dataprocessing指將望聞問(wèn)切的原始數(shù)據(jù)轉(zhuǎn)換為對(duì)應(yīng)特征向量的過(guò)程。該過(guò)程包含數(shù)據(jù)預(yù)處理，如舌、面診與目診的圖片，音頻降噪等；以及特征提取等步驟。3.3數(shù)據(jù)融合datafusion指考慮不同模態(tài)的特異性和互補(bǔ)性，從而進(jìn)行有效的特征拼接、張量融合等方法對(duì)望聞問(wèn)切“四診”特征的有效融合和預(yù)測(cè)，融合后的特征包含更全面的信息，增強(qiáng)數(shù)據(jù)可靠性。4規(guī)范性技術(shù)要素4.1總體規(guī)范內(nèi)容中醫(yī)四診合參數(shù)據(jù)，是通過(guò)對(duì)受試者進(jìn)行中醫(yī)“望聞問(wèn)切”四種診斷方式，結(jié)合多種中醫(yī)診斷設(shè)備，2T/CIATCM111—2024采集得到的文本、音頻和圖片等多模態(tài)數(shù)據(jù)。四診合參數(shù)據(jù)主要包括以下四個(gè)方面的內(nèi)容：a）望診數(shù)據(jù)（圖片，主要為舌、面診與目診）b）聞診（聲音）數(shù)據(jù)（音頻，聲音的采集）c）問(wèn)診數(shù)據(jù)（表格數(shù)據(jù)，臨床量表與相關(guān)生理參數(shù)的填寫）d）切診（脈診）數(shù)據(jù)（文本數(shù)據(jù)，為脈搏波的信號(hào)數(shù)據(jù)）在獲得上述數(shù)據(jù)后，需結(jié)合計(jì)算機(jī)算法輔助進(jìn)行數(shù)據(jù)處理和數(shù)據(jù)融合，以便后期數(shù)據(jù)分析，達(dá)到更好的診斷目的。因此，本文件主要涵蓋以下三方面的內(nèi)容：a）數(shù)據(jù)采集、格式規(guī)范：明確開展病例數(shù)據(jù)采集內(nèi)容、數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)格式等要求，內(nèi)容引用《中醫(yī)四診信息病案數(shù)據(jù)采集規(guī)范》標(biāo)準(zhǔn)。b）數(shù)據(jù)處理規(guī)范：明確采集到的四診信息數(shù)據(jù)所需要進(jìn)行的預(yù)處理方法和流程，即將原始數(shù)據(jù)轉(zhuǎn)換為各個(gè)單模態(tài)特征。c）數(shù)據(jù)融合規(guī)范：明確不同單模態(tài)特征的融合方法和流程，最終得到分類器所需的融合特征表示。4.2總體數(shù)據(jù)流程圖總體上，三方面數(shù)據(jù)內(nèi)容的關(guān)系見圖1。圖1總體數(shù)據(jù)流程圖4.3具體規(guī)范內(nèi)容4.3.1數(shù)據(jù)采集規(guī)范a）望診數(shù)據(jù)（圖片，主要為舌、面診與目診）采集，在封閉環(huán)境下保證固定的光照，使用高分辨率的數(shù)字相機(jī)或智能手機(jī)的相機(jī)功能進(jìn)行圖片采集。確保相機(jī)設(shè)置為適當(dāng)?shù)那夜潭ǖ慕嵌群途嚯x，以便捕捉的圖像便于處理。b）聞診（聲音）數(shù)據(jù)（音頻，聲音的采集），使用高質(zhì)量的錄音設(shè)備或智能手機(jī)的錄音功能進(jìn)行音頻采集。在采集音頻數(shù)據(jù)之前，確保設(shè)備處于良好的工作狀態(tài)，并選擇一個(gè)相對(duì)安靜的環(huán)境，以減少背景噪音的干擾。將麥克風(fēng)或錄音設(shè)備放置在合適的位置，以捕捉病人的聲音、呼吸或其他需要記錄的音頻信號(hào)。c）問(wèn)診數(shù)據(jù)（表格數(shù)據(jù)，臨床量表與相關(guān)生理參數(shù)的填寫），使用電子表格、文檔編輯器或?qū)ｉT的數(shù)據(jù)采集工具來(lái)記錄文本數(shù)據(jù)，設(shè)計(jì)合適的表單或模板來(lái)收集病人的相關(guān)信息，如年齡、身高、現(xiàn)病史、家族史等。在采集文本數(shù)據(jù)時(shí)，確保使用清晰、簡(jiǎn)潔的語(yǔ)言，并盡可能詳細(xì)地記錄相關(guān)的醫(yī)療信息。d）切診（脈診）數(shù)據(jù)（文本數(shù)據(jù)，為脈搏波的信號(hào)數(shù)據(jù)），使用脈搏測(cè)量?jī)x器（如血壓計(jì)、心電圖儀等）來(lái)采集病人的脈搏數(shù)據(jù)。遵循正確的操作步驟和技術(shù)，確保準(zhǔn)確測(cè)量和記錄脈搏數(shù)據(jù)。3T/CIATCM111—20244.3.2數(shù)據(jù)處理規(guī)范“望聞問(wèn)切”四診數(shù)據(jù)的存在形式不一，所需要的處理方式亦不同。數(shù)據(jù)處理規(guī)范涵蓋望、聞、問(wèn)、切四診的數(shù)據(jù)處理，適用于數(shù)據(jù)分析人員對(duì)四診合參數(shù)據(jù)進(jìn)行數(shù)據(jù)處理和特征提取。a）望診數(shù)據(jù)處理規(guī)范包括舌、面診與目診數(shù)據(jù)處理規(guī)范。每位受試者的舌、面診數(shù)據(jù)包括三張圖片，分別對(duì)應(yīng)舌面、舌底和面部特征。面部圖片分析中應(yīng)包含至少5個(gè)區(qū)域，分別為額頭、鼻部、右頰、左頰、下頜五大區(qū)域；舌診需要包含舌面與舌下絡(luò)脈兩部分內(nèi)容的分析：舌面需要進(jìn)行舌體分割與苔質(zhì)分離，并分別進(jìn)行舌質(zhì)顏色、舌苔顏色、舌體面積、是否有齒痕、是否有裂紋等關(guān)鍵參數(shù)分析；舌下絡(luò)脈需要進(jìn)行絡(luò)脈分割，并分別進(jìn)行顏色、長(zhǎng)短、粗細(xì)、迂曲走形的分析。目診數(shù)據(jù)包括左眼和右眼共十張圖片，每組圖片分別對(duì)應(yīng)雙眼正視、左視、右視、上視，見圖2。具體處理步驟：①舌面、舌底以及眼部位在圖片中的占比較低，需要先實(shí)現(xiàn)對(duì)應(yīng)的語(yǔ)義分割提取網(wǎng)絡(luò)，從原始圖像中提取舌上和舌下等局部圖像區(qū)域；②設(shè)計(jì)五個(gè)部位的特征提取網(wǎng)絡(luò)；③拼接上述特征，得到望診數(shù)據(jù)的特征表示。在圖像語(yǔ)義分割過(guò)程中去除異常分割像素點(diǎn)。圖2望診數(shù)據(jù)處理規(guī)范圖示b）聞診（聲音）數(shù)據(jù)處理規(guī)范聞診數(shù)據(jù)采集的受試者發(fā)出特定語(yǔ)音與語(yǔ)句時(shí)錄制的語(yǔ)音音頻數(shù)據(jù)。具體處理步驟：①使用音頻特征提取器（eGeMAPS）從受試者的聲音中提取出若干維統(tǒng)計(jì)學(xué)特征，采樣率設(shè)置為16000；②由于提取的特征時(shí)序長(zhǎng)短不一，使用0對(duì)時(shí)序短的特征進(jìn)行填充；③得到聞診數(shù)據(jù)的特征表示。聞診數(shù)據(jù)處理4T/CIATCM111—2024規(guī)范圖示見圖3。聞診信息處理特征需包括：基頻、諧波、共振峰及其頻率、相位與幅值等參數(shù)。圖3聞診數(shù)據(jù)處理規(guī)范圖示c）問(wèn)診數(shù)據(jù)處理規(guī)范問(wèn)診數(shù)據(jù)為記錄受試者信息的若干個(gè)表項(xiàng)數(shù)據(jù)，比如年齡、身高、現(xiàn)病史、家族史等，每一個(gè)表項(xiàng)均可視為一個(gè)特征，具體處理步驟：①將非數(shù)值型特征進(jìn)行數(shù)值化處理；②設(shè)計(jì)特征提取網(wǎng)絡(luò)；③得到問(wèn)診數(shù)據(jù)的特征表示。問(wèn)診數(shù)據(jù)處理規(guī)范圖示見圖4。圖4問(wèn)診數(shù)據(jù)處理規(guī)范圖示d）脈診數(shù)據(jù)處理規(guī)范脈診數(shù)據(jù)指每位受試者6個(gè)部位（左右手的寸、關(guān)、尺）的脈搏搏動(dòng)監(jiān)測(cè)值。具體處理步驟：①根據(jù)脈診數(shù)據(jù)繪制波形圖，設(shè)計(jì)波形模式挖掘網(wǎng)絡(luò)，提取出模式特征；②將脈診數(shù)據(jù)視為信號(hào)數(shù)據(jù)，首先使用傳統(tǒng)信號(hào)處理方法對(duì)輸入數(shù)據(jù)進(jìn)行歸一化、降噪處理和去除基準(zhǔn)漂移，然后計(jì)算數(shù)據(jù)的平均周期波形并獲取平均周期特征。設(shè)計(jì)信號(hào)特征提取網(wǎng)絡(luò)，從而提取出信號(hào)特征；③拼接以上兩種特征，得到脈診數(shù)據(jù)的特征表示。脈診信息特征需包含體現(xiàn)中醫(yī)位、數(shù)、形、勢(shì)等關(guān)鍵特征的參數(shù)，如脈力、脈位、脈率、節(jié)律、脈形等信息，并進(jìn)行6部脈相關(guān)參數(shù)自身對(duì)照或與健康基線進(jìn)行對(duì)照。脈診數(shù)據(jù)處理規(guī)范圖示見圖5。5T/CIATCM111—2024圖5脈診數(shù)據(jù)處理規(guī)范圖示4.3.3數(shù)據(jù)融合規(guī)范對(duì)于望聞問(wèn)切四種模態(tài)信息，首先會(huì)用各自的方法提取出相對(duì)成熟的特征向量。這四種模態(tài)的特征向量的維度不一定相同，對(duì)于特征維度不同的情況，首先會(huì)人為選定一個(gè)標(biāo)準(zhǔn)的維度，然后按照這個(gè)標(biāo)準(zhǔn)維度，對(duì)各個(gè)模態(tài)的特征進(jìn)行線性變換，讓特征的維度都保持一致。對(duì)于維度對(duì)齊后的特征向量，可以采用不同方法進(jìn)行模態(tài)融合。具體有兩類融合方法：a）平凡融合方法，包括第一維度拼接，加權(quán)求和，將四種特征向量按順序進(jìn)行拼接，形成一個(gè)更大的特征向量。這種方法簡(jiǎn)單有效，直接將各個(gè)模態(tài)的特征信息串聯(lián)起來(lái)。b）基于深度學(xué)習(xí)的融合方法，對(duì)于這一類方法，會(huì)額外構(gòu)建一個(gè)模態(tài)融合網(wǎng)絡(luò)，這個(gè)網(wǎng)絡(luò)接收四種模態(tài)的特征向量為輸入，輸出為一個(gè)向量，即為望聞問(wèn)切四種模態(tài)融合后的特征向量。通過(guò)實(shí)驗(yàn)驗(yàn)證，基于深度學(xué)習(xí)的融合方法表現(xiàn)比平凡融合方法會(huì)更好。得到融合后的特征向量之后，將融合后的特征輸入到無(wú)偏置線性層，通過(guò)線性映射將特征維度映射到與分類器對(duì)應(yīng)的特征維度。這一步驟有助于提取出最能表達(dá)中醫(yī)“四診”多模態(tài)信息的有效融合表達(dá)。實(shí)現(xiàn)將多個(gè)單模態(tài)特征進(jìn)行融合，綜合利用各個(gè)模態(tài)的信息，得到一個(gè)綜合且有效的“四診”多模態(tài)特征表示。數(shù)據(jù)融合流程圖示見圖6。圖6數(shù)據(jù)融合流程圖示6T/CIATCM111—2024