基于crf的明清古醫(yī)案識別技術(shù)研究

基于crf的明清古醫(yī)案識別技術(shù)研究

中醫(yī)診斷的原理是“外部隱藏”?；颊叩耐纯嗪筒豢?、膚色、舌頭和脈搏的變化是理解和推測內(nèi)部病理變化的基礎(chǔ)。根據(jù)這些病理癥狀，醫(yī)生通過經(jīng)驗(yàn)確定患者的發(fā)病機(jī)制，并以病歷的形式記錄整個(gè)診斷過程。因此，得出所謂的中醫(yī)病歷，即疾病，是指中醫(yī)治療中與患者有關(guān)的癥狀、發(fā)病機(jī)制、處方和藥物的連續(xù)記錄。中醫(yī)命名的名稱也是指對患者疾病的特定癥狀、發(fā)病機(jī)制、治療方法、處方和藥物的信息。這些單元分為診斷部位、發(fā)病潛力、預(yù)后、醫(yī)學(xué)理論、醫(yī)療建議等。由于醫(yī)家們在錄入醫(yī)案時(shí)主觀隨意性較大,我們在搜集到的一系列醫(yī)案語料中經(jīng)常發(fā)現(xiàn):以上所列中醫(yī)命名實(shí)體的存在是獨(dú)立而非依賴的,也就是說醫(yī)案中并未規(guī)定某一命名實(shí)體出現(xiàn)必定要伴隨有另一中醫(yī)命名實(shí)體的出現(xiàn),既先前闡述的主觀隨意性.同時(shí)我們在整理醫(yī)案語料的過程中還發(fā)現(xiàn)其具有大量不同于其他命名實(shí)體如人名、地名甚至生物醫(yī)學(xué)命名實(shí)體的特點(diǎn).由于論文結(jié)構(gòu)上安排的需要,中醫(yī)命名實(shí)體詳細(xì)特點(diǎn)我們在先引出其他命名實(shí)體后再進(jìn)行闡述.命名實(shí)體識別在新聞?lì)I(lǐng)域如:人名、地名、機(jī)構(gòu)名等方面的研究已經(jīng)獲得了很好的效果,F值評測高達(dá)90%以上,已接近人工標(biāo)注水平.但是目前就我們所掌握的資料還未發(fā)現(xiàn)國內(nèi)有關(guān)于中醫(yī)醫(yī)案命名實(shí)體的相關(guān)研究,而對于該類性質(zhì)的實(shí)體研究主要集中在生物醫(yī)學(xué)命名實(shí)體之上:如蛋白質(zhì)、基因、核糖核酸(RNA)、脫氧核糖核酸(DNA)以及細(xì)胞的名稱等,并且該類命名實(shí)體都是針對英文進(jìn)行.目前針對生物醫(yī)學(xué)命名實(shí)體識別研究準(zhǔn)確率和召回率普遍偏低,較新的數(shù)據(jù)顯示,目前識別的準(zhǔn)確率大概為70%,召回率為77%左右,F值約為74%.主要原因有如下幾個(gè)方面:1)生物醫(yī)學(xué)命名實(shí)體缺乏統(tǒng)一的命名規(guī)范,命名主觀性強(qiáng).2)描述性命名風(fēng)格導(dǎo)致有的命名實(shí)體名稱過長.3)嵌套式結(jié)構(gòu),即有些生物醫(yī)學(xué)命名實(shí)體又包含其他的子實(shí)體.4)連接性實(shí)體,及兩個(gè)實(shí)體成并列性構(gòu)詞.5)隨著醫(yī)學(xué)技術(shù)的不斷進(jìn)步與發(fā)展,新的命名實(shí)體不斷涌現(xiàn).基于以上生物醫(yī)學(xué)命名實(shí)體識別的難點(diǎn),中醫(yī)命名實(shí)體識別不但兼而有之,并且還具有其古漢語特有的問題和難點(diǎn):醫(yī)家的常見錯(cuò)別字以及明清古醫(yī)案中存在著通假字現(xiàn)象和漢語語言獨(dú)特的歧義詞、一詞多義、多詞一義等比較棘手的文法現(xiàn)象,這使得中醫(yī)醫(yī)案的命名實(shí)體識別難度加大.目前,常用的命名實(shí)體識別方法有:1)基于詞典的方法——優(yōu)點(diǎn)是對詞典中收錄的命名實(shí)體具有極高的識別準(zhǔn)確率,但由于新命名實(shí)體不斷出現(xiàn),并且生物醫(yī)學(xué)實(shí)體的命名缺乏統(tǒng)一的規(guī)范,所以基于詞典的模板匹配對于自由文本效果不佳.2)基于啟發(fā)規(guī)則的方法——啟發(fā)規(guī)則方法彌補(bǔ)了詞典方式不能識別未登錄實(shí)體的缺陷,使召回率得到明顯提高,但帶來了準(zhǔn)確率降低的缺點(diǎn),而且人工發(fā)現(xiàn)和編寫規(guī)則比較費(fèi)時(shí)、費(fèi)力、單調(diào).3)基于統(tǒng)計(jì)的方法——近幾年,把基于統(tǒng)計(jì)的方法用于命名實(shí)體識別漸漸已成為研究的熱點(diǎn).與基于規(guī)則的方法相比,基于統(tǒng)計(jì)的方法利用人工標(biāo)注的語料進(jìn)行訓(xùn)練,標(biāo)注語料時(shí)不需要廣博的語言學(xué)知識,并且可以在較短時(shí)間內(nèi)完成,因此這類系統(tǒng)在移植到新的領(lǐng)域時(shí)可以不做或少做改動(dòng).此外,基于統(tǒng)計(jì)的系統(tǒng)要移植到其他自然語言文本也相對容易一些.常見的基于統(tǒng)計(jì)的命名實(shí)體識別方法主要包括隱馬爾可夫模型、最大熵模型、支持向量機(jī)、決策樹以及最新用于NLP的條件隨機(jī)場等.針對上述命名實(shí)體識別方法的優(yōu)缺點(diǎn),結(jié)合中醫(yī)醫(yī)案的特點(diǎn),本文主要采用統(tǒng)計(jì)與規(guī)則相結(jié)合的方法對中醫(yī)醫(yī)案命名實(shí)體進(jìn)行識別研究,在醫(yī)案語料預(yù)處理上采用人工規(guī)則進(jìn)行數(shù)據(jù)清洗,而在識別方面則采用基于統(tǒng)計(jì)的條件隨機(jī)場進(jìn)行識別標(biāo)注,通過仿真實(shí)驗(yàn)驗(yàn)證該方法可以獲得良好的識別效果.1u3000sf模型CRF是一種無向圖模型,可用于最大化條件概率.常用的特殊圖結(jié)構(gòu)是線性鏈,與一個(gè)有限狀態(tài)機(jī)相關(guān),很適合序列標(biāo)注問題.CRF可以克服通常的基于有向圖的模型標(biāo)注依賴的問題,且能更好地結(jié)合各種信息.CRF最早由Lafferty等人于2001年提出,其思想主要來源于最大熵模型(Maxentropy).我們可以把CRF看成是一個(gè)無向圖模型或馬爾可夫隨機(jī)場,它是一種用來標(biāo)記和切分序列化數(shù)據(jù)的統(tǒng)計(jì)框架模型.目前,CRF在解決英語淺層分析、英文命名實(shí)體識別已經(jīng)取得了良好的效果.McCallum等人進(jìn)一步將CRF運(yùn)用到中文分詞與新詞識別任務(wù)中1,其研究成果表明,它能夠適用于中文命名實(shí)體識別的研究任務(wù).CRF是一種無向圖模型,假設(shè)X,Y分別表示需要標(biāo)記的觀察序列和相對應(yīng)的標(biāo)記序列的聯(lián)合分布隨機(jī)變量,那么CRF(X,Y)就是一個(gè)以觀察序列X為條件的無向圖模型.定義G=(V,E)為一個(gè)無向圖,Y={Yv|v∈V},即V中的每個(gè)節(jié)點(diǎn)對應(yīng)于一個(gè)隨機(jī)變量所表示的標(biāo)記序列的元素Yv.如果每個(gè)隨機(jī)變量Yv對于G遵守馬爾可夫?qū)傩?即前面所提到的條件獨(dú)立性,那么(X,Y)就構(gòu)成一個(gè)CRF,而且在給定X和所有其他隨機(jī)變量Y{u|u≠v,{u,v}∈V}的條件下,隨機(jī)變量Yv的概率P(Yv|X,Yu,u≠v,{u,v}∈V)=P(Yv|X,Yu,(u,v)∈E).理論上,圖G的結(jié)構(gòu)可以是任意的,它描述標(biāo)記序列中的條件獨(dú)立性.但建立模型時(shí),最簡單和最普遍的無向圖結(jié)構(gòu)是線性鏈的結(jié)構(gòu)(圖1).圖中非陰影節(jié)點(diǎn)表示的觀察值序列并不是由模型產(chǎn)生的.鏈狀CRF假設(shè)在各個(gè)輸出節(jié)點(diǎn)之間存在一階馬爾可夫獨(dú)立性.需要說明的是,X的元素間并不存在圖的結(jié)構(gòu),因?yàn)槲覀冎皇菍⒂^察序列作為條件,而并不對X做任何的獨(dú)立假設(shè).因此鏈狀CRF也可以用圖2表示.CRF中每個(gè)狀態(tài)轉(zhuǎn)移都對應(yīng)一個(gè)非歸一化的權(quán)值,這意味著在CRF模型中的轉(zhuǎn)移是區(qū)別對待的.因此,對任何給定的狀態(tài)都可能會放大或縮小其傳遞到后繼狀態(tài)的概率分配,而任意狀態(tài)序列的權(quán)值則由全局歸一化因子給出,從而CRF也就避免了標(biāo)記偏置問題的發(fā)生1.假設(shè)O是一個(gè)值可以被觀察的輸入隨機(jī)變量集合,S是一個(gè)值能夠被模型預(yù)測的輸出隨機(jī)變量的集合,且這些輸出隨機(jī)變量之間通過指示依賴關(guān)系的無向邊所連接.讓C(S,O)表示這個(gè)圖中的團(tuán)的集合,CRF將輸出隨機(jī)變量值的條件概率定義為與無向圖中各個(gè)團(tuán)的勢函數(shù)的乘積成正比,即ΡA(S|Ο)=1ΖΟ∏c∈C(S,Ο)Φc(Sc,Οc),其中Φc(Sc,Oc)表示團(tuán)c的勢函數(shù).當(dāng)圖形模型中的各輸出結(jié)點(diǎn)被連接成一條線性鏈的特殊情形下,CRF假設(shè)在各個(gè)輸出結(jié)點(diǎn)之間存在一階馬爾可夫獨(dú)立性,二階或更高階的模型可類似擴(kuò)展.若讓O=(O1,O2,…,OT)表示被觀察的輸入數(shù)據(jù)序列,讓S=(S1,S2,…,ST)表示一個(gè)狀態(tài)序列.在給定一個(gè)輸入序列的情況下,線性鏈的CRF定義狀態(tài)序列的條件概率為ΡA(S|Ο)=1ΖΟexp(Τ∑t=1Κ∑k=1λkfk(St-1,St,Ο,t),其中fk(St-1,St,O,t)是一個(gè)任意的特征函數(shù),λk是每個(gè)特征函數(shù)的權(quán)值.歸一化因子ZO為ΖΟ=∑Sexp(Τ∑t=1Κ∑k=1λkfk(St-1,St,Ο,t)).2實(shí)驗(yàn)數(shù)據(jù)與分析.實(shí)驗(yàn)中采用的分詞系統(tǒng)是中科院的ICTCLAS,實(shí)驗(yàn)的最終目的是對中醫(yī)醫(yī)案中的癥狀和病機(jī)這兩類命名實(shí)體進(jìn)行良好的識別與標(biāo)注.同時(shí)本文采用東北大學(xué)張樂博士的Maxentropy工具包以及ChangChih-Chung等開發(fā)的libsvm-2.84與CRF進(jìn)行對比性實(shí)驗(yàn)驗(yàn)證.2.1清洗慣常的豐富在使用ICTCLAS得到一個(gè)粗分詞結(jié)果后,針對引言中描述的識別需要解決的幾個(gè)難點(diǎn)問題,在采用CRF工具包進(jìn)行特征訓(xùn)練與測試之前,必須要先對該語料進(jìn)行相關(guān)的數(shù)據(jù)清洗工作,詳細(xì)清洗流程如下:1)過濾無用詞性針對當(dāng)時(shí)的語言環(huán)境,明清醫(yī)家在記錄醫(yī)案時(shí),常會使用諸如“之”、“乎”、“者”、“也”這類的嘆詞、助詞.我們認(rèn)為這些詞性對于識別癥狀、病機(jī)不但是無用的,反而會給CRF的特征空間帶來冗余,因此有必要在數(shù)據(jù)清洗時(shí)將這些詞性刪除.2)校正錯(cuò)別字與通假字同現(xiàn)代文一樣,明清醫(yī)案也時(shí)常會出現(xiàn)一些錯(cuò)別字.這里提到的錯(cuò)別字并非筆誤而是由于語言文化習(xí)慣而出現(xiàn)的普遍性錯(cuò)誤,如現(xiàn)代文中時(shí)常將“走投無路”寫成“走頭無路”,古文中也常將“神不守舍”寫成“神不守色”.我們所作的清洗工作便是將這類慣常的錯(cuò)別字進(jìn)行糾正.通假字也是古文的一大特點(diǎn),參閱《中醫(yī)藥通假字字典》,常見的通假字諸如:“目”通“木”,“麻目”即“麻木”,“跗”通“浮”,“跗腫”即“浮腫”.對這些通假字進(jìn)行校正有助于得出更好的語料模型.3)歧義詞的切分修正漢語不同于英語的一個(gè)最大特點(diǎn)就是漢語的文字之間沒有空格以示區(qū)分,而英語中每個(gè)單詞都是由空格分隔而成的.這樣便造成了漢語中特有的歧義詞現(xiàn)象,例如:ICTCLAS切分“胸腹脹滿”的結(jié)果為[胸/ng腹脹/v滿/a],而正確的切分應(yīng)為[胸腹/ng脹滿/v],再如ICTCLAS切分“納食欲吐”的結(jié)果為[納/v食欲/n吐/v],而正確的切分應(yīng)為[納/v食/n欲/v吐/v],諸如此類的歧義詞還有很多,因此如何對歧義詞進(jìn)行人工干預(yù)是一項(xiàng)很重要的前期準(zhǔn)備工作.4)連接性命名實(shí)體的拆分在引言中曾提到連接性實(shí)體是生物醫(yī)藥命名實(shí)體識別的一大難點(diǎn),主要原因便是它使得命名實(shí)體過長,識別的最終結(jié)果通常忽略了連接詞前邊的部分.因此將連接性命名實(shí)體進(jìn)行拆分有助于縮短命名實(shí)體長度,提高識別準(zhǔn)確率.如:“膀胱與大腸阻滯”通過初次切分得到[膀胱/n與/c大腸/n阻滯/vn],因此我們只要將連詞c前后的名詞實(shí)體膀胱和大腸拆分即可,最終結(jié)果為:膀胱阻滯、大腸阻滯.2.2t/n方面v/n-b/d/無v/n/d/無v/n/d/無v/v/d/無v/無v/無v/u/d/d/d/d/無v/無v/無v/v/d/d/d/無v/無v/無v/無v/無v/無v/無v/無v/無v/無v///////////d/無v/無v/無v/無v/無v/無v/無v/d/無v/無v/u/d/無v/無v/u/d/無v/u/d/無v/u/d/無v/無v/無v/u/d/無v/無v/無v/u/d/無v/u/d/無v/u/d/無v/無v/u/d/無v/無v/無v/無v/無v/u/d/無v/無v/無v/無v/無v/u/////無v/無v/無v/無v/無v/無v/無v/無v/無v/無v/無v/無v/無v/無v/無v/無v/無v/無v/無v/無v/無v/無v/無v/無v/無v/無v/無v/無v/無v/無v/無v/無v/無v/無v/無v/////d/d/v/d/d/d/d/d/d/d/d/d/d/d/d/d/d/d/d/d/////d/d/d/v////////////////////////語料清洗后,我們用CRF工具包進(jìn)行訓(xùn)練和測試,發(fā)現(xiàn)最終得到的癥狀識別結(jié)果為77.60%,病機(jī)識別結(jié)果為76.33%,效果不甚理想.經(jīng)過分析后發(fā)現(xiàn)以上的語料模型存在一個(gè)比較難以克服的問題,即我們使用的古醫(yī)案切分工具ICTCLAS并未針對古文特征進(jìn)行過機(jī)器學(xué)習(xí),因此在對古醫(yī)案進(jìn)行切分時(shí)造成“單字分割”的情況比較嚴(yán)重.如:[溫ag/補(bǔ)v/不d/效ng/,,/痛a/勢ng/日夜d/不d/息vg/,,/飲食n/艱ag/運(yùn)v/,,/六m/脈q/軟弱a/無v/神n/,,/無疑d/虛d/候v/,,/惟d/是v/大a/便d/不d/暢ag/,,/恐d/有v/蓄v/血n/,,/此r/方d/暫d/服v/..].以上這例醫(yī)案除“日夜”、“飲食”、“軟弱”、“無疑”這些古現(xiàn)代同義的詞語完整切分,其余均零散的切為單字.考慮到對詞性切分的研究不屬于本文的重點(diǎn),我們在分析ICTCLAS切分詞性標(biāo)記集時(shí)發(fā)現(xiàn),ICTCLAS詞性切分的過于細(xì)致,比如:名詞方面分為ng名語素/n名詞/nr人名,在形容詞方面分為ag形語素/a形容詞/ad副形詞/an名形詞,副詞方面分為d副詞/dg副語素,動(dòng)詞方面分為v動(dòng)詞/vg動(dòng)語素.考慮到古文組詞造句結(jié)構(gòu)干練,不像現(xiàn)代文結(jié)構(gòu)那么復(fù)雜,如果使用的詞性過于繁瑣,容易使CRF特征空間變得冗余,將一些噪音的特征成分加到模型中,令原本就過于零散的分詞特征變得更加不具有代表性.因此基于以上想法,我們將其中的分支詞性各選用一種作為代表,即名詞n/形容詞a/副詞d/動(dòng)詞v,刪除其余對古文不太適合的詞性.替換之后原語料變?yōu)?[溫a/補(bǔ)v/不d/效n/,,/痛a/勢n/日夜d/不d/息v/,,/飲食n/艱a/運(yùn)v/,,/六m/脈q/軟弱a/無v/神n/,,/無疑d/虛d/候v/,,/惟d/是v/大a/便d/不d/暢a/,,/恐d/有v/蓄v/血n/,,/此r/方d/暫d/服v/..].2.3種統(tǒng)計(jì)學(xué)方法在不同規(guī)模下的比較實(shí)驗(yàn)結(jié)果為了對該模型的性能進(jìn)行準(zhǔn)確評估,防止出現(xiàn)語料庫規(guī)模過小使得模型學(xué)習(xí)力度不夠,同時(shí)也為了防止語料庫規(guī)模過大而出現(xiàn)訓(xùn)練過擬合的極端情況,采用逐漸遞增語料規(guī)模的方式找到一個(gè)最佳的語料規(guī)模.我們從500例醫(yī)案的語料規(guī)模開始,每次遞增200例醫(yī)案,其中訓(xùn)練集和測試集所占比例分別為80%和20%.同時(shí)為了驗(yàn)證我們提出的對中醫(yī)醫(yī)案進(jìn)行數(shù)據(jù)清洗和特征空間降維是有效可行的方案,又設(shè)置了一組經(jīng)過預(yù)處理的語料與未經(jīng)預(yù)處理的語料的對比性實(shí)驗(yàn).每次實(shí)驗(yàn)選定語料規(guī)模后,為避免選取的語料出現(xiàn)最佳與最差的偶然性事件發(fā)生,采用從語料庫中隨機(jī)選取6次語料進(jìn)行交叉驗(yàn)證取平均值的方式.同時(shí)本文采用判別命名實(shí)體識別率的一個(gè)通用公式F=(β+1)Ρ×Rβ×Ρ+R(1)其中R為召回率,P為準(zhǔn)確率,β為召回率和準(zhǔn)確率之間的相對權(quán)重,通常取1,故F值也稱做F1值.我們通過實(shí)驗(yàn)求出的F1值對識別效果進(jìn)行分析驗(yàn)證.受篇幅限制,對于不同的語料規(guī)模下的模型比較,僅給出CRF、Maxentropy與SVM這3種統(tǒng)計(jì)學(xué)方法其F1值的相應(yīng)平均結(jié)果(見圖3,4),同時(shí)在下邊的數(shù)據(jù)分析中考慮到癥狀和病機(jī)的識別在實(shí)驗(yàn)中表現(xiàn)出的相似較大,我們僅對癥狀的實(shí)驗(yàn)數(shù)據(jù)給出分析,最后為了綜合比較這3種統(tǒng)計(jì)學(xué)方法的性能,給出了這3種方法在各自語料規(guī)模下的模型訓(xùn)練時(shí)間以供參考(見表1).表中CRF-1、Maxentropy-1、SVM-1是指對未做數(shù)據(jù)清洗工作和特征空間降維處理的醫(yī)案語料進(jìn)行的實(shí)驗(yàn),CRF-2、Maxentropy-2、SVM-2則是指對經(jīng)過數(shù)據(jù)清洗和特征空間降維的語料所進(jìn)行的實(shí)驗(yàn).實(shí)驗(yàn)所用平臺為WindowsVistaUltimateSP1,處理器為IntelCore2DuoE45002.20和2.24GHz,內(nèi)存為2GB.通過圖3,4的癥狀、病機(jī)對比實(shí)驗(yàn)圖,我們可以明顯地看出在經(jīng)過數(shù)據(jù)清洗和特征空間降維處理后,這3種統(tǒng)計(jì)學(xué)方法對于中醫(yī)命名實(shí)體的識別率都有了不同程度的提高.由于癥狀與病機(jī)最終的提升特點(diǎn)較為相似,以下僅對癥狀給予分析.提升最高比率如下:CRF在語料規(guī)模為1300例時(shí)提升了2.8%,Maxentropy在1100例時(shí)提升了3.15%,SVM在900例時(shí)提升了2.57%;同時(shí)也統(tǒng)計(jì)了這3種方法的平均提升率:CRF為2.31%,Maxentropy為2.85%,SVM為1.96%.通過以上數(shù)據(jù)對比我們發(fā)現(xiàn)Maxentropy在經(jīng)過了數(shù)據(jù)清洗和特征空間降維后提升最為明顯,其次為CRF,最后為SVM.同時(shí)通過圖3,4的曲線我們可明顯觀察到,隨著語料規(guī)模的不斷擴(kuò)大,無論何種統(tǒng)計(jì)模型其識別結(jié)果均是穩(wěn)步上升的.在最終的癥狀識別率上,未作處理的語料最好表現(xiàn)依次為:CRF的84.75%,Maxentropy的81.04%,SVM的80.12%;而在進(jìn)行了數(shù)據(jù)清洗和特征空間降維后依次為:CRF的87.16%,Maxentropy的83.88%,SVM的81.92%.結(jié)果表明,無論是否對醫(yī)案語料進(jìn)行數(shù)據(jù)清洗和特征空間降維,CRF對中醫(yī)命名實(shí)體的識別效果都是最好的,其次為Maxentropy,SVM則表現(xiàn)的不甚理想.同時(shí)通過圖像我們發(fā)現(xiàn)在語料規(guī)模較小的情況下(實(shí)驗(yàn)中語料規(guī)模表現(xiàn)為900例以下),SVM的識別效果比Maxentropy要好,但在語料規(guī)模較大時(shí)Maxentropy則要強(qiáng)于SVM.由于使用這3種方法對癥狀和病機(jī)的訓(xùn)練時(shí)間相差不大,考慮篇幅限制這里僅給出癥狀在未經(jīng)語料處理和經(jīng)過語料處理兩種情況下,這3種統(tǒng)計(jì)學(xué)方法模型訓(xùn)練所需的時(shí)間.再從時(shí)間性能上來分析這3種統(tǒng)計(jì)方法,通過表1我們可以明顯看出,SVM的模型訓(xùn)練時(shí)間最長,且當(dāng)語料規(guī)模超過900例時(shí)SVM的訓(xùn)練時(shí)間均在1h左右,在語料規(guī)模最大的1500例時(shí),SVM訓(xùn)練時(shí)間甚至達(dá)到了2h,遠(yuǎn)