計算機檢索方法學(xué)與中醫(yī)藥文獻數(shù)據(jù)庫研究綜述_百度文庫

1、計算機檢索方法學(xué)與中醫(yī)藥文獻數(shù)據(jù)庫研究綜述南京中醫(yī)藥大學(xué)(江蘇, 210029 陳曉東李婷關(guān)鍵詞:信息研究中醫(yī)藥文獻數(shù)據(jù)庫計算機檢索數(shù)不下1萬個, 這其中不僅有大量的科技數(shù)據(jù)庫, 也有大量的時事評論、社會科學(xué)、文學(xué)藝術(shù)等方面的數(shù)據(jù)庫。北美最大、最有代表性的圖書館資源共享網(wǎng)絡(luò)要數(shù)美國的O CL C 和加拿大的IS M 了。至1997年3月, O CL C 已經(jīng)發(fā)展到24117個成員館, 遍及60多個國家和地區(qū), 是世界上最大的專業(yè)網(wǎng)絡(luò)。O CL C 中的參考服務(wù)系統(tǒng)連接有55個國際上有影響的大型數(shù)據(jù)庫, 遵循Z 39150協(xié)議, 一種檢索方式可以訪問55個數(shù)據(jù)庫。有的數(shù)據(jù)庫還提供全文, 并標有2

2、FA X 服務(wù)的價格。文獻資源共享是時代的迫切要求隨著科學(xué)技術(shù)的飛速進步, 人類社會由工業(yè)社會向后工業(yè)社會信息社會挺進, 社會信息化程度不斷地提高, 人們越來越重視信息的作用。信息需求的客觀性大大刺激了信息技術(shù)的發(fā)展, 全球性的信息網(wǎng)絡(luò)迅速建立起來。信息資源得以在“信息高速公路”上自由傳送, 全球性的信息資源共享的夢想終于有望得以實現(xiàn)。實現(xiàn)文獻資源共享是信息社會的客觀要求, 是現(xiàn)代化技術(shù)發(fā)展的歷史必然。在市場經(jīng)濟的環(huán)境下, 文獻資源的需求更為迫切。實現(xiàn)文獻資源共享是我國圖書情報事業(yè)發(fā)展的必然趨勢, 也是各國圖書情報事業(yè)發(fā)展的重要特點。美國人曾在1850年就提出了編制聯(lián)合目錄的設(shè)想, 1942年

3、美國制定了進行文獻協(xié)調(diào)補充的“法明頓計劃”。1975年, 國際圖書館協(xié)會聯(lián)合會(IFLA 將文獻資源共享(U A P 正式列為一項中期計劃。目前, 全世界有上百的檢索網(wǎng)絡(luò), 數(shù)以千計機讀數(shù)據(jù)庫。僅美國國家醫(yī)學(xué)圖書館醫(yī)學(xué)文獻聯(lián)機檢索系統(tǒng)(M EDL I N E , 其網(wǎng)絡(luò)由遍布全國的11個地區(qū)圖書館中心和800個聯(lián)機檢索點組成, 網(wǎng)絡(luò)還延伸到全世界11個地區(qū)和國家, 共有3000多個終端。整個系統(tǒng)存貯有79個文獻數(shù)據(jù)庫,國際計算機檢索方法學(xué)的現(xiàn)狀和新進展數(shù)據(jù)庫(D atabase 是統(tǒng)一管理的相關(guān)數(shù)據(jù)的集合, 它能為各種用戶所共享, 具有最小冗余度, 數(shù)據(jù)間聯(lián)系密切, 而又有較高的數(shù)據(jù)獨立性。數(shù)

4、據(jù)庫系統(tǒng)(D atabase System 是指實現(xiàn)有組織地、動態(tài)地存儲大量的關(guān)聯(lián)數(shù)據(jù), 方便多用戶訪問的計算機軟件、硬件和數(shù)據(jù)資源組成的系統(tǒng), 即采用了數(shù)據(jù)庫技術(shù)的計算機系統(tǒng)。根據(jù)ISO 1D IS 5127號標準(文獻與情報工作術(shù)語 , 數(shù)據(jù)庫被定義為:“至少由一種文檔組成, 并能滿足某一特定目的或某一特定數(shù)據(jù)處理系3按照國際上通用的分類統(tǒng)需要的一種數(shù)據(jù)集合?！逼渲邪?50萬篇論文及病毒學(xué)等專業(yè)的數(shù)據(jù)資1料、醫(yī)學(xué)圖書館目錄、醫(yī)學(xué)期刊目錄等。方法, 數(shù)據(jù)庫通常劃分為以下類型:11參考數(shù)據(jù)庫(R eference D atabases :指引用戶到另一信息源以獲得原文或其他細節(jié)的一類數(shù)據(jù)庫。

5、它又包括書目數(shù)據(jù)庫和指南數(shù)據(jù)庫。21源數(shù)據(jù)庫(Sou rce D atabases :指能直接提用戶最多、影響最I(lǐng)n ternet 是世界上規(guī)模最大、廣的網(wǎng)絡(luò)互聯(lián)系統(tǒng)。據(jù)估計, In ternet 上的數(shù)據(jù)庫總48供原始資料或具體數(shù)據(jù)的數(shù)據(jù)庫?？蓜澐譃?數(shù)值數(shù)據(jù)庫、文本-數(shù)值數(shù)據(jù)庫、全文數(shù)據(jù)庫、術(shù)語數(shù)據(jù)庫、圖像數(shù)據(jù)庫、混合型數(shù)據(jù)庫。計算機檢索系統(tǒng)根據(jù)存儲的數(shù)據(jù)庫內(nèi)容、文件結(jié)構(gòu)、存儲容量、檢索方式的不同, 可以提供多種內(nèi)容與形式的檢索服務(wù)。就全文數(shù)據(jù)庫檢索而言, 目前的產(chǎn)品的檢索方法一般是用布爾(Boo lean 邏輯運算和自由詞來檢索文獻中某個詞或某幾個詞所在的出處, 也可進行詞頻檢索。當(dāng)前的

6、檢索技術(shù)難以做到對檢索出的文獻按相關(guān)程度進行排序, 相關(guān)程度最大的文獻應(yīng)當(dāng)排在最前面。布爾檢索正是相關(guān)程度排序的弱肯定(w eak asserti on 形式, 這種局限性的存在, 降低了檢索的績效。4對全文本文獻信息檢索技術(shù)的研究, 開始于基于概念(concep t -based 的算法, 發(fā)展到現(xiàn)在的基于內(nèi)容(con ten t -based 的算法, 這一演化反映了對內(nèi)容知識的檢索逐漸取代了對概念知識的檢索。每篇文獻都是由眾多概念構(gòu)成的, 這些概念之間的關(guān)系實質(zhì)上就是文獻內(nèi)容的真實反映, 概念之間的相互關(guān)系可以稱之為“概念結(jié)構(gòu)”。標引和檢索文獻時, 必須如實反映其概念結(jié)構(gòu), 現(xiàn)代檢索技術(shù)

7、中稱之為“事實檢索”(m essage understanding 的檢索方法就是追求概念結(jié)構(gòu)的典型形式。目前, 普遍應(yīng)用的是一種基于框架(fram e -based 的方法, 在這種方法中概念結(jié)構(gòu)被框架化了。5布爾邏輯理論指導(dǎo)下的檢索提問式都遵循D eM o rgan 法則把“或”和“與”聯(lián)系起來, “與”的互補是互補部分的“或”。這種理論認為一個對象要么屬于一個集合, 要么不屬于一個集合, 即只用0和1來表達這種從屬關(guān)系。而模糊子集合理論則認為存在著一種一般化的從屬關(guān)系函數(shù), 即可以01之間的任一值來表達這種關(guān)系。元素集合x x 的一個模糊子集合可由一個從屬關(guān)系函數(shù)定義為:0fs (x 1

8、。也就是說, 當(dāng)fs (x =1時, x 要素肯定在系統(tǒng)中; 當(dāng)fs (x =0時, x 肯定不在系統(tǒng)中。把提問式中的每個概念轉(zhuǎn)化成概念空間中相應(yīng)的一個要素向量, 用W 和T 計算相似的測度, 根據(jù)模糊邏輯法則算出總分數(shù), 就可以完善地詮釋一個結(jié)構(gòu)化的提問式。6基于積(p roduct -based 的表達法, 利用D e M o rgan 法則中的AND 函數(shù)計算O R 函數(shù)。實際上, 嚴格的參數(shù)對未出現(xiàn)的術(shù)語做了過于嚴厲的限制, 通過對fx 進行適當(dāng)?shù)男薷? 例如使其范圍介于中醫(yī)文獻雜志0131之間, 可防止這一情況的出現(xiàn)。由此可見, 構(gòu)造一個復(fù)雜的線性結(jié)構(gòu), 然后用代表一個提問式剩余結(jié)構(gòu)

9、的選擇擴展項對此加以修飾, 從而把文獻用向量表示出來, 把提問式用概念結(jié)構(gòu)表示出來, 就可以充分支持一個檢索項目。需要明確的是:無論是從自然語言概念、概率或統(tǒng)計檢索或從基于框架的推理等各種不同的理論出發(fā), 都可以得到上述用線性代數(shù)和非線性廣義方法所表達的匹配方案。實際上, 大多數(shù)方法是直接應(yīng)用自然語言, 而不是概念。無論檢索詞是以字、n -gram s 的形式, 還是以短語形式出現(xiàn), 在處理提問式和可檢索的文獻時, 所采用的方法都與上述對概念描述所采用的處理方法相同。這里不用c (概念 來標引加權(quán)和相互關(guān)系, 而用T (文獻或提問式中實際出現(xiàn)的的術(shù)語 進行標引, 因為它們是文本中實際出現(xiàn)的術(shù)語

10、, 因此, 我們將其稱之為文本的“內(nèi)容”, 這與由人所感知的概念是有很大差別的。預(yù)先處理(p rep rocessing 是從內(nèi)容中提取出概念的一個步驟, 預(yù)先處理文獻的老式方法是用大寫字體形式代替所有的字, 用這些字的詞干部分代替大量的字。這種做法有助于突出詞所代表的概念, 而無需考慮這些概念的各種變化形式, 如名詞的單復(fù)數(shù)、動詞的時態(tài)變化等。當(dāng)把短語和字的組合形式增加到倒排文檔中時, 以這種方式編制索引會耗費大量空間。上述的線性公式是一種很著名的向量方法, 它在S M A R T S 及其后來的進化系統(tǒng)中得到了證實。用向量代表文獻, 這些向量的基本要素與術(shù)語出現(xiàn)在文獻中的頻率有關(guān), 提問式

11、也是在這一基礎(chǔ)上加以表達的。實際上, 在S M A R T S 未出現(xiàn)之前, L uhn 在1959年就提出了一些非常重要的原則, 其要點是:(1 文獻和術(shù)語的相關(guān)程度應(yīng)隨著術(shù)語在文獻中出現(xiàn)的頻率的增加而增加(術(shù)語頻率或T F 原則 ; (2 一個術(shù)語在區(qū)分文獻中的重要程度隨著包含它的文獻數(shù)量的增加而降低(逆文獻頻率或I D F 原則 。7如果布爾邏輯系統(tǒng)只是對集合進行檢索, 而不把所檢索到的文獻按相關(guān)重要程度進行排序的話, 在對術(shù)語集合進行某種運算時, 所使用的就不再局限于布爾運算。首先, 系統(tǒng)規(guī)定用戶按某種特定的方式, 如題名、關(guān)鍵詞等查找預(yù)定義的概念實體(concep tual en t

12、ities , 標記語言(m arkup languages 的迅速發(fā)展極大便利了為檢索目的而進49行的文本處理的自動化; 8其次, 系統(tǒng)認可對從自由文本中抽取的概念進行重組的近似算符。不過在實際檢索中, 還沒有任何系統(tǒng)采用上述近似方法計算術(shù)語之間的相互關(guān)系而將其作為標引文本的依據(jù), 而是根據(jù)檢索用戶的要求來界定術(shù)語之間的關(guān)系。術(shù)語之間還存在更復(fù)雜的關(guān)系, 即域無關(guān)(co rp u s -indep enden t 的情況。這是確立術(shù)語之間相互關(guān)系的另一種方法, 它要求對書寫文獻的基本詞匯進行研究, 包括從構(gòu)造詞表到對自然語言進行處理的一系列過程。目前對這一方法的研究是以W o rdN et

13、的語義網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ)的, 但還未取得預(yù)期的結(jié)果。不過已進行的研究表明:在一個顯示術(shù)語與術(shù)語之間相互關(guān)系的通用網(wǎng)絡(luò)中無法找到所要求的特殊關(guān)系。因此, 研究的方向就是發(fā)展與各領(lǐng)域的基本概念相對應(yīng)的術(shù)語與術(shù)語之間的關(guān)系的特定領(lǐng)域網(wǎng)絡(luò), 這與人工智能中得到的一個結(jié)論相類似要解決一個特定問題, 就要發(fā)展特定領(lǐng)域知識。9把這一結(jié)論應(yīng)用于中醫(yī)藥學(xué)古籍文獻的檢索中, 非常具有指導(dǎo)意義, 它提示我們必須深入到中醫(yī)古籍特有的語詞規(guī)律中去, 發(fā)展特定的標引體系。如果照搬其他醫(yī)學(xué)文獻的標引方法, 將是行不通的。自動做文摘和抽取主題句也是一種可以考慮的標引方法。系統(tǒng)通過自動做出文摘和抽取文中的關(guān)鍵句子和重要公式, 可以

14、向用戶描述數(shù)據(jù)空間, 從而有助于測度和明確信息需求。分散 集中方法通過為用戶提供題名和短語、跟蹤用戶的抉擇, 可以幫助用戶構(gòu)造盡可能簡潔明了的提問式。經(jīng)過多年的不斷發(fā)展和完善, 目前已建立起檢索編碼, 但存在的不足是:一個程序無法顯示它的設(shè)計原則的所有特征, 這就導(dǎo)致遵循相同原則設(shè)計的系統(tǒng)在運作時會出現(xiàn)相當(dāng)大的差別。由此引起的問題領(lǐng)域包括:(1 在減少某一空間時所需進行的維度選擇; (2 為科霍南算法選擇意識參數(shù)(con science p aram eters ; (3 選擇可改變“文獻頻率參數(shù)”的區(qū)間; (4 對詞干規(guī)則和非用詞表的特定選擇; (5 建立代表概念的術(shù)語集。這幾方面都影響系統(tǒng)

15、績效, 但由于系統(tǒng)極其復(fù)雜, 要想把每一選擇所造成的影響?yīng)毩⒊鰜砑右钥紤]非常困難。當(dāng)代信息檢索方法無論是在理論層次上, 還是在實踐中都顯示出一種成熟的技術(shù)特質(zhì), 通過對實踐經(jīng)驗的不斷積累, 可以有效地推進理論的發(fā)展。中醫(yī)藥文獻檢索方法的進展國內(nèi)在中醫(yī)藥文獻方面的理論研究新成果相對50較少, 尤其缺乏創(chuàng)新性成果。由于建設(shè)大型數(shù)據(jù)庫方面要耗費大量的財力、人力, 在一定程度上限制了這方面的大型項目的開展, 所以可供參考信息的不多。建設(shè)全國中醫(yī)藥信息網(wǎng)絡(luò)的設(shè)想數(shù)年前就有人提出, 中國中醫(yī)研究院在1987年就初步建成我國第一個綜合性的中醫(yī)藥文獻分析檢索系統(tǒng)(TC M LA R S , 收錄1984198

16、7年全國公開發(fā)行的300余種生物醫(yī)學(xué)期刊中有關(guān)中醫(yī)、中藥、針灸、按摩、氣功、養(yǎng)生保健、民族醫(yī)藥等內(nèi)容的文獻十多萬條。這個數(shù)據(jù)庫在當(dāng)時能與國內(nèi)外主要生物醫(yī)學(xué)數(shù)據(jù)庫兼容, 但在時差和收錄范圍方面則顯得落后, 而這兩項恰好是檢索工具先進性的主要標志。10“上海市中醫(yī)藥信息協(xié)作中心”提出的局域網(wǎng)拓撲結(jié)構(gòu)為總線型與星型相結(jié)合, 采用W indow s N T 410網(wǎng)絡(luò)操作系統(tǒng)。該系統(tǒng)大致有以下幾方面的應(yīng)用:(1 行政辦公; (2 中醫(yī)函授; (3 情報文獻, 網(wǎng)上刊物, 報刊摘要, 學(xué)術(shù)動態(tài); (4 學(xué)術(shù)交流, 開設(shè)杏林論苑; (5 醫(yī)藥服務(wù), 遠程會診, 網(wǎng)上就醫(yī), 健康咨詢, 藥品介紹等。11目前

17、, 國內(nèi)已經(jīng)出現(xiàn)商業(yè)性的期刊檢索數(shù)據(jù)庫, 其中也包含了醫(yī)藥類期刊, 如h ttp : www .cnk . inet (CN K I 數(shù)據(jù)庫 。在中醫(yī)文獻的數(shù)字化方面的工作, 上海中醫(yī)藥大學(xué)計算機中心開展得比較早, 在數(shù)據(jù)庫的中醫(yī)特色化上有許多創(chuàng)新思路, 值得借鑒。他們最早提出整合性關(guān)系化醫(yī)學(xué)電子書(I RM EB 的概念, 探索醫(yī)學(xué)的數(shù)學(xué)和信息學(xué)內(nèi)涵, 致力于醫(yī)學(xué)的定量化、數(shù)學(xué)化、信息化的新研究QM SO C (醫(yī)學(xué)的計算機定量模擬和運算 或信息醫(yī)學(xué)(Info rm ati on M edicine 的一部分。I RM EB 盡可能地把醫(yī)學(xué)的最實質(zhì)的知識元素化, 把知識的表達方式歸結(jié)為一種結(jié)

18、構(gòu)嚴格一致的關(guān)系形式。將各種專門的知識以諸如“生成”、“組成(所屬 ”、“激揚”、“阻抑”、“量序”、“時序”、“度序”等構(gòu)成知識的基本謂詞, 編輯成知識“積木塊”, 然后對任何大小范圍的醫(yī)學(xué)信息和知識進行重新組裝, 并利用醫(yī)學(xué)知識的內(nèi)在的數(shù)學(xué)屬性加以整合互通、互導(dǎo)、互析、互晰等。12包含飛把所有醫(yī)學(xué)知識歸結(jié)為系統(tǒng)論意義下的幾種泛化關(guān)系:泛激、泛抑、泛生、泛函、泛等、泛轉(zhuǎn)、泛并、泛序、泛移、泛境。并把醫(yī)學(xué)事件、概念、泛權(quán)元素化編碼化, 進而把醫(yī)學(xué)知識根據(jù)上述關(guān)系三集合化:主體集合、客體集合、條件集合, 在此基礎(chǔ)上對醫(yī)學(xué)知識實施互聯(lián)、整理、整合。13這對如何進行中醫(yī)藥文獻的數(shù)據(jù)庫建設(shè)是具有一定的

19、啟發(fā)意義的。中國中醫(yī)研究院及北京中醫(yī)藥大學(xué)研制出了“小兒咳喘病證古代中醫(yī)文獻數(shù)據(jù)庫”, 收集資料年代范圍截止到1911年以前。該課題的數(shù)據(jù)收集、整理工作全部在中文O ffice 97中進行, 用V isual B asic 610中文版進行編程。系統(tǒng)采用了動態(tài)數(shù)據(jù)庫對象技術(shù), 運用面向?qū)ο蟮木幊碳夹g(shù)和activeX 技術(shù)進行程序設(shè)計, 簡潔高效, 可視性好。界面采用多媒體技術(shù)進行動畫和聲音處理, 特色鮮明。采用樹狀結(jié)構(gòu)顯示文獻目錄和檢索結(jié)果目錄, 運用補字技術(shù)處理僻字。14南京中醫(yī)藥大學(xué)在中醫(yī)方劑數(shù)據(jù)庫方面做了大量富有成效的工作, 已順利完成了江蘇省科委自然科學(xué)基金資助項目“中醫(yī)方劑編碼及文獻

20、數(shù)據(jù)庫系統(tǒng)”。該項研究歷時3年, 共收錄方劑101903首, 比中醫(yī)方劑大辭典多收載方劑5311首, 是目前最大的方劑數(shù)據(jù)庫檢索系統(tǒng), 各方劑的相關(guān)研究資料截止1999年底, 反映了這一領(lǐng)域的最新成就。該系統(tǒng)具有多途徑檢索功能, 可以進行方名檢索、處方藥物檢索、功效檢索、藥味數(shù)檢索、模糊檢索等, 還可以進行多個項目的聯(lián)合檢索, 即可以將多項檢索條目邏輯相加進行布爾檢索, 對方名、書名、藥物、功用、主治等的任一兩項以上條件的綜合檢索, 有效地提高了檢索績效。該系統(tǒng)維護簡便, 可以隨時增添新內(nèi)容, 并且自動生成相應(yīng)索引項。此項研究中還創(chuàng)制了一套行之有效的方劑編碼系統(tǒng), 對于糾正古代方劑文獻中廣泛存

21、在的命名混亂現(xiàn)象, 頗具研究價值。方法是以功效與主治病證為依據(jù), 對各方編制代碼, 采用62位進制的混合碼, 由10個阿拉伯?dāng)?shù)字和26個英文字母的大小寫二種形式組合而成。每碼長度為12位, 前8位描述功效和主治病證, 每2位表示一個分類條目, 后4位碼用作功效和主治病證相同方劑的順序碼。這項編碼體系是現(xiàn)代檢索技術(shù)在中醫(yī)藥古代文獻研究領(lǐng)域的具體運用, 對于中醫(yī)藥文獻數(shù)據(jù)庫研究的理論和實踐有著重要的參考價值。綜上所述, 國內(nèi)在中醫(yī)藥文獻數(shù)據(jù)庫方面起步較晚, 缺乏必要的人力、物力投入, 故發(fā)展滯后, 明顯歡迎投稿歡迎訂閱中醫(yī)文獻雜志落后于其他先進學(xué)科的水平。所以, 在此領(lǐng)域的發(fā)展空間還是相當(dāng)巨大的。參考文獻1陳界, 等1新編文獻學(xué)1北京:軍事醫(yī)學(xué)科學(xué)出版社, 1999-1:30212陳界, 等1新編文獻學(xué)1北京:軍事醫(yī)學(xué)科學(xué)出版社, 1999-1:31213黎漢津, 等1中醫(yī)藥文獻檢索1廣州:廣東高等教育出版社, 1999-8:11714孟廣均, 等1國外圖書館學(xué)情報學(xué)研究進展1北京:北京圖書館出版社, 1999-9:19015孟廣均, 等1國外圖書館學(xué)情報學(xué)研究進展1北京:北京圖書館出版社, 1999-9:19316孟廣均, 等1國外圖書館學(xué)情報學(xué)研究進展1北京:北京圖書館出版社, 1999-9:19517L uhn , H . P . A u