文獻(xiàn)數(shù)據(jù)融合的自動(dòng)與半干法融合軟件的設(shè)計(jì)與實(shí)現(xiàn)

文獻(xiàn)數(shù)據(jù)融合的自動(dòng)與半干法融合軟件的設(shè)計(jì)與實(shí)現(xiàn)

1控制steam、ei數(shù)據(jù)源正確建立數(shù)據(jù)集是分析學(xué)科信息的關(guān)鍵基礎(chǔ)。一直以來,基于期刊論文的學(xué)科情報(bào)分析數(shù)據(jù)集往往采用來自單一文獻(xiàn)數(shù)據(jù)庫的數(shù)據(jù)源,尤其是文獻(xiàn)數(shù)據(jù)格式較為規(guī)范的SCI或EI數(shù)據(jù)源。近年來,隨著交叉學(xué)科的日益興起和微觀學(xué)科情報(bào)分析的深入發(fā)展,僅僅依靠單一數(shù)據(jù)源容易造成分析數(shù)據(jù)集不夠全面或文獻(xiàn)數(shù)據(jù)量過少的問題,分析需求往往無法滿足,特別是在進(jìn)行偏工程類學(xué)科或交叉學(xué)科的情報(bào)分析時(shí),越來越多的分析人員都希望整合SCI/EI(或本學(xué)科其他常用數(shù)據(jù)庫)的文獻(xiàn)數(shù)據(jù)進(jìn)行分析,因此準(zhǔn)確查重和融合不同數(shù)據(jù)庫的文獻(xiàn)數(shù)據(jù)顯得尤為必要,這需要依賴有效的軟件技術(shù)實(shí)現(xiàn)。2高準(zhǔn)確性文獻(xiàn)查重和融合的需求國內(nèi)外已有許多關(guān)于不同數(shù)據(jù)庫文獻(xiàn)數(shù)據(jù)查重和融合方法的研究,這些研究的應(yīng)用對象集中在文獻(xiàn)跨庫檢索系統(tǒng)和近年來日益興起的資源發(fā)現(xiàn)系統(tǒng)的檢索結(jié)果查重和合并展示方面,而不斷提高查重準(zhǔn)確性一直以來都是這兩類系統(tǒng)所面臨的挑戰(zhàn)。文獻(xiàn)跨庫檢索系統(tǒng)通常使用的數(shù)據(jù)整合方式有三種:元數(shù)據(jù)、中間件和基于代理的跨庫檢索。文獻(xiàn)跨庫檢索系統(tǒng)的查重方法往往采用全自動(dòng)匹配查重算法,主要分為兩類:一類是采用固定文獻(xiàn)數(shù)據(jù)字段(題名或題名作者等)進(jìn)行查重匹配,該類查重算法的優(yōu)點(diǎn)在于運(yùn)行效率較高,但是準(zhǔn)確性存在很大不足;另一類是采用多維匹配的自動(dòng)查重方法,如郝丹等在進(jìn)行不同數(shù)據(jù)庫文獻(xiàn)數(shù)據(jù)查重時(shí),在借鑒網(wǎng)頁查重算法的基礎(chǔ)上設(shè)計(jì)了跨庫ID多維匹配的自動(dòng)查重算法,其中對英文數(shù)據(jù)庫的跨庫ID設(shè)計(jì)為“第一作者姓的拼音+其他作者姓的首字母+出版年+起始頁碼”,該方法應(yīng)用于多數(shù)據(jù)庫的專家/單位發(fā)文檢索時(shí)得到了較好的準(zhǔn)確性和運(yùn)行效率。不過,這些針對跨庫檢索系統(tǒng)對象所設(shè)計(jì)的查重和融合方法仍然無法滿足微觀學(xué)科情報(bào)分析對高準(zhǔn)確性文獻(xiàn)數(shù)據(jù)查重和融合的需求,其原因如下:(1)與專業(yè)文摘數(shù)據(jù)庫相比,跨庫檢索系統(tǒng)往往不具有復(fù)雜檢索功能,在準(zhǔn)確構(gòu)建分析數(shù)據(jù)集方面有一定局限性,學(xué)科情報(bào)分析人員對分析數(shù)據(jù)集的準(zhǔn)確性要求較高的情況下,通常并不希望使用跨庫檢索,更愿意自行進(jìn)入專業(yè)文摘或全文數(shù)據(jù)庫中進(jìn)行檢索。(2)跨庫檢索系統(tǒng)平臺(tái)均采用全自動(dòng)查重算法,無法保證查重和融合的高準(zhǔn)確率。由于不同數(shù)據(jù)庫的文獻(xiàn)數(shù)據(jù)字段標(biāo)引規(guī)則不同(如文獻(xiàn)題名字段中化學(xué)式和粒子符號的寫法不同等)以及數(shù)據(jù)庫中可能存在標(biāo)引字段缺失等人為標(biāo)引錯(cuò)誤,任何全自動(dòng)查重算法都不可能做到真正的查重。(3)跨庫檢索系統(tǒng)平臺(tái)為了保證從多數(shù)據(jù)庫返回格式統(tǒng)一的檢索結(jié)果,往往只合并展示少量文獻(xiàn)數(shù)據(jù)字段,這種少量字段的簡單數(shù)據(jù)集不適合學(xué)科情報(bào)多維度分析的需求。自2008年OCLC發(fā)布首個(gè)資源發(fā)現(xiàn)系統(tǒng)WorldCatLocal以來,其使用率不斷提高,這類系統(tǒng)還包括ProQuestSummon、ExLibrisPrimo、PrimoCentral和EBSCODiscoveryService等。在這類發(fā)現(xiàn)系統(tǒng)中,采用元數(shù)據(jù)集中索引方式整合不同數(shù)據(jù)庫資源成為主流趨勢,其查重方法相較跨庫檢索系統(tǒng)也有了很大程度的改進(jìn),如Primo采用基于作者和題名字段的書目記錄功能需求(FRBR)查重算法,OCLCWorldCatLocal采用重復(fù)記錄檢測與解析(DDR)查重算法,同時(shí)使用FRBR和全球圖書館載體表現(xiàn)標(biāo)識(shí)符(GLIMIR)來聚類合并展示檢索結(jié)果。由于資源發(fā)現(xiàn)系統(tǒng)建立了統(tǒng)一的元數(shù)據(jù)索引庫,因此其元數(shù)據(jù)查重類似于傳統(tǒng)圖書館編目系統(tǒng)的元數(shù)據(jù)查重,可以利用長期以來編目人員針對文獻(xiàn)編目系統(tǒng)元數(shù)據(jù)查重方法上的研究成果,資源發(fā)現(xiàn)系統(tǒng)中元數(shù)據(jù)查重準(zhǔn)確性的提高也強(qiáng)烈依賴于元數(shù)據(jù)質(zhì)量的規(guī)范控制和查重算法的改進(jìn),這類查重算法的準(zhǔn)確性改進(jìn)可以歸納為元數(shù)據(jù)字段多種寫法的規(guī)范化、標(biāo)準(zhǔn)化和針對不同類型對象建立合適實(shí)體模型兩個(gè)層面。雖然以O(shè)CLCWorldCatLocal為代表的資源發(fā)現(xiàn)系統(tǒng)的文獻(xiàn)數(shù)據(jù)查重方法有了長足發(fā)展,但是目前仍然有很大的改進(jìn)空間,而且它們均無法直接應(yīng)用于不同文獻(xiàn)數(shù)據(jù)庫的文獻(xiàn)數(shù)據(jù)查重和融合,也不能滿足微觀學(xué)科情報(bào)分析數(shù)據(jù)集的構(gòu)建需求。不過,從這類元數(shù)據(jù)查重方法的發(fā)展可以看出,提高文獻(xiàn)數(shù)據(jù)查重準(zhǔn)確率的關(guān)鍵在于有針對性地深入分析具體查重對象存在重復(fù)文獻(xiàn)數(shù)據(jù)的原因,盡可能多地挖掘出具體查重對象的字段和字段寫法差異,同時(shí)還要綜合利用多種查重方法和技術(shù)途徑。3難以明確匹配字段選擇目前,一些工具類軟件具備期刊論文查重或數(shù)據(jù)融合的功能,如文獻(xiàn)管理工具EndNote和文獻(xiàn)分析工具TDA,不過這些工具的查重功能也是基于固定文獻(xiàn)數(shù)據(jù)字段的直接匹配,如作者、題名、期刊等,用戶在使用時(shí)往往會(huì)面臨難以確定合適查重匹配字段的問題:如果匹配字段選擇過多會(huì)造成查重標(biāo)準(zhǔn)過于嚴(yán)格,從而漏掉重復(fù)文獻(xiàn),而匹配字段選擇太少則會(huì)導(dǎo)致查重錯(cuò)誤,并且它們沒有標(biāo)記相互重復(fù)文獻(xiàn)的功能,無法確保查重和融合的準(zhǔn)確率。本文設(shè)計(jì)的軟件是針對微觀學(xué)科情報(bào)分析發(fā)展過程中所呈現(xiàn)出的高準(zhǔn)確性文獻(xiàn)數(shù)據(jù)查重和融合的技術(shù)瓶頸問題,充分挖掘期刊論文數(shù)據(jù)字段重復(fù)特征,構(gòu)建多種查重算法,并采用人工交互的半自動(dòng)查重方式確保查重和融合效果,以幫助分析人員準(zhǔn)確構(gòu)建來自不同期刊論文數(shù)據(jù)庫的分析數(shù)據(jù)集。4軟件功能模塊的設(shè)計(jì)和實(shí)現(xiàn)本軟件主體架構(gòu)由“文獻(xiàn)數(shù)據(jù)查重”和“文獻(xiàn)數(shù)據(jù)融合”兩個(gè)模塊構(gòu)成,如圖1所示:4.1文獻(xiàn)查重質(zhì)量查重本模塊需要解決的第一個(gè)關(guān)鍵問題是如何針對特定對象SCI/EI數(shù)據(jù)庫中的文獻(xiàn)數(shù)據(jù),充分挖掘兩者文獻(xiàn)數(shù)據(jù)的字段對應(yīng)關(guān)系以及各字段微觀文本特征,以構(gòu)建高準(zhǔn)確率的查重算法,這也是本軟件設(shè)計(jì)和實(shí)現(xiàn)的核心問題。為了實(shí)現(xiàn)該目標(biāo),筆者結(jié)合工作實(shí)踐,總結(jié)SCI/EI文獻(xiàn)數(shù)據(jù)庫中存在重復(fù)文獻(xiàn)數(shù)據(jù)的原因并構(gòu)建相應(yīng)的查重算法,包括:(1)SCI和EI作為文摘數(shù)據(jù)庫收錄了部分相同出版源,這是SCI/EI數(shù)據(jù)庫中存在重復(fù)文獻(xiàn)數(shù)據(jù)的主要原因。(2)SCI/EI文獻(xiàn)數(shù)據(jù)標(biāo)引規(guī)則存在差異,如表1所示。(3)SCI/EI文獻(xiàn)數(shù)據(jù)存在人為標(biāo)引錯(cuò)誤,如拼寫錯(cuò)誤或字段缺失等。由重復(fù)因素(1)所產(chǎn)生的SCI/EI同一出版源重復(fù)文獻(xiàn)的查重,可以依靠確定SCI/EI文獻(xiàn)數(shù)據(jù)唯一性的單文獻(xiàn)數(shù)據(jù)字段或字段組合匹配自動(dòng)實(shí)現(xiàn),即文獻(xiàn)唯一標(biāo)識(shí)符字段DOI以及出版源、年、卷、期和頁的字段組合匹配,相應(yīng)構(gòu)建DOI查重算法和出版源年卷期頁查重算法。在構(gòu)建出版源年卷期頁查重算法時(shí),基于SCI和EI文獻(xiàn)數(shù)據(jù)字段特征,采用出版源全稱、簡稱、ISSN、ISBN和會(huì)議名稱5種出版源匹配方式,其中任意一種方式匹配成功都表示文獻(xiàn)數(shù)據(jù)的出版源相同,以提高查重準(zhǔn)確性。表2為SCI/EI文獻(xiàn)數(shù)據(jù)查重所需字段。由重復(fù)因素(2)SCI/EI文獻(xiàn)數(shù)據(jù)標(biāo)引差異所產(chǎn)生的重復(fù)文獻(xiàn)有兩種查重方法:(1)對于字段出版源全稱、ISSN和ISBN的標(biāo)引差異,這些字段進(jìn)行數(shù)據(jù)格式標(biāo)準(zhǔn)化預(yù)處理后仍然很有可能通過出版源期刊年卷期頁自動(dòng)查重算法實(shí)現(xiàn)查重。(2)對于字段題名和作者的標(biāo)引差異,則可以通過構(gòu)建題名作者查重算法實(shí)現(xiàn)查重。題名作者查重不具有唯一性,該算法是一種半自動(dòng)查重算法,是對前兩種算法的補(bǔ)充,即在由于DOI字段為空或SCI/EI文獻(xiàn)數(shù)據(jù)寫法差異而造成前兩種查重算法無效的情況下,根據(jù)題名和作者相似性自動(dòng)查找相似文獻(xiàn)數(shù)據(jù),所得查找結(jié)果還需要進(jìn)一步通過人機(jī)交互確認(rèn)是否是重復(fù)文獻(xiàn)。該算法不僅可以查出因數(shù)據(jù)庫標(biāo)引加工錯(cuò)誤而造成前兩種算法查重失敗的重復(fù)文獻(xiàn),還可以查出一稿多刊的文獻(xiàn),分析人員可以根據(jù)實(shí)際情況判定它們的重復(fù)性。而對于由因素(3)即文獻(xiàn)數(shù)據(jù)人為拼寫錯(cuò)誤或字段缺失所產(chǎn)生的假象重復(fù)文獻(xiàn),采取對自動(dòng)查重算法執(zhí)行嚴(yán)格精確匹配的措施,即在執(zhí)行不需人工交互確認(rèn)的自動(dòng)精確匹配算法查重時(shí),必須所有字段不為空且匹配文獻(xiàn)數(shù)據(jù)的全部所需字段才能被確定為重復(fù)文獻(xiàn),同時(shí)將上述三種查重算法設(shè)計(jì)為遞進(jìn)關(guān)系依序執(zhí)行,即首先執(zhí)行嚴(yán)格精確匹配自動(dòng)查重算法,待模糊匹配查重時(shí)通過人機(jī)交互確認(rèn)假象重復(fù)文獻(xiàn)數(shù)據(jù)的重復(fù)性。本模塊中三種遞進(jìn)查重算法實(shí)現(xiàn)偽代碼如下:本模塊需要解決的另一個(gè)關(guān)鍵問題在于如何將SCI/EI文獻(xiàn)數(shù)據(jù)中題名和作者相似的文獻(xiàn)提取出來供人工確認(rèn),即設(shè)計(jì)和實(shí)現(xiàn)兩篇文獻(xiàn)的題名作者模糊查重算法。題名相似性判定是通過構(gòu)建余弦相似性函數(shù)實(shí)現(xiàn)的,計(jì)算公式為:其中,x和y分別代表待查重的SCI,EI文獻(xiàn)題名文本的詞頻向量。題名相似性判定過程為將待判定文獻(xiàn)題名以空格進(jìn)行切詞,然后利用余弦相似性函數(shù)計(jì)算相似度。作者相似性的判定公式為:其中,xynau表示兩篇文獻(xiàn)相同作者數(shù),xnau表示SCI文獻(xiàn)全部作者數(shù),ynau表示EI文獻(xiàn)全部作者數(shù),該公式可避免因數(shù)據(jù)庫文獻(xiàn)數(shù)據(jù)標(biāo)引錯(cuò)誤即遺漏個(gè)別作者時(shí)查重失敗的情況出現(xiàn)。SCI文獻(xiàn)數(shù)據(jù)含兩個(gè)作者字段AU和AF(見表2),其中AU是作者簡寫,AF與原文中作者寫法一致,而EI文獻(xiàn)數(shù)據(jù)作者字段與原文中作者寫法相同,因此本模塊分別采用SCI的AF字段和EI的Authors字段來進(jìn)行作者相似性判定。為了實(shí)現(xiàn)本模塊的題名作者模糊查重算法,在軟件界面上使用兩個(gè)Slide滑塊控件,如圖2所示,其最小值和最大值均分別設(shè)為0和1,允許用戶根據(jù)分析文獻(xiàn)特征靈活調(diào)節(jié)題名和作者判定的相似性閾值。人工交互確認(rèn)重復(fù)文獻(xiàn)的界面使用ListView控件,呈現(xiàn)通過半自動(dòng)查重算法查找到的相似文獻(xiàn)數(shù)據(jù)。該控件共含4列,包括SCI文獻(xiàn)行號和該文獻(xiàn)詳細(xì)信息(包括出版物名稱、出版年、作者和題名)以及EI文獻(xiàn)行號和該文獻(xiàn)詳細(xì)信息。在軟件界面上同時(shí)使用富文本控件顯示文獻(xiàn)的詳細(xì)題錄信息,允許用戶放大查看詳細(xì)信息并確認(rèn)選擇重復(fù)文獻(xiàn)數(shù)據(jù)。還允許用戶自行輸入與某SCI文獻(xiàn)相重復(fù)的EI行號,此處允許多篇重復(fù)。此外,軟件界面上還設(shè)計(jì)“精確匹配”和“模糊匹配”兩個(gè)單選按鈕控件實(shí)現(xiàn)精確匹配和模糊匹配兩種查重方式,選擇精確匹配方式表示軟件僅使用DOI和出版源年卷期頁的兩種全自動(dòng)精確查重算法進(jìn)行查重,適合在查重準(zhǔn)確性要求不高的情況下使用,而模糊匹配方式表示軟件除了使用兩種精確匹配方式以外,還將使用題名作者半自動(dòng)查重算法對文獻(xiàn)數(shù)據(jù)進(jìn)行查重,這種匹配方式可以獲得更高的準(zhǔn)確性。4.2加黑的格式轉(zhuǎn)換該模塊需要解決的關(guān)鍵問題是如何將兩種文獻(xiàn)數(shù)據(jù)的格式統(tǒng)一?？紤]到大多數(shù)文獻(xiàn)分析軟件均支持SCI文獻(xiàn)數(shù)據(jù)格式,本模塊設(shè)計(jì)為將EI文獻(xiàn)數(shù)據(jù)中與SCI不重復(fù)的數(shù)據(jù)轉(zhuǎn)換為SCI文獻(xiàn)數(shù)據(jù)格式并生成查重和融合后的總數(shù)據(jù)表。目前SCI/EI文獻(xiàn)數(shù)據(jù)所共有的全記錄字段如表3所示。由表3可知,SCI、EI文獻(xiàn)數(shù)據(jù)融合所用的共有字段中,EI文獻(xiàn)數(shù)據(jù)大多數(shù)字段與SCI字段格式相同,可直接賦值完成轉(zhuǎn)換。有以下字段(斜體加黑)的格式存在不同程度差異,需要在特定處理后再進(jìn)行賦值轉(zhuǎn)換。具體如下:(1)附加關(guān)鍵詞和學(xué)科類別字段,需要進(jìn)行簡單的格式轉(zhuǎn)換,將EI中的分隔符“–”轉(zhuǎn)換為SCI中的“;”。(2)作者關(guān)鍵詞字段,合并EI文獻(xiàn)數(shù)據(jù)字段Mainheading和字段Controlledterms并進(jìn)行類似附加關(guān)鍵詞的格式轉(zhuǎn)換。(3)開始頁和結(jié)束頁字段,需要將EI中的Pages字段進(jìn)行拆分。(4)國際標(biāo)準(zhǔn)期刊號(ISSN)字段,合并EI文獻(xiàn)數(shù)據(jù)字段ISSN和字段E-ISSN。合并原則為若字段ISSN為空,則補(bǔ)充賦值字段E-ISSN并進(jìn)行格式轉(zhuǎn)換,即該字段若不足8位則補(bǔ)足8位并在前4位后添加分隔符“–”。(5)國際標(biāo)準(zhǔn)書號(ISBN),需要將EI文獻(xiàn)數(shù)據(jù)字段ISBN-10和字段ISBN-13進(jìn)行合并,合并原則為若字段ISBN-13為空,則補(bǔ)充賦值字段ISBN-10并轉(zhuǎn)換為ISBN-13。(6)作者地址字段,需要合并EI文獻(xiàn)數(shù)據(jù)字段Authors和字段Authoraffiliation,將同一地址的作者進(jìn)行同類歸并,如表4所示:(7)通訊作者地址字段,由于目前EI文獻(xiàn)數(shù)據(jù)的通訊作者地址字段不全,因此需要從字段Authoraffiliation中提取通訊作者地址并進(jìn)行格式轉(zhuǎn)換。(8)通訊作者郵箱字段,需要從Authoraffiliation字段中進(jìn)行拆分。4.3文件對象的檢查本軟件是在VB6.0環(huán)境下開發(fā)的,完整流程從調(diào)用含SCI/EI文獻(xiàn)數(shù)據(jù)表的Excel文件對象開始,到寫入包含與EI重復(fù)行號的SCI文獻(xiàn)數(shù)據(jù)表、與SCI重復(fù)行號的EI文獻(xiàn)數(shù)據(jù)表以及融合數(shù)據(jù)表的Excel文件對象結(jié)束,如圖3所示:5鎘汞全球數(shù)據(jù)集的構(gòu)建筆者使用該軟件測試查重和融合“碲鎘汞高性能紅外焦平面技術(shù)”2000-2012年間的1987篇SCI文獻(xiàn)數(shù)據(jù)和2668篇EI文獻(xiàn)數(shù)據(jù),以構(gòu)建碲鎘汞高性能紅外焦平面技術(shù)分析數(shù)據(jù)集。5.1保存文件格式首先,制作融合數(shù)據(jù)所需Excel文件(含SCI/EI兩個(gè)原始數(shù)據(jù)表)。在SCI數(shù)據(jù)庫中保存文件格式為Tab-delimited(win)并導(dǎo)入Excel文件的第一個(gè)數(shù)據(jù)表中。在EI數(shù)據(jù)庫中保存文件格式為Excel并導(dǎo)入Excel文件第二個(gè)數(shù)據(jù)表中。若已保存文件格式為PlainText,則需要使用筆者制作的SCI文獻(xiàn)數(shù)據(jù)格式轉(zhuǎn)換工具或EI文獻(xiàn)數(shù)據(jù)格式轉(zhuǎn)換工具轉(zhuǎn)換為本軟件所需的Excel文件格式。5.2查重匹配方式優(yōu)化在圖1所示的軟件界面中選擇準(zhǔn)備好的Excel文件,默認(rèn)打開文件路徑為軟件所在文件夾,然后點(diǎn)擊選擇查重匹配方式,默認(rèn)為精確匹配方式,即軟件將采用DOI和出版源年卷期頁兩種全自動(dòng)查重算法進(jìn)行查重,不需要人工審核。若點(diǎn)擊模糊匹配方式,則除了使用全自動(dòng)查重算法外,還會(huì)使用題名和作者半自動(dòng)查重算法進(jìn)行查重,半自動(dòng)查重算法所查到的相似文獻(xiàn)數(shù)據(jù)需要通過人工審核確認(rèn)重復(fù)性。5.3sda測試文獻(xiàn)的融合圖4和圖5分別顯示了精確匹配方式查重標(biāo)記結(jié)果和數(shù)據(jù)融合結(jié)果。從圖4中可以看出,軟件在SCI數(shù)據(jù)表的第一列已填寫了與EI重復(fù)的文獻(xiàn)數(shù)據(jù)行號,在EI數(shù)據(jù)表的第一列已填寫了與SCI重復(fù)的文獻(xiàn)數(shù)據(jù)行號。圖5為新生成的融合數(shù)據(jù)表,共含3271篇文獻(xiàn)數(shù)據(jù),其中包含1987篇SCI文獻(xiàn)和經(jīng)格式轉(zhuǎn)換后的1283篇非重EI文獻(xiàn)數(shù)據(jù)。將融合數(shù)據(jù)表使用SCI文獻(xiàn)數(shù)據(jù)格式轉(zhuǎn)換工具轉(zhuǎn)換為PlainText格式后,可以導(dǎo)入TDA或CiteSpace等軟件進(jìn)行進(jìn)一步分析。表5展示了1987篇SCI和2668篇EI測試文獻(xiàn)數(shù)據(jù)查重和融合效果。本軟件為滿足多次查重需求設(shè)計(jì)了重新查重和補(bǔ)充查重兩種模式,重新查重模式即覆蓋之前查重結(jié)果從頭開始查重和融合,補(bǔ)充查重即在之