“CALIS_高校學(xué)位論文數(shù)據(jù)庫(kù)”可行性研究報(bào)告-CALIS工程中心-清華大學(xué)圖書(shū)館

1、匯報(bào)內(nèi)容,一、立項(xiàng)背景和需求 二、總體目標(biāo) 三、主要建設(shè)內(nèi)容 四、實(shí)施方案(組織管理、總體框架、技術(shù)路線等) 五、實(shí)施進(jìn)度,立項(xiàng)背景和需求, 背景 近年來(lái)，國(guó)際范圍內(nèi)學(xué)位論文的網(wǎng)上利用已成趨勢(shì)， 可歸納為兩種模式： 美國(guó)UMI公司的商業(yè)性數(shù)據(jù)庫(kù)PQDD 采用集中建庫(kù)、分級(jí)服務(wù)的模式； 由于UMI較為公平地處理學(xué)位論文的知識(shí)產(chǎn)權(quán)。該數(shù)據(jù)庫(kù)在全球范圍內(nèi)的到公認(rèn)和廣泛應(yīng)用； 國(guó)內(nèi)同方光盤(pán)公司出版發(fā)行的中國(guó)優(yōu)秀博碩士學(xué)位論文全文數(shù)據(jù)庫(kù)采用了類同PQDD的集中建庫(kù)模式。,NDLTD（博碩士論文網(wǎng)絡(luò)數(shù)字圖書(shū)館） 由美國(guó)弗吉尼亞理工大學(xué)計(jì)算機(jī)學(xué)教授Edward Fox在1997年發(fā)起建立，目前有世界范圍的1

2、85個(gè)成員； 采用元數(shù)據(jù)集中建庫(kù)，學(xué)位論文全文由各學(xué)校在本地建庫(kù)的模式。通過(guò)OAI協(xié)議收集元數(shù)據(jù)，用戶檢索元數(shù)據(jù)庫(kù)，通過(guò)OPENURL技術(shù)鏈接到分布在各學(xué)校的論文全文。 這種模式符合網(wǎng)絡(luò)環(huán)境下數(shù)字資源開(kāi)放建設(shè)和分布服務(wù)的發(fā)展趨勢(shì)。近幾年臺(tái)灣地區(qū)建立的eThesys系統(tǒng)也采用類同架構(gòu)。 “十五”期間，“CALIS高校學(xué)位論文數(shù)據(jù)庫(kù)”的建設(shè)參考了NDLTD模式。,立項(xiàng)背景和需求（續(xù)）, 需求 博碩士學(xué)位論文集中反映了學(xué)校的教學(xué)、科研成果，是廣大師生十分重視的一種學(xué)術(shù)文獻(xiàn)。 近十幾年來(lái)，絕大部分學(xué)位論文都采用了計(jì)算機(jī)錄入、排版和打印，由此產(chǎn)生了大量的“原生”的電子文本。 在沒(méi)有建立起電子版學(xué)位論文（

3、ETD）收藏機(jī)制之前，每年大量的電子文本隨畢業(yè)生的離校而流失，這對(duì)學(xué)位論文的電子化利用是非常遺憾的事情。 清華大學(xué)自2000年6月開(kāi)始進(jìn)行ETD全文的收集工作，目前已積累四年(8批)電子版博碩士學(xué)位論文1萬(wàn)余篇。,立項(xiàng)背景和需求（續(xù)）,2001年以來(lái)，北京大學(xué)、北京農(nóng)業(yè)大學(xué)、武漢大學(xué)、吉林大學(xué)、廈門(mén)大學(xué)、西安交通大學(xué)、東南大學(xué)等10余所學(xué)校也陸續(xù)建立了本校的學(xué)位論文提交和發(fā)布服務(wù)系統(tǒng)，反映了高校普遍希望改變傳統(tǒng)紙本學(xué)位論文收藏和服務(wù)方式的需求。 在數(shù)字圖書(shū)館建設(shè)的浪潮下，國(guó)內(nèi)圖書(shū)館都在尋找自己的切入點(diǎn)，想做一些數(shù)字資源建設(shè)方面的事情。而電子版學(xué)位論文（ETD）正是各學(xué)校源源不斷“自產(chǎn)”的，最有

4、條件、有能力收集全、利用好的“原生”數(shù)字資源。,立項(xiàng)背景和需求（續(xù)）,在“九五”期間建設(shè)的博碩士學(xué)位論文文摘數(shù)據(jù)庫(kù)基礎(chǔ)上，建設(shè)一個(gè)提供集中式檢索（含前16頁(yè)全文瀏覽）、分布式全文獲取服務(wù)的CALIS高校博碩士學(xué)位論文數(shù)據(jù)庫(kù)。為高校范圍內(nèi)的讀者通過(guò)網(wǎng)絡(luò)共享學(xué)位論文信息提供途徑和保障，促進(jìn)高校教學(xué)、科研水平的交流與提高。,總體目標(biāo),包括三部分： 1.分布建立本地學(xué)位論文網(wǎng)上提交與 發(fā)布系統(tǒng) 2.增加CALIS高校學(xué)位論文庫(kù)數(shù)據(jù)量 （元數(shù)據(jù)前16頁(yè)全文） 3.建立學(xué)位論文集中檢索服務(wù)平臺(tái)和 共享機(jī)制,主要建設(shè)內(nèi)容,1. 分布建立本地學(xué)位論文網(wǎng)上提交與發(fā)布系統(tǒng) 借鑒國(guó)際上學(xué)位論文網(wǎng)上提交和利用的經(jīng)驗(yàn)，

5、綜合國(guó)內(nèi)高校的實(shí)際需求，接洽軟件開(kāi)發(fā)商開(kāi)發(fā)“學(xué)位論文網(wǎng)上提交與發(fā)布系統(tǒng)”，推薦參建學(xué)校使用。 從本地系統(tǒng)應(yīng)用出發(fā)，促進(jìn)高校范圍內(nèi)普遍建立起： 新型的學(xué)位論文網(wǎng)上提交與管理機(jī)制； 本地學(xué)位論文全文網(wǎng)上檢索服務(wù)系統(tǒng)。 打破高校多年來(lái)以收藏紙本學(xué)位論文為主，學(xué)位論文文獻(xiàn)未能得以充分利用的局面。,主要建設(shè)內(nèi)容（續(xù)）,2. 增加CALIS高校學(xué)位論文庫(kù)數(shù)據(jù)量 “九五”期間，高校學(xué)位論文文摘庫(kù)的數(shù)據(jù)量約10萬(wàn)條。“十五”新增數(shù)據(jù)量10萬(wàn)條，新增數(shù)據(jù)中可提供論文前16頁(yè)瀏覽的比例不低于80%,可提供全文服務(wù)（包括直接下載或文獻(xiàn)傳遞）的比例不低于70%。 “九五”期間完成的10萬(wàn)條數(shù)據(jù)經(jīng)轉(zhuǎn)換后與“十五”期間新

6、增的10萬(wàn)條數(shù)據(jù)歸并在同一數(shù)據(jù)庫(kù)結(jié)構(gòu)中提供服務(wù)。 在“十五”經(jīng)費(fèi)支持下，CALIS學(xué)位論文庫(kù)的總數(shù)據(jù)量達(dá)20萬(wàn)條。,主要建設(shè)內(nèi)容（續(xù)）,3. 建立學(xué)位論文集中檢索服務(wù)平臺(tái)和共享機(jī)制 采用“OAI-PMH”和“METS”機(jī)制自動(dòng)收集分布 在參建單位的元數(shù)據(jù)和前16頁(yè)全文； 集中檢索CALIS學(xué)位論文庫(kù)的元數(shù)據(jù)； 提供獲取論文全文的鏈接調(diào)度功能； 數(shù)據(jù)庫(kù)訪問(wèn)、全文獲取、用戶登錄等統(tǒng)計(jì)功能； 個(gè)性化定制推送服務(wù)； 建立遵循知識(shí)產(chǎn)權(quán)公平利用學(xué)位論文的網(wǎng)上共享機(jī)制。,主要建設(shè)內(nèi)容（續(xù)）,CALIS學(xué)位論文數(shù)據(jù)庫(kù)的檢索和服務(wù): 在元數(shù)據(jù)級(jí) 公開(kāi)免費(fèi)提供檢索 論文前16頁(yè) 公開(kāi)免費(fèi)提供瀏覽 論文全文 通過(guò)認(rèn)

7、證結(jié)算機(jī)制在線瀏覽 通過(guò)館際互借/文獻(xiàn)傳遞離線獲取 以兩套系統(tǒng)的建設(shè)牽動(dòng)：網(wǎng)上提交發(fā)布系統(tǒng)（本地） 集中檢索服務(wù)系統(tǒng)（清華） 廣泛建立起新的學(xué)位論文收集和利用機(jī)制： 網(wǎng)上提交、電子版保存與服務(wù)、公平共享(互惠),主要建設(shè)內(nèi)容（續(xù)）,包括六部分： 1.現(xiàn)有基礎(chǔ) 5.技術(shù)路線 2.組織管理 6.技術(shù)難點(diǎn) 3.建設(shè)方式 7.互操作 4.總體框架和功能,實(shí)施方案（續(xù)）, 現(xiàn)有基礎(chǔ) “九五”期間， “CALIS高校學(xué)位論文文摘庫(kù)”數(shù)據(jù)超出10萬(wàn)條，參建學(xué)校近百所。 “九五”期間，先后組織了三次全國(guó)性的建庫(kù)人員培訓(xùn)和研討會(huì)，培訓(xùn)骨干人員150多人次。 在項(xiàng)目組織和實(shí)施中，清華圖書(shū)館與參建單位形成了良好的合

8、作關(guān)系，積累了項(xiàng)目組織和協(xié)作經(jīng)驗(yàn)。 清華圖書(shū)館參與了科技部我國(guó)數(shù)字圖書(shū)館標(biāo)準(zhǔn)規(guī)范建設(shè)項(xiàng)目，側(cè)重“專門(mén)元數(shù)據(jù)”子項(xiàng)目中“學(xué)位論文元數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范” 的研究和制定。,實(shí)施方案（續(xù)）, 組織管理 在“CALIS工程中心管委會(huì)”領(lǐng)導(dǎo)下，成立由項(xiàng)目牽頭單位、項(xiàng)目參建單位代表組成的“項(xiàng)目管理小組”，負(fù)責(zé)整個(gè)項(xiàng)目的組織、協(xié)調(diào)等工作。 項(xiàng)目管理小組由8所學(xué)校圖書(shū)館的代表組成： 北京大學(xué)、中國(guó)農(nóng)業(yè)大學(xué)、吉林大學(xué)、 上海交通大學(xué)、武漢大學(xué)、中山大學(xué)、 西安交通大學(xué)、清華大學(xué) 清華大學(xué)圖書(shū)館任組長(zhǎng)單位并成立項(xiàng)目實(shí)施小組。,實(shí)施方案（續(xù)）, 組織管理 出于盡量全面地收集高校范圍內(nèi)的學(xué)位論文資源的考慮，鼓勵(lì)所有“211”

9、高校申請(qǐng)參加本項(xiàng)目，也歡迎非“211”高校申請(qǐng)參加。 通過(guò)填寫(xiě)“成員單位基本信息登記表”和簽定“CALIS高校學(xué)位論文全文數(shù)據(jù)庫(kù)建設(shè)協(xié)議書(shū)”的形式確定參建單位的義務(wù)、責(zé)任和權(quán)利。,實(shí)施方案（續(xù)）, 建設(shè)方式 “CALIS學(xué)位論文全文數(shù)據(jù)庫(kù)”采用元數(shù)據(jù)集中建庫(kù)、論文全文分散建庫(kù)的兩級(jí)保障模式。 項(xiàng)目主持單位（清華圖書(shū)館）負(fù)責(zé)元數(shù)據(jù)建庫(kù)并提供集中檢索和服務(wù)。 各參建單位在本地建立起本校的“學(xué)位論文網(wǎng)上提交系統(tǒng)”和“學(xué)位論文全文檢索系統(tǒng)”；遵循本項(xiàng)目制定的學(xué)位論文元數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范提交統(tǒng)一格式的元數(shù)據(jù)，論文全文的訪問(wèn)權(quán)限（知識(shí)產(chǎn)權(quán)）由各學(xué)校自主控制。,實(shí)施方案（續(xù)）, 總體框架 方案設(shè)計(jì)盡量與國(guó)際接軌，

10、采用開(kāi)放、先進(jìn)的主流技術(shù)。 針對(duì)分布環(huán)境下的元數(shù)據(jù)收集，采用遵循“OAI-PMH”機(jī)制的自動(dòng)收割技術(shù)。 各參建單位作為OAI協(xié)議的數(shù)據(jù)提供方，負(fù)責(zé)建立本地的學(xué)位論文提交和發(fā)布系統(tǒng)。清華圖書(shū)館作為服務(wù)提供方，向分布在各參建單位的數(shù)據(jù)庫(kù)(數(shù)據(jù)提供方)發(fā)出請(qǐng)求，抓取元數(shù)據(jù)。 前16頁(yè)全文的收集采用METS機(jī)制（類似OAI自動(dòng)收集）。 用戶通過(guò)集中的元數(shù)據(jù)庫(kù)檢索到論文信息后，通過(guò)OPENURL和CALIS-OID技術(shù)鏈接到分布在各學(xué)校的論文全文。,實(shí)施方案（續(xù)）,元數(shù)據(jù)收割器,TPI論文提交發(fā)布系統(tǒng),方正論文提交發(fā)布系統(tǒng),北大數(shù)圖所論文提交發(fā)布系統(tǒng),其它平臺(tái),TRS論文提交發(fā)布系統(tǒng),OAI Data

11、Provider,全文鏈接（OpenURL）,索引,用戶界面,統(tǒng)計(jì)與評(píng)估模塊,資源調(diào)度模塊,與CALIS大系統(tǒng)接口,結(jié)算模塊,學(xué)位論文 元數(shù)據(jù)庫(kù),OAI Service Provider,收割進(jìn)度設(shè)置模塊,收割管理模塊,OAI HarvesterServer,數(shù)據(jù)提供方注冊(cè)管理,OAI-PMH,CALIS學(xué)位論文全文數(shù)據(jù)庫(kù)總體框架, CALIS學(xué)位論文全文數(shù)據(jù)庫(kù)系統(tǒng)結(jié)構(gòu)與功能 OAI Data Provider：各參建單位作為OAI協(xié)議的數(shù)據(jù)提供方，本地需要建立OAI Data Provider接口并提供DC和CALIS_ETD兩種數(shù)據(jù)格式。本地系統(tǒng)的安裝和維護(hù)由參建單位負(fù)責(zé)。 OAI Har

12、vester：清華圖書(shū)館作為服務(wù)提供方負(fù)責(zé)建立OAI Harvester接口，設(shè)置數(shù)據(jù)收割進(jìn)度、管理數(shù)據(jù)提供方的注冊(cè)和登記，提供日志分析功能，提供對(duì)收割不成功記錄的再次收割功能等。,實(shí)施方案（續(xù)）,OAI Service Provider：“CALIS學(xué)位論文元數(shù)據(jù)庫(kù)”作為OAI服務(wù)提供方，存放從各參建單位收割來(lái)的元數(shù)據(jù)，通過(guò)集中檢索服務(wù)平臺(tái)，對(duì)參建單位范圍內(nèi)的用戶提供免費(fèi)元數(shù)據(jù)檢索服務(wù)，對(duì)參建單位外的用戶提供收費(fèi)檢索服務(wù)。 該系統(tǒng)支持按學(xué)科分類瀏覽、查詢（簡(jiǎn)單檢索、復(fù)雜檢索）等功能。提供通過(guò)OPENURL技術(shù)鏈接到分散在各參建單位的全文；提供統(tǒng)計(jì)與評(píng)估接口；提供與CALIS總體平臺(tái)的接口（認(rèn)

13、證接口、日志訪問(wèn)接口、統(tǒng)計(jì)接口、結(jié)算接口、資源調(diào)度接口等）。,實(shí)施方案（續(xù)）,審核和編目,學(xué)生,審核員,編目員,發(fā)布服務(wù),不合格,合格,論文編目,檢索,提交模塊,文檔標(biāo)準(zhǔn)化（全文）,原有論文數(shù)據(jù)遷移,論文審核,論文發(fā)布,提交表單,統(tǒng)計(jì)與評(píng)估,結(jié)算模塊,OAI接口,本地學(xué)位論文提交和發(fā)布系統(tǒng)結(jié)構(gòu)流程, 本地學(xué)位論文提交和發(fā)布系統(tǒng)功能 論文提交模塊: 研究生通過(guò)網(wǎng)絡(luò)提交元數(shù)據(jù)信息并上載論文全文，可以網(wǎng)上修改已提交的論文信息，網(wǎng)上查詢論文是否審核通過(guò)。 管理員審核模塊: 圖書(shū)館員從格式的正確性、內(nèi)容的完整性等方面審核驗(yàn)收論文全文，也包括審核對(duì)應(yīng)的元數(shù)據(jù)信息。 編目模塊: 圖書(shū)館員對(duì)記錄做編目處理，加

14、入一些必須的館藏信息、權(quán)限控制信息等。 文檔標(biāo)準(zhǔn)化: 將word格式的文件批量轉(zhuǎn)換成PDF等格式的文件，包括對(duì)使用權(quán)限的處理。 發(fā)布服務(wù)和檢索模塊: 實(shí)現(xiàn)全文檢索、學(xué)科分類瀏覽以及論文全文瀏覽等功能。提供認(rèn)證、結(jié)算、統(tǒng)計(jì)與評(píng)估模塊的接口以及OAI數(shù)據(jù)提供接口。,實(shí)施方案（續(xù)）, 技術(shù)路線 項(xiàng)目涉及的標(biāo)準(zhǔn)規(guī)范盡量采用國(guó)內(nèi)外已有的通用標(biāo)準(zhǔn)(如OAI-PMH、METS、OPENURL、Web Service以及我國(guó)數(shù)字圖書(shū)館標(biāo)準(zhǔn)規(guī)范等)，擴(kuò)展部分遵照CALIS統(tǒng)一規(guī)定(如:ODL接口協(xié)議,CALIS-OID技術(shù)等)。 針對(duì)各單位本地學(xué)位論文提交發(fā)布系統(tǒng)的建設(shè)，項(xiàng)目實(shí)施組在廣泛調(diào)研的基礎(chǔ)上，已選擇有經(jīng)

15、驗(yàn)和開(kāi)發(fā)實(shí)力的軟件商根據(jù)項(xiàng)目需求進(jìn)行了二次開(kāi)發(fā)（增加OAI接口等），并以組團(tuán)購(gòu)買(mǎi)的方式爭(zhēng)取到優(yōu)惠價(jià)格。推薦各參建單位購(gòu)買(mǎi)成熟的商業(yè)軟件，減少重復(fù)開(kāi)發(fā)、成本低見(jiàn)效快。 針對(duì)學(xué)位論文集中檢索服務(wù)系統(tǒng)的建設(shè)，項(xiàng)目實(shí)施組計(jì)劃在廣泛調(diào)研的基礎(chǔ)上，綜合國(guó)內(nèi)外同類系統(tǒng)的先進(jìn)技術(shù)，提出系統(tǒng)需求和設(shè)計(jì)方案，通過(guò)招標(biāo)或邀標(biāo)的方式選擇有經(jīng)驗(yàn)、有實(shí)力的軟件商開(kāi)發(fā)。,實(shí)施方案（續(xù)）, 技術(shù)難點(diǎn) 1）論文全文（PDF格式）的權(quán)限控制； 2）論文題目、文摘中特殊字符、各類公式的錄入和展示； 3）基于OAI協(xié)議收割數(shù)據(jù)的質(zhì)量控制； 4）兩級(jí)系統(tǒng)（分布、集中）中的認(rèn)證和結(jié)算功能等。 擬采用的解決途徑： 采用(嵌入)CALIS管

16、理中心已經(jīng)開(kāi)發(fā)的模塊; 開(kāi)展更廣泛的調(diào)研，挖掘出已有的成熟技術(shù)； 在招標(biāo)中提出需求，由軟件開(kāi)發(fā)商解決； 設(shè)立項(xiàng)目子課題，邀請(qǐng)或者聯(lián)合有研究基礎(chǔ)的單位攻關(guān)。,實(shí)施方案（續(xù)）, 互操作 本項(xiàng)目系統(tǒng)接口涉及到三部分： 學(xué)位論文集中檢索服務(wù)系統(tǒng)與CALIS整體平臺(tái)之間； 各校學(xué)位論文提交和發(fā)布系統(tǒng)與CALIS整體平臺(tái)之間； 學(xué)位論文集中檢索服務(wù)系統(tǒng)與各校學(xué)位論文提交和 發(fā)布系統(tǒng)之間。 它們之間的關(guān)系如表1所示。,實(shí)施方案（續(xù)）,實(shí)施方案（續(xù)）,實(shí)施進(jìn)度,擬采用先啟動(dòng)提交、發(fā)布系統(tǒng)建設(shè)，盡快收集數(shù)據(jù)，后建立集中檢索服務(wù)平臺(tái)的步驟，分三個(gè)階段： 第一階段 調(diào)查規(guī)劃階段（2002年8月2003年4月） 調(diào)研國(guó)內(nèi)外學(xué)位論文系統(tǒng)發(fā)展?fàn)顩r，確定項(xiàng)目實(shí)施方案和技術(shù)路線； 申請(qǐng)立項(xiàng)并籌備成立項(xiàng)目管理組。召開(kāi)項(xiàng)目管理組第一次工作會(huì)議，討論通過(guò)本項(xiàng)目的整體規(guī)劃、實(shí)施方案和技術(shù)路線; 調(diào)研商業(yè)平臺(tái)，選擇、比較不同平臺(tái)上的有代表性的3-4個(gè)系統(tǒng)，提出“學(xué)位論文提交與發(fā)布系統(tǒng)”的用戶需求和系統(tǒng)功能，接洽軟件開(kāi)發(fā)商進(jìn)行技術(shù)開(kāi)發(fā)。,第二階段 啟動(dòng)實(shí)施階段（2003年4月2004年6月） 起草“學(xué)位論文元數(shù)據(jù)標(biāo)準(zhǔn)方案”，確定核心表單數(shù)據(jù)項(xiàng)； 分批召開(kāi)項(xiàng)目啟動(dòng)、培訓(xùn)會(huì)議，幫助參建單位簽定“學(xué)位論文提交與發(fā)布系統(tǒng)”的購(gòu)買(mǎi)協(xié)議，落實(shí)系統(tǒng)安裝和開(kāi)通運(yùn)行； 參建單位安裝運(yùn)行學(xué)位論文提交與發(fā)布