面向VIVO本體的數(shù)據(jù)攝取工具

1、面向vivo本體的數(shù)據(jù)攝取工具摘要介紹基于本體的科學(xué)家網(wǎng)絡(luò)vivo中的數(shù)據(jù)攝取工具，分析關(guān)系數(shù)據(jù)模型向rdf數(shù)據(jù)模型的批量數(shù)據(jù)攝取并與vivo本體匹配的原理，闡述工具應(yīng)用流程，為基于本體構(gòu)建的信息服務(wù)系統(tǒng)或語義網(wǎng)應(yīng)用中存在的異構(gòu)數(shù)據(jù)攝取問題提供解決方法。本文還討論了該工具的特色和存在的問題。關(guān)鍵詞 vivo 本體 數(shù)據(jù)攝取工具 sparql查詢an data ingest tool for vivo ontologyabstract to provide an effective method to import the heterogeneous data into the informat

2、ion systems based on ontologies, this paper introduces an data ingest tool developed in vivo which is a networking of scientists and is a semantic web application, including the principles and the working process in the data ingestion from relational data model to rdf data model and the data mapping

3、 with vivo ontology. the characteristics and some questions in this tool are also discussed.keyword vivo ontology data ingest tool sparql query當(dāng)前基于本體的系統(tǒng)越來越多，本體已經(jīng)按照概念和屬性的規(guī)則定義了數(shù)據(jù)、按照三元組模式存儲了數(shù)據(jù)，但在當(dāng)前很多系統(tǒng)中，數(shù)據(jù)仍以不同的格式存在和存儲，這就使得信息系統(tǒng)之間、數(shù)據(jù)之間的互操作、共享等成為很大的問題，目前的數(shù)據(jù)集成研究和工具應(yīng)用幾近成熟1-2，但還沒有專門針對本體的數(shù)據(jù)導(dǎo)入工具產(chǎn)品。在建設(shè)基于本體的信息系統(tǒng)

4、以后，需要把不同格式的數(shù)據(jù)導(dǎo)入到語義系統(tǒng)的數(shù)據(jù)庫中；如果采用界面錄入，將需要較大的人工成本，還不能完全保證數(shù)據(jù)的正確性。因此，一個強大的、面向本體的數(shù)據(jù)導(dǎo)入工具在當(dāng)前語義網(wǎng)應(yīng)用實施和維護中是很重要的。本文分析一個實用的面向本體的數(shù)據(jù)導(dǎo)入工具，這是在vivo一個面向科學(xué)和學(xué)術(shù)交流的科學(xué)家語義網(wǎng)絡(luò)建設(shè)中，開發(fā)和應(yīng)用的數(shù)據(jù)導(dǎo)入工具。在該項目中，該工具被稱為數(shù)據(jù)攝取工具（data ingest tool）。1 vivo項目概況vivo最初是康奈爾大學(xué)圖書館在2004年啟動，以支撐該校農(nóng)業(yè)和生命科學(xué)學(xué)院的生命科學(xué)研究而發(fā)展起來的，vivo在2007年利用rdf、owl、jena 和sparql等技術(shù)進行

5、了改造，目前其內(nèi)容已經(jīng)覆蓋康奈爾大學(xué)所有院系的教員、科研人員和學(xué)科的信息，分為人員、機構(gòu)、學(xué)術(shù)活動和科研（）3?；趘ivo在康奈爾大學(xué)的應(yīng)用以及科學(xué)研究工作發(fā)展的需求，2009年9月份美國7所大學(xué)（包括佛羅里達大學(xué)、康奈爾大學(xué)、印第安那大學(xué)等）聯(lián)合申請，從美國國立衛(wèi)生研究院（nih）的國家研究資源中心（national center for research resources）獲得1,220萬美元的資助，來建設(shè)一個開放的科學(xué)家網(wǎng)絡(luò)的語義應(yīng)用，這個應(yīng)用是為了尋求一種解決方法，來促進科研人員的科研網(wǎng)絡(luò)化和協(xié)作4，項目為期2年。目前佛羅里達大學(xué)和印第安

6、那大學(xué)已搭建本地vivo系統(tǒng)。2010年9月vivo數(shù)據(jù)被放到關(guān)聯(lián)數(shù)據(jù)云中5。vivo本體是vivo建設(shè)的核心部分，本體設(shè)計策略是核心本體+具有新命名空間的當(dāng)?shù)乇倔w；不同命名空間的本體將支持對全部的或部分的本體實例的查詢。vivo開發(fā)了一個本體編輯器-vitro，用于本體創(chuàng)建和修改、類和屬性添加、實例添加等，并能直接生成owl文件?；诒倔w，vivo系統(tǒng)還提供了系統(tǒng)顯示欄目與底層本體類的靈活關(guān)聯(lián)，提供了基于本體的索引和檢索功能，以及rdf數(shù)據(jù)添加/移除、rdf導(dǎo)出（包括本體、實例，支持多種文件格式，如rdfxml、n3、n-triples、turtle等）、數(shù)據(jù)攝取工具、sparql查詢。vi

7、vo建設(shè)的軟件和工具目前都是開放和開源的6，可以便于其他有類似需求的系統(tǒng)建設(shè)者能夠快速有效地建立模式系統(tǒng)，實現(xiàn)vivo倡導(dǎo)的構(gòu)建國家的、國際的科學(xué)家網(wǎng)絡(luò)的目標(biāo)。2 vivo數(shù)據(jù)攝取工具原理和工作流程為了解決系統(tǒng)中的數(shù)據(jù)添加以及免除科研人員數(shù)據(jù)輸入的麻煩，面向vivo的本體結(jié)構(gòu)，vivo開發(fā)了數(shù)據(jù)攝取工具。該工具目前已經(jīng)在成員單位康奈爾大學(xué)、弗羅里達大學(xué)的vivo平臺上應(yīng)用，并在不斷完善中，例如攝取數(shù)據(jù)類型的增加、實現(xiàn)源數(shù)據(jù)與系統(tǒng)數(shù)據(jù)之間的更好匹配等7。2.1 數(shù)據(jù)攝取的概念數(shù)據(jù)攝取（data ingest）是指裝載已有數(shù)據(jù)到vivo中的任一過程，而不是直接地內(nèi)容編輯，包括從一個在線數(shù)據(jù)庫或一個

8、當(dāng)?shù)赜涗浵到y(tǒng)中下載或?qū)С鰯?shù)據(jù)7。這個概念與一般提到的概念“數(shù)據(jù)導(dǎo)入（data import）”類似，但過程的復(fù)雜程度超過數(shù)據(jù)導(dǎo)入，解決本體中不同類之間的對象關(guān)聯(lián)就是難點之一。數(shù)據(jù)攝取不是全部自動化的，實際上，當(dāng)前的攝取工具包括從數(shù)據(jù)源文件整理到在vivo中新數(shù)據(jù)顯示的一系列工作，流程中需要操作者有一些對語義網(wǎng)數(shù)據(jù)模型的了解。2.2 工作原理基本工作原理是：使用攝取工具閱讀源數(shù)據(jù)文件，閱讀來的數(shù)據(jù)被存儲在vivo數(shù)據(jù)庫中作為一個“外部模型”，由vivo底層的jena語義網(wǎng)文庫進行管理；利用jena模型存儲的信息，關(guān)聯(lián)導(dǎo)入的信息和vivo源數(shù)據(jù)：利用在sparql查詢語言中的construct查詢

9、，進行源本體和vivo本體之間的匹配并創(chuàng)建陳述7。通過分析，可見vivo數(shù)據(jù)攝取工具有三層模型基礎(chǔ)架構(gòu)，如圖1所示：（1） 當(dāng)?shù)乇倔w-源數(shù)據(jù)模型目前攝取工具能支持導(dǎo)入的源數(shù)據(jù)類型包括由excel文件或者數(shù)據(jù)庫記錄產(chǎn)生的csv文件、xml文件。vivo提供工具閱讀csv文件、也可以閱讀和轉(zhuǎn)換xml到rdf。所以，首先要新建一個當(dāng)?shù)乇倔w，以它的類和屬性來存儲源數(shù)據(jù)，以它的命名空間作為所攝取資源的命名空間。（2） 數(shù)據(jù)導(dǎo)入和構(gòu)造查詢的jena模型在攝取工作區(qū)需要新建數(shù)據(jù)導(dǎo)入模型和構(gòu)造模型。導(dǎo)入模型把從csv文件中閱讀來的數(shù)據(jù)轉(zhuǎn)變?yōu)閞df，被jena語義網(wǎng)文庫管理。在sparql construct檢

10、索中，利用構(gòu)造模型，對來源數(shù)據(jù)rdf與vivo中的rdf進行匹配。（3） vivo數(shù)據(jù)模型因為vivo通過“核心本體+當(dāng)?shù)乇倔w”的組織方式來實現(xiàn)國家網(wǎng)絡(luò)的資源共享，所以，在數(shù)據(jù)攝取后需要建立當(dāng)?shù)乇倔w與vivo本體的匹配。以人員信息的導(dǎo)入為例：從源文件閱讀來的作者名字需要關(guān)聯(lián)上vivo中的人員實例，可能的匹配結(jié)果是：或者匹配上已有人員或者創(chuàng)建一個新的人員記錄。這種匹配最好是利用標(biāo)識符例如電子郵件地址或者一個機構(gòu)或者其他標(biāo)識符。當(dāng)一個作者已經(jīng)存在了，新導(dǎo)入的作者能夠合并到vivo中已存在的人員。 如果一個作者在vivo找不到，那么一個新的人員記錄必須在vivo中產(chǎn)生，利用在rdf的sparql檢索

11、語言中的檢索的construct形式：導(dǎo)入作者的檢索利用導(dǎo)入的本體來表達；construct聲明利用vivo本體的類和屬性名。這就完成了源本體和vivo本體的匹配。源數(shù)據(jù)也再次從在導(dǎo)入模型中的rdf翻譯為在vivo模型的rdf。圖1 vivo數(shù)據(jù)攝取工具原理圖在vivo的系統(tǒng)管理平臺上提供的攝取工具操作菜單如圖2所示，其中，主要使用的是3個功能區(qū)：manage jena models（創(chuàng)建一個導(dǎo)入模型）、convert csv to rdf（轉(zhuǎn)換csv文件為rdf）或load xml and convert to rdf(轉(zhuǎn)換csvxml文件為rdf)、execute sparql const

12、ruct（執(zhí)行sparql構(gòu)造）。圖2 vivo系統(tǒng)中的數(shù)據(jù)攝取工具菜單72.3 工作流程主要介紹利用工具的流程化數(shù)據(jù)攝取過程，具體包括了6個步驟（以用戶經(jīng)常使用到的csv文件攝取為例）。不過，在攝取過程開始之前，需要對源數(shù)據(jù)進行評價，這是一個比較緩慢的過程，需要決定做怎樣的數(shù)據(jù)清理，然后再進行數(shù)據(jù)攝取的工作流程。（1）創(chuàng)建一個當(dāng)?shù)乇倔wvivo建議每個機構(gòu)自己創(chuàng)建一個當(dāng)?shù)乇倔w來容納機構(gòu)數(shù)據(jù)和數(shù)據(jù)源的獨特需要。利用vivo提供的本體建設(shè)功能（ontology list），創(chuàng)建一個新本體，并定義命名空間，添加類和屬性，如類“人員”的數(shù)值屬性personid、“機構(gòu)”的數(shù)值屬性organizatio

13、nid。（2）創(chuàng)建工作區(qū)模型來攝取和構(gòu)造數(shù)據(jù)在數(shù)據(jù)攝取工作區(qū)，選擇“manage jena model”（見圖2）來創(chuàng)建兩個模型，一個為攝取模型（ingest model），一個為構(gòu)造模型(construction model)。這兩個模型還提供模型導(dǎo)出功能，文件為rdf格式。（3）把外部數(shù)據(jù)文件轉(zhuǎn)換為rdf選擇“convert csv to rdf”（見圖2）把整理好的、存放在相關(guān)位置的csv文件如people.csv轉(zhuǎn)換為某一命名空間的rdf文件。需要考慮命名空間、類名，以及選擇的攝取模型。資源的命名空間將一直跟隨著資源，所以它最好與所創(chuàng)建的當(dāng)?shù)乇倔w的命名空間一致，而類和屬性的命名空間在這

14、一步都是暫時的，因為在下面的步驟中它們將轉(zhuǎn)換到本體的格式。類名在這一步也是暫時的，也將變更到本體的格式。轉(zhuǎn)換是否成功，可以通過在系統(tǒng)的所有類中查找到新導(dǎo)入的類（包括實例）的方式來檢查，或者，通過輸出攝取模型來檢查。（4）匹配表格數(shù)據(jù)為本體格式收集屬性、類和其他相關(guān)的uri，來作為匹配的標(biāo)準(zhǔn)。首先是獲取被攝取數(shù)據(jù)的uri：打開“manage jena model”，在創(chuàng)建的攝取模型中，選擇“output model rdf”，生成文檔的謂詞為下一步sparql檢索所需要的特征（圖3），復(fù)制這些謂詞到一個寫字板文件中。圖3 被攝取數(shù)據(jù)的rdf格式然后，獲取vivo本體中實例的謂詞：確定被攝取數(shù)據(jù)將

15、被放入的vivo本體中的類，獲取類與屬性的uri，或者瀏覽這個類一個已有實例或者新建一個實例，進入“raw statements with this resource as subject”，復(fù)制在sparql檢索中需要的這些uri或謂詞到一個寫字板文檔中。（5）構(gòu)造攝取的實體在數(shù)據(jù)攝取工作區(qū)，選擇“execute sparql construct”（見圖2），用下面的基本框架在sparql中對被攝取數(shù)據(jù)的謂詞和vivo中實例的謂詞進行比較，對于沒有匹配上的數(shù)據(jù)將為vivo構(gòu)造新實例（如果被導(dǎo)入的新數(shù)據(jù)已經(jīng)存在于vivo中時，如果所在的命名空間不同，會出現(xiàn)兩個名稱相同的實例）：construc

16、twhere對于可能出現(xiàn)的變數(shù)，可以在變數(shù)名稱前用？表示。例如：construct?person . ?person ?fullname.where?person ?fullname.在工作區(qū)，選擇數(shù)據(jù)導(dǎo)入模型和構(gòu)造模型。在執(zhí)行構(gòu)造的過程中，創(chuàng)建實例的陳述（statement），這些陳述將按照vivo數(shù)據(jù)模型創(chuàng)建三元組。（6）裝載數(shù)據(jù)到當(dāng)前vivo模型為了防止tomcat更新時，數(shù)據(jù)模型的丟失，需要導(dǎo)出生成的最后模型，把它添加到當(dāng)前vivo模型中。在攝取工作菜單，選擇“manage jena models”，選擇構(gòu)造模型的數(shù)據(jù)導(dǎo)出（output model），保存結(jié)果文件；利用vivo系統(tǒng)管理

17、頁面的“添加/刪除 rdf”功能區(qū)，選擇n3格式導(dǎo)入結(jié)果文件（n3是一種三元組的方式，通過枚舉rdf模型中的每個陳述來表述rdf模型，與圖形、xml相比，它最易于使用，簡明易懂8）。這樣，攝取數(shù)據(jù)現(xiàn)在將顯示在vivo的索引和檢索結(jié)果中。3關(guān)鍵技術(shù)分析3.1數(shù)據(jù)閱讀和轉(zhuǎn)換vivo系統(tǒng)數(shù)據(jù)導(dǎo)入模塊的數(shù)據(jù)采用rdf格式，rdf是網(wǎng)絡(luò)上用來描述信息的一種矢量圖數(shù)據(jù)格式，rdf又提供了將不同的信息資源整合的方法9。vivo利用一個supplied xsl或者extensible stylesheet language來直接轉(zhuǎn)換xml為rdf，很好解決了在異構(gòu)數(shù)據(jù)庫之間的數(shù)據(jù)導(dǎo)入導(dǎo)出中的首要解決的問題-閱

18、讀（打開）非sql server數(shù)據(jù)庫的問題。這種成功的轉(zhuǎn)換很大程度依賴xml數(shù)據(jù)的結(jié)構(gòu)和一致性上。這里就需要在數(shù)據(jù)閱讀之前，做好關(guān)系數(shù)據(jù)表的準(zhǔn)備。csv是一種純文本格式，但其可以用excel打開且能呈現(xiàn)類似于表格的形式，基于這個特點，可將現(xiàn)有的一些關(guān)系數(shù)據(jù)庫表格存儲成csv格式。3.2 sparql查詢原理在攝取工具中，jena的特點得到了很好地運用，存儲數(shù)據(jù)到硬盤上，或者是owl文件，或者是關(guān)系數(shù)據(jù)庫中。jena提供了arq查詢引擎，實現(xiàn)sparql查詢語言和rdql，從而支持對模型的查詢。另外，查詢引擎與關(guān)系數(shù)據(jù)庫相關(guān)聯(lián)，這使得查詢存儲在關(guān)系數(shù)據(jù)庫中的本體時能夠達到更高的效率。隨著越來越

19、多的數(shù)據(jù)使用rdf格式保存，需要用一種簡單方法查找特定信息。sparql這個功能強大的新查詢語言填補了這個空白，使用戶可以很容易地在rdf中找到所需要的數(shù)據(jù)。sparql是rdf數(shù)據(jù)查詢語言，它能夠查詢跨系統(tǒng)不同數(shù)據(jù)資源，不管數(shù)據(jù)本身就是rdf格式還是通過中間件可查看其rdf格式。大多數(shù)sparql查詢是一種叫做基本視圖格式的三元組格式。該三元組格式，除了主謂賓也許是變量之外，很像rdf格式。當(dāng)一個子視圖中的rdf術(shù)語被變量取代且檢索出的rdf視圖結(jié)果等同于該子視圖時，那么說一個基本視圖匹配了rdf文檔中的子視圖10。在vivo攝取工具中，使用到的是sparql查詢的construct語句，返

20、回結(jié)果集為rdf視圖。3.3 本體匹配（映射）vitro系統(tǒng)中有自身的本體表述，有人員類，對應(yīng)有若干數(shù)值屬性和對象數(shù)據(jù)，但其與關(guān)系數(shù)據(jù)轉(zhuǎn)換的臨時三元組格式數(shù)據(jù)在謂詞上不一致，需要對兩種謂詞表述進行映射。在本體匹配中，人員類的名稱詞要做映射，其次兩者對應(yīng)的數(shù)值屬性詞也要一一映射。.該映射表做好后，可以將其直接轉(zhuǎn)化成sparql的construct查詢語句，即將一個rdf格式文檔利用sparql construct創(chuàng)建的格式生成一個新的rdf格式文檔，之前的謂詞被construct中的謂詞所替換。如果一個先前不在vivo中的對象被發(fā)現(xiàn)，一條新記錄必須利用construct查詢格式在vivo中被創(chuàng)建

21、。查詢?yōu)g覽導(dǎo)入數(shù)據(jù)列表，在沒有發(fā)現(xiàn)可匹配已有實例的任何地方，插入創(chuàng)建一個新實例的陳述。導(dǎo)入數(shù)據(jù)的查詢利用導(dǎo)入本體被表達，而construct陳述使用vivo本體的類和屬性名稱。這完成了源本體和vivo本體之間的匹配。 3.4對象屬性的關(guān)聯(lián)導(dǎo)入 vivo攝取工具目前僅實現(xiàn)了關(guān)系數(shù)據(jù)庫單表的導(dǎo)入，在本體中均為對應(yīng)的數(shù)值屬性。對于多個關(guān)聯(lián)的關(guān)系數(shù)據(jù)庫表如何轉(zhuǎn)化為本體中的對象屬性還在繼續(xù)研究中。4 vivo數(shù)據(jù)攝取工具的特色和問題xml具有自描述功能、結(jié)構(gòu)性強、語義性強、交互性好、能描述不同復(fù)雜程度的數(shù)據(jù)、可以在各種平臺上用各種編程語言對xml文件進行處理的特點，故用xml作為數(shù)據(jù)模型描述來自不同數(shù)據(jù)

22、源的數(shù)據(jù)，屏蔽數(shù)據(jù)源中應(yīng)用環(huán)境和數(shù)據(jù)結(jié)構(gòu)的異構(gòu)性。但xml只能從語法結(jié)構(gòu)描述數(shù)據(jù)信息，而不能表達清晰的語義信息。因此，語義異構(gòu)的問題仍存在于各種數(shù)據(jù)集成系統(tǒng)中，解決語義異構(gòu)也成為目前數(shù)據(jù)集成急需解決的任務(wù)。vivo攝取工具在一定程度上解決了語義異構(gòu)的問題。作為一個實際應(yīng)用的語義網(wǎng)應(yīng)用系統(tǒng)中的數(shù)據(jù)攝取工具，當(dāng)前的vivo數(shù)據(jù)攝取工具還存在著一些問題：能攝取的數(shù)據(jù)類型有限，主要是csv文件、xml，當(dāng)前vivo還是主要面向結(jié)構(gòu)化數(shù)據(jù)源，如面向的pubmed系統(tǒng)等； 如何面向非結(jié)構(gòu)化數(shù)據(jù)源如純文本，如何面向半結(jié)構(gòu)化數(shù)據(jù)源如xml/html文件、rdf等格式標(biāo)注的網(wǎng)頁、詞典等；信息存在著操作過程中需要

23、人工與自動并存的操作方式，且步驟較多；導(dǎo)入數(shù)據(jù)成為vivo本體中的實例后，需要人工進行對象屬性的關(guān)聯(lián)，例如人員與機構(gòu)的關(guān)聯(lián)。但，作為一個語義網(wǎng)應(yīng)用總體系統(tǒng)中的一部分，數(shù)據(jù)攝取工具對vivo的應(yīng)用很實用。5 結(jié)語隨著本體在信息系統(tǒng)領(lǐng)域應(yīng)用的深入研究和應(yīng)用，基于本體的語義網(wǎng)應(yīng)用也越來越多。如何收集和整理大量科學(xué)數(shù)據(jù)（試驗數(shù)據(jù)、計算數(shù)據(jù)、分析數(shù)據(jù)等）到這些語義網(wǎng)中已經(jīng)成為問題。對于大量非結(jié)構(gòu)化數(shù)據(jù)源和半結(jié)構(gòu)化數(shù)據(jù)源的本體學(xué)習(xí)，目前研究較多11，但是仍沒有一個成熟的概念獲取方法，多元的外部數(shù)據(jù)源到本體的匹配仍是研究重點，而在vivo中數(shù)據(jù)攝取已經(jīng)工具化并實際應(yīng)用，以幫助用戶方便快捷地導(dǎo)入自己的數(shù)據(jù)，有

24、值得研究的地方。面向本體的異構(gòu)數(shù)據(jù)集成和導(dǎo)入，仍是當(dāng)前的一個研究方向。致謝感謝康奈爾大學(xué)mann圖書館和印第安納大學(xué)的vivo團隊成員，在黃金霞參與vivo項目工作時給予的幫助和指導(dǎo)。參考文獻：1 rapid semantic integration of data using the tango dataloader frameworkeb/ol. 2010-12-15./content/knowledge-center/application-briefs.2 websphere電子商務(wù)軟件eb/ol.2010-10-15./software/cn/websphere/commerce/index.html.3 vivo is a research-focused discovery