數(shù)字資源整合的機制與方法ppt課件

1、李廣建u信息技術(shù)對信息效力的影響u信息資源整合u隨著計算機技術(shù)、多媒體以及網(wǎng)絡(luò)技術(shù)的飛速開展，信息載體的不斷電子化、網(wǎng)絡(luò)化，信息效力機構(gòu)如圖書館、情報機構(gòu)的信息技術(shù)也隨之計算機化、網(wǎng)絡(luò)化，以滿足不斷變化和開展的文獻(xiàn)信息效力的需求。u信息技術(shù)既對信息效力機構(gòu)帶來了機遇、也帶來了挑戰(zhàn)。u機遇u提供了先進(jìn)的技術(shù)手段u過去手工條件做到的，如今提高了效率u過去想到了，但因條件的限制做不到，如今能做了u過去沒想到的，如今也能做了u挑戰(zhàn)u過去的很多認(rèn)識，如今不靈了觀念問題u運轉(zhuǎn)方式和作業(yè)環(huán)境發(fā)生了翻天覆地的變化還是圖書館嗎？u用戶的要求越來越高了需求總是很難滿足u現(xiàn)有圖書

2、館任務(wù)方式u流水線式的任務(wù)u目錄為中心的任務(wù)方式u以文獻(xiàn)為單元的任務(wù)方式u現(xiàn)代信息技術(shù)環(huán)境以下圖書館任務(wù)面臨的轉(zhuǎn)變u任務(wù)的中心由面向館藏的轉(zhuǎn)變成面向用戶的u從基于載體的信息提供轉(zhuǎn)變成是基于內(nèi)容的信息提供u從館內(nèi)效力或面對面的效力轉(zhuǎn)變成網(wǎng)絡(luò)效力或遠(yuǎn)程效力u技術(shù)和設(shè)備在很大程度上會影響任務(wù)效果u假設(shè)我們轉(zhuǎn)變觀念u從圖書館的用戶到用戶的圖書館u假設(shè)我們改動流程u從分立的資源效力到集成整合的效力u假設(shè)我們用新技術(shù)u從簡單的信息檢索到個性化的推送Search enginePersonalenvironmentsPDAslearning management systemscampus portalcou

3、rse materialtext bookRSS aggregatorreadinglistslibraryuser environmentsresource environmentInstitutional repositoryDigital collectionsE-reserveCatalogLicensed collectionsAggregationsVirtual referenceCataloging, ILLthe library in the user environment,Not the user in the library environment.Flexible a

4、ssembly of services from multiple sources.u總之，要u圍繞著用戶的任務(wù)流程構(gòu)建相關(guān)的信息效力；u運用戶不分開其任務(wù)環(huán)境就可運用信息資源；u按照用戶的運用習(xí)慣組織信息資源和效力；u能根據(jù)用戶的不同為其組織和裝配不同的資源和效力u徹底處理u用戶看到的一個個孤立的系統(tǒng)，是一個個的建立成果展現(xiàn)；u效力系統(tǒng)自成體系，系統(tǒng)互連性差，不能被相互調(diào)用；u系統(tǒng)之的銜接關(guān)系是零散、無序、恣意的甚至是混亂的，沒有一個明晰的流程；uu用戶不了解、不明白、不易用、不會用、不能用、不愛用.u處理方案u信息資源整合u信息技術(shù)對信息效力的影響u信息資源整合u整合機制u整合技術(shù)u目前數(shù)

5、字資源整合系統(tǒng)的實現(xiàn)機制可以概括為四種u數(shù)據(jù)倉庫整合機制uMediator/Wrapper整合機制(中介器/封裝器整合機制)、uAgent整合機制uP2P整合機制 u數(shù)據(jù)倉庫整合機制是一種物理集成方式，它將不同來源的數(shù)字資源按特定的方式通常是按主題或其它多維方式建模并存儲在同一物理位置稱為數(shù)據(jù)倉庫，提供應(yīng)用戶一個新的、一致的目的數(shù)據(jù)方式schema，使得用戶可以一站式地訪問各種數(shù)字資源，從而到達(dá)整合的目的。u以下圖概略地示出了數(shù)據(jù)倉庫整合機制的根本原理數(shù)據(jù)倉庫數(shù)據(jù)源目的方式u從上圖中可以看出，數(shù)據(jù)倉庫整合機制的最根本的特點是物理地存放數(shù)字資源，對不同來源的數(shù)字資源進(jìn)展集中管理，簡化了用戶訪問信

6、息的復(fù)雜度，提高了數(shù)字資源的訪問速度和整合系統(tǒng)的性能。u而且，由于實現(xiàn)了不同來源的數(shù)字資源的一致性存儲，這種整合機制還有利于實施比信息檢索更復(fù)雜、更深化的數(shù)據(jù)發(fā)掘、知識發(fā)現(xiàn)等效力。u采用數(shù)據(jù)倉庫整合機制進(jìn)展整合的前提是必需能合法地例如經(jīng)過授權(quán)獲得來源系統(tǒng)中的數(shù)字資源，而且，由于是集中存儲要整合的數(shù)字資源，因此難以順應(yīng)網(wǎng)絡(luò)數(shù)字資源類型多樣、變化快等特點，同時還會添加本地系統(tǒng)存儲與維護(hù)的負(fù)擔(dān)。u數(shù)據(jù)倉庫整合機制較適用于自建資源。u數(shù)據(jù)倉庫整合機制所涉及的技術(shù)主要有：u1海量數(shù)據(jù)存儲u2ETL技術(shù)u3信息源的監(jiān)控與更新u1海量數(shù)據(jù)存儲u數(shù)據(jù)倉庫的數(shù)據(jù)來源于多個信息源即參與整合的系統(tǒng)中的數(shù)字資源，因此

7、具有數(shù)據(jù)量大、類型復(fù)雜的特點，屬于海量數(shù)據(jù)。u處理海量數(shù)據(jù)的存儲問題，除了需求相應(yīng)的專門設(shè)備如磁盤陣列、光盤庫、磁帶庫等，還需求精心地設(shè)計存儲構(gòu)造和存儲算法，既要保證數(shù)字資源有合理的物理存儲構(gòu)造，又要保證有較快的存取速度。u2ETL技術(shù)uETL技術(shù)是對要加以整合的數(shù)字資源進(jìn)展抽取Extract、轉(zhuǎn)換Transform、清洗Cleaning、裝載Loading的技術(shù)。u對不同來源的數(shù)字資源進(jìn)展物理集成，首先需求從參與整合的系統(tǒng)中抽取出相關(guān)數(shù)字資源，這需求運用信息抽取技術(shù)。u由于信息源是異構(gòu)的，因此，還必需利用轉(zhuǎn)換技術(shù)將不同構(gòu)造的數(shù)字資源規(guī)范化，消除異構(gòu)數(shù)字資源之間的不一致性，為來自不同系統(tǒng)的數(shù)字

8、資源之間的比較、整合以及一致存儲奠定根底；u清洗技術(shù)主要是處理信息冗余的去重以及錯誤和不完好信息的修正、剔除問題；u裝載技術(shù)那么是將清洗后的數(shù)字資源按一定的規(guī)那么加載至數(shù)據(jù)倉庫，構(gòu)成數(shù)據(jù)倉庫的物理存儲構(gòu)造和邏輯存儲構(gòu)造。u3信息源的監(jiān)控與更新u如前所述，數(shù)據(jù)倉庫整合機制是一種物理整合方式，數(shù)據(jù)倉庫本身與信息源在物理上是分別的，因此必需求處理數(shù)據(jù)倉庫與信息源的同步問題。也就是說，必需求監(jiān)控參與整合的信息源的變化，同步更新數(shù)據(jù)倉庫，確保用戶在整合系統(tǒng)中查詢到的是各個信息源中的最新數(shù)字資源。 umediator/wrapper整合機制是一種虛擬整合方式，在基于這種機制的整合系統(tǒng)中，并不真正存儲需求整

9、合的數(shù)字資源，而是經(jīng)過mediator和wrapper來實現(xiàn)整合。umediator和wrapper均為軟件組件，位于用戶和數(shù)據(jù)源之間，mediator擔(dān)任處置用戶提問和查詢結(jié)果的整合，wrapper那么擔(dān)任對信息源的銜接和詳細(xì)查詢。umediator/wrapper整合機制的根本原理如下圖。中介器mediator分布式資源分布式資源分布式資源封裝器wrapper封裝器wrapper封裝器wrapper提問全局方式Global Schema 信息源方式Source/Local Schemau在基于這種機制的整合系統(tǒng)中，用戶按全局方式Global Schema進(jìn)展查詢，mediator接納用戶查

10、詢并將其轉(zhuǎn)換成中間格式，然后提交給相應(yīng)的wrapper，wrapper進(jìn)一步將中間格式的查詢轉(zhuǎn)化為信息源方式或本地方式Source/Local Schema的查詢，并與參與整合的相應(yīng)信息源進(jìn)展銜接，實現(xiàn)對相應(yīng)信息源的查詢，將查詢結(jié)果前往給mediator，mediator對結(jié)果進(jìn)展處置，以一致的方式提供應(yīng)用戶。u與數(shù)據(jù)倉庫整合機制相比，mediator/wrapper整合機制可以有效地堅持各個異構(gòu)信息源的自治性，滿足部分的運用，并且可以充分發(fā)揚mediator的作用，滿足全局性運用。同時，運用這種機制的整合系統(tǒng)不需求在本地儲存大量的數(shù)字資源，因此可以順應(yīng)網(wǎng)絡(luò)環(huán)境下信息源高度自治、數(shù)量多、更新變

11、化快等特點，而且，在mediator中引入Ontology等語義相關(guān)技術(shù)后，可以有效處理知識整合、個性化效力等問題。u因此，mediator/wrapper整合機制是目前實現(xiàn)數(shù)字資源整合的主流方式。umediator/wrapper整合機制涉及的主要技術(shù)有：u1信息源選擇技術(shù)u2信息抽取技術(shù)u3查詢處置技術(shù)u4結(jié)果整合技術(shù)u5語義整合技術(shù)u1信息源選擇技術(shù)umediator/wrapper整合機制是一種虛擬整合方式，整合系統(tǒng)本身并不存儲被整合的數(shù)字資源，當(dāng)用戶進(jìn)展查詢時，假設(shè)將用戶查詢不加區(qū)別地發(fā)送給參與整合的一切信息源，必然會導(dǎo)致占用較多的帶寬并添加系統(tǒng)的負(fù)擔(dān)，這就需求利用信息源選擇技術(shù)來確

12、定相關(guān)度高的信息源，以提高整合系統(tǒng)的效率。u信息源選擇技術(shù)主要包括信息源描畫和信息源選擇兩個方面，前者是按一定的算法建立對各信息源的描畫模型，后者是在信息源描畫模型的根底上，根據(jù)用戶查詢，按一定算法選出相關(guān)度高的信息源作為查詢對象。u2信息抽取技術(shù)u信息抽取技術(shù)運用于整合系統(tǒng)的目的是將參與整合的半構(gòu)造化、非構(gòu)造化信息源中的數(shù)字資源轉(zhuǎn)化成構(gòu)造性更強、語義更明晰的格式，以提高查詢速度。目前，信息抽取技術(shù)曾經(jīng)成為了生成wrapper的關(guān)鍵技術(shù)之一，廣泛運用于面向網(wǎng)絡(luò)數(shù)字資源的整合系統(tǒng)中。u3查詢處置技術(shù)u查詢處置技術(shù)是mediator/wrapper整合機制中的最重要的技術(shù)之一，是對查詢進(jìn)展檢驗、重

13、構(gòu)、優(yōu)化的技術(shù)。u用戶對整合系統(tǒng)查詢時，整合系統(tǒng)需首先對用戶查詢進(jìn)展語法分析和檢驗，確保查詢符合系統(tǒng)全局方式的要求，這部分任務(wù)主要由查詢檢驗技術(shù)完成。u以后，整合系統(tǒng)再將經(jīng)過檢驗的查詢按一定的規(guī)那么轉(zhuǎn)換為面向不同信息源方式本地方式的多個查詢，這個過程稱為查詢重構(gòu)。u整合系統(tǒng)面對的是不同的信息源，由于各個信息源有其本身的特點，例如有不同的傳輸帶寬和傳輸延時，加之當(dāng)前運轉(zhuǎn)情況有不確定性，如當(dāng)前的信息源訪問量是大還是小、信息源能否能很快與整合系統(tǒng)建立銜接等等，這就要求整合系統(tǒng)根據(jù)各信息源的當(dāng)前運轉(zhuǎn)情況制定最優(yōu)查詢方案和查詢調(diào)配方案，并據(jù)此對各信息源進(jìn)展查詢，這個過程稱為查詢優(yōu)化。u4結(jié)果整合技術(shù)u整

14、合系統(tǒng)提供對各信息源的一站式訪問，因此對信息源訪問終了后需求用mediator對來自不同信息源的結(jié)果信息進(jìn)展整合及合成，以一致的方式呈現(xiàn)給用戶。u結(jié)果整合主要是對不同信息源的結(jié)果做并操作，并且重新計算結(jié)果的相關(guān)度。u普通地說，對一個信息源進(jìn)展查詢會構(gòu)成一個相應(yīng)的查詢子視圖，結(jié)果整合的目的就是將這些子視圖銜接起來，構(gòu)成一個完好的視圖，提供應(yīng)用戶。u5語義整合技術(shù)u隨著整合研討實際和實際不斷深化，Ontology、言語建模、機器學(xué)習(xí)等語義相關(guān)技術(shù)逐漸運用于數(shù)字資源整合。u語義整合技術(shù)被用來在系統(tǒng)運轉(zhuǎn)期間獲取和處置數(shù)字資源的意義及其之間的關(guān)聯(lián)，使整合系統(tǒng)可以建立用戶提問與各信息源之間的語義聯(lián)絡(luò)，消除

15、各種數(shù)字資源的異構(gòu)性，并可以將分散存儲、表現(xiàn)方式不同的信息源中的有用資源進(jìn)展再組織，真正滿足用戶的信息需求，從而提高數(shù)字資源整合的質(zhì)量。uAgent是處于一定的環(huán)境中或者作為環(huán)境的一部分存在的一種軟件系統(tǒng)，它利用傳感器Sensor感應(yīng)環(huán)境，獲取相關(guān)信息，然后根據(jù)這些信息和指定的目的執(zhí)行相應(yīng)操作。近年來，研討人員將Agent技術(shù)運用于整合系統(tǒng)中，構(gòu)成了Agent整合機制。uAgent整合機制以Agent作為中心模塊，以ontology作為中心技術(shù)，比較適宜于整合分布性較強的數(shù)字資源，u其原理是：將整合系統(tǒng)框架中的各個或主要功能模塊封裝為Agent，各Agent之間進(jìn)展通訊、交互和協(xié)作，從而有效地

16、實現(xiàn)整合。uAgent整合機制的根本原理如下圖 結(jié)果結(jié)果代理方Agent代理方Agent代理方Agent用戶Agent用戶Agent提問提問信息源信息源信息源資源 Agent資源 Agent資源 Agentu在這種整合機制中，運用了三類根本的Agent：用戶Agent、資源Agent和代理方Agent。u用戶Agent擔(dān)任維護(hù)用戶信息，并提供系統(tǒng)接口，以方便用戶與整合系統(tǒng)進(jìn)展交互。u資源Agent擔(dān)任對分布式資源進(jìn)展處置，將數(shù)字資源按照整合系統(tǒng)的表示方式進(jìn)展描畫和轉(zhuǎn)換。u代理方Agent擔(dān)任將從用戶Agent發(fā)出的查詢懇求與所要查詢的資源Agent進(jìn)展匹配 uAgent整合機制的優(yōu)點在于可以有

17、效利用Agent的特性來提高系統(tǒng)的整合效率u首先，Agent的自主性和挪動性使得整合系統(tǒng)可以自動順應(yīng)網(wǎng)絡(luò)環(huán)境的變化，加強了整合系統(tǒng)的靈敏性，整合系統(tǒng)能更加順應(yīng)數(shù)字資源分布性及異構(gòu)性的特點。u其次，Agent可以在非延續(xù)運轉(zhuǎn)的網(wǎng)絡(luò)環(huán)境中運轉(zhuǎn)，因此Agent還可處于挪動計算環(huán)境中，這使得各種挪動設(shè)備如PDA等也能參與運用整合系統(tǒng)的中。Agent機制的這些特點，使其成為了近年來整合研討的熱點之一。 u在Agent整合機制中，如何使多個Agent協(xié)調(diào)任務(wù)，是采用這種機制的整合系統(tǒng)要處理的關(guān)鍵技術(shù)，詳細(xì)地說，包括： u1Agent間的通訊技術(shù)u2Agent協(xié)調(diào)技術(shù)u1Agent間的通訊技術(shù)u為了到達(dá)整合

18、的目的，提高整合效率，需求經(jīng)過Agent通訊技術(shù)來實現(xiàn)Agent間的“會話。u普通來說，Agent間的通訊是經(jīng)過Agent通訊言語ACL來實現(xiàn)的uAgent通訊言語用于描畫相應(yīng)Agent的形狀和屬性、定義Agent可以交換的語法和語義音訊。這種包含語義信息的通訊言語不僅有利于協(xié)助Agent之間進(jìn)展互操作，還有利于進(jìn)展語義層次的整合。u2Agent協(xié)調(diào)技術(shù)u在Agent整合機制中，多個Agent作為一個整體而存在，雖然每個Agent的義務(wù)有所區(qū)別，但它們作為一個整體，具有共同的目的，那就是實現(xiàn)整合。u因此，在義務(wù)執(zhí)行的過程中，需求運用Agent協(xié)調(diào)技術(shù)來管理一個或多個Agent行為之間的從屬關(guān)系

19、，防止執(zhí)行時發(fā)生沖突，所要處理的問題包括組織構(gòu)造、義務(wù)分解、資源分配、群組決策、沖突發(fā)現(xiàn)與處理等uP2PPeer-to-peer是近年來興起的一種新的計算方式，它可以使PC和其它非效力器計算實體以對等的方式聯(lián)網(wǎng)，彼此共享對方的資源。其主要特點是支持互連主機的動態(tài)變化。 uP2P整合機制的根本原理如下圖 Peer3對等點方式本地資源本地資源Peer2對等點方式本地資源本地資源Peer4對等點方式本地資源本地資源Peer1對等點方式本地資源本地資源Peer5對等點方式本地資源本地資源本地映射P2P映射提問Qu在這種整合機制中，存在有多個分布式的對等點peer，每一個對等點都擁有一套本人的數(shù)據(jù)方式對

20、等點方式，在整合過程中，經(jīng)過對等點方式與本地資源方式的映射，實現(xiàn)對本地資源的訪問，同時依托P2P映射來完成對等點之間的方式轉(zhuǎn)換，實現(xiàn)對等點間的通訊。經(jīng)過這種方式，在任何一個對等點中執(zhí)行的查詢也均可以在其他相連的對等點中執(zhí)行，從而到達(dá)有效訪問各分布信息源的目的。 uP2P整合機制不僅可以實現(xiàn)大規(guī)模數(shù)字資源的集成，而且可以實現(xiàn)Web資源的動態(tài)整合，使整合系統(tǒng)具有強大的擴展性，是一種比較有生命力的整合機制。但由于學(xué)術(shù)界對P2P整合機制的研討處于起步階段，目前實際研討較多，實踐運用系統(tǒng)數(shù)量還不太多 uP2P整合機制的關(guān)鍵技術(shù)是P2P映射以及對等點的發(fā)現(xiàn)與搜索，詳細(xì)地說包括：u1P2P映射建立技術(shù)u2P

21、2P對等點的發(fā)現(xiàn)與搜索技術(shù)u1P2P映射建立技術(shù)u在P2P整合機制中，由于每個對等點的方式不同，需求在對等點方式之間建立映射u P2P映射的建立普通包括兩個步驟u第一步是方式匹配，即在需匹配的方式間，尋覓可以標(biāo)識出方式中的一樣或類似元素的對應(yīng)關(guān)系，這種對應(yīng)關(guān)系普通是指對元素類似性的描畫，根本上不包含語義信息；u在第二步中，經(jīng)過對應(yīng)關(guān)系，利用一系列自動化技術(shù)，在人工干涉下，建立準(zhǔn)確的P2P映射。u2P2P對等點的發(fā)現(xiàn)與搜索技術(shù)u在整合處置過程中，由于P2P網(wǎng)絡(luò)中存在多個對等點，每個對等點存儲有不同的數(shù)字資源，因此需求針對詳細(xì)的用戶需求，利用發(fā)現(xiàn)戰(zhàn)略、搜索算法等相關(guān)技術(shù)，對P2P資源進(jìn)展搜索，找出

22、適宜的對等點，并經(jīng)過多個對等點的協(xié)作來集成資源。u目前，在P2P對等點的發(fā)現(xiàn)與搜索中運用較多的是分布式哈希列表DHT技術(shù)，這種技術(shù)運用分布式哈希算法來處理構(gòu)造化的分布式存儲問題，DHT中存儲有每個對等點的相關(guān)信息，經(jīng)過DHT可針對詳細(xì)需求獲取所需對等點的信息，從而處理了對等點的發(fā)現(xiàn)問題，然后，再根據(jù)基于DHT的路由算法完成對等點的搜索。 u整合機制u整合技術(shù)u整合的技術(shù)體系u整合的技術(shù)規(guī)范總體上劃分為物理層、根底層與整合三類。根據(jù)整合內(nèi)部的層次關(guān)系，自下而上將整合層細(xì)劃為3層 網(wǎng)絡(luò)協(xié)議網(wǎng)絡(luò)協(xié)議元數(shù)據(jù)元數(shù)據(jù)XML RSS數(shù)據(jù)數(shù)據(jù)描畫描畫一致接口一致接口數(shù)據(jù)數(shù)據(jù)訪問訪問中 介 文中 介 文件件SA

23、G DRDA數(shù)據(jù)層數(shù)據(jù)層聯(lián)邦方式聯(lián)邦方式Z39.5 Dienst SDLIP采集方式采集方式OAI搜集方式搜集方式OpenURL CORBA DCOM JAVA RMI功能層功能層Web Services 協(xié)議族協(xié)議族SOAP UDDIWSDL 門戶技術(shù)規(guī)范門戶技術(shù)規(guī)范界面層界面層JSR 168 WSRP物理層物理層根底層根底層整整合合層層u物理層u物理層指系統(tǒng)運轉(zhuǎn)的硬件、軟件環(huán)境，處理如何為運用系統(tǒng)提供一致的支撐環(huán)境，支持運用系統(tǒng)的運作。u物理層協(xié)議涉及各種網(wǎng)絡(luò)和通訊技術(shù)，包括網(wǎng)絡(luò)的一些根底協(xié)議，如HTTP、TCP/IP等，以及其他相關(guān)的以太網(wǎng)、骨干網(wǎng)、廣域網(wǎng)互聯(lián)的技術(shù)規(guī)范與規(guī)范等。u對于不提供更高層技術(shù)協(xié)議的數(shù)字資源，也可以在這個層次上進(jìn)展整合，例如，可基于HTTP用仿真的方法來整合數(shù)字資源。u根底層u根底層是位于物理互連的網(wǎng)絡(luò)協(xié)議之上，用于規(guī)范化、規(guī)范化描畫數(shù)據(jù)，為更上層的數(shù)據(jù)交換提供根底性支持的規(guī)范、規(guī)范。u根底性協(xié)議規(guī)范又可以從性質(zhì)劃分為數(shù)據(jù)描畫層面和數(shù)據(jù)訪問兩個層面。前者主要包括元數(shù)據(jù)、XML、RSS，后者主要包括開放數(shù)據(jù)庫互連規(guī)范ODBC等。u在數(shù)據(jù)描畫層面內(nèi)部，RSS具有提供內(nèi)容聚合的功能，是為實現(xiàn)內(nèi)容聚合而制定的一種信息描畫、組織的規(guī)范，但它也具有資源發(fā)現(xiàn)、發(fā)布的功能，更是一種新方式的描畫規(guī)那么。因此，將RSS歸入根底的描畫層面的規(guī)范。準(zhǔn)確的說