數(shù)字圖書館元數(shù)據(jù)標準體系建設課件

1、數(shù)字圖書館元數(shù)據(jù)標準體系建設劉 煒上海圖書館系統(tǒng)網(wǎng)絡中心1討論的主題數(shù)字圖書館建設的標準規(guī)范體系數(shù)字圖書館資源組織規(guī)范元數(shù)據(jù)標準體系有關知識本體ontology的研究上圖建設數(shù)字圖書館的一些想法2資源檢索資源管理資源存儲資源轉(zhuǎn)換數(shù)字圖書館技術標準體系信息流法(肖瓏法)資源加工資源描述資源組織資源發(fā)布資源存取數(shù)據(jù)編碼對象標識文件格式資源創(chuàng)建元數(shù)據(jù)標引置標encoding網(wǎng)絡協(xié)議互操作協(xié)議對象管理檢索協(xié)議DL建設流程DL標準體系STARTSDOI URN PURL 開放鏈接SFX XML/RDF HTML DC MARC FGDCEAD TEI TCP/IP HTTPMIME ILL CORBA

2、DCOMSOAP Z39.50/SDLIPOAI UNICODE GBK JPG MPG GIF PNG MP3 PDF 系統(tǒng)/通信平臺操作系統(tǒng) 數(shù)據(jù)庫通信 安全 3關于數(shù)字內(nèi)容創(chuàng)建的標準規(guī)范：內(nèi)容編碼；數(shù)據(jù)格式；內(nèi)容標識；數(shù)字對象描述（元數(shù)據(jù)）的標準規(guī)范：元數(shù)據(jù)應用原則；標準選擇；內(nèi)容主體描述語言選擇；資源組織體系描述的標準規(guī)范：對資源集合的描述；對資源組織機制的描述；對資源管理機制的描述；資源組織建設的過程、原則、方法及相應的標準規(guī)范進行描述；對資源組織的描述數(shù)據(jù)的要求；關于數(shù)字資源系統(tǒng)服務的標準規(guī)范：接入條件；檢索條件；數(shù)據(jù)應用條件；分布數(shù)字對象機制；關于數(shù)字資源長期保護的標準規(guī)范數(shù)字圖

3、書館技術標準體系生命周期法(張曉林法)4技術類型分類（經(jīng)過補充的林寧法）字符編碼多媒體信息編碼數(shù)據(jù)元素描述語言電子圖書數(shù)據(jù)格式影像壓縮操作系統(tǒng)安全規(guī)范程序語言網(wǎng)絡協(xié)議數(shù)據(jù)庫界面與人機交互5技術應用分類（真溱、黃奇法）信息采集與編碼標準Capture and Encoding 信息組織與存檔標準Organizing and Archiving資源標識標準 Resource identification standards 資源描述標準 Resource description standards 記錄管理標準 Records management standards信息檢索與服務標準Retrie

4、val and Services互操作標準 Interoperability standards 信息權益管理Rights Management信息安全標準System Security信息評價標準Measure Metrix6采用標準的問題標準太多了！都是我要關心的嗎？不要發(fā)明輪子，但要用好輪子；不是標準的標準；標準的適用性問題；標準有生命周期；大膽探索實踐。7標準規(guī)范類型分類標準Standard規(guī)范Specification指南Guideline體系架構(gòu)System Framework應用方案Application Profile典型案例Best Practice8標準規(guī)范的作用異構(gòu)系統(tǒng)的

5、互操作性，信息資源的共享便利；技術、方案、代碼、組件的重用；數(shù)據(jù)獨立于軟件和系統(tǒng)；系統(tǒng)升級、遷移方便；有利于數(shù)據(jù)的“永久”保存。9重要的相關標準規(guī)范XML家族元數(shù)據(jù)及DC多媒體文件格式通信協(xié)議面向?qū)ο蠹夹g中間件10DL建設必須/常用的標準數(shù)字化的各項標準；多媒體數(shù)據(jù)格式、字符編碼標準信息組織(內(nèi)容管理)標準；各類置標方案XML/RDF/DTD/XML Schema；各類元數(shù)據(jù)方案；各類知識規(guī)范體系：敘詞表、分類表、知識本體等；信息系統(tǒng)設計方面的標準：數(shù)據(jù)庫、網(wǎng)絡通信、信息安全等11數(shù)字圖書館“核心”標準知識（資源）的表達、組織方面的標準W3C大公司12SGML/XML實現(xiàn)了內(nèi)容與表現(xiàn)形式的分離

6、ContentStructurePresentationDocumentXMLDTD, XML SchemaHTML, CSS, XSL好處：易擴展、跨平臺、適宜永久保存。資料來源：臺灣陳昭珍？13元數(shù)據(jù)體系研究元數(shù)據(jù)標準：傳統(tǒng)的理解元數(shù)據(jù)體系：從數(shù)字圖書館體系結(jié)構(gòu)角度設計元數(shù)據(jù)方案元數(shù)據(jù)方案作為一個完整的體系數(shù)字圖書館的宏觀微觀結(jié)構(gòu)知識本體與元數(shù)據(jù)方案的關系14元數(shù)據(jù)的一般概念元數(shù)據(jù)：關于數(shù)據(jù)的（結(jié)構(gòu)化）數(shù)據(jù)作用：資源發(fā)現(xiàn)與書目控制(resources discovery)認證（authentication）數(shù)據(jù)連接與交換互操作（interoperability）內(nèi)容組織與管理（data m

7、anagement）版權管理與訪問控制（rights management）存取管理與數(shù)字化保存（digital preservation）內(nèi)容分級（content rating services）15元數(shù)據(jù)方案的應用流程系統(tǒng)需求分析現(xiàn)有標準可用?形成元數(shù)據(jù)應用規(guī)范自行研制方案進行限定可用?混合標準可用?擴展元素可用?YYYYNNNN定義置標方式制定著錄方法標引/置標裝載入庫/提供檢索16元數(shù)據(jù)的作用摘要Summary 查找Finding 建議Advisement 選擇Selection檢索Retrieval 限制Restriction解析Interpretation規(guī)范Specificati

8、ons 追溯History 數(shù)據(jù)管理Data administration 數(shù)據(jù)鏈接Data linkages or relationships 數(shù)據(jù)結(jié)構(gòu)Data structure摘自Carl Lagoze等人的論文17元數(shù)據(jù)的種類18描述性元數(shù)據(jù)的分類描述能力低高19各類元數(shù)據(jù)標準和協(xié)議 元數(shù)據(jù)的存在形態(tài)人能理解但機器難以理解（卡片目錄）機器能理解而人不容易理解（MARC）人與機器或機器之間都易于理解（SGML/XML） 元數(shù)據(jù)根據(jù)標準而結(jié)構(gòu)化MARC, EAD, CIMI, TEI .Dublin Core XML, RDF 元數(shù)據(jù)按照某種協(xié)議被應用Z39.50, whois+, LDA

9、P20元數(shù)據(jù)相關技術元數(shù)據(jù)語義與結(jié)構(gòu)屬性元素與值： DCMICIFGDC GILSAATLCSH結(jié)構(gòu)：RDF元數(shù)據(jù)語法SGMLXMLHTML元數(shù)據(jù)查詢OAIZ39.50元數(shù)據(jù)顯示Style Sheet21國外元數(shù)據(jù)方案根據(jù)不同領域的數(shù)據(jù)特點和應用需要，90年代以來出現(xiàn)了許多Metadata格式和方案：網(wǎng)絡資源：Dublin Core、IAFA Template、CDF、Web Collections、PICS文獻資料：MARC（with 856 Field），Dublic Core人文科學：TEI Header社會科學數(shù)據(jù)集：ICPSR SGML Codebook博物館與藝術作品：CIMI、C

10、DWA、RLG REACH Element Set、VRA Core 政府信息：GILS、AGILS地理空間信息：FGDC/CSDGM數(shù)字圖像：MOA2 metadata、CDL metadata、Open Archives Format、VRA Core、NISO/CLIR/RLG Technical Metadata for Images檔案庫與資源集合：EAD技術報告：RFC 1807視頻圖像：MPEG-722國內(nèi)元數(shù)據(jù)方案國家試驗型數(shù)字圖書館項目初期提出元數(shù)據(jù)方案：以DC為基礎加以擴展；國家圖書館正在制定的元數(shù)據(jù)方案：基于OAIS參考模型；國家地理信息元數(shù)據(jù)方案（參考FGDC?）；北京

11、大學古籍/拓片元數(shù)據(jù)方案；清華大學中國建筑數(shù)字圖書館元數(shù)據(jù)方案。23目前元數(shù)據(jù)方案的缺陷不具有普遍適用性。特殊性與一般性的矛盾與生俱來，無法克服；難以實現(xiàn)元數(shù)據(jù)方案本身的進化，數(shù)據(jù)元素定義的含糊、矛盾無法克服；難以對不同知識體系、不同“粒度”的資源進行描述，以及實現(xiàn)語義聯(lián)系；缺乏對數(shù)字資源的整個生命周期的描述；缺乏對版權屬性的描述機制；缺乏靈活性和可擴展性，增加了互操作的難度；停留于信息集成，無法滿足數(shù)字圖書館服務集成的需要24從數(shù)字圖書館體系結(jié)構(gòu)角度看元數(shù)據(jù)元數(shù)據(jù)體系決定數(shù)字圖書館的結(jié)構(gòu)，定義了數(shù)字圖書館中數(shù)字對象：如何表示？如何關聯(lián)？如何使用？元數(shù)據(jù)體系主要解決兩個問題：定義數(shù)字圖書館中數(shù)

12、字對象的信息結(jié)構(gòu)定義由數(shù)字對象構(gòu)成的資源庫的組織結(jié)構(gòu)25數(shù)字圖書館微觀結(jié)構(gòu)：KWF資源創(chuàng)建者 數(shù)字對象數(shù)據(jù)句柄/調(diào)度碼倉儲RAP(倉儲存取協(xié)議)句柄服務器創(chuàng)建包含由句柄(調(diào)度）系統(tǒng)創(chuàng)建包含在被存取句柄注冊于26數(shù)字圖書館宏觀結(jié)構(gòu)資源庫服務索引服務館藏服務句柄名字服務數(shù)字資源對象用戶訪問網(wǎng)關服務數(shù)字圖書館門戶資料來源：Sandra Payette “Computing Methods for Digital Libraries”, April 20, 2000”27Data ProviderData ProviderRepositoryRepositoryRepositoryData Provi

13、derOAI VerbRecordRequestResponseData ProviderData ProviderService ProviderUserOAI的體系結(jié)構(gòu)資料來源：臺灣陳昭珍？28版本更新自動註冊資料簡目OAI Service Provider(即聯(lián)合目錄)知識工作者InternetOAI contentProvider資料詳目調(diào)閱全文或多媒體物件InternetDOIHandle System臺灣數(shù)位典藏聯(lián)合目錄 建置方案OAI and handle system 架構(gòu)圖 (陳昭珍)典藏單位OAI Repository典藏單位OAI Repository29元數(shù)據(jù)層次體系系

14、統(tǒng)級system level資源庫級collection level資源級resource level (object)次資源級element level (object)30元數(shù)據(jù)的層次體系31元數(shù)據(jù)層次體系描述上述信息內(nèi)容的規(guī)則、方法和機制信息服務過程和服務系統(tǒng)模式作品與對象集合信息內(nèi)容作品與對象作品/對象及其集合的管理和服務機制元數(shù)據(jù)元數(shù)據(jù)元數(shù)據(jù)元數(shù)據(jù)元數(shù)據(jù)元數(shù)據(jù)引自張曉林開放元數(shù)據(jù)機制32知識表示的層次基于元數(shù)據(jù)的(Meta-data based)DC, RDF, MARC, 基于表層特征的(Superficial-feature based)向量空間模型，詞頻，tf*idf基于深層特

15、征的(Deep-feature based)知網(wǎng)及相關工作基于語義模版的(Semantic-template based)信息提取和消息理解基于本體論的(Ontology based)CYC工程引自白碩信息資源與知識體系結(jié)構(gòu)33元數(shù)據(jù)體系設計資源對象的描述方案；管理元數(shù)據(jù)方案；元數(shù)據(jù)置標方案；資源集合元數(shù)據(jù)方案；元數(shù)據(jù)體系映射方案；資源的著錄方案；技術實現(xiàn)方案。34Ontology(知識本體)的應用從元數(shù)據(jù)體系方案上升到知識本體；知識本體：領域知識的規(guī)范的抽象和描述，表達、共享、重用知識的方法；與數(shù)字圖書館元數(shù)據(jù)方案體系的關系；35知識本體在數(shù)字圖書館中的應用提供描述型元數(shù)據(jù)有關語義描述的知識

16、地圖；提供資源庫領域知識的規(guī)范描述；提供元數(shù)據(jù)映射方案，集成到數(shù)字圖書館體系中的元數(shù)據(jù)服務中，成為協(xié)議的一部分；提供智能代理與信息環(huán)境之間基于語義的理解機制；跨平臺、跨系統(tǒng)之間的通信中介；分布環(huán)境下查詢請求的語義理解、自動分發(fā)；提供CSCW（計算機支持的協(xié)同工作）；用于數(shù)字圖書館中的數(shù)據(jù)挖掘。36本體論描述基于資源對象生命周期的“事件敏感性（event-awareness）”本體論描述；提供所有元數(shù)據(jù)方案映射的方法論基礎；各元數(shù)據(jù)方案的本體論層次：概念Conception表達Expression顯現(xiàn)Manifestation物化Materialization Digitalization實例I

17、nstance37圖片來自 IFLA “Functional Requirement for Bibliographic Records” /VII/s13/frbr/frbr.pdf 知識本體框架中元數(shù)據(jù)元素的關系圖示38上圖數(shù)字圖書館元數(shù)據(jù)方案設計解決元數(shù)據(jù)模型問題：確立DL的元數(shù)據(jù)方案（元數(shù)據(jù)模型），包括核心元素和置標方案；解決元數(shù)據(jù)映射問題：支持各主要資源描述型元數(shù)據(jù)方案的相互映射，包括予以映射和結(jié)構(gòu)映射；元數(shù)據(jù)模型的實現(xiàn)：滿足資源描述、存儲、互操作、檢索、分布式知識發(fā)現(xiàn)等各相關構(gòu)件或模塊對元數(shù)據(jù)模型提出的功能需求。39實現(xiàn)一定的元數(shù)據(jù)服務系統(tǒng)對于元數(shù)據(jù)的功能需求通過元數(shù)據(jù)服務實現(xiàn)；元

18、數(shù)據(jù)服務內(nèi)容包括：元數(shù)據(jù)模型代理：提供資源的元數(shù)據(jù)語義；元數(shù)據(jù)模型轉(zhuǎn)換/映射；向搜索代理提供元數(shù)據(jù)表達工具；本地元數(shù)據(jù)庫（可以是動態(tài)cache）40Infobus體系結(jié)構(gòu)41上圖元數(shù)據(jù)方案（規(guī)劃）本地資源描述DC為核心元數(shù)據(jù)，適當擴展XML/RDF置標，XML存儲與資源對象的連接：URL連接/DOI解析站點描述以本體論(ontology)方法提供站點組織依據(jù)，拓展無環(huán)有向圖方式；通過各類元數(shù)據(jù)方案的語義映射和結(jié)構(gòu)映射，提供異構(gòu)站點互操作能力；提供對于站點的Mediator/Wrapper方案42元數(shù)據(jù)映射的考慮動態(tài)映射/靜態(tài)自動抽取轉(zhuǎn)換建庫；支持目前實用的大多數(shù)主流資源描述元數(shù)據(jù)方案：MARC

19、/DC/OAIMS/GILS等；進一步支持Z39.50bib-1/OAI43工作計劃完善元數(shù)據(jù)置標方案；實現(xiàn)對特定類型資源的元數(shù)據(jù)自動抽?。灰员倔w論(ontology)方法提供站點組織依據(jù)，拓展目前的無環(huán)有向圖方案；通過各類元數(shù)據(jù)方案的語義映射和結(jié)構(gòu)映射，提供異構(gòu)站點互操作能力；構(gòu)建測試平臺；關注METS和MODS的應用進展。關注語義網(wǎng)絡的技術動向，了解MOF/XMI元數(shù)據(jù)建模方案；44元數(shù)據(jù)體系總結(jié)元數(shù)據(jù)為分布的、由多種數(shù)字化資源有機構(gòu)成的信息體系（數(shù)字圖書館）提供整合的工具與紐帶，與體系結(jié)構(gòu)、互操作、存儲、檢索、查詢處理、發(fā)布等密切相關，不能割裂；元數(shù)據(jù)方案應該具有靈活性、擴展性、可操作性

20、，并盡可能避免多義性；構(gòu)件化的、獨立的元數(shù)據(jù)服務必須能夠滿足數(shù)字圖書館中其他構(gòu)件或模塊對元數(shù)據(jù)所提出的功能需求，該構(gòu)件中封裝的站點元數(shù)據(jù)模型、元數(shù)據(jù)映射模型等應該基于標準，而逐步使元數(shù)據(jù)服務成為數(shù)字圖書館中的標準構(gòu)件；對數(shù)字圖書館的宏觀微觀結(jié)構(gòu)的認識的統(tǒng)一使得對元數(shù)據(jù)描述體系的認識也逐步在走向統(tǒng)一和簡化。Warwick框架允許在統(tǒng)一的數(shù)據(jù)描述格式之下包容各種不同的具體數(shù)據(jù)表現(xiàn)形式，而RDF的出現(xiàn)是應用推廣更為容易，前景更加明朗。元數(shù)據(jù)互操作問題的徹底解決，必須依賴于高層互操作協(xié)議的標準化和廣泛應用，因此應該關注W3C倡導的語義網(wǎng)絡的元數(shù)據(jù)解決方案，應用將最終決定技術；45上圖數(shù)字圖書館實踐為什

21、么要建設數(shù)字圖書館（Vision）怎樣建設數(shù)字圖書館(Mission)建設怎樣的數(shù)字圖書館(Goals)46為什么要建設數(shù)字圖書館圖書館信息環(huán)境發(fā)生了根本的變化館藏的變化；館藏揭示體系的變化；服務業(yè)務模式的變化。47怎樣建設數(shù)字圖書館數(shù)字化數(shù)據(jù)庫建設數(shù)字資源發(fā)展規(guī)劃網(wǎng)站建設網(wǎng)上讀書網(wǎng)上服務門戶建設資源整合統(tǒng)一查詢個性化定制內(nèi)容管理技術研發(fā)全文檢索基于多媒體的內(nèi)容檢索48怎樣建設數(shù)字圖書館國外三個熱點問題：數(shù)字資源的永久保存；數(shù)字參考服務（虛擬參考服務）；資源整合49怎樣建設數(shù)字圖書館建立標準體系指南/手冊；定期培訓，開辦workshop；開展元數(shù)據(jù)體系以及有關知識本體研究；基于開放方案，建立參

22、考模型或示范工程；成立協(xié)會或聯(lián)盟，促進技術應用，以非營利為目的。50數(shù)字信息的保存美國總統(tǒng)信息技術咨詢委員會(PITAC)兩度提出報告：信息技術：投資我們的未來中將數(shù)字圖書館的研發(fā)列入美國十項“國家級挑戰(zhàn)” 之一（1999年2月）2001年2月向布什總統(tǒng)提出報告數(shù)字圖書館：實現(xiàn)對人類知識的普遍訪問51全球信息總量紙膠片錄象帶CDs數(shù)字影像磁帶硬盤文件系統(tǒng)300 Exabytes20 Exabytes1000 Petabytes100 Terabytes模擬數(shù)據(jù)離線在線Internet.10HTMLSource: Information TYO (June 1999)by Ashok Chand

23、ra, IBM Research - Almaden52數(shù)字圖書館技術環(huán)境的進化復雜性e-mailftp / gopherhttpLTRS, e-print, Netlib, etc.httpDienstKWF結(jié)構(gòu)的應用時間我們目前所處的位置傳統(tǒng)情報檢索, 數(shù)據(jù)庫, CD-ROMs, 等.資料來源：Michael L. Nelson 53摘自大英圖書館研究報告54摘自大英圖書館研究報告55哪些資源需要整合？OPAC館藏文摘索引數(shù)據(jù)庫電子期刊技術文檔主題網(wǎng)關新聞搜索引擎摘自exlibris公司產(chǎn)品演示報告56美國國會圖書圖書館系統(tǒng)架構(gòu)圖Digital objectURLs or URNsDigi

24、tal objectDigital objectDigital objectDigital objectDigital content(at LC orawardeeinstitution)Digital objectDigital objectDigital objectLinks:globalidentifiersURL or URN(handle)URL or URNURLsor URNsSearchBrowselists of termsNavigate thesaurusOther userinterfacesRead paperBrowsebibliographyVisitexhibitionAccess aids(not at LC)Item-leveldescriptiverecord(non-MARC)Finding aid(EAD) withitem-level linksItem-levelMARC recorde.g. non-MARCdatabase atawardeeinstitutione.g. archive of finding aids atawardee institutionOther indexesor catalogse.g. catalog atawardee i