數(shù)據(jù)倉庫元數(shù)據(jù)管理

1、數(shù)據(jù)倉庫元數(shù)據(jù)管理余友波數(shù)據(jù)倉庫之路原創(chuàng)資料1.1.1第一章 元數(shù)據(jù)概論企業(yè)的計算機系統(tǒng)每年會產(chǎn)生很多數(shù)據(jù)， 很多企業(yè)面臨著這樣的困境，難以有 效的管理大量的、繁雜的、不一致的數(shù)據(jù)，并方便地訪問、利用這些數(shù)據(jù)進行輔助 決策。建立數(shù)據(jù)倉庫提供一個方法，把數(shù)據(jù)轉(zhuǎn)化為有用的、可信賴的信息，支持商業(yè) 決策。建立數(shù)據(jù)倉庫一個重要的工作是元數(shù)據(jù)管理。元數(shù)據(jù)(metadata)就是數(shù)據(jù)的數(shù)據(jù)，用于建立、管理、維護和使用數(shù)據(jù)倉庫。元數(shù)據(jù)管理是企業(yè)級數(shù)據(jù)倉庫 中的關鍵組件，貫穿于建立數(shù)據(jù)倉庫的整個過程。元數(shù)據(jù)使得用戶可以掌握數(shù)據(jù)的歷史情況，如數(shù)據(jù)從哪里來？流通時間有多長？更新頻率是多大？數(shù)據(jù)元 素的含義是什么？

2、對它已經(jīng)進行了哪些計算、轉(zhuǎn)換和篩選等等。在需求不確定情況下，在瞬間萬變的商業(yè)環(huán)境 下，元數(shù)據(jù)可以更好的支持需求的變化，降低項目風險。通常把元數(shù)據(jù)分為技術元數(shù)據(jù)(technical metadata )和業(yè)務元數(shù)據(jù)(business metadata)o技術元數(shù)據(jù)是描述關于數(shù)據(jù)倉庫技術細節(jié)的數(shù)據(jù)，這些元數(shù)據(jù)應用于開發(fā)、管理和維護數(shù)據(jù)倉庫；業(yè)務元數(shù)據(jù)從商業(yè)和業(yè)務的 角度描述數(shù)據(jù)倉庫的數(shù)據(jù)，提供了良好的語義層定義，業(yè)務元數(shù)據(jù)使業(yè)務人員能夠更好的理解數(shù)據(jù)倉庫分析出 來的數(shù)據(jù)。元數(shù)據(jù)貫徹于建立數(shù)據(jù)倉庫的整個過程，不只是etl過程需要元數(shù)據(jù)的支持。圖1元數(shù)據(jù)的應用在使用元數(shù)據(jù)的同時，隨著數(shù)據(jù)倉庫市場的發(fā)展

3、，業(yè)界出現(xiàn)許多數(shù)據(jù)倉庫管理 和分析的工具，各種工具使用不同的元數(shù)據(jù)標準來表示和處理，不同系統(tǒng)之間的遷移、數(shù)據(jù)交換變得困難。于是，我們希望用一種單一的元數(shù)據(jù)標準，使得各種組織 的元數(shù)據(jù)具有單一的元模型(metamodel)，因此，需要建立一種標準使得不同的 數(shù)據(jù)倉庫和商業(yè)智能系統(tǒng)之間可以相互交換元數(shù)據(jù)。1.1.2第二章 元數(shù)據(jù)標準1.1.2.1一、元數(shù)據(jù)標準 cwmomg 于 2001 年頒布元數(shù)據(jù)標準 cwm 1.0 (com mon warehouse metamodel version 1.0)。cwm定義一個描述數(shù)據(jù)源、數(shù)據(jù)目的、轉(zhuǎn)換、分析的元數(shù)據(jù)框架， 以及定義建立和管理數(shù)據(jù)倉庫的過程

4、和操作，提供使用信息的繼承。目前宣布支持 cwm 的廠商包括：ibm、oracle、hyperion、dimension edi、 gen esis iona、hp、ncr 和 un isys 等。cwm基于3個工業(yè)標準：uml - unified modeling language， omg建模標準；mof - meta object facility，omg建立元模型和模型庫的標準，提供在異 構環(huán)境下的數(shù)據(jù)交換的接口；xmi - xml metadata interchange，omg元數(shù)據(jù)交換標準。uml在cwm中得到充分的應用，擔任3個不同的角色：1) ，uml 用來做為與 mof對應

5、的 meta-metamode。uml 相當于 mof model,， uml notation 和ocl(object constraint language),被用來做為建模語言、圖形符號、 約束語言，定義和描述cwm。2) ，uml用來創(chuàng)建元模型。uml，特別是object model包描述的子集，用來 從其它元模型繼承等級和關聯(lián)以建立cwm。3) ， uml做為面向?qū)ο笤Ｐ?object-oriented metamode)。 uml被用來描 述面向?qū)ο蟮臄?shù)據(jù)。cwm元模型包括大量的子元模型(sub-metamode)，這些子元模型描述了建 立數(shù)據(jù)倉庫和商業(yè)智能的各個主要部分的通用數(shù)

6、據(jù)倉庫元數(shù)據(jù)。主要包括：1) 、數(shù)據(jù)資源：包括各個元模型，描述了面向?qū)ο髷?shù)據(jù)、關系數(shù)據(jù)庫、記錄、 多維和xml等數(shù)據(jù)。2） 、數(shù)據(jù)分析：包括描述數(shù)據(jù)轉(zhuǎn)換、olap、數(shù)據(jù)挖掘、信息展現(xiàn)、商業(yè)術 語等的元模型。3）、數(shù)據(jù)倉庫管理：這包括數(shù)據(jù)倉庫過程以及數(shù)據(jù)倉庫操作結果的元模型。the cwm metainodeli en ifarni a4i golapdwtiminin(gin 佃乜 m vibualizariioiriqh|«ct modvlr«latiorialmuhid irn«n iion.ilxhlbyshwts inform mi ohe 仲zmkink

7、tys andmappings9flw3*e d«pk!fyrn«ntmodfri''iiiifourkiciloini圖2 cwm元模型架構圖cwm元模型設計的目的是最大化的重用對象模型 object model （uml的子 集），盡可能的共享通用的模型構建。最典型的是，cwm重用/依賴對象模型來描述面向?qū)ο蟮臄?shù)據(jù)資源；另外，其它類型的數(shù)據(jù)資源的主要metamodel元素，在對象模型中都有相同的模型元素與之相對應。1.122二、使用 cwm1、cwm的目標使用者cwm標準包括了技術元數(shù)據(jù)和業(yè)務元數(shù)據(jù)的定義，涉及數(shù)據(jù)倉庫生命周期的 所有階段，所以不只是實施

8、工程師和實施顧問使用cwm，最終用戶也會受益于cwm。cwm的目標使用者包括6類人員:1數(shù)據(jù)倉庫平臺和工具供應商；2, 專業(yè)服務咨詢商；3, 數(shù)據(jù)倉庫開發(fā)者；4, 數(shù)據(jù)倉庫管理員；5，最終用戶；6,信息技術主管（cio）。2、基于cwm的數(shù)據(jù)倉庫cwm的目標使用者將會參與到開發(fā)和使用基于cwm的數(shù)據(jù)倉庫的過程中；但并不是所有的角色需要參與整個過程，而是參與到下面列舉的的4個階段中的一 個或多個：1）、establishment。實現(xiàn)和配置cwm，包括建立一個通用資料庫。2）、build。使用cwm定義一個基線數(shù)據(jù)倉庫配置（建立數(shù)據(jù)源和目的的交換 路徑）。3）、operation。操作和使用基于

9、cwm的數(shù)據(jù)倉庫。4）、maintenanceo維護使用了 cwm定義的數(shù)據(jù)倉庫的配置。1.1.2.3三、cwm標準組織結構cwm元模型使用包（package和包等級結構來控制復雜性、提高理解性、支 持重用。模型元素包括下面的包：1,對象模型包對象模型包是構建和描述其它cwm包的元模型類的基礎。?核心包。包括cwm核心對象模型的類和關聯(lián)，被其它 cwm包使用。?行為包。包括用來描述cwm對象的行為的類和關聯(lián)?關系包。包括用來描述各個cwm對象之間關系的類和關聯(lián)?實例包。包括用來描述cwm實例的類和關聯(lián)。2、基礎包基礎包是表示cwm概念和架構的模型元素。?商業(yè)信息包。包括用來描述關于模型元素的商

10、業(yè)信息的類和關聯(lián)。?數(shù)據(jù)類型包。包括用來描述創(chuàng)建模型需要的特定數(shù)據(jù)類型構建的類和關聯(lián)?表達式包。包括用來描述表達樹（expression trees的類和關聯(lián)。?關鍵字和索引包。包括用來描述主鍵和索引的類和關聯(lián)。?軟件部署包。包括用來描述軟件在數(shù)據(jù)倉庫中如何部署和配置的類和關聯(lián)?類型映射包。包括用來描述兩個系統(tǒng)之間數(shù)據(jù)類型映射關系的類和關聯(lián)。3、資源包資源包是用來描述數(shù)據(jù)資源和記錄的信息。?關系包。包括用來描述關系型數(shù)據(jù)的元數(shù)據(jù)的類和關聯(lián)。?記錄包。包括用來描述記錄型數(shù)據(jù)的元數(shù)據(jù)的類和關聯(lián)。?多維包。包括用來描述多維型數(shù)據(jù)的元數(shù)據(jù)的類和關聯(lián)。? xml包。包括用來描述xml數(shù)據(jù)的元數(shù)據(jù)的類和關

11、聯(lián)。4、分析包分析包定義了如何對信息進行加工和處理，以及信息展示。?轉(zhuǎn)換包。包括用來描述數(shù)據(jù)轉(zhuǎn)換工具的元數(shù)據(jù)的類和關聯(lián)。?olap包。包括用來描述olap工具的元數(shù)據(jù)的類和關聯(lián)。?data mi ning包。包括用來描述數(shù)據(jù)挖掘工具的元數(shù)據(jù)的類和關聯(lián)?信息展示包。包括用來描述信息展示工具的元數(shù)據(jù)的類和關聯(lián)。?商業(yè)術語包。包括用來描述商業(yè)分類學和術語表的元數(shù)據(jù)的類和關聯(lián) 5、管理包管理包用于數(shù)據(jù)倉庫管理和維護。?倉庫過程包。包括用來描述數(shù)據(jù)倉庫過程的元數(shù)據(jù)的類和關聯(lián)。?倉庫操作。包括用來描述數(shù)據(jù)倉庫操作和查詢結果的元數(shù)據(jù)的類和關聯(lián)。1.1.3第三章 建立元數(shù)據(jù)庫元數(shù)據(jù)庫是用于存儲元數(shù)據(jù)的地方，元

12、數(shù)據(jù)庫最好選用主流的關系數(shù)據(jù)庫管理 系統(tǒng)，支持cwm標準。一個元數(shù)據(jù)庫還包含那些用于操作和查詢元數(shù)據(jù)的機制； 建立元數(shù)據(jù)庫的主要好處是提供了統(tǒng)一的關鍵數(shù)據(jù)結構和業(yè)務規(guī)則，易于將企業(yè)內(nèi)部的多個數(shù)據(jù)集市有機的結合起來；特別是，現(xiàn)在一些客戶傾向建立多個數(shù)據(jù)集市， 而不是一個龐大無比的數(shù)據(jù)倉庫。可以考慮在建立數(shù)據(jù)倉庫（或數(shù)據(jù)集市）之前，先建立一個用于描述數(shù)據(jù)的、 用于應用集成的元數(shù)據(jù)庫，做好數(shù)據(jù)倉庫實施的初期支持工作， 對后續(xù)開發(fā)和維護 有很大的幫助。在擁有不同廠商、不同功能和不同元數(shù)據(jù)庫的環(huán)境下，要實現(xiàn)兩種產(chǎn)品之間的 元數(shù)據(jù)同步是非常富有挑戰(zhàn)性的工作。因為必須從一種產(chǎn)品中獲得足夠詳細的元數(shù) 據(jù)，將其映射到另一種產(chǎn)品中，再指出兩者意義或編碼的差別；通常系統(tǒng)有數(shù)百、 數(shù)千個元數(shù)據(jù)，必須對每個元數(shù)據(jù)重復這一過程。在整個數(shù)據(jù)倉庫環(huán)境中，元數(shù)據(jù)管理工具可以從各個數(shù)據(jù)倉庫組件中收集元數(shù) 據(jù)，存儲到元數(shù)據(jù)庫中，然后向業(yè)務用戶傳遞和展示正確的信息。采集、集成和描 述元數(shù)據(jù)可以擴展到十分廣泛的范圍， 可以在設計和建模的過程中，可以在數(shù)據(jù)轉(zhuǎn) 換、清洗和過濾的過程中，也可以在數(shù)據(jù)移植的過程中；可以從數(shù)據(jù)庫/