元數(shù)據(jù)管理平臺的建立

元數(shù)據(jù)管理平臺的建立元數(shù)據(jù)簡介元數(shù)據(jù)被定義為：描述數(shù)據(jù)的數(shù)據(jù)，對數(shù)據(jù)及信息資源的描述性信息。元數(shù)據(jù)(Metadata)是描述其它數(shù)據(jù)的數(shù)據(jù)(dataaboutotherdata)，或者說是用于提供某種資源的有關(guān)信息的結(jié)構(gòu)數(shù)據(jù)(structureddata)。元數(shù)據(jù)是描述信息資源或數(shù)據(jù)等對象的數(shù)據(jù)，其使用目的在于：識別資源；評價資源；追蹤資源在使用過程中的變化；實(shí)現(xiàn)簡單高效地管理大量網(wǎng)絡(luò)化數(shù)據(jù)；實(shí)現(xiàn)信息資源的有效發(fā)現(xiàn)、查找、一體化組織和對使用資源的有效管理。元數(shù)據(jù)的基本特點(diǎn)主要有：1、元數(shù)據(jù)一經(jīng)建立，便可共享。元數(shù)據(jù)的結(jié)構(gòu)和完整性依賴于信息資源的價值和使用環(huán)境；元數(shù)據(jù)的開發(fā)與利用環(huán)境往往是一個變化的分布式環(huán)境；任何一種格式都不可能完全滿足不同團(tuán)體的不同需要；2、元數(shù)據(jù)首先是一種編碼體系。元數(shù)據(jù)是用來描述數(shù)字化信息資源，特別是網(wǎng)絡(luò)信息資源的編碼體系，這導(dǎo)致了元數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)編碼體系的根本區(qū)別；元數(shù)據(jù)的最為重要的特征和功能是為數(shù)字化信息資源建立一種機(jī)器可理解框架。元數(shù)據(jù)體系構(gòu)建了企業(yè)業(yè)務(wù)的邏輯框架和基本模型,從而決定了企業(yè)業(yè)務(wù)的功能特征、運(yùn)行模式和系統(tǒng)運(yùn)行的總體性能。企業(yè)業(yè)務(wù)的運(yùn)作都基于元數(shù)據(jù)來實(shí)現(xiàn)。其主要作用有：描述功能、整合功能、控制功能和代理功能。由于元數(shù)據(jù)也是數(shù)據(jù)，因此可以用類似數(shù)據(jù)的方法在數(shù)據(jù)庫中進(jìn)行存儲和獲取。如果提供數(shù)據(jù)元的組織同時提供描述數(shù)據(jù)元的元數(shù)據(jù)，將會使數(shù)據(jù)元的使用變得準(zhǔn)確而高效。用戶在使用數(shù)據(jù)時可以首先查看其元數(shù)據(jù)以便能夠獲取自己所需的信息。

在數(shù)據(jù)倉庫領(lǐng)域中，元數(shù)據(jù)按用途分成技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)。首先，元數(shù)據(jù)能提供基于用戶的信息，如記錄數(shù)據(jù)項(xiàng)的業(yè)務(wù)描述信息的元數(shù)據(jù)能幫助用戶使用數(shù)據(jù)。其次，元數(shù)據(jù)能支持系統(tǒng)對數(shù)據(jù)的管理和維護(hù)，如關(guān)于數(shù)據(jù)項(xiàng)存儲方法的元數(shù)據(jù)能支持系統(tǒng)以最有效的方式訪問數(shù)據(jù)。具體來說，在數(shù)據(jù)倉庫系統(tǒng)中，元數(shù)據(jù)機(jī)制主要支持以下五類系統(tǒng)管理功能:（1）描述哪些數(shù)據(jù)在數(shù)據(jù)倉庫中；（2）定義要進(jìn)入數(shù)據(jù)倉庫中的數(shù)據(jù)和從數(shù)據(jù)倉庫中產(chǎn)生的數(shù)據(jù)；（3）記錄根據(jù)業(yè)務(wù)事件發(fā)生而隨之進(jìn)行的數(shù)據(jù)抽取工作時間安排；（4）記錄并檢測系統(tǒng)數(shù)據(jù)一致性的要求和執(zhí)行情況；（5）衡量數(shù)據(jù)質(zhì)量。元數(shù)據(jù)管理平臺體系結(jié)構(gòu)分析應(yīng)用實(shí)時元數(shù)據(jù)獲取信息標(biāo)準(zhǔn)發(fā)布Web門廠、川戶管理集成分析,管理元數(shù)據(jù)維護(hù)結(jié)構(gòu)化元數(shù)據(jù)CSV/分析應(yīng)用實(shí)時元數(shù)據(jù)獲取信息標(biāo)準(zhǔn)發(fā)布Web門廠、川戶管理集成分析,管理元數(shù)據(jù)維護(hù)結(jié)構(gòu)化元數(shù)據(jù)CSV/文本等元數(shù)據(jù)存儲庫生結(jié)構(gòu)化元數(shù)據(jù)word/PDF婚圖1元數(shù)據(jù)管理平臺體系結(jié)構(gòu)關(guān)鍵特性可擴(kuò)展的元模型：元數(shù)據(jù)管理平臺采用可以擴(kuò)展的元模型設(shè)計。能夠滿足項(xiàng)目快速實(shí)施的需要，更可以適應(yīng)長期用戶需求變化的需要。端到端的元數(shù)據(jù)管理：元數(shù)據(jù)管理平臺作為真正端到端的元數(shù)據(jù)管理工具，提供企業(yè)級的元數(shù)據(jù)統(tǒng)一視圖,平臺是第一個提供清晰地分析和跟蹤業(yè)務(wù)運(yùn)作歷史數(shù)據(jù)的實(shí)際可行的解決方案。實(shí)時元數(shù)據(jù)獲取：元數(shù)據(jù)管理平臺采用多種操作方式簡化元數(shù)據(jù)導(dǎo)入的復(fù)雜性，實(shí)時連接其他軟件工具的ActiveLinx技術(shù)是實(shí)時存取其他業(yè)務(wù)應(yīng)用系統(tǒng)元數(shù)據(jù)。主流開放性：元數(shù)據(jù)管理平臺軟件是100%JAVA、按J2EE模式構(gòu)建、基于Web的瘦客戶端架構(gòu)，元數(shù)據(jù)存儲于主流關(guān)系型數(shù)據(jù)庫系統(tǒng)；能夠?qū)?、?dǎo)出符合CWM國際規(guī)范的XML文件；元數(shù)據(jù)管理平臺提供應(yīng)用編程接口（API）,易于擴(kuò)展和應(yīng)用集成。元數(shù)據(jù)管理元數(shù)據(jù)管理實(shí)現(xiàn)針對元數(shù)據(jù)的基本管理功能。如元數(shù)據(jù)的添加、刪除、修改屬性等維護(hù)功能；元數(shù)據(jù)之間關(guān)系的建立、刪除和跟蹤等關(guān)系維護(hù)功能；提供元數(shù)據(jù)發(fā)布流程管理，可以更好地管理和跟蹤元數(shù)據(jù)的整個生命周期；元數(shù)據(jù)自身質(zhì)量核查、元數(shù)據(jù)查詢、元數(shù)據(jù)統(tǒng)計、元數(shù)據(jù)使用情況分析、元數(shù)據(jù)變更、元數(shù)據(jù)版本和生命周期管理等功能。其應(yīng)用案例如下：元數(shù)據(jù)連接大部分主流關(guān)系型數(shù)據(jù)庫（如Oracle、DB2、SQLSERVER、MYSQL、POSTGRESQL等），OLAP應(yīng)用，非關(guān)系型結(jié)構(gòu)（如文本文件、XML文件等）和半結(jié)構(gòu)化數(shù)據(jù)。支持其他工業(yè)標(biāo)準(zhǔn)，比如主流ETL工具，BI工具等。支持元數(shù)據(jù)獲取調(diào)度功能，實(shí)現(xiàn)自動化獲取元數(shù)據(jù)作業(yè)的配置；實(shí)現(xiàn)元數(shù)據(jù)獲取作業(yè)的調(diào)度和管理；支持自動完成元數(shù)據(jù)抽取、轉(zhuǎn)換和加載；數(shù)據(jù)變更捕獲功能，實(shí)時監(jiān)測數(shù)據(jù)元

數(shù)據(jù)的變化，減輕批量裝載元數(shù)據(jù)和映射的負(fù)載，觸發(fā)實(shí)時的數(shù)據(jù)集成過程，傳遞相關(guān)的變化到元數(shù)據(jù)和映射處理。HumDTi?dfl_3m^aTppAOWHDncnrt9iLugSMTiipA0HKHon電■巾rgHHriTnwIMiNaFH刷艙訕較悼11&Im算曲RsriMhli^陽HumDTi?dfl_3m^aTppAOWHDncnrt9iLugSMTiipA0HKHon電■巾rgHHriTnwIMiNaFH刷艙訕較悼11&Im算曲RsriMhli^陽*1曲Hr*HaiK辛*勘伊料墾田Ee*Mwrcn?tTppA0HKNLWlkjri即Db|eciMclbDiu912p＜：＞＞4mBf'T-KlP''(jOraoi-Ct：I11IFI111川InjlllilllllnjIlllIHJIllJIllllnJ國回RKflHiii,-QR?flirerKMi9lr:h圖7.2元數(shù)據(jù)調(diào)度功能自動化獲取數(shù)據(jù)集成工具元數(shù)據(jù)，支持自動化獲取PowerCenter等常見的數(shù)據(jù)集成工具的元數(shù)據(jù)獲取。靈活的任務(wù)調(diào)度，提供圖形化調(diào)度定制工具，為元數(shù)據(jù)抽取制定調(diào)度執(zhí)行的時間、頻率和方式，完全實(shí)現(xiàn)自動化的任務(wù)調(diào)度，支持時間、命令行等觸發(fā)方式。支持自定義元模型，對未知或者不提供預(yù)定義元模型的系統(tǒng)，提供自定義元模型能力。

Inaihust樊gipcrlai押口rtaLhirriRdEl3cMiHrPl占二eikFpartai/必Inaihust樊gipcrlai押口rtaLhirriRdEl3cMiHrPl占二eikFpartai/必ffivarHt5tHri■日ler』百十Q五亶■:《而七3■?i￡KVik/t*whhd--LAt?u*ZlAWi^TK*-iMa折翻S9幅IfflJXblmllMFoltferltonIU■釉1疝和G「*hk<wiWfxiftjBrTraplaivlr也!lRsld?d匚曲骨s'?tsZiAJblnll*oFolfltrItonU工NbInilkjGrephIcon口也期InlboInputFieldlow0?心Inhfo'InputPortkmuajdbInilki￡>.jifiLrtReidkon□施AbIn加OutputPortkonO*Ab-lvirlKP順Ktk?□dKblniBaSnurc?-lean02..\bInIbaSub『日phkonB>sA3iS^-名總0ilFUlfH叫Uhthfiunwku1H(MraC?Ne!L圖7.3元數(shù)據(jù)自定義元模型儲藏庫版本和配置管理，數(shù)據(jù)變更捕獲功能，實(shí)時監(jiān)測數(shù)據(jù)元數(shù)據(jù)的變化，減輕批量裝載元數(shù)據(jù)和映射的負(fù)載，觸發(fā)實(shí)時的數(shù)據(jù)集成過程，傳遞相關(guān)的變化到元數(shù)據(jù)和映射處理。^i^rffsilsions葡嗯iFKAlU'xilEkiwti^^i^rffsilsions葡嗯iFKAlU'xilEkiwti^,*KJh?t'Bd:?汕r之：UTHiiErr>Er-3134tall!!g?g?i<4『kr黃ie&,￡e任a事r7"』I出口肉匚MXEjfJ?HTiCj1=(rnlJFk^TwifnT心力krhr□"aikerInEUMTF3?.仲陽1齒也而請&M快MmrLiitUv>，出i-2frl&4Jj7lHaPUMffF.jdCgx司加IW割時為皿2年ZT.311IM1Hiwmry—午打aiE-mfl-ufWPiT收中E31E1^I&UMP<T證H組k*,以匕■'f^rratnki.出I'riirrninlr.□bftkd1kid1E^uJ：Wi：年f值Vii.中E31E10fH1ZUPfTr■'dirriiKhjfar.KJuBdEWM晶^?：l餌中X31G1D-fH1/MPfiri'JrrighJfar.如n&taiklc^WWM中斯.用咋3燈以W斯nr限口*W父Xi第即Md蝴$*Kri0l)睜珈《k,即*.聊zr.HHElWG5i博|同『湎nt1lf#mMa”；Mi第UtaA^iWfl“力t￥l：即部打][.昶W郎ww.前niJ偉iiK7.iiiwpcf?rMCQiM.物i訊duCihMId班**”用工安6（年小前探占信儂UihlMIkd3?-Ktt?■1如期3吊lERTkiWGPlSilli-圖7.4元數(shù)據(jù)數(shù)據(jù)變更支持對數(shù)據(jù)進(jìn)行數(shù)據(jù)探查，加深對基本數(shù)據(jù)的理解，幫助快速評估數(shù)據(jù)血緣中不同節(jié)點(diǎn)的數(shù)據(jù)質(zhì)量。

M16-11-17Lu^Ti■.*1Cdr>iicr*riciftrt\'vriiRmnIl：fNdkkixmiMmim[L：C：|3dkbDUKnWWmbM0?：.3fM16-11-17Lu^Ti■.*1Cdr>iicr*riciftrt\'vriiRmnIl：fNdkkixmiMmim[L：C：|3dkbDUKnWWmbM0?：.3f膻h[CQIfTOL，口]oa，Mh巾二、叫朝3。二口rnKLjTPej口二?口民W《TJWE」OKiiCGHirx.uatLmNTRCLHRIJERsiurT.fi二i町的，皿I即他用Jj訓(xùn)CRSi*Tra_wra—ijPD町ED_P<Jj謝二1JFEWED一"ATEca日喀TEHIFLM?國即DMJ_AL_FILE_rELE'CWlUlE汨用CEmnEfiC■一■UJJHP—CEJIKT田tU口￥L%P同鞏Lfl士013口L_PaFwETER國用P*rt_AL_5idLTaTEIaFW1用nM_Ai_SRJ的手削ID鄴M；_AL」■同口EQURKy&wj<*a_￡T/raEwr出01Ij^^_GDHHEE1ICf-l5日ifl「iWqUlfTOL3gCaiMrrri*2柵描I號*].杵*尸*值甌、auauQunJ0!JEmiEMu”圖7.5元數(shù)據(jù)的數(shù)據(jù)探查權(quán)限及審計管理：可設(shè)定元數(shù)據(jù)管理的讀寫執(zhí)行的權(quán)限控制，區(qū)分開發(fā)、執(zhí)行、瀏覽等的不同權(quán)限限制，避免不相關(guān)人員的誤操作，并能記錄操作人員的使用情況。并且能審計操作人員的操作日志。亙五'期“[AdmiEunu^11as1.H-hMemi國撞圈CseOfl.fr斷4?句擊,S'BfiCieO?MsljtEiIfiiKtMatTiiT-hl?flw說會c-se□?如&情亳IhhkhZfi總.taldFlow-附蝴：ll_4l觸儀口?aff口史甘Oef加加密1酎2@的聊5笈-03MFbw-期me修TV卯1LSI陽N/C-Ssd研用US管msOftOa**swCsuo?l睚W9,?3fiCieOatEtP第鼐酷上前HPC■理O?睚WN.?通,SafiCieO?￡t:■則用.FtSI*spc■理o??,頊SOie0a?能看日用戶電皴C-Se□??14司網(wǎng)■*StE0￡?0a*Ufll￡空事C-Ssd研工具電帖整?SKC-￡SOffUI-CMH管msOftOa*id*h；EjnailConi9Plmfsil前HPOseo?10*1^EJDfrt7前HPc■理ow圖7.6元數(shù)據(jù)的權(quán)限管理支持信息的瀏覽、信息查詢。圖7.7元數(shù)據(jù)瀏覽查詢元數(shù)據(jù)分析元數(shù)據(jù)分析功能主要實(shí)現(xiàn)針對元數(shù)據(jù)的基本分析功能。包括血緣分析（血統(tǒng)分析）、影響分析、實(shí)體關(guān)聯(lián)分析、實(shí)體影響分析、主機(jī)拓?fù)浞治?、指?biāo)一致性分析等。各類應(yīng)用軟件元素產(chǎn)生的元數(shù)據(jù)進(jìn)入元數(shù)據(jù)平臺后，元數(shù)據(jù)管理可通過元數(shù)據(jù)服務(wù)功能，為需要這些元數(shù)據(jù)的工具軟件或構(gòu)件提供元數(shù)據(jù)服務(wù)。如將前面所述的各種工具軟件的定義結(jié)果，以相應(yīng)的標(biāo)準(zhǔn)協(xié)議進(jìn)行打包形成方案（應(yīng)用腳本），提供給其它應(yīng)用環(huán)境中的物理表建立工具、ETL工具、多維模型建立工具、結(jié)果展現(xiàn)工具等底層工具，從而實(shí)現(xiàn)應(yīng)用的重用和共享。同時，元數(shù)據(jù)服務(wù)還可為業(yè)務(wù)應(yīng)用功能提供輔助的元數(shù)據(jù)幫助信息，如業(yè)務(wù)功能中加工結(jié)果和指標(biāo)的說明、提示，及其血緣分析等，讓用戶可明確、直觀地了解數(shù)據(jù)的來源、加工過程及加工算法等信息。7.4.1數(shù)據(jù)血緣分析數(shù)據(jù)血緣（Lineage,Provenance,Pedigree）亦可譯為（血統(tǒng)、起源、世系、譜系），是近幾年隨著數(shù)據(jù)庫和網(wǎng)絡(luò)的發(fā)展而發(fā)展起來的一個研究領(lǐng)域，其內(nèi)容主要包括數(shù)據(jù)血統(tǒng)的計算、存儲、傳播和查詢等。對于數(shù)據(jù)庫系統(tǒng)，有時需要追溯查詢結(jié)果的來源，以衡量數(shù)據(jù)的可信度、數(shù)據(jù)的質(zhì)量等。數(shù)據(jù)血統(tǒng)研究的目的主要是通過數(shù)據(jù)血統(tǒng)追蹤，在分布數(shù)據(jù)共享時可以解決數(shù)據(jù)的可信度、質(zhì)量、版本信息等，對于各種導(dǎo)出數(shù)據(jù)集也能解決這些問題。通過數(shù)據(jù)血統(tǒng)追蹤，根據(jù)集成視圖查詢數(shù)據(jù)庫或數(shù)據(jù)倉庫時，可以獲得結(jié)果數(shù)據(jù)的來源信息。更新數(shù)據(jù)庫或數(shù)據(jù)倉庫中的統(tǒng)一視圖時，反應(yīng)原始數(shù)據(jù)庫的變化，可以維護(hù)時空一致性。通過數(shù)據(jù)血統(tǒng)追蹤，可以獲得數(shù)據(jù)在數(shù)據(jù)流中的演化過程。數(shù)據(jù)血統(tǒng)記載了對數(shù)據(jù)處理的整個歷史，包括數(shù)據(jù)的起源和處理這些數(shù)據(jù)的所有后繼過程（數(shù)據(jù)產(chǎn)生、并隨著時間推移而演變