元數據管理模塊方案

1、目錄1. 現狀分析 21.1目前的困境 21.2什么是元數據治理 32. 目標分析 42.1建立完善的指標解釋體系 42.2建立標準的元數據治理體系 42.3建立有效的數據稽核體系 53. 功能概述 53.1元數據治理 53.1.1 業(yè)務元數據 63.2.2技術元數據 73.3元數據分析 113.3.1 血統(tǒng)分析 113.3.2影響分析 123.3.3重要性分析 133.3.4無關性分析 143.4數據稽核 143.4.1 稽核規(guī)那么治理 153.4.2 稽核任務調度 163.4.3稽核結果分析 163.4.4數據質量評估 163.4.5數據問題治理 16元數據治理系統(tǒng)概述1. 現狀分析隨著經

2、營分析系統(tǒng)規(guī)模不斷擴大,系統(tǒng)所積累數據量也越來越大,收集到的 海量數據背后隱藏著大量珍貴重要的信息,但也同時提升了系統(tǒng)的數據治理難 度：一方面難以對這些數據進行有效解釋, 缺乏對業(yè)務流程執(zhí)行的實時監(jiān)控和管 理；另一方面各部門數據與數據整合的難度也不斷加大,影響到了經營分析系統(tǒng)中的數據質量.如何對現有數據進行深層開掘,并揭示出埋藏在元數據中的趨勢、因果關系、 關聯(lián)模式等核心信息？這是下一步深化經營分析系統(tǒng)應用的電信運營商需要解 決的頭等大事.構建 BI,首先要保證的是數據質量.元數據治理解決的問題就 是如何把業(yè)務系統(tǒng)中的數據分門別類地進行治理,并建立數據與數據之間的關 系,為數據倉庫的數據質量監(jiān)

3、控提供根底素材.1.1目前的困境使用者決策層、業(yè)務分析人員:1經營分析系統(tǒng)中存在有很多報表,不同報表中存在一些相同的指標,這些指標往往不一致,給業(yè)務分析和決策工作造成很多困惑, 必須花費很大的精力去檢查核實.2對丁很多指標,不活楚其具體含義,不活楚其反映的問題,不活楚其具 體算法和來龍去脈.數據倉庫工程開發(fā)維護者：1不同報表中的同一指標不一致,必須花費很大的精力去檢查,目前根本 上是通過手工檢查表和存儲過程的方式,效率較低.2沒有完善的開發(fā)、維護標準.比方,新增一張分析報表,開發(fā)人員根據 業(yè)務人員的需求制作完成之后,往往沒有整理完善相應的數據指標解釋和元 數據治理,造成日后檢查困難.3開發(fā)、維

4、護標準的執(zhí)行力較低,沒有行之有效的管控手段.不嚴格根據 標準執(zhí)行,隨著工程的開展和時間的推移,導致數據倉庫工程的健壯性和可 維護性呈幾何級數下降,給數據倉庫的建設帶來大量的重復工作.1.2什么是元數據治理元數據最本質,最抽象的定義為：data about data 關丁數據的數據. 而對丁經營分析數據倉庫而言,形象的定義為：元數據就是數據倉庫的標準. 這些標準包括對各種指標的定義、 解釋；包括對各表中數據的來龍去脈、 數 據的大小和格式的定義.元數據治理,就是要建立一套行之有效的標準以及該標準的管控體系,實現從治理到查詢到綜合分析的全面管控, 治理層次從接口到ETL處理、業(yè) 務邏輯處理、結果展

5、現處理和指標分析的方方面面,構成數據倉庫應用系統(tǒng)的核心和根底.做到開發(fā)者能嚴格遵守標準,維護者和使用者有標準可查,有力的保證數據倉庫工程的健壯性和可維護性.2. 目標分析要走出目前的困境,有下面三個方面的問題急待解決：2.1建立完善的指標解釋體系滿足用戶對業(yè)務和數據理解的需求,建立標準的企業(yè)內部知識傳承的信息承載平臺,建立業(yè)務分析知識庫,實現知識共享.能夠答復諸如以下問題:什么是出帳用戶數？在網用戶數和網上用戶數有何區(qū)別？什么是套餐的生命周期？競爭對手新開展用戶數是怎么得來的？這個數據還叫什么名字？2.2建立標準的元數據治理體系讓用戶能夠活晰的了解數據倉庫中數據流的來龍去脈,業(yè)務處理規(guī)那么、開

6、展情況等,提升系統(tǒng)的可維護性、適應性和集成性,支持數據倉庫/集市的成長需求,減少因員工換崗造成的影響.具體來講,主要是對數據倉庫建設、運行和維護的標準的治理.能夠回答諸如以下的問題：哪張表是從業(yè)務系統(tǒng)抽取過來的原始話單表？競爭對手新開展用戶事實表中的數據,是從哪些表匯總計算出來的?DVW戶下的P_XXX這個存儲過程是誰寫的,現在還有用嗎？我是新手,要生成套餐生命周期演化分析事實表,我該怎么做？表空間不夠了,哪些表的數據可以刪掉？2.3建立有效的數據稽核體系促進數據倉庫的數據質量建設,為提升整個系統(tǒng)的數據質量奠定堅實的 根底.建立報警、監(jiān)控機制,出現故障,能及時發(fā)現問題.提供整體系統(tǒng)運 營的情況

7、分析.能夠答復諸如以下問題：今天的出帳用戶數過高,是怎么回事？數據集市層中的DM_XXX表中數據為空,什么原因？A報表中的全省ARPlfi和B報表中的ARPUfi為什么不同？3. 功能概述3.1元數據治理對數據倉庫的層次結構、主題域劃分,各層的各種對象,如表、存儲過 程、索引、數據鏈、函數和包等的治理.能夠活晰的展現各層次結構之間的 數據流程,圖形化展現各對象之間的關系,展現表中數據的來龍去脈.3.1.1 業(yè)務元數據業(yè)務元數據包括以下信息：使用者的業(yè)務術語所表達的數據模型、對象 名和屆性名；訪問數據的原那么和數據來源；系統(tǒng)所提供的分析方法及公式、 報表信息.業(yè)務元數據治理除了治理上述信息外,還

8、提供對業(yè)務元數據來源的治理 和差異性比照功能,使用戶能夠方便的查詢、比擬和追溯.包括兩個子模塊,指標治理和指標解釋接口.指標治理：主要實現對所有指標的維護功能,維護指標的根本信息、業(yè)務規(guī)那么和技術算法等.能夠展現各個主題分析中的指標,以及指標間的區(qū)別等信息.元數據指桂0 Mrm*二本指標4頂度歸類菠說明5磚.口-一營5析,K層決兼序號指齒ID指標名稼計量單險1EDI開展用尸數估宜A時捋2E02收入估費元時期數3E03移劫 普夏宰%時點教4EM耍道網點數個時點數指標屆性貌碼E03別名移劫電活普及率就計期未廄動 用戶數占統(tǒng)計區(qū)域內人口軍的比例.技術焰逑SELECT * FROM BF_GSM_CA

9、LL_T®>HNBF羹型ST點數計墾單位無削建時間200707230所屋部門計費部指標全頁檢索指標解釋接口 ：提供統(tǒng)一的接口,使用戶能夠在經營分析系統(tǒng)或CRM 系統(tǒng)中,點擊任一指標名稱,即可查看該指標的詳細描述和解釋說明經營分析系統(tǒng)聯(lián)機精助流失用戶數上月出株本月不出幃的用戶數3.2.2技術元數據技術元數據是存儲關丁數據倉庫系統(tǒng)技術細節(jié)的數據,是用丁開發(fā)和管 理數據倉庫的數據,主要包括數據倉庫結構的描述各個主題的定義,星型 模式或雪花型模式的描述定義等、ODSg 操作數據存儲ODS .Operation Data Storage的企業(yè)數據模型描述以描述關系表及其關聯(lián)關系為形式、

10、對數據稽核規(guī)那么的定義、數據集市定義描述與裝載描述包括Cube的維度、 層次、度量以及相應事實表、概要表的抽取規(guī)那么.系統(tǒng)除了維護技術員數據的根本信息外,更以圖形的方式展現和治理各 技術元數據之間的關聯(lián)關系和來源.技術元數據治理主要包括以下幾個功能模塊：元數據查詢：按關鍵字、分類、主題域名稱等維度進行查詢,展現該元 數據的根本信息,如業(yè)務描述、技術描述、計量單位、所屆分類等信息.元數據維護：對元數據的根本信息進行維護,包括增、刪、改元涯據指琮曰0CRM正式庫Dcrm耳旨標巳口專用庫曰徑匹翎正游Mm國句dss-霆哲號析測試庫&白DM tDMCODE L-DSS無熟軍根本信息無數據名瓊元數

11、寵整型BF_GSM_QAJJ_T表無熟抿屆性編碼KP10534加年026網話單業(yè)務描述指技評期內G網所有用戶E技術描述SELECT* FROMBF_GSM_CALL_THNBF適用范圍計呈單位|無艇建時間200707230所犀部門市場部*諸多藐計IW商元數據關系查詢：展現元數據之間的關系,如：按經營分析數據倉庫的各個層次進行展現；按元數據之間的映射關系展現；按元數據的處理流程進行展現等等.點擊逸擇,強出元敏毫赤攆牒面,進行精碑透擇*屹珀據美犯:全翟冠據名滁:I出帙用尸數隹重理攜作根殆權限限制,鼠標右鍵點擊 某元敏括節(jié)點.,進入該元數搖的美系曜護界面,對其與苴柚 元數據之間的關至進行增朋改E0A

12、_ F.DM_OPPON ENT_MOBH_E_MOH點擊慕元教糖章點,展現諼元 數括的美系圖-.虬.一希標：出帷用尸數元數據關系治理：對元數據關系進行維護,包括增加、刪除和修改刪除點擊網擇,彈出元教亳選您捍面,退行玷殖理擇.如上圖所示,鼠標右鍵點擊某個節(jié)點,對該節(jié)點進行增、刪、改操作.點擊【網,擔出元數據選擇界面/進行秸南毒彝.審擊莖元#玷節(jié)點,晨班漂云 教皓的美系國,元數據芫箜:元數需假設稱;出怖用尸5?I您已=_CZM二LL-_T_：:7：pt.Bc,GSMCAU_T20甌帳用戶數一|睥登面蠅加無數套節(jié)點至 J = -LOPPONeMQa ILE.MOWi.-i. Br_GSV_CALL

13、_T_2CC E 2 2襟也根據枳朔控&1,吊保右艇點擊 粟元散18章點,逃入該元歌踞 的關系雄護界面,對瓦與K惟 布部據之就們天轟EWib費虞擇1/XOFPCEM_MO根據神艮控1!其元數桐書X,辨人初兀歇街上只采詆:出幡用.口數來照說明；虺瓦Lift節(jié)點 f該節(jié)點 作政元就愜信息±6點擊逃撐彈出元數據選擇界面,進行赭名稱：回帳雨小數DfeSj 查詢打居也災3.3元數據分析血統(tǒng)分析、影響分析、表重要程度分析、表無關程度分析等等.通過上 述分析,讓用戶對整個數據倉庫總體上有活晰的熟悉和理解,解決數據孤島的問題.3.3.1血統(tǒng)分析數據血統(tǒng)一Data Lineage ,通過數據血

14、統(tǒng)分析,用戶可以知道數據何時 更新、如何計算以及從何處而來,所有這些手段幫助用戶追溯報表中數據產 生的來源.這種深入洞查數據來龍去脈的水平對丁幫助用戶更加信賴他們的 信息來說,具有至關重要的作用ET甘由取話單營帳系統(tǒng)話單表業(yè)務生產系統(tǒng)聯(lián)通用戶通話詳單從詳單中抽取與移動用戶的通話記錄源數據 SRC層移動用戶通話詳單表ODS層與移動在網用戶比擬v -移動新入網用戶表數據倉庫DW層匯總產生大客戶信息匯總產生新入網用戶信息數據集市 DM層移動大客戶信息展現移動新入網用戶信息展現3.3.2影響分析影響分析關注的重點是數據的流向,提供端對端影響分析,使您能夠看見源系統(tǒng)發(fā)生變化時,BI報表受到的影響,而因此

15、可以輕松地處理 BI環(huán)境中的變化前端展現專題分析模塊競爭專題 >>用戶分析競爭專題 >>策反高層決策 >>市場分析高層決策 >>競爭對手3.3.3重要性分析分析BI系統(tǒng)中,用戶最關心的分析主題、報表和指標,追溯這些分析主題、報表和指標涉及到的元數據,這對丁 BI系統(tǒng)和數據倉庫開發(fā)團隊具 有重要的指導意義.點己專昭金拓"但菅廿虧電 的下務事:S豪林罷麻分折分析數據倉庫中各層次的包、表分析各元數據對象之間的關聯(lián)密集度, 等對象的重要程度,指導數據倉庫開發(fā)和維護團隊對重點元數據進行重點關 注和質量監(jiān)控3.3.4無關性分析與重要性分析相反,隨著

16、數據倉庫系統(tǒng)的規(guī)模不斷擴大, 業(yè)務需求的日 益變化,會產生一定數量的無關數據、信息和報表,找出這些無關的內容, 結合業(yè)務需求分析其產生的根源,從而為用戶簡化工作負載,降低工程總擁 有本錢,為用戶提供可信賴的數據和分析水平.報表無關程亶報表名稱描述關注度大決渠道明細日報面向額導層面的決策支捂0自定義套餐日報分祈政策與市場對品牌開展的戰(zhàn)略散響2產品群分析分析渠道的開展和收益3是站話冬量分析與日常業(yè)務運營相關的數據7點擊報表名稱J可查看該報表涉艮到的相關數據來源分祈.3.4數據稽核根據預先配置的規(guī)那么、算法和質量檢查度量,對數據的準確性、合理性 等多角度的檢查,以及時發(fā)現問題,解決問題.對丁稽核結果

17、,進行統(tǒng)計分析,形成結果報告,為以后的數據倉庫建設、實施和維護的改良打下堅實的根底.3.4.1稽核規(guī)那么治理接口數據檢驗：對接口數據的過程進行稽核和校驗,分為文件接口, DB-LINK接口,其他異構數據庫接口.處理過程檢驗：對數據處理過程進行監(jiān)控和稽核,分為JOB稽核,工作 流稽核,其他處理方式稽核等.處理環(huán)境檢驗：對數據處理環(huán)境進行檢查,針對不同的應用環(huán)境,主要 分為數據庫系統(tǒng)檢查、主機系統(tǒng)檢查、接口機檢查、應用效勞器檢查.日志監(jiān)控：在ETL自動運行的過程中可能出現各種各樣的錯誤,比方ETL過程申請的資源超過硬件的物理限制存儲缺乏或者排序空間缺乏.通過檢測ETL過程的日志可以判斷出該過程輸出

18、的目標表數據是否完整.提供選擇日志監(jiān)控的各種信息供選擇,如：過程名、所屆模塊營業(yè)數據、計 費數據、維表數據等、執(zhí)行時間、完成時間、執(zhí)行時長、執(zhí)行用戶、執(zhí)行 結果、預警等.維度檢驗：如：所屆模塊營業(yè)數據、計費數據、維表數據等、日期、 表名、維度名稱、緯度格式、緯度說明、緯度關聯(lián)編碼表、各緯度記錄分布 情況、是否有空值、空值記錄數、空值率、預警區(qū)間等指標.指標值檢驗：包括數據量校驗、單指標校驗、交義校驗等.3.4.2稽核任務調度在設定數據稽核的模板后,可以對稽核任務實行自動化處理,也可以通 過定制方式來完成,可以定時調用或觸發(fā).由不同類型數據檢驗確定.比方：前序數據計費營帳數據,可以使用定時調度任務檢查數據完 整性,后序數據DW層數據直到數據集市展示層的匯總數據的調