元數(shù)據(jù)管理模塊方案

1、目錄1. 現(xiàn)狀分析11.1 目前的困境21.2 什么是元數(shù)據(jù)管理22. 目標(biāo)分析32.1 建立完善的指標(biāo)解釋體系32.2 建立規(guī)范的元數(shù)據(jù)管理體系32.3 建立有效的數(shù)據(jù)稽核體系43. 功能概述43.1 元數(shù)據(jù)管理43.1.1 業(yè)務(wù)元數(shù)據(jù)43.2.2 技術(shù)元數(shù)據(jù)53.3元數(shù)據(jù)分析73.3.1 血統(tǒng)分析83.3.2 影響分析83.3.3 重要性分析83.3.4 無關(guān)性分析83.4數(shù)據(jù)稽核93.4.1 稽核規(guī)則管理93.4.2 稽核任務(wù)調(diào)度93.4.3 稽核結(jié)果分析103.4.4 數(shù)據(jù)質(zhì)量評估103.4.5 數(shù)據(jù)問題管理10元數(shù)據(jù)管理系統(tǒng)概述1. 現(xiàn)狀分析隨著經(jīng)營分析系統(tǒng)規(guī)模不斷擴(kuò)大，系統(tǒng)所積累數(shù)

2、據(jù)量也越來越大，收集到的海量數(shù)據(jù)背后隱藏著大量珍貴重要的信息，但也同時提高了系統(tǒng)的數(shù)據(jù)管理難度：一方面難以對這些數(shù)據(jù)進(jìn)行有效解釋，缺乏對業(yè)務(wù)流程執(zhí)行的實時監(jiān)控和管理；另一方面各部門數(shù)據(jù)與數(shù)據(jù)整合的難度也不斷加大，影響到了經(jīng)營分析系統(tǒng)中的數(shù)據(jù)質(zhì)量。如何對現(xiàn)有數(shù)據(jù)進(jìn)行深層發(fā)掘，并揭示出埋藏在元數(shù)據(jù)中的趨勢、因果關(guān)系、關(guān)聯(lián)模式等核心信息？這是下一步深化經(jīng)營分析系統(tǒng)應(yīng)用的電信運(yùn)營商需要解決的頭等大事。構(gòu)建BI，首先要保證的是數(shù)據(jù)質(zhì)量。元數(shù)據(jù)管理解決的問題就是如何把業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)分門別類地進(jìn)行管理，并建立數(shù)據(jù)與數(shù)據(jù)之間的關(guān)系，為數(shù)據(jù)倉庫的數(shù)據(jù)質(zhì)量監(jiān)控提供基礎(chǔ)素材。1.1 目前的困境使用者(決策層、業(yè)務(wù)

3、分析人員)：1) 經(jīng)營分析系統(tǒng)中存在有很多報表，不同報表中存在一些相同的指標(biāo)，這些指標(biāo)往往不一致，給業(yè)務(wù)分析和決策工作造成很多困惑，必須花費很大的精力去檢查核實。2) 對于很多指標(biāo)，不清楚其具體含義，不清楚其反映的問題，不清楚其具體算法和來龍去脈。數(shù)據(jù)倉庫項目開發(fā)維護(hù)者：1) 不同報表中的同一指標(biāo)不一致，必須花費很大的精力去檢查，目前基本上是通過手工檢查表和存儲過程的方式，效率較低。2) 沒有完善的開發(fā)、維護(hù)規(guī)范。比如，新增一張分析報表，開發(fā)人員根據(jù)業(yè)務(wù)人員的需求制作完成之后，往往沒有整理完善相應(yīng)的數(shù)據(jù)指標(biāo)解釋和元數(shù)據(jù)管理，造成日后檢查困難。3) 開發(fā)、維護(hù)規(guī)范的執(zhí)行力較低，沒有行之有效的管控

4、手段。不嚴(yán)格按照規(guī)范執(zhí)行，隨著項目的發(fā)展和時間的推移，導(dǎo)致數(shù)據(jù)倉庫項目的健壯性和可維護(hù)性呈幾何級數(shù)下降，給數(shù)據(jù)倉庫的建設(shè)帶來大量的重復(fù)工作。1.2 什么是元數(shù)據(jù)管理元數(shù)據(jù)最本質(zhì)，最抽象的定義為：data about data (關(guān)于數(shù)據(jù)的數(shù)據(jù))。而對于經(jīng)營分析數(shù)據(jù)倉庫而言，形象的定義為：元數(shù)據(jù)就是數(shù)據(jù)倉庫的規(guī)范。這些規(guī)范包括對各種指標(biāo)的定義、解釋；包括對各表中數(shù)據(jù)的來龍去脈、數(shù)據(jù)的大小和格式的定義。元數(shù)據(jù)管理，就是要建立一套行之有效的規(guī)范以及該規(guī)范的管控體系，實現(xiàn)從管理到查詢到綜合分析的全面管控，管理層次從接口到ETL處理、業(yè)務(wù)邏輯處理、結(jié)果展現(xiàn)處理和指標(biāo)分析的方方面面，構(gòu)成數(shù)據(jù)倉庫應(yīng)用系統(tǒng)的

5、核心和基礎(chǔ)。做到開發(fā)者能嚴(yán)格遵守規(guī)范，維護(hù)者和使用者有規(guī)范可查，有力的保障數(shù)據(jù)倉庫項目的健壯性和可維護(hù)性。2. 目標(biāo)分析要走出目前的困境，有下面三個方面的問題急待解決：2.1 建立完善的指標(biāo)解釋體系滿足用戶對業(yè)務(wù)和數(shù)據(jù)理解的需求，建立標(biāo)準(zhǔn)的企業(yè)內(nèi)部知識傳承的信息承載平臺，建立業(yè)務(wù)分析知識庫，實現(xiàn)知識共享。能夠回答諸如以下問題：什么是出帳用戶數(shù)？在網(wǎng)用戶數(shù)和網(wǎng)上用戶數(shù)有何區(qū)別？什么是套餐的生命周期？競爭對手新發(fā)展用戶數(shù)是怎么得來的？這個數(shù)據(jù)還叫什么名字？ 2.2 建立規(guī)范的元數(shù)據(jù)管理體系讓用戶能夠清晰的了解數(shù)據(jù)倉庫中數(shù)據(jù)流的來龍去脈，業(yè)務(wù)處理規(guī)則、發(fā)展情況等，提高系統(tǒng)的可維護(hù)性、適應(yīng)性和集成性，

6、支持?jǐn)?shù)據(jù)倉庫/集市的成長需求，減少因員工換崗造成的影響。具體來講，主要是對數(shù)據(jù)倉庫建設(shè)、運(yùn)行和維護(hù)的規(guī)范的管理。能夠回答諸如以下的問題：哪張表是從業(yè)務(wù)系統(tǒng)抽取過來的原始話單表？競爭對手新發(fā)展用戶事實表中的數(shù)據(jù)，是從哪些表匯總計算出來的？DW用戶下的P_XXX 這個存儲過程是誰寫的，現(xiàn)在還有用嗎？我是新手，要生成套餐生命周期演化分析事實表，我該怎么做？表空間不夠了，哪些表的數(shù)據(jù)可以刪掉？2.3 建立有效的數(shù)據(jù)稽核體系促進(jìn)數(shù)據(jù)倉庫的數(shù)據(jù)質(zhì)量建設(shè)，為提高整個系統(tǒng)的數(shù)據(jù)質(zhì)量奠定堅實的基礎(chǔ)。建立報警、監(jiān)控機(jī)制，出現(xiàn)故障，能及時發(fā)現(xiàn)問題。提供整體系統(tǒng)運(yùn)營的情況分析。能夠回答諸如以下問題：今天的出帳用戶數(shù)過

7、高，是怎么回事？數(shù)據(jù)集市層中的 DM_XXX 表中數(shù)據(jù)為空，什么原因？A報表中的全省ARPU值和B報表中的ARPU值為什么不同？ 3. 功能概述3.1 元數(shù)據(jù)管理對數(shù)據(jù)倉庫的層次結(jié)構(gòu)、主題域劃分，各層的各種對象，如表、存儲過程、索引、數(shù)據(jù)鏈、函數(shù)和包等的管理。能夠清晰的展現(xiàn)各層次結(jié)構(gòu)之間的數(shù)據(jù)流程，圖形化展現(xiàn)各對象之間的關(guān)系，展現(xiàn)表中數(shù)據(jù)的來龍去脈。3.1.1 業(yè)務(wù)元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)包括以下信息：使用者的業(yè)務(wù)術(shù)語所表達(dá)的數(shù)據(jù)模型、對象名和屬性名；訪問數(shù)據(jù)的原則和數(shù)據(jù)來源；系統(tǒng)所提供的分析方法及公式、報表信息。業(yè)務(wù)元數(shù)據(jù)管理除了管理上述信息外，還提供對業(yè)務(wù)元數(shù)據(jù)來源的管理和差異性對比功能，使用戶能

8、夠方便的查詢、比較和追溯。包括兩個子模塊，指標(biāo)管理和指標(biāo)解釋接口。指標(biāo)管理：主要實現(xiàn)對所有指標(biāo)的維護(hù)功能，維護(hù)指標(biāo)的基本信息、業(yè)務(wù)規(guī)則和技術(shù)算法等。能夠展現(xiàn)各個主題分析中的指標(biāo)，以及指標(biāo)間的區(qū)別等信息。指標(biāo)解釋接口：提供統(tǒng)一的接口，使用戶能夠在經(jīng)營分析系統(tǒng)或CRM系統(tǒng)中，點擊任一指標(biāo)名稱，即可查看該指標(biāo)的詳細(xì)描述和解釋說明。3.2.2 技術(shù)元數(shù)據(jù)技術(shù)元數(shù)據(jù)是存儲關(guān)于數(shù)據(jù)倉庫系統(tǒng)技術(shù)細(xì)節(jié)的數(shù)據(jù)，是用于開發(fā)和管理數(shù)據(jù)倉庫的數(shù)據(jù)，主要包括數(shù)據(jù)倉庫結(jié)構(gòu)的描述（各個主題的定義，星型模式或雪花型模式的描述定義等）、ODS層（操作數(shù)據(jù)存儲ODS .Operation Data Storage)的企業(yè)數(shù)據(jù)模型

9、描述（以描述關(guān)系表及其關(guān)聯(lián)關(guān)系為形式）、對數(shù)據(jù)稽核規(guī)則的定義、數(shù)據(jù)集市定義描述與裝載描述（包括Cube的維度、層次、度量以及相應(yīng)事實表、概要表的抽取規(guī)則）。系統(tǒng)除了維護(hù)技術(shù)員數(shù)據(jù)的基本信息外，更以圖形的方式展現(xiàn)和管理各技術(shù)元數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系和來源。技術(shù)元數(shù)據(jù)管理主要包括以下幾個功能模塊：元數(shù)據(jù)查詢：按關(guān)鍵字、分類、主題域名稱等維度進(jìn)行查詢，展現(xiàn)該元數(shù)據(jù)的基本信息，如業(yè)務(wù)描述、技術(shù)描述、計量單位、所屬分類等信息。元數(shù)據(jù)維護(hù)：對元數(shù)據(jù)的基本信息進(jìn)行維護(hù)，包括增、刪、改。元數(shù)據(jù)關(guān)系查詢：展現(xiàn)元數(shù)據(jù)之間的關(guān)系，如：按經(jīng)營分析數(shù)據(jù)倉庫的各個層次進(jìn)行展現(xiàn)；按元數(shù)據(jù)之間的映射關(guān)系展現(xiàn)；按元數(shù)據(jù)的處理流程進(jìn)

10、行展現(xiàn)等等。元數(shù)據(jù)關(guān)系管理：對元數(shù)據(jù)關(guān)系進(jìn)行維護(hù)，包括增加、刪除和修改。如上圖所示，鼠標(biāo)右鍵點擊某個節(jié)點，對該節(jié)點進(jìn)行增、刪、改操作。3.3元數(shù)據(jù)分析血統(tǒng)分析、影響分析、表重要程度分析、表無關(guān)程度分析等等。通過上述分析，讓用戶對整個數(shù)據(jù)倉庫總體上有清晰的認(rèn)識和理解，解決數(shù)據(jù)孤島的問題。3.3.1 血統(tǒng)分析數(shù)據(jù)血統(tǒng)Data Lineage，通過數(shù)據(jù)血統(tǒng)分析，用戶可以知道數(shù)據(jù)何時更新、如何計算以及從何處而來，所有這些手段幫助用戶追溯報表中數(shù)據(jù)產(chǎn)生的來源。這種深入洞查數(shù)據(jù)來龍去脈的能力對于幫助用戶更加信賴他們的信息來說，具有至關(guān)重要的作用。3.3.2 影響分析影響分析關(guān)注的重點是數(shù)據(jù)的流向，提供端對

11、端影響分析，使您能夠看見源系統(tǒng)發(fā)生變化時，BI報表受到的影響，而因此可以輕松地處理BI環(huán)境中的變化。前端展現(xiàn)專題分析模塊目標(biāo)元數(shù)據(jù)對象3.3.3 重要性分析分析BI系統(tǒng)中，用戶最關(guān)心的分析主題、報表和指標(biāo)，追溯這些分析主題、報表和指標(biāo)涉及到的元數(shù)據(jù)，這對于BI系統(tǒng)和數(shù)據(jù)倉庫開發(fā)團(tuán)隊具有重要的指導(dǎo)意義。分析各元數(shù)據(jù)對象之間的關(guān)聯(lián)密集度，分析數(shù)據(jù)倉庫中各層次的包、表等對象的重要程度，指導(dǎo)數(shù)據(jù)倉庫開發(fā)和維護(hù)團(tuán)隊對重點元數(shù)據(jù)進(jìn)行重點關(guān)注和質(zhì)量監(jiān)控。3.3.4 無關(guān)性分析與重要性分析相反，隨著數(shù)據(jù)倉庫系統(tǒng)的規(guī)模不斷擴(kuò)大，業(yè)務(wù)需求的日益變化，會產(chǎn)生一定數(shù)量的無關(guān)數(shù)據(jù)、信息和報表，找出這些無關(guān)的內(nèi)容，結(jié)合業(yè)

12、務(wù)需求分析其產(chǎn)生的根源，從而為用戶簡化工作負(fù)載，降低項目總擁有成本，為用戶提供可信賴的數(shù)據(jù)和分析能力。3.4數(shù)據(jù)稽核根據(jù)預(yù)先配置的規(guī)則、算法和質(zhì)量檢查度量，對數(shù)據(jù)的準(zhǔn)確性、合理性等多角度的檢查，以及時發(fā)現(xiàn)問題，解決問題。對于稽核結(jié)果，進(jìn)行統(tǒng)計分析，形成結(jié)果報告，為以后的數(shù)據(jù)倉庫建設(shè)、實施和維護(hù)的改進(jìn)打下堅實的基礎(chǔ)。3.4.1 稽核規(guī)則管理接口數(shù)據(jù)檢驗：對接口數(shù)據(jù)的過程進(jìn)行稽核和校驗，分為文件接口，DB-LINK接口，其他異構(gòu)數(shù)據(jù)庫接口。處理過程檢驗：對數(shù)據(jù)處理過程進(jìn)行監(jiān)控和稽核，分為JOB稽核，工作流稽核，其他處理方式稽核等。處理環(huán)境檢驗：對數(shù)據(jù)處理環(huán)境進(jìn)行檢查，針對不同的應(yīng)用環(huán)境，主要分為數(shù)

13、據(jù)庫系統(tǒng)檢查、主機(jī)系統(tǒng)檢查、接口機(jī)檢查、應(yīng)用服務(wù)器檢查。日志監(jiān)控：在ETL自動運(yùn)行的過程中可能出現(xiàn)各種各樣的錯誤，比如 ETL過程申請的資源超過硬件的物理限制（存儲不足或者排序空間不足）。通過檢測ETL過程的日志可以判斷出該過程輸出的目標(biāo)表數(shù)據(jù)是否完整。提供選擇日志監(jiān)控的各種信息供選擇，如：過程名、所屬模塊（營業(yè)數(shù)據(jù)、計費數(shù)據(jù)、維表數(shù)據(jù)等）、執(zhí)行時間、完成時間、執(zhí)行時長、執(zhí)行用戶、執(zhí)行結(jié)果、預(yù)警等。維度檢驗：如：所屬模塊（營業(yè)數(shù)據(jù)、計費數(shù)據(jù)、維表數(shù)據(jù)等）、日期、表名、維度名稱、緯度格式、緯度說明、緯度關(guān)聯(lián)編碼表、各緯度記錄分布情況、是否有空值、空值記錄數(shù)、空值率、預(yù)警區(qū)間等指標(biāo)。指標(biāo)值檢驗：包括數(shù)據(jù)量校驗、單指標(biāo)校驗、交叉校驗等。3.4.2 稽核任務(wù)調(diào)度在設(shè)定數(shù)據(jù)稽核的模板后，可以對稽核任務(wù)實行自動化處理，也可以通過定制方式來完成，可以定時調(diào)用或觸發(fā)。由不同類型數(shù)據(jù)檢驗確定。比如：前序數(shù)據(jù)（計費營帳數(shù)據(jù)），可以使用定時調(diào)度任務(wù)檢查數(shù)據(jù)完整性，后序數(shù)據(jù)（DW層數(shù)據(jù)直到數(shù)據(jù)集市展示層的匯總數(shù)據(jù)）的調(diào)用可以通過日志記錄觸發(fā)開始，每個表記錄完成后如果日志檢測執(zhí)行正確，則進(jìn)行進(jìn)一步的數(shù)據(jù)稽核檢測。3.4.3 稽核結(jié)果分析對于稽核的結(jié)果