數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法

1、集市建設(shè)及數(shù)據(jù)管理方法 (初稿)數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第1頁目錄 數(shù)據(jù)集市數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第2頁數(shù)據(jù)集市數(shù)據(jù)集市：數(shù)據(jù)倉庫子集經(jīng)過ETL流程一定粒度匯總數(shù)據(jù)面向部門級業(yè)務(wù)針對特定主題數(shù)據(jù)集星型模式(不遵照3NF結(jié)構(gòu))緩解倉庫訪問瓶頸數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第3頁實現(xiàn)方式：獨立型(Ralph Kimball)倉庫是集市聯(lián)合數(shù)據(jù)起源于業(yè)務(wù)系統(tǒng)首先滿足數(shù)據(jù)展示需求必需統(tǒng)一數(shù)據(jù)倉庫建設(shè)思想?yún)f(xié)調(diào)隸屬型(Bill Inmon)集市是倉庫子集數(shù)據(jù)起源于倉庫提供更強數(shù)據(jù)一致性和靈活性長久規(guī)劃數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第4頁實現(xiàn)目標(biāo)合并不一樣系統(tǒng)數(shù)據(jù)源非實時更新數(shù)

2、據(jù)訪問信息公布面向特定用戶群體合理查詢響應(yīng)時間快速一致視圖訪問數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第5頁獨立型數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第6頁隸屬型數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第7頁實現(xiàn)步驟：定義商業(yè)目標(biāo)了解數(shù)據(jù)源確定匯總粒度定義數(shù)據(jù)模型數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第8頁實現(xiàn)標(biāo)準(zhǔn)：統(tǒng)一構(gòu)建總體指導(dǎo)穩(wěn)定性可適應(yīng)性可擴展性數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第9頁數(shù)據(jù)分層架構(gòu)數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第10頁針對性營銷數(shù)據(jù)集市基于EDW/ODS ，經(jīng)過對EDW/ODS中數(shù)據(jù)進行一定粒度匯總，滿足針對性營銷IT支撐需求數(shù)據(jù)集合 包含營銷分析數(shù)據(jù)和營銷事務(wù)數(shù)據(jù) 數(shù)據(jù)集市建設(shè)數(shù)據(jù)

3、質(zhì)量及數(shù)據(jù)管理方法第11頁營銷分析數(shù)據(jù)數(shù)據(jù)挖掘?qū)挶碜灾?shù)匯總表外部數(shù)據(jù)寬表 數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第12頁數(shù)據(jù)挖掘?qū)挶硪庠跒閿?shù)據(jù)挖掘模型建立和分析提供基礎(chǔ)支撐，并為之提供有效數(shù)據(jù)集合，提升系統(tǒng)效率。包含客戶屬性類數(shù)據(jù)、客戶擁有類數(shù)據(jù)、客戶行為類數(shù)據(jù)、客戶價值類數(shù)據(jù)和客戶交互類數(shù)據(jù)。自助取數(shù)匯總表自助取數(shù)匯總表主要包含按照客戶、用戶等維度進行數(shù)據(jù)初級匯總和整合，實現(xiàn)自助取數(shù)系統(tǒng)對客戶、產(chǎn)品等相關(guān)信息數(shù)據(jù)提取 數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第13頁外部數(shù)據(jù)寬表(外部調(diào)研數(shù)據(jù))在成功獲取了外部數(shù)據(jù)后，可構(gòu)建適當(dāng)數(shù)據(jù)集市，納入系統(tǒng)外部數(shù)據(jù)可包含：競爭對手信息、客戶偏好信息、客戶滿意度

4、信息等 外部數(shù)據(jù)涵蓋范圍非常廣泛，將全部外部數(shù)據(jù)都加載到針對性營銷數(shù)據(jù)集市中存在較大難度。數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第14頁營銷事務(wù)數(shù)據(jù)營銷事務(wù)數(shù)據(jù)用以支撐營銷活動制訂與開展套餐資料庫營銷資料庫營銷資源庫 數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第15頁套餐資料庫套餐資料庫存放已經(jīng)有套餐資料，為套餐梳理和套餐方案設(shè)計步驟提供數(shù)據(jù)支撐。 套餐結(jié)構(gòu)包含基本套餐和可選套餐兩部分?；咎撞褪翘撞椭黧w部分，它包含了套餐關(guān)鍵產(chǎn)品及主要優(yōu)惠規(guī)則，能夠獨立存在；可選套餐是由客戶自行選擇疊加套餐，普通不單獨提供，需以購置基本套餐為前提。數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第16頁營銷資料庫營銷資料庫包含了整個營

5、銷活動策劃、分析、評定步驟所包括到除了套餐以外內(nèi)容：市場調(diào)研所需問卷題庫營銷腳本宣傳方案促銷方案營銷活動案例數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第17頁營銷資源庫營銷資源庫包含了電信企業(yè)所擁有渠道、銷售品、外呼中心等資源，供營銷策劃人員在策劃時能夠查詢當(dāng)前營銷活動能夠利用營銷資源；用于對營銷活動所需資源可利用性進行檢驗人力資源財務(wù)預(yù)算廣告資源渠道資源合作搭檔促銷品資源（包含贈予品、搭售品等）其它支撐系統(tǒng)功效（如計費系統(tǒng)） 數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第18頁目錄 數(shù)據(jù)集市數(shù)據(jù)管理數(shù)據(jù)整合數(shù)據(jù)質(zhì)量元數(shù)據(jù)管理數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第19頁數(shù)據(jù)整合整合準(zhǔn)備：源/目標(biāo)模型數(shù)據(jù)預(yù)處理整合

6、過程：數(shù)據(jù)抽取數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)加載數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第20頁整合規(guī)則：數(shù)據(jù)編碼統(tǒng)一確保數(shù)據(jù)質(zhì)量支持異常控制流程可維護異常處理流程管理數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第21頁數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第22頁輸出：規(guī)則分析包含：候選數(shù)據(jù)源確定、源與目標(biāo)映射關(guān)系、預(yù)計行數(shù)等執(zhí)行分析包含：執(zhí)行時間、執(zhí)行方式、執(zhí)行次序、執(zhí)行頻度等異常匯報包含：異常位置、異常原因、處理方式等版本控制數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第23頁數(shù)據(jù)整合總體流程總體處理流程數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第24頁目錄 數(shù)據(jù)集市數(shù)據(jù)管理數(shù)據(jù)整合數(shù)據(jù)質(zhì)量元數(shù)據(jù)管理數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第25頁

7、數(shù)據(jù)質(zhì)量處理方法數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第26頁信息問題域數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第27頁技術(shù)問題域數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第28頁流程問題域數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第29頁管理問題域數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第30頁數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第31頁數(shù)據(jù)質(zhì)量管理流程 數(shù)據(jù)質(zhì)量評定分析 問題處理和驗證 數(shù)據(jù)質(zhì)量問題分析源系統(tǒng)數(shù)據(jù)人員ODS系統(tǒng)維護人員數(shù)據(jù)質(zhì)量管理人員數(shù)據(jù)質(zhì)量檢驗人員數(shù)據(jù)質(zhì)量檢驗問題匯總數(shù)據(jù)質(zhì)量稽核分析問題問題展現(xiàn)ETL處理過程數(shù)據(jù)質(zhì)量問題發(fā)覺問題工單生成派單派單判斷源系統(tǒng)問題工單ODS系統(tǒng)問題工單工單處理問題處理N數(shù)據(jù)質(zhì)量

8、分析評定問題驗證數(shù)據(jù)質(zhì)量考評源系統(tǒng)評定匯報ODS系統(tǒng)評定匯報數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第32頁數(shù)據(jù)質(zhì)量檢驗稽核數(shù)據(jù)質(zhì)量評定監(jiān)控管理功效源系統(tǒng)1源系統(tǒng)2ETL/EAI企業(yè)數(shù)據(jù)平臺數(shù)據(jù)質(zhì)量任務(wù)派發(fā)數(shù)據(jù)質(zhì)量角色管理數(shù)據(jù)質(zhì)量組織管理數(shù)據(jù)質(zhì)量工單管理數(shù)據(jù)質(zhì)量權(quán)限管理數(shù)據(jù)屬性關(guān)系檢驗數(shù)據(jù)屬性檢驗數(shù)據(jù)表關(guān)系檢驗數(shù)據(jù)對比稽核異常處理數(shù)據(jù)對比展現(xiàn)數(shù)據(jù)質(zhì)量分析數(shù)據(jù)質(zhì)量評定數(shù)據(jù)質(zhì)量告警數(shù)據(jù)質(zhì)量異常跟蹤數(shù)據(jù)質(zhì)量修正跟蹤數(shù)據(jù)質(zhì)量監(jiān)控數(shù)據(jù)質(zhì)量管理平臺數(shù)據(jù)質(zhì)量基礎(chǔ)管理規(guī)則配置數(shù)據(jù)處理情況考評算法配置統(tǒng)一指標(biāo)定義流程配置異常流程跟蹤接口定義數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第33頁數(shù)據(jù)質(zhì)量管理總體流程總體處理流程：數(shù)

9、據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第34頁目錄 數(shù)據(jù)集市數(shù)據(jù)管理數(shù)據(jù)整合數(shù)據(jù)質(zhì)量元數(shù)據(jù)管理數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第35頁元數(shù)據(jù)管理元數(shù)據(jù)定義元數(shù)據(jù)最本質(zhì)，最抽象定義為:data about data (關(guān)于數(shù)據(jù)數(shù)據(jù)) 在數(shù)據(jù)倉庫領(lǐng)域中，元數(shù)據(jù)被定義為：描述數(shù)據(jù)及其環(huán)境數(shù)據(jù)元數(shù)據(jù)存放技術(shù)元數(shù)據(jù)：為企業(yè)技術(shù)用戶和IT人員提供支持元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)：為企業(yè)業(yè)務(wù)用戶提供支持元數(shù)據(jù)數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第36頁元數(shù)據(jù)管理數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第37頁元數(shù)據(jù)管理技術(shù)公共倉庫元模型CWMCWM公共倉庫元模型（Common Warehouse Metamodel）是OMG國際標(biāo)

10、準(zhǔn)化組織提出，主要目標(biāo)是在異構(gòu)環(huán)境下，使不一樣數(shù)據(jù)倉庫工具、平臺和元數(shù)據(jù)知識庫進行元數(shù)據(jù)交換。數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第38頁元數(shù)據(jù)管理支持五類系統(tǒng)管理功效描述哪些數(shù)據(jù)在數(shù)據(jù)倉庫中;定義要進入數(shù)據(jù)倉庫中數(shù)據(jù)和從數(shù)據(jù)倉庫中產(chǎn)生數(shù)據(jù);統(tǒng)計依據(jù)業(yè)務(wù)事件發(fā)生而隨之進行數(shù)據(jù)抽取工作時間安排;統(tǒng)計并檢測系統(tǒng)數(shù)據(jù)一致性要求和執(zhí)行情況;衡量數(shù)據(jù)質(zhì)量。數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第39頁數(shù)據(jù)倉庫元數(shù)據(jù)管理數(shù)據(jù)倉庫包括元數(shù)據(jù)管理包含：數(shù)據(jù)源元數(shù)據(jù)ETL規(guī)則元數(shù)據(jù)數(shù)據(jù)倉庫元數(shù)據(jù)報表元數(shù)據(jù)接口文件格式元數(shù)據(jù)商業(yè)元數(shù)據(jù)其它元數(shù)據(jù) 數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第40頁各類元數(shù)據(jù)管理方法：數(shù)據(jù)源元數(shù)據(jù)

11、數(shù)據(jù)源元數(shù)據(jù)主要是數(shù)據(jù)庫模型設(shè)計文檔、為綜合統(tǒng)計分析平臺提供數(shù)據(jù)各種業(yè)務(wù)系統(tǒng)數(shù)據(jù)字典及數(shù)據(jù)接口文件等。數(shù)據(jù)源元數(shù)據(jù)管理：由相關(guān)人員對各類文檔進行統(tǒng)一版本管理。數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第41頁各類元數(shù)據(jù)管理方法：ETL規(guī)則元數(shù)據(jù)ETL規(guī)則元數(shù)據(jù)中包括到數(shù)據(jù)源元數(shù)據(jù)、目標(biāo)系統(tǒng)元數(shù)據(jù)、ETL流程、源與目標(biāo)映射關(guān)系等元數(shù)據(jù)信息。數(shù)據(jù)源元數(shù)據(jù)包含業(yè)務(wù)系統(tǒng)元數(shù)據(jù)和數(shù)據(jù)倉庫元數(shù)據(jù)等；目標(biāo)系統(tǒng)元數(shù)據(jù)可能是數(shù)據(jù)倉庫元數(shù)據(jù)、數(shù)據(jù)集市元數(shù)據(jù)等。ETL規(guī)則元數(shù)據(jù)管理：由數(shù)據(jù)庫開發(fā)人員依據(jù)各個模塊ETL過程以及過程運行次序，形成相關(guān)元數(shù)據(jù)管理文檔進行統(tǒng)一管理。數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第42頁各類元數(shù)

12、據(jù)管理方法：數(shù)據(jù)倉庫元數(shù)據(jù)數(shù)據(jù)倉庫采取RDBMS進行數(shù)據(jù)存放和管理，設(shè)計模式遵照數(shù)據(jù)倉庫設(shè)計準(zhǔn)則，實現(xiàn)主題、維、度量等多維概念模型，這些元素在RDBMS中物理上是詳細(xì)數(shù)據(jù)表，這些表與詳細(xì)多維模型映射關(guān)系需要經(jīng)過元數(shù)據(jù)進行描述和定義。數(shù)據(jù)倉庫元數(shù)據(jù)管理：制訂數(shù)據(jù)倉庫模型設(shè)計文檔統(tǒng)計事實表、維度、屬性、層次等信息，物理表與多維模型映射關(guān)系等信息 ，對文檔進行統(tǒng)一版本管理。數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第43頁各類元數(shù)據(jù)管理方法：報表元數(shù)據(jù)包含對報表和報表中詳細(xì)指標(biāo)（度量）描述信息等報表元數(shù)據(jù)管理：對數(shù)據(jù)集上能夠計算度量進行相關(guān)元數(shù)據(jù)管理，包含詳細(xì)設(shè)計文檔中對各個表中度量定義、描述等；對全部表和

13、度量之間關(guān)系進行嚴(yán)格文檔統(tǒng)計，包含度量計算、度量之間相互依賴關(guān)系、以及歷史信息進行元數(shù)據(jù)管理 數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第44頁各類元數(shù)據(jù)管理方法：接口文件格式元數(shù)據(jù)接口數(shù)據(jù)文件格式，包含接口數(shù)據(jù)文件命名、傳輸周期、格式等說明信息。接口文件格式元數(shù)據(jù)：與ETL規(guī)則元數(shù)據(jù)進行統(tǒng)一管理。數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第45頁各類元數(shù)據(jù)管理方法：商業(yè)元數(shù)據(jù)系統(tǒng)中對各項指標(biāo)業(yè)務(wù)含義描述性信息，在綜合統(tǒng)計分析平臺中，包含維、度量業(yè)務(wù)含義描述，主題分析目標(biāo)描述，報表指標(biāo)解釋信息等。商業(yè)元數(shù)據(jù)管理能夠分解成數(shù)據(jù)倉庫元數(shù)據(jù)管理和報表元數(shù)據(jù)管理。數(shù)據(jù)集市建設(shè)數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理方法第46頁各類元數(shù)據(jù)管理方法：其它元數(shù)據(jù)數(shù)據(jù)訪問日志、數(shù)據(jù)裝載日志等信息。數(shù)據(jù)訪問日志統(tǒng)計數(shù)據(jù)庫訪問信息，包含對數(shù)據(jù)庫表操作、鎖、內(nèi)存使用、I/O使用等信息；數(shù)據(jù)裝