數(shù)據(jù)治理平臺與數(shù)據(jù)運營體系建設(shè)方案

數(shù)據(jù)治理平臺與數(shù)據(jù)運營體系建設(shè)方案

構(gòu)建高效、安全、規(guī)范的大數(shù)據(jù)治理管理與運

目錄

01數(shù)據(jù)治理總體解決方案

02數(shù)據(jù)治理平臺建設(shè)方案

03數(shù)據(jù)治理運營實施方案

01

數(shù)據(jù)治理總體解決方案

對數(shù)據(jù)治理的總體認識

狹義上:數(shù)據(jù)治理是指對數(shù)據(jù)質(zhì)量的管理、專注在數(shù)據(jù)本身。義：數(shù)據(jù)治理專注于將數(shù)閽乍為企事業(yè)單位數(shù)據(jù)資產(chǎn)進行應(yīng)用

和管理的一套管理機制，能夠消除數(shù)據(jù)的不一致性.

廣義上：數(shù)據(jù)治理是對數(shù)據(jù)的全生命周期進行管理，包含數(shù)據(jù)采集、清

建立規(guī)范的數(shù)據(jù)應(yīng)用標準.提高數(shù)據(jù)質(zhì)量，實現(xiàn)數(shù)據(jù)內(nèi)外部共

洗、轉(zhuǎn)換等傳統(tǒng)數(shù)據(jù)集成和存儲環(huán)節(jié)的工作、同時還包含數(shù)據(jù)資產(chǎn)目錄、

數(shù)據(jù)標準、質(zhì)量、安全、數(shù)據(jù)開發(fā)、數(shù)據(jù)服務(wù)與應(yīng)用等,整個數(shù)據(jù)生命期享，并能夠?qū)?shù)據(jù)作為組織的寶貴資產(chǎn)應(yīng)用于業(yè)務(wù)、管理、戰(zhàn)

而開展開的業(yè)務(wù)、技術(shù)和管理活動都屬于數(shù)據(jù)治理范疇。數(shù)據(jù)治理定略決策中，發(fā)揮數(shù)據(jù)資產(chǎn)價值。

數(shù)據(jù)治理方法論】數(shù)據(jù)治理要素；

匯聚融合提煉抽象數(shù)據(jù)規(guī)范：沒

有規(guī)矩,不成

G上云匯冬方圓

全里檔康關(guān)系中心如渡中心■臺理活

]-ATJ||I?數(shù)據(jù)費產(chǎn)大圳?標簽市商

成線款碾實時故據(jù)動，理論結(jié)合

一檔

,安保85投大

故樨管理》全思畫像實踐

廁

W?T

?raw

服務(wù)

模型治理A預(yù)默

A規(guī)照引擎》數(shù)據(jù)與故

reevr'獸中心>API開放「理要荔;；

王翌同蹲

成再數(shù)更,IDMapijn^.ID哉叩”A

AMMS

大數(shù)據(jù)管理典型方案

實現(xiàn)數(shù)據(jù)資產(chǎn)

經(jīng)營分析曾輔助決策合價值挖掘￡數(shù)據(jù)智能的保管與增值

I-K業(yè)務(wù)目表單樣式金I計算任務(wù)調(diào)度

標BI一一需求

分析數(shù)據(jù)整合模理上-------------功能返應(yīng)用發(fā)布數(shù)據(jù)應(yīng)用

計讓數(shù)據(jù)賦能業(yè)務(wù)

數(shù)據(jù)應(yīng)用/曦務(wù)集市

數(shù)據(jù)采集數(shù)據(jù)資源數(shù)據(jù)計算管理i臺理開發(fā)調(diào)度數(shù)據(jù)模型機器學(xué)習(xí)數(shù)盛全

云計算大數(shù)據(jù)大數(shù)據(jù)管理與應(yīng)用平臺AIaa圖譜技

術(shù)

整合數(shù)據(jù)*資源連接各類人員

0息3忠

5

大數(shù)據(jù)平臺典型架構(gòu)

統(tǒng)一運維數(shù)據(jù)安全

數(shù)據(jù)管理門戶&數(shù)據(jù)可視化

數(shù)據(jù)應(yīng)經(jīng)營分析

用輔助決策

數(shù)據(jù)治元數(shù)據(jù)

理管理管理

監(jiān)控數(shù)據(jù)脫

告警敏管理

111

存儲計算

故障安全日

志管理

運維流安全審

程管理計管理

數(shù)據(jù)采

實時采集FTP采集垃『隹.

集1離線采集?L接口米集?通式采集二

運維作安全告

業(yè)務(wù)系統(tǒng)麒.…I招用力■非結(jié)構(gòu)化數(shù)據(jù).互聯(lián)網(wǎng)數(shù)據(jù)■.

數(shù)據(jù)源物聯(lián)網(wǎng)數(shù)據(jù)實時數(shù)據(jù)流業(yè)管理

6

大數(shù)據(jù)平臺典型架構(gòu)

（管理與開放）門戶

數(shù)據(jù)共享開放平臺

數(shù)據(jù)治理平臺

數(shù)據(jù)資源中心（數(shù)據(jù)湖，基礎(chǔ)數(shù)據(jù)庫，基礎(chǔ)庫，主專題庫）

數(shù)據(jù)源

大數(shù)據(jù)平臺典型架構(gòu)

統(tǒng)一

運維

管理

平臺

數(shù)據(jù)源

大數(shù)據(jù)平臺典型架構(gòu)

數(shù)

據(jù)

安

全

管

理

平

臺

數(shù)據(jù)基礎(chǔ)支撐平臺

數(shù)據(jù)采集平臺

數(shù)據(jù)源

數(shù)據(jù)治理在整個大數(shù)據(jù)平臺中的定位

數(shù)據(jù)共享開放平臺數(shù)據(jù)管理與應(yīng)用門戶

。明曲汨留修乃內(nèi)通

珊幅制即度

提供數(shù)據(jù)加工處理的

居共享:統(tǒng)管理核心能力，并串聯(lián)、

集成其他能力模塊完

0saesrgs（畋居、杭隹、鼬、令隊目錄）=）\成面向需求的數(shù)據(jù)生

數(shù)據(jù)治理平臺r產(chǎn)，是實現(xiàn)將原始數(shù)

據(jù)資源轉(zhuǎn)換為數(shù)據(jù)應(yīng)

數(shù)據(jù)采集任務(wù)謂度9瞽H/理提取與存儲

用服務(wù)的中心樞紐

數(shù)據(jù)采集平臺

數(shù)據(jù)資源中心

/、制的主要界面

數(shù)據(jù)源數(shù)據(jù)基礎(chǔ)支撐平口

10

數(shù)據(jù)治理總體方案

利用數(shù)據(jù)治理平臺所覆蓋的從標準、設(shè)計、采集、開發(fā)到使用，再到交付和運維的全數(shù)據(jù)治理流程，幫助組織實現(xiàn)一站式數(shù)據(jù)治理運營服務(wù)可滿足數(shù)

據(jù)共享交換、數(shù)據(jù)開發(fā)、數(shù)據(jù)運營多種應(yīng)用場景，并通過構(gòu)建數(shù)據(jù)工廠實現(xiàn)數(shù)據(jù)治理的標準化、流程化與組件化。

數(shù)據(jù)生產(chǎn)者大數(shù)據(jù)治理平臺數(shù)據(jù)消費者

I

業(yè)務(wù)I~婁據(jù);第規(guī)范標準（元數(shù)據(jù)、標準、質(zhì)量、資產(chǎn)、目錄）內(nèi)部管理者

清洗■質(zhì)量?賺資產(chǎn)

數(shù)

日志數(shù)據(jù)，:內(nèi)部業(yè)務(wù)部門:

據(jù)

I

據(jù)

力0T■*甑■共享I

歸I

I

服

集

，:內(nèi)部下屬單位:

￡命周期甯里

1物:持續(xù)反饋

大數(shù)據(jù)資源中心口楸伴

夕陪剛勾???

，或關(guān)網(wǎng)瓣

I數(shù)據(jù)安全管控

11

數(shù)據(jù)治理?數(shù)據(jù)采集方案

委辦局政

委辦委辦委辦

務(wù)網(wǎng)VPC委辦1委辦2委辦N23N

（批數(shù)據(jù)）

DB類型MySQLoracle結(jié)構(gòu)化文件非結(jié)構(gòu)化文件

大數(shù)據(jù)平臺數(shù)據(jù)采集

數(shù)據(jù)湖

湖

>>里.>>

?批數(shù)據(jù)處理：通過數(shù)據(jù)采集平臺任務(wù)調(diào)度的方式，根據(jù)時間戳定時探查委辦局前置庫數(shù)據(jù)以及結(jié)構(gòu)化文件的變動，通過數(shù)據(jù)采集平臺的解析，抽取增

量數(shù)據(jù)到數(shù)據(jù)湖。

?流數(shù)據(jù)處理:通過數(shù)據(jù)湖內(nèi)獨立部署kafka消息系統(tǒng)，采用委辦局推送或自動拉取的方式，接入流數(shù)據(jù)。

?數(shù)據(jù)抽取過程中進行監(jiān)測，實施監(jiān)測目前抽取的狀態(tài)、抽取進度，斷流告警，一致性檢測結(jié)果等。并通過分布式部署提高數(shù)據(jù)抽取速度。

12

I數(shù)據(jù)治理?數(shù)據(jù)應(yīng)用開發(fā)

b數(shù)據(jù)探索a模型開發(fā)令程序開發(fā)品程序測試舄審核上線

select,IraB<tefaulLDAEM.lidUEwherep.day?:sded?frcn

hu_uiflr_calLc?untscounts*16.select?frailhuuicrcal

I.countswhereccwnts>16;2.模型定義；5.程序在線測試

shovtableslike*>Uw_dl<|)350_hlve_(IR：

??k>ci?I?o_da<i>350_hiv?_<leu_i?Aor(2_20i8、",lr<?

創(chuàng)建模型基礎(chǔ)廠.…一」提供WEB界面可視化測試：信息、乂模括乂g

taw_<te<p35(]jklT?_(BtA_iHport2J20I8seloct?frcai

tMp_dfcp350jBiT?_dBta_iBpart2_20181iselect?fr<VIE-AV功能］查看執(zhí)行時長、執(zhí)行：

VHp_datpf^Lhiv?_<tet?_lwcrt2J2018lx

）狀態(tài)熊息，方便開發(fā)人員！田調(diào)試■

/性能分析.

eflDHDflBcnna￡-

04-編輯模型應(yīng)用程序［6-調(diào)度配置

1■數(shù)據(jù)探索，MW*R

，①可視化開發(fā)：固懶呈序命：令，拖拽式使用，自由配置邏壁

根據(jù)業(yè)務(wù)邏輯做需求分析,i,7■提交審核并上線

:②腳本開發(fā):支持sql、

通過探索了解相關(guān)數(shù)據(jù)情開發(fā)人員建立上線任

添加表結(jié)構(gòu)息Python,java,shell等類型：提供手工用灌*式，時務(wù)，

況

腳本

提交審核并上線

13

數(shù)據(jù)治理?統(tǒng)一調(diào)度方案

數(shù)據(jù)共享開放應(yīng)用平

庫表數(shù)據(jù)下

發(fā)任務(wù)調(diào)度

采集矜

調(diào)度對接元數(shù)據(jù)同步

數(shù)據(jù)治理?開數(shù)據(jù)治理?資

數(shù)據(jù)采集平臺發(fā)調(diào)度平臺產(chǎn)管理平臺

JDBC流數(shù)據(jù)處理

接口-------------------------------------

數(shù)據(jù)支撐平臺

/數(shù)據(jù)采集平臺的采集任務(wù)完成后，通知開發(fā)調(diào)度管理平臺的庫內(nèi)處理程序進行調(diào)度任務(wù)的銜接；

/數(shù)據(jù)支撐平臺提供JDBC接口，供開發(fā)調(diào)度管理平臺調(diào)用，實現(xiàn)數(shù)據(jù)庫操作的調(diào)度開發(fā)調(diào)度管理平臺對數(shù)據(jù)支撐平臺發(fā)布流數(shù)據(jù)處

理償；

/數(shù)據(jù)資產(chǎn)管理平臺提供元數(shù)據(jù)同步接口，把模型元數(shù)據(jù)同步給開發(fā)調(diào)度管理平臺做庫內(nèi)處理開發(fā)

/數(shù)據(jù)調(diào)度平臺完成相關(guān)數(shù)據(jù)應(yīng)用計算后，將庫表數(shù)據(jù)推送給數(shù)據(jù)開放平臺，對外開放使用。

14

數(shù)據(jù)治理?數(shù)據(jù)資產(chǎn)管理

模型管理目錄管理質(zhì)量管理標準官理

數(shù)模型維護關(guān)系關(guān)聯(lián)目錄維護資源編目質(zhì)量定義規(guī)則庫標燮護標準導(dǎo)入

據(jù)

代碼關(guān)聯(lián)橢分析目彝類目錄標簽規(guī)則瓣數(shù)據(jù)檢核標準瀏覽落地檢核

資

元數(shù)據(jù)］目錄級聯(lián)］

產(chǎn)版本管理數(shù)據(jù)糾正質(zhì)量報告代碼映射版本管理

管T

資源管理共享管理

理

數(shù)據(jù)源管理資源注冊資源發(fā)布資源審核應(yīng)用場景事項字典預(yù)算項目應(yīng)用系統(tǒng)

前置節(jié)點庫表資源文件資源接口資源…

共享申請共享審核共享授權(quán)共享統(tǒng)計...

數(shù)蜂庫一SMSS8S庫

據(jù)

■部門數(shù)據(jù)庫人口庫城市運行

源

部門數(shù)據(jù)庫法人經(jīng)濟運行…

政務(wù)云管理存儲管理網(wǎng)絡(luò)管理資源調(diào)度|用戶離隹|系統(tǒng)管理

臬礎(chǔ)設(shè)施層J」i——’11

I邏輯資源層（計算、存儲、網(wǎng)絡(luò)資源）?

/根據(jù)提供方供數(shù)責(zé)任，對接入數(shù)據(jù)資源進行編目，維護其業(yè)務(wù)屬性和管理屬性，使其初步具備應(yīng)用條件；

，參照數(shù)據(jù)標準設(shè)計數(shù)據(jù)模型結(jié)構(gòu)、業(yè)務(wù)代碼，通過建立變更管理和版本控制，實現(xiàn)數(shù)據(jù)模型管控;

，通過基礎(chǔ)元數(shù)據(jù)定義數(shù)據(jù)資產(chǎn)規(guī)格（如：庫表、文件、文件夾、接口等），并借助統(tǒng)一平臺實現(xiàn)資源接入。

15

數(shù)據(jù)治理項目實施方案

以構(gòu)建一個能

持續(xù)高效運轉(zhuǎn)

的數(shù)據(jù)治理體

系為目標

t

16

逐步構(gòu)建一套大數(shù)據(jù)治理應(yīng)用與服務(wù)體系

數(shù)據(jù)建模數(shù)據(jù)分析咨詢

大數(shù)據(jù)平臺建設(shè)數(shù)倉建

/BI數(shù)據(jù)治理應(yīng)用開發(fā)專題主題開發(fā)運營支撐…

―設(shè)----------

數(shù)據(jù)處理管理?、“，?r-?，1機器學(xué)習(xí)

1LAT..

?1數(shù)據(jù)倉庫管理治理對比分析交叉分析回歸聚類語音識別

朝HadoopETL..回歸分析數(shù)據(jù)標簽分類神經(jīng)網(wǎng)培圖像識別

統(tǒng)計分析方法管理分析理論

公式法對比法4P用戶使用行為PEST5W2H

二八法漏斗法STP理論邏輯樹生命周期

17

02

數(shù)據(jù)治理平臺建設(shè)方案

平臺總體概述

大數(shù)據(jù)時代組織普遍要面對數(shù)據(jù)多樣化，缺少統(tǒng)一標準，集成困難;數(shù)據(jù)分散，形成信息孤島，共享困難；數(shù)據(jù)質(zhì)量低下，導(dǎo)致統(tǒng)

計不準確的諸多問題。如何有效管理數(shù)據(jù)資源使之能夠驅(qū)動業(yè)務(wù)的快速發(fā)展，成為數(shù)據(jù)治理產(chǎn)品的核心價值所在。

采集/集成環(huán)節(jié)

數(shù)據(jù)治理平臺適用于分析型系統(tǒng)數(shù)據(jù)處理的各個過

提供多種數(shù)據(jù)采集或集成，包括業(yè)務(wù)系統(tǒng)數(shù)據(jù)m外部文件、第

程，負責(zé)數(shù)據(jù)的加工處理以及加工處理過程數(shù)據(jù)標三方接口抽取，實時消息采集等

準、元數(shù)據(jù)和數(shù)據(jù)質(zhì)量的管理。平臺可以提供數(shù)據(jù)

加工/計算環(huán)節(jié)

輸入、數(shù)據(jù)加工、數(shù)據(jù)輸出等數(shù)據(jù)流圖各個過程的支撐多種數(shù)據(jù)加工方式，包括批量數(shù)據(jù)加工，實時交互計算，機器

全生命周期、全流程的數(shù)據(jù)處理，并在數(shù)據(jù)處理全學(xué)習(xí)等。

過程提供中提供數(shù)據(jù)治理和數(shù)據(jù)管控的一站式解決

支持用戶個性化需求、自主數(shù)據(jù)探索，提供固定主題的報表、指標，

方案。

臨時報表需求、自助取數(shù)，數(shù)據(jù)探索、數(shù)據(jù)實驗等功能。

19

平臺設(shè)計理念?一個標準化工廠

storyAtntractConcrete(oofigAMCHIMCScheduleMain<eiumce

尸小

SDFADfCDfPtX

socADCCDCPDC

數(shù)據(jù)治理產(chǎn)品以為組織打造通用的數(shù)據(jù)工廠為設(shè)計理念，以構(gòu)建流水式數(shù)據(jù)產(chǎn)線為核心，幫助組織快速實現(xiàn)從’‘數(shù)據(jù)原料”到

“數(shù)據(jù)產(chǎn)品”整個過程的加工處理、價值轉(zhuǎn)化以及規(guī)范管控。

>DCF:由DC構(gòu)成的Flow,良好的Context衛(wèi)有星務(wù)化的語義標普,升上流程業(yè)務(wù)化的it明度

一體務(wù)面的DCF,調(diào)度?ETL?/?欺據(jù)橫型管理理管控…

標準化生產(chǎn)自動化生產(chǎn)精益化管理

??*??<

工建解

4UK?工理鑄冬郵。鮮

itH20

/由多個工序最終生成一體多面的數(shù)據(jù)治理

/由場景理解、場景抽象、抽象實現(xiàn)、抽，由數(shù)據(jù)上下文形成自動化的數(shù)據(jù)流

象配置、方案生成、調(diào)度等工序組成流程

21

平臺設(shè)計理念?四大治理原則

MetadataBeforeCodingBusinessDrivenDesign

業(yè)務(wù)元數(shù)據(jù)手眼術(shù)元數(shù)據(jù)的強以最大化業(yè)務(wù)需求吻合度為

制性前向獲取機制，杜絕元數(shù)目標，所有數(shù)據(jù)對象的設(shè)計

據(jù)的后期補錄，建設(shè)保證業(yè)務(wù)和實現(xiàn)，都必須以業(yè)務(wù)需求

元數(shù)據(jù)/技術(shù)元數(shù)據(jù)廢術(shù)實現(xiàn)為驅(qū)動，在最大程度上保證

這三者一致性的技術(shù)機制.數(shù)據(jù)對象與業(yè)務(wù)需求的一致

性.

ObjectOrientedArchitecture