2024行業(yè)大數(shù)據(jù)治理平臺(tái)方案

行業(yè)大數(shù)據(jù)治理平臺(tái)技術(shù)方案2023一、建設(shè)背景二、行業(yè)大數(shù)據(jù)治理平臺(tái)方案三、核心功能介紹目錄CONTENTS2發(fā)現(xiàn)規(guī)律：通過(guò)多源多維海量數(shù)據(jù)發(fā)現(xiàn)規(guī)律現(xiàn)狀研判：通過(guò)數(shù)據(jù)統(tǒng)計(jì)和比對(duì)對(duì)現(xiàn)狀進(jìn)行描述科學(xué)預(yù)測(cè)：基于規(guī)律和現(xiàn)狀，預(yù)測(cè)預(yù)警發(fā)展趨勢(shì)綜合服務(wù)：為社會(huì)各個(gè)方面提供知識(shí)成果與服務(wù)“資源是資產(chǎn)”“數(shù)據(jù)是資產(chǎn)”?

資產(chǎn)由政企單位及組織擁有和控制，能夠提供增值服務(wù)、帶來(lái)

經(jīng)濟(jì)利益的重要資源。資產(chǎn)不但需要管理，更需要運(yùn)營(yíng)。?

邏輯形式存在?間接或直接產(chǎn)生經(jīng)濟(jì)效益?

不斷增值、再利用?

物理形式存在?

直接產(chǎn)生經(jīng)濟(jì)效益?

會(huì)折舊、會(huì)退網(wǎng)3數(shù)據(jù)是資產(chǎn)非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)交通應(yīng)急數(shù)據(jù)GIS地圖數(shù)據(jù)駕駛員基礎(chǔ)數(shù)據(jù)物流狀態(tài)數(shù)據(jù)視頻監(jiān)控?cái)?shù)據(jù)城市管理數(shù)據(jù)個(gè)人出行數(shù)據(jù)基礎(chǔ)設(shè)施數(shù)據(jù)交通路況數(shù)據(jù)車輛基礎(chǔ)數(shù)據(jù)物理資產(chǎn)數(shù)據(jù)資產(chǎn)……數(shù)據(jù)大數(shù)據(jù)應(yīng)用系統(tǒng)應(yīng)用系統(tǒng)應(yīng)用系統(tǒng)4信息系統(tǒng)建設(shè)方案的演變應(yīng)用+平臺(tái)應(yīng)用系統(tǒng)一數(shù)一源規(guī)范服務(wù)當(dāng)前數(shù)據(jù)管理的問(wèn)題?傳統(tǒng)的煙囪式建設(shè)模式，造成系統(tǒng)林立，數(shù)據(jù)分散并且封閉?為了支撐應(yīng)用，相同的數(shù)據(jù)在不同系統(tǒng)之間

重復(fù)存放，造成資源的浪費(fèi)數(shù)據(jù)開放共享的價(jià)值?數(shù)據(jù)開放共享，打破廠商壟斷數(shù)據(jù)的局面，形成開放的生態(tài)格局?避免數(shù)據(jù)的重復(fù)存放，減少資源浪費(fèi)統(tǒng)一5數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)中的問(wèn)題數(shù)據(jù)開放共享平臺(tái)?數(shù)據(jù)整體質(zhì)量不高，監(jiān)管機(jī)制不健全。缺乏

面向數(shù)據(jù)質(zhì)量的評(píng)估機(jī)制和數(shù)據(jù)質(zhì)量的服務(wù)體系?

建立統(tǒng)一完善的數(shù)據(jù)質(zhì)量體系，從數(shù)據(jù)質(zhì)

量管理系統(tǒng)和數(shù)據(jù)服務(wù)體系兩方面保障數(shù)據(jù)的全程質(zhì)量?數(shù)據(jù)共享困難，系統(tǒng)間接口繁多，實(shí)現(xiàn)復(fù)雜

度高，且可靠性難以保證?形成應(yīng)用和數(shù)據(jù)分離的體系架構(gòu)，底層

共享的數(shù)據(jù)統(tǒng)一支撐上層各種應(yīng)用分散重復(fù)接口

復(fù)雜統(tǒng)一

治理質(zhì)量

較差集中

共享>

數(shù)據(jù)資產(chǎn)管理與政企單位IT信息化過(guò)程緊密相連，但對(duì)數(shù)據(jù)資產(chǎn)管理不僅僅是建設(shè)一套IT系統(tǒng)，更需要相應(yīng)管理手段的跟進(jìn)。>

對(duì)數(shù)據(jù)資產(chǎn)的管理需涵蓋規(guī)范、采集、加工、使用、優(yōu)化、服務(wù)等數(shù)據(jù)資產(chǎn)的全生命周期，這樣管理的數(shù)據(jù)資產(chǎn)才能夠好用、實(shí)用，真正體現(xiàn)數(shù)據(jù)作為資產(chǎn)的價(jià)值。清洗加工數(shù)據(jù)質(zhì)量管理數(shù)據(jù)采集數(shù)據(jù)

資產(chǎn)

運(yùn)營(yíng)標(biāo)準(zhǔn)規(guī)范應(yīng)用6數(shù)據(jù)資產(chǎn)全生命周期管理數(shù)據(jù)采集?數(shù)據(jù)采集?數(shù)據(jù)錄入?數(shù)據(jù)解析?數(shù)據(jù)匯總?數(shù)據(jù)存儲(chǔ)數(shù)據(jù)質(zhì)量

管理?

數(shù)據(jù)標(biāo)準(zhǔn)化?

資源建模?

數(shù)據(jù)架構(gòu)?

場(chǎng)景定義?

指標(biāo)數(shù)據(jù)管理?數(shù)據(jù)交換?數(shù)據(jù)共享?數(shù)據(jù)庫(kù)模式?API接口模式?發(fā)布訂閱模式?數(shù)據(jù)抽取?數(shù)據(jù)轉(zhuǎn)換?數(shù)據(jù)校驗(yàn)?數(shù)據(jù)關(guān)聯(lián)?數(shù)據(jù)脫敏?指揮調(diào)度?統(tǒng)計(jì)分析?實(shí)時(shí)監(jiān)測(cè)?流量預(yù)測(cè)?數(shù)據(jù)服務(wù)……

?

……

?

……

?

……

?

……?

準(zhǔn)確性

?

完整性

?

及時(shí)性

?

安全性

?

……開放共享清洗加工標(biāo)準(zhǔn)規(guī)范創(chuàng)新應(yīng)用開放

共享創(chuàng)新?一、建設(shè)背景二、行業(yè)大數(shù)據(jù)治理平臺(tái)方案三、核心功能介紹目錄CONTENTS7行業(yè)大數(shù)據(jù)治理平臺(tái)▉

通過(guò)平臺(tái)+服務(wù)的方式，支撐ICT、能源、特種等行業(yè)用戶建立全面高效的數(shù)據(jù)資產(chǎn)管控環(huán)境，實(shí)現(xiàn)多源異構(gòu)數(shù)據(jù)的集中、統(tǒng)一和共享交換。統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)、進(jìn)行數(shù)據(jù)整合與治理，

保障數(shù)據(jù)安全，實(shí)現(xiàn)跨系統(tǒng)、跨部門、跨層級(jí)、跨地區(qū)的數(shù)據(jù)共享和開放。大數(shù)據(jù)治理平臺(tái)數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)湖

內(nèi)部數(shù)據(jù)外部數(shù)據(jù)

媒體數(shù)據(jù)物聯(lián)網(wǎng)/IOT數(shù)據(jù)數(shù)據(jù)開發(fā)挖掘分析應(yīng)用開發(fā)決策支撐數(shù)據(jù)治理業(yè)務(wù)應(yīng)用數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)安全管理交換共享服務(wù)元數(shù)據(jù)管理開放門戶8統(tǒng)一標(biāo)準(zhǔn)綜合治理行業(yè)大數(shù)據(jù)治理平臺(tái)的價(jià)值?數(shù)據(jù)開放共享，

打破廠商壟斷數(shù)據(jù)的局面，形成開放的生態(tài)格局?建立統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，實(shí)現(xiàn)主數(shù)據(jù)統(tǒng)一

治理分發(fā)，保障一數(shù)一源，解決數(shù)據(jù)的關(guān)

聯(lián)能力，保障信息交互、數(shù)據(jù)流通?建立完善的數(shù)據(jù)質(zhì)量保障體系，

從數(shù)據(jù)

質(zhì)量管理系統(tǒng)和數(shù)據(jù)服務(wù)體系兩方面保障數(shù)據(jù)的全程質(zhì)量?建立安全管控體系，

對(duì)數(shù)據(jù)的分級(jí)分類、使用狀況梳理、訪問(wèn)控制、脫敏加

密以及定期的稽核保障數(shù)據(jù)的使用安全當(dāng)前數(shù)據(jù)管理的問(wèn)題?傳統(tǒng)的煙囪式建設(shè)模式，造成系統(tǒng)林立，數(shù)據(jù)分散并且封閉?缺乏統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，無(wú)法有效避免數(shù)

據(jù)混亂沖突，一數(shù)多源、多樣多類等問(wèn)題?數(shù)據(jù)整體質(zhì)量不高，監(jiān)管機(jī)制不健全

。缺乏面向數(shù)據(jù)質(zhì)量的評(píng)估機(jī)制和數(shù)據(jù)

質(zhì)量的服務(wù)體系?缺乏有效的數(shù)據(jù)安全管理機(jī)制，對(duì)敏感信息隱私信息、保密信息的訪問(wèn)缺乏有效控制▉

行業(yè)大數(shù)據(jù)治理平臺(tái)負(fù)責(zé)資源整合公開、協(xié)調(diào)、調(diào)度、管理與監(jiān)控，憑借高效可靠的數(shù)據(jù)傳輸，以高安全、高可靠、高穩(wěn)定的數(shù)據(jù)統(tǒng)一管理、共享交換能力，為各行各業(yè)的發(fā)展提供有力的支撐。行業(yè)大

數(shù)

據(jù)

治

理平

臺(tái)分散

封閉多樣

混亂質(zhì)量

較差產(chǎn)品價(jià)值安全

難控安全

管控集中

共享9核心功能10數(shù)據(jù)來(lái)源廣部門內(nèi)政企單位互聯(lián)網(wǎng)部門間數(shù)據(jù)種類多數(shù)據(jù)庫(kù)文件消息數(shù)據(jù)

互聯(lián)網(wǎng)

業(yè)務(wù)填報(bào)

離線導(dǎo)入服務(wù)互聯(lián)網(wǎng)適配非結(jié)構(gòu)化適配文件適配消息數(shù)據(jù)適配接口服務(wù)適配數(shù)據(jù)庫(kù)適配數(shù)據(jù)消息路由數(shù)據(jù)質(zhì)量核檢數(shù)據(jù)清洗轉(zhuǎn)換數(shù)據(jù)預(yù)處理數(shù)據(jù)格式處理整體業(yè)務(wù)過(guò)程安全可靠傳輸匯聚總線資源池?cái)?shù)據(jù)源存儲(chǔ)架構(gòu)擴(kuò)展接口

擴(kuò)展接口模板服務(wù)、快速配置靈活適配、安全可靠Hbase加速器HDFS加速器MPP加速器Hive加速器大數(shù)據(jù)資源匯聚總線數(shù)據(jù)匯

聚過(guò)程數(shù)據(jù)加密數(shù)據(jù)標(biāo)準(zhǔn)化數(shù)據(jù)脫敏數(shù)據(jù)加工微內(nèi)核SCA安全管控匯聚編排匯聚監(jiān)控OSGISOA集群管控?cái)?shù)據(jù)來(lái)源匯聚總線

安全可靠傳輸

數(shù)據(jù)匯聚11一、行業(yè)大數(shù)據(jù)治理平臺(tái)方案二、核心功能介紹1、數(shù)據(jù)共享交換平臺(tái)2、主數(shù)據(jù)管理3、數(shù)據(jù)質(zhì)量管理

4、數(shù)據(jù)安全管控目錄CONTENTS12要實(shí)施國(guó)家大數(shù)據(jù)戰(zhàn)略，推動(dòng)數(shù)據(jù)資源整合和開放共享：1.要推動(dòng)大數(shù)據(jù)技術(shù)產(chǎn)業(yè)創(chuàng)新發(fā)展，堅(jiān)持?jǐn)?shù)據(jù)開放、市場(chǎng)主導(dǎo)2.構(gòu)建以數(shù)據(jù)為關(guān)鍵要素的數(shù)字經(jīng)濟(jì)，深入發(fā)展工業(yè)互聯(lián)網(wǎng)戰(zhàn)略3.要運(yùn)用大數(shù)據(jù)提升國(guó)家治理現(xiàn)代化水平4.運(yùn)用大數(shù)據(jù)促進(jìn)保障和改善民生5.切實(shí)保障數(shù)據(jù)安全，制定數(shù)據(jù)資源確權(quán)、開放、流通和交易相關(guān)制度，完善數(shù)據(jù)產(chǎn)權(quán)保護(hù)制度建設(shè)背景-國(guó)家大數(shù)據(jù)戰(zhàn)略13〔2015〕

5號(hào)文《關(guān)于促進(jìn)云計(jì)算創(chuàng)新發(fā)展培育信息產(chǎn)業(yè)新業(yè)態(tài)的意見》14建設(shè)背景-國(guó)家政策性文件〔2016〕23號(hào)文《推進(jìn)“互聯(lián)網(wǎng)+政務(wù)服務(wù)”開

展信息惠民試點(diǎn)實(shí)施方案》〔2015〕

50號(hào)

文《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要

》政務(wù)信息整合系列文件：〔2016〕48號(hào)文《政府購(gòu)買服務(wù)改革工

作領(lǐng)導(dǎo)小組》〔2017〕

39號(hào)文《政務(wù)信息系統(tǒng)整合共享

實(shí)施方案》1、xx制定《政府?dāng)?shù)據(jù)標(biāo)準(zhǔn)規(guī)范》和《數(shù)據(jù)管理平臺(tái)保障制度》兩大類17項(xiàng)國(guó)家標(biāo)準(zhǔn)2、xx負(fù)責(zé)建設(shè)國(guó)家數(shù)據(jù)共享平臺(tái)和開放平臺(tái)

國(guó)家級(jí)平臺(tái)的政務(wù)外網(wǎng)門戶及各子系統(tǒng)均已上線

與山東、

四川、福建、貴州、北京江蘇、浙江、廣東、

河南9個(gè)省份和工信部、

文化部、

國(guó)家旅游局

、

工程院、

中央編辦5個(gè)部委完成了目錄系統(tǒng)的對(duì)

接3、幫助全國(guó)40余個(gè)省市政府進(jìn)行數(shù)據(jù)共享開放工作，山東省政府建設(shè)的省級(jí)政務(wù)信息資源共享交換平臺(tái)

已梳理了1.1億條數(shù)據(jù)

，省級(jí)排名全國(guó)第一15建設(shè)背景-助力國(guó)家政府?dāng)?shù)據(jù)共享開放平臺(tái)國(guó)家政府?dāng)?shù)據(jù)共享平臺(tái)省級(jí)平臺(tái)部委平臺(tái)部委平臺(tái)地市平臺(tái)廳局平臺(tái)縣區(qū)平臺(tái)委辦局平臺(tái)······數(shù)據(jù)共享數(shù)據(jù)共享管理數(shù)據(jù)共享門戶

共享工作臺(tái)

內(nèi)外數(shù)據(jù)互通數(shù)據(jù)資源目錄數(shù)據(jù)治理數(shù)據(jù)前置交換子系統(tǒng)配置信息解析

16

數(shù)據(jù)共享交換平臺(tái)-功能框架目錄體系管理目錄注冊(cè)目錄發(fā)布目錄維護(hù)目錄查詢目錄資源申請(qǐng)其它外部系統(tǒng)接入各部門信息系統(tǒng)接入國(guó)家共享交換平臺(tái)接入國(guó)家共享交換

平臺(tái)數(shù)據(jù)共享外部系統(tǒng)數(shù)據(jù)

共享數(shù)據(jù)質(zhì)量

管理數(shù)據(jù)安全

管理元數(shù)據(jù)管理數(shù)據(jù)審計(jì)

管理數(shù)據(jù)開放

數(shù)據(jù)交換管理系統(tǒng)

數(shù)據(jù)交換傳輸系統(tǒng)

數(shù)據(jù)駕駛艙應(yīng)用導(dǎo)航展示策略交換觸發(fā)服務(wù)管理服務(wù)地圖配置管理訂閱管理審計(jì)日志管理交換任務(wù)調(diào)度交換任務(wù)設(shè)置交換任務(wù)監(jiān)控

數(shù)據(jù)采集加工

數(shù)據(jù)交換數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)裝載數(shù)據(jù)抽取數(shù)據(jù)清洗數(shù)據(jù)集成圖形化配置發(fā)布訂閱流量控制集群功能日志管理數(shù)據(jù)傳輸交換路由數(shù)據(jù)加密數(shù)據(jù)壓縮斷點(diǎn)續(xù)傳數(shù)據(jù)處理交換承接前置配置數(shù)據(jù)標(biāo)準(zhǔn)范疇數(shù)據(jù)服務(wù)標(biāo)準(zhǔn)▉

數(shù)據(jù)標(biāo)準(zhǔn)：建設(shè)數(shù)據(jù)標(biāo)準(zhǔn)管理及維護(hù)、標(biāo)準(zhǔn)映射、標(biāo)準(zhǔn)審批及發(fā)布流程、標(biāo)準(zhǔn)使用分析等功能，

構(gòu)建統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)體系，支撐數(shù)據(jù)采集、處理、質(zhì)量評(píng)估等各個(gè)過(guò)程的標(biāo)準(zhǔn)化及稽核服務(wù)數(shù)據(jù)加工STG

ODM

DWADS數(shù)據(jù)建模數(shù)據(jù)建模標(biāo)準(zhǔn)數(shù)據(jù)接口標(biāo)準(zhǔn)數(shù)據(jù)存儲(chǔ)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)指標(biāo)標(biāo)準(zhǔn)數(shù)據(jù)開發(fā)標(biāo)準(zhǔn)標(biāo)簽標(biāo)準(zhǔn)

數(shù)據(jù)標(biāo)準(zhǔn)化-數(shù)據(jù)標(biāo)準(zhǔn)管理17標(biāo)準(zhǔn)推薦標(biāo)準(zhǔn)變更流程標(biāo)準(zhǔn)映射引用數(shù)據(jù)標(biāo)準(zhǔn)增刪改標(biāo)準(zhǔn)遺漏分析標(biāo)準(zhǔn)發(fā)布流程數(shù)據(jù)標(biāo)準(zhǔn)分類標(biāo)準(zhǔn)映射配置數(shù)據(jù)服務(wù)數(shù)據(jù)

采集數(shù)據(jù)傳遞過(guò)程數(shù)據(jù)標(biāo)準(zhǔn)分析數(shù)據(jù)標(biāo)準(zhǔn)審批數(shù)據(jù)標(biāo)準(zhǔn)維護(hù)數(shù)據(jù)標(biāo)準(zhǔn)映射數(shù)據(jù)質(zhì)量

數(shù)據(jù)標(biāo)準(zhǔn)化-數(shù)據(jù)標(biāo)準(zhǔn)管理▉

提供數(shù)據(jù)字典、數(shù)據(jù)標(biāo)準(zhǔn)管理功能，保障政企單位數(shù)據(jù)的一致性。18數(shù)據(jù)字典管理數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)標(biāo)準(zhǔn)化-基于元數(shù)據(jù)的數(shù)據(jù)建模工具▉

支撐多種數(shù)據(jù)存儲(chǔ)格式（Hadoop、

MPP、

RDB）的數(shù)據(jù)模型生命周期管控及模型呈現(xiàn)元數(shù)據(jù)驗(yàn)證實(shí)現(xiàn)模型校驗(yàn)，校驗(yàn)

通過(guò)后自動(dòng)寫入元數(shù)

據(jù)庫(kù)。校驗(yàn)方式：

一

、設(shè)計(jì)庫(kù)與實(shí)際數(shù)據(jù)

庫(kù)進(jìn)行比對(duì)，二、通

過(guò)業(yè)務(wù)應(yīng)用進(jìn)行驗(yàn)證審核對(duì)設(shè)計(jì)的模型由數(shù)

據(jù)專家、模型專家進(jìn)行審核，對(duì)于審核通過(guò)的模型方可實(shí)際建立。設(shè)計(jì)根據(jù)業(yè)務(wù)需求進(jìn)行模型的設(shè)計(jì)，包含模型

的基本信息、分類、

字段等。模型實(shí)施模型驗(yàn)證對(duì)于審核通過(guò)的模

型，根據(jù)設(shè)計(jì)在數(shù)據(jù)庫(kù)中建立模型。模型審核模型設(shè)計(jì)模型管理實(shí)施19。?支持在線建立模型、模型變更、下線等操作，支持批量模型導(dǎo)入（Excel、PDM）?

支持Hadoop（hive、spark、

Impala)、

MPP（vertica

、gp、gbase、

IQ）、

RDB（Oracle、MySQL）等?

支持物理庫(kù)與元數(shù)據(jù)庫(kù)信息的一致

性盤點(diǎn)核查?

可從差異直接確認(rèn)同步到元數(shù)據(jù)庫(kù)數(shù)據(jù)標(biāo)準(zhǔn)化-元數(shù)據(jù)建模▉

建模工具：基于元數(shù)據(jù)的建模工具、模型盤點(diǎn)、模型管控?模型設(shè)計(jì)審核流程、模型實(shí)施審核流程?

審核后直接寫入元數(shù)據(jù)系統(tǒng)可視化在線建模模型盤點(diǎn)模型審核20

數(shù)據(jù)標(biāo)準(zhǔn)化-元數(shù)據(jù)管理▉

提供元數(shù)據(jù)采集、維護(hù)、檢索、分析等管理功能。21元數(shù)據(jù)分析元數(shù)據(jù)維護(hù)元數(shù)據(jù)檢索元數(shù)據(jù)采集▉

提供對(duì)數(shù)據(jù)共享平臺(tái)內(nèi)數(shù)據(jù)資產(chǎn)的統(tǒng)一注冊(cè)管理及發(fā)布呈現(xiàn)，包括采集接口、數(shù)據(jù)模型、處理任務(wù)、指標(biāo)、共享服務(wù)等。服務(wù)數(shù)據(jù)API服務(wù)、數(shù)據(jù)交換服務(wù)、數(shù)據(jù)報(bào)告服務(wù)、數(shù)據(jù)應(yīng)用服務(wù)任務(wù)采集任務(wù)、數(shù)據(jù)匯總?cè)蝿?wù)、數(shù)據(jù)挖掘任務(wù)、數(shù)據(jù)清理任務(wù)

…接口離線采集接口、實(shí)時(shí)采集接口、互聯(lián)網(wǎng)爬取接口

…全生命周期的數(shù)據(jù)統(tǒng)一管理22數(shù)據(jù)資產(chǎn)管理緩存層模型、基礎(chǔ)層模型、匯總層模型、應(yīng)用層模型..指標(biāo)PI、

KPI、KQI、QoE

…模型目錄1數(shù)據(jù)項(xiàng)數(shù)據(jù)分類目錄1數(shù)據(jù)項(xiàng)數(shù)據(jù)分類目錄1數(shù)據(jù)項(xiàng)數(shù)據(jù)分類共享數(shù)據(jù)集目錄開放數(shù)據(jù)集目錄政

府

數(shù)

據(jù)

資

源全集數(shù)據(jù)資產(chǎn)管理-資源目錄梳理更新數(shù)據(jù)開

放目錄發(fā)現(xiàn)新目錄清理目錄建立數(shù)據(jù)開

放目錄完整的數(shù)據(jù)資源目錄完整性確認(rèn)確定初步共享開放目錄依據(jù)現(xiàn)狀政府業(yè)務(wù)模型相關(guān)單位確認(rèn)形成共享開放目錄標(biāo)簽標(biāo)簽部門分類標(biāo)簽部門分類部門分類數(shù)據(jù)采集、加工數(shù)據(jù)標(biāo)簽、脫敏業(yè)務(wù)系統(tǒng)更新目錄共享平臺(tái)業(yè)務(wù)需求業(yè)務(wù)梳理23提取相關(guān)主題建庫(kù)權(quán)責(zé)清單元數(shù)據(jù)標(biāo)準(zhǔn)辦事服務(wù)事項(xiàng)政府業(yè)務(wù)梳理模型部門職責(zé)管理對(duì)象管理維度管理手段生命周期促進(jìn)業(yè)務(wù)協(xié)同數(shù)據(jù)共享清單數(shù)據(jù)開放清單梳理事項(xiàng)關(guān)聯(lián)關(guān)系數(shù)據(jù)

數(shù)據(jù)抽取

處理電子證照庫(kù)質(zhì)量

更新檢測(cè)機(jī)制數(shù)據(jù)資產(chǎn)管理-資源目錄梳理優(yōu)化服務(wù)流程建立數(shù)據(jù)治理體系標(biāo)準(zhǔn)化數(shù)據(jù)目錄總結(jié)常見數(shù)據(jù)問(wèn)題與解決方法政策法規(guī)、標(biāo)準(zhǔn)體系各部門業(yè)務(wù)庫(kù)各部門業(yè)務(wù)庫(kù)不會(huì)提供數(shù)據(jù)X不知共享需求X多次跑腿X等待時(shí)間長(zhǎng)X自然人、

法人庫(kù)數(shù)據(jù)

處理更新

機(jī)制重復(fù)提交材料X數(shù)據(jù)

抽取質(zhì)量

檢測(cè)24標(biāo)準(zhǔn)規(guī)范25數(shù)據(jù)資產(chǎn)管理-形成行業(yè)資源目錄

數(shù)據(jù)資產(chǎn)管理-資源目錄管理▉

支持按照“類”、“項(xiàng)”、“目”、“細(xì)目”對(duì)資源目錄體系進(jìn)行維護(hù)。支持資源目錄的新增、刪除、導(dǎo)入、發(fā)布等編目管理操作。26目錄發(fā)布管理資源目錄管理目錄體系編目27數(shù)據(jù)資產(chǎn)管理-資產(chǎn)可視化▉

以數(shù)據(jù)為核心，實(shí)現(xiàn)數(shù)據(jù)匯集、融合、治理、資產(chǎn)化、共享全景呈現(xiàn)。。數(shù)據(jù)資產(chǎn)全景數(shù)據(jù)共享全景數(shù)據(jù)全景數(shù)據(jù)匯集全景數(shù)據(jù)融合全景數(shù)據(jù)治理全景28數(shù)據(jù)交換-交換管理交換任務(wù)配置交換作業(yè)配置前置機(jī)配置數(shù)據(jù)源配置交換任務(wù)處理過(guò)程配置交換過(guò)程監(jiān)控統(tǒng)計(jì)29數(shù)據(jù)交換-交換管理

30

數(shù)據(jù)交換-交換處理▉

可視化的任務(wù)編排與監(jiān)控。任務(wù)概覽任務(wù)監(jiān)控任務(wù)編排數(shù)據(jù)共享服務(wù)總線高實(shí)時(shí)性要求小數(shù)據(jù)量交換數(shù)據(jù)量較大、低實(shí)時(shí)性要求定期或一次性大批量數(shù)數(shù)據(jù)開放共享-共享手段▉

以數(shù)據(jù)服務(wù)的形式封裝數(shù)據(jù)，提供統(tǒng)一的數(shù)據(jù)開放共享。數(shù)據(jù)共享平臺(tái)服務(wù)模式服務(wù)目錄管理安全及自身管理服務(wù)策略管理配置管理第三方平臺(tái)數(shù)據(jù)實(shí)時(shí)查詢服務(wù)數(shù)據(jù)文件生成服務(wù)第三方系統(tǒng)服務(wù)***系統(tǒng)***系統(tǒng)***平臺(tái)***應(yīng)用FTP服務(wù)數(shù)

據(jù)

共

享

生產(chǎn)

者消費(fèi)者管理服務(wù)地圖數(shù)據(jù)庫(kù)模式生產(chǎn)者管理安全管理日志管理訂閱管理服務(wù)管理發(fā)布訂閱模式審批管理API接口模式認(rèn)證鑒權(quán)訪問(wèn)會(huì)話管控訪問(wèn)緩存管控訪問(wèn)隊(duì)列管控ODBC/JD

BCSOAP/HTTP消費(fèi)者在線交互據(jù)要求FTP31數(shù)據(jù)開放共享-共享管控▉

審批流程+策略控制相結(jié)合的數(shù)據(jù)共享管控手段。

審批流程：1.

服務(wù)注冊(cè)審批2.

服務(wù)變更審批

3.

服務(wù)注銷審批

4.

服務(wù)訂閱審批數(shù)據(jù)生成數(shù)據(jù)獲取數(shù)據(jù)共享服務(wù)訂閱審核通過(guò)數(shù)據(jù)共享服務(wù)注冊(cè)數(shù)據(jù)共享服務(wù)訂閱數(shù)據(jù)共享服務(wù)注冊(cè)審核數(shù)據(jù)訂閱需求提出數(shù)據(jù)訂閱需求審核1.

訪問(wèn)會(huì)話控制2.

訪問(wèn)隊(duì)列控制

3.

數(shù)據(jù)緩存控制消費(fèi)者生產(chǎn)者運(yùn)營(yíng)者服務(wù)策略：通過(guò)32

數(shù)

據(jù)分

級(jí)涉及內(nèi)部隱私涉及單位隱私涉及個(gè)人隱私涉及知識(shí)產(chǎn)權(quán)涉及法規(guī)禁止涉及其它禁止其它數(shù)據(jù)數(shù)據(jù)分層社會(huì)完全開放數(shù)據(jù)開放共享-共享安全對(duì)數(shù)據(jù)進(jìn)行分級(jí)管控涉及國(guó)家安全機(jī)密管理---●-●-33▉部門間條部門間完件開放●●●●●社會(huì)條件共享●●●●●全共享內(nèi)部●●●●●--------------------------

34

數(shù)據(jù)開放共享-共享方式▉

數(shù)據(jù)開放共享工具支撐：提供一鍵式的數(shù)據(jù)開放與共享發(fā)布及數(shù)據(jù)API、數(shù)據(jù)集、數(shù)據(jù)報(bào)告、數(shù)據(jù)應(yīng)用的多種交付模式。一鍵式數(shù)據(jù)資源對(duì)外發(fā)布為服務(wù)數(shù)據(jù)API、數(shù)據(jù)集、數(shù)據(jù)報(bào)告、數(shù)據(jù)應(yīng)用開放共享服務(wù)發(fā)布開放共享交付模式數(shù)據(jù)開放共享-共享服務(wù)▉

以數(shù)據(jù)服務(wù)的形式封裝數(shù)據(jù)，提供統(tǒng)一的數(shù)據(jù)開放共享。服務(wù)地圖服務(wù)/訂閱管理服務(wù)發(fā)布訂閱審核35

36

數(shù)據(jù)交換共享門戶▉

提供數(shù)據(jù)資源可視化運(yùn)營(yíng)監(jiān)控，實(shí)時(shí)掌控?cái)?shù)據(jù)交換平臺(tái)數(shù)據(jù)資源交換次數(shù)、共享數(shù)據(jù)量，

TOPN信息系統(tǒng)等數(shù)據(jù)服務(wù)運(yùn)營(yíng)情況。一、建設(shè)背景二、行業(yè)大數(shù)據(jù)治理平臺(tái)方案三、核心功能介紹1、數(shù)據(jù)共享交換平臺(tái)2、主數(shù)據(jù)管理3、數(shù)據(jù)質(zhì)量管理

4、數(shù)據(jù)安全管控四、平臺(tái)案例目錄CONTENTS37?主數(shù)據(jù)是那些描述你的客戶、物料、供應(yīng)商等的基礎(chǔ)數(shù)據(jù)；?主數(shù)據(jù)存儲(chǔ)在多個(gè)相互不連接的系統(tǒng)/數(shù)據(jù)庫(kù)中?主數(shù)據(jù)信息在多個(gè)不同的應(yīng)用系統(tǒng)中被維護(hù)?集團(tuán)總部沒有對(duì)全局主數(shù)據(jù)信息及時(shí)、

一致、真實(shí)、

可靠的視圖日常業(yè)務(wù)場(chǎng)景每個(gè)部門、分公司、業(yè)務(wù)系統(tǒng)擁有不同的信息38

主數(shù)據(jù)定義?

具有高業(yè)務(wù)價(jià)值?

跨業(yè)務(wù)重復(fù)使用?

核心業(yè)務(wù)實(shí)體

主數(shù)據(jù)特征?

變化相對(duì)緩慢?

存在多系統(tǒng)中?

需要交互共享?

業(yè)務(wù)源頭主體銷售人員招聘規(guī)劃設(shè)計(jì)工程管理物業(yè)管理…土地拓展物資采購(gòu)

樓盤銷售

商業(yè)租賃HR系統(tǒng)財(cái)務(wù)系統(tǒng)成本系統(tǒng)投發(fā)系統(tǒng)招采系統(tǒng)工程系統(tǒng)銷售系統(tǒng)物業(yè)系統(tǒng)什么是主數(shù)據(jù)？員工分期組織…業(yè)務(wù)

實(shí)

體業(yè)務(wù)

系

統(tǒng)業(yè)務(wù)

行

為業(yè)務(wù)

部

門項(xiàng)目供應(yīng)商商業(yè)系統(tǒng)招采物業(yè)人資投發(fā)工程商業(yè)39…40主數(shù)據(jù)管理遇到的挑戰(zhàn)政企單位中多部門、多系統(tǒng)的分散管理主數(shù)據(jù)直接導(dǎo)致數(shù)據(jù)質(zhì)量差，增加政企單位信息化成本，

降低

政企單位決策效率。目前面臨的問(wèn)題1、數(shù)據(jù)標(biāo)準(zhǔn)、流程、責(zé)任分工不明確。如數(shù)據(jù)維護(hù)分散等。2、數(shù)據(jù)清洗工作不到位，如客戶、供應(yīng)商。3、系統(tǒng)功能不完善，缺少各戶定制化內(nèi)容，如數(shù)據(jù)級(jí)聯(lián)關(guān)系管理、維護(hù)流程定制、接口監(jiān)控等。數(shù)據(jù)共享不及時(shí)數(shù)據(jù)定義不明確責(zé)任部門不清晰維護(hù)流程不統(tǒng)一數(shù)據(jù)狀態(tài)不可控由于各個(gè)系統(tǒng)需求的不同，

一個(gè)相同的服務(wù)器在各個(gè)系統(tǒng)中均有自己的編號(hào)和其他屬性編號(hào)：87254型號(hào)：

2CPU16GERP編號(hào)：

I0954型號(hào)：

2C16G地點(diǎn)：總部機(jī)房GIS編號(hào)：01254型號(hào)：

2C16G項(xiàng)目管理編號(hào)：

A0154型號(hào)：2C*

16G尺寸：0.5*0.8XX系統(tǒng)xx服務(wù)器，NF5270M4，

2CPU16G，0.5*0.8M主數(shù)據(jù)問(wèn)題示例41主數(shù)據(jù)管理思路▉實(shí)現(xiàn)政企單位的主數(shù)據(jù)管理，以主數(shù)據(jù)入手即可完善數(shù)據(jù)管控的手段，以基礎(chǔ)數(shù)據(jù)為主，步步為營(yíng)自上而下實(shí)現(xiàn)政企單位數(shù)據(jù)管理環(huán)境構(gòu)建。部門主管業(yè)務(wù)專責(zé)建立政企單位數(shù)據(jù)標(biāo)準(zhǔn)建立規(guī)范化管理流程建立數(shù)據(jù)使用習(xí)慣構(gòu)建完整的數(shù)據(jù)管理環(huán)境政企單位領(lǐng)導(dǎo)42解決方案▉應(yīng)用完善的數(shù)據(jù)管理產(chǎn)品能力結(jié)合政企單位管理能力的數(shù)據(jù)管理制度。數(shù)據(jù)治理產(chǎn)品能力包含主數(shù)據(jù)全方位數(shù)據(jù)標(biāo)準(zhǔn)服務(wù)標(biāo)準(zhǔn)管理標(biāo)準(zhǔn)的管理能力，如統(tǒng)一編碼、數(shù)據(jù)清洗、質(zhì)量管理等。管理能力體現(xiàn)在政企單位主數(shù)據(jù)標(biāo)準(zhǔn)的貫徹和落實(shí)。元數(shù)據(jù)管理主數(shù)據(jù)管理質(zhì)量管理統(tǒng)一編碼數(shù)據(jù)分發(fā)數(shù)據(jù)清洗技術(shù)手段流程管理管理能力資源目錄43提升數(shù)據(jù)質(zhì)量提升數(shù)據(jù)整合能力提升領(lǐng)導(dǎo)決策能力

政企單位服務(wù)總線（

ESB

）

主數(shù)據(jù)管理標(biāo)準(zhǔn)主數(shù)據(jù)管理流程人力系統(tǒng)合同系統(tǒng)財(cái)務(wù)系統(tǒng)資產(chǎn)系統(tǒng)其他票務(wù)系統(tǒng)客流系統(tǒng)數(shù)據(jù)建模?

數(shù)據(jù)字典?

編碼規(guī)則?

實(shí)體建模?

存儲(chǔ)模型數(shù)據(jù)服務(wù)?

申報(bào)服務(wù)?

修改服務(wù)?

查詢服務(wù)?

訂閱發(fā)布數(shù)據(jù)維護(hù)數(shù)據(jù)管理

數(shù)據(jù)去重

去重規(guī)則數(shù)據(jù)整合數(shù)據(jù)匯集數(shù)據(jù)合并整合監(jiān)管總體架構(gòu)編碼規(guī)范組織管理訪問(wèn)服務(wù)編碼庫(kù)高速緩存編碼審批編碼歷史訪問(wèn)權(quán)限主數(shù)據(jù)管理平臺(tái)?

?

?44主數(shù)據(jù)管理咨詢步驟資源調(diào)查組織開展資源調(diào)查工作，梳理政企單位各部門、各業(yè)務(wù)環(huán)節(jié)、已建信息系統(tǒng)的信息資源，

細(xì)化完善目錄規(guī)劃組織準(zhǔn)備構(gòu)建主數(shù)據(jù)管理平臺(tái)，支撐主數(shù)據(jù)管理工作開展制定數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范，數(shù)據(jù)資源維護(hù)規(guī)范，數(shù)據(jù)交換共享規(guī)范等相關(guān)標(biāo)準(zhǔn)及管理制度明確編制領(lǐng)導(dǎo)機(jī)構(gòu)工作機(jī)制

，負(fù)責(zé)組織規(guī)劃、編目審查、目錄報(bào)送等工作主數(shù)據(jù)模型定義按照元數(shù)據(jù)要求，編制生成主數(shù)據(jù)資源模型定義及編碼按照主數(shù)據(jù)定義，確定本期項(xiàng)目主數(shù)據(jù)管理范圍主數(shù)據(jù)范圍確定數(shù)據(jù)標(biāo)準(zhǔn)與規(guī)范規(guī)則45信息資源名稱（必填項(xiàng)）信息資

源代碼

（信息

中心填

寫）信息資源提供方資源提供方代碼（信息

中心填

寫）信息資源摘要（必填項(xiàng)）信息資源格式信息資源大普查信息項(xiàng)信息共享屬性共享方式開放屬性更新

周期

（必

填項(xiàng)）發(fā)布

日期

（必

填項(xiàng)）關(guān)聯(lián)

及類

目名

稱

（選

填項(xiàng)）信息資源提供方（必

填項(xiàng)）提供方內(nèi)部部門（選

填項(xiàng)）信息

資源

格式

分類

（必

填項(xiàng)）信息

資源

格式

類型

（必

填項(xiàng)）其他

類型

資源

格式

描述

（選

填項(xiàng)）數(shù)據(jù)

存儲(chǔ)

總量

（G）

（必

填項(xiàng)）結(jié)構(gòu)

化信

息記

錄總

數(shù)（萬(wàn)）

（必

填項(xiàng)）已共

享的

數(shù)據(jù)

存儲(chǔ)

量（G）

（必填項(xiàng)）已共

享結(jié)

構(gòu)化

記錄

數(shù)（萬(wàn)）

（必

填項(xiàng)）已開

放的

數(shù)據(jù)

存儲(chǔ)

量（G）

（必填項(xiàng)）已開

放結(jié)

構(gòu)化

記錄

數(shù)

（萬(wàn)）

（必

填項(xiàng)）信息項(xiàng)名

稱

（必

填項(xiàng)）數(shù)據(jù)

類型

（必

填項(xiàng)）數(shù)據(jù)

長(zhǎng)度

（必

填項(xiàng)）共享

類型

（必

填項(xiàng)）共享

條件

（必

填項(xiàng)）共享方式

分類

（必

填項(xiàng)）共享

方式

類型

（必

填項(xiàng)）是否

向社

會(huì)開

放

（必

填項(xiàng)）開放

條件

（選

填項(xiàng)）部門全稱信息系統(tǒng)

名稱主要功能系統(tǒng)狀態(tài)

（建設(shè)中

,運(yùn)行中、停止使用、

其他）系統(tǒng)開始

使用日期系統(tǒng)開發(fā)

單位名稱系統(tǒng)運(yùn)行維護(hù)單位名稱數(shù)據(jù)來(lái)源數(shù)據(jù)產(chǎn)生

方式（人

工錄入,

自

動(dòng)生成,省

市縣逐級(jí)

報(bào)送,各企業(yè)報(bào)送,其

他）數(shù)據(jù)更新

頻率（實(shí)

時(shí)、按天、

按月、按

季、每半年、每年、

其他）數(shù)據(jù)存儲(chǔ)

量大?。℅B）數(shù)據(jù)庫(kù)名

稱及版本系統(tǒng)使用頻率（2016年度累計(jì)用

戶訪問(wèn)/登

錄次數(shù)）信息系統(tǒng)

安全等級(jí)

定級(jí)情況

（一級(jí)、

二級(jí)、三

級(jí)、四級(jí)、五級(jí)、未

定級(jí)）信息系統(tǒng)

分級(jí)保護(hù)

定級(jí)情況

（秘密、機(jī)密、絕密、未定

密）備注序號(hào)信息資源分類信息資源名稱（必填項(xiàng)）信息系統(tǒng)類分類

（必填項(xiàng)）項(xiàng)分類

（必填項(xiàng)）目分類（必填項(xiàng)）細(xì)目分類

（選填項(xiàng)）分類五級(jí)（選填

項(xiàng)）分類六級(jí)（選填

項(xiàng)）調(diào)研政企單位主數(shù)據(jù)現(xiàn)狀1、信息系統(tǒng)基本情況調(diào)研2、資源目錄調(diào)研3、資源模型調(diào)研46序號(hào)主數(shù)據(jù)來(lái)源系統(tǒng)相關(guān)系統(tǒng)建議主管部門1供應(yīng)商主數(shù)據(jù)物資管理系統(tǒng)合同管理系統(tǒng)、財(cái)務(wù)管理系統(tǒng)、實(shí)物資產(chǎn)轉(zhuǎn)資管理系統(tǒng)運(yùn)營(yíng)公司2客戶主數(shù)據(jù)資源開發(fā)管理系統(tǒng)物資管理系統(tǒng)、財(cái)務(wù)管理系統(tǒng)、電子商務(wù)財(cái)務(wù)部3會(huì)計(jì)科目主數(shù)據(jù)財(cái)務(wù)管理系統(tǒng)合同管理系統(tǒng)、物資管理系統(tǒng)財(cái)務(wù)部4固定資產(chǎn)主數(shù)據(jù)財(cái)務(wù)管理系統(tǒng)合同管理系統(tǒng)、物資管理系統(tǒng)、實(shí)物資產(chǎn)轉(zhuǎn)資管理系統(tǒng)財(cái)務(wù)部5設(shè)備主數(shù)據(jù)實(shí)物資產(chǎn)轉(zhuǎn)資管理系統(tǒng)合同管理系統(tǒng)、物資管理系統(tǒng)、財(cái)務(wù)管理系統(tǒng)運(yùn)營(yíng)公司6物資主數(shù)據(jù)物資管理系統(tǒng)合同管理系統(tǒng)、財(cái)務(wù)管理系統(tǒng)運(yùn)營(yíng)公司7組織機(jī)構(gòu)主數(shù)據(jù)人力資源管理系統(tǒng)通過(guò)統(tǒng)一用戶管理提供給所有系統(tǒng)人力資源部8員工主數(shù)據(jù)人力資源管理系統(tǒng)通過(guò)統(tǒng)一用戶管理提供給所有系統(tǒng)人力資源部47

明確主數(shù)據(jù)管理范圍▉通過(guò)業(yè)務(wù)分析確定主數(shù)據(jù)初步管理范圍及數(shù)據(jù)來(lái)源，明確管理職責(zé)，進(jìn)行政企單位數(shù)據(jù)管理。

▉主數(shù)據(jù)具有以下特點(diǎn)：1、偏對(duì)象型的共享數(shù)據(jù)。2、在政企單位內(nèi)跨越多個(gè)業(yè)務(wù)部門被重復(fù)使用的高價(jià)值數(shù)據(jù)。3、是政企單位核心數(shù)據(jù)實(shí)體。數(shù)據(jù)

標(biāo)準(zhǔn)?

定來(lái)源--規(guī)定數(shù)據(jù)的唯一出處?

定結(jié)構(gòu)--規(guī)定主數(shù)據(jù)的屬性，編碼構(gòu)成?

定規(guī)則--約定數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系服務(wù)

標(biāo)準(zhǔn)?

定接口規(guī)范--約定接口生產(chǎn)者、消費(fèi)者、接口名稱、參數(shù)?

定數(shù)據(jù)格式--規(guī)定數(shù)據(jù)標(biāo)準(zhǔn)格式管理

標(biāo)準(zhǔn)?

定流程--規(guī)范主數(shù)據(jù)的申請(qǐng)、變更、修改流程

?

定職責(zé)--定義流程活動(dòng)參與者的職責(zé)主數(shù)據(jù)管理平臺(tái)48制定主數(shù)據(jù)管理標(biāo)準(zhǔn)

規(guī)范指導(dǎo)建設(shè)

數(shù)據(jù)整合數(shù)據(jù)服務(wù)數(shù)據(jù)維護(hù)數(shù)據(jù)建模49主數(shù)據(jù)管理-主要功能實(shí)體建模整合監(jiān)管權(quán)限控制查重規(guī)則存儲(chǔ)模型數(shù)據(jù)字典數(shù)據(jù)推送數(shù)據(jù)合并主數(shù)據(jù)編碼數(shù)據(jù)去重?cái)?shù)據(jù)匯集系統(tǒng)接入資源分類數(shù)據(jù)管理發(fā)布訂閱設(shè)計(jì)部工藝部生產(chǎn)調(diào)度經(jīng)營(yíng)計(jì)劃物資管理機(jī)械能源質(zhì)量檢驗(yàn)生產(chǎn)車間數(shù)據(jù)建模-資源分類▉構(gòu)造政企單位主資源目錄，提供快速查詢和使用數(shù)據(jù)的能力。資源目錄可以對(duì)此類數(shù)據(jù)進(jìn)行層級(jí)劃分，實(shí)現(xiàn)查詢、數(shù)據(jù)建模、質(zhì)量管理、數(shù)據(jù)集成等數(shù)據(jù)管理應(yīng)用能力。以層次化結(jié)構(gòu)協(xié)助政企單位領(lǐng)導(dǎo)、業(yè)務(wù)專責(zé)、或第三方廠商主快速定位數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)應(yīng)用的目標(biāo)。組織機(jī)構(gòu)客戶物料人員組織機(jī)構(gòu)質(zhì)量管理數(shù)據(jù)集成數(shù)據(jù)查詢查詢服務(wù)數(shù)據(jù)管理數(shù)據(jù)資源目錄分類數(shù)據(jù)管理XX分公司

XX分公司

XX分公司物料分類XX班組

XX班組總部50數(shù)據(jù)建模-資源分類▉

提供可視化界面進(jìn)行主數(shù)據(jù)類型定義及主數(shù)據(jù)資源目錄瀏覽。分類定義分類目錄瀏覽51

數(shù)據(jù)建模-主數(shù)據(jù)編碼▉

一物一碼是主數(shù)據(jù)的核心內(nèi)容，

主數(shù)據(jù)管理平臺(tái)將數(shù)據(jù)編碼進(jìn)行劃分和規(guī)范，通過(guò)編碼引擎實(shí)現(xiàn)數(shù)據(jù)系統(tǒng)內(nèi)部統(tǒng)一數(shù)據(jù)編碼。52一級(jí)分類

碼（類）二級(jí)分類碼（項(xiàng)）三級(jí)分類碼（目）四級(jí)分類碼（細(xì)目1）五級(jí)分類碼（細(xì)目2）四位流水號(hào)（流水號(hào)）對(duì)內(nèi)管理1、建立編碼庫(kù)2、編碼自動(dòng)校驗(yàn)3、編碼流程管理4、實(shí)現(xiàn)一物一碼對(duì)外服務(wù)1、編碼查詢服務(wù)2、統(tǒng)一編碼服務(wù)3、外部編碼流程4、編碼映射服務(wù)1020304050001結(jié)構(gòu)拆分編碼查詢碼值編碼組合編碼匹配數(shù)據(jù)賦碼編碼組合編碼字典編碼引擎53數(shù)據(jù)建模-主數(shù)據(jù)編碼▉

通過(guò)將主數(shù)據(jù)編碼規(guī)則設(shè)置到平臺(tái)中，確保系統(tǒng)中的數(shù)據(jù)按照編碼規(guī)則要求生成。自定義規(guī)則編碼規(guī)則管理資源

模型1資源

模型2資源

模型3基本屬性設(shè)計(jì)屬性

工藝屬性

生產(chǎn)屬性

財(cái)務(wù)屬性

數(shù)據(jù)建模-實(shí)體建模▉

建立政企單位主數(shù)據(jù)模型標(biāo)準(zhǔn)的制定。從PDM、

ERP等多種業(yè)務(wù)系統(tǒng)中，進(jìn)行數(shù)據(jù)模型的梳理匯編，

并進(jìn)行數(shù)據(jù)模型的標(biāo)準(zhǔn)化，解決一數(shù)多源，多種定義等問(wèn)題。54數(shù)據(jù)資源集目錄數(shù)

據(jù)

資

源全集數(shù)據(jù)模型匯編數(shù)據(jù)模型去重?cái)?shù)據(jù)模型編目數(shù)據(jù)模型歸一化業(yè)務(wù)資料業(yè)務(wù)需求業(yè)務(wù)分析業(yè)務(wù)系統(tǒng)資源分類信息項(xiàng)名稱資源分類信息項(xiàng)類型資源編碼資源格式關(guān)聯(lián)資源資源格式信息項(xiàng)名稱信息項(xiàng)名稱資源分類關(guān)聯(lián)資源資源編碼信息項(xiàng)類型關(guān)聯(lián)資源資源格式資源編碼信息項(xiàng)類型資源名稱共享類型共享類型資源名稱共享類型資源名稱▉

通過(guò)提供可視化建模工具，進(jìn)行主數(shù)據(jù)資源模型建立。并提供資源模型注冊(cè)、審核、發(fā)布、盤點(diǎn)等管理功能55數(shù)據(jù)建模-實(shí)體建模主數(shù)據(jù)資源-關(guān)聯(lián)元數(shù)據(jù)主數(shù)據(jù)資源-基本信息元數(shù)據(jù)字段信息元數(shù)據(jù)基本信息

數(shù)據(jù)建模-存儲(chǔ)模型管理▉

對(duì)物理存儲(chǔ)模型進(jìn)行管理。56數(shù)據(jù)庫(kù)表管理存儲(chǔ)模型管理

數(shù)據(jù)建模-數(shù)據(jù)字典管理▉

提供可視化界面進(jìn)行數(shù)據(jù)字典管理。57數(shù)據(jù)整合-數(shù)據(jù)匯集合并▉

提供數(shù)據(jù)采集與清洗能力，通過(guò)ETL、

SQL、

EXCEL等多種不同的工具，實(shí)現(xiàn)自動(dòng)或手動(dòng)或混合的數(shù)據(jù)采集與清洗能力。結(jié)合數(shù)據(jù)質(zhì)量檢核，為客戶提供多重?cái)?shù)據(jù)質(zhì)量保證。數(shù)據(jù)的唯一性數(shù)據(jù)的權(quán)威性問(wèn)題數(shù)據(jù)處理

分布式ETL工具文件導(dǎo)入工具流處理工具

解決

手動(dòng)

清洗混合

清洗自動(dòng)清洗手動(dòng)采集自動(dòng)采集數(shù)據(jù)源質(zhì)量校核數(shù)據(jù)的一致性數(shù)據(jù)的完整性數(shù)據(jù)的合法性數(shù)據(jù)入庫(kù)58數(shù)據(jù)整合-數(shù)據(jù)匯集合并可視化的任務(wù)編排與管理。任務(wù)運(yùn)行狀態(tài)任務(wù)概覽59▉任務(wù)監(jiān)控詳情

數(shù)據(jù)整合-任務(wù)監(jiān)控▉

可視化的任務(wù)運(yùn)行監(jiān)控。60任務(wù)監(jiān)控概覽61數(shù)據(jù)維護(hù)▉

提供對(duì)主數(shù)據(jù)的新增、修改、刪除、審核、發(fā)布等主數(shù)據(jù)生命周期過(guò)程行管理。去重規(guī)則管理數(shù)據(jù)維護(hù)-數(shù)據(jù)去重▉

提供對(duì)主數(shù)據(jù)的去重規(guī)則設(shè)置管理，

對(duì)有多個(gè)來(lái)源的主數(shù)據(jù)進(jìn)行去重。主數(shù)據(jù)去重6263數(shù)據(jù)服務(wù)-服務(wù)發(fā)布▉

針對(duì)注冊(cè)的主數(shù)據(jù)可進(jìn)行發(fā)布操作，通過(guò)主數(shù)據(jù)分類進(jìn)行發(fā)布。發(fā)布參數(shù)修改主數(shù)據(jù)發(fā)布數(shù)據(jù)服務(wù)-數(shù)據(jù)權(quán)限▉

可針對(duì)發(fā)布的元數(shù)據(jù)進(jìn)行數(shù)據(jù)權(quán)限管理，設(shè)定數(shù)據(jù)權(quán)限類型及具體屬性權(quán)限信息。數(shù)據(jù)權(quán)限管理權(quán)限詳情設(shè)定64

數(shù)據(jù)服務(wù)-查詢服務(wù)▉

可以對(duì)主數(shù)據(jù)信息進(jìn)行查詢，同時(shí)對(duì)查詢到的主數(shù)據(jù)支持發(fā)起訂閱審批流程65主數(shù)據(jù)查詢發(fā)起訂閱審批數(shù)據(jù)服務(wù)-分發(fā)服務(wù)▉

可通過(guò)推送任務(wù)定制的方式，實(shí)現(xiàn)主數(shù)據(jù)推送。任務(wù)詳細(xì)設(shè)置推送任務(wù)定制66一、建設(shè)背景二、行業(yè)大數(shù)據(jù)治理平臺(tái)方案三、核心功能介紹1、數(shù)據(jù)共享交換平臺(tái)

2、主數(shù)據(jù)管理3、數(shù)據(jù)質(zhì)量管理4、數(shù)據(jù)安全管控四、平臺(tái)案例目錄CONTENTS6768影響數(shù)據(jù)質(zhì)量的關(guān)鍵隱患問(wèn)題總結(jié)▉

信令大數(shù)據(jù)的規(guī)模占比超過(guò)95%

，

是性能管理現(xiàn)階段數(shù)據(jù)質(zhì)量主要矛盾。▉

在日常運(yùn)營(yíng)過(guò)程中總結(jié)發(fā)現(xiàn)，影響信令數(shù)據(jù)質(zhì)量的問(wèn)題遍及數(shù)據(jù)源、數(shù)據(jù)平臺(tái)、上層應(yīng)用三層。

某些大網(wǎng)調(diào)整工作與DPI割接不同步，

導(dǎo)致數(shù)據(jù)漏接：

網(wǎng)元擴(kuò)容、網(wǎng)元割接、地址變更

某些時(shí)刻業(yè)務(wù)量突增，

DPI帶寬/性能不足，導(dǎo)致數(shù)據(jù)溢出：黃金周、春節(jié)返鄉(xiāng)、重大活動(dòng)

某些原始XDR字段統(tǒng)計(jì)錯(cuò)誤，導(dǎo)致KQI計(jì)算不準(zhǔn)：錯(cuò)誤碼、呼叫類型

某些原始XDR關(guān)鍵信息回填失敗，導(dǎo)致KQI計(jì)算不準(zhǔn)：

IMSI、

MSIDN、

IMEI、TAC、CELLID

DPI特征庫(kù)更新不及時(shí)，導(dǎo)致業(yè)務(wù)識(shí)別異常：

識(shí)別不出、識(shí)別錯(cuò)誤

SDTP接口鏈路異常，導(dǎo)致數(shù)據(jù)丟失

平臺(tái)持續(xù)高負(fù)荷，導(dǎo)致任務(wù)積壓、數(shù)據(jù)缺失：

集群規(guī)劃不合理、參數(shù)設(shè)置異常、程序未調(diào)優(yōu)

設(shè)備與網(wǎng)絡(luò)故障，影響全量數(shù)據(jù)運(yùn)算：

數(shù)據(jù)庫(kù)宕機(jī)、采集清洗機(jī)故障

指標(biāo)算法統(tǒng)計(jì)錯(cuò)誤，導(dǎo)致KQI計(jì)算不準(zhǔn)：用戶數(shù)、流量、成功率

某些基礎(chǔ)數(shù)據(jù)異常，影響業(yè)務(wù)運(yùn)算準(zhǔn)確性：家客資源、小區(qū)資源、核心網(wǎng)資源

共享接口鏈路故障/接口文件延時(shí)，

導(dǎo)致應(yīng)用匯總異常

某些設(shè)備故障，影響全量數(shù)據(jù)運(yùn)算：數(shù)據(jù)庫(kù)宕機(jī)、采集清洗機(jī)故障數(shù)據(jù)源數(shù)據(jù)平臺(tái)上層應(yīng)用

69

數(shù)據(jù)質(zhì)量保障體系▉

數(shù)據(jù)質(zhì)量保障體系建設(shè)思路：建立標(biāo)準(zhǔn)+組織+工具+運(yùn)維的綜合保障體系2、組織與制度?

構(gòu)建多方專人的保障組：局方

、數(shù)據(jù)源廠家、數(shù)據(jù)共享平臺(tái)

廠家、數(shù)據(jù)應(yīng)用廠家?

制定管控制度：

質(zhì)量例會(huì)4、質(zhì)量核查工具?

數(shù)據(jù)質(zhì)量信息核查組件/探針?

配置化數(shù)據(jù)質(zhì)量核查功能?

短信+告警結(jié)合的預(yù)警手段3、處理流程?

明確數(shù)據(jù)處理問(wèn)題閉環(huán)處

理流程5、運(yùn)維保障?

定制日常質(zhì)量巡檢作業(yè)?

定期開展運(yùn)維分析報(bào)告1、標(biāo)準(zhǔn)規(guī)范?

制定數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范?

制定數(shù)據(jù)核查標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量保障體系接口類型規(guī)則類型檢查內(nèi)容4G實(shí)時(shí)數(shù)據(jù)

模型及時(shí)性文件生成時(shí)延>30分鐘完整性有無(wú)標(biāo)題行、文件數(shù)、記錄數(shù)、列數(shù)準(zhǔn)確性1、

http訪問(wèn)成功率<90%2、

http平均響應(yīng)時(shí)延>3000ms3、

http平均下載速率<10kbps4、

http平均下載速率(包>500KB）

<1000kbps5、ATTACH成功率<90%6、ATTACH平均時(shí)延>3000ms7、承載建立成功率<90%8、承載建立平均時(shí)延>3000ms9、TCP建立成功率<90%10、TCP建立平均時(shí)延>3000ms字段中文名字段英文名字段類型字段規(guī)范城市區(qū)號(hào)cityvarchar(5)1、類型：數(shù)字接口類型interfaceBIGINT1、類型：數(shù)字2、范圍：

[1-24]RATratBIGINT1、類型：數(shù)字2、范圍：

[1-6]IMSIimsivarchar(20)1、非空2、類型：數(shù)字3、長(zhǎng)度：

15手機(jī)號(hào)msisdnvarchar(20)1、非空2、類型：數(shù)字3、長(zhǎng)度：

11或13

70

數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)規(guī)范▉

梳理并制定各類數(shù)據(jù)的標(biāo)準(zhǔn)規(guī)范及核查標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范數(shù)據(jù)核查規(guī)范組織與制度▉

針對(duì)重點(diǎn)業(yè)務(wù)質(zhì)量保障制定了“專項(xiàng)小組，

定期例會(huì)，專項(xiàng)匯報(bào)”機(jī)制，保障平臺(tái)內(nèi)部落實(shí)各項(xiàng)保障規(guī)范和相關(guān)措施?確定每月/每季度專項(xiàng)重點(diǎn)保障范圍?明確專項(xiàng)核查重點(diǎn)KPI及保障標(biāo)準(zhǔn)?閉環(huán)管理：專人每日巡檢、每日匯報(bào)?定期總結(jié)：每周召開數(shù)據(jù)質(zhì)量分析會(huì)、每月召

開故障分析會(huì)、投訴及故障處理經(jīng)驗(yàn)歸檔管理磐石行動(dòng)、部省接口等專項(xiàng)行動(dòng)?

局方專人管理?各廠家項(xiàng)目經(jīng)理掛帥?各層廠家設(shè)置量問(wèn)題專員、重點(diǎn)專題專人保障質(zhì)量保障專項(xiàng)團(tuán)隊(duì)總結(jié)經(jīng)驗(yàn)、

IT固化規(guī)則，提升自動(dòng)化運(yùn)維水平形成項(xiàng)目例會(huì)，每?jī)芍茚槍?duì)近兩周數(shù)據(jù)質(zhì)量問(wèn)題進(jìn)行總

結(jié)，要求各廠家分析數(shù)據(jù)質(zhì)量原因、找出隱患和根源?專人負(fù)責(zé)組織定期例會(huì)分析專項(xiàng)

匯報(bào)定期

例會(huì)專項(xiàng)

小組71EOMS—__—

—__—

STG

ODM

DW

DM

元數(shù)據(jù)任務(wù)調(diào)度基礎(chǔ)設(shè)施72數(shù)據(jù)質(zhì)量管控▉

數(shù)據(jù)質(zhì)量：

是一個(gè)問(wèn)題管理中心，遵循問(wèn)題發(fā)現(xiàn)、分析、解決和評(píng)估的閉環(huán)管理方式，從完整性、及時(shí)性、有效性、

一致性、質(zhì)量問(wèn)題處理

數(shù)據(jù)填補(bǔ)

質(zhì)量評(píng)估數(shù)據(jù)質(zhì)量分析

數(shù)據(jù)質(zhì)量信息庫(kù)

數(shù)據(jù)質(zhì)量問(wèn)題庫(kù)

數(shù)據(jù)源數(shù)據(jù)質(zhì)量稽核信息采集數(shù)據(jù)質(zhì)量監(jiān)控?cái)?shù)據(jù)質(zhì)量后統(tǒng)一規(guī)則管理規(guī)則庫(kù)數(shù)據(jù)對(duì)象質(zhì)量信息采集運(yùn)行環(huán)境日志采集ETL過(guò)程日志采集質(zhì)量概覽知識(shí)庫(kù)知識(shí)庫(kù)準(zhǔn)確性五個(gè)方面，對(duì)數(shù)據(jù)的運(yùn)行環(huán)境、采集、處理、消費(fèi)進(jìn)行全程的監(jiān)控評(píng)估采集規(guī)則配

置預(yù)警規(guī)則配

置

查詢服務(wù)

預(yù)警服務(wù)

運(yùn)行環(huán)境監(jiān)控處理過(guò)程監(jiān)控?cái)?shù)據(jù)源監(jiān)控?cái)?shù)據(jù)對(duì)象監(jiān)控

報(bào)表服務(wù)

質(zhì)量評(píng)估報(bào)表質(zhì)量評(píng)估報(bào)告影響性分析血緣分析知識(shí)庫(kù)分析問(wèn)題歸檔數(shù)據(jù)質(zhì)量信

息存儲(chǔ)知識(shí)維護(hù)知識(shí)檢索

問(wèn)題派單

臺(tái)服務(wù)

專業(yè)室與網(wǎng)管提前共享割接計(jì)劃

具體工程割接實(shí)時(shí)時(shí)，專業(yè)室提前向網(wǎng)管告知割接實(shí)施方案，

DPI廠家制定升級(jí)方案

工程割接完畢，

DPI升級(jí)同步開展數(shù)據(jù)質(zhì)量處理流程▉

通過(guò)一體化數(shù)據(jù)質(zhì)量保障手段、數(shù)據(jù)模型與算法例行更新、工程割接與DPI升級(jí)協(xié)同，形成常態(tài)化數(shù)據(jù)治理與運(yùn)營(yíng)機(jī)制?；A(chǔ)信息例行更新根據(jù)集團(tuán)數(shù)據(jù)運(yùn)營(yíng)要求，定期進(jìn)行規(guī)則庫(kù)、基礎(chǔ)數(shù)據(jù)庫(kù)、關(guān)聯(lián)算法的更新升版。數(shù)據(jù)模型與算法例行更新

輕度匯總規(guī)范

應(yīng)用指標(biāo)規(guī)范

根據(jù)集團(tuán)集團(tuán)下發(fā)的XDR數(shù)據(jù)孤帆定期進(jìn)

行模型、算法、合理性規(guī)則的自檢更新?？梢暬O(jiān)測(cè)預(yù)警

原始XDR監(jiān)測(cè)

監(jiān)測(cè)內(nèi)容：數(shù)據(jù)完整性、及時(shí)性、準(zhǔn)確性

監(jiān)測(cè)周期：

5分鐘、15分鐘

預(yù)警手段：

PC端、短信、郵件DPI升級(jí)場(chǎng)景工程割接場(chǎng)景多手段問(wèn)題定位通過(guò)調(diào)用元數(shù)據(jù)血統(tǒng)分析、

ETL/設(shè)備日志關(guān)聯(lián)、經(jīng)驗(yàn)檢索協(xié)助問(wèn)題定位。問(wèn)題督辦與閉環(huán)摘掛牌督辦處理過(guò)程進(jìn)行跟蹤；頻發(fā)、長(zhǎng)期未解決問(wèn)題納入摘掛牌管理，

定期通報(bào)、

評(píng)價(jià)與考核。DPI識(shí)別規(guī)則庫(kù)規(guī)范終端等配置表規(guī)范關(guān)聯(lián)合成規(guī)范地址變更設(shè)備擴(kuò)容網(wǎng)元擴(kuò)容探針擴(kuò)容網(wǎng)元割接分光器割接數(shù)據(jù)模型與算法例行更新LOG日志關(guān)聯(lián)經(jīng)驗(yàn)庫(kù)檢索一體化數(shù)據(jù)質(zhì)量保障手段工程割接與DPI升級(jí)協(xié)同元數(shù)據(jù)分析

KQI指標(biāo)規(guī)范共享數(shù)據(jù)監(jiān)測(cè)XDR規(guī)范問(wèn)題閉環(huán)73數(shù)據(jù)質(zhì)量管控工具從網(wǎng)管數(shù)據(jù)的生產(chǎn)環(huán)境、采集、處理、消費(fèi)全過(guò)程進(jìn)行質(zhì)量監(jiān)控與保障。統(tǒng)一的數(shù)據(jù)質(zhì)量監(jiān)控多方式質(zhì)量問(wèn)題分析靈活規(guī)則設(shè)置74▉血統(tǒng)/影響分析幫助問(wèn)題定位質(zhì)量規(guī)則的統(tǒng)一管理知識(shí)庫(kù)管理與查詢靈活的規(guī)則設(shè)置質(zhì)量告警監(jiān)控質(zhì)量問(wèn)題呈現(xiàn)數(shù)據(jù)質(zhì)量核查手段▉

該平臺(tái)定位于數(shù)據(jù)問(wèn)題管理中心，遵循問(wèn)題發(fā)現(xiàn)、分析、解決、評(píng)估的閉環(huán)管理模式，對(duì)數(shù)據(jù)的運(yùn)行環(huán)境、采集、處理、消費(fèi)進(jìn)行全程的監(jiān)控評(píng)估。報(bào)表報(bào)告數(shù)據(jù)質(zhì)量分析專題經(jīng)驗(yàn)庫(kù)經(jīng)驗(yàn)庫(kù)查詢經(jīng)驗(yàn)庫(kù)維護(hù)數(shù)據(jù)質(zhì)量信息存儲(chǔ)

③根據(jù)檢測(cè)規(guī)則

生成質(zhì)量問(wèn)題

數(shù)據(jù)質(zhì)量信息庫(kù)

數(shù)據(jù)質(zhì)量問(wèn)題庫(kù)

⑧質(zhì)量評(píng)估考核數(shù)據(jù)質(zhì)量統(tǒng)一門戶②獲取質(zhì)量信息日志規(guī)則配置數(shù)據(jù)質(zhì)量規(guī)則庫(kù)問(wèn)題閉環(huán)督辦問(wèn)題分析質(zhì)量監(jiān)控主動(dòng)核查質(zhì)量日志采集磐石行動(dòng)專項(xiàng)性能管理專題部省接口上報(bào)數(shù)據(jù)質(zhì)量日志采集數(shù)據(jù)加工過(guò)程日志采集平臺(tái)運(yùn)行日志采集問(wèn)題摘掛牌督辦問(wèn)題轉(zhuǎn)派閉環(huán)質(zhì)量告警質(zhì)量評(píng)估評(píng)估規(guī)則配置評(píng)估報(bào)告報(bào)告經(jīng)驗(yàn)庫(kù)查詢血緣分析質(zhì)量概覽家寬xDR質(zhì)量稽核熱門業(yè)務(wù)統(tǒng)計(jì)上報(bào)家寬端到端應(yīng)用日志采集第三方ETL日志采集視頻端到端LTE

xDR質(zhì)量稽核4G實(shí)時(shí)數(shù)據(jù)上報(bào)檢查規(guī)則配置采集規(guī)則配置Inspur

ETL日志采集設(shè)備日志采集任務(wù)調(diào)度元數(shù)據(jù)管理工單表核查日

志采集字段核查

日志采集文件核查

日志采集⑦質(zhì)量問(wèn)題處

理經(jīng)驗(yàn)總結(jié)⑤問(wèn)題分

析定位⑥問(wèn)題派

單督辦④讀取質(zhì)量問(wèn)題問(wèn)題處理經(jīng)驗(yàn)庫(kù)①讀取規(guī)則7576共享統(tǒng)計(jì)數(shù)據(jù)質(zhì)量稽核▉

對(duì)共享文件、上報(bào)文件的數(shù)據(jù)合規(guī)性、文件一致性進(jìn)行實(shí)時(shí)稽核預(yù)警，

及時(shí)發(fā)現(xiàn)數(shù)據(jù)問(wèn)題，

降低應(yīng)用端影響。核查內(nèi)容核查規(guī)則及時(shí)性文件生成時(shí)延完整性文件數(shù)文件大小記錄數(shù)列數(shù)是否有標(biāo)題行準(zhǔn)確性成功率類指標(biāo)時(shí)延類指標(biāo)速率類指標(biāo)流量類指標(biāo)（地市/?。┕蚕砦募?/p>

致性檢查數(shù)據(jù)共享平臺(tái)共享文件

上報(bào)文件4G非實(shí)時(shí)、重要網(wǎng)元、終端、視頻）數(shù)據(jù)質(zhì)量稽核核查內(nèi)容核查規(guī)則及時(shí)性文件共享報(bào)時(shí)延一致性文件數(shù)文件大小總部性能管理專題應(yīng)用數(shù)據(jù)質(zhì)量實(shí)時(shí)預(yù)警分析數(shù)據(jù)合規(guī)性稽核數(shù)據(jù)上報(bào)上報(bào)文件共享文件數(shù)據(jù)質(zhì)量共享文件一致性檢查規(guī)則數(shù)據(jù)合規(guī)性核查規(guī)則數(shù)據(jù)文件共享/上報(bào)（4G實(shí)時(shí)、數(shù)據(jù)共享共享統(tǒng)計(jì)數(shù)據(jù)質(zhì)量稽核▉

以集團(tuán)上報(bào)類匯總統(tǒng)計(jì)數(shù)據(jù)為例，數(shù)據(jù)合規(guī)性稽核實(shí)際效果如下：7778

共享統(tǒng)計(jì)數(shù)據(jù)質(zhì)量稽核▉

以集團(tuán)上報(bào)類匯總統(tǒng)計(jì)數(shù)據(jù)為例，數(shù)據(jù)文件一致性檢查實(shí)際效果如下：

79

接口數(shù)據(jù)保障▉

接口數(shù)據(jù)補(bǔ)報(bào)處理機(jī)制：類型內(nèi)容舉例資源數(shù)據(jù)合理性關(guān)鍵維度字段是否為空、重復(fù)賬號(hào)數(shù)量占比、

bandwidth為空占比、用戶數(shù)、數(shù)據(jù)記錄數(shù)、

ONU總數(shù)、

OLT總數(shù)、

BRAS總

數(shù)、

BRAS下行端口總數(shù)、XDR數(shù)據(jù)

合理性關(guān)鍵字段為空XDR占比、業(yè)務(wù)大類填充為空或0占比、業(yè)務(wù)大類編號(hào)大于18占比、業(yè)務(wù)小類為空或0占比、業(yè)務(wù)小類匹配占比、業(yè)務(wù)完成標(biāo)識(shí)填充率、上行流量填充率、下行流量填充率、HTTP/WAP事務(wù)狀態(tài)填充率、業(yè)務(wù)完成標(biāo)識(shí)填充率、業(yè)務(wù)完成標(biāo)識(shí)與事務(wù)狀態(tài)不一致的占比、第一個(gè)HTTP響應(yīng)包時(shí)延填充率、最后一個(gè)HTTP內(nèi)容包時(shí)延填充率、最后一個(gè)ACK確認(rèn)包時(shí)延填充率性能指標(biāo)合理性O(shè)NU發(fā)光功率異常占比、

ONU收光功率異常占比、

ONU數(shù)量占比、OLT異常數(shù)據(jù)占比、

OLT數(shù)量占比、

OLT

PON口數(shù)據(jù)異常占比、

OLT

PON口數(shù)量占比、

BRAS異常數(shù)據(jù)占比、

BRAS數(shù)量占比、

BRAS下聯(lián)口數(shù)據(jù)異常占比、BRAS下聯(lián)口數(shù)量占比數(shù)據(jù)質(zhì)量運(yùn)維保障▉

制定定期數(shù)據(jù)質(zhì)量巡檢任務(wù)+每周/每月數(shù)據(jù)質(zhì)量專題報(bào)告相結(jié)合的運(yùn)維保障機(jī)制。80一、建設(shè)背景二、行業(yè)大數(shù)據(jù)治理平臺(tái)方案三、核心功能介紹1、數(shù)據(jù)共享交換平臺(tái)2、主數(shù)據(jù)管理3、數(shù)據(jù)質(zhì)量管理4、數(shù)據(jù)安全管控四、平臺(tái)案例目錄CONTENTS8182

大數(shù)據(jù)時(shí)代▉信息技術(shù)的快速發(fā)展和各種IT技術(shù)的廣泛應(yīng)用，數(shù)據(jù)資產(chǎn)已經(jīng)成為政企單位核心資產(chǎn)的組成部分，也是組織的核心競(jìng)爭(zhēng)力的體現(xiàn)。逐步走向數(shù)據(jù)共享為基礎(chǔ)，激活生產(chǎn)力為目的的大數(shù)據(jù)時(shí)代。分散

DB（MIS）信息電子化，數(shù)據(jù)

被各種系統(tǒng)記錄，

數(shù)據(jù)的流動(dòng)和應(yīng)用

從集中走向分散共享

BIG

DATA量變引發(fā)形態(tài)變化，大數(shù)據(jù)，數(shù)據(jù)的共享成為社會(huì)化協(xié)同的基礎(chǔ)，數(shù)據(jù)智能回歸線上，成為業(yè)務(wù)流

的核心，數(shù)據(jù)成為獨(dú)立的生產(chǎn)要

素與經(jīng)濟(jì)資源.政企單位內(nèi)部信息高度

集中。文檔、管理者頭腦中.了系統(tǒng)、組織和地

域邊界，

從數(shù)據(jù)中尋找決策依據(jù).流動(dòng)

BI/DW信息膨脹，數(shù)據(jù)爆炸，信息流動(dòng)突破集中No

DB?數(shù)據(jù)在哪里產(chǎn)生？-

IOTto

IOE?數(shù)據(jù)在哪里存儲(chǔ)？-

無(wú)所不在的端

&云?數(shù)據(jù)在哪里使用？-

每一個(gè)生產(chǎn)環(huán)節(jié)-

DT的價(jià)值發(fā)揮?

數(shù)據(jù)在哪里“丟失”的？-每一個(gè)生產(chǎn)環(huán)節(jié)的每一個(gè)組成要素-交換、共享、披露等外部環(huán)節(jié)83大數(shù)據(jù)環(huán)境下，數(shù)據(jù)與數(shù)據(jù)風(fēng)險(xiǎn)無(wú)處不在84

數(shù)據(jù)安全問(wèn)題愈演愈烈▉數(shù)據(jù)在收集、存儲(chǔ)、傳輸和共享流通的過(guò)程中，缺乏必要的技術(shù)保障手段，使得大量敏感信息的安全性無(wú)法得到有效的保障。集中的高價(jià)值數(shù)據(jù)，就也面臨越來(lái)越多的安全風(fēng)險(xiǎn)，一旦出現(xiàn)數(shù)據(jù)泄露，會(huì)給政企單位帶數(shù)據(jù)已成為追逐目標(biāo)！數(shù)據(jù)安全問(wèn)題愈發(fā)頻發(fā)，影響愈發(fā)嚴(yán)重來(lái)不給估量的損失和影響。國(guó)家對(duì)數(shù)據(jù)安全提出明確要求▉全國(guó)人民代表大會(huì)常務(wù)委員會(huì)于2016年11月7日發(fā)布，自2017年6月1日起施行《網(wǎng)絡(luò)安全法》-

在網(wǎng)絡(luò)安全法中，有大量篇幅的內(nèi)容是與數(shù)據(jù)安全相關(guān)的，涉及到技術(shù)和管理兩個(gè)方面的內(nèi)容。概括起來(lái)說(shuō)，網(wǎng)絡(luò)安全法

中有關(guān)網(wǎng)絡(luò)數(shù)據(jù)安全的技術(shù)性要求有如下幾點(diǎn)：.

對(duì)數(shù)據(jù)訪問(wèn)日志進(jìn)行審計(jì)，且日志留存時(shí)間不低于6個(gè)月（第21條）；.

對(duì)數(shù)據(jù)進(jìn)行分類，將敏感數(shù)據(jù)與普通數(shù)據(jù)區(qū)別化處理（第21條）

；.

對(duì)重要數(shù)據(jù)進(jìn)行備份，容災(zāi)（第21、

34條）

；.

對(duì)重要數(shù)據(jù)進(jìn)行加密（第21、

31條）

；.

對(duì)個(gè)人信息進(jìn)行脫敏（第42條）。-

網(wǎng)絡(luò)安全法中涉及到的數(shù)據(jù)包括一般網(wǎng)絡(luò)數(shù)據(jù)（第21條）

，并且單獨(dú)對(duì)基礎(chǔ)信息基礎(chǔ)設(shè)施數(shù)據(jù)（第34條）

、

用戶信息和個(gè)人信息

（第42條），進(jìn)行重點(diǎn)保護(hù)。▉十三屆全國(guó)人大二次會(huì)議3月4日上午在人民大會(huì)堂新聞發(fā)布廳舉行新聞發(fā)布會(huì)，

2019年將制定數(shù)據(jù)安全法。85網(wǎng)絡(luò)安全設(shè)備安全應(yīng)用安全平臺(tái)安全終端安全信息安全體系數(shù)據(jù)安全關(guān)注重點(diǎn)86數(shù)據(jù)采集需要采集接收的數(shù)據(jù)

多源異構(gòu)，數(shù)據(jù)接入

方式多種多樣，造成

數(shù)據(jù)采集源頭存在安

全隱患，數(shù)據(jù)溯源難數(shù)據(jù)流通數(shù)據(jù)使用明文數(shù)據(jù)收集之后進(jìn)行整

合處理落地到數(shù)據(jù)庫(kù)以及

加工使用，應(yīng)用展現(xiàn)，

數(shù)據(jù)都是以明文的形式呈現(xiàn)

給業(yè)務(wù)、運(yùn)維及管理等內(nèi)

部人員。權(quán)限濫用，誤操

作，缺乏審計(jì)等原因很容

易竊取或非法修改數(shù)據(jù)交換共享促進(jìn)了數(shù)據(jù)的流通，數(shù)據(jù)不再局限于部

門內(nèi)、政企單位內(nèi)使用，數(shù)據(jù)流通環(huán)節(jié)增大了數(shù)據(jù)泄露等安全隱患，需要對(duì)數(shù)據(jù)的去向進(jìn)行跟蹤。87數(shù)據(jù)時(shí)代的數(shù)據(jù)安全威脅數(shù)據(jù)分類分級(jí)數(shù)據(jù)來(lái)源和流向溯源數(shù)據(jù)駐留和資產(chǎn)地圖元數(shù)據(jù)的管理數(shù)據(jù)中間沉淀權(quán)限漏洞非法爬蟲數(shù)據(jù)濫用信息泄露回溯研發(fā)后門&模型和BI外包云環(huán)境可信性大數(shù)據(jù)綜合風(fēng)險(xiǎn)

數(shù)量多、形式多，數(shù)據(jù)關(guān)系復(fù)雜，難以進(jìn)行梳理

對(duì)于內(nèi)容是否敏感由人主觀意愿判定，

缺乏標(biāo)準(zhǔn)性-缺乏自動(dòng)化的數(shù)據(jù)內(nèi)容分類和標(biāo)記技術(shù)手段缺乏數(shù)據(jù)分類保護(hù)規(guī)范和分類分級(jí)安全策略-缺乏對(duì)不同數(shù)據(jù)在不同位置的風(fēng)險(xiǎn)評(píng)估視圖，保護(hù)難以下手覆蓋不同位置的存儲(chǔ)、傳輸、使用全過(guò)程的保護(hù)成

本高無(wú)法明確某類敏感數(shù)據(jù)在組織的整體分布情況-數(shù)據(jù)類型多、形態(tài)多、數(shù)量多，增加內(nèi)容識(shí)別的難度-缺乏處理漏報(bào)和誤報(bào)的技術(shù)手段-需要覆蓋終端、網(wǎng)絡(luò)、系統(tǒng)、數(shù)據(jù)庫(kù)、存儲(chǔ)等所有位置缺乏數(shù)據(jù)保護(hù)評(píng)價(jià)指標(biāo)、方法和數(shù)據(jù)數(shù)據(jù)保護(hù)管控措施的有效性無(wú)法客觀評(píng)價(jià)和感知缺乏評(píng)價(jià)導(dǎo)致無(wú)法有效改進(jìn)，難以保證事件再次發(fā)生數(shù)據(jù)時(shí)代的安全管理難點(diǎn)

B

C

AD88

分類分級(jí)安全策略

89

數(shù)據(jù)安全治理-總體思路管理機(jī)制全過(guò)程防控面

向

數(shù)

據(jù)

采

集

、數(shù)

據(jù)加

工

處理

、數(shù)

據(jù)使

用及

數(shù)據(jù)流通的全

過(guò)程

，

采取加密、訪問(wèn)控制、脫

敏、水印、監(jiān)視等技術(shù)手段進(jìn)行

全方位技術(shù)防

護(hù)。數(shù)據(jù)梳理對(duì)

于

數(shù)

據(jù)

資

產(chǎn)

進(jìn)行

梳理

，

評(píng)估

所有者

、

用

途

、

存

儲(chǔ)、分發(fā)

、

價(jià)值

等屬性，

進(jìn)

行

數(shù)

據(jù)

分類

分級(jí)

管

控。0504制定防控方法在

分

類

分

級(jí)

的

基礎(chǔ)

上，分

別制定安全防護(hù)

策

略和

管控

流

程，實(shí)

現(xiàn)

數(shù)

據(jù)

的

分

級(jí)安

全管

控

。風(fēng)險(xiǎn)評(píng)估監(jiān)

控

敏

感

數(shù)

據(jù)

異常

訪問(wèn)

行

為，進(jìn)

行

風(fēng)

險(xiǎn)

評(píng)

估

，

形

成安

全

態(tài)勢(shì)感知改進(jìn)措施持

續(xù)

修

正

優(yōu)

化

分類

分級(jí)

及

相應(yīng)

的

管

控

策

略

及

管理

制度

，

持續(xù)

有效的保障

數(shù)

據(jù)安

全。0102組織保障建

立

安

全

保

障

組織

，

構(gòu)

建

構(gòu)建

安全

管理

機(jī)制

，

共

同負(fù)責(zé)

數(shù)據(jù)

安全

。技術(shù)防護(hù)持續(xù)優(yōu)化態(tài)勢(shì)感知0306數(shù)據(jù)安全治理-業(yè)務(wù)邏輯90結(jié)構(gòu)化數(shù)據(jù)

|非結(jié)構(gòu)數(shù)據(jù)業(yè)務(wù)系統(tǒng)

管理系統(tǒng)

運(yùn)維系統(tǒng)第三方系統(tǒng)……數(shù)據(jù)加密數(shù)據(jù)脫敏數(shù)據(jù)審計(jì)

數(shù)字水印權(quán)限控制風(fēng)險(xiǎn)規(guī)則管理風(fēng)險(xiǎn)行為監(jiān)控風(fēng)險(xiǎn)行為分析風(fēng)險(xiǎn)行為預(yù)警安全態(tài)勢(shì)評(píng)估安全策略配置加密密鑰管理脫敏算法管理水印參數(shù)設(shè)置用戶權(quán)限配置

分類信息管理分級(jí)信息管理分類規(guī)則管理數(shù)據(jù)修正敏感數(shù)據(jù)地圖

數(shù)據(jù)安全治理-功能架構(gòu)91數(shù)據(jù)安全治理分類分級(jí)管理安全態(tài)勢(shì)感知安全策略管理數(shù)據(jù)安全治理-管理機(jī)制▉數(shù)據(jù)安全，三分管，七分治。組織構(gòu)架安全管理組織，制定安全管理機(jī)制，保障安全管理工作順利執(zhí)行。管理層控制層執(zhí)行層部門

數(shù)據(jù)安全經(jīng)理

管理團(tuán)隊(duì)數(shù)據(jù)

數(shù)據(jù)資源owner審計(jì)集團(tuán)統(tǒng)一集團(tuán)統(tǒng)一，CRO控制點(diǎn)

owner數(shù)據(jù)安全BU可選生成方策略層小組員工92數(shù)據(jù)安全治理-分類分級(jí)▉支持關(guān)鍵字、正則表達(dá)式、以及人工智能等多種數(shù)據(jù)識(shí)別技術(shù)，適應(yīng)多種分類分級(jí)規(guī)則制定。AI分類分級(jí)自然語(yǔ)言處理、先進(jìn)數(shù)據(jù)挖掘（聚

類、分類等）、機(jī)器學(xué)習(xí)

（無(wú)監(jiān)督、有監(jiān)督）結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)內(nèi)置規(guī)則內(nèi)置豐富的敏感數(shù)據(jù)識(shí)別規(guī)則，包括個(gè)人信息、銀行及卡號(hào)、車等信息等關(guān)鍵字、正則表達(dá)式規(guī)則自定義通配符、簡(jiǎn)單邏輯描述、簡(jiǎn)

單關(guān)聯(lián)、序列等支持對(duì)元數(shù)據(jù)模型

進(jìn)行分類分級(jí)支持對(duì)數(shù)據(jù)內(nèi)容進(jìn)

行分類分級(jí)數(shù)據(jù)內(nèi)容數(shù)據(jù)模型93數(shù)據(jù)安全治理-分類分級(jí)分類分級(jí)管理運(yùn)營(yíng)商數(shù)據(jù)分類分級(jí)示例AI分類規(guī)則生成工具分類規(guī)則設(shè)定內(nèi)置規(guī)則94數(shù)據(jù)安全治理-安全策略▉基于分類分級(jí)的結(jié)果，支持面向數(shù)據(jù)的采集、加工、使用、流通全生命周期分別設(shè)定相應(yīng)的安全策略。1策略基本

信息2應(yīng)用用戶

對(duì)象3應(yīng)用數(shù)據(jù)

對(duì)象4數(shù)據(jù)操作

環(huán)節(jié)5安全治理

方式6后續(xù)處理

流程厄

數(shù)據(jù)加密回?cái)?shù)據(jù)脫敏

添加水印

日志審計(jì)

厄

金庫(kù)審批

DLP防泄漏

接口令牌安全治理方式

權(quán)限控制安全策略管理95

96

數(shù)據(jù)安全治理-技術(shù)防護(hù)▉根據(jù)安全策略的制定情況，通過(guò)加密、脫敏、水印、審計(jì)等技術(shù)手段執(zhí)行相應(yīng)策略，實(shí)現(xiàn)安全治理，為應(yīng)用提供安全服務(wù)。?

數(shù)據(jù)分類分級(jí)?

權(quán)限控制?

權(quán)限控制?

權(quán)限控制?

數(shù)據(jù)動(dòng)態(tài)加密?

打標(biāo)簽?

數(shù)據(jù)庫(kù)加密?

數(shù)據(jù)動(dòng)態(tài)加密?

數(shù)據(jù)動(dòng)態(tài)加密?

數(shù)字水印?

數(shù)據(jù)庫(kù)靜態(tài)脫敏?

數(shù)據(jù)庫(kù)審計(jì)?

差分隱私?

數(shù)據(jù)動(dòng)態(tài)脫敏?

數(shù)字水印?

審計(jì)?

數(shù)據(jù)動(dòng)態(tài)脫敏?

接口令牌?DLP防泄漏數(shù)據(jù)全生命周期數(shù)據(jù)采集

數(shù)據(jù)存儲(chǔ)

數(shù)據(jù)加工

數(shù)據(jù)使用

數(shù)據(jù)傳播數(shù)據(jù)安全治理平臺(tái)，

實(shí)施統(tǒng)一管控安全服務(wù)安全管理安全控制動(dòng)態(tài)策略97

數(shù)據(jù)安全治理-風(fēng)險(xiǎn)評(píng)估▉通過(guò)建立安全風(fēng)險(xiǎn)發(fā)現(xiàn)模型，對(duì)數(shù)據(jù)全生命周期過(guò)程進(jìn)行監(jiān)控，分析用戶行為，實(shí)時(shí)發(fā)現(xiàn)高風(fēng)險(xiǎn)問(wèn)題進(jìn)行預(yù)警分析，實(shí)現(xiàn)安全態(tài)勢(shì)評(píng)估。

敏感數(shù)據(jù)異常訪問(wèn)模型

數(shù)據(jù)庫(kù)訪問(wèn)行為模型

業(yè)務(wù)系統(tǒng)用

戶訪問(wèn)行為。

監(jiān)控用戶行為及審計(jì)。

根據(jù)風(fēng)險(xiǎn)模型進(jìn)行風(fēng)險(xiǎn)發(fā)現(xiàn)。

高密級(jí)數(shù)據(jù)的異常訪問(wèn)風(fēng)險(xiǎn)預(yù)警。

幫助政企單位直觀感知安