![數(shù)據(jù)治理平臺(tái)工具前世今生_第1頁](http://file4.renrendoc.com/view12/M06/04/14/wKhkGWYycZSAY-J1AAG9fltkiWI107.jpg)
![數(shù)據(jù)治理平臺(tái)工具前世今生_第2頁](http://file4.renrendoc.com/view12/M06/04/14/wKhkGWYycZSAY-J1AAG9fltkiWI1072.jpg)
![數(shù)據(jù)治理平臺(tái)工具前世今生_第3頁](http://file4.renrendoc.com/view12/M06/04/14/wKhkGWYycZSAY-J1AAG9fltkiWI1073.jpg)
![數(shù)據(jù)治理平臺(tái)工具前世今生_第4頁](http://file4.renrendoc.com/view12/M06/04/14/wKhkGWYycZSAY-J1AAG9fltkiWI1074.jpg)
![數(shù)據(jù)治理平臺(tái)工具前世今生_第5頁](http://file4.renrendoc.com/view12/M06/04/14/wKhkGWYycZSAY-J1AAG9fltkiWI1075.jpg)
版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
數(shù)據(jù)治理平臺(tái)工具前世今生
前言
伴隨著企事業(yè)單位信息化不斷的深入、各種技術(shù)持續(xù)的發(fā)展以及人們
對(duì)數(shù)據(jù)治理的認(rèn)知不斷加深,數(shù)據(jù)治理工具在過去的20年也不斷的發(fā)展,
筆者以某世界500集團(tuán)企業(yè)案例為原型,介紹數(shù)據(jù)治理工具發(fā)展及變遷
及未來發(fā)展趨勢(shì)和方向,供廣大讀參考。
一、數(shù)據(jù)治理背景介紹
狹義上講,數(shù)據(jù)治理是指對(duì)數(shù)據(jù)質(zhì)量的管理、專注在數(shù)據(jù)本身。廣義
上講,數(shù)據(jù)治理是對(duì)數(shù)據(jù)的全生命周期進(jìn)行管理,包含數(shù)據(jù)采集、清洗、
轉(zhuǎn)換等傳統(tǒng)數(shù)據(jù)集成和存儲(chǔ)環(huán)節(jié)的工作、同時(shí)還包含數(shù)據(jù)資產(chǎn)目錄、數(shù)
據(jù)標(biāo)準(zhǔn)、質(zhì)量、安全、數(shù)據(jù)開發(fā)、數(shù)據(jù)價(jià)值、數(shù)據(jù)服務(wù)與應(yīng)用等,整個(gè)
數(shù)據(jù)生命期而開展開的業(yè)務(wù)、技術(shù)和管理活動(dòng)都屬于數(shù)據(jù)治理范疇。有
的專家干脆把廣義的數(shù)據(jù)治理稱為數(shù)據(jù)資產(chǎn)管理。
數(shù)據(jù)治理專注于將數(shù)據(jù)作為企事業(yè)單位數(shù)據(jù)資產(chǎn)進(jìn)行應(yīng)用和管理的
一套管理機(jī)制,能夠消除數(shù)據(jù)的不一致性,建立規(guī)范的數(shù)據(jù)應(yīng)用標(biāo)準(zhǔn),
提高數(shù)據(jù)質(zhì)量,實(shí)現(xiàn)數(shù)據(jù)內(nèi)外部共享,并能夠?qū)?shù)據(jù)作為組織的寶貴資
產(chǎn)應(yīng)用于業(yè)務(wù)、管理、戰(zhàn)略決策中,發(fā)揮數(shù)據(jù)資產(chǎn)價(jià)值。
二、數(shù)據(jù)治理管理工具演變歷程及各自階段典型特點(diǎn)
筆者根據(jù)20年的從業(yè)信息化行業(yè)經(jīng)驗(yàn),總結(jié)了數(shù)據(jù)治理工具演變歷
程和在不同階段典型特征。
圖1.數(shù)據(jù)治理管理工具演變歷程
1)第一代數(shù)據(jù)治理工具-編碼時(shí)代(起步期,1994-2004年)
在這個(gè)時(shí)代里,企事業(yè)單位各種MIS系統(tǒng)得到較好的發(fā)展和應(yīng)用,
最典型莫過于是物資管理系統(tǒng)、進(jìn)銷存系統(tǒng)、PDM系統(tǒng)等信息系統(tǒng)。為
了確保這些MIS系統(tǒng)各種編碼好用,好查,避免一物多碼情況的發(fā)生,
一些大型集團(tuán)企業(yè)在早期開發(fā)一些名叫“編碼系統(tǒng)”“編碼網(wǎng)站”等系
統(tǒng),這些系統(tǒng)主要發(fā)布主數(shù)據(jù)代碼為主,配合某一單一的MIS系統(tǒng)應(yīng)用
為主,有的甚至在這些單一系統(tǒng)開發(fā)一個(gè)模塊,如編碼模塊。這是數(shù)據(jù)
治理工具最早期的工具,確保MIS中各種編碼唯一性。
以下為編碼管理系統(tǒng)功能架構(gòu)。
9碼管理茶陵
[.碼底詢|[』瑪下般]|落息文件0慎—II體息發(fā)布*碼論壇]I■要遇告
建模竹卉流程及報(bào)表系統(tǒng)鐘對(duì)
財(cái)務(wù)仁數(shù)集
HR系統(tǒng)
圖2.編碼管理工具功能結(jié)構(gòu)圖
以下以物資編碼管理系統(tǒng)為例,列舉了物料編碼系統(tǒng)功能點(diǎn)。
_[才期俏JUFMr理
-I匚",權(quán)限不;巴
組織機(jī)構(gòu)性FE編碼規(guī)則青豆
H-{探仆■3?汴丹十不單位4"5一
系統(tǒng)在價(jià),恢些
汁;j⑴,<憧a廠系
樣板心對(duì)
接I1冬跳QF?物貨主分類a護(hù)
T接口管理?,尸時(shí)什齊曾有
也據(jù)化慚1管外
Wi領(lǐng)介類片點(diǎn)維獷
基礎(chǔ)數(shù)據(jù)管理
3及再中注忸摭關(guān)系
1物倭編碼中核
—(區(qū)弓州5維拼
物溶編碼歿聲—|汕名把加倭改
?-I所南伊/;,:說編四
—|物洛打叨於同
伊應(yīng)順編碼市核
用戶物故編代甘現(xiàn)
供應(yīng)商編碼征護(hù)
—機(jī)必商編碼管理
I料儕編鋁yrihi
映射除期
代6勺央"詢認(rèn)|■I煽H”中酒氣訊
統(tǒng)”?與查詢
I但也府門出
I~八,「I-w「.?面
圖3.物料編碼管理系統(tǒng)功能范例
在這個(gè)時(shí)代,編碼系統(tǒng)采用B/S架構(gòu)、C/S架構(gòu)都有,采用.net和JAVA
技術(shù)居多,通過分發(fā)和訂閱形式發(fā)布數(shù)據(jù)。以下為物資編碼系統(tǒng)系統(tǒng)頁
面。
a—X匚
■RMW.|~!gBl
ZMMW?&GMK?WN±£)主ns
1?00000007U?iMaffiJL/08^tIMiQxW
2匕000000061.?HL室士?E?fl[Ktt6A[Ga/
3碰00000005■■■一,M10xgQ94gqIGa/T12J7
4口OOOOOOCMXL,S<ae:1MlOxCO48A2《
5fii00000003?awt]Mg*WQGAIGa/n2”[s
■磯
圖4.物料編碼管理系統(tǒng)功能頁面范例
2)第二代數(shù)據(jù)治理工具■■主數(shù)據(jù)管理時(shí)代(發(fā)展期,2005年-2011年)
這個(gè)時(shí)代最典型是國內(nèi)很多大型集團(tuán)企業(yè)流行實(shí)施ERP系統(tǒng),國外
主流產(chǎn)品例如SAPERP和OracleEBS等產(chǎn)品,國內(nèi)主流產(chǎn)品例如用友的
U8、NC、金蝶的1<3等。
最早的是些外國ERP廠商推出MDM產(chǎn)品,例如Informatica>Oracle>
IBM、SAP、微軟都采取了自有產(chǎn)品并提供主數(shù)據(jù)管理解決方案,集中管
理單一版本的、完整的和可信任的主數(shù)據(jù)信息。這些產(chǎn)品具有企業(yè)級(jí)主
數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)整合、數(shù)據(jù)共享、數(shù)據(jù)質(zhì)量、數(shù)據(jù)治理5大功能?;?/p>
SOA架構(gòu)的企業(yè)級(jí)應(yīng)用。支持兩種實(shí)施模式:即“推動(dòng)模式(交易模式)”
和“拉動(dòng)模式(共享模式)”。
主數(shù)據(jù)分發(fā)和交換主要采用企業(yè)服務(wù)總線(ESB)產(chǎn)品,較多使用國外
主流IT廠商產(chǎn)品,例如:微軟的BizTalk、IBMWAS、OracleOSB、
SAPXI(后來叫PI/PO)等。采用SOA,B/S架構(gòu),王要為ERP等經(jīng)營管
理系統(tǒng)服務(wù)。
住用戶微榭
D
e
v
的曳泣力wan用s分發(fā)e釐
o
MUULL"臺(tái)MM元效提a工
s
t
uM
d
o
圖5.某國際廠商MDM系統(tǒng)的功能結(jié)構(gòu)
某國際廠商主數(shù)據(jù)管理解決方案涵蓋主數(shù)據(jù)建模、數(shù)據(jù)導(dǎo)入、數(shù)據(jù)分
發(fā)、數(shù)據(jù)查重、數(shù)據(jù)校驗(yàn)、數(shù)據(jù)完善、數(shù)據(jù)創(chuàng)建流程等企業(yè)主數(shù)據(jù)管理
的各個(gè)方面。提供基于行業(yè)標(biāo)準(zhǔn)的模型建模語言,供客戶快速定義主數(shù)
據(jù)創(chuàng)建或?qū)徟鞒?,支持并行和串行流程,并提供?qiáng)大的流程分析報(bào)表,
幫助企業(yè)提高流程效率。同時(shí)提供Java/.Net/WebService等多種API,滿
足和企業(yè)內(nèi)其他系統(tǒng)集成的需求。該主數(shù)據(jù)管理解決方案可通過數(shù)據(jù)校
驗(yàn)、數(shù)據(jù)查重和數(shù)據(jù)合并等手段,有效的提高企業(yè)主數(shù)據(jù)的質(zhì)量。同時(shí)
提供可選的組件DataQuality,提供深度的數(shù)據(jù)質(zhì)量校驗(yàn)功能,如根據(jù)中
國郵政名址庫進(jìn)行客戶地址校驗(yàn)更正,提高地址的質(zhì)量。
系統(tǒng)集成平臺(tái)采用總線的方式進(jìn)行設(shè)計(jì)和搭建,總線的方式最適合大
規(guī)模、多系統(tǒng)的場(chǎng)景下系統(tǒng)集成的需求。
圖6.數(shù)據(jù)服務(wù)總線示意圖
通過實(shí)施主數(shù)據(jù)管理系統(tǒng),推動(dòng)主數(shù)據(jù)(如:客戶、供應(yīng)商、產(chǎn)品、
員工等)管理規(guī)范化、標(biāo)準(zhǔn)化,從而實(shí)現(xiàn)整個(gè)企業(yè)范圍內(nèi)主數(shù)據(jù)的統(tǒng)一
管理、集中維護(hù),并且實(shí)現(xiàn)這些主數(shù)據(jù)與各個(gè)關(guān)聯(lián)業(yè)務(wù)系統(tǒng)的協(xié)同和分
發(fā),保證企業(yè)在異構(gòu)環(huán)境中各個(gè)信息系統(tǒng)具有統(tǒng)一、準(zhǔn)確、高質(zhì)量的主
數(shù)據(jù),從而推進(jìn)業(yè)務(wù)流程的改進(jìn),提高生產(chǎn)力。
3)第三代數(shù)據(jù)治理工具-數(shù)據(jù)標(biāo)準(zhǔn)化時(shí)代(成熟期2012-2018年)
隨著大數(shù)據(jù)技術(shù)應(yīng)用以及智能工廠(車間)建設(shè),企業(yè)的信息信息系
統(tǒng)越來越多,尤其生產(chǎn)制造領(lǐng)域系統(tǒng)越來越普及深入,主數(shù)據(jù)服務(wù)不僅
僅只是限于以ERP為核心的經(jīng)營管理層面的系統(tǒng)。在這個(gè)時(shí)代,最典型
的以MES為核心的智能制造系統(tǒng)也提出更高需求?!凹屑?,創(chuàng)新提
升,共享服務(wù),協(xié)同智能”成為主旋律。
數(shù)據(jù)的集成和共享是其重要的特點(diǎn),更是強(qiáng)調(diào)數(shù)據(jù)的標(biāo)準(zhǔn)和統(tǒng)一。數(shù)
據(jù)標(biāo)準(zhǔn)化、規(guī)范化是實(shí)現(xiàn)信息集成和共享的前提,根本上消除各業(yè)務(wù)系
統(tǒng)的“信息孤島”。
“獨(dú)立、自主、安全、可控”在某些領(lǐng)域和行業(yè)提出國產(chǎn)化的需求,
去IOE的浪潮一浪蓋過一浪。很多大型集團(tuán)企業(yè)開始采用開源技術(shù)獨(dú)立
開發(fā)數(shù)據(jù)治理工具,采用微服務(wù)架構(gòu),滿足MES、PLM等多個(gè)層面數(shù)
據(jù)共享需求,內(nèi)容擴(kuò)展增加了動(dòng)態(tài)建模、移動(dòng)應(yīng)用,生產(chǎn)層面的主數(shù)據(jù)、
數(shù)據(jù)指標(biāo)、多語言等功能。數(shù)據(jù)交換平臺(tái)逐步采用國內(nèi)自主ESB相關(guān)產(chǎn)
品。
圖7.信息標(biāo)準(zhǔn)化管理平臺(tái)功能架構(gòu)
4)第四代數(shù)據(jù)治理工具-數(shù)據(jù)治理時(shí)代(展望期,2018年-至今)
近年來,隨著大數(shù)據(jù)平臺(tái)和工業(yè)互聯(lián)網(wǎng)興起,數(shù)據(jù)治理平臺(tái)主要采用
數(shù)據(jù)中臺(tái)技術(shù)和微服務(wù)架構(gòu)初步替代傳統(tǒng)架構(gòu)、面向大數(shù)據(jù)架構(gòu)下,為
數(shù)據(jù)資源中心與外部數(shù)據(jù)系統(tǒng)提供數(shù)據(jù)服務(wù)。對(duì)內(nèi)和對(duì)外系統(tǒng)提供云服
務(wù)。
數(shù)據(jù)治理的目標(biāo)是提高數(shù)據(jù)的質(zhì)量(準(zhǔn)確性和完整性),保證數(shù)據(jù)的
安全性(保密性、完整性及可用性),實(shí)現(xiàn)數(shù)據(jù)資源在各組織機(jī)構(gòu)部門
的共享;推進(jìn)信息資源的整合、對(duì)接和共享,從而提升政務(wù)單位信息化
水平,充分發(fā)揮信息化作用。
BSiftanp(PC?)依據(jù)治理門戶(App)
圖8.數(shù)據(jù)治理平臺(tái)技術(shù)架構(gòu)
實(shí)現(xiàn)數(shù)據(jù)打通,業(yè)務(wù)融合協(xié)同,共享、共用的中臺(tái)工具開發(fā)數(shù)據(jù)治理
產(chǎn)品。
三、數(shù)據(jù)治理管理工具功能架構(gòu)
數(shù)據(jù)治理管理工具用于落實(shí)數(shù)據(jù)管理體系,實(shí)現(xiàn)數(shù)據(jù)管理自動(dòng)化,提
高數(shù)據(jù)管理效率,確保數(shù)據(jù)質(zhì)量、實(shí)現(xiàn)安全數(shù)據(jù)共享。主要包括數(shù)據(jù)門
戶地圖、主數(shù)據(jù)管理、數(shù)據(jù)指標(biāo)、元數(shù)據(jù)管理、數(shù)據(jù)模型工具、、數(shù)據(jù)
交換與服務(wù)工具、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)開發(fā)、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全。
一體化數(shù)據(jù)治理與服務(wù)平臺(tái)功能
可信.及■有《■短皿目‘財(cái)我愜標(biāo)惹被據(jù)實(shí)體■&全文性*:敗界實(shí)體?示依雷BB蕭履示
主數(shù)據(jù)管理散掘指標(biāo)政據(jù)質(zhì)■數(shù)據(jù)安全數(shù)據(jù)開發(fā)數(shù)據(jù)模型工具
標(biāo)法數(shù)據(jù)申講?嫡指標(biāo)定義質(zhì)量標(biāo)盤分緞|||私尉務(wù)建梢
模型標(biāo)灌
2通切分類審核|猊計(jì)審評(píng)價(jià)
初戀ttys蛆件械掘市減故窗曜程
長據(jù)
數(shù)提清洗組件數(shù)據(jù)爻更指嫁數(shù)據(jù)質(zhì)則儺toKIKe福電設(shè)甘
日將H部署“度
數(shù)據(jù)貨產(chǎn)言理元數(shù)據(jù)詈理那試g證模也評(píng)審
資產(chǎn)??數(shù)據(jù)業(yè)務(wù)資產(chǎn)成本tna
ilHtta目小樓看
注冊(cè)目信Mmit評(píng)估評(píng)估SSSKB元即8理星向0關(guān)系元效據(jù)■詞
數(shù)據(jù)交換與服務(wù)
效堀9S務(wù)總坡(E5B)B務(wù)哪*文博?身整合?身MUI務(wù)坡第?務(wù)比考總HU?共軍■務(wù)故據(jù)加工件
圖9.一體化數(shù)據(jù)服務(wù)&治理平臺(tái)功能架構(gòu)
3.1數(shù)據(jù)門戶地圖
數(shù)據(jù)門戶管理,實(shí)現(xiàn)數(shù)據(jù)分布與地圖管理,建立可信源及擁有者管理、
數(shù)據(jù)目錄樹、數(shù)據(jù)實(shí)體、數(shù)據(jù)項(xiàng)、數(shù)據(jù)標(biāo)簽為基礎(chǔ)的數(shù)據(jù)資產(chǎn)目錄,打
破信息孤島和部門邊界,實(shí)現(xiàn)組織范圍內(nèi)的數(shù)據(jù)關(guān)聯(lián)與分析管理,實(shí)現(xiàn)
數(shù)據(jù)的便捷查詢、瀏覽,增強(qiáng)用戶體驗(yàn),提升業(yè)務(wù)價(jià)值,實(shí)現(xiàn)數(shù)據(jù)分級(jí)
分類,為數(shù)據(jù)戰(zhàn)略、數(shù)據(jù)管理策略的落地打下基礎(chǔ)。
1)數(shù)據(jù)資產(chǎn)目錄管理:可信源及擁有者管理(單位/業(yè)務(wù)域/信息系統(tǒng)
/數(shù)據(jù)庫等);數(shù)據(jù)目錄樹構(gòu)建(自動(dòng)、手動(dòng));數(shù)據(jù)實(shí)體管理(標(biāo)識(shí)、
名稱、時(shí)效性、描述、組成、子實(shí)體定義等);標(biāo)簽管理(打標(biāo)、分類
等);敏感數(shù)據(jù)管理(安全標(biāo)識(shí)、訪問權(quán)限)。
2)數(shù)據(jù)關(guān)聯(lián)與分析管理。實(shí)體關(guān)聯(lián)管理(表、字段映射等);全文檢
索(實(shí)體、標(biāo)簽、分類等);數(shù)據(jù)實(shí)體展示(實(shí)體、邏輯關(guān)系、數(shù)據(jù)集);
數(shù)據(jù)圖譜展示(實(shí)體、關(guān)聯(lián)、來源等);血緣關(guān)系和影響分析;供需關(guān)
系;數(shù)據(jù)對(duì)賬和使用跟蹤。
3.2元數(shù)據(jù)管理工具
元數(shù)據(jù)管理是對(duì)數(shù)據(jù)采集、存儲(chǔ)、加工和展現(xiàn)等數(shù)據(jù)全生命周期的描
述信息,幫助用戶理解數(shù)據(jù)關(guān)系和相關(guān)屬性。元數(shù)據(jù)管理工具可以了解
數(shù)據(jù)資產(chǎn)分布及產(chǎn)生過程。實(shí)現(xiàn)元數(shù)據(jù)的模型定義并存儲(chǔ),在功能層包
裝成各類元數(shù)據(jù)功能,最終對(duì)外提供應(yīng)用及展現(xiàn);提供元數(shù)據(jù)分類和建
模、血緣關(guān)系和影響分析,方便數(shù)據(jù)的跟蹤和回溯。
兀助8?掾si三方就用
鎮(zhèn)理
嬴
wsj^je
元數(shù)據(jù)對(duì)彖
道娥?型數(shù)據(jù)建模
表
,強(qiáng)摩
iMitsa
?
0代ernwH
數(shù)盤罐存儲(chǔ)庫
數(shù)據(jù)產(chǎn)品應(yīng)建模模型庫工作流慢雌
圖10.元數(shù)據(jù)管理功能架構(gòu)圖
1)元數(shù)據(jù)采集:能夠適應(yīng)異構(gòu)環(huán)境,支持從傳統(tǒng)關(guān)系型數(shù)據(jù)庫和大數(shù)
據(jù)平臺(tái)中采集從數(shù)據(jù)產(chǎn)生系統(tǒng)到數(shù)據(jù)加工處理系統(tǒng)到數(shù)據(jù)應(yīng)用報(bào)表系統(tǒng)
的全量元數(shù)據(jù),包括過程中的數(shù)據(jù)實(shí)體(系統(tǒng)、庫、表、字段的描述)
以及數(shù)據(jù)實(shí)體加工處理過程中的邏輯;
2)元數(shù)據(jù)管理:實(shí)現(xiàn)元數(shù)據(jù)的模型定義并存儲(chǔ),在功能層包裝成各類
元數(shù)據(jù)功能,最終對(duì)外提供應(yīng)用及展現(xiàn);提供元數(shù)據(jù)分類和建模、血緣
關(guān)系和影響分析,方便數(shù)據(jù)的跟蹤和回溯。
3)元數(shù)據(jù)展示:能夠根據(jù)類別、類型等信息展示各個(gè)數(shù)據(jù)實(shí)體的信息
及其分布情況,展示數(shù)據(jù)實(shí)體間的組合、依賴關(guān)系,以及數(shù)據(jù)實(shí)體加工
處理上下游的邏輯關(guān)系;
4)元數(shù)據(jù)應(yīng)用:元數(shù)據(jù)的應(yīng)用一般包括數(shù)據(jù)地圖,數(shù)據(jù)的血緣、影響
分析,全鏈分析等;
5)元數(shù)據(jù)搜索:可根據(jù)數(shù)據(jù)源庫、類型等搜索元數(shù)據(jù)信息。
3.3主數(shù)據(jù)管理工具
具備企業(yè)級(jí)主數(shù)據(jù)存儲(chǔ)、整合、清洗、監(jiān)管以及分發(fā)等五大功能,并
保證這些主數(shù)據(jù)在各個(gè)信息系統(tǒng)間的準(zhǔn)確性、一致性、完整性。
1)主數(shù)據(jù)存儲(chǔ)、整合:實(shí)現(xiàn)主數(shù)據(jù)整合、清洗、校驗(yàn)、合并等功能,
根據(jù)企業(yè)主數(shù)據(jù)標(biāo)準(zhǔn)和業(yè)務(wù)規(guī)則和主數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)對(duì)收集到的主數(shù)據(jù)進(jìn)
行加工和處理,用于提取分散在各個(gè)支撐系統(tǒng)中的主數(shù)據(jù)集中到主數(shù)據(jù)
存儲(chǔ)庫,合并和維護(hù)唯一、完整、準(zhǔn)確的主數(shù)據(jù)信息;
2)主數(shù)據(jù)管理:支持對(duì)企業(yè)主數(shù)據(jù)的操作維護(hù),包括主數(shù)據(jù)申請(qǐng)與
校驗(yàn)、審批、變更、凍結(jié)/解凍、發(fā)布、歸檔等全生命周期管理;
3)主數(shù)據(jù)分發(fā)與共享:實(shí)現(xiàn)主數(shù)據(jù)對(duì)外查詢和分發(fā)服務(wù),前者用于
在其它系統(tǒng)發(fā)出針對(duì)主數(shù)據(jù)實(shí)時(shí)響應(yīng)類查詢請(qǐng)求時(shí),返回所需數(shù)據(jù),后
者則用于提供批量數(shù)據(jù)分發(fā)服務(wù),一般采用企業(yè)服務(wù)總線(ESB工具)
實(shí)現(xiàn)方式。
4)主數(shù)據(jù)分析:實(shí)現(xiàn)對(duì)主數(shù)據(jù)的變更情況監(jiān)控,為主數(shù)據(jù)系統(tǒng)管理員
提供對(duì)主數(shù)據(jù)進(jìn)行分析、優(yōu)化、統(tǒng)計(jì)、比較等功能;
3.4數(shù)據(jù)指標(biāo)工具
圖H.數(shù)據(jù)指標(biāo)功能架構(gòu)
1)數(shù)據(jù)指標(biāo)定義:包含指標(biāo)主題分類、各業(yè)務(wù)域具體指標(biāo)定義、指標(biāo)
屬性及模型管理。包含對(duì)指標(biāo)的批量管理以及主題(即指標(biāo)樹)維護(hù),
其中主題維護(hù)主要包括對(duì)主題、一級(jí)主題、二級(jí)主題的維護(hù)。其中主題
含投資、市場(chǎng)分析、財(cái)務(wù)、資產(chǎn)、人力資源、生產(chǎn)、采購、銷售、庫存、
設(shè)備、工程、HSE、能源二十大類現(xiàn)有業(yè)務(wù)主題。
2)指標(biāo)維度管理:主要是生產(chǎn)層面設(shè)置的時(shí)間維度、空間維度、物料
維度以及層次維度四個(gè)維度的信息和所含具體維度進(jìn)行管理。
3)指標(biāo)維護(hù):包括指標(biāo)新增、修改、刪除、審批、凍結(jié)、解凍、發(fā)布
(分發(fā))、導(dǎo)出等部分組成一個(gè)有機(jī)的整體,不同用戶可根據(jù)自己的用
戶權(quán)限對(duì)數(shù)據(jù)指標(biāo)進(jìn)行申請(qǐng)、修改、查詢、審批、凍結(jié)、解凍等功能操
作。
4)指標(biāo)的查詢:提供對(duì)數(shù)據(jù)指標(biāo)主題、屬性、維度、指標(biāo)以及導(dǎo)入表
的按條件查詢、模糊查詢、樹狀查詢數(shù)據(jù)等。
5)指標(biāo)值的管理:實(shí)現(xiàn)對(duì)指標(biāo)數(shù)據(jù)的集成及存儲(chǔ)管理,定期向各系統(tǒng)
發(fā)布。
3.5數(shù)據(jù)資產(chǎn)管理
數(shù)據(jù)資產(chǎn)管理著力構(gòu)建數(shù)據(jù)資產(chǎn)管理體系,通過數(shù)據(jù)資產(chǎn)管理可將數(shù)
據(jù)規(guī)范管理和數(shù)據(jù)處理實(shí)現(xiàn)有機(jī)的融合,實(shí)現(xiàn)對(duì)具體資源數(shù)據(jù)的元數(shù)據(jù)
描述,支持利用標(biāo)準(zhǔn)化的數(shù)據(jù)接口以及形式豐富圖表展示工具可快速定
制各類數(shù)據(jù)資產(chǎn)應(yīng)用,配合數(shù)據(jù)資產(chǎn)的全面評(píng)估,實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的“三
全”管理,實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的三全管理:全生命周期管理、全流程管理、
全景式管理。
數(shù)據(jù)資產(chǎn)管理主要包括:數(shù)據(jù)資產(chǎn)注冊(cè)管理;數(shù)據(jù)資目錄管理;數(shù)據(jù)
視圖管理;數(shù)據(jù)資產(chǎn)統(tǒng)計(jì)分析;數(shù)據(jù)成本管理和數(shù)據(jù)價(jià)值(收益)管理。
1)數(shù)據(jù)資產(chǎn)注冊(cè)管理:包括分類管理、注冊(cè)、審核、發(fā)布、授權(quán)等,
提供數(shù)據(jù)資產(chǎn)安全管理,包括資產(chǎn)安全等級(jí)設(shè)置、資產(chǎn)安全角色設(shè)置、
用戶安全設(shè)置等。提供數(shù)據(jù)資產(chǎn)變更監(jiān)控,可對(duì)數(shù)據(jù)資產(chǎn)的增加、修改、
刪除等操作進(jìn)行實(shí)時(shí)監(jiān)控。提供數(shù)據(jù)資產(chǎn)的導(dǎo)入導(dǎo)出。提供了信息資源
的導(dǎo)入、導(dǎo)出功能。通過標(biāo)準(zhǔn)Excel、Word等格式進(jìn)行信息資源的導(dǎo)入
和導(dǎo)出操作。提供信息資源的啟用、停用、恢復(fù)功能,可根據(jù)實(shí)際需求
對(duì)信息資源進(jìn)行啟用、停用操作。
2)資源目錄的管理:提供資源目錄的注冊(cè)、發(fā)布、申請(qǐng)審核等操作。
信息資源注冊(cè)實(shí)現(xiàn)了將信息資源注冊(cè)到資源目錄系統(tǒng)的功能。信息資源
只有注冊(cè)到資源目錄系統(tǒng)中,才能進(jìn)行配置、查詢等操作。注冊(cè)到目錄
系統(tǒng)的信息資源通過部門、業(yè)務(wù)主題進(jìn)行分類。
3)數(shù)據(jù)視圖的管理:利用技術(shù)數(shù)據(jù)視圖實(shí)現(xiàn)基礎(chǔ)業(yè)務(wù)數(shù)據(jù)的標(biāo)準(zhǔn)、
規(guī)范及統(tǒng)一管理,包括數(shù)據(jù)視圖的注冊(cè)、發(fā)布、申請(qǐng)、審核等管理。進(jìn)
行分類統(tǒng)一管理,并形成一套規(guī)范去注冊(cè)、發(fā)布、申請(qǐng)?zhí)峁┙o其他用戶
使用。
4)資產(chǎn)統(tǒng)計(jì)分析工具:提供柱狀圖、矩形圖等多種展現(xiàn)形式,對(duì)各
部門已注冊(cè)數(shù)據(jù)資源的數(shù)量、比例進(jìn)行可視化展現(xiàn)。統(tǒng)計(jì)分析工具主要
包括數(shù)據(jù)資源分布盤點(diǎn)、數(shù)據(jù)資源使用盤點(diǎn)、供需關(guān)系分析三部分。數(shù)
據(jù)資源分布盤點(diǎn)可對(duì)各部門已注冊(cè)的數(shù)據(jù)資源的數(shù)量、比例進(jìn)行直觀的
展現(xiàn);數(shù)據(jù)資源使用盤點(diǎn)可對(duì)各部門已申請(qǐng)、已審核的數(shù)據(jù)資源的數(shù)量、
比例進(jìn)行直觀展現(xiàn);供需關(guān)系分析可對(duì)各部門間的供需關(guān)系進(jìn)行統(tǒng)計(jì)分
析。
5)數(shù)據(jù)成本管理:從度量成本的維度出發(fā),通過定義數(shù)據(jù)成本核算
指標(biāo)、監(jiān)控?cái)?shù)據(jù)成本產(chǎn)生等步驟,確定數(shù)據(jù)成本優(yōu)化方案,實(shí)現(xiàn)數(shù)據(jù)成
本的有效控制。數(shù)據(jù)價(jià)值(收益)主要從數(shù)據(jù)資產(chǎn)的分類、使用頻次、
使用對(duì)象、使用效果和共享流通等方面計(jì)量。
6)數(shù)據(jù)價(jià)值(收益)管理:從度量價(jià)值的維度出發(fā),選擇各維度下
有效的衡量指標(biāo),對(duì)針對(duì)數(shù)據(jù)連接度的活性評(píng)估、數(shù)據(jù)質(zhì)量價(jià)值評(píng)估、
數(shù)據(jù)稀缺性和時(shí)效性評(píng)估、數(shù)據(jù)應(yīng)用場(chǎng)景經(jīng)濟(jì)性評(píng)估,并優(yōu)化數(shù)據(jù)服務(wù)
應(yīng)用的方式,最大可能性的提高數(shù)據(jù)的應(yīng)用價(jià)值。比如可以選擇數(shù)據(jù)熱
度、廣度等作為數(shù)據(jù)價(jià)值的參考指標(biāo),通過ROI評(píng)估,高效管控和合理
應(yīng)用數(shù)據(jù)資產(chǎn)。
3.6數(shù)據(jù)交換和服務(wù)工具
數(shù)據(jù)服務(wù)交換和服務(wù)工具是數(shù)據(jù)采集服務(wù)、數(shù)據(jù)交換服務(wù)、數(shù)據(jù)加工
服務(wù)、數(shù)據(jù)共享服務(wù)的統(tǒng)一支撐工具。數(shù)據(jù)服務(wù)工具采用面向服務(wù)的架
構(gòu),提供數(shù)據(jù)服務(wù)實(shí)現(xiàn)數(shù)據(jù)交換、數(shù)據(jù)整合、數(shù)據(jù)復(fù)制、數(shù)據(jù)的傳輸、
數(shù)據(jù)共享等功能。主要包括運(yùn)行支撐、加工組件、服務(wù)組件、數(shù)據(jù)服務(wù)
總線等組成。
0dg交換與■舒工n
圖12.數(shù)據(jù)交換與服務(wù)工具
1)數(shù)據(jù)采集服務(wù):主要負(fù)責(zé)異構(gòu)、異地的多源數(shù)據(jù)到貼源緩存區(qū)的采
集,實(shí)現(xiàn)內(nèi)外部系統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)等不
同類型、不同時(shí)效的數(shù)據(jù)的復(fù)制與整合。結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的
復(fù)制,將異構(gòu)、異地的數(shù)據(jù)庫數(shù)據(jù)、文件數(shù)據(jù)復(fù)制到緩存庫中。
2)數(shù)據(jù)交換服務(wù):支持多用應(yīng)用場(chǎng)景數(shù)據(jù)交換,如:企業(yè)內(nèi)部數(shù)據(jù)交
換、企業(yè)上下級(jí)數(shù)據(jù)交換、基于前置機(jī)數(shù)據(jù)交換、物流隔離數(shù)據(jù)交換。
支持全量、批量、實(shí)時(shí)的數(shù)據(jù)交換;支持大數(shù)據(jù)量的數(shù)據(jù)交換;支持復(fù)
雜網(wǎng)絡(luò)環(huán)境下的可靠數(shù)據(jù)交換;支持跨網(wǎng)段、跨單位的數(shù)據(jù)交換;支持
基于通道、文件的加密傳輸;支持多種數(shù)據(jù)接口和傳輸協(xié)議;提供數(shù)據(jù)
交換日志;支持?jǐn)帱c(diǎn)續(xù)傳功能。
圖13.基于流加工技術(shù)的數(shù)據(jù)交換及整合服務(wù)
3)數(shù)據(jù)加工處理服務(wù):實(shí)現(xiàn)數(shù)據(jù)的轉(zhuǎn)換、邏輯判斷、數(shù)據(jù)質(zhì)量的檢查、
異常處理、數(shù)據(jù)路由、數(shù)據(jù)的規(guī)范化等處理,用于將貼源緩沖區(qū)的數(shù)據(jù)
根據(jù)需要加工到數(shù)據(jù)存儲(chǔ)與處理層的結(jié)構(gòu)化區(qū)、非結(jié)構(gòu)化區(qū),并能給數(shù)
據(jù)主題區(qū)、分析服務(wù)區(qū)、數(shù)據(jù)實(shí)驗(yàn)室提供規(guī)范合理的數(shù)據(jù)。支持全量、
增量、實(shí)時(shí)的數(shù)據(jù)處理,基于數(shù)據(jù)流處理技術(shù),處理在數(shù)據(jù)流引擎中進(jìn)
行,減輕對(duì)數(shù)據(jù)源和目標(biāo)的影響;提供統(tǒng)一加工服務(wù)實(shí)現(xiàn)數(shù)據(jù)庫、數(shù)據(jù)
倉庫、NoSQL、搜索引擎、文件、XML、WcbService>傳輸隊(duì)列、適配
器、內(nèi)存表、JSON等之間的相互交換,通過工具可視化配置通過拖拉
等操作,可視化配置異構(gòu)數(shù)據(jù)之間的轉(zhuǎn)換、加工、映射規(guī)則。
4)數(shù)據(jù)共享服務(wù):服務(wù)提供方做服務(wù)資源的編目,注冊(cè)到目錄中心;
中心做服務(wù)資源的審核、維護(hù),并將共享的服務(wù)發(fā)布出去;服務(wù)使用方
查詢到服務(wù)后,向中心申請(qǐng)使用該服務(wù);中心審核審批通過后給申請(qǐng)用
戶授權(quán)該服務(wù)的使用;服務(wù)使用方通過安全可管理的服務(wù)總線調(diào)用該服
務(wù),實(shí)現(xiàn)提供方和使用方的數(shù)據(jù)交換和共享。
5)運(yùn)行支撐服務(wù):統(tǒng)一的工具實(shí)現(xiàn)可視化配置、任務(wù)的管理、安全管
理、運(yùn)維監(jiān)控及調(diào)度管理功能,如上主要包括可視化配置及監(jiān)控、調(diào)度
規(guī)則的管理及運(yùn)行監(jiān)控模塊、調(diào)度策略模塊、流程調(diào)度模塊、數(shù)據(jù)總線
調(diào)度、服務(wù)模塊等組成。
3.7數(shù)據(jù)質(zhì)量工具
提供數(shù)據(jù)質(zhì)量管理實(shí)現(xiàn)數(shù)據(jù)全生命周期的質(zhì)量管理,能根據(jù)標(biāo)準(zhǔn)規(guī)則
可視化配置數(shù)據(jù)質(zhì)量檢查策略,通過調(diào)度中心實(shí)現(xiàn)數(shù)據(jù)質(zhì)量的檢查,發(fā)
現(xiàn)問題數(shù)據(jù),將問題數(shù)據(jù)根據(jù)擁有者體系派給相關(guān)人員修正,并能根據(jù)
需要形成數(shù)據(jù)質(zhì)量評(píng)估報(bào)告和問題處理報(bào)告等。為減輕對(duì)信息系統(tǒng)數(shù)據(jù)
庫影響,數(shù)據(jù)質(zhì)量檢查采用數(shù)據(jù)流檢查技術(shù),數(shù)據(jù)質(zhì)量檢查方法及計(jì)算
運(yùn)行在引擎中而不是依賴數(shù)據(jù)庫的SQLO
數(shù)據(jù)質(zhì)量工具主要包括:數(shù)據(jù)質(zhì)量初步分析、數(shù)據(jù)質(zhì)量精度檢查、比
對(duì)和驗(yàn)證檢查、檢查結(jié)果處理。
圖14.質(zhì)量管理管控體系
1)數(shù)據(jù)質(zhì)量初步分析:提供數(shù)據(jù)質(zhì)量初步分析能力,方便對(duì)給定庫表
做數(shù)據(jù)質(zhì)量的初步了解。包括全庫初步探測(cè)、數(shù)據(jù)庫表基本信息分析、
表基本信息分析的統(tǒng)計(jì)信息等分析。全庫初步探測(cè),對(duì)庫中所有表做初
步探測(cè)獲得庫基本信息,每個(gè)表初步探測(cè)包括表名、主鍵字段數(shù)、外鍵
字段數(shù)、字段數(shù)、必填字段數(shù)、記錄數(shù)、空值率、空值比等。并以表的
方式提供。
2)數(shù)據(jù)質(zhì)量精度檢查:提供數(shù)據(jù)質(zhì)量精度檢查,方便對(duì)給定表做精細(xì)
化的數(shù)據(jù)質(zhì)量分析。提供數(shù)據(jù)質(zhì)量檢查服務(wù)對(duì)數(shù)據(jù)庫表做指定規(guī)則檢查,
提供邏輯表達(dá)式檢查,提供相似重復(fù)記錄檢查,提供復(fù)合檢查,提供可
視化定義界面,提供數(shù)據(jù)質(zhì)量檢查方法接口、相似度檢查方法接口,方
便增加數(shù)據(jù)質(zhì)量檢查方法。
3)數(shù)據(jù)質(zhì)量檢查服務(wù):對(duì)數(shù)據(jù)庫表做指定規(guī)則檢查,包括格式檢查、
范圍檢查、缺失記錄檢查、相似重復(fù)記錄檢查、精度檢查、邏輯表達(dá)式
檢查、復(fù)合規(guī)則檢查等。在數(shù)據(jù)質(zhì)量檢查服務(wù)可視化配置出單字段多規(guī)
則檢查,也可以配置出多字段同規(guī)則檢查,還可以配置出多字段之間的
關(guān)聯(lián)檢查。
4)相似重復(fù)記錄檢查:包括完全重復(fù)記錄檢查、相似記錄檢查。完全
重復(fù)記錄檢查可以根據(jù)一個(gè)字段或者多個(gè)字段的比對(duì),得到重復(fù)記錄,
能可視化配置;相似記錄檢查是指先檢查一個(gè)或者多個(gè)字段相似度,然
后得到記錄相似度,根據(jù)記錄相似度的值得到相似記錄,可視化選擇多
種字段相似算法和可視化定義記錄相似算法及屬性。
5)比對(duì)和驗(yàn)證檢查:提供比對(duì)和驗(yàn)證功能,對(duì)于數(shù)據(jù)目標(biāo)和數(shù)據(jù)源做
一致性檢查,發(fā)現(xiàn)其差異。主要包括數(shù)據(jù)庫表的比對(duì)、數(shù)據(jù)文件的比對(duì)。
對(duì)源庫表和目標(biāo)庫表做一致性比對(duì)檢查,包括表結(jié)構(gòu)比對(duì)、數(shù)據(jù)一致性
比對(duì),能發(fā)現(xiàn)并展示不一樣的結(jié)構(gòu)、不一致的數(shù)據(jù)(包括增加、修改、
減少的數(shù)據(jù))對(duì)源和目標(biāo)文件夾下的文件做比對(duì)和驗(yàn)證檢查,能發(fā)現(xiàn)并
展示不一致的文件,包括增加、修改的文件。支持?jǐn)?shù)據(jù)源和數(shù)據(jù)目標(biāo)位
于不同網(wǎng)段的一致性檢查。
6)檢查結(jié)果處理:數(shù)據(jù)質(zhì)量檢查服務(wù)部署運(yùn)行完成后,會(huì)生成檢查結(jié)
果,數(shù)據(jù)質(zhì)量檢查結(jié)果存儲(chǔ)到指定數(shù)據(jù)庫中,每個(gè)數(shù)據(jù)質(zhì)量檢查服務(wù)的
存儲(chǔ)表結(jié)構(gòu)根據(jù)選擇的檢查字段、定義的檢查規(guī)則自動(dòng)生成,并提供可
視化界面,方便修改信息配置。
7)系統(tǒng)提供問題數(shù)據(jù)統(tǒng)計(jì):針對(duì)每個(gè)數(shù)據(jù)質(zhì)量檢查服務(wù)提供數(shù)據(jù)質(zhì)量
檢查結(jié)果報(bào)告,包括異常數(shù)據(jù)、異常數(shù)據(jù)檢查的規(guī)則描述,并能做問題
數(shù)據(jù)統(tǒng)計(jì)、修改情況統(tǒng)計(jì)、檢查規(guī)則統(tǒng)計(jì)。
3.8數(shù)據(jù)模型管理工具
數(shù)據(jù)模型管理工具可對(duì)關(guān)系型、NoSQL、ERP數(shù)據(jù)源的數(shù)據(jù)模型自
動(dòng)抽取,可視化畫ER圖的方式設(shè)計(jì)數(shù)據(jù)庫,跨部門共享數(shù)據(jù)模型。負(fù)
責(zé)對(duì)企業(yè)數(shù)據(jù)模型的管理、比對(duì)、分析、展示提供技術(shù)支撐,提供統(tǒng)一、
多系統(tǒng)、基于多團(tuán)隊(duì)并行協(xié)作的數(shù)據(jù)模型管理。解決企業(yè)數(shù)據(jù)模型管理
分散,無統(tǒng)一的企業(yè)數(shù)據(jù)模型視圖、數(shù)據(jù)模型無有效的管控過程,數(shù)據(jù)
模型標(biāo)準(zhǔn)設(shè)計(jì)無法有效落地、數(shù)據(jù)模型設(shè)計(jì)與系統(tǒng)實(shí)現(xiàn)出現(xiàn)偏差等多種
問題。
圖15.數(shù)據(jù)模型管理工具功能架構(gòu)
1)數(shù)據(jù)模型設(shè)計(jì):支持對(duì)于新建系統(tǒng)的正向建模能力,還應(yīng)支持對(duì)原
有系統(tǒng)的逆向工程能力,通過對(duì)數(shù)據(jù)模型進(jìn)行標(biāo)準(zhǔn)化設(shè)計(jì),能夠?qū)?shù)據(jù)
模型與整個(gè)企業(yè)架構(gòu)保持一致,從源頭上提高企業(yè)數(shù)據(jù)的一致性;
2)模型差異稽核:提供數(shù)據(jù)模型與應(yīng)用數(shù)據(jù)庫之間自動(dòng)數(shù)據(jù)模型審核、
稽核對(duì)比能力,解決數(shù)據(jù)模型設(shè)計(jì)與實(shí)現(xiàn)不一致而產(chǎn)生的“兩張皮”現(xiàn)
象,針對(duì)數(shù)據(jù)庫表結(jié)構(gòu)、關(guān)系等差別形成差異報(bào)告,輔助數(shù)據(jù)模型管理
人員監(jiān)控?cái)?shù)據(jù)模型質(zhì)量問題;提升數(shù)據(jù)模型設(shè)計(jì)和實(shí)施質(zhì)量;
3)數(shù)據(jù)模型變更管控:支持?jǐn)?shù)據(jù)模型變更管控過程,提供數(shù)據(jù)模型從
設(shè)計(jì)、提交、評(píng)審、發(fā)布、實(shí)施到消亡的在線、全過程、流程化變更管
理。同時(shí),實(shí)現(xiàn)各系統(tǒng)數(shù)據(jù)模型版本化管理,自動(dòng)生成版本號(hào)、版本變
更明細(xì)信息,可以輔助數(shù)據(jù)模型管理人員管理不同版本的數(shù)據(jù)模型。通
過工具可以簡單回溯任意時(shí)間點(diǎn)的數(shù)據(jù)模型設(shè)計(jì)狀態(tài)以及數(shù)據(jù)模型設(shè)計(jì)
變更的需求來由,實(shí)現(xiàn)各系統(tǒng)數(shù)據(jù)模型的有效管控和管治,強(qiáng)化用戶對(duì)
其數(shù)據(jù)模型的掌控能力;
4)模型可視化:支持將管理的數(shù)據(jù)模型E-R圖(實(shí)體關(guān)系圖)轉(zhuǎn)換為
圖片、數(shù)據(jù)建模腳本(DDL)等可視化展示形式,方便數(shù)據(jù)模型管理人
員以全局視角監(jiān)控系統(tǒng)中各類數(shù)據(jù)實(shí)體結(jié)構(gòu)及實(shí)體間關(guān)系。
3.9數(shù)據(jù)安全工具
數(shù)據(jù)安全管理的目標(biāo)是建立完善的體系化的安全策略措施,全方位進(jìn)
行安全管控,通過多種手段確保數(shù)據(jù)資產(chǎn)在“存、管、用”等各個(gè)環(huán)節(jié)
中的安全,做到“事前可管、事中可控、事后可查”。通過數(shù)據(jù)安全管
理,規(guī)劃、開發(fā)和執(zhí)行安全政策與措施,提供適當(dāng)?shù)纳矸菀源_認(rèn)、授權(quán)、
訪問與審計(jì)等功能。數(shù)據(jù)安全共享實(shí)現(xiàn),數(shù)據(jù)安全需從數(shù)據(jù)采集、數(shù)據(jù)
傳輸、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理、數(shù)據(jù)共享和數(shù)據(jù)銷毀6個(gè)方面進(jìn)行全方位
的管能力。
府修安金褊?[環(huán)TO][WBWW]
sWM?tM
■mm
aTHSOST
w■,KWHI
1HNNE安全511分q’
全
1■IBS效,'[IMUMHMl-]「-
矍1
□MW英住附■加左看?|MHMW~|
震眼#京安金■?安金已的|tfWt]
矽?安叁H2
圖16.數(shù)據(jù)安全管理體系框架
在數(shù)據(jù)生命周期節(jié)點(diǎn)上應(yīng)用不同安全技術(shù)組合,保障數(shù)據(jù)安全。
圖17.數(shù)據(jù)安全的工具集
除了以上安全工具集外,數(shù)據(jù)治理工具提供安全共享管控機(jī)制,保證
數(shù)據(jù)資源的安全管理及共享。主要包括數(shù)據(jù)的授權(quán)、數(shù)據(jù)脫敏、數(shù)據(jù)訪
問安全、數(shù)據(jù)服務(wù)的發(fā)布/申請(qǐng)/審核管理、服務(wù)的接入控制等。
數(shù)圖訪問安全:定義散煙朝共接入按啊:通過欲露雌者提蝌
用戶名、密碼,安全授權(quán)等伍國訪
享的效據(jù)字段.敷露內(nèi)容.轉(zhuǎn)換問初8番供我鬻供的數(shù)空服務(wù),數(shù)
策略.故知髏、蛔8等海條停肥堤供春將對(duì)數(shù)據(jù)的訪問實(shí)施身份
魏定田訪問控制驊安全策略.
ittKIR務(wù)發(fā)布:以目錄的方式對(duì)外
發(fā)布,使用者可I洋詢利相應(yīng)的奴
數(shù)據(jù)耿敬:對(duì)生產(chǎn)系統(tǒng)中敝愿倍
掘1泌,申就使用,皿i審核審就
息通過1觸規(guī)則迸打則8的變形
修理后,使用者才能使用故1株供
,實(shí)現(xiàn)IM甑冰敷摳的可II保護(hù)
心的效費(fèi)搬務(wù).
險(xiǎn)私蟆財(cái):根巡浜的業(yè)務(wù)II性1M眼權(quán):根同安全策略制定用戶
,對(duì)IMK進(jìn)行分類,對(duì)不同類別或取用可以訪問而且只能訪問自己
的數(shù)莫制定相應(yīng)8W檄則雌蝌轆
圖18.數(shù)據(jù)安全管理工具
1)數(shù)據(jù)授權(quán)。數(shù)據(jù)授權(quán)給不同的用戶提供數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)庫數(shù)據(jù)、文
件等的數(shù)據(jù)的安全授權(quán),包括對(duì)數(shù)據(jù)結(jié)構(gòu)模型的授權(quán)、數(shù)據(jù)庫表和字段
的訪問授權(quán)、數(shù)據(jù)文件的訪問授權(quán)等??梢詫?duì)要授權(quán)的對(duì)象分別設(shè)置允
許訪問、不允許訪問等權(quán)限。
2)數(shù)據(jù)脫敏。對(duì)來源于文件、數(shù)據(jù)庫表等數(shù)據(jù)中的敏感內(nèi)容設(shè)置數(shù)據(jù)
脫敏處理。可以對(duì)不同的字段內(nèi)容設(shè)置不同的數(shù)據(jù)脫敏規(guī)則,包括數(shù)據(jù)
加密、數(shù)據(jù)的模糊化處理等。
3)數(shù)據(jù)訪問安全。數(shù)據(jù)共享是通過數(shù)據(jù)服務(wù)的方式對(duì)外提供,通過數(shù)
據(jù)服務(wù)屏蔽數(shù)據(jù)源,數(shù)據(jù)訪問者不知道數(shù)據(jù)的存儲(chǔ)位置、數(shù)據(jù)的物理結(jié)
構(gòu)等敏感信息。通過工具可視化定義數(shù)據(jù)服務(wù)共享的數(shù)據(jù)字段、數(shù)據(jù)內(nèi)
容、轉(zhuǎn)換策略、數(shù)據(jù)加密、數(shù)據(jù)查詢條件等,進(jìn)而保證了數(shù)據(jù)的安全,
使用者調(diào)用數(shù)據(jù)服務(wù)時(shí),只有通過身份鑒定、訪問控制的用戶才能使用
授權(quán)的數(shù)據(jù)。
4)數(shù)據(jù)服務(wù)的發(fā)布/申請(qǐng)/審核管理。具有描述屬性的數(shù)據(jù)服務(wù)是以目
錄的方式對(duì)外發(fā)布,使用者可以查詢到相應(yīng)的數(shù)據(jù)服務(wù),申請(qǐng)使用,經(jīng)
過審核審批管理后,使用者才能使用數(shù)據(jù)提供者的數(shù)據(jù)服務(wù)。
5)數(shù)據(jù)服務(wù)的接入控制。數(shù)據(jù)使用者通過數(shù)據(jù)提供者提供的用戶名、
密碼、安全授權(quán)等信息訪問數(shù)據(jù)提供者提供的數(shù)據(jù)服務(wù),數(shù)據(jù)提供者將
對(duì)數(shù)據(jù)的訪問實(shí)施身份鑒定和訪問控制等安全策略。
3.10數(shù)據(jù)開發(fā)工具
提供數(shù)據(jù)開發(fā)功能方便數(shù)據(jù)服務(wù)開發(fā)、數(shù)據(jù)流程加工建模,按流程和
應(yīng)用確定數(shù)據(jù)流,提供數(shù)據(jù)流程清冊(cè),為應(yīng)用和流程集成提供唯一數(shù)據(jù)
源,實(shí)現(xiàn)數(shù)據(jù)全流程一次錄入多次共享,支持端對(duì)端的業(yè)務(wù)流程的優(yōu)化,
提供部署和調(diào)度功能方便數(shù)據(jù)流程和數(shù)據(jù)服務(wù)的使用。
1)實(shí)現(xiàn)數(shù)據(jù)預(yù)處理。對(duì)原始數(shù)據(jù)進(jìn)行分類或分組前所做的審核、篩選、
排序等處理。主要包括:數(shù)據(jù)清理、數(shù)
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 建筑合同補(bǔ)充協(xié)議書
- 房地產(chǎn)行業(yè)員工勞動(dòng)合同
- 2025年包頭駕??荚囏涍\(yùn)從業(yè)資格證考試
- 2025年黃石貨運(yùn)從業(yè)資格證模擬考試下載什么軟件
- 2024-2025學(xué)年高中語文課時(shí)作業(yè)2鳥啼含解析蘇教版必修2
- 大學(xué)團(tuán)支部年終工作總結(jié)
- 珠寶營業(yè)員工作計(jì)劃
- 聘用人員勞務(wù)合同范本
- 昆明理工大學(xué)《攝影技術(shù)》2023-2024學(xué)年第二學(xué)期期末試卷
- 車輛抵押擔(dān)保借款合同范本
- 保育師(四級(jí))理論知識(shí)考核要素細(xì)目表
- 洗滌塔操作說明
- 繪本分享《狐貍打獵人》
- 故障處理記錄和總結(jié)分析表
- 2023北師大版小學(xué)數(shù)學(xué)六年級(jí)下冊(cè)教材分析
- 火龍罐技術(shù)課件
- 奧迪TT汽車說明書
- 撤銷因私出國(境)登記備案國家工作人員通知書
- 小學(xué)數(shù)學(xué)教學(xué)評(píng)一致性研討活動(dòng)
- (39)-總論第四節(jié)針灸處方
- 《民航服務(wù)溝通技巧》教案第10課兒童旅客服務(wù)溝通
評(píng)論
0/150
提交評(píng)論