企業(yè)數(shù)據(jù)治理那些事

企業(yè)數(shù)據(jù)治理那些事段效亮主編一本書講透企業(yè)數(shù)據(jù)治理的基本法則、風(fēng)險(xiǎn)規(guī)避策略企業(yè)數(shù)據(jù)治理那些事段效亮主編企業(yè)數(shù)據(jù)治理那些事/段效亮主編.一北京：機(jī)械工業(yè)出版社，2020.4ISBN978-7-111-65I.①企…Ⅱ.①段…Ⅲ.①數(shù)據(jù)處理-應(yīng)用-企業(yè)管理IV.①F272.7中國(guó)版本圖書館CIP數(shù)據(jù)核字(2020)第053981號(hào)策劃編輯：王斌責(zé)任編輯：王斌郝建偉責(zé)任校對(duì)：張艷霞責(zé)任印制：常天培電話服務(wù)網(wǎng)絡(luò)服務(wù)封底無防偽標(biāo)均為盜版機(jī)工教育服《企業(yè)數(shù)據(jù)治理那些事》編委會(huì)副主編：田金方石秀芳王冰王洪濤王建華王金華王學(xué)奎許洪彭邢海韜肖劍琴謝戎謝增標(biāo)張金峰在當(dāng)前的工業(yè)4.0時(shí)代，擁有數(shù)據(jù)是基礎(chǔ)，治理數(shù)據(jù)是關(guān)鍵。從大如何建立數(shù)據(jù)標(biāo)準(zhǔn)，推動(dòng)數(shù)據(jù)資產(chǎn)評(píng)估以實(shí)現(xiàn)標(biāo)準(zhǔn)化?如何建立權(quán)威的數(shù)據(jù)認(rèn)證機(jī)制?如何打造數(shù)據(jù)工廠?如何確保數(shù)據(jù)合法訪問?如何對(duì)傳輸中的數(shù)據(jù)進(jìn)行加密，有效防止數(shù)據(jù)被截獲事件的發(fā)生?如何建立嚴(yán)格成的風(fēng)險(xiǎn)?如何建立數(shù)據(jù)資產(chǎn)的價(jià)格結(jié)構(gòu)和價(jià)格體合理定價(jià)?所有這一切，都離不開數(shù)據(jù)治理。同時(shí)，各企事業(yè)單位在進(jìn)行信息化建設(shè)的過程中，記錄了單位規(guī)模、運(yùn)營(yíng)、信息技術(shù)等發(fā)展軌相互不通等“數(shù)據(jù)孤島”和“數(shù)據(jù)煙囪”問題，致使系統(tǒng)的協(xié)同性很產(chǎn)管理活動(dòng)始終處于規(guī)范、有序、可控的狀態(tài)，將海量數(shù)據(jù)應(yīng)用于決作為從事多年數(shù)據(jù)分析教研的大學(xué)教授，我本人在處理行業(yè)數(shù)據(jù)時(shí)，也經(jīng)常面臨數(shù)據(jù)治理具體工作上的窘境。對(duì)數(shù)據(jù)分析領(lǐng)域的從業(yè)人員來說，面臨的問題多過答案。我所從事的研發(fā)項(xiàng)目多是圍繞社會(huì)經(jīng)濟(jì)統(tǒng)計(jì)、開源大數(shù)據(jù)等，擁有海量的金融市場(chǎng)交易數(shù)據(jù)、社交媒體生成的數(shù)據(jù)，所以更加體會(huì)到要科學(xué)地使用數(shù)據(jù)，就必須有效地對(duì)其V《企業(yè)數(shù)據(jù)治理那些事》一書的出版，恰逢其時(shí)，是從事多年數(shù)據(jù)2019年12月從技術(shù)視角來看，數(shù)字經(jīng)濟(jì)的核心要素是數(shù)據(jù)，數(shù)據(jù)作為新的生產(chǎn)要素有著邊際成本小、價(jià)值空間大和基于數(shù)據(jù)服務(wù)的商業(yè)模式多等特點(diǎn)，最大化數(shù)據(jù)價(jià)值已經(jīng)成為數(shù)字經(jīng)濟(jì)的主要活動(dòng)。數(shù)據(jù)治理國(guó)際標(biāo)準(zhǔn)ISO38505-1和ISO38505-2,提出了數(shù)據(jù)治理的概念和實(shí)踐指南。數(shù)據(jù)治理正在成為最大化數(shù)據(jù)價(jià)值的主要手段。本書從數(shù)據(jù)的概念到主數(shù)據(jù)管理再到數(shù)據(jù)治理進(jìn)行了詳細(xì)闡述，針對(duì)企業(yè)數(shù)據(jù)管理的現(xiàn)狀對(duì)數(shù)據(jù)治理項(xiàng)目的事前、事中和事后做了深入淺出的全面剖析，“數(shù)據(jù)評(píng)估監(jiān)測(cè)”“數(shù)據(jù)治理能力轉(zhuǎn)化”“二次治理”“源端治理”“末端治理”等概念首次在行業(yè)內(nèi)提出，足見作者在數(shù)據(jù)治理行業(yè)的深入思考。本書的另一亮點(diǎn)是攜眾多企業(yè)數(shù)據(jù)治理專家現(xiàn)身說法，分享了大量的企業(yè)數(shù)據(jù)治理實(shí)踐案例，讓甲方正式“面對(duì)”甲方，通過這些心得體會(huì)引發(fā)廣大讀者的共鳴。數(shù)據(jù)治理的理念需要大家的共同推廣，正確的引領(lǐng)可以帶給國(guó)家、社會(huì)、企業(yè)等新的活力和希望。希望這本書能夠起到積極的推動(dòng)作用。中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院區(qū)塊鏈研究室主任IEEE計(jì)算機(jī)協(xié)會(huì)區(qū)塊鏈和分布式記賬技術(shù)委員會(huì)主席ISO/IEC38505-2數(shù)據(jù)治理國(guó)際標(biāo)準(zhǔn)編輯2019年12月企業(yè)信息化領(lǐng)域有句經(jīng)久不衰的老話，叫作“三分開發(fā)、七分運(yùn)維、十二分?jǐn)?shù)據(jù)”。在大數(shù)據(jù)應(yīng)用越來越廣泛的今天，數(shù)據(jù)價(jià)值的重要性更是不言而喻。要想發(fā)揮數(shù)據(jù)價(jià)值，必先做好數(shù)據(jù)治理。這一點(diǎn)，相信很多信息化戰(zhàn)線的老兵都有不少的切膚之痛。有的單位，ERP上線多年，由于一物多碼、多物一碼等問題嚴(yán)重，不得不回來重新梳理物料編碼，物料清洗、系統(tǒng)切換的投入和風(fēng)險(xiǎn)巨大，實(shí)在是事倍功半之舉。還有的單位，缺乏集團(tuán)統(tǒng)一的數(shù)據(jù)規(guī)劃，各子公司各行其是，一個(gè)集團(tuán)有多套編碼體系，開始幾年還能勉強(qiáng)應(yīng)付，后來集團(tuán)準(zhǔn)備推行電子商務(wù)、02O、大數(shù)據(jù)營(yíng)銷，原有的數(shù)據(jù)體系難以支撐，被迫推倒重來，不僅資金耗費(fèi)巨大，更重要的是耽誤了寶貴的轉(zhuǎn)型時(shí)間，教訓(xùn)不可謂不慘痛。數(shù)字化轉(zhuǎn)型，是目前流行的話題。數(shù)字化企業(yè)，更要基于數(shù)據(jù)驅(qū)動(dòng)。數(shù)據(jù)這個(gè)發(fā)動(dòng)機(jī)能否高效運(yùn)轉(zhuǎn)，科學(xué)的數(shù)據(jù)治理體系是前提。作為承擔(dān)企業(yè)數(shù)字化轉(zhuǎn)型重任的CIO、CDO,對(duì)數(shù)據(jù)治理的理念、方法論、工具必須有深入的認(rèn)識(shí)。段效亮老師是我很尊敬的朋友，在數(shù)據(jù)治理領(lǐng)域耕耘多年，為數(shù)以百計(jì)的企業(yè)提供了專業(yè)的數(shù)據(jù)治理咨詢。在工作之余，段老師也是筆耕不輟、勤于積累，已經(jīng)有多部專著問世，為數(shù)據(jù)治理的深入發(fā)展在理論和實(shí)踐兩方面發(fā)展都做出了突出貢獻(xiàn)，其精神和貢獻(xiàn)值得欽佩。這是一本理論和實(shí)踐深入結(jié)合的著作，作者基于多年的數(shù)據(jù)治理領(lǐng)域的工作經(jīng)驗(yàn)，對(duì)企業(yè)數(shù)據(jù)治理存在的問題進(jìn)行了深入思考，形成了完整的理論體系和科學(xué)的方法論，是一部實(shí)戰(zhàn)型的工具書，很有借鑒意義。這不是段效亮老師的第一部數(shù)據(jù)治理專著,相信也不是最后2019年12月國(guó)際上最早開展數(shù)據(jù)治理工作的應(yīng)該是金融和電信行業(yè)，但是行業(yè)的特殊性決定了治理范圍基本局限在客戶數(shù)據(jù)層面，因此國(guó)外數(shù)據(jù)治理廠商大部分是以客戶主數(shù)據(jù)治理為范本的數(shù)據(jù)治理廠商，當(dāng)然還有小部分是由PDM延伸而來以BOM為核心的數(shù)據(jù)治理廠商。近年來數(shù)據(jù)治理越來越被企業(yè)、政府所重視，國(guó)內(nèi)從事數(shù)據(jù)治理的專業(yè)廠商日益增多，這些廠商大體分為如下八類：·一是從編碼管理到主數(shù)據(jù)管理，再到全靜態(tài)數(shù)據(jù)治理的廠商；·二是仍然以編碼管理為核心的主數(shù)據(jù)管理的廠商；·五是由實(shí)施國(guó)外ERP項(xiàng)目延伸出來的項(xiàng)目級(jí)主數(shù)據(jù)管理的廠商；·六是由元數(shù)據(jù)管理延伸而來的主數(shù)據(jù)管理的廠商；●七是由報(bào)表、BI廠商延伸而來的主數(shù)據(jù)管理的廠商；·八是學(xué)習(xí)了國(guó)外客戶數(shù)據(jù)治理的理念、方案后，服務(wù)過金融行業(yè)數(shù)據(jù)治理的廠商。可以看出，目前活躍在一線的大部分?jǐn)?shù)據(jù)治理廠商是主數(shù)據(jù)管理或者主數(shù)據(jù)管理延伸而來的數(shù)據(jù)治理廠商，只有小部分是金融行業(yè)數(shù)據(jù)治理轉(zhuǎn)行而來的廠商。目前各廠商相互“廝殺”于企業(yè)和政府行業(yè)的各個(gè)數(shù)據(jù)治理項(xiàng)目的招標(biāo)過程中，“五花八門”的方案導(dǎo)致甲方的選擇糾結(jié)難耐。甲方的痛點(diǎn)在于，一是廠商的類型較多，再就是甲方自身對(duì)于數(shù)據(jù)治理的認(rèn)知還比較初級(jí)，對(duì)數(shù)據(jù)治理項(xiàng)目實(shí)施的過程及后繼開展的數(shù)據(jù)運(yùn)維工作并不了解，甚至認(rèn)為主數(shù)據(jù)管理就是數(shù)據(jù)治理的全部，并且所X有的平臺(tái)都類似，選哪個(gè)都行。解答企業(yè)在實(shí)施數(shù)據(jù)治理中面臨的種種困惑，讓甲方對(duì)數(shù)據(jù)治理項(xiàng)目有更清晰的認(rèn)識(shí)，是寫作本書的初衷。本書共分3篇12章內(nèi)容。第一篇，概念及方法篇。本篇旨在明確數(shù)據(jù)治理的相關(guān)概念，指明企業(yè)數(shù)據(jù)治理的未來發(fā)展方向。包括企業(yè)數(shù)據(jù)治理概述和企業(yè)數(shù)據(jù)治理的“八步走”兩章內(nèi)容。第二篇，項(xiàng)目篇。本篇旨在幫助讀者了解數(shù)據(jù)治理項(xiàng)目實(shí)施的全過程，以便更好地抓住數(shù)據(jù)治理工作開展的時(shí)機(jī)，選擇理想的數(shù)據(jù)治理方案，有效規(guī)避各種風(fēng)險(xiǎn)，科學(xué)高效地成功實(shí)施數(shù)據(jù)治理項(xiàng)目。包括5個(gè)角度自查數(shù)據(jù)管理現(xiàn)狀、啟動(dòng)數(shù)據(jù)治理項(xiàng)目前的3個(gè)關(guān)鍵點(diǎn)、項(xiàng)目啟動(dòng)——項(xiàng)目實(shí)施方法論及調(diào)研分析、重塑標(biāo)準(zhǔn)——構(gòu)建數(shù)據(jù)管理體系、解決已有數(shù)據(jù)質(zhì)量問題——徹底清洗存量數(shù)據(jù)、完善數(shù)據(jù)交換架構(gòu)——徹底打通數(shù)據(jù)孤島、行為約束——優(yōu)化增量數(shù)據(jù)質(zhì)量、確保順利——企業(yè)數(shù)據(jù)治理項(xiàng)目的管理、以終為始——順暢開展數(shù)據(jù)運(yùn)維工作、拒絕失敗——數(shù)據(jù)治理項(xiàng)目的風(fēng)險(xiǎn)管控10章內(nèi)容。第三篇，經(jīng)驗(yàn)篇。本書特意邀請(qǐng)部分甲方數(shù)據(jù)治理專家著文(共計(jì)19篇文章)分享企業(yè)數(shù)據(jù)治理項(xiàng)目實(shí)踐心得體會(huì)，現(xiàn)身說法。這些內(nèi)容對(duì)于準(zhǔn)備開展數(shù)據(jù)治理工作的企業(yè)和讀者而言非常有借鑒意義。全書最后的附錄：數(shù)據(jù)治理平臺(tái)功能標(biāo)準(zhǔn)，介紹了數(shù)據(jù)治理行業(yè)中專業(yè)數(shù)據(jù)治理平臺(tái)應(yīng)該具備的功能，供廣大讀者朋友參考。本書中的內(nèi)容、方法等不代表行業(yè)標(biāo)準(zhǔn)，也無意去樹立行業(yè)標(biāo)準(zhǔn)，我們相信未來會(huì)有更好的方案、產(chǎn)品出現(xiàn)。數(shù)據(jù)治理行業(yè)需要日新月異的技術(shù)及方案的更新，否則我們(甲方、乙方)誰(shuí)都“傷不起”。希望本書的出版，能夠?yàn)楦淖兤髽I(yè)對(duì)數(shù)據(jù)治理的認(rèn)識(shí)，促進(jìn)企業(yè)數(shù)據(jù)質(zhì)量的持續(xù)改善產(chǎn)生積極的影響。段效亮2019年11月10日序言1序言2序言3概念及方法篇第1章企業(yè)數(shù)據(jù)治理概述/21.1數(shù)據(jù)治理的相關(guān)概念/31.1.1什么是數(shù)據(jù)?/31.2主數(shù)據(jù)管理的局限/121.2.4主數(shù)據(jù)管理項(xiàng)目實(shí)施后數(shù)據(jù)質(zhì)量并未改善/161.3.7構(gòu)建基于過程的知識(shí)體系確保全面的數(shù)據(jù)治理能力/26第2章“八步走”實(shí)施企業(yè)數(shù)據(jù)治理/28第3章5個(gè)角度自查數(shù)據(jù)管理現(xiàn)狀/383.5自查數(shù)據(jù)運(yùn)維/57第4章啟動(dòng)數(shù)據(jù)治理項(xiàng)目前的3個(gè)關(guān)鍵點(diǎn)/584.1把握數(shù)據(jù)治理項(xiàng)目的啟動(dòng)時(shí)機(jī)/584.2明確數(shù)據(jù)治理項(xiàng)目的原則和目標(biāo)/624.3合理搭建項(xiàng)目團(tuán)隊(duì)、選擇治理工具及廠商/63第5章項(xiàng)目啟動(dòng)——項(xiàng)目實(shí)施方法論及調(diào)研分析/685.1項(xiàng)目實(shí)施方法論/685.2項(xiàng)目調(diào)研分析/78第6章重塑標(biāo)準(zhǔn)——構(gòu)建數(shù)據(jù)管理體系/856.1構(gòu)建數(shù)據(jù)標(biāo)準(zhǔn)體系/86第7章解決已有數(shù)據(jù)質(zhì)量問題——徹底清洗存量數(shù)據(jù)/1037.3制定清洗規(guī)則/106第8章完善數(shù)據(jù)交換架構(gòu)——徹底打通數(shù)據(jù)孤島/121第9章行為約束——優(yōu)化增量數(shù)據(jù)質(zhì)量/131第10章確保順利——企業(yè)數(shù)據(jù)治理項(xiàng)目的管理/13810.3項(xiàng)目進(jìn)度的管理/14310.4針對(duì)性地開展項(xiàng)目培訓(xùn)/144第11章以終為始——順暢開展數(shù)據(jù)運(yùn)維工作/14811.1建立完備的數(shù)據(jù)運(yùn)維架構(gòu)/14811.2用好數(shù)據(jù)運(yùn)維管理工具/15011.3注重?cái)?shù)據(jù)治理知識(shí)的收集和轉(zhuǎn)移/151第12章拒絕失敗——數(shù)據(jù)治理項(xiàng)目的風(fēng)險(xiǎn)管控/15412.1數(shù)據(jù)治理項(xiàng)目中的風(fēng)險(xiǎn)及管控/15412.2數(shù)據(jù)治理項(xiàng)目后的風(fēng)險(xiǎn)及管控/158經(jīng)驗(yàn)1數(shù)據(jù)治理三步走——天保控股集團(tuán)踏上智慧化轉(zhuǎn)型之路/162經(jīng)驗(yàn)3從構(gòu)建數(shù)據(jù)治理體系開始——山東能源集團(tuán)的物供管理大數(shù)據(jù)戰(zhàn)略/167經(jīng)驗(yàn)4搭建數(shù)據(jù)運(yùn)維管理平臺(tái)——國(guó)內(nèi)某鋼鐵集團(tuán)實(shí)現(xiàn)高效數(shù)據(jù)XVI質(zhì)量管控/171瓶頸/173精確度/184治理項(xiàng)目/192感悟/206明確數(shù)據(jù)治理的相關(guān)概念，看清數(shù)據(jù)治理的未來方向。隨著企業(yè)信息化程度的不斷提高，各類應(yīng)用系統(tǒng)同時(shí)并存、支撐著企業(yè)的業(yè)務(wù)應(yīng)用，各類數(shù)據(jù)如不能進(jìn)行有效的統(tǒng)一管理，將會(huì)嚴(yán)重制約很多企業(yè)對(duì)于數(shù)據(jù)的收集、整理和維護(hù)目前還只是停留在建設(shè)數(shù)據(jù)倉(cāng)庫(kù)階段，通過ETL技術(shù)將數(shù)據(jù)進(jìn)行整合、清洗，再通過前端應(yīng)用實(shí)現(xiàn)數(shù)據(jù)的應(yīng)用和分析。在現(xiàn)有的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中，這些數(shù)據(jù)必然存在先天的缺陷，如數(shù)據(jù)整合難度大，數(shù)據(jù)規(guī)范性差、準(zhǔn)確度差，數(shù)據(jù)倉(cāng)庫(kù)中存在大量的冗余數(shù)據(jù)等。這種程度的數(shù)據(jù)治理并不能滿足企業(yè)質(zhì)量問題。本章首先介紹數(shù)據(jù)治理的相關(guān)概念，并說明主數(shù)據(jù)管理的局限性，第1章企業(yè)數(shù)據(jù)治理概述//31.1數(shù)據(jù)治理的相關(guān)概念數(shù)據(jù)(Data)是我們通過觀察、實(shí)驗(yàn)或計(jì)算得出的結(jié)果。數(shù)據(jù)有很多種，最簡(jiǎn)單的就是數(shù)字。數(shù)據(jù)也可以是文字、圖像、聲音等。數(shù)據(jù)可以用于科學(xué)研究、設(shè)計(jì)、查證等。從下面的一條信息中可以看出數(shù)據(jù)的部分存在形式，如圖1-1所示。老王2019年11月11日購(gòu)買蘋果2個(gè)客戶數(shù)據(jù)日期數(shù)據(jù)交易數(shù)據(jù)商品數(shù)據(jù)計(jì)量單位圖1-1數(shù)據(jù)存在形式根據(jù)不同的維度，企業(yè)內(nèi)的各類數(shù)據(jù)大致可分為分析數(shù)據(jù)、共享(主)數(shù)據(jù)、業(yè)務(wù)場(chǎng)景數(shù)據(jù)、交易數(shù)據(jù)、元數(shù)據(jù)等，如圖1-2所示。企業(yè)數(shù)據(jù)中心經(jīng)營(yíng)管理主題資產(chǎn)財(cái)務(wù)主題投資管理主題交動(dòng)數(shù)據(jù)業(yè)務(wù)場(chǎng)景數(shù)據(jù)交動(dòng)數(shù)據(jù)業(yè)務(wù)場(chǎng)景數(shù)據(jù)分析致?lián)?共享主數(shù)據(jù)分析致?lián)?共享主數(shù)據(jù)三圖1-2企業(yè)數(shù)據(jù)組成元數(shù)據(jù)(Metadata),又稱中介數(shù)據(jù)、中繼數(shù)據(jù)，是描述數(shù)據(jù)的數(shù)據(jù)(DataaboutData),是描述數(shù)據(jù)屬性(Property)的信息，用來支持如指示存儲(chǔ)位置、保存歷史數(shù)據(jù)、資源查找、文件記錄等功能。元數(shù)據(jù)組成如圖1-3所示。技術(shù)元數(shù)據(jù)是描述數(shù)據(jù)系統(tǒng)中技術(shù)領(lǐng)域相關(guān)概念、關(guān)系和規(guī)則的數(shù)據(jù)，主要包括對(duì)數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)處理方面的特征描述，覆蓋數(shù)據(jù)源接裝和前端展現(xiàn)等全部數(shù)據(jù)處理環(huán)節(jié)。技術(shù)據(jù)管理技術(shù)據(jù)管理元數(shù)據(jù)圖1-3元數(shù)據(jù)組成業(yè)務(wù)元數(shù)據(jù)是描述數(shù)據(jù)系統(tǒng)中業(yè)務(wù)領(lǐng)域相關(guān)概念、關(guān)系和規(guī)則的數(shù)據(jù)，主要包括業(yè)務(wù)術(shù)語(yǔ)、信息分類、指標(biāo)定義和業(yè)務(wù)規(guī)則等信息。管理元數(shù)據(jù)是描述數(shù)據(jù)系統(tǒng)中管理領(lǐng)域相關(guān)概念、關(guān)系和規(guī)則的數(shù)據(jù)，主要包括人員角色、崗位職責(zé)和管理流程等信息。元數(shù)據(jù)最為重要的特征和功能是為數(shù)字化信息資源建立一種機(jī)器可理解框架。沒有合適的元數(shù)據(jù)，主數(shù)據(jù)管理就會(huì)失語(yǔ)。沒有元數(shù)據(jù)，數(shù)據(jù)治理就沒有語(yǔ)料。主數(shù)據(jù)(MasterData):指描述某一業(yè)務(wù)實(shí)體對(duì)象時(shí)，基礎(chǔ)數(shù)據(jù)(屬性)中被兩個(gè)及兩個(gè)以上的業(yè)務(wù)系統(tǒng)共同使用的部分(屬性),通常指相對(duì)業(yè)務(wù)系統(tǒng)(或業(yè)務(wù)場(chǎng)景)的共有屬性及屬性的取值、格式、驗(yàn)證、關(guān)系等。主數(shù)據(jù)不是一種數(shù)據(jù)，只是數(shù)據(jù)存在的一種狀態(tài)，類似大數(shù)據(jù)需要同時(shí)滿足幾個(gè)維度的標(biāo)準(zhǔn)時(shí)才可以稱之為大數(shù)據(jù)。靜態(tài)數(shù)據(jù)(StaticData):指描述某一業(yè)務(wù)實(shí)體對(duì)象時(shí)，基礎(chǔ)數(shù)據(jù)(屬性)中靜態(tài)或相對(duì)靜態(tài)的數(shù)據(jù)的統(tǒng)稱(含主數(shù)據(jù)+業(yè)務(wù)場(chǎng)景或組織視角的私有數(shù)據(jù))。通常也可以指除交易數(shù)據(jù)以外的數(shù)據(jù)新增數(shù)據(jù)，以及描述了這些數(shù)據(jù)的私有(組織或業(yè)務(wù)場(chǎng)景信息)和公有(特征、基本信息等)屬性、規(guī)則、類別、文檔、關(guān)系、配中心的組成如圖1-4所示。靜態(tài)數(shù)據(jù)中心作為企業(yè)靜態(tài)數(shù)據(jù)的核私有靜態(tài)數(shù)據(jù)數(shù)數(shù)據(jù)圖1-4企業(yè)靜態(tài)數(shù)據(jù)中心組成心數(shù)據(jù)庫(kù)，承擔(dān)著業(yè)務(wù)系統(tǒng)靜態(tài)數(shù)據(jù)的采集、規(guī)范和分發(fā)服務(wù)，為業(yè)1.1.4什么是企業(yè)數(shù)據(jù)治理?關(guān)于數(shù)據(jù)治理和數(shù)據(jù)管理的爭(zhēng)論持續(xù)了好幾年，業(yè)內(nèi)人士各有不同的說法，每種說法貌似也都很有道理，我們就在此不做過多辨析。本書中定義的數(shù)據(jù)管理(DM)和數(shù)據(jù)治理(DG),類似中醫(yī)(講究"管")和西醫(yī)(講究“治”)的思想。管理乃長(zhǎng)期管控的過程，屬于長(zhǎng)效機(jī)制；治理指某一時(shí)間段對(duì)數(shù)據(jù)的梳理措施和行為，是短期性針對(duì)理(主數(shù)據(jù)管理只能算作其中一部分),其中包括元數(shù)據(jù)和靜態(tài)數(shù)據(jù)(主數(shù)據(jù)、業(yè)務(wù)場(chǎng)景數(shù)據(jù)、參考數(shù)據(jù)、指標(biāo)數(shù)據(jù)),計(jì)劃、趨勢(shì)以及動(dòng)態(tài)交易數(shù)據(jù)不屬于數(shù)據(jù)治理平臺(tái)管理的范疇。不同類型的數(shù)據(jù)治理策略如表1-1所示。數(shù)據(jù)治理平臺(tái)根據(jù)企業(yè)的實(shí)際情況，數(shù)據(jù)治理一般可以分為三種類型：源端數(shù)據(jù)治理、末端數(shù)據(jù)治理和綜合數(shù)據(jù)治理(詳見本書1.16節(jié))。源端數(shù)據(jù)治理主要應(yīng)用于如ERP、CRM、財(cái)務(wù)管理系統(tǒng)；末端數(shù)據(jù)治理主要應(yīng)用在數(shù)據(jù)倉(cāng)庫(kù)等末端數(shù)據(jù)存儲(chǔ)中。本書提到的綜合數(shù)據(jù)治理是源端數(shù)據(jù)治理和末端數(shù)據(jù)治理的綜合，并且是比其更廣泛的概念，通常我們稱作面向數(shù)據(jù)分析及業(yè)務(wù)管理的數(shù)據(jù)治理。在一些機(jī)構(gòu)對(duì)企業(yè)數(shù)據(jù)治理的調(diào)查中可以發(fā)現(xiàn)，許多有實(shí)施過數(shù)據(jù)倉(cāng)庫(kù)的企業(yè)已經(jīng)將下一步治理目標(biāo)瞄準(zhǔn)了數(shù)據(jù)治理。許多成功實(shí)施了數(shù)據(jù)治理的企業(yè)認(rèn)為他們已經(jīng)從質(zhì)量良好的數(shù)據(jù)中獲得了收益。數(shù)據(jù)治理對(duì)于數(shù)據(jù)倉(cāng)庫(kù)和商務(wù)智能有著深遠(yuǎn)的影響，未來的企業(yè)大數(shù)據(jù)分析很大程度上也必須基于良好的數(shù)據(jù)質(zhì)量。第1章企業(yè)數(shù)據(jù)治理概述//7企業(yè)實(shí)施數(shù)據(jù)治理項(xiàng)目具備以下8個(gè)方面的價(jià)值。1.確立企業(yè)數(shù)據(jù)管理體系規(guī)范和標(biāo)準(zhǔn)，并實(shí)現(xiàn)其系統(tǒng)化落地企業(yè)通過實(shí)施數(shù)據(jù)治理項(xiàng)目，在考慮企業(yè)現(xiàn)有數(shù)據(jù)管理的基礎(chǔ)上，可以制定出全面符合企業(yè)未來5～10年信息化發(fā)展的數(shù)據(jù)模型、數(shù)據(jù)管理制度、數(shù)據(jù)管理流程。可以全面實(shí)現(xiàn)數(shù)據(jù)管理體系的系統(tǒng)化落地，解決企業(yè)長(zhǎng)期以來生產(chǎn)過程中數(shù)據(jù)描述不準(zhǔn)確、不規(guī)范、不統(tǒng)一的問題，進(jìn)而提高了計(jì)劃執(zhí)行、倉(cāng)庫(kù)盤點(diǎn)、材料采購(gòu)等的準(zhǔn)確率，減少了企業(yè)資金的浪費(fèi)，為企業(yè)的快速發(fā)展奠定基礎(chǔ)。2.全面梳理并清洗存量數(shù)據(jù)，根治多年積累的數(shù)據(jù)質(zhì)量問題通過實(shí)施企業(yè)數(shù)據(jù)治理項(xiàng)目，可以由數(shù)據(jù)清洗平臺(tái)依照以下策略對(duì)存量數(shù)據(jù)進(jìn)行清洗，解決當(dāng)前企業(yè)數(shù)據(jù)存在大量的不一致、不完整、數(shù)1)針對(duì)不同業(yè)務(wù)系統(tǒng)中的歷史數(shù)據(jù)進(jìn)行自動(dòng)或人工的一次性清洗，并形成最終的冗余數(shù)據(jù)映射關(guān)系。2)把冗余數(shù)據(jù)映射關(guān)系保存到企業(yè)數(shù)據(jù)治理平臺(tái)核心數(shù)據(jù)庫(kù)中，為業(yè)務(wù)系統(tǒng)的數(shù)據(jù)停用以及后期BI(商業(yè)智能)的使用提供堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ)。3.全面實(shí)現(xiàn)數(shù)據(jù)管理的系統(tǒng)化、集中化，節(jié)省業(yè)務(wù)系統(tǒng)用戶數(shù)通過實(shí)施企業(yè)數(shù)據(jù)治理項(xiàng)目，引入數(shù)據(jù)治理平臺(tái)，可以實(shí)現(xiàn)企業(yè)數(shù)據(jù)管理過程的全面電子化，可全部脫離原有的手工操作，擺脫原有手工查重和編碼的繁重工作，大大改善和加快信息的傳遞和反饋，增強(qiáng)信息的準(zhǔn)確性、及時(shí)性。企業(yè)數(shù)據(jù)治理平臺(tái)的數(shù)據(jù)模型的視圖化、全面化、自定義化，完全可以模擬現(xiàn)有業(yè)務(wù)系統(tǒng)的數(shù)據(jù)檔案并及時(shí)分發(fā)到對(duì)應(yīng)業(yè)務(wù)系統(tǒng)中去，真正實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)數(shù)據(jù)檔案的外部新增，為企業(yè)數(shù)據(jù)中心的建立奠定堅(jiān)實(shí)4.搭建全面科學(xué)的數(shù)據(jù)驗(yàn)證體系，杜絕數(shù)據(jù)冗余的再次發(fā)生企業(yè)數(shù)據(jù)治理平臺(tái)的組合式編碼、立體式查重機(jī)制改善了原有企業(yè)數(shù)據(jù)編碼的模式和弊端，企業(yè)數(shù)據(jù)治理平臺(tái)內(nèi)置的多方位的數(shù)據(jù)驗(yàn)證機(jī)制(如文本、文本框、數(shù)字、是否選擇、樹狀數(shù)據(jù)限定、平面數(shù)據(jù)限定、組合數(shù)據(jù)限定等)從數(shù)據(jù)錄入的源頭杜絕可能發(fā)生的錯(cuò)誤。5.實(shí)現(xiàn)數(shù)據(jù)管理過程的流程化、制度化、準(zhǔn)確化通過實(shí)現(xiàn)數(shù)據(jù)管理制度和流程的系統(tǒng)落地，實(shí)現(xiàn)企業(yè)數(shù)據(jù)管理過程的有效監(jiān)督和執(zhí)行、流程化的信息推送，使數(shù)據(jù)管理工作由被動(dòng)轉(zhuǎn)為主動(dòng)，使管理過程責(zé)任透明化，提高執(zhí)行效率。并且系統(tǒng)化的數(shù)據(jù)管理監(jiān)控機(jī)制，掃清了傳統(tǒng)手工狀態(tài)下的各種管理障礙，使管理更加清晰、責(zé)任更加明確、數(shù)據(jù)更加準(zhǔn)確。系統(tǒng)權(quán)限劃分可以針對(duì)不同人員分配不同的數(shù)據(jù)編制和審核權(quán)限，解決了目前多方信息傳遞的失真、緩慢等問題，提升了信息的準(zhǔn)確率，縮短了整個(gè)數(shù)據(jù)新增的時(shí)間，提升了數(shù)據(jù)新增的效率。6.實(shí)現(xiàn)詳盡的靜態(tài)數(shù)據(jù)服務(wù)企業(yè)數(shù)據(jù)治理平臺(tái)的引入提供了全方位、多角度、權(quán)限化、立體智能查詢機(jī)制，完全滿足所有人員的數(shù)據(jù)查詢需求，可大幅縮短數(shù)據(jù)查詢以及編碼和數(shù)據(jù)業(yè)務(wù)實(shí)體對(duì)照時(shí)間。7.數(shù)據(jù)交換平臺(tái)全面實(shí)現(xiàn)企業(yè)數(shù)據(jù)的協(xié)同、聯(lián)動(dòng)通過實(shí)施數(shù)據(jù)治理項(xiàng)目引入的數(shù)據(jù)交換平臺(tái)，通過簡(jiǎn)單的配置即可實(shí)現(xiàn)包括數(shù)據(jù)的分發(fā)機(jī)制、分發(fā)內(nèi)容、分發(fā)時(shí)間等的設(shè)置，全面滿足企第1章企業(yè)數(shù)據(jù)治理概述//9業(yè)現(xiàn)有以及未來數(shù)據(jù)管理的協(xié)同和聯(lián)動(dòng)要求。8.建立了統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，為企業(yè)資源共享、快速?zèng)Q策提供保障企業(yè)數(shù)據(jù)治理平臺(tái)從數(shù)據(jù)錄入的源頭開始實(shí)現(xiàn)規(guī)范、標(biāo)準(zhǔn)，杜絕人為化的錯(cuò)誤產(chǎn)生，規(guī)范后的數(shù)據(jù)通過數(shù)據(jù)交換平臺(tái)實(shí)現(xiàn)靜態(tài)、動(dòng)態(tài)以及橫向、縱向的企業(yè)信息化服務(wù)。從根本上保證了BI等工具數(shù)據(jù)分析的準(zhǔn)確率，使企業(yè)的數(shù)據(jù)資產(chǎn)價(jià)值得到全面體現(xiàn)。企業(yè)數(shù)據(jù)治理解決了數(shù)據(jù)的冗余、一致性、完整性、規(guī)范性等問題，從而使數(shù)據(jù)分析能夠發(fā)揮最大的管理價(jià)值。通過制定及貫徹執(zhí)行各類業(yè)務(wù)和技術(shù)標(biāo)準(zhǔn)，就能從技術(shù)上、管理上把各方面有機(jī)地聯(lián)系起來，形成一個(gè)統(tǒng)一的系統(tǒng)整體，保證數(shù)據(jù)治理過程進(jìn)行得有條不紊。目前企業(yè)存在三種數(shù)據(jù)治理模式，具體如下：●源端數(shù)據(jù)治理，是指通過解決業(yè)務(wù)系統(tǒng)源頭數(shù)據(jù)質(zhì)量的問題，實(shí)現(xiàn)提高數(shù)據(jù)分析的準(zhǔn)確率。●末端數(shù)據(jù)治理，是指針對(duì)解決數(shù)據(jù)全生命周期的末端(數(shù)據(jù)倉(cāng)庫(kù)層)數(shù)據(jù)質(zhì)量的問題，實(shí)現(xiàn)提高數(shù)據(jù)分析的準(zhǔn)確率。●綜合數(shù)據(jù)治理，是指包括源端和末端數(shù)據(jù)治理的混合模式。1.源端數(shù)據(jù)治理模式針對(duì)源端的數(shù)據(jù)治理是主流的數(shù)據(jù)治理模式，目前行業(yè)內(nèi)80%以上的方案都采用此模式。如靜態(tài)數(shù)據(jù)治理、主數(shù)據(jù)管理、編碼管理等，都是屬于針對(duì)業(yè)務(wù)系統(tǒng)的直接影響實(shí)現(xiàn)數(shù)據(jù)質(zhì)量的改造，最終達(dá)到支撐數(shù)據(jù)應(yīng)用分析的目的。源端數(shù)據(jù)治理模式適用的企業(yè)，包括生產(chǎn)型企業(yè)、大型集團(tuán)本部、運(yùn)營(yíng)管控型集團(tuán)等，不涉及數(shù)據(jù)改造后無法返回到對(duì)應(yīng)業(yè)務(wù)系統(tǒng)的情況。源端數(shù)據(jù)治理支撐數(shù)據(jù)分析及業(yè)務(wù)管理框架，具體如圖1-5所示。個(gè)MDC完善數(shù)據(jù)分析平臺(tái)數(shù)據(jù)治理平臺(tái)由圖1-5可以看出，數(shù)據(jù)治理平臺(tái)直接新增數(shù)據(jù)或者通過數(shù)據(jù)交換平臺(tái)(Exchange)從業(yè)務(wù)系統(tǒng)采集的新增數(shù)據(jù)進(jìn)行規(guī)范、改造后，一方回傳到對(duì)應(yīng)業(yè)務(wù)系統(tǒng)，實(shí)現(xiàn)對(duì)業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量的改造(在業(yè)務(wù)系統(tǒng)運(yùn)當(dāng)ETL從業(yè)務(wù)系統(tǒng)中抽取數(shù)據(jù)的時(shí)候，同時(shí)從冗余數(shù)據(jù)映射關(guān)系庫(kù)中抽取冗余數(shù)據(jù)的關(guān)系參照，在加載到數(shù)據(jù)倉(cāng)庫(kù)時(shí)會(huì)注明某些編碼(數(shù)據(jù))對(duì)應(yīng)的業(yè)務(wù)實(shí)體對(duì)象其實(shí)是一個(gè)，這樣未來進(jìn)行數(shù)據(jù)分析時(shí)可2.末端數(shù)據(jù)治理模式末端數(shù)據(jù)治理技術(shù)架構(gòu)如圖1-6所示。從圖中可以看出，所謂末端+基礎(chǔ)數(shù)據(jù)質(zhì)量檢測(cè)—業(yè)數(shù)據(jù)質(zhì)量檢測(cè)初步數(shù)數(shù)據(jù)分析展現(xiàn)業(yè)務(wù)系統(tǒng)處理層檢測(cè)層標(biāo)準(zhǔn)層數(shù)據(jù)源質(zhì)量監(jiān)測(cè)改造人元數(shù)據(jù)管理一1.1.7企業(yè)的二次數(shù)據(jù)治理1.二次治理的原因其實(shí)現(xiàn)階段二次治理的企業(yè)基本都是信息化程度較高的大型央企或者各地國(guó)企，屬于數(shù)據(jù)治理的"先行者"。關(guān)于數(shù)據(jù)質(zhì)量問題的再次顯現(xiàn)，究其原因，要么是太相信技術(shù)，要么就是太相信自己。企業(yè)被確認(rèn)為需要實(shí)施二次數(shù)據(jù)治理的幾個(gè)特征如下：●主數(shù)據(jù)管理項(xiàng)目實(shí)施后，發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題比例超過20%;●主數(shù)據(jù)管理平臺(tái)淪為賦碼工具；●集團(tuán)二級(jí)單位單獨(dú)開展主數(shù)據(jù)管理工作；●企業(yè)開始尋求數(shù)據(jù)的全面治理。以上幾種情況的具體原因后續(xù)章節(jié)會(huì)有詳細(xì)介紹，在此不再贅述。2.二次數(shù)據(jù)治理的方法二次數(shù)據(jù)治理有兩種對(duì)應(yīng)的方法，一是“徹底根除”法(指原有體系全部推倒，重新開展數(shù)據(jù)治理項(xiàng)目),二是“亡羊補(bǔ)牢”法。尤其是徹底根除法，可想而知重新再來一次的代價(jià)有多大，一般的企業(yè)很少有這種魄力，有時(shí)候各種因素不允許出現(xiàn)這樣的重新來過。因此，我們還是重點(diǎn)推薦亡羊補(bǔ)牢法，即可以解決問題又不至于痛苦地重新再來一遍。所謂的亡羊補(bǔ)牢，就是指在不破壞現(xiàn)狀的基礎(chǔ)上最大可能地修補(bǔ)原有數(shù)據(jù)治理的架構(gòu)，以確保數(shù)據(jù)質(zhì)量得以保障。1)重新梳理數(shù)據(jù)標(biāo)準(zhǔn)，確定數(shù)據(jù)標(biāo)準(zhǔn)是否有調(diào)整的必要。2)全面檢測(cè)數(shù)據(jù)質(zhì)量，重新全面清洗、改造存量數(shù)據(jù)。3)搭建數(shù)據(jù)質(zhì)量評(píng)估監(jiān)測(cè)平臺(tái)，利用AI等技術(shù)構(gòu)建數(shù)據(jù)質(zhì)量的大數(shù)據(jù)行為模式的再評(píng)估、再處理體系。主數(shù)據(jù)最初的定義為：表示業(yè)務(wù)實(shí)體對(duì)象的基準(zhǔn)數(shù)據(jù)以及其被引用第1章企業(yè)數(shù)據(jù)治理概述//13的關(guān)聯(lián)屬性信息。2010年，主數(shù)據(jù)的概念被中翰軟件率先引入國(guó)內(nèi)并加以調(diào)整改善，使之更加通俗易懂。通俗化后的主數(shù)據(jù)定義為：描述某一業(yè)務(wù)實(shí)體對(duì)象時(shí)，基礎(chǔ)數(shù)據(jù)(靜態(tài)或相對(duì)靜態(tài)的數(shù)據(jù))中被兩個(gè)及兩個(gè)以上業(yè)務(wù)系統(tǒng)共同使用的屬性字段。此定義很快被證明了其合理性，短期內(nèi)被各廠家推廣使用，這也是目前國(guó)內(nèi)主數(shù)據(jù)廠商對(duì)主數(shù)據(jù)的統(tǒng)一標(biāo)準(zhǔn)定義。但是，隨著主數(shù)據(jù)管理平臺(tái)的逐漸推廣和使用，一連串的問題就出現(xiàn)了，這也導(dǎo)致了目前很多企業(yè)實(shí)施主數(shù)據(jù)管理項(xiàng)目后，數(shù)據(jù)質(zhì)量并未顯著改善。隨著企業(yè)業(yè)務(wù)系統(tǒng)的新增和更換，原來被主數(shù)據(jù)廠商識(shí)別出來的主數(shù)據(jù)已經(jīng)無法滿足新的業(yè)務(wù)系統(tǒng)的上線需求，需要重新進(jìn)行主數(shù)據(jù)的擴(kuò)充識(shí)別和相關(guān)模型、流程等的變更操作，從而造成了主數(shù)據(jù)管理平臺(tái)后期運(yùn)維成本的居高不下，嚴(yán)重違背了實(shí)施主數(shù)據(jù)管理平臺(tái)的初衷。甚至目前很多主數(shù)據(jù)項(xiàng)目的招標(biāo)現(xiàn)場(chǎng)招標(biāo)方就非常嚴(yán)肅地問投標(biāo)方：“你們的主數(shù)據(jù)平臺(tái)未來調(diào)整模型中的某個(gè)屬性字段需要多長(zhǎng)時(shí)間?",仔細(xì)想想這個(gè)問題還真的很嚴(yán)肅，因?yàn)槲磥磉@個(gè)調(diào)整是會(huì)頻繁發(fā)生的，為了應(yīng)標(biāo)很多人不負(fù)責(zé)任地脫口而出“1小時(shí)”“2小時(shí)”,以應(yīng)付甲方。難道我們加一個(gè)屬性字段不需要確定它的元數(shù)據(jù)標(biāo)準(zhǔn)?不需要補(bǔ)充它的歷史取值?不需要找業(yè)務(wù)部門的主管們討論、協(xié)商?這怎么可能是1、2個(gè)小時(shí)就能確定實(shí)現(xiàn)的呢?其實(shí)，為什么我們老是想盡一切辦法去識(shí)別主數(shù)據(jù)呢?難道就是為了讓我們的主數(shù)據(jù)管理員未來別閑待著?數(shù)據(jù)治理的核心是要解決數(shù)據(jù)質(zhì)量、安全、服務(wù)以及相關(guān)的環(huán)境等問題，費(fèi)了九牛二虎之力識(shí)別出了所謂的主數(shù)據(jù)，沒過多久因?yàn)闃I(yè)務(wù)系統(tǒng)的變化出現(xiàn)了倒逼主數(shù)據(jù)必須改變的情況，這不是相當(dāng)于給自己設(shè)置障礙?必須要認(rèn)識(shí)到主數(shù)據(jù)是動(dòng)態(tài)的這一特性。某核電集團(tuán)，2013年實(shí)施了某國(guó)外廠商的MDM(MasterDataManagement,主數(shù)據(jù)管理)平臺(tái)，2014年中期，該企業(yè)領(lǐng)導(dǎo)發(fā)現(xiàn)主數(shù)道此時(shí)平臺(tái)上線才近1年時(shí)間，不該出現(xiàn)這種狀況。經(jīng)調(diào)查發(fā)現(xiàn)，是由這樣的情況不是個(gè)例，隨著大家對(duì)主數(shù)據(jù)的概念認(rèn)識(shí)得越來越清1.2.2主數(shù)據(jù)管理無法滿足業(yè)務(wù)場(chǎng)景需求主數(shù)據(jù)的核心管理理念就是實(shí)現(xiàn)數(shù)據(jù)的“單一視圖”,是共享性數(shù)據(jù)的統(tǒng)稱。但是，要管理業(yè)務(wù)場(chǎng)景的數(shù)據(jù)(業(yè)務(wù)場(chǎng)景數(shù)據(jù)指針對(duì)某一業(yè)品在不同生產(chǎn)線的描述，以及針對(duì)不同區(qū)域的價(jià)格描述等)就會(huì)增加業(yè)某電工集團(tuán)，2016年開啟了主數(shù)據(jù)管理項(xiàng)目的一期工作(頂層管理型主數(shù)據(jù)的治理),選型了國(guó)內(nèi)某主數(shù)據(jù)管理平臺(tái)，2017年開啟項(xiàng)目的管理需要，二期項(xiàng)目只得暫停。2018年甲乙雙方反復(fù)溝通尋求解決某石化控股集團(tuán)，2016年實(shí)施了國(guó)內(nèi)某主數(shù)據(jù)管理平臺(tái)，2017年該集團(tuán)的二級(jí)公司就提出因業(yè)務(wù)管理的需要獨(dú)立進(jìn)行業(yè)務(wù)場(chǎng)景的主數(shù)據(jù)管理。某煤炭集團(tuán)，2011年實(shí)施了國(guó)內(nèi)某主數(shù)據(jù)管理平臺(tái)，2013年開始第1章企業(yè)數(shù)據(jù)治理概述//151.2.3主數(shù)據(jù)管理項(xiàng)目實(shí)施后運(yùn)維難以保障數(shù)據(jù)管理體系的運(yùn)維(如制度的重修、流程的調(diào)整、新的數(shù)據(jù)類型或類別的模型新增等)是項(xiàng)目后運(yùn)維管理的兩大任務(wù)之一(另外一個(gè)是各個(gè)企業(yè)都很重視數(shù)據(jù)管理的運(yùn)維工作，不少企業(yè)甚至專門設(shè)置了數(shù)據(jù)管理組織，配備了相關(guān)人員，但是目前實(shí)際管理中大部分還是以主數(shù)據(jù)管理員進(jìn)行數(shù)據(jù)管理工作，工作職責(zé)包括平臺(tái)的維護(hù)、工作的協(xié)調(diào)等，所謂的數(shù)據(jù)管理組織根本就沒有發(fā)揮出應(yīng)有的功效。某一新的數(shù)據(jù)的模型時(shí)，理想狀態(tài)是大家(數(shù)據(jù)管理組織成員)坐下來目一路跟下來的，肯定了解當(dāng)時(shí)的設(shè)計(jì)思路，但如果主數(shù)據(jù)管理員是新來的怎么辦?如果主數(shù)據(jù)管理員把思路忘了怎么辦?主數(shù)據(jù)管理員又能依據(jù)什么來制定出合理的模型呢?答案只能是“拍腦袋”。某化工集團(tuán)，2015年實(shí)施某國(guó)內(nèi)MDM平臺(tái)，項(xiàng)目順利驗(yàn)收，2016年底集團(tuán)擴(kuò)展業(yè)務(wù)，主數(shù)據(jù)管理員面對(duì)需要新增的一些數(shù)據(jù)模型一籌莫展，組織召開數(shù)據(jù)管理組織會(huì)議討論時(shí)各業(yè)務(wù)部門的有關(guān)負(fù)責(zé)人以出差、忙等各種理由拒絕參加。2017年增加了線上標(biāo)準(zhǔn)審核機(jī)制，甚至還用上了移動(dòng)審批，各相關(guān)業(yè)務(wù)部門的負(fù)責(zé)人迫于考核的壓力草草審核定稿，其實(shí)最終還是主數(shù)據(jù)管理員和相關(guān)業(yè)務(wù)人員討論后的結(jié)果，所謂的數(shù)據(jù)管理組織也就成了一個(gè)擺設(shè)。這導(dǎo)致主數(shù)據(jù)管理體系逐漸脫離該有的思路，最終形成“體系兩層皮”的現(xiàn)象。1.2.4主數(shù)據(jù)管理項(xiàng)目實(shí)施后數(shù)據(jù)質(zhì)量并未改善采集(如錄入等)環(huán)節(jié)的統(tǒng)一、規(guī)范，再加上理想化的多級(jí)次的數(shù)據(jù)質(zhì)的可以發(fā)現(xiàn)所有的質(zhì)量問題嗎?如果寫了錯(cuò)別字怎么辦?所謂的同名詞沒有出現(xiàn)過的錯(cuò)別字出現(xiàn)了怎么辦?另外，諸如數(shù)據(jù)放錯(cuò)類別等問題也很多，并且我們還有嚴(yán)格的審核機(jī)制。但審核真的管用嗎?負(fù)責(zé)人(領(lǐng)導(dǎo))真的有時(shí)間審核嗎?負(fù)責(zé)人(領(lǐng)導(dǎo))真的對(duì)所有數(shù)據(jù)的質(zhì)量了解嗎?多年來多家企業(yè)驗(yàn)證和審核只是一種“擺設(shè)”,只是一種行政的知某能源集團(tuán)，2012年實(shí)施某國(guó)內(nèi)的MDM平臺(tái)，項(xiàng)目順利驗(yàn)收，甲方也花了近半年的時(shí)間進(jìn)行了歷史數(shù)據(jù)質(zhì)量的全面清洗，但是2015年初突然發(fā)現(xiàn)60多萬(wàn)條的物料數(shù)據(jù)有20多萬(wàn)條出現(xiàn)了不同形式的數(shù)據(jù)質(zhì)量問題(包括名稱叫法的不一致、各種錯(cuò)別字、數(shù)據(jù)描述的不完整等),且分公司及集團(tuán)兩級(jí)審核機(jī)制形同虛設(shè)。目前該主數(shù)據(jù)管理平臺(tái)淪為了只是為ERP等業(yè)務(wù)系統(tǒng)提供賦碼功能(生成編碼并傳給業(yè)務(wù)系統(tǒng)),整個(gè)數(shù)據(jù)治理項(xiàng)目很不成功。第1章企業(yè)數(shù)據(jù)治理概述//17國(guó)際數(shù)據(jù)管理協(xié)會(huì)(DAMA)的《數(shù)據(jù)管理知識(shí)體系指南》一書中對(duì)數(shù)據(jù)治理進(jìn)行了嚴(yán)格、詳實(shí)地定義，目前基本成為數(shù)據(jù)治理行業(yè)的指導(dǎo)大綱。但是其也只是指導(dǎo)型的內(nèi)容，具體的操作方式還需要我們繼續(xù)探索和研究。目前國(guó)內(nèi)的數(shù)據(jù)治理廠商大體分為兩個(gè)方向，一是面向企業(yè)，再就是面向政府、金融、電信等行業(yè)。這里有個(gè)很大的誤區(qū)，就是很多人認(rèn)為面向政府、金融的數(shù)據(jù)治理產(chǎn)品可以替代面向企業(yè)的數(shù)據(jù)治理產(chǎn)品。相對(duì)而言，面向政府、金融、電信的數(shù)據(jù)治理產(chǎn)品要求的技術(shù)含量要高一些，處理的數(shù)據(jù)量要大一些，但是處理數(shù)據(jù)問題的深度要淺一些，因?yàn)檫@幾個(gè)行業(yè)沒有復(fù)雜的物資數(shù)據(jù)(模型分層級(jí)且非常多)存在，所有數(shù)據(jù)(如客戶、人員等)的模型都是單一的，也就不存在深層次的數(shù)據(jù)質(zhì)量問題。所以在企業(yè)數(shù)據(jù)治理中一旦遇到深層次的數(shù)據(jù)質(zhì)量問題，此類產(chǎn)品就束手無策了。但是，從產(chǎn)品的功能結(jié)構(gòu)上我們還真的不好鑒別其優(yōu)劣，所有的產(chǎn)品似乎都包括元數(shù)據(jù)原理、數(shù)據(jù)質(zhì)量管理、主數(shù)據(jù)管理、數(shù)據(jù)生命周期管理、數(shù)據(jù)交換管理、數(shù)據(jù)清洗管理等功能，齊全的功能可能會(huì)造成了選擇的困難。企業(yè)數(shù)據(jù)治理，除了要有廣度以外，還要有深度，必須解決深層次的問題才能算得上長(zhǎng)久之計(jì)。結(jié)合國(guó)內(nèi)企業(yè)實(shí)際，企業(yè)數(shù)據(jù)治理應(yīng)分為數(shù)據(jù)環(huán)境治理、數(shù)據(jù)質(zhì)量治理、數(shù)據(jù)安全治理、數(shù)據(jù)交換治理、數(shù)據(jù)運(yùn)維管理5部分。企業(yè)的數(shù)據(jù)應(yīng)分為靜態(tài)數(shù)據(jù)和交易數(shù)據(jù)兩部分。所謂的數(shù)據(jù)治理也應(yīng)該指靜態(tài)數(shù)據(jù)的治理，因?yàn)榧兘灰讛?shù)據(jù)(數(shù)字或數(shù)額)正常不會(huì)出現(xiàn)質(zhì)量問題。因此，企業(yè)數(shù)據(jù)治理的方向應(yīng)該依據(jù)以上5部分實(shí)施，并且應(yīng)滿足以下7個(gè)關(guān)鍵點(diǎn)。18//企業(yè)數(shù)據(jù)治理那些事1.3.1構(gòu)建數(shù)據(jù)治理整體架構(gòu)確保數(shù)據(jù)治理的整體性因此應(yīng)該構(gòu)建包括一個(gè)體系(數(shù)據(jù)標(biāo)準(zhǔn)體系)、三個(gè)環(huán)境(治理型環(huán)境、分析型環(huán)境、知識(shí)型環(huán)境)、一個(gè)架構(gòu)(面向服務(wù)的集成架構(gòu))的數(shù)據(jù)治理整體架構(gòu)，如圖1-7所示。決策苷生產(chǎn)計(jì)劃采購(gòu)訂單鷹算指標(biāo)會(huì)計(jì)類區(qū)數(shù)影臨理中臺(tái)數(shù)據(jù)保養(yǎng)管理數(shù)據(jù)清洗管理靜態(tài)數(shù)據(jù)交換管理海量數(shù)據(jù)推送及安全機(jī)制靜態(tài)數(shù)據(jù)中心管理(含主數(shù)據(jù)管理數(shù)據(jù)管理體系-信息代碼標(biāo)準(zhǔn)數(shù)絮模型標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)數(shù)據(jù)安全標(biāo)準(zhǔn)數(shù)常交換標(biāo)準(zhǔn)數(shù)據(jù)運(yùn)雕體系數(shù)銀規(guī)劃平合TERP系統(tǒng)數(shù)據(jù)標(biāo)準(zhǔn)運(yùn)行機(jī)制分子單位綜合應(yīng)用數(shù)據(jù)管理制度圖1-7數(shù)據(jù)治理整體架構(gòu)管理、數(shù)據(jù)編碼管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)日常管控)、數(shù)據(jù)交換管第1章企業(yè)數(shù)據(jù)治理概述//19理、數(shù)據(jù)清洗管理、數(shù)據(jù)保養(yǎng)管理(數(shù)據(jù)評(píng)估監(jiān)測(cè))。對(duì)應(yīng)平臺(tái)建議采分析型環(huán)境：是指基于數(shù)據(jù)倉(cāng)庫(kù)的各種主題數(shù)據(jù)分析，是提供數(shù)據(jù)展現(xiàn)服務(wù)的核心功能部分，如運(yùn)營(yíng)分析、資產(chǎn)分析、財(cái)務(wù)分析、人力資源分析。對(duì)應(yīng)平臺(tái)包括BI決策支持平臺(tái)、數(shù)據(jù)倉(cāng)庫(kù)、ETL。企業(yè)管理或者某類專業(yè)知識(shí)管理，是提供數(shù)據(jù)治理能力的核心組成部分。數(shù)據(jù)治理知識(shí)可以實(shí)現(xiàn)知識(shí)驅(qū)動(dòng)數(shù)據(jù)管理業(yè)務(wù)、驅(qū)動(dòng)數(shù)據(jù)管理崗1.3.2全方位重構(gòu)數(shù)據(jù)標(biāo)準(zhǔn)體系徹底改善數(shù)據(jù)環(huán)境企業(yè)內(nèi)的數(shù)據(jù)可分為分析型數(shù)據(jù)(趨勢(shì)、計(jì)劃、指標(biāo)數(shù)據(jù)等)、交易型數(shù)據(jù)、共享(主)數(shù)據(jù)、業(yè)務(wù)場(chǎng)景數(shù)據(jù)4大類，如圖1-8所示。海集教孤指年因名海集教孤指年因名景型數(shù)據(jù)編碼數(shù)據(jù)析型數(shù)據(jù)從根本上打造一整套全方位的數(shù)據(jù)標(biāo)準(zhǔn)體系以確保數(shù)據(jù)質(zhì)量的可控制性、可持續(xù)性。所謂的全方位就是指包括以上4大類型數(shù)據(jù)在內(nèi)的數(shù)據(jù)據(jù)安全、質(zhì)量管理體系，數(shù)據(jù)分類、編碼體系，數(shù)據(jù)交換規(guī)范體系等，如圖1-9所示。編碼信息維護(hù)分類、屬性標(biāo)準(zhǔn)制度組織明確流程監(jiān)控一般我們會(huì)通過基本、組織和業(yè)務(wù)三個(gè)視角信息對(duì)數(shù)據(jù)進(jìn)行描述。基本視角信息是對(duì)某條數(shù)據(jù)的基本特征信息的描述，組織視角信息是指某條數(shù)據(jù)在不同的組織范圍描述的不同信息，業(yè)務(wù)視角信息是指某條數(shù)據(jù)在不同的業(yè)務(wù)場(chǎng)景下描述的不同信息。當(dāng)然也可以從共享的角度去描述一條數(shù)據(jù)的信息，這就是我們常提到的主數(shù)據(jù)。從全面解決數(shù)據(jù)質(zhì)量問題的角度出發(fā)，構(gòu)建360度全視角管控的靜態(tài)數(shù)據(jù)中心，對(duì)全部三類視角的數(shù)據(jù)質(zhì)量進(jìn)行管控才是最好的選擇。全視角數(shù)據(jù)的描述包括基本、組織和業(yè)務(wù)三個(gè)視角的數(shù)據(jù)描述，以物資數(shù)據(jù)舉例，具體結(jié)構(gòu)形式如表1-2所示。第1章企業(yè)數(shù)據(jù)治理概述//21信息描述類別特點(diǎn)舉例基本視角(特征屬性)能夠單獨(dú)或者同其物資名稱(說明)物資類別物資材質(zhì)組織視角同一數(shù)據(jù)因物資的不同的屬性，同一屬性因物資的使用部門數(shù)量較多業(yè)務(wù)視角(業(yè)務(wù)場(chǎng)景屬性)同一數(shù)據(jù)因物資的不同的屬性，同一屬采購(gòu)員倉(cāng)管員批次控制1.3.4通過技術(shù)+行為的手段深層次保障數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量在數(shù)據(jù)治理中的分量不言而喻，但是目前保障數(shù)據(jù)質(zhì)量的主流方法幾乎全是技術(shù)手段，主要有以下三種方法。第一種方法，針對(duì)數(shù)據(jù)產(chǎn)生的源端進(jìn)行控制。指通過針對(duì)屬性字段取值的格式、上下限、枚舉值、從屬關(guān)系、關(guān)聯(lián)關(guān)系等的判斷來進(jìn)行數(shù)據(jù)質(zhì)量的控制，這樣的方法可以解決大部分(70%左右)的數(shù)據(jù)質(zhì)量問題，剩余的30%包括五花八門的錯(cuò)別字，無意的類別錯(cuò)放，人為的有意寫錯(cuò)、放錯(cuò)等。第二種方法，針對(duì)數(shù)據(jù)倉(cāng)庫(kù)的末端進(jìn)行控制。倉(cāng)庫(kù)、BI的發(fā)展存在了多年，實(shí)際上就是ETL過程對(duì)數(shù)據(jù)質(zhì)量的控制。雖然這種方法解決問題的比例甚至都達(dá)不到40%,但是在新的方法出現(xiàn)之前幾乎“橫行”世間近20年，屬于標(biāo)準(zhǔn)的針對(duì)末端的數(shù)據(jù)質(zhì)量的控制。第三種方法，也是針對(duì)數(shù)據(jù)存儲(chǔ)應(yīng)用層(數(shù)據(jù)倉(cāng)庫(kù))的末端進(jìn)行控制，當(dāng)然這種方法就比較高級(jí)了，那就是采用AI(人工智能)技術(shù)，比ETL高級(jí)了很多，尤其是隨著數(shù)據(jù)中臺(tái)的興起，業(yè)界對(duì)其十分看好。其22//企業(yè)數(shù)據(jù)治理那些事實(shí)AI技術(shù)對(duì)于數(shù)據(jù)質(zhì)量的解決是需要通過長(zhǎng)時(shí)間的自我學(xué)習(xí)才可以達(dá)到理想效果的，并且目前沒有太好的AI工具支撐，此方法還并未實(shí)用化。純技術(shù)的手段并不能完全實(shí)現(xiàn)對(duì)數(shù)據(jù)質(zhì)量的管控，因此我們需要從行為(行為約束)入手去深層次解決數(shù)據(jù)質(zhì)量問題。所謂行為約束，是指對(duì)數(shù)據(jù)采集端的人的行為的控制，比如數(shù)據(jù)新增過程中的審核也是行為約束的一種。最好的行為約束首先應(yīng)該在源端，也就是針對(duì)數(shù)據(jù)維護(hù)操作的人我們要嚴(yán)加"防范",確保每個(gè)人都能深入到屬性字段級(jí)別最準(zhǔn)確地錄入相關(guān)的屬性取值，要確保專業(yè)的事由專業(yè)的人來做，而不是很多人希望的統(tǒng)一由一個(gè)人代勞維護(hù)所有或者某部分?jǐn)?shù)據(jù)的信息，維護(hù)入口的統(tǒng)一不代表數(shù)據(jù)的統(tǒng)一和高質(zhì)量，相反卻掩蓋了對(duì)數(shù)據(jù)的不專業(yè)導(dǎo)致的二次維護(hù)錯(cuò)誤問題。因此，需要在技術(shù)手段的基礎(chǔ)上開啟數(shù)據(jù)協(xié)同維護(hù)機(jī)制，強(qiáng)化數(shù)據(jù)源頭責(zé)任，強(qiáng)化過程行為約束，更深層次地管控?cái)?shù)據(jù)質(zhì)量如圖1-10所示。88基本信息錄入采購(gòu)信息維護(hù)財(cái)務(wù)信息維護(hù)其他信息維護(hù)新增發(fā)起外部增強(qiáng)詳細(xì)信息錄入特殊信息補(bǔ)充提交進(jìn)入審核提交進(jìn)入審核●自動(dòng)路由到相關(guān)審批者·主數(shù)據(jù)編碼、描述生成數(shù)據(jù)分發(fā)·在企業(yè)全部業(yè)務(wù)系統(tǒng)中共享標(biāo)準(zhǔn)數(shù)據(jù)信息多級(jí)審核第1章企業(yè)數(shù)據(jù)治理概述//23另外，眾多企業(yè)的企業(yè)信息化建設(shè)經(jīng)歷了多年的發(fā)展，各業(yè)務(wù)系統(tǒng)中積累了大量的豐量(歷史)數(shù)據(jù)，對(duì)現(xiàn)存的歷史數(shù)據(jù)的清洗同樣適用技術(shù)+行為的手段，通過對(duì)歷史數(shù)據(jù)的全面梳理和規(guī)范，將質(zhì)量有保證的數(shù)據(jù)準(zhǔn)確發(fā)布到各業(yè)務(wù)系統(tǒng)中，確保各業(yè)務(wù)系統(tǒng)中歷史數(shù)據(jù)的準(zhǔn)確。1.3.5構(gòu)建日常數(shù)據(jù)質(zhì)量監(jiān)測(cè)體系持續(xù)確保數(shù)據(jù)質(zhì)量在前邊的內(nèi)容中已經(jīng)詳細(xì)介紹過數(shù)據(jù)質(zhì)量不理想的問題，導(dǎo)致數(shù)據(jù)質(zhì)量產(chǎn)生問題的因素有多種，但我們最好能打造一套針對(duì)數(shù)據(jù)質(zhì)量的監(jiān)測(cè)機(jī)制，把問題“扼殺”在搖籃階段。2018年3月15日，中華人民共和國(guó)國(guó)家質(zhì)量監(jiān)督檢驗(yàn)檢疫總局、中國(guó)國(guó)家標(biāo)準(zhǔn)化管理委員會(huì)發(fā)布了GB/T36073-2018數(shù)據(jù)管理能力成熟度評(píng)估模型，此模型對(duì)企業(yè)的數(shù)據(jù)管理能力進(jìn)行了分級(jí)，根據(jù)不同等級(jí)提出不同的改進(jìn)、發(fā)展建議。但是這種評(píng)估成本較高，周期太長(zhǎng)，甚至很多企業(yè)很多年才能評(píng)估一次。為了確保數(shù)據(jù)質(zhì)量的持續(xù)性良好，數(shù)據(jù)治理項(xiàng)目實(shí)施后需要構(gòu)建一個(gè)基于大數(shù)據(jù)行為分析的數(shù)據(jù)質(zhì)量監(jiān)測(cè)平臺(tái)，而不是傳統(tǒng)意義的基于屬性字段級(jí)的技術(shù)驗(yàn)證。平臺(tái)需要具備實(shí)時(shí)探知數(shù)據(jù)質(zhì)量的能力，并且把數(shù)據(jù)質(zhì)量量化展現(xiàn)，同時(shí)提供問題數(shù)據(jù)處理的通道。數(shù)據(jù)質(zhì)量監(jiān)測(cè)平臺(tái)的具體邏輯架構(gòu)如圖1-11所示?？跀?shù)據(jù)一致性口數(shù)據(jù)完整性口數(shù)據(jù)合規(guī)性口數(shù)據(jù)冗余性口數(shù)據(jù)有效性口數(shù)據(jù)及時(shí)性Lnl大數(shù)據(jù)行為分析由圖1-11可以看出，大數(shù)據(jù)行為的質(zhì)量監(jiān)測(cè)是對(duì)數(shù)據(jù)的一致性、完整性、合規(guī)性、冗余性、有效性和及時(shí)性6方面質(zhì)量標(biāo)準(zhǔn)的深層次的大數(shù)據(jù)行為分析，此方式結(jié)合復(fù)雜邏輯的算法而非傳統(tǒng)的正則表達(dá)式等，最終通過圖和表的結(jié)合高效展現(xiàn)數(shù)據(jù)質(zhì)量結(jié)果，提高數(shù)據(jù)質(zhì)量的可視化效果。大數(shù)據(jù)時(shí)代的來臨使得數(shù)據(jù)的價(jià)值逐步顯性化，也被各企事業(yè)單位更加重視。數(shù)據(jù)資產(chǎn)管理當(dāng)前也已經(jīng)成為IT界的一門新興概念被廣泛研究。DAMA將數(shù)據(jù)資產(chǎn)管理(DataAssetManagement,DAM)定義為規(guī)劃、控制和提供數(shù)據(jù)這種企業(yè)資產(chǎn)的一組業(yè)務(wù)職能，包括開發(fā)、執(zhí)行和監(jiān)督有關(guān)數(shù)據(jù)的計(jì)劃、政策、方案、項(xiàng)目、流程、方案和程序，從而控制、保護(hù)、交付和提高數(shù)據(jù)資產(chǎn)的價(jià)值。數(shù)據(jù)作為一種“資產(chǎn)”,和傳統(tǒng)意義上所管理的資產(chǎn)并不相同，數(shù)據(jù)資產(chǎn)具備5大特征，即虛擬性、增值性、時(shí)效性、共享性、安全性，具體如圖1-12所示。數(shù)據(jù)資產(chǎn)可以同時(shí)被多方共享使用，沒有傳統(tǒng)資產(chǎn)被獨(dú)占使用的問題數(shù)據(jù)資產(chǎn)的5大特征的核心是共享和價(jià)值，并且有時(shí)效性的共享服務(wù)價(jià)值會(huì)更高。目前企業(yè)內(nèi)數(shù)據(jù)資產(chǎn)化管理還處在初級(jí)階段，長(zhǎng)期以來對(duì)數(shù)據(jù)的私有化價(jià)值意識(shí)比較淡薄，企業(yè)數(shù)據(jù)資產(chǎn)化管理的路還很長(zhǎng)，需要慢慢地從數(shù)據(jù)的共享服務(wù)開始讓大家享受到數(shù)據(jù)資產(chǎn)的紅利。數(shù)據(jù)服務(wù)在企業(yè)內(nèi)有多種形式，主要包括對(duì)人的數(shù)據(jù)服務(wù)、對(duì)系統(tǒng)的數(shù)據(jù)服務(wù)、對(duì)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)服務(wù)等。1)對(duì)人服務(wù)：統(tǒng)一查詢，單一視圖，如圖1-13所示。企業(yè)各業(yè)務(wù)板塊采購(gòu)采購(gòu)服務(wù)財(cái)務(wù)管理者360度數(shù)據(jù)信息企業(yè)二維碼庫(kù)合作伙伴物流客服計(jì)劃銷售業(yè)務(wù)員客商生產(chǎn)2)對(duì)系統(tǒng)的服務(wù)：雪花狀數(shù)據(jù)交換服務(wù)架構(gòu)，如圖1-14所示。CRM系統(tǒng)3)對(duì)數(shù)據(jù)倉(cāng)庫(kù)的服務(wù)：如圖1-15所示。加載主數(shù)據(jù)映射關(guān)系參照交換歷史數(shù)據(jù)數(shù)據(jù)完善后映射其他數(shù)據(jù)分析平臺(tái)數(shù)據(jù)治理平臺(tái)加載主數(shù)據(jù)業(yè)務(wù)數(shù)據(jù)映射關(guān)系庫(kù)數(shù)據(jù)新增1.3.7構(gòu)建基于過程的知識(shí)體系確保全面的數(shù)據(jù)治理能力關(guān)于知識(shí)，很多人都認(rèn)為應(yīng)該只是知識(shí)密集型企業(yè)才會(huì)關(guān)心的，在數(shù)據(jù)治理行業(yè)只要簡(jiǎn)單地知識(shí)轉(zhuǎn)移一下，能用好工具就可以了，甚至很多人認(rèn)為數(shù)據(jù)治理一定要長(zhǎng)期靠外力，企業(yè)自身的能力有限根本不可能治理好數(shù)據(jù)。這是一個(gè)很大的誤區(qū)，數(shù)據(jù)治理可以借助外力，但一定不能長(zhǎng)期借用外力。借用外力應(yīng)該只是一個(gè)項(xiàng)目的過程，實(shí)施數(shù)據(jù)治理項(xiàng)目只是數(shù)據(jù)治理工作的起點(diǎn)，項(xiàng)目實(shí)施后未來長(zhǎng)期的數(shù)據(jù)治理過程中如果繼續(xù)依靠外力，高昂的成本企業(yè)根本無法承受，其實(shí)也沒必要付出這個(gè)成本。因此，企業(yè)具備數(shù)據(jù)治理的能力非常重要，那么企業(yè)應(yīng)該具備什么樣的能力呢?根據(jù)多年的經(jīng)驗(yàn)總結(jié)，企業(yè)數(shù)據(jù)運(yùn)維管理階段需要具備針對(duì)數(shù)據(jù)管理體系的拓展和完善能力，以便支撐未來企業(yè)發(fā)展后的數(shù)據(jù)擴(kuò)展或管理變更的需求。第1章企業(yè)數(shù)據(jù)治理概述//27如何才能獲得這個(gè)能力呢?經(jīng)驗(yàn)告訴我們，能力需要有足夠多的知識(shí)支撐才可以具備，并且是全方位的知識(shí)，尤其是過程知識(shí)。針對(duì)數(shù)據(jù)管理體系的拓展和完善工作最關(guān)鍵的就是弄清來龍去脈以便延續(xù)以往的思路，防止標(biāo)準(zhǔn)體系的走偏和分裂。因此要做好此工作需要長(zhǎng)期積累大量的過程知識(shí)，構(gòu)建基于過程的知識(shí)收集和推送體系是關(guān)鍵中的關(guān)鍵。具體的過程知識(shí)體系結(jié)構(gòu)如圖1-16所示。數(shù)據(jù)補(bǔ)充人數(shù)據(jù)補(bǔ)充人數(shù)據(jù)變更人變更過程知識(shí)數(shù)據(jù)運(yùn)維知識(shí)庫(kù)申請(qǐng)過程知識(shí)審核過程知識(shí)“八步走”實(shí)施企業(yè)數(shù)據(jù)治理法。近20年的數(shù)據(jù)治理經(jīng)驗(yàn)使得我們有機(jī)會(huì)總結(jié)出一套基于數(shù)據(jù)治理企業(yè)數(shù)據(jù)管理現(xiàn)狀的自查是未來開啟數(shù)據(jù)治理的基礎(chǔ)工作，是讓領(lǐng)導(dǎo)下定決心的第一步。企業(yè)數(shù)據(jù)管理現(xiàn)狀自查工作的開展主要由企業(yè)自己的IT部門發(fā)第2章"八步走"實(shí)施企業(yè)數(shù)據(jù)治理//291)自上而下，從企業(yè)頂層開始了解有沒有統(tǒng)一的數(shù)據(jù)管理體系標(biāo)2)直至末端，除向各級(jí)部門領(lǐng)導(dǎo)了解情況外，自查一定要涉及各3)強(qiáng)調(diào)針對(duì)性，只針對(duì)數(shù)據(jù)管理現(xiàn)狀了解，不要過多地牽扯業(yè)務(wù)4)不宜過細(xì)，這個(gè)自查只是初步的整體上的了解，不要過于糾纏5)明確訴求，除了了解現(xiàn)狀還要收集各數(shù)據(jù)管理人員的訴求，要1)目前企業(yè)有沒有數(shù)據(jù)管理組織?如果有，是以什么形式存在2)有沒有數(shù)據(jù)管理制度?有沒有嚴(yán)格執(zhí)行?數(shù)據(jù)分類、編碼、模型、標(biāo)準(zhǔn)、交換規(guī)范、運(yùn)維體系的情況如何?都由哪些層級(jí)的組織負(fù)責(zé)?目前執(zhí)行的結(jié)果如何?3)企業(yè)內(nèi)都有哪些數(shù)據(jù)?數(shù)據(jù)都存儲(chǔ)在哪里?是否有數(shù)據(jù)不一4)有沒有數(shù)據(jù)訪問、服務(wù)安全機(jī)制?數(shù)據(jù)開放程度如何?5)業(yè)務(wù)系統(tǒng)間數(shù)據(jù)交互的現(xiàn)狀是什么樣的?都涉及什么樣的接口6)日常管理中是否發(fā)現(xiàn)數(shù)據(jù)質(zhì)量的問題?對(duì)有質(zhì)量問題的數(shù)據(jù)是另外，可以根據(jù)以上情況結(jié)合國(guó)家2018年發(fā)布的GB/T36073-2018相關(guān)的標(biāo)準(zhǔn)進(jìn)行自查，最終就可以很清晰地感受到企業(yè)內(nèi)的數(shù)據(jù)當(dāng)企業(yè)決定要開展數(shù)據(jù)治理后，真正的準(zhǔn)備工作就來了。大家都知道頑疾要想痊愈，肯定是非常難，企業(yè)多年來積累的數(shù)據(jù)質(zhì)量問題，要想徹底全面地解決是一個(gè)非常繁重的工作，周期長(zhǎng)且成效很難立刻顯現(xiàn)，急于求成或者力求一步到位很容易出現(xiàn)半途而廢的情況，因此項(xiàng)目啟動(dòng)前的準(zhǔn)備工作是相當(dāng)?shù)闹匾捅匾模枰幸欢ǖ牟呗院头椒?。要想順利啟?dòng)一個(gè)數(shù)據(jù)治理項(xiàng)目，具體的前期準(zhǔn)備工作如下：那么,如何才能獲得高層領(lǐng)導(dǎo)全面持久的支持呢?這個(gè)問題值得進(jìn)一2.找準(zhǔn)管理“痛點(diǎn)”怎么樣才能精準(zhǔn)地找出“痛點(diǎn)”呢?首先要從數(shù)據(jù)規(guī)范的角度出發(fā)，然后精準(zhǔn)匹配業(yè)務(wù)場(chǎng)景，最終以數(shù)據(jù)規(guī)范為基礎(chǔ)，以業(yè)務(wù)場(chǎng)景為方向，以數(shù)據(jù)應(yīng)用分析為目標(biāo)，找到真正關(guān)鍵、準(zhǔn)確的“痛點(diǎn)”出來。通常來講，企業(yè)因數(shù)據(jù)質(zhì)量問題造成的管理“痛點(diǎn)”包括：數(shù)據(jù)報(bào)表不準(zhǔn)確、采購(gòu)出錯(cuò)、倉(cāng)庫(kù)賬實(shí)不一、客戶滿意度低、售后服務(wù)延遲等問題。3.選擇起點(diǎn)、明確目標(biāo)下一步就要選擇開展數(shù)據(jù)治理工作的“起點(diǎn)”,并最終明確數(shù)據(jù)治第2章"八步走"實(shí)施企業(yè)數(shù)據(jù)治理//31上線前，BI或報(bào)表工具實(shí)施前，項(xiàng)目目標(biāo)一般都是快速提升數(shù)據(jù)質(zhì)4.確定治理原則，框定治理范圍●基于主數(shù)據(jù)的動(dòng)態(tài)特性，強(qiáng)化私有靜態(tài)數(shù)據(jù)管理，實(shí)現(xiàn)360度全推行敏捷BI的全面使用，建立企業(yè)數(shù)據(jù)中心。5.立項(xiàng)申報(bào)、廠商選擇有了領(lǐng)導(dǎo)支持，并且以上前期準(zhǔn)備工作都完成后，就可以著手項(xiàng)目立項(xiàng)工作了。立項(xiàng)申報(bào)最主要的工作就是要編寫一套出色的《數(shù)據(jù)治理項(xiàng)目立項(xiàng)報(bào)告》,內(nèi)容要包括數(shù)據(jù)治理項(xiàng)目的背景、意義；數(shù)據(jù)治理的必要性；數(shù)據(jù)管理的現(xiàn)狀；數(shù)據(jù)治理項(xiàng)目的目標(biāo)規(guī)劃；數(shù)據(jù)治理項(xiàng)目的實(shí)施方案；數(shù)據(jù)治理項(xiàng)目的預(yù)算；數(shù)據(jù)治理項(xiàng)目的價(jià)值預(yù)估等。企業(yè)是否有相關(guān)部門可以主導(dǎo)整個(gè)項(xiàng)目的開展?企業(yè)相關(guān)人員參與項(xiàng)目的時(shí)間是否充足?企業(yè)內(nèi)是否具備相關(guān)技術(shù)實(shí)力支撐項(xiàng)目的順暢開展?企業(yè)是否具備相關(guān)的工具以便實(shí)現(xiàn)體系規(guī)范的落地?但一般建議還是引入“外援”,讓專業(yè)的數(shù)據(jù)治理公司參與進(jìn)來，具體的外部廠商的選擇本節(jié)的全面排查和2.1節(jié)介紹的企業(yè)現(xiàn)狀自查有本質(zhì)的區(qū)別，現(xiàn)狀自查是企業(yè)自己對(duì)自身數(shù)據(jù)管理現(xiàn)狀的全面了解，而本節(jié)的全面排查引入了外部專業(yè)廠商(乙方)的力量，是從項(xiàng)目實(shí)施的角度出發(fā)進(jìn)行的調(diào)研，是啟動(dòng)項(xiàng)目前的調(diào)研和分析。具體的調(diào)研方法和調(diào)研內(nèi)容如下。●電話、網(wǎng)絡(luò)點(diǎn)對(duì)點(diǎn)交流。2.調(diào)研內(nèi)容●目前數(shù)據(jù)管理對(duì)數(shù)據(jù)應(yīng)用分析(報(bào)表、BI、大數(shù)據(jù)等)的影響；●目前數(shù)據(jù)管理對(duì)未來企業(yè)數(shù)據(jù)戰(zhàn)略規(guī)劃的影響；●各級(jí)人員對(duì)數(shù)據(jù)管理的意見和建議。另外，調(diào)研的過程要時(shí)刻想著收集直接的一手資料，不論是制度、模型、流程，還是一些實(shí)際的數(shù)據(jù)以及數(shù)據(jù)質(zhì)量、安全的問題，紙質(zhì)材料也好，電子版材料也好，反正是有什么都統(tǒng)統(tǒng)拿來。整理收集來的這些資料肯定是個(gè)煩瑣的工作，這個(gè)時(shí)候切不可草率，要從這些材料里面找出問題，畢竟要出具合格的“診斷結(jié)果”—《調(diào)研分析報(bào)告》還是不容易的?！墩{(diào)研分析報(bào)告》的內(nèi)容應(yīng)包括企業(yè)第2章"八步走"實(shí)施企業(yè)數(shù)據(jù)治理//33數(shù)據(jù)治理背景、調(diào)研過程(包括調(diào)研時(shí)間、人員、會(huì)議情況、資料收集情況等)、數(shù)據(jù)管理現(xiàn)狀描述、數(shù)據(jù)問題分析、行業(yè)對(duì)標(biāo)分析、數(shù)據(jù)治理建議等。項(xiàng)目調(diào)研完成后，根據(jù)《調(diào)研分析報(bào)告》以及收集的相關(guān)資料開始進(jìn)行數(shù)據(jù)治理項(xiàng)目最核心的一個(gè)環(huán)節(jié)——構(gòu)建數(shù)據(jù)管理體系。數(shù)據(jù)管理體系是企業(yè)數(shù)據(jù)治理的依據(jù)和基礎(chǔ)，也經(jīng)常被理解為企業(yè)數(shù)據(jù)環(huán)境，企業(yè)數(shù)據(jù)環(huán)境的好壞直接決定了數(shù)據(jù)質(zhì)量的優(yōu)劣。數(shù)據(jù)管理體系由數(shù)據(jù)管理組織、制度、流程；數(shù)據(jù)模型體系；數(shù)據(jù)質(zhì)量管理標(biāo)準(zhǔn)；數(shù)據(jù)安全管理標(biāo)準(zhǔn)；數(shù)據(jù)交換管理體系；數(shù)據(jù)運(yùn)維管理體系6部分組成。重構(gòu)企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)體系的原則如下：1)參照《DAMA數(shù)據(jù)管理知識(shí)體系指南》;2)借鑒數(shù)據(jù)治理廠商多年的數(shù)據(jù)治理經(jīng)驗(yàn)；3)盡量選擇有多年經(jīng)驗(yàn)的行業(yè)專家主導(dǎo)或參與制定；4)參照國(guó)際標(biāo)準(zhǔn)、國(guó)家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)、企業(yè)標(biāo)準(zhǔn)；5)數(shù)據(jù)管理體系定稿前要全面、詳實(shí)地討論，線上保留全部討論6)重點(diǎn)聽取一線或業(yè)務(wù)部門建議、意見。通過以上方法可以制定出一套既滿足數(shù)據(jù)管理要求又不違背業(yè)務(wù)邏輯的全新數(shù)據(jù)標(biāo)準(zhǔn)體系。最終要實(shí)現(xiàn)標(biāo)準(zhǔn)體系的系統(tǒng)落地，切忌成果只留在紙面或者電子文檔中。數(shù)據(jù)標(biāo)準(zhǔn)體系構(gòu)建好并實(shí)現(xiàn)落地后，接下來就是要進(jìn)行存量數(shù)據(jù)改造——存量數(shù)據(jù)的清洗工作。數(shù)據(jù)清洗就是指對(duì)存量數(shù)據(jù)的質(zhì)量改造過程，主要是解決存量數(shù)據(jù)的不一致、不完整、不合規(guī)以及冗余的問題。通過存量數(shù)據(jù)的改造徹底解決數(shù)據(jù)質(zhì)量的歷史遺留問題，為未來數(shù)據(jù)新增時(shí)的查重奠定基礎(chǔ)。數(shù)據(jù)清洗的原則及方法：1)要從企業(yè)自身的存量數(shù)據(jù)入手，切忌直接依據(jù)行業(yè)內(nèi)其他公司的標(biāo)準(zhǔn)數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗；2)遵循數(shù)據(jù)治理項(xiàng)目建立的數(shù)據(jù)模型體系標(biāo)準(zhǔn)；3)采用相關(guān)的數(shù)據(jù)清洗工具進(jìn)行數(shù)據(jù)清洗工作，盡量不要手工處理，因?yàn)閿?shù)據(jù)量大容易出錯(cuò)；4)合理分工，根據(jù)數(shù)據(jù)所屬關(guān)系遵循誰(shuí)的數(shù)據(jù)誰(shuí)清洗的原則，專5)理好優(yōu)先順序，先清洗著急使用的數(shù)據(jù)，也可以什么時(shí)候用什么時(shí)候清洗，把數(shù)據(jù)清洗工作時(shí)間跨度適當(dāng)拉長(zhǎng)，減輕不必要的壓力。數(shù)據(jù)清洗的結(jié)果是完善了數(shù)據(jù)，建立了冗余數(shù)據(jù)的映射關(guān)系庫(kù)，然后可以根據(jù)冗余數(shù)據(jù)映射關(guān)系庫(kù)在業(yè)務(wù)系統(tǒng)中陸續(xù)停用問題數(shù)據(jù)，當(dāng)然也可以把完善后的數(shù)據(jù)更新到業(yè)務(wù)中去。數(shù)據(jù)交換服務(wù)是指通過數(shù)據(jù)交換平臺(tái)建立各業(yè)務(wù)系統(tǒng)間的數(shù)據(jù)交換(采集、分發(fā)),實(shí)現(xiàn)數(shù)據(jù)在各系統(tǒng)間的順暢流動(dòng)，徹底消除企業(yè)的"數(shù)據(jù)孤島”現(xiàn)象。構(gòu)建數(shù)據(jù)交換服務(wù)屬于技術(shù)性較強(qiáng)的工作，此項(xiàng)工作的核心就是完善數(shù)據(jù)交換架構(gòu)。當(dāng)數(shù)據(jù)管理體系重構(gòu)后就可以開展此工作，可以和存量數(shù)據(jù)的改造工作并行。此工作首先要進(jìn)行交換標(biāo)準(zhǔn)體系的梳理，然后構(gòu)建基于靜態(tài)數(shù)據(jù)中心的數(shù)據(jù)交換架構(gòu)，最后通過搭建專業(yè)的數(shù)據(jù)交換平臺(tái)進(jìn)行技術(shù)實(shí)現(xiàn)。完善數(shù)據(jù)交換架構(gòu)的原則和方法：1)梳理并制定數(shù)據(jù)標(biāo)準(zhǔn)體系(數(shù)據(jù)管理體系的一部分),具體梳理與制定原則、方法詳見6.1.5小節(jié)。并結(jié)合數(shù)據(jù)交換標(biāo)準(zhǔn)體系構(gòu)建基于靜態(tài)數(shù)據(jù)中心的數(shù)據(jù)交換架構(gòu)(具體詳見8.2小節(jié));2)必要時(shí)把第三方廠商請(qǐng)到項(xiàng)目現(xiàn)場(chǎng)進(jìn)行交換規(guī)則的討論、定義；3)利用專業(yè)的數(shù)據(jù)交換平臺(tái)進(jìn)行技術(shù)實(shí)現(xiàn)，不建議直接使用ESB交換靜態(tài)數(shù)據(jù)。本階段結(jié)束后，企業(yè)數(shù)據(jù)治理項(xiàng)目的主要工作已基本完成，可以進(jìn)入項(xiàng)目的試運(yùn)行和驗(yàn)收工作了。2.7行為管控——優(yōu)化增量數(shù)據(jù)質(zhì)量數(shù)據(jù)治理項(xiàng)目試運(yùn)行和驗(yàn)收的同時(shí)，企業(yè)對(duì)于數(shù)據(jù)的治理工作就正式進(jìn)入了對(duì)數(shù)據(jù)的日常運(yùn)維階段，也是數(shù)據(jù)生命周期的核心階段。純技術(shù)手段的數(shù)據(jù)質(zhì)量驗(yàn)證并不能完全滿足現(xiàn)階段企業(yè)對(duì)數(shù)據(jù)質(zhì)量的要求。因此，需要通過行為管控的數(shù)據(jù)質(zhì)量?jī)?yōu)化方式，解決更深層次數(shù)據(jù)質(zhì)量問題(如錯(cuò)別字、類別選擇錯(cuò)誤等),為企業(yè)精細(xì)化管理以及精確化分析提供基礎(chǔ)。即：在技術(shù)手段驗(yàn)證數(shù)據(jù)質(zhì)量的基礎(chǔ)上對(duì)數(shù)據(jù)操作人員的行為進(jìn)行管控，從而優(yōu)化數(shù)據(jù)質(zhì)量；通過大數(shù)據(jù)行為分析，檢測(cè)、探知、處理已生成的數(shù)據(jù)，進(jìn)一步優(yōu)化數(shù)據(jù)質(zhì)量。增量數(shù)據(jù)相對(duì)存量數(shù)據(jù)而言，二者以數(shù)據(jù)治理項(xiàng)目中數(shù)據(jù)治理平臺(tái)正式上線的時(shí)間節(jié)點(diǎn)來劃分。數(shù)據(jù)治理平臺(tái)上線前，企業(yè)已有的所有數(shù)據(jù)都是存量數(shù)據(jù)；平臺(tái)上線后新增的數(shù)據(jù)都是增量數(shù)據(jù)。另外，只有增量數(shù)據(jù)的質(zhì)量需要再優(yōu)化，存量數(shù)據(jù)只需要在數(shù)據(jù)治理項(xiàng)目中進(jìn)行一次性清洗即可。針對(duì)增量數(shù)據(jù)質(zhì)量可以通過行為管控進(jìn)行優(yōu)化的階段有兩個(gè)，一是在數(shù)據(jù)采集/驗(yàn)證(數(shù)據(jù)維護(hù)/審核)階段，二是在數(shù)據(jù)生成、分發(fā)階段，數(shù)據(jù)全生命周期如圖2-1所示。 數(shù)據(jù)維護(hù)/審核大數(shù)據(jù)行為分析的數(shù)據(jù)質(zhì)量監(jiān)測(cè)通過行為管控的方式解決數(shù)據(jù)質(zhì)量問題的原則和方法：1)數(shù)據(jù)維護(hù)階段，依據(jù)相關(guān)業(yè)務(wù)崗位的人員錄入本業(yè)務(wù)崗位相關(guān)數(shù)據(jù)的原則，把整條數(shù)據(jù)信息拆分成多個(gè)(或組)屬性字段，通過將各專業(yè)屬性字段(或組)分別授權(quán)給相關(guān)業(yè)務(wù)崗位人員進(jìn)行維護(hù)實(shí)現(xiàn)優(yōu)化增量數(shù)據(jù)質(zhì)量；2)數(shù)據(jù)生成后，通過數(shù)據(jù)治理平臺(tái)的大數(shù)據(jù)行為分析技術(shù)，對(duì)數(shù)據(jù)質(zhì)量進(jìn)行分析、監(jiān)測(cè)，探知已存在于業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)質(zhì)量問題，并對(duì)問題及時(shí)進(jìn)行處理；3)不斷優(yōu)化基于機(jī)器學(xué)習(xí)的數(shù)據(jù)質(zhì)量判斷模型，逐步提高數(shù)據(jù)質(zhì)量問題的探知能力。2.8能力轉(zhuǎn)移——保障高效的數(shù)據(jù)運(yùn)維管理關(guān)于企業(yè)應(yīng)該具備數(shù)據(jù)治理的能力，一直沒有得到應(yīng)有的重視，很多企業(yè)對(duì)于數(shù)據(jù)治理能力構(gòu)建目前還都處在項(xiàng)目結(jié)束后的匯總式知識(shí)轉(zhuǎn)移模式，對(duì)數(shù)據(jù)治理能力的要求比較簡(jiǎn)單，因此出現(xiàn)了數(shù)據(jù)治理項(xiàng)目實(shí)施后，只是企業(yè)的數(shù)據(jù)運(yùn)維人員具有對(duì)數(shù)據(jù)治理平臺(tái)的操作能力，企業(yè)對(duì)數(shù)據(jù)標(biāo)準(zhǔn)體系的擴(kuò)展、完善幾乎是無能為力，數(shù)據(jù)運(yùn)維管理變得很艱難。所以必須要實(shí)現(xiàn)數(shù)據(jù)治理能力有效完整的轉(zhuǎn)移。數(shù)據(jù)治理能力的轉(zhuǎn)移來源于數(shù)據(jù)治理知識(shí)的有效轉(zhuǎn)移。數(shù)據(jù)治理知識(shí)來源于數(shù)據(jù)治理項(xiàng)目過程中對(duì)調(diào)研、咨詢知識(shí)的收集、加工，以及數(shù)據(jù)治理項(xiàng)目實(shí)施后日常數(shù)據(jù)運(yùn)維管理過程中的知識(shí)采集、沉淀，也稱數(shù)據(jù)治理知識(shí)的生產(chǎn)。數(shù)據(jù)治理項(xiàng)目具有很高的難度和特殊性，只有數(shù)據(jù)治理項(xiàng)目成果的知識(shí)轉(zhuǎn)移對(duì)企業(yè)數(shù)據(jù)治理能力的提升不明顯，無法讓企業(yè)具備有效的數(shù)據(jù)治理能力，無法有效支撐數(shù)據(jù)的運(yùn)維管理。因此，需要注重?cái)?shù)據(jù)治理知識(shí)的生產(chǎn)、積累、存儲(chǔ)，并且實(shí)時(shí)地注入企業(yè)數(shù)據(jù)運(yùn)維人員的操作界面上，讓運(yùn)維人員在進(jìn)行數(shù)據(jù)管理體系拓展操作時(shí)可以借鑒、參考數(shù)據(jù)治理項(xiàng)目實(shí)施時(shí)的思路，實(shí)現(xiàn)數(shù)據(jù)管理體系拓展與現(xiàn)有項(xiàng)目的無縫銜接。項(xiàng)目篇全面梳理數(shù)據(jù)治理項(xiàng)目實(shí)施過程各環(huán)節(jié)的要點(diǎn)。第3章所謂的自查，就是企業(yè)自己組織力量對(duì)企業(yè)自身的數(shù)據(jù)管理現(xiàn)狀進(jìn)行初步了解。自查可以讓企業(yè)明確自身所處的狀態(tài)，為即將開展的數(shù)據(jù)從2007年到2019年這12年來，筆者親身經(jīng)歷并感受到企業(yè)對(duì)數(shù)2010年初，筆者所在的中翰軟件公司首次把主數(shù)據(jù)概念引入國(guó)內(nèi)，并發(fā)布了中翰MDM平臺(tái)。當(dāng)時(shí)筆者帶領(lǐng)10多人的銷售團(tuán)隊(duì)到山東的100強(qiáng)企業(yè)里面進(jìn)行大范圍市場(chǎng)調(diào)研，幾個(gè)月過后得到的結(jié)論是企業(yè)不需要主數(shù)據(jù)管理，企業(yè)對(duì)主數(shù)據(jù)的概念很模糊，不理解，企業(yè)信息化建2012年夏天，筆者又進(jìn)行了一次類似的市場(chǎng)調(diào)研，并安排銷售、咨詢?nèi)藛T為企業(yè)宣講數(shù)據(jù)治理的必要性、科學(xué)性。讓人欣慰的是，這次有了一些收獲，好多企業(yè)已經(jīng)認(rèn)識(shí)到數(shù)據(jù)治理的重要性。從2015年開始，隨著大數(shù)據(jù)概念的持續(xù)發(fā)酵，越來越多的企業(yè)逐漸意識(shí)到了數(shù)據(jù)治理的必要性，主動(dòng)開始尋求解決方案甚至立項(xiàng)，尤其是2019年開始，企業(yè)對(duì)數(shù)據(jù)治理的需求出現(xiàn)了井噴式的增長(zhǎng)。第3章5個(gè)角度自查數(shù)據(jù)管理現(xiàn)狀//39總的來說，由于缺乏對(duì)數(shù)據(jù)的有效控制，企業(yè)的數(shù)據(jù)問題往往會(huì)有以下四個(gè)主要和普遍的問題。(1)數(shù)據(jù)不一致由于企業(yè)內(nèi)數(shù)據(jù)存在不一致性，導(dǎo)致企業(yè)大量的資源浪費(fèi)，包括時(shí)間、金錢和人力等。花費(fèi)時(shí)間和精力用于判斷企業(yè)內(nèi)一個(gè)客戶的真正地址或者其他基礎(chǔ)信息到底是什么并不能增加企業(yè)的收入，而且非常不幸的是，因?yàn)闆]有一個(gè)好的存儲(chǔ)機(jī)制用來保存比對(duì)過的客戶數(shù)據(jù)，這種客戶數(shù)據(jù)進(jìn)行一致處理的過程需要多次反復(fù)。(2)數(shù)據(jù)冗余大多數(shù)企業(yè)沒有專業(yè)的數(shù)據(jù)管理平臺(tái)，企業(yè)內(nèi)的每一個(gè)系統(tǒng)、應(yīng)用，甚至每個(gè)業(yè)務(wù)部門都會(huì)有各自的數(shù)據(jù)信息。最普遍的例子就是對(duì)客戶數(shù)據(jù)的收集，客戶的關(guān)鍵屬性如客戶名稱、地址等信息在企業(yè)內(nèi)各個(gè)角落都被重復(fù)記錄著。在這個(gè)收集客戶信息的過程中，很少會(huì)產(chǎn)生相同或者一致的結(jié)果。這就導(dǎo)致了數(shù)據(jù)冗余和數(shù)據(jù)質(zhì)量過差的問題出現(xiàn)。(3)業(yè)務(wù)低效散亂的數(shù)據(jù)會(huì)導(dǎo)致各種業(yè)務(wù)低效的情況發(fā)生，如低效的供應(yīng)鏈管理，不一致的客戶待遇，客戶滿意度低等。一個(gè)采購(gòu)人員需要綜合幾個(gè)業(yè)務(wù)系統(tǒng)去判斷一個(gè)物料的真實(shí)面目，這不僅是低效的，而且很有可能由于信息的不全導(dǎo)致采購(gòu)的物料無法滿足生產(chǎn)部門的需求，造成生產(chǎn)進(jìn)度的不可控，無法按期交付商品給客戶，散亂的數(shù)據(jù)管理嚴(yán)重降低了企業(yè)的效率，從而降低企業(yè)的市場(chǎng)競(jìng)爭(zhēng)力。(4)不適應(yīng)業(yè)務(wù)變化企業(yè)內(nèi)的業(yè)務(wù)經(jīng)常發(fā)生各種變化，如引入新的產(chǎn)品和服務(wù)，公司的業(yè)務(wù)重組和新技術(shù)的應(yīng)用。這些企業(yè)內(nèi)的各種變化都會(huì)導(dǎo)致企業(yè)數(shù)據(jù)的變化，如果沒有一套機(jī)制來管理這些變化，企業(yè)在數(shù)據(jù)不一致、不完整、不合規(guī)、數(shù)據(jù)冗余、業(yè)務(wù)低效等方面的問題就會(huì)不斷地加劇。企業(yè)實(shí)施數(shù)據(jù)治理項(xiàng)目之前，首先要做的就是對(duì)各種企業(yè)數(shù)據(jù)的問題進(jìn)行自查。綜合以上各種情況，企業(yè)數(shù)據(jù)的問題可以按照數(shù)據(jù)環(huán)境、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)交換、數(shù)據(jù)運(yùn)維5大維度進(jìn)行區(qū)分，可以從這5個(gè)角度進(jìn)行自查。數(shù)據(jù)環(huán)境，是指包括數(shù)據(jù)的數(shù)據(jù)管理組織、制度和流程、模型體系(包括數(shù)據(jù)分類、編碼、信息模型體系)、質(zhì)量標(biāo)準(zhǔn)體系、安全標(biāo)準(zhǔn)體系、運(yùn)維管理體系、交換標(biāo)準(zhǔn)體系等在內(nèi)的標(biāo)準(zhǔn)體系的集合，統(tǒng)指為數(shù)據(jù)所處的環(huán)境。在企業(yè)數(shù)據(jù)環(huán)境現(xiàn)狀自查過程中，一定要做到全面、細(xì)致、準(zhǔn)確，這樣才能為下一步的數(shù)據(jù)治理工作打下堅(jiān)實(shí)的基礎(chǔ)。數(shù)據(jù)環(huán)境現(xiàn)狀自查方法、原則在第2章已有介紹，在此不再重復(fù)，此處給出企業(yè)數(shù)據(jù)環(huán)境自查的具體標(biāo)準(zhǔn)，如表3-1所示。企業(yè)可以參照這個(gè)自查標(biāo)準(zhǔn)對(duì)自身的企業(yè)數(shù)據(jù)環(huán)境狀況進(jìn)行自查。自查維度自查標(biāo)準(zhǔn)1的數(shù)據(jù)新增、審核、變更等管理流程；是否具備未來數(shù)據(jù)管理2模型體系3質(zhì)量標(biāo)準(zhǔn)體系備問題數(shù)據(jù)的實(shí)時(shí)清洗策略、機(jī)制；是否具備數(shù)據(jù)質(zhì)量可持續(xù)化的指導(dǎo)性文檔；是否具備完整的人工、系統(tǒng)自動(dòng)驗(yàn)證機(jī)制；等環(huán)節(jié)；是否具備未來數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)完善拓展的指導(dǎo)性知識(shí)4交換標(biāo)準(zhǔn)體系準(zhǔn)、策略；是否具備數(shù)據(jù)傳輸結(jié)果反饋機(jī)制，傳輸失敗數(shù)據(jù)的5安全標(biāo)準(zhǔn)體系安全機(jī)制、數(shù)據(jù)訪問安全機(jī)制；是否具備數(shù)據(jù)類別權(quán)限控系、具備字段級(jí)數(shù)據(jù)操作、查看、審核權(quán)限體系；是否具6運(yùn)維管理體系是否具備數(shù)據(jù)運(yùn)維管理制度、流程、考核機(jī)制；是否具備問題數(shù)據(jù)日常監(jiān)測(cè)、探知、處理機(jī)制；是否具系完善拓展的指導(dǎo)性知識(shí)第3章5個(gè)角度自查數(shù)據(jù)管理現(xiàn)狀//41數(shù)據(jù)質(zhì)量指的是一條數(shù)據(jù)顯性的質(zhì)量表現(xiàn)，分析起來似乎比較容易，但是我們不僅要考慮數(shù)據(jù)自身的質(zhì)量問題，也要考慮不同系統(tǒng)(數(shù)據(jù)所處環(huán)境)間由于各種原因造成的質(zhì)量問題，畢竟數(shù)據(jù)的存在不是獨(dú)立性的。因此，分析數(shù)據(jù)的質(zhì)量問題，需要結(jié)合現(xiàn)有的業(yè)務(wù)管理系統(tǒng)，從數(shù)據(jù)的一致性、完整性、合規(guī)性、冗余、及時(shí)性和有效性6個(gè)方面進(jìn)行全面的分析。1.數(shù)據(jù)質(zhì)量自查標(biāo)準(zhǔn)及方法數(shù)據(jù)質(zhì)量自查標(biāo)準(zhǔn)，如表3-2所示。自查維度自查標(biāo)準(zhǔn)1同一業(yè)務(wù)實(shí)體對(duì)象在不同業(yè)務(wù)系統(tǒng)、不同組織機(jī)構(gòu)內(nèi)，它的名稱等相關(guān)靜態(tài)基準(zhǔn)信息以及其被引用的關(guān)聯(lián)屬性數(shù)據(jù)信息應(yīng)是否完全一2屬性數(shù)據(jù)信息3針對(duì)某一業(yè)務(wù)實(shí)體對(duì)象的描述是否完全符合業(yè)務(wù)規(guī)則、業(yè)務(wù)代碼制定原則，數(shù)據(jù)描述規(guī)范4針對(duì)同一業(yè)務(wù)實(shí)體，在企業(yè)內(nèi)所有系統(tǒng)、組織機(jī)代碼對(duì)應(yīng)；針對(duì)同一代碼，在企業(yè)不同業(yè)務(wù)管理過程5數(shù)據(jù)由產(chǎn)生到被使用的時(shí)間過程應(yīng)是否在企業(yè)規(guī)定范圍內(nèi)6數(shù)據(jù)生產(chǎn)者是否完全按照數(shù)據(jù)使用者的要求進(jìn)行數(shù)據(jù)的新增、審從數(shù)據(jù)自身的角度自查數(shù)據(jù)質(zhì)量的方法，如表3-3所示。自查維度自查方法1了解多個(gè)業(yè)務(wù)系統(tǒng)間同一條數(shù)據(jù)的描述內(nèi)容是否一致2了解某一個(gè)業(yè)務(wù)系統(tǒng)內(nèi)一條數(shù)據(jù)的描述內(nèi)容是否全面、完整42//企業(yè)數(shù)據(jù)治理那些事(續(xù))自查維度自查方法3了解某一個(gè)業(yè)務(wù)系統(tǒng)內(nèi)一條數(shù)據(jù)的描述方式是否按照事先定好的模4了解某一個(gè)或者某幾個(gè)業(yè)務(wù)系統(tǒng)內(nèi)是否存在一物多碼、一碼多物等5了解一條數(shù)據(jù)產(chǎn)生后是否及時(shí)地被傳輸?shù)绞褂盟臉I(yè)務(wù)系統(tǒng)6了解一條數(shù)據(jù)產(chǎn)生后分發(fā)到使用系統(tǒng)的過程以及傳輸后的有效狀態(tài)表3-4自查數(shù)據(jù)質(zhì)量的方法(業(yè)務(wù)角度)自查維度1市場(chǎng)營(yíng)銷的單一和業(yè)務(wù)視圖2范，以及二者之間清晰的關(guān)系和角信息3及產(chǎn)品的可視度，使供應(yīng)商的開發(fā)和制造流程復(fù)雜化4場(chǎng)推廣的機(jī)會(huì)，從而延遲了新產(chǎn)品的推出時(shí)間和產(chǎn)品信息變更5致各種浪費(fèi)范、不完整以及大量的重碼，是否已經(jīng)導(dǎo)致采購(gòu)員、倉(cāng)管員很難識(shí)6才戰(zhàn)略支撐難度大7IT部門IT資源消耗水平越來越高第3章5個(gè)角度自查數(shù)據(jù)管理現(xiàn)狀//43(續(xù))自查維度8行為、工廠計(jì)劃、全局經(jīng)營(yíng)分析等的準(zhǔn)確率較低，無法有效支持2.數(shù)據(jù)質(zhì)量自查實(shí)例從企業(yè)實(shí)際數(shù)據(jù)管理的角度，我們看一下現(xiàn)實(shí)中存在的各種數(shù)據(jù)質(zhì)量的問題，可供企業(yè)做數(shù)據(jù)質(zhì)量自查時(shí)參考。1.數(shù)據(jù)規(guī)范、標(biāo)準(zhǔn)方面的數(shù)據(jù)質(zhì)量問題案例一：國(guó)內(nèi)某大型裝備制造企業(yè)集團(tuán)，并沒有形成統(tǒng)一的數(shù)據(jù)模型規(guī)范。其主要問題如下。1)數(shù)據(jù)大類問題，如表3-5所示。產(chǎn)成品上表中可以看出，該企業(yè)的數(shù)據(jù)大類界定維度不一，如外購(gòu)件和標(biāo)準(zhǔn)件兩類，外購(gòu)件的范圍太廣，沒有限定具體范圍，只要是外購(gòu)的都適用。2)數(shù)據(jù)中類問題。中類包含的范圍太廣，模板無法統(tǒng)一，如表3-6所示。中類編碼中類名稱金屬制品纖維制品橡膠制品塑料制品紙制品木制品化工用品從上表中可以看出，“化工用品”的范圍太大，包含了“涂料"“粘接材料”等品類，經(jīng)常出現(xiàn)很多本是“粘接材料”的物資誤放到“化工用品”中的現(xiàn)象，直接造成一物多碼等的數(shù)據(jù)冗余問題。還有一種情況就是中類分的過細(xì)，導(dǎo)致中類包含數(shù)量較多，后期出現(xiàn)新的數(shù)據(jù)時(shí)，可能需要增加新的類別對(duì)應(yīng)，導(dǎo)致未來中類數(shù)量越來越多，最終出現(xiàn)中類編碼位數(shù)不夠的現(xiàn)象，如表3-7所示。第3章5個(gè)角度自查數(shù)據(jù)管理現(xiàn)狀//45中類編碼中類名稱墊圈銷擋圈鍵密封圈3)數(shù)據(jù)小類問題。小類界定模糊不清，如表3-8、3-9所示。表3-8數(shù)據(jù)小類問題(1)中類編碼中類名稱電線電纜電線、電纜自控電伴熱線中類編碼中類名稱門控器門控器表3-8中的“電線、電纜”小類和“排線”“自控電伴熱線”小類有包含和被包含的關(guān)系存在，數(shù)據(jù)新增時(shí)很容易出現(xiàn)錯(cuò)放類別的情況。表3-9中的“門控器”和“安全門門控器”也是同樣的問題。4)編碼屬性問題。傳統(tǒng)型的規(guī)格型號(hào)整體式管理，無法實(shí)現(xiàn)嚴(yán)格的數(shù)據(jù)驗(yàn)證，且很容易造成人為的錄入錯(cuò)誤，尤其是中間連接符號(hào)如“*”“x”和混用，如表3-10所示。編碼數(shù)據(jù)模型不統(tǒng)一、不完整(同一小類),如表3-11所示。紅白防水絕緣膠帶稻興TP-1201第3章5個(gè)角度自查數(shù)據(jù)管理現(xiàn)狀//47(續(xù))以上這些編碼中很明顯的可以看出，同一個(gè)小類中編碼數(shù)據(jù)模型格式嚴(yán)重不統(tǒng)一，同樣都是膠帶，有的是顏色屬性，有的是寬度屬性，有的是長(zhǎng)度，有的是品牌型號(hào)，這樣后期新增數(shù)據(jù)時(shí)如此操作很難實(shí)現(xiàn)數(shù)據(jù)的精確查重，數(shù)據(jù)冗余在所難免。5)計(jì)量單位的大小寫不同(同一小類),如表3-12所示。計(jì)量單位出現(xiàn)了大小寫，書寫格式不規(guī)范，對(duì)于此類錄入錯(cuò)誤缺乏數(shù)據(jù)驗(yàn)證。表3-12編碼屬性問題(3)纏繞膜案例二：國(guó)內(nèi)某大型箱包生產(chǎn)企業(yè)集團(tuán)案例，其編碼數(shù)據(jù)模型不統(tǒng)一、不標(biāo)準(zhǔn)。其主要問題如下。1)編碼數(shù)據(jù)模型不統(tǒng)一、不標(biāo)準(zhǔn)，如表3-13所示。個(gè)雪佛蘭對(duì)著嘜個(gè)個(gè)個(gè)個(gè)個(gè)個(gè)個(gè)個(gè)(續(xù))個(gè)個(gè)個(gè)個(gè)個(gè)通過以上數(shù)據(jù)可以看出，不同編碼的規(guī)格型號(hào)的描述方式相差較大，有純漢字說明和借用編碼流水號(hào)兩種，二者的共存很容易導(dǎo)致一物多碼或一碼多物的問題發(fā)生，因?yàn)椴灰粯拥拿枋龇椒ǎ瑯I(yè)務(wù)系統(tǒng)無法驗(yàn)證新增數(shù)據(jù)時(shí)的重復(fù)所在。還有一個(gè)問題就是物資描述不標(biāo)準(zhǔn)、不清晰，規(guī)格型號(hào)用編碼來代替，此種情況適合比較熟悉實(shí)際業(yè)務(wù)。且非常了解相關(guān)物資的人，看到編碼就可以直接對(duì)應(yīng)到相關(guān)物資。但是企業(yè)生產(chǎn)過程中難免有崗位調(diào)離、離職、請(qǐng)假等現(xiàn)象的發(fā)生，新員工來到此崗位需要很長(zhǎng)一段時(shí)間來熟悉物資的這種描述方式，很容易導(dǎo)致錯(cuò)誤采購(gòu)、錯(cuò)誤生產(chǎn)、錯(cuò)誤盤點(diǎn)等現(xiàn)象的發(fā)生，直接對(duì)業(yè)務(wù)產(chǎn)生負(fù)面影響。同樣的問題(如表3-14所示的數(shù)據(jù))也很嚴(yán)重。個(gè)個(gè)個(gè)個(gè)個(gè)MAUTICA織嘜LOGO個(gè)個(gè)個(gè)個(gè)第3章5個(gè)角度自查數(shù)據(jù)管理現(xiàn)狀//49(續(xù))空氣標(biāo)個(gè)個(gè)個(gè)個(gè)個(gè)個(gè)2)編碼長(zhǎng)度不一，且編碼規(guī)則不一，如表3-15所示。規(guī)格型號(hào)個(gè)個(gè)個(gè)個(gè)個(gè)個(gè)個(gè)個(gè)個(gè)從表3-15中可以清晰地看出左邊編碼列的長(zhǎng)短不一，并且編碼借用了規(guī)格型號(hào)，如最后兩行的數(shù)據(jù)很可能造成“一物多碼”問題的發(fā)生。再有就是兩個(gè)編碼很明顯屬于同一類別，但是編碼規(guī)則中有阿拉伯?dāng)?shù)字“9”和英文字母"A”共存的現(xiàn)象，這種現(xiàn)象很容易造成一些誤解和“一物多碼”問題。3)規(guī)格型號(hào)書寫格式不規(guī)范，如表3-16所示。規(guī)格型號(hào)個(gè)個(gè)個(gè)個(gè)個(gè)個(gè)在表3-16中，規(guī)格型號(hào)的描述中“織嘜”前有的有空格，有的沒有空格，這種現(xiàn)象的出現(xiàn)直接導(dǎo)致現(xiàn)有業(yè)務(wù)系統(tǒng)無法實(shí)現(xiàn)有效查重，出現(xiàn)重碼現(xiàn)象在所難免。2.主數(shù)據(jù)冗余方面的數(shù)據(jù)質(zhì)量問題案例一：國(guó)內(nèi)某大型裝備制造企業(yè)集團(tuán)的數(shù)據(jù)冗余情況分析企業(yè)的數(shù)據(jù)規(guī)范和標(biāo)準(zhǔn)長(zhǎng)期由人工執(zhí)行，以及數(shù)據(jù)新增時(shí)的人為查重、人為監(jiān)管等，導(dǎo)致了主數(shù)據(jù)層面“一物多碼”的大量存在，產(chǎn)生了大量的主數(shù)據(jù)冗余。1)書寫格式不規(guī)范，出現(xiàn)了大小寫(同一小類)不統(tǒng)一的情況，如表3-17所示。鋼網(wǎng)鋼網(wǎng)MKQ-144-110EMDS-CAN-A鋼網(wǎng)Mkq146-110emds-can-are鋼網(wǎng)鋼網(wǎng)KN-100HC-20CAB-1-D-REV0鋼網(wǎng)KN-100HC-20CAB-1-DREV0鋼網(wǎng)鋼網(wǎng)鋼網(wǎng)第3章5個(gè)角度自查數(shù)據(jù)管理現(xiàn)狀//51(續(xù))鋼網(wǎng)鋼網(wǎng)鋼網(wǎng)鋼網(wǎng)鋼網(wǎng)鋼網(wǎng)鋼網(wǎng)Mkq441-110emd-rs-a-re表3-17的編碼中，編碼屬性模板還是比較標(biāo)準(zhǔn)的，但是在實(shí)際錄入過程中出現(xiàn)了大小寫不一致的問題，如最后三條編碼規(guī)格中用的是小寫，往上三行是大寫，再往上又有小寫出現(xiàn)，這很明顯地說明了缺乏嚴(yán)格的數(shù)據(jù)驗(yàn)證制度，所以編碼重復(fù)在所難免。2)數(shù)據(jù)模型不統(tǒng)一，如表3-18中所示的這組數(shù)據(jù)所示。60*25(材質(zhì)：亮白PET)25.4*12.7*10K單排PC亮白PET(0058)155*20*5K單排圓角大卷芯亮白PET146.1*9.7*5K單排圓角大卷芯亮白PET152.4*19.1*5K單排圓角大卷芯亮白PET12*12*10K雙排圓角大卷芯亮白PET160*20*5K單排圓角大卷芯亮白PET在表3-18中，第一行和最后一行編碼數(shù)據(jù)模型不同，規(guī)格型號(hào)的書寫格式也不一樣，但明顯指的是同一件物料，有一物多碼的嫌疑。其他行的編碼數(shù)據(jù)模型還是比較標(biāo)準(zhǔn)、統(tǒng)一的。3)很明顯的數(shù)據(jù)冗余(同一小類內(nèi)一物多碼),如表3-19所示。Φ10(黃色)φ10(黃色)RSFR-HHΦ4.0/2.02.1棕色(woer)RSFR-HHΦ4.0/2.02.1藍(lán)色(woer)在表3-19中的數(shù)據(jù)中明顯存在重復(fù)(冗余)數(shù)據(jù)，也就是我們經(jīng)常提到的。案例二：國(guó)內(nèi)某大型箱包生產(chǎn)企業(yè)集團(tuán)，其存在質(zhì)量問題的數(shù)據(jù)如表3-20所示。碼個(gè)個(gè)個(gè)個(gè)個(gè)個(gè)表3-20中數(shù)據(jù)，出現(xiàn)規(guī)格型號(hào)完全相同但編碼不同的現(xiàn)象，是一物多碼。此種現(xiàn)象會(huì)直接導(dǎo)致業(yè)務(wù)系統(tǒng)使用過程中不同的人使用不同的編碼，最終結(jié)果是報(bào)表中這一物資的業(yè)務(wù)數(shù)據(jù)無法統(tǒng)計(jì)到一條編碼下，導(dǎo)致報(bào)表數(shù)據(jù)不準(zhǔn)確。第3章5個(gè)角度自查數(shù)據(jù)管理現(xiàn)狀//53除了數(shù)據(jù)質(zhì)量，數(shù)據(jù)安全也是需要自查的內(nèi)容之一，數(shù)據(jù)安全的自查可以依據(jù)《DAMA數(shù)據(jù)管理知識(shí)體系指南》《信息安全技術(shù)-數(shù)據(jù)庫(kù)管理系統(tǒng)安全技術(shù)要求》(GB/T20273-2006)以及《信息系統(tǒng)安全等級(jí)保護(hù)基本要求》(GB/T22239-2008)的相關(guān)內(nèi)容進(jìn)行。數(shù)據(jù)安全根據(jù)數(shù)據(jù)生命周期可以分為數(shù)據(jù)生產(chǎn)安全(指數(shù)據(jù)設(shè)計(jì)、錄入、加工過程中的安全)、數(shù)據(jù)存儲(chǔ)安全(數(shù)據(jù)存儲(chǔ)過程中的安全)、數(shù)據(jù)交換安全、數(shù)據(jù)訪問安全(訪問數(shù)據(jù)過程中的安全)四部分。1.自查數(shù)據(jù)生產(chǎn)安全數(shù)據(jù)生產(chǎn)安全，重點(diǎn)要了解數(shù)據(jù)生產(chǎn)過程中在工作組和業(yè)務(wù)單位層面對(duì)相應(yīng)角色工作范圍的界定以及崗位權(quán)限的劃分，具體如表3-21所示。工作范圍數(shù)據(jù)申請(qǐng)員負(fù)責(zé)對(duì)數(shù)據(jù)新增過程的發(fā)起、數(shù)據(jù)信息的維護(hù)數(shù)據(jù)審核員負(fù)責(zé)對(duì)數(shù)據(jù)新增過程中的質(zhì)量審核管理數(shù)據(jù)管理員負(fù)責(zé)對(duì)數(shù)據(jù)管理體系的運(yùn)維、數(shù)據(jù)日常管理協(xié)調(diào)了解不同權(quán)限的用戶對(duì)敏感數(shù)據(jù)的操作。針對(duì)數(shù)據(jù)操作權(quán)限的控制，不同的崗位角色，如數(shù)據(jù)發(fā)起人、數(shù)據(jù)審核人應(yīng)根據(jù)其業(yè)務(wù)范圍界定其數(shù)據(jù)類型、類別、視圖和屬性字段的操作權(quán)限。2.自查數(shù)據(jù)存儲(chǔ)安全數(shù)據(jù)存儲(chǔ)安全方面的自查，重點(diǎn)參考以下內(nèi)容。●數(shù)據(jù)庫(kù)安全標(biāo)準(zhǔn)應(yīng)按照《信息安全技術(shù)-數(shù)據(jù)庫(kù)管理系統(tǒng)安全技●啟用異地備份，避免發(fā)生自然災(zāi)害時(shí)的數(shù)據(jù)損失；●采用RAID5(獨(dú)立磁盤冗余陣列);●采用快照技術(shù)，迅速恢復(fù)遭破壞的數(shù)據(jù)；●適時(shí)進(jìn)行數(shù)據(jù)備份和恢復(fù)，如：周一至周四進(jìn)行增量備份，每周五晚10點(diǎn)全部備份；●管理好系統(tǒng)存儲(chǔ)日志，每個(gè)數(shù)據(jù)庫(kù)必須至少有一個(gè)日志文件。事●適時(shí)進(jìn)行數(shù)據(jù)歸檔，歸檔時(shí)維持