2022企業(yè)數(shù)據(jù)治理指南

企業(yè)數(shù)據(jù)治理指南2022目錄概念及方法篇第1章企業(yè)數(shù)據(jù)治理概述數(shù)據(jù)治理的相關概念什么是數(shù)據(jù)？什么是元數(shù)據(jù)？什么是主數(shù)據(jù)、靜態(tài)數(shù)據(jù)（中心）什么是企業(yè)數(shù)據(jù)治理？企業(yè)數(shù)據(jù)治理的價值有哪些？企業(yè)數(shù)據(jù)治理的源、末端模式企業(yè)的二次數(shù)據(jù)治理主數(shù)據(jù)管理的局限主數(shù)據(jù)的動態(tài)性問題主數(shù)據(jù)管理無法滿足業(yè)務場景需求主數(shù)據(jù)管理項目實施后運維難以保障主數(shù)據(jù)管理項目實施后數(shù)據(jù)質(zhì)量并未改善企業(yè)數(shù)據(jù)治理該走向何方構(gòu)建數(shù)據(jù)治理整體架構(gòu)確保數(shù)據(jù)治理的整體性全方位重構(gòu)數(shù)據(jù)標準體系徹底改善數(shù)據(jù)環(huán)境構(gòu)建全視角管控的靜態(tài)數(shù)據(jù)中心全面保障數(shù)據(jù)質(zhì)量通過技術(shù)+行為的手段深層次保障數(shù)據(jù)質(zhì)量構(gòu)建日常數(shù)據(jù)質(zhì)量監(jiān)測體系持續(xù)確保數(shù)據(jù)質(zhì)量構(gòu)建基于場景的數(shù)據(jù)服務體系推進數(shù)據(jù)資產(chǎn)化管理2“八步走”實施企業(yè)數(shù)據(jù)治理現(xiàn)狀自查——摸清數(shù)據(jù)管理現(xiàn)狀精心籌備——做好數(shù)據(jù)治理項目的啟動工作項目篇

全面排查——開展項目調(diào)研分析構(gòu)建數(shù)據(jù)管理體系——重塑數(shù)據(jù)管理標準存量數(shù)據(jù)改造——解決已有質(zhì)量問題構(gòu)建數(shù)據(jù)交換架構(gòu)——徹底打通數(shù)據(jù)孤島行為管控——優(yōu)化增量數(shù)據(jù)質(zhì)量能力轉(zhuǎn)移——保障高效的數(shù)據(jù)運維管理第3章5個角度自查數(shù)據(jù)管理現(xiàn)狀自查數(shù)據(jù)環(huán)境自查數(shù)據(jù)質(zhì)量自查數(shù)據(jù)安全自查數(shù)據(jù)交換自查數(shù)據(jù)運維第43個關鍵點把握數(shù)據(jù)治理項目的啟動時機明確數(shù)據(jù)治理項目的原則和目標5——項目實施方法論及調(diào)研分析項目實施方法論確定數(shù)據(jù)治理項目方法論明確數(shù)據(jù)治理項目路線圖確定數(shù)據(jù)治理項目里程碑項目調(diào)研分析明確調(diào)研原則框定調(diào)研范圍收集整理相關資料針對調(diào)研結(jié)果進行集中討論進行全面翔實的差距分析第6——構(gòu)建數(shù)據(jù)管理體系構(gòu)建數(shù)據(jù)標準體系構(gòu)建數(shù)據(jù)管理組織、制度和流程構(gòu)建數(shù)據(jù)模型體系構(gòu)建數(shù)據(jù)質(zhì)量標準體系構(gòu)建數(shù)據(jù)安全標準體系構(gòu)建數(shù)據(jù)交換標準體系技術(shù)實現(xiàn)——數(shù)據(jù)管理體系落地數(shù)據(jù)治理平臺（中翰EDG）功能概述實現(xiàn)數(shù)據(jù)管理體系的落地第7章解決已有數(shù)據(jù)質(zhì)量問題——徹底清洗存量數(shù)據(jù)分析存量數(shù)據(jù)質(zhì)量制定清洗策略制定清洗規(guī)則數(shù)據(jù)清洗的背景數(shù)據(jù)質(zhì)量現(xiàn)狀分析確定數(shù)據(jù)清洗流程技術(shù)實現(xiàn)——實施存量數(shù)據(jù)清洗數(shù)據(jù)清洗后的業(yè)務系統(tǒng)處理第8章完善數(shù)據(jù)交換架構(gòu)——徹底打通數(shù)據(jù)孤島企業(yè)數(shù)據(jù)交換管理現(xiàn)狀構(gòu)建基于靜態(tài)數(shù)據(jù)中心的數(shù)據(jù)交換架構(gòu)企業(yè)數(shù)據(jù)交換架構(gòu)的技術(shù)實現(xiàn)定義數(shù)據(jù)交換規(guī)則接入數(shù)據(jù)治理平臺第9章行為約束——優(yōu)化增量數(shù)據(jù)質(zhì)量數(shù)據(jù)采集階段的行為管控數(shù)據(jù)生成后的行為管控第10章確保順利——企業(yè)數(shù)據(jù)治理項目的管理項目文檔的管理項目實施過程的管理項目咨詢階段的過程管理項目實施階段的過程管理項目進度的管理針對性地開展項目培訓第11章以終為始——順暢開展數(shù)據(jù)運維工作建立完備的數(shù)據(jù)運維架構(gòu)用好數(shù)據(jù)運維管理工具注重數(shù)據(jù)治理知識的收集和轉(zhuǎn)移第12章拒絕失敗——數(shù)據(jù)治理項目的風險管控經(jīng)驗篇

數(shù)據(jù)治理項目中的風險及管控數(shù)據(jù)管理體系面臨的風險數(shù)據(jù)建模面臨的風險存量數(shù)據(jù)清洗面臨的風險數(shù)據(jù)交換治理面臨的風險數(shù)據(jù)治理知識轉(zhuǎn)移面臨的風險數(shù)據(jù)治理項目后的風險及管控數(shù)據(jù)日常管控治理面臨的風險數(shù)據(jù)體系拓展面臨的風險數(shù)據(jù)日常檢測面臨的風險經(jīng)驗1數(shù)據(jù)治理三步走——天?？毓杉瘓F踏上智慧化轉(zhuǎn)型之路經(jīng)驗2聚焦核心，點滴做起——數(shù)據(jù)治理支撐山航集團數(shù)字化管理經(jīng)驗3從構(gòu)建數(shù)據(jù)治理體系開始——驗4搭建數(shù)據(jù)運維管理平臺——國內(nèi)某鋼鐵集團實現(xiàn)高效數(shù)據(jù)質(zhì)量管控經(jīng)驗5基礎數(shù)據(jù)和接口數(shù)據(jù)的有效治理——突破廣電行業(yè)發(fā)展的瓶頸經(jīng)驗6內(nèi)外兼治——數(shù)據(jù)治理提高國內(nèi)制藥企業(yè)核心競爭力經(jīng)驗7構(gòu)建靜態(tài)數(shù)據(jù)中心——驗8持續(xù)治理——康尼集團構(gòu)建穩(wěn)固的數(shù)據(jù)管理架構(gòu)經(jīng)驗9構(gòu)建數(shù)據(jù)治理平臺——10夯實信息化基石——國內(nèi)某離散加工企業(yè)成功實施數(shù)據(jù)治理項目經(jīng)驗11數(shù)據(jù)治理——開啟國內(nèi)某電器集團的蛻變之門經(jīng)驗12任重道遠——國內(nèi)某酒業(yè)集團實施數(shù)據(jù)治理項目的4驗13數(shù)據(jù)治理——建筑行業(yè)實現(xiàn)智慧建造的必由之路經(jīng)驗14數(shù)據(jù)治理——高效支撐醫(yī)療行業(yè)各場景經(jīng)驗15精細化數(shù)據(jù)治理——新的思路讓某科技集團拒絕MDM經(jīng)驗16數(shù)據(jù)資產(chǎn)管理——為京東數(shù)科賦能經(jīng)驗17宏觀+微觀——經(jīng)驗18數(shù)據(jù)治理——錄A附錄A數(shù)據(jù)治理平臺功能標準概念及方法篇明確數(shù)據(jù)治理的相關概念，看清數(shù)據(jù)治理的未來方向。第1章企業(yè)數(shù)據(jù)治理概述隨著企業(yè)信息化程度的不斷提高，各類應用系統(tǒng)同時并存、支撐著企業(yè)的業(yè)務應用，各類數(shù)據(jù)如不能進行有效的統(tǒng)一管理，將會嚴重制約企業(yè)的正常發(fā)展。很多企業(yè)對于數(shù)據(jù)的收集、整理和維護目前還只是停留在建設數(shù)據(jù)倉庫階段，通過ETL技術(shù)將數(shù)據(jù)進行整合、清洗，再通過前端應用實現(xiàn)數(shù)據(jù)的應用和分析。在現(xiàn)有的數(shù)據(jù)倉庫系統(tǒng)中，這些數(shù)據(jù)必然存在先天的缺陷，如數(shù)據(jù)整合難度大，數(shù)據(jù)規(guī)范性差、準確度差，數(shù)據(jù)倉庫中存在大量的冗余數(shù)據(jù)等。這種程度的數(shù)據(jù)治理并不能滿足企業(yè)所需。企業(yè)數(shù)據(jù)治理如何能夠達到理想的效果？我們首先要明確數(shù)據(jù)治理的目標是什么，抓住要點，然后制定合理、詳細的數(shù)據(jù)治理策略，嚴格監(jiān)督數(shù)據(jù)治理的過程，最后做好數(shù)據(jù)治理項目后的持續(xù)優(yōu)化和質(zhì)量監(jiān)測，徹底解決數(shù)據(jù)質(zhì)量問題。本章首先介紹數(shù)據(jù)治理的相關概念，并說明主數(shù)據(jù)管理的局限性，進而指明企業(yè)數(shù)據(jù)治理的方向。數(shù)據(jù)治理的相關概念什么是數(shù)據(jù)？數(shù)據(jù)（Data）是我們通過觀察、實驗或計算得出的結(jié)果。數(shù)據(jù)有很多種，最簡單的就是數(shù)字。數(shù)據(jù)也可以是文字、圖像、聲音等。數(shù)據(jù)可以用于科學研究、設計、查證等。從下面的一條信息中可以看出數(shù)據(jù)的部分存在形式，如圖1-1所示。圖1-1數(shù)據(jù)存在形式根據(jù)不同的維度，企業(yè)內(nèi)的各類數(shù)據(jù)大致可分為分析數(shù)據(jù)、共享（主）數(shù)據(jù)、業(yè)務場景數(shù)據(jù)、交易數(shù)據(jù)、元數(shù)據(jù)等，如圖1-2所示。圖1-2企業(yè)數(shù)據(jù)組成什么是元數(shù)據(jù)？元數(shù)據(jù)（Metadata），又稱中介數(shù)據(jù)、中繼數(shù)據(jù)，是描述數(shù)據(jù)的數(shù)據(jù)（Data Data），是描述數(shù)據(jù)屬性（Property）的信息，用來支持如指示存儲位置、保存歷史數(shù)據(jù)、資源查找、文件記錄等功能。元數(shù)據(jù)組成如圖1-3所示。圖1-3元數(shù)據(jù)組成技術(shù)元數(shù)據(jù)是描述數(shù)據(jù)系統(tǒng)中技術(shù)領域相關概念、關系和規(guī)則的數(shù)據(jù)，主要包括對數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)處理方面的特征描述，覆蓋數(shù)據(jù)源接口、數(shù)據(jù)倉庫、數(shù)據(jù)集市、ETL、OLAP、數(shù)據(jù)封裝和前端展現(xiàn)等全部數(shù)據(jù)處理環(huán)節(jié)。業(yè)務元數(shù)據(jù)是描述數(shù)據(jù)系統(tǒng)中業(yè)務領域相關概念、關系和規(guī)則的數(shù)據(jù)，主要包括業(yè)務術(shù)語、信息分類、指標定義和業(yè)務規(guī)則等信息。管理元數(shù)據(jù)是描述數(shù)據(jù)系統(tǒng)中管理領域相關概念、關系和規(guī)則的數(shù)據(jù)，主要包括人員角色、崗位職責和管理流程等信息。元數(shù)據(jù)最為重要的特征和功能是為數(shù)字化信息資源建立一種機器可理解框架。什么是主數(shù)據(jù)、靜態(tài)數(shù)據(jù)（中心）主數(shù)據(jù)（MasterData）：指描述某一業(yè)務實體對象時，基礎數(shù)據(jù)（屬性）中被兩個及兩個以上的業(yè)務系統(tǒng)共同使用的部分（屬性），通常指相對業(yè)務系統(tǒng)（或業(yè)務場景）的共有屬性及屬性的取值、格式、驗證、關系等。主數(shù)據(jù)不是一種數(shù)據(jù)，只是數(shù)據(jù)存在的一種狀態(tài)，類似大數(shù)據(jù)需要同時滿足幾個維度的標準時才可以稱之為大數(shù)據(jù)。靜態(tài)數(shù)據(jù)（StaticData）：指描述某一業(yè)務實體對象時，基礎數(shù)據(jù)（屬性）中靜態(tài)或相對靜態(tài)的數(shù)據(jù)的統(tǒng)稱（含主數(shù)據(jù)+業(yè)務場景或組織視角的私有數(shù)據(jù)）。通常也可以指除交易數(shù)據(jù)以外的數(shù)據(jù)的統(tǒng)稱。靜態(tài)數(shù)據(jù)中心（StaticDataCenter）：指包括清洗后的歷史數(shù)據(jù)和新的標準、規(guī)范的新增數(shù)據(jù)，以及描述了這些數(shù)據(jù)的私有（組織或業(yè)務場景信息）和公有（特征、基本信息等）屬性、規(guī)則、類別、文檔、關系、配置信息等全方位的信息集合。企業(yè)靜態(tài)數(shù)據(jù)中心的組成如圖1-4所示。圖1-4企業(yè)靜態(tài)數(shù)據(jù)中心組成靜態(tài)數(shù)據(jù)中心作為企業(yè)靜態(tài)數(shù)據(jù)的核心數(shù)據(jù)庫，承擔著業(yè)務系統(tǒng)靜態(tài)數(shù)據(jù)的采集、規(guī)范和分發(fā)服務，為業(yè)務系統(tǒng)提供規(guī)范的靜態(tài)數(shù)據(jù)信息。什么是企業(yè)數(shù)據(jù)治理？企業(yè)數(shù)據(jù)治理，是指從使用零散數(shù)據(jù)變?yōu)槭褂媒y(tǒng)一規(guī)范數(shù)據(jù)，從具有很少或沒有組織和流程治理到企業(yè)范圍內(nèi)的綜合數(shù)據(jù)治理，從嘗試處理數(shù)據(jù)混亂狀況到數(shù)據(jù)井井有條的一個過程。關于數(shù)據(jù)治理和數(shù)據(jù)管理的爭論持續(xù)了好幾年，業(yè)內(nèi)人士各有不同的說法，每種說法貌似也都很有道理，我們就在此不做過多辨析。本書中定義的數(shù)據(jù)管理（DM）和數(shù)據(jù)治理（DG），類似中醫(yī)（講究“管”）和西醫(yī)（講究“治”）的思想。管理乃長期管控的過程，屬于長效機制；治理指某一時間段對數(shù)據(jù)的梳理措施和行為，是短期性針對數(shù)據(jù)質(zhì)量的干預動作。長期的企業(yè)管理中，數(shù)據(jù)應該靠“管”，不能靠“治”。關于在數(shù)據(jù)治理行業(yè)中的數(shù)據(jù)范圍界定問題也是根據(jù)不同的管理方式而定，本書所說的數(shù)據(jù)治理范圍是以相對靜態(tài)的數(shù)據(jù)為核心的數(shù)據(jù)治理（主數(shù)據(jù)管理只能算作其中一部分），其中包括元數(shù)據(jù)和靜態(tài)數(shù)據(jù)（主數(shù)據(jù)、業(yè)務場景數(shù)據(jù)、參考數(shù)據(jù)、指標數(shù)據(jù)），表1-1所示。表1-1數(shù)據(jù)治理策略根據(jù)企業(yè)的實際情況，數(shù)據(jù)治理一般可以分為三種類型：源端數(shù)據(jù)治理、末端數(shù)據(jù)治理和綜合數(shù)據(jù)治理（詳見本書1.16節(jié)）。源端數(shù)據(jù)治理主要應用于如ERP、CRM、財務管理系統(tǒng)；末端數(shù)據(jù)治理主要應用在數(shù)據(jù)倉庫等末端數(shù)據(jù)存儲中。本書提到的綜合數(shù)據(jù)治理是源端數(shù)據(jù)治理和末端數(shù)據(jù)治理的綜合，并且是比其更廣泛的概念，通常我們稱作面向數(shù)據(jù)分析及業(yè)務管理的數(shù)據(jù)治理。在一些機構(gòu)對企業(yè)數(shù)據(jù)治理的調(diào)查中可以發(fā)現(xiàn)，許多有實施過數(shù)據(jù)倉庫的企業(yè)已經(jīng)將下一步治理目標瞄準了數(shù)據(jù)治理。許多成功實施了數(shù)據(jù)治理的企業(yè)認為他們已經(jīng)從質(zhì)量良好的數(shù)據(jù)中獲得了收益。數(shù)據(jù)治理對于數(shù)據(jù)倉庫和商務智能有著深遠的影響，未來的企業(yè)大數(shù)據(jù)分析很大程度上也必須基于良好的數(shù)據(jù)質(zhì)量。企業(yè)數(shù)據(jù)治理的價值有哪些？企業(yè)實施數(shù)據(jù)治理項目具備以下8個方面的價值。確立企業(yè)數(shù)據(jù)管理體系規(guī)范和標準，并實現(xiàn)其系統(tǒng)化落地企業(yè)通過實施數(shù)據(jù)治理項目，在考慮企業(yè)現(xiàn)有數(shù)據(jù)管理的基礎上，可以制定出全面符合企業(yè)未來5～10年信息化發(fā)展的數(shù)據(jù)模型、數(shù)據(jù)管理制度、數(shù)據(jù)管理流程。可以全面實現(xiàn)數(shù)據(jù)管理體系的系統(tǒng)化落地，解決企業(yè)長期以來生產(chǎn)過程中數(shù)據(jù)描述不準確、不規(guī)范、不統(tǒng)一的問題，進而提高了計劃執(zhí)行、倉庫盤點、材料采購等的準確率，減少了企業(yè)資金的浪費，為企業(yè)的快速發(fā)展奠定基礎。全面梳理并清洗存量數(shù)據(jù)，根治多年積累的數(shù)據(jù)質(zhì)量問題通過實施企業(yè)數(shù)據(jù)治理項目，可以由數(shù)據(jù)清洗平臺依照以下策略對存量數(shù)據(jù)進行清洗，解決當前企業(yè)數(shù)據(jù)存在大量的不一致、不完整、數(shù)據(jù)冗余等問題：余數(shù)據(jù)映射關系。停用以及后期BI（商業(yè)智能）的使用提供堅實的數(shù)據(jù)基礎。全面實現(xiàn)數(shù)據(jù)管理的系統(tǒng)化、集中化，節(jié)省業(yè)務系統(tǒng)用戶數(shù)通過實施企業(yè)數(shù)據(jù)治理項目，引入數(shù)據(jù)治理平臺，可以實現(xiàn)企業(yè)數(shù)據(jù)管理過程的全面電子化，可全部脫離原有的手工操作，擺脫原有手工查重和編碼的繁重工作，大大改善和加快信息的傳遞和反饋，增強信息的準確性、及時性。系統(tǒng)的數(shù)據(jù)檔案并及時分發(fā)到對應業(yè)務系統(tǒng)中去，真正實現(xiàn)業(yè)務系統(tǒng)數(shù)據(jù)檔案的外部新增，為企業(yè)數(shù)據(jù)中心的建立奠定堅實的基礎。搭建全面科學的數(shù)據(jù)驗證體系，杜絕數(shù)據(jù)冗余的再次發(fā)生企業(yè)數(shù)據(jù)治理平臺的組合式編碼、立體式查重機制改善了原有企業(yè)數(shù)據(jù)編碼的模式和弊端，企業(yè)數(shù)據(jù)治理平臺內(nèi)置的多方位的數(shù)據(jù)驗證機制（如文本、文本框、數(shù)字、是否選擇、樹狀數(shù)據(jù)限定、平面數(shù)據(jù)限定、組合數(shù)據(jù)限定等）從數(shù)據(jù)錄入的源頭杜絕可能發(fā)生的錯誤。實現(xiàn)數(shù)據(jù)管理過程的流程化、制度化、準確化通過實現(xiàn)數(shù)據(jù)管理制度和流程的系統(tǒng)落地，實現(xiàn)企業(yè)數(shù)據(jù)管理過程的有效監(jiān)督和執(zhí)管理更加清晰、責任更加明確、數(shù)據(jù)更加準確。系統(tǒng)權(quán)限劃分可以針對不同人員分配不同的數(shù)據(jù)編制和審核權(quán)限，解決了目前多方信息傳遞的失真、緩慢等問題，提升了信息的準確率，縮短了整個數(shù)據(jù)新增的時間，提升了數(shù)據(jù)新增的效率。實現(xiàn)詳盡的靜態(tài)數(shù)據(jù)服務企業(yè)數(shù)據(jù)治理平臺的引入提供了全方位、多角度、權(quán)限化、立體智能查詢機制，完全滿足所有人員的數(shù)據(jù)查詢需求，可大幅縮短數(shù)據(jù)查詢以及編碼和數(shù)據(jù)業(yè)務實體對照時間。數(shù)據(jù)交換平臺全面實現(xiàn)企業(yè)數(shù)據(jù)的協(xié)同、聯(lián)動通過實施數(shù)據(jù)治理項目引入的數(shù)據(jù)交換平臺，通過簡單的配置即可實現(xiàn)包括數(shù)據(jù)的分發(fā)機制、分發(fā)內(nèi)容、分發(fā)時間等的設置，全面滿足企業(yè)現(xiàn)有以及未來數(shù)據(jù)管理的協(xié)同和聯(lián)動要求。建立了統(tǒng)一的數(shù)據(jù)標準，為企業(yè)資源共享、快速決策提供保障本上保證了BI等工具數(shù)據(jù)分析的準確率，使企業(yè)的數(shù)據(jù)資產(chǎn)價值得到全面體現(xiàn)。企業(yè)數(shù)據(jù)治理的源、末端模式企業(yè)數(shù)據(jù)治理解決了數(shù)據(jù)的冗余、一致性、完整性、規(guī)范性等問題，從而使數(shù)據(jù)分析能夠發(fā)揮最大的管理價值。通過制定及貫徹執(zhí)行各類業(yè)務和技術(shù)標準，就能從技術(shù)上、管理上把各方面有機地聯(lián)系起來，形成一個統(tǒng)一的系統(tǒng)整體，保證數(shù)據(jù)治理過程進行得有條不紊。目前企業(yè)存在三種數(shù)據(jù)治理模式，具體如下：準確率。末端數(shù)據(jù)治理，是指針對解決數(shù)據(jù)全生命周期的末端（數(shù)據(jù)倉庫層）題，實現(xiàn)提高數(shù)據(jù)分析的準確率。綜合數(shù)據(jù)治理，是指包括源端和末端數(shù)據(jù)治理的混合模式。源端數(shù)據(jù)治理模式針對源端的數(shù)據(jù)治理是主流的數(shù)據(jù)治理模式，目前行業(yè)內(nèi)80%以上的方案都采用此模式。如靜態(tài)數(shù)據(jù)治理、主數(shù)據(jù)管理、編碼管理等，都是屬于針對業(yè)務系統(tǒng)的直接影響實現(xiàn)數(shù)據(jù)質(zhì)量的改造，最終達到支撐數(shù)據(jù)應用分析的目的。源端數(shù)據(jù)治理模式適用的企業(yè)，包括生產(chǎn)型企業(yè)、大型集團本部、運營管控型集團等，不涉及數(shù)據(jù)改造后無法返回到對應業(yè)務系統(tǒng)的情況。源端數(shù)據(jù)治理支撐數(shù)據(jù)分析及業(yè)務管理框架，具體如圖1-5所示。圖1-5源端數(shù)據(jù)治理支撐數(shù)據(jù)分析及業(yè)務管理框架由圖1-5可以看出，數(shù)據(jù)治理平臺直接新增數(shù)據(jù)或者通過數(shù)據(jù)交換平臺（Exchange）從業(yè)務系統(tǒng)采集的新增數(shù)據(jù)進行規(guī)范、改造后，一方面冗余數(shù)據(jù)自動進入冗余數(shù)據(jù)映射關系庫，另一方面改造后的數(shù)據(jù)再次回傳到對應業(yè)務系統(tǒng)，實現(xiàn)對業(yè)務系統(tǒng)數(shù)據(jù)質(zhì)量的改造（在業(yè)務系統(tǒng)運行的前提下）。當ETL從業(yè)務系統(tǒng)中抽取數(shù)據(jù)的時候，同時從冗余數(shù)據(jù)映射關系庫中抽取冗余數(shù)據(jù)的關系參照，在加載到數(shù)據(jù)倉庫時會注明某些編碼（數(shù)據(jù)）對應的業(yè)務實體對象其實是一而實現(xiàn)數(shù)據(jù)分析的精確度最大化。末端數(shù)據(jù)治理模式末端數(shù)據(jù)治理技術(shù)架構(gòu)如圖1-6所示。從圖中可以看出，所謂末端數(shù)據(jù)治理，是指數(shù)據(jù)被集成到原業(yè)務系統(tǒng)外的某個區(qū)域（一般指數(shù)據(jù)倉庫的ODS層，即數(shù)據(jù)倉庫的操作數(shù)據(jù)存儲層）后集中進行質(zhì)量識別、處理的過程。此模式適用于戰(zhàn)略管控型或者財務管控型的大型企業(yè)集團（央企或者大型國企）的頂層數(shù)據(jù)分析，大部分數(shù)據(jù)來源于二、三級單位上報的數(shù)據(jù)，本部系統(tǒng)比較簡單，數(shù)據(jù)量較少、較單一。圖1-6企業(yè)末端數(shù)據(jù)治理技術(shù)架構(gòu)通過末端數(shù)據(jù)治理對ODS層的數(shù)據(jù)質(zhì)量干預，可以實現(xiàn)深層次數(shù)據(jù)質(zhì)量問題的解決，最大化支撐數(shù)據(jù)分析的準確率。目前此方案已經(jīng)比較成熟。當然，隨著技術(shù)、理念的成熟，下一步還可以繼續(xù)深入到DW（數(shù)據(jù)倉庫）、DM（數(shù)據(jù)集市）層去更進一步優(yōu)化數(shù)據(jù)質(zhì)量，讓數(shù)據(jù)分析的準確率接近完美。企業(yè)的二次數(shù)據(jù)治理所謂企業(yè)的二次數(shù)據(jù)治理是指：企業(yè)經(jīng)歷過一輪數(shù)據(jù)治理后，經(jīng)過一段時間因為種種因素，目前數(shù)據(jù)質(zhì)量已“重蹈覆轍”（數(shù)據(jù)質(zhì)量又出現(xiàn)各種問題），需要再次進行數(shù)據(jù)治理工作。二次治理的原因其實現(xiàn)階段二次治理的企業(yè)基本都是信息化程度較高的大型央企或者各地國企，屬于數(shù)據(jù)治理的“先行者”。關于數(shù)據(jù)質(zhì)量問題的再次顯現(xiàn)，究其原因，要么是太相信技術(shù)，要么就是太相信自己。企業(yè)被確認為需要實施二次數(shù)據(jù)治理的幾個特征如下：主數(shù)據(jù)管理項目實施后，發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題比例超過20%；主數(shù)據(jù)管理平臺淪為賦碼工具；集團二級單位單獨開展主數(shù)據(jù)管理工作；企業(yè)開始尋求數(shù)據(jù)的全面治理。以上幾種情況的具體原因后續(xù)章節(jié)會有詳細介紹，在此不再贅述。二次數(shù)據(jù)治理的方法二次數(shù)據(jù)治理有兩種對應的方法，一是“徹底根除”法（指原有體系全部推倒，重新開展數(shù)據(jù)治理項目），二是“亡羊補牢”法。尤其是徹底根除法，可想而知重新再來一次的代價有多大，一般的企業(yè)很少有這種魄力，有時候各種因素不允許出現(xiàn)這樣的重新來過。因此，我們還是重點推薦亡羊補牢法，即可以解決問題又不至于痛苦地重新再來一遍。所謂的亡羊補牢，就是指在不破壞現(xiàn)狀的基礎上最大可能地修補原有數(shù)據(jù)治理的架構(gòu)，以確保數(shù)據(jù)質(zhì)量得以保障。具體的方法如下：重新梳理數(shù)據(jù)標準，確定數(shù)據(jù)標準是否有調(diào)整的必要。全面檢測數(shù)據(jù)質(zhì)量，重新全面清洗、改造存量數(shù)據(jù)。搭建數(shù)據(jù)質(zhì)量評估監(jiān)測平臺，利用AI評估、再處理體系。主數(shù)據(jù)管理的局限主數(shù)據(jù)最初的定義為：表示業(yè)務實體對象的基準數(shù)據(jù)以及其被引用的關聯(lián)屬性信息。2010年，主數(shù)據(jù)的概念被中翰軟件率先引入國內(nèi)并加以調(diào)整改善，使之更加通俗易懂。通俗化后的主數(shù)據(jù)定義為：描述某一業(yè)務實體對象時，基礎數(shù)據(jù)（靜態(tài)或相對靜態(tài)的數(shù)據(jù)）中被兩個及兩個以上業(yè)務系統(tǒng)共同使用的屬性字段。此定義很快被證明了其合理性，短期內(nèi)被各廠家推廣使用，這也是目前國內(nèi)主數(shù)據(jù)廠商對主數(shù)據(jù)的統(tǒng)一標準定義。但是，隨著主數(shù)據(jù)管理平臺的逐漸推廣和使用，一連串的問題就出現(xiàn)了，這也導致了目前很多企業(yè)實施主數(shù)據(jù)管理項目后，數(shù)據(jù)質(zhì)量并未顯著改善。主數(shù)據(jù)的動態(tài)性問題隨著企業(yè)業(yè)務系統(tǒng)的新增和更換，原來被主數(shù)據(jù)廠商識別出來的主數(shù)據(jù)已經(jīng)無法滿足新的業(yè)務系統(tǒng)的上線需求，需要重新進行主數(shù)據(jù)的擴充識別和相關模型、流程等的變更操作，從而造成了主數(shù)據(jù)管理平臺后期運維成本的居高不下，嚴重違背了實施主數(shù)據(jù)管理平臺的初衷。甚至目前很多主數(shù)據(jù)項目的招標現(xiàn)場招標方就非常嚴肅地問投標方：“平臺未來調(diào)整模型中的某個屬性字段需要多長時間？”，仔細想想這個問題還真的很嚴肅，因為未來這個調(diào)整是會頻繁發(fā)生的，為了應標很多人不負責任地脫口而出“1小時”“2小時”，以應付甲方。難道我們加一個屬性字段不需要確定它的元數(shù)據(jù)標準？不需要補充它的歷史取值？不需要找業(yè)務部門的主管們討論、協(xié)商？這怎么可能是1、2個小時就能確定實現(xiàn)的呢？其實，為什么我們老是想盡一切辦法去識別主數(shù)據(jù)呢？難道就是為了讓我們的主數(shù)據(jù)管理員未來別閑待著？數(shù)據(jù)治理的核心是要解決數(shù)據(jù)質(zhì)量、安全、服務以及相關的環(huán)境等問題，費了九牛二虎之力識別出了所謂的主數(shù)據(jù)，沒過多久因為業(yè)務系統(tǒng)的變化出現(xiàn)了倒逼主數(shù)據(jù)必須改變的情況，這不是相當于給自己設置障礙？必須要認識到主數(shù)據(jù)是動態(tài)的這一特性。某核電集團，2013年實施了某國外廠商的MDM（MasterDataManagement，主數(shù)據(jù)管理）平臺，2014年中期，該企業(yè)領導發(fā)現(xiàn)主數(shù)據(jù)管理員在不斷地調(diào)整花了幾百萬元費用制定的主數(shù)據(jù)模型標準，要知道此時平臺上線才近1年時間，不該出現(xiàn)這種狀況。經(jīng)調(diào)查發(fā)現(xiàn)，是由于業(yè)務系統(tǒng)的擴充和變更造成的。不改變主數(shù)據(jù)模型標準，數(shù)據(jù)就無法順利分發(fā)出去；改變模型就要管理員自己去琢磨如何識別主數(shù)據(jù)字段，識別出來后還要確認元數(shù)據(jù)標準等，一連串的問題。這樣的情況不是個例，隨著大家對主數(shù)據(jù)的概念認識得越來越清晰，對主數(shù)據(jù)管理的理解也會越來越深刻，尤其是當真正走到主數(shù)據(jù)項目后更應該能體會到主數(shù)據(jù)動態(tài)性造成的“麻煩”會有多大。主數(shù)據(jù)管理無法滿足業(yè)務場景需求主數(shù)據(jù)的核心管理理念就是實現(xiàn)數(shù)據(jù)的“單一視圖”，是共享性數(shù)據(jù)的統(tǒng)稱。但是，要管理業(yè)務場景的數(shù)據(jù)（息，不包含主數(shù)據(jù)部分，如某產(chǎn)品在不同生產(chǎn)線的描述，以及針對不同區(qū)域的價格描述等）地保證業(yè)務場景的數(shù)據(jù)對現(xiàn)有業(yè)務以及未來數(shù)據(jù)中心的有效支撐。某電工集團，2016年開啟了主數(shù)據(jù)管理項目的一期工作（頂層管理型主數(shù)據(jù)的治理），選型了國內(nèi)某主數(shù)據(jù)管理平臺，2017年開啟項目二期實施后突然發(fā)現(xiàn)此平臺架構(gòu)根本無法滿足業(yè)務部門的業(yè)務場景數(shù)據(jù)的管理需要，二期項目只得暫停。2018年甲乙雙方反復溝通尋求解決此問題的方案，無奈平臺無法替換，項目最終只能不了了之。某石化控股集團，2016年實施了國內(nèi)某主數(shù)據(jù)管理平臺，2017年該集團的二級公司就提出因業(yè)務管理的需要獨立進行業(yè)務場景的主數(shù)據(jù)管理。某煤炭集團，2011年實施了國內(nèi)某主數(shù)據(jù)管理平臺，2013年開始二級公司因該平臺無法滿足業(yè)務場景數(shù)據(jù)治理的需要而不得不陸續(xù)獨立開展主數(shù)據(jù)管理項目。隨著企業(yè)對數(shù)據(jù)管理的要求越來越高，業(yè)務場景越來越多樣化，主數(shù)據(jù)管理無法滿足業(yè)務場景導致的數(shù)據(jù)治理障礙會越來越明顯，推倒重來或者亡羊補牢成為一種常態(tài)。主數(shù)據(jù)管理項目實施后運維難以保障數(shù)據(jù)管理體系的運維（如制度的重修、流程的調(diào)整、新的數(shù)據(jù)類型或類別的模型新增等）是項目后運維管理的兩大任務之一（另外一個是數(shù)據(jù)質(zhì)量的日常監(jiān)測）。職責包括平臺的維護、工作的協(xié)調(diào)等，所謂的數(shù)據(jù)管理組織根本就沒有發(fā)揮出應有的功效。舉個例子，企業(yè)實施主數(shù)據(jù)管理項目后進入運維階段，當需要增加某一新的數(shù)據(jù)的模型時，理想狀態(tài)是大家（數(shù)據(jù)管理組織成員）坐下來一起討論數(shù)據(jù)應該如何分類，模型如何制定，或者說主數(shù)據(jù)管理員提出具體建議后提交會議再討論，至少也是通過相應的辦公系統(tǒng)線上提交建議給企業(yè)負責人審核然后定稿。所有過程都似乎是非常嚴謹、合理的，但是大多數(shù)企業(yè)負責人并不了解數(shù)據(jù)分類、建模的思路，并無依據(jù)進行討論，而可能直接拍板定稿，這種討論往往空具形式，沒有實際意義。有人會說，企業(yè)負責人只需要審核批準即可，主數(shù)據(jù)管理員是從項目一路跟下來的，肯定了解當時的設計思路，但如果主數(shù)據(jù)管理員是新來的怎么辦？如果主數(shù)據(jù)管理員把思路忘了怎么辦？主數(shù)據(jù)管理員又能依據(jù)什么來制定出合理的模型呢？答案只能是“拍腦袋”。綜上所述，這樣就出現(xiàn)了主數(shù)據(jù)管理項目實施后的數(shù)據(jù)運維管理和項目建立的主數(shù)據(jù)管理體系之間是脫節(jié)的狀態(tài)，數(shù)據(jù)的運維和管理無法達到數(shù)據(jù)治理項目的目標。某化工集團，2015年實施某國內(nèi)MDM平臺，項目順利驗收，2016年底集團擴展業(yè)論時各業(yè)務部門的有關負責人以出差、忙等各種理由拒絕參加。2017核機制，甚至還用上了移動審批，各相關業(yè)務部門的負責人迫于考核的壓力草草審核定成了一個擺設。這導致主數(shù)據(jù)管理體系逐漸脫離該有的思路，最終形成“體系兩層皮”的現(xiàn)象。主數(shù)據(jù)管理項目實施后數(shù)據(jù)質(zhì)量并未改善自從主數(shù)據(jù)管理平臺面世后，很多人就把解決數(shù)據(jù)質(zhì)量的問題寄希望于此了——制定標準的主數(shù)據(jù)模型以及全面的驗證機制實現(xiàn)數(shù)據(jù)采集（如錄入等）環(huán)節(jié)的統(tǒng)一、規(guī)范，再加上理想化的多級次的數(shù)據(jù)質(zhì)量審核。多，并且我們還有嚴格的審核機制。但審核真的管用嗎？負責人（領導）嗎？負責人（領導）真的對所有數(shù)據(jù)的質(zhì)量了解嗎？多年來多家企業(yè)驗證和審核只是一種“擺設”，只是一種行政的知會，對數(shù)據(jù)質(zhì)量的把關幾乎沒有太大用處。這些問題似乎我們都可以不在乎，但時間久了就會造成數(shù)據(jù)質(zhì)量產(chǎn)生問題。某能源集團，2012年實施某國內(nèi)的MDM平臺，項目順利驗收，甲方也花了近半年的時間進行了歷史數(shù)據(jù)質(zhì)量的全面清洗，但是2015年初突然發(fā)現(xiàn)60多萬條的物料數(shù)據(jù)有20多萬條出現(xiàn)了不同形式的數(shù)據(jù)質(zhì)量問題（包括名稱叫法的不一致、各種錯別字、數(shù)據(jù)描述的不完整等），且分公司及集團兩級審核機制形同虛設。目前該主數(shù)據(jù)管理平臺淪為了只是為ERP等業(yè)務系統(tǒng)提供賦碼功能（生成編碼并傳給業(yè)務系統(tǒng)），整個數(shù)據(jù)治理項目很不成功。企業(yè)數(shù)據(jù)治理該走向何方國際數(shù)據(jù)管理協(xié)會（DAMA）的《數(shù)據(jù)管理知識體系指南》一書中對數(shù)據(jù)治理進行了嚴格、詳實地定義，目前基本成為數(shù)據(jù)治理行業(yè)的指導大綱。但是其也只是指導型的內(nèi)容，具體的操作方式還需要我們繼續(xù)探索和研究。目前國內(nèi)的數(shù)據(jù)治理廠商大體分為兩個方向，一是面向企業(yè)，再就是面向政府、金為這幾個行業(yè)沒有復雜的物資數(shù)據(jù)（模型分層級且非常多）存在，所有數(shù)據(jù)（員等）旦遇到深層次的數(shù)據(jù)質(zhì)量問題，此類產(chǎn)品就束手無策了。但是，從產(chǎn)品的功能結(jié)構(gòu)上我們還真的不好鑒別其優(yōu)劣，所有的產(chǎn)品似乎都包括元數(shù)據(jù)原理、數(shù)據(jù)質(zhì)量管理、主數(shù)據(jù)管理、數(shù)據(jù)生命周期管理、數(shù)據(jù)交換管理、數(shù)據(jù)清洗管理等功能，齊全的功能可能會造成了選擇的困難。企業(yè)數(shù)據(jù)治理，除了要有廣度以外，還要有深度，必須解決深層次的問題才能算得上長久之計。結(jié)合國內(nèi)企業(yè)實際，企業(yè)數(shù)據(jù)治理應分為數(shù)據(jù)環(huán)境治理、數(shù)據(jù)質(zhì)量治理、數(shù)據(jù)安全治理、數(shù)據(jù)交換治理、數(shù)據(jù)運維管理5部分。企業(yè)的數(shù)據(jù)應分為靜態(tài)數(shù)據(jù)和交易數(shù)據(jù)兩部分。所謂的數(shù)據(jù)治理也應該指靜態(tài)數(shù)據(jù)的治理，因為純交易數(shù)據(jù)（數(shù)字或數(shù)額）正常不會出現(xiàn)質(zhì)量問題。因此，企業(yè)數(shù)據(jù)治理的方向應該依據(jù)以上5部分實施，并且應滿足以下7個關鍵點。構(gòu)建數(shù)據(jù)治理整體架構(gòu)確保數(shù)據(jù)治理的整體性制定數(shù)據(jù)治理架構(gòu)是數(shù)據(jù)治理的核心任務，好的數(shù)據(jù)治理架構(gòu)可以確保數(shù)據(jù)治理的整體性，實現(xiàn)徹底、完善的數(shù)據(jù)治理，更好地達到數(shù)據(jù)治理的預期效果。因此應該構(gòu)建包括一個體系（數(shù)據(jù)標準體系）、三個環(huán)境（治理型環(huán)境、分析型環(huán)境、知識型環(huán)境）、一個架構(gòu)（面向服務的集成架構(gòu)）的數(shù)據(jù)治理整體架構(gòu)，如圖1-7所示。圖1-7數(shù)據(jù)治理整體架構(gòu)數(shù)據(jù)標準體系：是企業(yè)數(shù)據(jù)治理架構(gòu)中的核心底層部分，通常也指數(shù)據(jù)環(huán)境，包括數(shù)據(jù)分類及編碼標準、數(shù)據(jù)模型標準、數(shù)據(jù)質(zhì)量管理標準、數(shù)據(jù)安全管理標準、數(shù)據(jù)交換標準，對應落地平臺應具備管理數(shù)據(jù)標準體系的過程和結(jié)果的功能。部分，包括體系構(gòu)建、靜態(tài)數(shù)據(jù)中心管理（數(shù)據(jù)建模管理、數(shù)據(jù)編碼管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)日常管控）、數(shù)據(jù)交換管理、數(shù)據(jù)清洗管理、數(shù)據(jù)保養(yǎng)管理（數(shù)據(jù)評估監(jiān)測）對應平臺建議采用企業(yè)數(shù)據(jù)治理平臺，不建議采用主數(shù)據(jù)管理平臺。分析型環(huán)境：是指基于數(shù)據(jù)倉庫的各種主題數(shù)據(jù)分析，是提供數(shù)據(jù)展現(xiàn)服務的核心功能部分，如運營分析、資產(chǎn)分析、財務分析、人力資源分析。對應平臺包括BI決策支持平臺、數(shù)據(jù)倉庫、ETL。知識型環(huán)境：是指企業(yè)整個數(shù)據(jù)治理的知識體系架構(gòu)，而非傳統(tǒng)的企業(yè)管理或者某類專業(yè)知識管理，是提供數(shù)據(jù)治理能力的核心組成部分。數(shù)據(jù)治理知識可以實現(xiàn)知識驅(qū)動數(shù)據(jù)管理業(yè)務、驅(qū)動數(shù)據(jù)管理崗位、驅(qū)動數(shù)據(jù)應用的全面知識管理體系。面向服務的集成架構(gòu)：是指數(shù)據(jù)的采集、分發(fā)、集成以及業(yè)務重組等，是數(shù)據(jù)交換的核心功能部分，主要包括靜態(tài)數(shù)據(jù)交換管理、ETL、企業(yè)服務總線ESB、業(yè)務流程引擎BPM。全方位重構(gòu)數(shù)據(jù)標準體系徹底改善數(shù)據(jù)環(huán)境企業(yè)內(nèi)的數(shù)據(jù)可分為分析型數(shù)據(jù)（趨勢、計劃、指標數(shù)據(jù)等）、交易型數(shù)據(jù)、共享（主）數(shù)據(jù)、業(yè)務場景數(shù)據(jù)4大類，如圖1-8所示。圖1-8企業(yè)內(nèi)的數(shù)據(jù)分類數(shù)據(jù)的質(zhì)量問題很大程度上取決于數(shù)據(jù)所處環(huán)境的狀況，因此需要從根本上打造一整套全方位的數(shù)據(jù)標準體系以確保數(shù)據(jù)質(zhì)量的可控制性、可持續(xù)性。所謂的全方位就是指包括以上4大類型數(shù)據(jù)在內(nèi)的數(shù)據(jù)標準體系，而非是只有主數(shù)據(jù)的數(shù)據(jù)標準體系。數(shù)據(jù)標準體系內(nèi)容包括數(shù)據(jù)管理組織、制度，流程、考核機制，數(shù)據(jù)安全、質(zhì)量管理體系，數(shù)據(jù)分類、編碼體系，數(shù)據(jù)交換規(guī)范體系等，如圖1-9所示。圖1-9數(shù)據(jù)標準體系構(gòu)建全視角管控的靜態(tài)數(shù)據(jù)中心全面保障數(shù)據(jù)質(zhì)量一般我們會通過基本、組織和業(yè)務三個視角信息對數(shù)據(jù)進行描述?；疽暯切畔⑹菍δ硹l數(shù)據(jù)的基本特征信息的描述，組織視角信息是指某條數(shù)據(jù)在不同的組織范圍描述的不同信息，業(yè)務視角信息是指某條數(shù)據(jù)在不同的業(yè)務場景下描述的不同信息。當然也可以從共享的角度去描述一條數(shù)據(jù)的信息，這就是我們常提到的主數(shù)據(jù)。從全面解決數(shù)據(jù)質(zhì)量問題的角度出發(fā)，構(gòu)建360度全視角管控的靜態(tài)數(shù)據(jù)中心，對全部三類視角的數(shù)據(jù)質(zhì)量進行管控才是最好的選擇。全視角數(shù)據(jù)的描述包括基本、組織和業(yè)務三個視角的數(shù)據(jù)描述，以物資數(shù)據(jù)舉例，具體結(jié)構(gòu)形式如表1-2所示。表1-2全視角數(shù)據(jù)描述通過技術(shù)+行為的手段深層次保障數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量在數(shù)據(jù)治理中的分量不言而喻，但是目前保障數(shù)據(jù)質(zhì)量的主流方法幾乎全是技術(shù)手段，主要有以下三種方法。第一種方法，針對數(shù)據(jù)產(chǎn)生的源端進行控制。指通過針對屬性字段取值的格式、上下限、枚舉值、從屬關系、關聯(lián)關系等的判斷來進行數(shù)據(jù)質(zhì)量的控制，這樣的方法可以解決大部分（70%左右）的數(shù)據(jù)質(zhì)量問題，剩余的30%包括五花八門的錯別字，無意的類別錯放，人為的有意寫錯、放錯等。第二種方法，針對數(shù)據(jù)倉庫的末端進行控制。這種方法已經(jīng)隨著數(shù)據(jù)倉庫、BI的發(fā)展存在了多年，實際上就是ETL過程對數(shù)據(jù)質(zhì)量的控制。雖然這種方法解決問題的比例甚至都達不到40%，但是在新的方法出現(xiàn)之前幾乎“橫行”世間近20年，屬于標準的針對末端的數(shù)據(jù)質(zhì)量的控制。第三種方法，也是針對數(shù)據(jù)存儲應用層（數(shù)據(jù)倉庫）的末端進行控制，當然這種方法就比較高級了，那就是采用AI（人工智能）技術(shù)，比ETL高級了很多，尤其是隨著數(shù)據(jù)中臺的興起，業(yè)界對其十分看好。其實AI技術(shù)對于數(shù)據(jù)質(zhì)量的解決是需要通過長時間的自我學習才可以達到理想效果的，并且目前沒有太好的AI工具支撐，此方法還并未實用化。純技術(shù)的手段并不能完全實現(xiàn)對數(shù)據(jù)質(zhì)量的管控，因此我們需要從行為（行為約束）入手去深層次解決數(shù)據(jù)質(zhì)量問題。所謂行為約束，是指對數(shù)據(jù)采集端的人的行為的控制，比如數(shù)據(jù)新增過程中的審核也是行為約束的一種。最好的行為約束首先應該在源端，也就是針對數(shù)據(jù)維護操作的人我們要嚴加“防范”，確保每個人都能深入到屬性字段級別最準確地錄入相關的屬性取值，要確保專業(yè)的事由專業(yè)的人來做，而不是很多人希望的統(tǒng)一由一個人代勞維護所有或者某部分數(shù)據(jù)的信息，維護入口的統(tǒng)一不代表數(shù)據(jù)的統(tǒng)一和高質(zhì)量，相反卻掩蓋了對數(shù)據(jù)的不專業(yè)導致的二次維護錯誤問題。因此，需要在技術(shù)手段的基礎上開啟數(shù)據(jù)協(xié)同維護機制，強化數(shù)據(jù)源頭責任，強化過程行為約束，更深層次地管控數(shù)據(jù)質(zhì)量如圖1-10所示。圖1-10數(shù)據(jù)維護行為約束另外，眾多企業(yè)的企業(yè)信息化建設經(jīng)歷了多年的發(fā)展，各業(yè)務系統(tǒng)中積累了大量的豐量（歷史）數(shù)據(jù)，對現(xiàn)存的歷史數(shù)據(jù)的清洗同樣適用技術(shù)+行為的手段，通過對歷史數(shù)據(jù)的全面梳理和規(guī)范，將質(zhì)量有保證的數(shù)據(jù)準確發(fā)布到各業(yè)務系統(tǒng)中，確保各業(yè)務系統(tǒng)中歷史數(shù)據(jù)的準確。構(gòu)建日常數(shù)據(jù)質(zhì)量監(jiān)測體系持續(xù)確保數(shù)據(jù)質(zhì)量在前邊的內(nèi)容中已經(jīng)詳細介紹過數(shù)據(jù)質(zhì)量不理想的問題，導致數(shù)據(jù)質(zhì)量產(chǎn)生問題的因素有多種，但我們最好能打造一套針對數(shù)據(jù)質(zhì)量的監(jiān)測機制，把問題“扼殺”在搖籃階段。2018年3月15日，中華人民共和國國家質(zhì)量監(jiān)督檢驗檢疫總局、中國國家標準化管理委員會發(fā)布了GB/T36073-2018數(shù)據(jù)管理能力成熟度評估模型，此模型對企業(yè)的數(shù)據(jù)管理能力進行了分級，根據(jù)不同等級提出不同的改進、發(fā)展建議。但是這種評估成本較高，周期太長，甚至很多企業(yè)很多年才能評估一次。為了確保數(shù)據(jù)質(zhì)量的持續(xù)性良好，數(shù)據(jù)治理項目實施后需要構(gòu)建一個基于大數(shù)據(jù)行為分析的數(shù)據(jù)質(zhì)量監(jiān)測平臺，而不是傳統(tǒng)意義的基于屬性字段級的技術(shù)驗證。平臺需要具備實時探知數(shù)據(jù)質(zhì)量的能力，并且把數(shù)據(jù)質(zhì)量量化展現(xiàn)，同時提供問題數(shù)據(jù)處理的通道。數(shù)據(jù)質(zhì)量監(jiān)測平臺的具體邏輯架構(gòu)如圖1-11所示。圖1-11數(shù)據(jù)質(zhì)量監(jiān)測平臺的邏輯架構(gòu)由圖1-11可以看出，大數(shù)據(jù)行為的質(zhì)量監(jiān)測是對數(shù)據(jù)的一致性、完整性、合規(guī)性、冗余性、有效性和及時性6方面質(zhì)量標準的深層次的大數(shù)據(jù)行為分析，此方式結(jié)合復雜邏輯的算法而非傳統(tǒng)的正則表達式等，最終通過圖和表的結(jié)合高效展現(xiàn)數(shù)據(jù)質(zhì)量結(jié)果，提高數(shù)據(jù)質(zhì)量的可視化效果。構(gòu)建基于場景的數(shù)據(jù)服務體系推進數(shù)據(jù)資產(chǎn)化管理大數(shù)據(jù)時代的來臨使得數(shù)據(jù)的價值逐步顯性化，也被各企事業(yè)單位更加重視。數(shù)據(jù)產(chǎn)管理當前也已經(jīng)成為IT界的一門新興概念被廣泛研究。DAMA將數(shù)據(jù)資產(chǎn)管理（DataAsset Management，DAM）定義為規(guī)劃、控制和提供數(shù)據(jù)這種企業(yè)資產(chǎn)的一組業(yè)務職能，包括開發(fā)、執(zhí)行和監(jiān)督有關數(shù)據(jù)的計劃、政策、方案、項目、流程、方案和程序，而控制、保護、交付和提高數(shù)據(jù)資產(chǎn)的價值。數(shù)據(jù)作為一種“資產(chǎn)”，和傳統(tǒng)意義上所管理的資產(chǎn)并不相同，數(shù)據(jù)資產(chǎn)具備5大特征，即虛擬性、增值性、時效性、共享性、安全性，具體如圖1-12所示。圖1-12數(shù)據(jù)資產(chǎn)特性數(shù)據(jù)資產(chǎn)的5大特征的核心是共享和價值，并且有時效性的共享服務價值會更高。目前企業(yè)內(nèi)數(shù)據(jù)資產(chǎn)化管理還處在初級階段，長期以來對數(shù)據(jù)的私有化價值意識比較淡薄，企業(yè)數(shù)據(jù)資產(chǎn)化管理的路還很長，需要慢慢地從數(shù)據(jù)的共享服務開始讓大家享受到數(shù)據(jù)資產(chǎn)的紅利。數(shù)據(jù)服務在企業(yè)內(nèi)有多種形式，主要包括對人的數(shù)據(jù)服務、對系統(tǒng)的數(shù)據(jù)服務、對數(shù)據(jù)倉庫的數(shù)據(jù)服務等。對人服務：統(tǒng)一查詢，單一視圖，如圖1-13所示。圖1-13數(shù)據(jù)查詢訪問對系統(tǒng)的服務：雪花狀數(shù)據(jù)交換服務架構(gòu)，如圖1-14所示。圖1-14雪花狀數(shù)據(jù)交換服務架構(gòu)對數(shù)據(jù)倉庫的服務：如圖1-15所示。圖1-15數(shù)據(jù)治理支撐數(shù)據(jù)分析和業(yè)務管理構(gòu)建基于過程的知識體系確保全面的數(shù)據(jù)治理能力簡單地知識轉(zhuǎn)移一下，能用好工具就可以了，甚至很多人認為數(shù)據(jù)治理一定要長期靠外力，企業(yè)自身的能力有限根本不可能治理好數(shù)據(jù)。這是一個很大的誤區(qū)，數(shù)據(jù)治理可以借助外力，但一定不能長期借用外力。借用外力應該只是一個項目的過程，實施數(shù)據(jù)治理項目只是數(shù)據(jù)治理工作的起點，項目實施后未來長期的數(shù)據(jù)治理過程中如果繼續(xù)依靠外力，高昂的成本企業(yè)根本無法承受，其實也沒必要付出這個成本。因此，企業(yè)具備數(shù)據(jù)治理的能力非常重要，那么企業(yè)應該具備什么樣的能力呢？根據(jù)多年的經(jīng)驗總結(jié)，企業(yè)數(shù)據(jù)運維管理階段需要具備針對數(shù)據(jù)管理體系的拓展和完善能力，以便支撐未來企業(yè)發(fā)展后的數(shù)據(jù)擴展或管理變更的需求。如何才能獲得這個能力呢？經(jīng)驗告訴我們，能力需要有足夠多的知識支撐才可以具的就是弄清來龍去脈以便延續(xù)以往的思路，防止標準體系的走偏和分裂。因此要做好此工作需要長期積累大量的過程知識，構(gòu)建基于過程的知識收集和推送體系是關鍵中的關鍵。具體的過程知識體系結(jié)構(gòu)如圖1-16所示。圖1-16數(shù)據(jù)知識收集和推送體系第2章“八步走”實施企業(yè)數(shù)據(jù)治理明確了數(shù)據(jù)治理的方向后，接下來介紹實施企業(yè)數(shù)據(jù)治理的具體方法。近20年的數(shù)據(jù)治理經(jīng)驗使得我們有機會總結(jié)出一套基于數(shù)據(jù)治理項目實施前、實施中、實施后的數(shù)據(jù)治理方法論，包括八個步驟，也代表了數(shù)據(jù)治理工作的八個方面，缺一不可?，F(xiàn)狀自查——摸清數(shù)據(jù)管理現(xiàn)狀企業(yè)數(shù)據(jù)管理現(xiàn)狀的自查是未來開啟數(shù)據(jù)治理的基礎工作，是讓領導下定決心的第一步。數(shù)據(jù)管理現(xiàn)狀的自查是指對數(shù)據(jù)管理組織、數(shù)據(jù)管理制度、數(shù)據(jù)管理流程、數(shù)據(jù)分了解相關人員對數(shù)據(jù)管理的訴求。企業(yè)數(shù)據(jù)管理現(xiàn)狀自查工作的開展主要由企業(yè)自己的IT部門發(fā)起，當然也可以由企業(yè)運營或者管理部門發(fā)起，自查工作的發(fā)起部門一般也是未來數(shù)據(jù)治理項目的發(fā)起及主導部門。數(shù)據(jù)管理現(xiàn)狀自查的具體原則為：況如何；員，多聽一線的呼聲；強調(diào)針對性，只針對數(shù)據(jù)管理現(xiàn)狀了解，不要過多地牽扯業(yè)務管理；不宜過細，這個自查只是初步的整體上的了解，不要過于糾纏細節(jié)；求。通過對數(shù)據(jù)管理現(xiàn)狀的初步了解，至少要弄清以下內(nèi)容：目前企業(yè)有沒有數(shù)據(jù)管理組織？如果有，是以什么形式存在的？范、運維體系的情況如何？都由哪些層級的組織負責？目前執(zhí)行的結(jié)果如何？規(guī)、一物多碼等問題存在？有沒有數(shù)據(jù)訪問、服務安全機制？數(shù)據(jù)開放程度如何？業(yè)務系統(tǒng)間數(shù)據(jù)交互的現(xiàn)狀是什么樣的？都涉及什么樣的接口機制？日常管理中是否發(fā)現(xiàn)數(shù)據(jù)質(zhì)量的問題？對有質(zhì)量問題的數(shù)據(jù)是怎么處理的？另外，可以根據(jù)以上情況結(jié)合國家2018年發(fā)布的GB/T 36073-2018相關的標準進行自查，最終就可以很清晰地感受到企業(yè)內(nèi)的數(shù)據(jù)管理處在一個什么等級，數(shù)據(jù)治理的緊迫是否很強等。精心籌備——做好數(shù)據(jù)治理項目的啟動工作當企業(yè)決定要開展數(shù)據(jù)治理后，真正的準備工作就來了。大家都知道頑疾要想痊愈，肯定是非常難，企業(yè)多年來積累的數(shù)據(jù)質(zhì)量問題，要想徹底全面地解決是一個非常繁重的工作，周期長且成效很難立刻顯現(xiàn)，急于求成或者力求一步到位很容易出現(xiàn)半途而廢的情況，因此項目啟動前的準備工作是相當?shù)闹匾捅匾模枰幸欢ǖ牟呗院头椒?。要想順利啟動一個數(shù)據(jù)治理項目，具體的前期準備工作如下：獲取領導支持首先，數(shù)據(jù)治理項目是企業(yè)的重大項目，此類項目的實施必須獲得高層領導的支持，甚至是“一把手”直接參與，這是項目成功的基本保障。經(jīng)驗告訴我們，“走出去、請進來”是改變領導傳統(tǒng)思維的有效方法之一，再就是給領導匯報時要充分說明因數(shù)據(jù)質(zhì)量問題造成的企業(yè)相關管理問題、痛點，并提出合理的解決方案，引起領導的重視。找準管理“痛點”怎么樣才能精準地找出“痛點”呢？首先要從數(shù)據(jù)規(guī)范的角度出發(fā)，然后精準匹配業(yè)務場景，最終以數(shù)據(jù)規(guī)范為基礎，以業(yè)務場景為方向，以數(shù)據(jù)應用分析為目標，找到真正關鍵、準確的“痛點”出來。通常來講，企業(yè)因數(shù)據(jù)質(zhì)量問題造成的管理“痛點”包括：數(shù)據(jù)報表不準確、采購出錯、倉庫賬實不一、客戶滿意度低、售后服務延遲等問題。選擇起點、明確目標下一步就要選擇開展數(shù)據(jù)治理工作的“起點”，并最終明確數(shù)據(jù)治理的相關目標。一個企業(yè)啟動數(shù)據(jù)治理項目的契機通常是大型業(yè)務系統(tǒng)上線前，BI或報表工具實施前，項目目標一般都是快速提升數(shù)據(jù)質(zhì)量，解決業(yè)務或數(shù)據(jù)分析等管理“痛點”。確定治理原則，框定治理范圍起點與目標明確后，接著就要確定治理的原則和范圍，具體如下：以靜態(tài)數(shù)據(jù)管理為關鍵；以元數(shù)據(jù)管理為基礎；基于主數(shù)據(jù)的動態(tài)特性，強化私有靜態(tài)數(shù)據(jù)管理，實現(xiàn)360建立企業(yè)級靜態(tài)數(shù)據(jù)中心；完善指標數(shù)據(jù)管理體系，改善動態(tài)交易數(shù)據(jù)的存儲、分析機制，推行敏捷BI使用，建立企業(yè)數(shù)據(jù)中心。立項申報、廠商選擇有了領導支持，并且以上前期準備工作都完成后，就可以著手項目立項工作了。立項申報最主要的工作就是要編寫一套出色的《數(shù)據(jù)治理項目立項報告》，內(nèi)容要包括數(shù)據(jù)治理項目的背景、意義；數(shù)據(jù)治理的必要性；數(shù)據(jù)管理的現(xiàn)狀；數(shù)據(jù)治理項目的目標規(guī)劃；數(shù)據(jù)治理項目的實施方案；數(shù)據(jù)治理項目的預算；數(shù)據(jù)治理項目的價值預估等。項目立項申報的同時，還要考慮由誰去實施這個項目。首先從企業(yè)自身的角度出發(fā)衡量自身能力，也就是先判斷企業(yè)是否可以自行完成這個數(shù)據(jù)治理項目。衡量的標準主要包括：企業(yè)內(nèi)是否有人懂數(shù)據(jù)治理？企業(yè)是否有相關部門可以主導整個項目的開展？企業(yè)相關人員參與項目的時間是否充足？企業(yè)內(nèi)是否具備相關技術(shù)實力支撐項目的順暢開展？企業(yè)是否具備相關的工具以便實現(xiàn)體系規(guī)范的落地？但一般建議還是引入“外援”，讓專業(yè)的數(shù)據(jù)治理公司參與進來，具體的外部廠商的選擇標準詳見“4.3”小節(jié)內(nèi)容。全面排查——開展項目調(diào)研分析本節(jié)的全面排查和2.1節(jié)介紹的企業(yè)現(xiàn)狀自查有本質(zhì)的區(qū)別，現(xiàn)狀自查是企業(yè)自己對自身數(shù)據(jù)管理現(xiàn)狀的全面了解，而本節(jié)的全面排查引入了外部專業(yè)廠商（乙方）的力量，是從項目實施的角度出發(fā)進行的調(diào)研，是啟動項目前的調(diào)研和分析。具體的調(diào)研方法和調(diào)研內(nèi)容如下。調(diào)研方法實地走訪；集中會議交流；線上發(fā)放問卷；電話、網(wǎng)絡點對點交流。調(diào)研內(nèi)容目前數(shù)據(jù)管理現(xiàn)狀；目前數(shù)據(jù)管理對業(yè)務管理的影響；目前數(shù)據(jù)管理對數(shù)據(jù)應用分析（報表、BI、大數(shù)據(jù)等）的影響；目前數(shù)據(jù)管理對未來企業(yè)數(shù)據(jù)戰(zhàn)略規(guī)劃的影響；各級人員對數(shù)據(jù)管理的意見和建議。另外，調(diào)研的過程要時刻想著收集直接的一手資料，不論是制度、模型、流程，還是一些實際的數(shù)據(jù)以及數(shù)據(jù)質(zhì)量、安全的問題，紙質(zhì)材料也好，電子版材料也好，反正是有什么都統(tǒng)統(tǒng)拿來。面找出問題，畢竟要出具合格的“診斷結(jié)果”——《調(diào)研分析報告》還是不容易的。《調(diào)研分析報告》的內(nèi)容應包括企業(yè)數(shù)據(jù)治理背景、調(diào)研過程（包括調(diào)研時間、人員、會議情況、資料收集情況等）議等。構(gòu)建數(shù)據(jù)管理體系——重塑數(shù)據(jù)管理標準項目調(diào)研完成后，根據(jù)《調(diào)研分析報告》以及收集的相關資料開始進行數(shù)據(jù)治理項目最核心的一個環(huán)節(jié)——構(gòu)建數(shù)據(jù)管理體系。數(shù)據(jù)管理體系是企業(yè)數(shù)據(jù)治理的依據(jù)和基礎，也經(jīng)常被理解為企業(yè)數(shù)據(jù)環(huán)境，企業(yè)數(shù)據(jù)環(huán)境的好壞直接決定了數(shù)據(jù)質(zhì)量的優(yōu)劣。數(shù)據(jù)管理體系由數(shù)據(jù)管理組織、制度、流程；數(shù)據(jù)模型體系；數(shù)據(jù)質(zhì)量管理標準；數(shù)據(jù)安全管理標準；數(shù)據(jù)交換管理體系；數(shù)據(jù)運維管理體系6部分組成。重構(gòu)企業(yè)數(shù)據(jù)標準體系的原則如下：數(shù)據(jù)管理知識體系指南》；借鑒數(shù)據(jù)治理廠商多年的數(shù)據(jù)治理經(jīng)驗；盡量選擇有多年經(jīng)驗的行業(yè)專家主導或參與制定；參照國際標準、國家標準、行業(yè)標準、企業(yè)標準；數(shù)據(jù)管理體系定稿前要全面、詳實地討論，線上保留全部討論內(nèi)容；重點聽取一線或業(yè)務部門建議、意見。通過以上方法可以制定出一套既滿足數(shù)據(jù)管理要求又不違背業(yè)務邏輯的全新數(shù)據(jù)標準體系。最終要實現(xiàn)標準體系的系統(tǒng)落地，切忌成果只留在紙面或者電子文檔中。存量數(shù)據(jù)改造——解決已有質(zhì)量問題數(shù)據(jù)標準體系構(gòu)建好并實現(xiàn)落地后，接下來就是要進行存量數(shù)據(jù)改造——不完整、不合規(guī)以及冗余的問題。通過存量數(shù)據(jù)的改造徹底解決數(shù)據(jù)質(zhì)量的歷史遺留問題，為未來數(shù)據(jù)新增時的查重奠定基礎。數(shù)據(jù)清洗的原則及方法：據(jù)清洗；遵循數(shù)據(jù)治理項目建立的數(shù)據(jù)模型體系標準；容易出錯；事；據(jù)清洗工作時間跨度適當拉長，減輕不必要的壓力。數(shù)據(jù)清洗的結(jié)果是完善了數(shù)據(jù)，建立了冗余數(shù)據(jù)的映射關系庫，然后可以根據(jù)冗余數(shù)據(jù)映射關系庫在業(yè)務系統(tǒng)中陸續(xù)停用問題數(shù)據(jù)，當然也可以把完善后的數(shù)據(jù)更新到業(yè)務中去。構(gòu)建數(shù)據(jù)交換架構(gòu)——徹底打通數(shù)據(jù)孤島數(shù)據(jù)交換服務是指通過數(shù)據(jù)交換平臺建立各業(yè)務系統(tǒng)間的數(shù)據(jù)交換（采集、分發(fā)），實現(xiàn)數(shù)據(jù)在各系統(tǒng)間的順暢流動，徹底消除企業(yè)的“數(shù)據(jù)孤島”現(xiàn)象。構(gòu)建數(shù)據(jù)交換服務屬于技術(shù)性較強的工作，此項工作的核心就是完善數(shù)據(jù)交換架構(gòu)。當數(shù)據(jù)管理體系重構(gòu)后就可以開展此工作，可以和存量數(shù)據(jù)的改造工作并行。此工作首先要進行交換標準體系的梳理，然后構(gòu)建基于靜態(tài)數(shù)據(jù)中心的數(shù)據(jù)交換架構(gòu)，最后通過搭建專業(yè)的數(shù)據(jù)交換平臺進行技術(shù)實現(xiàn)。完善數(shù)據(jù)交換架構(gòu)的原則和方法：梳理并制定數(shù)據(jù)標準體系（數(shù)據(jù)管理體系的一部分），具體梳理與制定原則、方法詳見6.1.5小節(jié)。并結(jié)合數(shù)據(jù)交換標準體系構(gòu)建基于靜態(tài)數(shù)據(jù)中心的數(shù)據(jù)交換架構(gòu)（詳見8.2小節(jié)）；必要時把第三方廠商請到項目現(xiàn)場進行交換規(guī)則的討論、定義；利用專業(yè)的數(shù)據(jù)交換平臺進行技術(shù)實現(xiàn)，不建議直接使用ESB交換靜態(tài)數(shù)據(jù)。本階段結(jié)束后，企業(yè)數(shù)據(jù)治理項目的主要工作已基本完成，可以進入項目的試運行和驗收工作了。行為管控——優(yōu)化增量數(shù)據(jù)質(zhì)量數(shù)據(jù)治理項目試運行和驗收的同時，企業(yè)對于數(shù)據(jù)的治理工作就正式進入了對數(shù)據(jù)的日常運維階段，也是數(shù)據(jù)生命周期的核心階段。要通過行為管控的數(shù)據(jù)質(zhì)量優(yōu)化方式，解決更深層次數(shù)據(jù)質(zhì)量問題（錯誤等），基礎上對數(shù)據(jù)操作人員的行為進行管控，從而優(yōu)化數(shù)據(jù)質(zhì)量；通過大數(shù)據(jù)行為分析，檢測、探知、處理已生成的數(shù)據(jù)，進一步優(yōu)化數(shù)據(jù)質(zhì)量。增量數(shù)據(jù)相對存量數(shù)據(jù)而言，二者以數(shù)據(jù)治理項目中數(shù)據(jù)治理平臺正式上線的時間節(jié)點來劃分。數(shù)據(jù)治理平臺上線前，企業(yè)已有的所有數(shù)據(jù)都是存量數(shù)據(jù)；平臺上線后新增的數(shù)據(jù)都是增量數(shù)據(jù)。另外，只有增量數(shù)據(jù)的質(zhì)量需要再優(yōu)化，存量數(shù)據(jù)只需要在數(shù)據(jù)治理項目中進行一次性清洗即可。針對增量數(shù)據(jù)質(zhì)量可以通過行為管控進行優(yōu)化的階段有兩個，一是在數(shù)據(jù)采集/驗證（數(shù)據(jù)維護/審核）階段，二是在數(shù)據(jù)生成、分發(fā)階段，數(shù)據(jù)全生命周期如圖2-1所示。圖2-1數(shù)據(jù)全生命周期通過行為管控的方式解決數(shù)據(jù)質(zhì)量問題的原則和方法：數(shù)據(jù)維護階段，依據(jù)相關業(yè)務崗位的人員錄入本業(yè)務崗位相關數(shù)據(jù)的原則，把整條數(shù)據(jù)信息拆分成多個（或組）屬性字段，通過將各專業(yè)屬性字段（或組）關業(yè)務崗位人員進行維護實現(xiàn)優(yōu)化增量數(shù)據(jù)質(zhì)量；監(jiān)測，探知已存在于業(yè)務系統(tǒng)中的數(shù)據(jù)質(zhì)量問題，并對問題及時進行處理；力。能力轉(zhuǎn)移——保障高效的數(shù)據(jù)運維管理操作能力，企業(yè)對數(shù)據(jù)標準體系的擴展、完善幾乎是無能為力，數(shù)據(jù)運維管理變得很艱難。所以必須要實現(xiàn)數(shù)據(jù)治理能力有效完整的轉(zhuǎn)移。數(shù)據(jù)治理能力的轉(zhuǎn)移來源于數(shù)據(jù)治理知識的有效轉(zhuǎn)移。數(shù)據(jù)治理知識來源于數(shù)據(jù)治理項目過程中對調(diào)研、咨詢知識的收集、加工，以及數(shù)據(jù)治理項目實施后日常數(shù)據(jù)運維管理過程中的知識采集、沉淀，也稱數(shù)據(jù)治理知識的生產(chǎn)。數(shù)據(jù)治理項目具有很高的難度和特殊性，只有數(shù)據(jù)治理項目成果的知識轉(zhuǎn)移對企業(yè)數(shù)據(jù)治理能力的提升不明顯，無法讓企業(yè)具備有效的數(shù)據(jù)治理能力，無法有效支撐數(shù)據(jù)的運維管理。因此，需要注重數(shù)據(jù)治理知識的生產(chǎn)、積累、存儲，并且實時地注入企業(yè)數(shù)據(jù)運維人員的操作界面上，讓運維人員在進行數(shù)據(jù)管理體系拓展操作時可以借鑒、參考數(shù)據(jù)治理項目實施時的思路，實現(xiàn)數(shù)據(jù)管理體系拓展與現(xiàn)有項目的無縫銜接。項目篇全面梳理數(shù)據(jù)治理項目實施過程各環(huán)節(jié)的要點。第3章5個角度自查數(shù)據(jù)管理現(xiàn)狀所謂的自查，就是企業(yè)自己組織力量對企業(yè)自身的數(shù)據(jù)管理現(xiàn)狀進行初步了解。自查可以讓企業(yè)明確自身所處的狀態(tài)，為即將開展的數(shù)據(jù)治理工作做前期準備。從2007年到2019年這12年來，筆者親身經(jīng)歷并感受到企業(yè)對數(shù)據(jù)治理需求的變化。2010年初，筆者所在的中翰軟件公司首次把主數(shù)據(jù)概念引入國內(nèi)，并發(fā)布了中翰MDM平臺。當時筆者帶領10多人的銷售團隊到山東的100強企業(yè)里面進行大范圍市場調(diào)解，企業(yè)信息化建設普遍不成熟。2012年夏天，筆者又進行了一次類似的市場調(diào)研，并安排銷售、咨詢?nèi)藛T為企業(yè)宣講數(shù)據(jù)治理的必要性、科學性。讓人欣慰的是，這次有了一些收獲，好多企業(yè)已經(jīng)認識到數(shù)據(jù)治理的重要性。從2015年開始，隨著大數(shù)據(jù)概念的持續(xù)發(fā)酵，越來越多的企業(yè)逐漸意識到了數(shù)據(jù)治理的必要性，主動開始尋求解決方案甚至立項，尤其是2019年開始，企業(yè)對數(shù)據(jù)治理的需求出現(xiàn)了井噴式的增長。總的來說，由于缺乏對數(shù)據(jù)的有效控制，企業(yè)的數(shù)據(jù)問題往往會有以下四個主要和普遍的問題。數(shù)據(jù)不一致由于企業(yè)內(nèi)數(shù)據(jù)存在不一致性，導致企業(yè)大量的資源浪費，包括時間、金錢和人力客戶數(shù)據(jù)，這種客戶數(shù)據(jù)進行一致處理的過程需要多次反復。數(shù)據(jù)冗余大多數(shù)企業(yè)沒有專業(yè)的數(shù)據(jù)管理平臺，企業(yè)內(nèi)的每一個系統(tǒng)、應用，甚至每個業(yè)務部門都會有各自的數(shù)據(jù)信息。最普遍的例子就是對客戶數(shù)據(jù)的收集，客戶的關鍵屬性如客戶名稱、地址等信息在企業(yè)內(nèi)各個角落都被重復記錄著。在這個收集客戶信息的過程中，很少會產(chǎn)生相同或者一致的結(jié)果。這就導致了數(shù)據(jù)冗余和數(shù)據(jù)質(zhì)量過差的問題出現(xiàn)。業(yè)務低效這不僅是低效的，而且很有可能由于信息的不全導致采購的物料無法滿足生產(chǎn)部門的需的效率，從而降低企業(yè)的市場競爭力。不適應業(yè)務變化企業(yè)內(nèi)的業(yè)務經(jīng)常發(fā)生各種變化，如引入新的產(chǎn)品和服務，公司的業(yè)務重組和新技術(shù)的應用。這些企業(yè)內(nèi)的各種變化都會導致企業(yè)數(shù)據(jù)的變化，如果沒有一套機制來管理這些變化，企業(yè)在數(shù)據(jù)不一致、不完整、不合規(guī)、數(shù)據(jù)冗余、業(yè)務低效等方面的問題就會不斷地加劇。企業(yè)實施數(shù)據(jù)治理項目之前，首先要做的就是對各種企業(yè)數(shù)據(jù)的問題進行自查。綜合以上各種情況，企業(yè)數(shù)據(jù)的問題可以按照數(shù)據(jù)環(huán)境、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)交換、數(shù)據(jù)運維5大維度進行區(qū)分，可以從這5個角度進行自查。自查數(shù)據(jù)環(huán)境數(shù)據(jù)環(huán)境，是指包括數(shù)據(jù)的數(shù)據(jù)管理組織、制度和流程、模型體系（包括數(shù)據(jù)分類、編碼、信息模型體系）、質(zhì)量標準體系、安全標準體系、運維管理體系、交換標準體系等在內(nèi)的標準體系的集合，統(tǒng)指為數(shù)據(jù)所處的環(huán)境。在企業(yè)數(shù)據(jù)環(huán)境現(xiàn)狀自查過程中，一定要做到全面、細致、準確，這樣才能為下一步的數(shù)據(jù)治理工作打下堅實的基礎。數(shù)據(jù)環(huán)境現(xiàn)狀自查方法、原則在第2章已有介紹，在此不再重復，此處給出企業(yè)數(shù)據(jù)環(huán)境自查的具體標準，如表3-1所示。企業(yè)可以參照這個自查標準對自身的企業(yè)數(shù)據(jù)環(huán)境狀況進行自查。表3-1企業(yè)數(shù)據(jù)環(huán)境自查標準自查數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量指的是一條數(shù)據(jù)顯性的質(zhì)量表現(xiàn)，分析起來似乎比較容易，但是我們不僅要考慮數(shù)據(jù)自身的質(zhì)量問題，也要考慮不同系統(tǒng)（數(shù)據(jù)所處環(huán)境）間由于各種原因造成的質(zhì)量問題，畢竟數(shù)據(jù)的存在不是獨立性的。因此，分析數(shù)據(jù)的質(zhì)量問題，需要結(jié)合現(xiàn)有的業(yè)務管理系統(tǒng)，從數(shù)據(jù)的一致性、完整性、合規(guī)性、冗余、及時性和有效性6個方面進行全面的分析。數(shù)據(jù)質(zhì)量自查標準及方法數(shù)據(jù)質(zhì)量自查標準，如表3-2所示。表3-2企業(yè)數(shù)據(jù)質(zhì)量自查標準3-3所示。表3-3自查數(shù)據(jù)質(zhì)量的方法（數(shù)據(jù)角度）（續(xù)）從業(yè)務管理和數(shù)據(jù)應用分析的角度判斷數(shù)據(jù)質(zhì)量的方法如表3-4所示。表3-4自查數(shù)據(jù)質(zhì)量的方法（業(yè)務角度）（續(xù)）數(shù)據(jù)質(zhì)量自查實例從企業(yè)實際數(shù)據(jù)管理的角度，我們看一下現(xiàn)實中存在的各種數(shù)據(jù)質(zhì)量的問題，可供企業(yè)做數(shù)據(jù)質(zhì)量自查時參考。數(shù)據(jù)規(guī)范、標準方面的數(shù)據(jù)質(zhì)量問題案例一：國內(nèi)某大型裝備制造企業(yè)集團，并沒有形成統(tǒng)一的數(shù)據(jù)模型規(guī)范。其主要問題如下。數(shù)據(jù)大類問題，如表3-5所示。表3-5數(shù)據(jù)大類問題上表中可以看出，該企業(yè)的數(shù)據(jù)大類界定維度不一，如外購件和標準件兩類，外購件的范圍太廣，沒有限定具體范圍，只要是外購的都適用。數(shù)據(jù)中類問題。中類包含的范圍太廣，模板無法統(tǒng)一，如表3-6所示。表3-6數(shù)據(jù)中類問題從上表中可以看出，“化工用品”的范圍太大，包含了“涂料”“粘接材料”等品類，經(jīng)常出現(xiàn)很多本是“粘接材料”的物資誤放到“化工用品”中的現(xiàn)象，直接造成一物多碼等的數(shù)據(jù)冗余問題。還有一種情況就是中類分的過細，導致中類包含數(shù)量較多，后期出現(xiàn)新的數(shù)據(jù)時，可能需要增加新的類別對應，導致未來中類數(shù)量越來越多，最終出現(xiàn)中類編碼位數(shù)不夠的現(xiàn)象，如表3-7所示。表3-7數(shù)據(jù)中類問題數(shù)據(jù)小類問題。小類界定模糊不清，如表3-8、3-9所示。表3-8數(shù)據(jù)小類問題（1）表3-9數(shù)據(jù)小類問題（2）表3-8中的“電線、電纜”小類和“排線”“自控電伴熱線”小類有包含和被包含的關系存在，數(shù)據(jù)新增時很容易出現(xiàn)錯放類別的情況。表3-9中的“門控器”和“安全門門控器”也是同樣的問題。編碼屬性問題。傳統(tǒng)型的規(guī)格型號整體式管理，無法實現(xiàn)嚴格的數(shù)據(jù)驗證，且很容易造成人為的錄入錯誤，尤其是中間連接符號如“*”“x”和“×”經(jīng)?；煊茫绫?-10所示。表3-10編碼屬性問題（1）編碼數(shù)據(jù)模型不統(tǒng)一、不完整（同一小類），如表3-11所示。表3-11編碼屬性問題（2）（續(xù)）以上這些編碼中很明顯的可以看出，同一個小類中編碼數(shù)據(jù)模型格式嚴重不統(tǒng)一，同樣都是膠帶，有的是顏色屬性，有的是寬度屬性，有的是長度，有的是品牌型號，這樣后期新增數(shù)據(jù)時如此操作很難實現(xiàn)數(shù)據(jù)的精確查重，數(shù)據(jù)冗余在所難免。計量單位的大小寫不同（同一小類），如表3-12書寫格式不規(guī)范，對于此類錄入錯誤缺乏數(shù)據(jù)驗證。表3-12編碼屬性問題（3）案例二：國內(nèi)某大型箱包生產(chǎn)企業(yè)集團案例，其編碼數(shù)據(jù)模型不統(tǒng)一、不標準。其主要問題如下。編碼數(shù)據(jù)模型不統(tǒng)一、不標準，如表3-13所示。表3-13編碼數(shù)據(jù)模型不統(tǒng)一（續(xù)）通過以上數(shù)據(jù)可以看出，不同編碼的規(guī)格型號的描述方式相差較大，有純漢字說明和借用編碼流水號兩種，二者的共存很容易導致一物多碼或一碼多物的問題發(fā)生，因為不一樣的描述方法，業(yè)務系統(tǒng)無法驗證新增數(shù)據(jù)時的重復所在。還有一個問題就是物資描述不標準、不清晰，規(guī)格型號用編碼來代替，此種情況適合比較熟悉實際業(yè)務。且非常了解相關物資的人，看到編碼就可以直接對應到相關物資。但是企業(yè)生產(chǎn)過程中難免有崗位調(diào)離、離職、請假等現(xiàn)象的發(fā)生，新員工來到此崗位需要很長一段時間來熟悉物資的這種描述方式，很容易導致錯誤采購、錯誤生產(chǎn)、錯誤盤點等現(xiàn)象的發(fā)生，直接對業(yè)務產(chǎn)生負面影響。同樣的問題（如表3-14所示的數(shù)據(jù)）也很嚴重。表3-14物資描述問題（1）（續(xù)）編碼長度不一，且編碼規(guī)則不一，如表3-15所示。表3-15物資描述問題（2）從表3-15中可以清晰地看出左邊編碼列的長短不一，并且編碼借用了規(guī)格型號，如最后兩行的數(shù)據(jù)很可能造成“一物多碼”問題的發(fā)生。再有就是兩個編碼很明顯屬于同一類別，但是編碼規(guī)則中有阿拉伯數(shù)字“9”和英文字母“A”共存的現(xiàn)象，這種現(xiàn)象很容易造成一些誤解和“一物多碼”問題。規(guī)格型號書寫格式不規(guī)范，如表3-16所示。表3-16物資描述問題（3）在表3-16中，規(guī)格型號的描述中“織嘜”前有的有空格，有的沒有空格，這種現(xiàn)象的出現(xiàn)直接導致現(xiàn)有業(yè)務系統(tǒng)無法實現(xiàn)有效查重，出現(xiàn)重碼現(xiàn)象在所難免。主數(shù)據(jù)冗余方面的數(shù)據(jù)質(zhì)量問題案例一：國內(nèi)某大型裝備制造企業(yè)集團的數(shù)據(jù)冗余情況分析企業(yè)的數(shù)據(jù)規(guī)范和標準長期由人工執(zhí)行，以及數(shù)據(jù)新增時的人為查重、人為監(jiān)管等，導致了主數(shù)據(jù)層面“一物多碼”的大量存在，產(chǎn)生了大量的主數(shù)據(jù)冗余。書寫格式不規(guī)范，出現(xiàn)了大小寫（同一小類）不統(tǒng)一的情況，如表3-17所示。表3-17書寫格式不規(guī)范（續(xù)）表3-17的編碼中，編碼屬性模板還是比較標準的，但是在實際錄入過程中出現(xiàn)了大小寫不一致的問題，如最后三條編碼規(guī)格中用的是小寫，往上三行是大寫，再往上又有小寫出現(xiàn)，這很明顯地說明了缺乏嚴格的數(shù)據(jù)驗證制度，所以編碼重復在所難免。數(shù)據(jù)模型不統(tǒng)一，如表3-18中所示的這組數(shù)據(jù)所示。表3-18數(shù)據(jù)模型不統(tǒng)一在表3-18中，第一行和最后一行編碼數(shù)據(jù)模型不同，規(guī)格型號的書寫格式也不一樣，但明顯指的是同一件物料，有一物多碼的嫌疑。其他行的編碼數(shù)據(jù)模型還是比較標準、統(tǒng)一的。很明顯的數(shù)據(jù)冗余（同一小類內(nèi)一物多碼），如表3-19所示。表3-19明顯的數(shù)據(jù)冗余（一物多碼）在表3-19中的數(shù)據(jù)中明顯存在重復（冗余）數(shù)據(jù)，也就是我們經(jīng)常提到的。案例二：國內(nèi)某大型箱包生產(chǎn)企業(yè)集團，其存在質(zhì)量問題的數(shù)據(jù)如表3-20所示。表3-20一物多碼表3-20中數(shù)據(jù)，出現(xiàn)規(guī)格型號完全相同但編碼不同的現(xiàn)象，是一物多碼。此種現(xiàn)象會直接導致業(yè)務系統(tǒng)使用過程中不同的人使用不同的編碼，最終結(jié)果是報表中這一物資的業(yè)務數(shù)據(jù)無法統(tǒng)計到一條編碼下，導致報表數(shù)據(jù)不準確。自查數(shù)據(jù)安全除了數(shù)據(jù)質(zhì)量，數(shù)據(jù)安全也是需要自查的內(nèi)容之一，數(shù)據(jù)安全的自查可以依據(jù)數(shù)據(jù)管理知識體系指南》《信息安全技術(shù)-數(shù)據(jù)庫管理系統(tǒng)安全技術(shù)要求》（GB/T20273-2006）以及《信息系統(tǒng)安全等級保護基本要求》（GB/T22239-2008）的相關內(nèi)容進行。數(shù)據(jù)安全根據(jù)數(shù)據(jù)生命周期可以分為數(shù)據(jù)生產(chǎn)安全（指數(shù)據(jù)設計、錄入、加工過程中的安全）、數(shù)據(jù)存儲安全（數(shù)據(jù)存儲過程中的安全）、數(shù)據(jù)交換安全、數(shù)據(jù)訪問安全（訪問數(shù)據(jù)過程中的安全）四部分。自查數(shù)據(jù)生產(chǎn)安全數(shù)據(jù)生產(chǎn)安全，重點要了解數(shù)據(jù)生產(chǎn)過程中在工作組和業(yè)務單位層面對相應角色工作范圍的界定以及崗位權(quán)限的劃分，具體如表3-21所示。表3-21數(shù)據(jù)安全自查（角色）了解不同權(quán)限的用戶對敏感數(shù)據(jù)的操作。針對數(shù)據(jù)操作權(quán)限的控制，不同的崗位角段的操作權(quán)限。自查數(shù)據(jù)存儲安全數(shù)據(jù)存儲安全方面的自查，重點參考以下內(nèi)容。數(shù)據(jù)庫安全標準應按照《信息安全技術(shù)-數(shù)據(jù)庫管理系統(tǒng)安全技術(shù)要求》（GB/T20273-2006）中相關規(guī)定執(zhí)行；啟用異地備份，避免發(fā)生自然災害時的數(shù)據(jù)損失；采用RAID5（獨立磁盤冗余陣列）；采用鏡像技術(shù)；采用快照技術(shù)，迅速恢復遭破壞的數(shù)據(jù)；適時進行數(shù)據(jù)備份和恢復，如：周一至周四進行增量備份，每周五晚10份；擴展名是.ldf；體遷移。自查數(shù)據(jù)交換安全數(shù)據(jù)交換安全的自查，應重點了解數(shù)據(jù)過程中的加密、壓縮等相應機制，由于是粗略的自查，數(shù)據(jù)交換安全相對可以較少，具體要自查的內(nèi)容如表3-22所示。表3-22數(shù)據(jù)交換安全自查數(shù)據(jù)庫層面的數(shù)據(jù)交換應參照《信息安全技術(shù)-數(shù)據(jù)庫管理系統(tǒng)安全技術(shù)要求》（GB/T20273-2006）中的相關規(guī)定。自查數(shù)據(jù)訪問安全數(shù)據(jù)訪問安全方面的自查，要重點了解數(shù)據(jù)密級的劃分，數(shù)據(jù)庫訪問、用戶查詢，打印下載的權(quán)限劃分，數(shù)據(jù)敏感信息自查，具體要點介紹如下。自查數(shù)據(jù)密級劃分情況。公眾數(shù)據(jù)：數(shù)據(jù)是否可以提供給企業(yè)內(nèi)任何人員；內(nèi)部數(shù)據(jù)：數(shù)據(jù)是否限制在總部各部門或者分子公司內(nèi)部的成員中；機密數(shù)據(jù)：數(shù)據(jù)是否不能共享到組織外部。數(shù)據(jù)庫層面的數(shù)據(jù)訪問自查應執(zhí)行《信息安全技術(shù)-求》（GB/T20273-2006）中的相關規(guī)定執(zhí)行。用戶查詢層面應自查數(shù)據(jù)權(quán)限劃分的情況，根據(jù)組織機構(gòu)劃分的管理職責進行自查，不同角色的人（數(shù)據(jù)發(fā)起人、補充人和審核人）導的數(shù)據(jù)查詢權(quán)限在組織范圍上必須是其負責的部門、分公司或者業(yè)務板塊范圍內(nèi)。應自查數(shù)據(jù)打印、下載權(quán)限的劃分，應根據(jù)數(shù)據(jù)密級及滿足企業(yè)數(shù)據(jù)管理的數(shù)據(jù)打印、下載制度和不同角色（數(shù)據(jù)發(fā)起人、補充人、審核人和相關領導）進行自查。淆、加密或屏蔽敏感數(shù)據(jù)。自查數(shù)據(jù)交換數(shù)據(jù)交換的自查標準，必須首先要了解數(shù)據(jù)源頭的情況。不同數(shù)據(jù)類型的數(shù)據(jù)源頭不同，如企業(yè)有標準的HR系統(tǒng)，人員、組織機構(gòu)數(shù)據(jù)的源頭就可以是HR系統(tǒng)。如企業(yè)有標準的CRM系統(tǒng)，客戶數(shù)據(jù)的源頭可以是CRM系統(tǒng)。同樣，供應商數(shù)據(jù)的源頭可以是SRM系統(tǒng)，項目數(shù)據(jù)的源頭可以是項目管理系統(tǒng)，合同數(shù)據(jù)的源頭可以是合同系統(tǒng)。但是，物資數(shù)據(jù)（包括物料、產(chǎn)品、設備、備品備件等）治理平臺，無論企業(yè)是否有ERP或者供應鏈管理系統(tǒng)。因為只有專業(yè)的數(shù)據(jù)治理平臺可以做到對物資數(shù)據(jù)的單個字段驗證，并且只有單個字段驗證才可以最大化保證數(shù)據(jù)質(zhì)量合物資數(shù)據(jù)的源頭放在了ERP系統(tǒng)，因為確實也找不到更好的地方了。確定了各類數(shù)據(jù)的源頭之后，就可以從各業(yè)務系統(tǒng)入手去自查各類數(shù)據(jù)的實際情況CRM系統(tǒng)錄入，一部分從OA系統(tǒng)中錄入，還有一部分有可能從ERP系統(tǒng)錄入。實際上出現(xiàn)這種情況是不可取的，因為OA系統(tǒng)和ERP系統(tǒng)對客戶數(shù)據(jù)的管理肯定沒有專業(yè)的CRM系統(tǒng)精細，不同維度的數(shù)據(jù)源頭根本無法控制數(shù)據(jù)質(zhì)量。對數(shù)據(jù)源頭進行自查之后，接下來要核查企業(yè)的數(shù)據(jù)交換架構(gòu)。理想的數(shù)據(jù)交換架構(gòu)是基于靜態(tài)數(shù)據(jù)中心的雪花狀數(shù)據(jù)交換架構(gòu)，如圖3-1所示（8.2節(jié)有詳細介紹）（從源頭到最終的數(shù)據(jù)消費系統(tǒng)）。另外，切忌把ESB（企業(yè)數(shù)據(jù)服務總線，數(shù)據(jù)交換通道無法存儲及規(guī)范數(shù)據(jù)）而不能只是通道。還有ERP系統(tǒng)作為數(shù)據(jù)交換的中心也不可取，因為ERP系統(tǒng)自身也無法確保內(nèi)部數(shù)據(jù)質(zhì)量的可靠。圖3-1基于靜態(tài)數(shù)據(jù)中心的雪花狀數(shù)據(jù)交換架構(gòu)最后，還要自查一下數(shù)據(jù)交換的技術(shù)規(guī)則，包括數(shù)據(jù)交換接口傳輸格式是怎樣的？有沒有數(shù)據(jù)交換傳輸返回參數(shù)規(guī)范？屬性字段的匹配是不是準確？有沒有完善的數(shù)據(jù)交互消息機制？是否存在數(shù)據(jù)直接寫入數(shù)據(jù)庫的危險模式？自查數(shù)據(jù)運維么好查的，不就那點事嘛（保證平臺的順暢運行，保證所有操作人員順利地完成日常工作）。究竟什么樣的數(shù)據(jù)運維管理才是最好的？首先我們要明確數(shù)據(jù)運維管理都包括什么，數(shù)據(jù)運維管理和別的業(yè)務管理系統(tǒng)的運維工作不同，更重要的是對數(shù)據(jù)管理體系的拓展、完善以及對數(shù)據(jù)質(zhì)量的日常監(jiān)測，確保數(shù)據(jù)管理的可持續(xù)性，確保數(shù)據(jù)質(zhì)量的“長久不衰”。企業(yè)數(shù)據(jù)運維管理應關注以下5點。是否有專職的數(shù)據(jù)運維管理人員。是否有數(shù)據(jù)運維管理的考核機制。是否有拓展數(shù)據(jù)標準體系的能力和方案。是否有評估數(shù)據(jù)管理能力成熟度的機制、工具。是否有對問題數(shù)據(jù)改造處理的機制。第4章啟動數(shù)據(jù)治理項目前的3個關鍵點弄清了自身數(shù)據(jù)管理現(xiàn)狀后，我們就要開始進行一系列項目啟動前細節(jié)上的準備工作了，包括選定項目的啟動時機，明確項目的原則、目標，組建項目團隊，選擇合作廠商等工作。把握數(shù)據(jù)治理項目的啟動時機根據(jù)多年的數(shù)據(jù)治理實踐經(jīng)驗，總結(jié)出數(shù)據(jù)治理項目的6類啟動時機，每1類啟動時機代表了企業(yè)的不同發(fā)展階段，也是企業(yè)發(fā)展機遇的一個窗口期。以下分別進行介紹。根據(jù)企業(yè)數(shù)據(jù)應用的情況把握啟動時機第一種情況是企業(yè)近幾年實施過BI，但是由于數(shù)據(jù)質(zhì)量問題導致分析出來的結(jié)果徹底改善數(shù)據(jù)質(zhì)量。再就是信息化建設到了一定程度，準備開始通過數(shù)據(jù)分析來提高企業(yè)的決策能力，但是發(fā)現(xiàn)企業(yè)數(shù)據(jù)質(zhì)量存在很大問題，擔心后期數(shù)據(jù)分析的結(jié)果不理想，此時就應該考慮到啟動數(shù)據(jù)治理項目了。第三種情況就是企業(yè)已經(jīng)開展數(shù)據(jù)分析應用項目，但是在實施的過程中發(fā)現(xiàn)了數(shù)據(jù)質(zhì)量存在較多問題，對BI治理項目了。根據(jù)數(shù)據(jù)質(zhì)量的優(yōu)劣程度把握啟動時機數(shù)據(jù)不一致問題嚴重。企業(yè)信息化系統(tǒng)是逐步迭代建設起來的，各系統(tǒng)建設的時互，統(tǒng)一識別。需要進行數(shù)據(jù)的錄入，也就是不需要的信息就不再錄入了，最終造成數(shù)據(jù)的不完整性嚴重。多，缺少對數(shù)據(jù)準確率的必要驗證，導致錄入系統(tǒng)的數(shù)據(jù)形式、格式千差萬別。失，造成了頂層視角的數(shù)據(jù)的“一物多碼、一碼多物”等現(xiàn)象。綜上，當企業(yè)遇到以上一種或者幾種情況時，就說明需要開展數(shù)據(jù)治理了，并且已經(jīng)到了刻不容緩的程度。根據(jù)數(shù)據(jù)架構(gòu)設計規(guī)劃把握啟動時機當企業(yè)開展頂層設計（包括企業(yè)的架構(gòu)設計）時，咨詢公司會主動提出數(shù)據(jù)架構(gòu)設計的問題，數(shù)據(jù)架構(gòu)需求的提出預示著數(shù)據(jù)的標準規(guī)范在專門的數(shù)據(jù)治理平臺上落地的訴求應運而生，此時咨詢公司通常會主動承擔數(shù)據(jù)架構(gòu)設計的工作，當項目咨詢結(jié)束后，“數(shù)據(jù)治理平臺”項目就可以準備開始了。根據(jù)大型業(yè)務系統(tǒng)實施的時間點把握啟動時機如果企業(yè)準備實施ERP等大型企業(yè)信息化系統(tǒng)，根據(jù)行業(yè)內(nèi)慣例和我們的經(jīng)驗，建議在ERP等系統(tǒng)上線前實施數(shù)據(jù)治理項目，具體原因如下。ERP實施時要進行數(shù)據(jù)規(guī)范、數(shù)據(jù)模型（含編碼部分和非編碼部分）、數(shù)據(jù)驗證、數(shù)據(jù)管理制度和流程等的規(guī)范化和標準化，這個工作可以合并在數(shù)據(jù)治理項目中一并進行，可以縮短周期同時提高效率；ERP實施前要進行數(shù)據(jù)清洗工作，這個工作比較煩瑣且工作量很大。如果借用乙方數(shù)據(jù)治理平臺中專業(yè)的數(shù)據(jù)清洗工具（ODC）來進行數(shù)據(jù)清洗工作，可以實現(xiàn)數(shù)據(jù)清干凈的數(shù)據(jù)可以提高ERP的實施效果。ERP實施時要進行統(tǒng)一的數(shù)據(jù)期初工作，這個工作需要將數(shù)據(jù)一次性整理好統(tǒng)一導入到ERP系統(tǒng)中，并且會經(jīng)常出現(xiàn)由于某個數(shù)據(jù)錯誤時的反復重新導入的情況，費時費據(jù)自動傳輸?shù)紼RP系統(tǒng)中，即可短期內(nèi)快速實現(xiàn)ERP系統(tǒng)數(shù)據(jù)的期初工作，且可以實現(xiàn)靈活的數(shù)據(jù)變更后分發(fā)等操作，省時省力。數(shù)據(jù)治理的引入可以節(jié)省ERP等的License數(shù)量，從而節(jié)省大量的資金投入。因為程串行或者并行數(shù)據(jù)錄入操作，不再需要在ERP等系統(tǒng)中單獨維護相關基礎數(shù)據(jù)，從而節(jié)省ERP系統(tǒng)的License數(shù)量。不建議ERP上線后再進行數(shù)據(jù)治理平臺的實施，原因如下。即便是清洗后的數(shù)據(jù)肯定是還有很多的重復數(shù)據(jù)存在的，只是沒有被識別出來，這樣的數(shù)據(jù)會直接影響ERP編碼，倉庫盤點出現(xiàn)賬實不一，統(tǒng)計報表不準確等情況，嚴重影響ERP再就是由于ERP錯誤、不規(guī)范等問題，直接導致后期的數(shù)據(jù)冗余問題越來越嚴重。ERP等系統(tǒng)運行一段時間后再實施數(shù)據(jù)治理，相當于重復了一遍ERP系統(tǒng)實施時步停用重復編碼，導致數(shù)據(jù)冗余無法短期內(nèi)消除。根據(jù)企業(yè)外部因素把握啟動時機此類情況也比較簡單，企業(yè)一般是受到上一級單位或者主管單位的相關管理要求而開展數(shù)據(jù)治理工作，且緊急程度較高。信息部門應該冷靜慎重，杜絕應付，建議引導企業(yè)從內(nèi)部管理的角度出發(fā)重新審視數(shù)據(jù)治理的重要性，否則項目實施起來難度很大。根據(jù)以往治理的效果把握再次治理的啟動時機很多企業(yè)幾年前部署了傳統(tǒng)的主數(shù)據(jù)管理平臺，但是在使用過程中發(fā)現(xiàn)了大量的數(shù)據(jù)質(zhì)量問題，通過主數(shù)據(jù)管理平臺或者傳統(tǒng)手段已經(jīng)是束手無策無法解決了。這類企業(yè)目前越來越多，幾乎是每個實施過傳統(tǒng)主數(shù)據(jù)管理平臺的企業(yè)過上1～2年后都會面臨這個問題，還沒有好好享受數(shù)據(jù)治理的紅利就又“重蹈覆轍”了，需要再次治理。在考慮再次實施數(shù)據(jù)治理項目前，應首先核實，數(shù)據(jù)質(zhì)量問題的嚴重程度如何？出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)所占比例是多少？一般比例達到20%左右就應該考慮再次治理的工作了。另外應從徹底解決數(shù)據(jù)質(zhì)量問題的角度出發(fā)，評判更換平臺的風險有多大，如果風險較高，建議采用“亡羊補牢”的方式處理——構(gòu)建數(shù)據(jù)評估監(jiān)測平臺以彌補主數(shù)據(jù)管理后產(chǎn)生的問題。明確數(shù)據(jù)治理項目的原則和目標抓住了啟動時機，接下來要盡快明確數(shù)據(jù)治理項目的原則和目標，從而使未來數(shù)據(jù)治理項目工作的開展有的放矢。確定數(shù)據(jù)治理項目的原則和目標，要具備前瞻性、全面性、長久性、先進性、統(tǒng)一性、可擴展性、安全性等方面的考慮。前瞻性、全面性應考慮到數(shù)據(jù)質(zhì)量問題會反復出現(xiàn)。應考慮到未來數(shù)據(jù)質(zhì)量不可能100%優(yōu)良。應考慮到數(shù)據(jù)管理體系需要不斷地擴展、完善。應考慮到主數(shù)據(jù)的動態(tài)特性。應考慮到未來運維人員可能要離職、調(diào)崗等情況出現(xiàn)。應考慮到現(xiàn)在實施的項目未來要支撐數(shù)據(jù)中心、數(shù)據(jù)中臺、大數(shù)據(jù)分析。數(shù)據(jù)治理涉及的數(shù)據(jù)類型要全面。數(shù)據(jù)治理的范圍要包括相對靜態(tài)數(shù)據(jù)的全部（除交易數(shù)據(jù)外）。要涉及業(yè)務場景的數(shù)據(jù)治理。長久性、先進性要考慮到數(shù)據(jù)質(zhì)量的長久。要考慮到數(shù)據(jù)治理能力的長久。位，內(nèi)順應IT技術(shù)的發(fā)展趨勢。統(tǒng)一性、可擴展性統(tǒng)一的標準體系規(guī)劃（計）。統(tǒng)一的訪問控制策略，統(tǒng)一的數(shù)據(jù)服務機制。滿足企業(yè)現(xiàn)有項目的需求基礎上，要充分考慮到標準體系或平臺的可擴展性以及求的擴展只需在現(xiàn)有機制的基礎上，增加新的標準或服務模塊。安全性、穩(wěn)定性設計，保證重要的、不宜公開的數(shù)據(jù)的安全。采用市場當前已經(jīng)成熟的技術(shù)，保證系統(tǒng)高可用性和高穩(wěn)定性。實用性、經(jīng)濟性解決實際的業(yè)務問題。提高數(shù)據(jù)分析準確率。減少數(shù)據(jù)冗余。提高數(shù)據(jù)一致性。提高數(shù)據(jù)治理能力。從經(jīng)濟成本與效益角度考慮，應簡單快速地開展項目，充分利用現(xiàn)有的IT盡快為企業(yè)提供回報。來應用的擴展將是疊加式的，而不是取代式的。合規(guī)性、可審計數(shù)據(jù)治理項目要符合相關法規(guī)對IT方面的規(guī)定，滿足相應的安全標準，并符合審計方面的要求。合理搭建項目團隊、選擇治理工具及廠商企業(yè)數(shù)據(jù)治理項目需要搭建專門的項目實施團隊，除了合理組織自身的團隊外，肯定少不了外部廠商參與。選擇外部廠商，首先要明確選擇的各種前提條件，如對方的行業(yè)知名度、業(yè)務咨詢能力、技術(shù)平臺先進性、實用性等都要考量。組建項目基礎團隊團隊組建原則信息部門主導，業(yè)務部門輔助；信息部門領導親自掛帥；包含重要部門一把手或者核心數(shù)據(jù)管理人員。項目基礎團隊職責選擇外部合作廠商；協(xié)助組建項目聯(lián)合實施團隊；協(xié)助組建項目后期運維管理團隊。項目基礎團隊分工信息部門負責信息技術(shù)以及選型過程中的工作協(xié)調(diào)；合組建項目聯(lián)合實施團隊以及積極參與項目后期運維團隊建立。選擇最合適的治理工具數(shù)據(jù)治理平臺性能/功能要求，具體如表4-1所示。表4-1數(shù)據(jù)治理平臺性能/功能（續(xù)）選擇合適的外部廠商近幾年數(shù)據(jù)治理廠商雨后春筍般的多了起來，導致對數(shù)據(jù)治理廠商的選擇也越來越復雜，本章對行業(yè)內(nèi)數(shù)據(jù)治理廠商進行了歸類，同時列舉了對數(shù)據(jù)治理廠商選擇的建議，可以幫助企業(yè)的做出正確的決定。數(shù)據(jù)治理廠商分類4-2所示。表4-2廠商類型劃分（按業(yè)務沿革）按照數(shù)據(jù)治理層級劃分如圖4-2所示。結(jié)合數(shù)據(jù)治理行業(yè)的發(fā)展經(jīng)歷，不同時期入行的廠商業(yè)務側(cè)重點也有本質(zhì)的區(qū)別，哪怕大家都是從事數(shù)據(jù)治理的業(yè)務，其實很多廠商實質(zhì)上是編碼管理系統(tǒng)廠商或者主數(shù)據(jù)管理類平臺廠商，而非專門的數(shù)據(jù)治理廠