主數(shù)據(jù)治理如何落地

主數(shù)據(jù)治理如何落地當今企業(yè)，尤其是大型企業(yè)，往往擁有數(shù)百個獨立的應(yīng)用程序和系統(tǒng)，跨組織、跨部門的數(shù)據(jù)很容易變得支離破碎、重復、以及不能及時更新。發(fā)生這種情況時，準確回答一些企業(yè)關(guān)心的基本問題都會變得很痛苦：例如“誰是我們最賺錢的客戶？”“什么產(chǎn)品的利潤率最高？”，甚至“我們有多少員工”？都會變得難以回答——至少難以準確的回答。隨著數(shù)據(jù)源的增加，準確、及時的信息需求就會變得越來越迫切。保持數(shù)據(jù)定義是最新的，并一致地管理數(shù)據(jù)變得越來越難，企業(yè)各部門都使用相同的數(shù)據(jù)更是難上加難。為了應(yīng)對這一挑戰(zhàn)，企業(yè)主數(shù)據(jù)管理應(yīng)運而生。本文就帶您一起了解一下如何做好主數(shù)據(jù)管理項目落地。

什么是主數(shù)據(jù)？主數(shù)據(jù)（MasterData）是在多系統(tǒng)集成應(yīng)用的背景下，被多個信息系統(tǒng)（或功能模塊）共用的基礎(chǔ)性標準化的數(shù)據(jù)。主數(shù)據(jù)是對企業(yè)核心業(yè)務(wù)而言非常重要的單一來源，并且具有唯一性、共享性、穩(wěn)定性、有效性。換言之，主數(shù)據(jù)支撐業(yè)務(wù)流程和事務(wù)。

其實主數(shù)據(jù)理解起來非常簡單，比如記賬，“誰，在哪個店里，買了什么東西，一共多少錢”。這句話里所有非數(shù)值的，都是主數(shù)據(jù)，買東西的人、賣東西的店、產(chǎn)生交易的商品等等都是主數(shù)據(jù)。常見的主數(shù)據(jù)包括：供應(yīng)商、客戶、物料、人員、部門、項目等。主數(shù)據(jù)，帶個主字，英文是Master，字面就顯示出這種數(shù)據(jù)的地位很高，非常的重要，為什么這么重要呢？因為主數(shù)據(jù)管理的對象是企業(yè)核心業(yè)務(wù)實體的基礎(chǔ)業(yè)務(wù)數(shù)據(jù)，比如客戶、供應(yīng)商、員工、組織架構(gòu)、總賬科目、成本中心、利潤中心、物料、設(shè)備資產(chǎn)、工作中心，組件BOM等等，如果這類數(shù)據(jù)沒有管好，多個系統(tǒng)之間數(shù)據(jù)交換的成本就會非常大（需要各自維護，需要翻譯，……），如果沒有管好主數(shù)據(jù)，系統(tǒng)間交換的數(shù)據(jù)就會發(fā)生混亂并產(chǎn)生錯誤，嚴重影響系統(tǒng)的正常使用。也就是說，主數(shù)據(jù)需要在各個系統(tǒng)間、各個業(yè)務(wù)部門間共享并持續(xù)保持一致，是企業(yè)保證各個系統(tǒng)的應(yīng)用質(zhì)量、實現(xiàn)跨系統(tǒng)業(yè)務(wù)協(xié)同和決策支持的基礎(chǔ)。主數(shù)據(jù)是否管理與治理好，是未來企業(yè)數(shù)字化轉(zhuǎn)型是否成功的基礎(chǔ)保障。主數(shù)據(jù)管理內(nèi)容：兩體系一工具主數(shù)據(jù)管理的主要內(nèi)容包括“兩體系、一工具”，即主數(shù)據(jù)管理標準體系、主數(shù)據(jù)管理保障體系和主數(shù)據(jù)管理工具。其中，主數(shù)據(jù)管理標準體系是主數(shù)據(jù)管理工作的重中之重，主數(shù)據(jù)管理保障體系為主數(shù)據(jù)管理保駕護航，主數(shù)據(jù)管理工具確保主數(shù)據(jù)管理有效落地。

(一)

主數(shù)據(jù)管理標準體系主數(shù)據(jù)管理標準體系是主數(shù)據(jù)管理工作的重中之重，通過主數(shù)據(jù)標準化，才能為實現(xiàn)部門和系統(tǒng)間的數(shù)據(jù)集成和共享，打通企業(yè)橫向產(chǎn)業(yè)鏈和縱向管控奠定數(shù)據(jù)基礎(chǔ)。主數(shù)據(jù)標準管理體系包含業(yè)務(wù)標準（編碼規(guī)則、分類規(guī)則、描述規(guī)則等)、主數(shù)據(jù)模型標準。主數(shù)據(jù)標準管理體系在建設(shè)梳理的過程中，一般會衍生出一套代碼體系表或稱主數(shù)據(jù)資產(chǎn)目錄。主數(shù)據(jù)業(yè)務(wù)標準是對主數(shù)據(jù)業(yè)務(wù)含義的統(tǒng)一解釋及要求，包括主數(shù)據(jù)來源、主數(shù)據(jù)的管理級次、統(tǒng)一管理的基礎(chǔ)數(shù)據(jù)項、數(shù)據(jù)項在相關(guān)業(yè)務(wù)環(huán)境中產(chǎn)生過程的描述及含義解釋、數(shù)據(jù)之間的制約關(guān)系、數(shù)據(jù)產(chǎn)生過程中所要遵循的業(yè)務(wù)規(guī)則。主數(shù)據(jù)業(yè)務(wù)規(guī)則包含主數(shù)據(jù)各數(shù)據(jù)項的編碼規(guī)范、分類規(guī)則、描述規(guī)則等。編碼規(guī)則：主數(shù)據(jù)代碼的編碼規(guī)則。例如：物料代碼采取采用“1”開頭的8位無含義數(shù)字流水碼。分類規(guī)則：依據(jù)相關(guān)業(yè)務(wù)環(huán)境和管理需求形成分類規(guī)則。例如：物料分類根據(jù)物料的自然屬性及所包括范圍的大小，將物料分為大、中、小三類。描述規(guī)則：又稱命名規(guī)范。例如：物料描述規(guī)則具體物料描述規(guī)則的定義，主要解決物料描述的規(guī)范化問題。主數(shù)據(jù)模型標準包含：主數(shù)據(jù)邏輯模型和主數(shù)據(jù)物理模型。主數(shù)據(jù)邏輯模型：將高級的業(yè)務(wù)概念以主數(shù)據(jù)實體/屬性及其關(guān)系的形態(tài)在邏輯層面上更詳細的表達出來，主要的表現(xiàn)形式是ERD(實體關(guān)系圖)。主數(shù)據(jù)物理模型又稱主數(shù)據(jù)的存儲結(jié)構(gòu)表。業(yè)務(wù)在應(yīng)用環(huán)境中對數(shù)據(jù)的統(tǒng)一技術(shù)要求，包括對數(shù)據(jù)長度、數(shù)據(jù)類型、數(shù)據(jù)格式、數(shù)據(jù)的缺省值、可否為空的定義、索引、約束關(guān)系等設(shè)計要素，保證數(shù)據(jù)模型中設(shè)計的結(jié)果能夠真正落地到某個具體的數(shù)據(jù)庫當中，并提供了系統(tǒng)初始設(shè)計所需要的基礎(chǔ)元素，以及相關(guān)元素之間的關(guān)系。(二)

主數(shù)據(jù)管理保障體系主數(shù)據(jù)管理需要有配套的管理保障體系保駕護航。通過主數(shù)據(jù)管理組織進行統(tǒng)一領(lǐng)導，確定主數(shù)據(jù)指導思想、目標和任務(wù)，協(xié)調(diào)解決主數(shù)據(jù)管理相關(guān)的重大問題。需要數(shù)據(jù)標準化的歸口管理部門，負責標準化的統(tǒng)一規(guī)劃、綜合管理；需要業(yè)務(wù)組由相關(guān)事業(yè)部和職能部門組成，并通過配套主數(shù)據(jù)相關(guān)制度、流程、應(yīng)用管理和評價為主數(shù)據(jù)管理保駕護航。主數(shù)據(jù)管理保障體系包括主數(shù)據(jù)管理組織、制度、流程、應(yīng)用及管理評價五部分。1.主數(shù)據(jù)管理組織主數(shù)據(jù)管理組織主要包括企業(yè)內(nèi)各類主數(shù)據(jù)的管理組織架構(gòu)、運營模式、角色與職責規(guī)劃，通過組織體系規(guī)劃建立明確的主數(shù)據(jù)管理機構(gòu)和組織體系，落實各級部門的職責和可持續(xù)的主數(shù)據(jù)管理組織與人員。典型的主數(shù)據(jù)管理組織主要包含以下三層組織架構(gòu)：（1）決策層：設(shè)立主數(shù)據(jù)領(lǐng)導小組,一般由企事業(yè)單位信息化領(lǐng)導小組成員組成，對主數(shù)據(jù)標準化工作進行統(tǒng)一領(lǐng)導確定指導思想、目標和任務(wù)，協(xié)調(diào)解決標準化相關(guān)的重大問題。（2）管理層：在領(lǐng)導小組的統(tǒng)一領(lǐng)導下，按照“歸口管理，分工負責”的原則，設(shè)立主數(shù)據(jù)聯(lián)合工作組，該工作組為常設(shè)組織，主要由主數(shù)據(jù)標準化辦公室、業(yè)務(wù)組和技術(shù)組共同組成。

（3）執(zhí)行層：包括企業(yè)總部和下屬企業(yè)專職及兼職主數(shù)據(jù)管理員組成。負責主數(shù)據(jù)在本單位的貫徹落實、應(yīng)用檢查工作；負責本單位主數(shù)據(jù)需求的收集、審核、提報工作；負責本單位主數(shù)據(jù)的培訓、宣貫和日常維護等工作。2.主數(shù)據(jù)管理制度主數(shù)據(jù)管理制度規(guī)定了主數(shù)據(jù)管理工作的內(nèi)容、程序、章程及方法，是主數(shù)據(jù)管理人員的行為規(guī)范和準則，主要包含各種管理辦法、規(guī)范、細則、手冊等?？蓞⒖嫉闹鲾?shù)據(jù)管理制度主要包含：《主數(shù)據(jù)管理辦法》、《主數(shù)據(jù)標準規(guī)范》、《主數(shù)據(jù)提案指南》、《主數(shù)據(jù)維護細則》、《主數(shù)據(jù)管理工具操作手冊》。3.主數(shù)據(jù)管理流程主數(shù)據(jù)管理流程是提升主數(shù)據(jù)質(zhì)量的重要保障，通過梳理數(shù)據(jù)維護及管理流程，建立符合企業(yè)實際應(yīng)用的管理流程，保證主數(shù)據(jù)標準規(guī)范得到有效執(zhí)行，實現(xiàn)主數(shù)據(jù)的持續(xù)性長效治理。主數(shù)據(jù)管理流程可以以管理制度的方式存在，也可以直接嵌入到主數(shù)據(jù)管理工具中。主數(shù)據(jù)管理流程主要包含以下三個方面的內(nèi)容：（1）主數(shù)據(jù)業(yè)務(wù)管理流程：對主數(shù)據(jù)的申請、校驗、審核、發(fā)布、變更、凍結(jié)、歸檔等進行全生命周期管理，滿足主數(shù)據(jù)在企業(yè)深入應(yīng)用的不同管理需求。（2）主數(shù)據(jù)標準管理流程：通過對主數(shù)據(jù)標準的分析、制定、審核、發(fā)布、應(yīng)用與反饋等流程進行設(shè)計，保證主數(shù)據(jù)標準的科學、有效、適用。（3）主數(shù)據(jù)質(zhì)量管理流程：對主數(shù)據(jù)的創(chuàng)建、變更、凍結(jié)、歸檔等業(yè)務(wù)過程進行質(zhì)量管理，設(shè)計數(shù)據(jù)質(zhì)量評價體系，實現(xiàn)數(shù)據(jù)質(zhì)量的量化考核，保障主數(shù)據(jù)的安全、可靠。4.主數(shù)據(jù)應(yīng)用管理主數(shù)據(jù)應(yīng)用管理是保障主數(shù)據(jù)落地和數(shù)據(jù)質(zhì)量非常重要的一環(huán)。主數(shù)據(jù)應(yīng)用主要包含三部分內(nèi)容：明確管理要求、實施有效的管理、強化保障服務(wù)。（1）明確管理要求：制定主數(shù)據(jù)應(yīng)用管理制度規(guī)范，對主數(shù)據(jù)的應(yīng)用范圍、應(yīng)用規(guī)則、管理要求和考核標準做出明確規(guī)定，并以此為依據(jù)，對主數(shù)據(jù)應(yīng)用進行有效管理。（2）實施有效管理：主數(shù)據(jù)應(yīng)用點多、面廣、線長，管理難度很大，要實施有效管理，就必須要有健全的制度和可行的手段，在關(guān)鍵控制節(jié)點實施重點管理。（3）強化服務(wù)保障：依靠便捷、可靠的主數(shù)據(jù)服務(wù)為主數(shù)據(jù)應(yīng)用提供保障，包括主數(shù)據(jù)查詢、主數(shù)據(jù)同步、主數(shù)據(jù)申請和主數(shù)據(jù)調(diào)用。有條件的單位可將主數(shù)據(jù)服務(wù)深入到業(yè)務(wù)流程，從業(yè)務(wù)端發(fā)起請求，驅(qū)動主數(shù)據(jù)管理和服務(wù)，形成管理和應(yīng)用的有機協(xié)同。5.主數(shù)據(jù)管理評價主數(shù)據(jù)管理評價是用來評估及考核主數(shù)據(jù)相關(guān)責任人職責的履行情況及數(shù)據(jù)管理標準和數(shù)據(jù)政策的執(zhí)行情況，通過建立定性或定量的主數(shù)據(jù)管理評價考核指標，加強企業(yè)對主數(shù)據(jù)管理相關(guān)責任、標準與政策執(zhí)行的掌控能力。主數(shù)據(jù)管理評價指標從管理標準、數(shù)據(jù)認責和數(shù)據(jù)政策三個角度考慮，由數(shù)據(jù)所有人與數(shù)據(jù)認責人共同確定，定義一系列的衡量指標和規(guī)則，分一方面落實和檢查主數(shù)據(jù)的應(yīng)用情況，另一方面考察和評估主數(shù)據(jù)管理、主數(shù)據(jù)標準、主數(shù)據(jù)質(zhì)量的執(zhí)行情況。為了進一步保障主數(shù)據(jù)管理工具成功實施和有效運行，必須做到組織、職能、責任、人員的四落實。制定涉及到主數(shù)據(jù)管理的各個環(huán)節(jié)、組織、人員的一套績效考核辦法，明確各組織部門的職責與分工。

主數(shù)據(jù)項目實施要點與步驟下面和大家分享一個主數(shù)據(jù)項目管理的實施框架。這個框架其實分成4大部分，第一個就是現(xiàn)狀分析與評估，第二個就是體系的規(guī)劃，第三個就是實施方案，最后就是一個平臺落地部署的工作。在具體執(zhí)行過程中，主數(shù)據(jù)項目總體上遵循常規(guī)項目6大步驟：啟動、計劃、需求分析與設(shè)計、實現(xiàn)、測試驗收、售后運維。這里我們主要重點介紹下實現(xiàn)階段的內(nèi)容，測試驗收和售后運維就不多做講解。1.啟動階段啟動階段主要包括識別項目目標、組建項目團隊、召開項目啟動會。識別項目目標就是要做一個主數(shù)據(jù)識別，主數(shù)據(jù)識別可以從兩方面去考慮，第一個就是通過一些已知的分析維度，以及業(yè)務(wù)影響程度等，還有數(shù)據(jù)共享程度比較高的，或者說數(shù)據(jù)需求比較迫切的，我們都可以將其納入主數(shù)據(jù)范圍。除此以外，還可以通過一些成熟的工具做一些分析，通過這樣的工具去對接業(yè)務(wù)系統(tǒng)，從而識別企業(yè)到底有哪些主數(shù)據(jù)，然后這些數(shù)據(jù)分布在哪里。第二個就是組建項目團隊，如下圖所示，項目管理也是這樣去組建團隊的，比如項目領(lǐng)導小組有項目總監(jiān)、項目經(jīng)理，還有一些各種不同的角色的實施人員，除此以外，還配備一些專家的團隊做支持。2.計劃階段計劃階段我們主要關(guān)心兩部分內(nèi)容，第一是實施落地的工作，第二是主數(shù)據(jù)集成開發(fā)的工作。實施落地工作按照我們前文中說的框架體系去做即可。這里重點說一下集成開發(fā)這塊的工作。我們在需求調(diào)研階段，以及咨詢規(guī)劃階段，了解了業(yè)務(wù)主數(shù)據(jù)來源于哪些系統(tǒng)，最后用于哪些系統(tǒng)，以及分發(fā)到哪些系統(tǒng)；以及我們的平臺如何與業(yè)務(wù)系統(tǒng)做對接，是用表對接，還是接口對接；同時整個實施過程中還要做一些并行的工作，因此前期要去了解收集這樣的一些信息，這樣才能讓整個項目的進行的比較順利。3.需求與設(shè)計階段這一階段也稱為需求調(diào)研階段，我們主要是通過訪談問卷，或者面對面的交流以及一些數(shù)據(jù)抽取的手段去獲取企業(yè)主數(shù)據(jù)的信息和現(xiàn)狀。除了需求調(diào)研，還有一個重要的板塊是組織架構(gòu)和管理制度設(shè)計，這里采取三層的架構(gòu)——決策層、管理層、執(zhí)行層。另外主數(shù)據(jù)的建設(shè)并不是IT部門或者信息科技部門就能決定的，正如前文中提到的主數(shù)據(jù)含有業(yè)務(wù)實體屬性，需要在業(yè)務(wù)系統(tǒng)里被使用，因此一定需要業(yè)務(wù)負責人的參與，一起來共同推進。而對執(zhí)行層來說，主要是需要和業(yè)務(wù)部門一起定義數(shù)據(jù)的標準模型分類，共同推進。當然在主數(shù)據(jù)平臺管理過程也需要信息管理員來對數(shù)據(jù)進行審批等，以上這些角色都是在整個組織架構(gòu)建設(shè)時提前定義好的。4.實現(xiàn)階段在具體的實現(xiàn)階段有10項工作要去做，這些工作可以并行考慮，包括數(shù)據(jù)標準化，分類編碼屬性管控、流程整合以及切換策略等等，下面我們具體來看看。（1）主數(shù)據(jù)標準化體系以物料為例，完整的物料標準化體系主要包括兩大部分內(nèi)容，一是物料數(shù)據(jù)標準的制定，二是支撐物料數(shù)據(jù)標準化管理相關(guān)的組織機制與技術(shù)平臺等基礎(chǔ)能力的建設(shè)。在此體系下確保逐步改善物資數(shù)據(jù)質(zhì)量，最終實現(xiàn)標準化。（2）分類設(shè)計原則分類設(shè)計的原則主要有4點，第一是不重不漏；第二是粗細顆粒度要合理；第三是要滿足業(yè)務(wù)需求；第四是要符合行業(yè)習慣。這里有一個很重要點是，在整個分類設(shè)計的過程中，實施人員要反復與客戶進行確認。因為一旦分類沒有做好，后續(xù)可能導致大量的重復錄入，并產(chǎn)生很大的影響。這里有一個分類的示例，大家可以參考下：（3）編碼設(shè)計編碼設(shè)計也有一些原則需要去遵守，比如編碼要有全局性，唯一性、適度性、靈活性、擴展性等。對于唯一性與擴展性，換句話說，當一些新的物料數(shù)據(jù)進來以后，我們能方便添加更多的編碼進來，而此時的編碼也需要是唯一的，也就主數(shù)據(jù)編碼只能對應(yīng)一個確定的實體對象。這里的編碼通常有三種方式，即順序碼、層次碼、組合碼，他們各有優(yōu)缺點，如圖所示：編碼制定的過程也是需要進行大量的討論和確認，才能形成一個好的編碼方案。在現(xiàn)實中，正是因為企業(yè)編碼不統(tǒng)一、造成了后續(xù)采購以及存儲等一系列問題，所以編碼方案一旦確定出來，實施人員就需要與客戶的高層進行確認。如圖所示的編碼結(jié)構(gòu)示例，它是一個組合碼。（4）屬性標準梳理屬性標準梳理我們可以去參考一些標準，比如外部的國際標準、國家標準；業(yè)務(wù)層面上的行業(yè)標準和制度要求等；另外在進行屬性梳理時，我們HIA可以從源系統(tǒng)中參考數(shù)據(jù)字典，查看一些代碼表；最后也可以借鑒一些好的實踐經(jīng)驗與成果來進行屬性標準的梳理。在進行主數(shù)據(jù)屬性標準梳理時，我們可以從業(yè)務(wù)標準、技術(shù)標準、管理標準三個層面來進行。比如業(yè)務(wù)層面，需要理解屬性到底屬于哪一個分類，屬性名稱是什么，有怎樣的業(yè)務(wù)規(guī)則；技術(shù)層面，可以定義屬性，以及類型長度精度等；管理層面，可以梳理誰來創(chuàng)建，誰來使用，誰在維度等，提前將其確定出來，方便后續(xù)制定這樣的制度，如下圖所示是一個屬性標準的示例。（5）管控流程設(shè)計數(shù)據(jù)之所以會存在很多問題，以及需要推翻重建，很多時候是在業(yè)務(wù)系統(tǒng)建設(shè)過中沒有進行流程審核以及校驗。因此我們在進行主數(shù)據(jù)管理過程中，需要重視管控流程設(shè)計。比如，當定義了兩種模型，在模型的新增、變更和失效時，是否有流程做一些控制；在進行數(shù)據(jù)層面的管理工作時，是否有流程能能監(jiān)測數(shù)據(jù)的變更、凍結(jié)或者失效。另外，我們可能還會涉及一些質(zhì)檢和審批，在審批沒有問題，才能去做分發(fā)。（6）歷史數(shù)據(jù)整合、清洗主數(shù)據(jù)清理策略主要分成6個步驟，分別是數(shù)據(jù)接入、初步標記、分類清理、先分后合、整理清洗、檢查反饋。①第一步：數(shù)據(jù)接入，通過接口或者ETL工具去接入歷史的主數(shù)據(jù)；②第二步：看數(shù)據(jù)存在什么問題，是否有一些屬性沒有填寫，或者說分類不對需要做初步的標記；③第三步：如果存在問題，就需要將分類標記的數(shù)據(jù)分配到不同的業(yè)務(wù)部門進行清洗，由于業(yè)務(wù)人員來進行整理；④第四步：先分后合，對分類清理完的數(shù)據(jù)進行合并匯總檢查；⑤第五步：整體清理，按照整體業(yè)務(wù)邏輯進行清理，如果數(shù)據(jù)量比較大，可以借助工具進行批量處理，并將處理完成的數(shù)據(jù)做好整合；⑥第六步：檢查反饋。（7）數(shù)據(jù)切換策略這里提供三種切換的策略，第一種是完全采用主數(shù)據(jù)管理平臺；第二種是通過映射實現(xiàn)與舊數(shù)據(jù)的對接；第三種是通過映射和逐步數(shù)據(jù)切換的方式開展，逐步實現(xiàn)所有系統(tǒng)都使用統(tǒng)一的主數(shù)據(jù)，具體的優(yōu)缺點和適用場景如圖所示。（8）數(shù)據(jù)生產(chǎn)與維護策略在數(shù)據(jù)生產(chǎn)和維護方面有兩種策略，一種是集中式，即所有的數(shù)據(jù)新增、變更、刪除以及管理全過程都在主數(shù)據(jù)管