一文解析數(shù)據治理體系方法VIP

一文解析數(shù)據治理體系方法數(shù)據治理是指組織對數(shù)據進行全面管理、維護和優(yōu)化的過程。數(shù)據治理目的在于確保數(shù)據的正確、一致、可靠，并推進數(shù)據共享、數(shù)據價值挖掘和數(shù)字化轉型。通過數(shù)據治理，企業(yè)可以更好地利用數(shù)據，提升業(yè)務效率和競爭力。本文探討數(shù)據治理體系方法以及如何結合數(shù)據管理能力成熟度模型評估企業(yè)數(shù)據管理能力。01為什么要做數(shù)據治理？數(shù)據作為推動經濟社會發(fā)展及數(shù)字化轉型的新動能已成為社會共識，數(shù)據治理作為基礎性工作，受到越來越多企事業(yè)單位的重視。1、隨著企業(yè)信息化和數(shù)字化的發(fā)展，企業(yè)數(shù)據“多”管理問題引發(fā)的結果：2、隨著信息化發(fā)展，企業(yè)在不同業(yè)務領域建立了眾多的異構系統(tǒng)，由于廠商眾多，導致平臺和技術各異。3、系統(tǒng)維護都是各自為政，基礎數(shù)據維護工作在各自屬地業(yè)務系統(tǒng)進行維護，來源不清晰、缺乏協(xié)調。4、各業(yè)務系統(tǒng)對數(shù)據的維護模型不同，導致各自的數(shù)據標準規(guī)范不統(tǒng)一，如：客商、物料等的分類標準。5、同一數(shù)據在不同的系統(tǒng)中編碼不一樣，尤其物料，甚至同一業(yè)務板塊，不同單位的物料編碼都不一致。6、由于平臺和開發(fā)語言不同，實現(xiàn)數(shù)據互通，導致系統(tǒng)之間的接口繁多以及多種接口標準，系統(tǒng)集成和接口管理成本上升。數(shù)據確權、數(shù)據質量、數(shù)據安全、數(shù)據流通已成為影響數(shù)據要素價值潛力發(fā)揮的重要因素，如何做好大數(shù)據治理工作成為數(shù)字化轉型的新挑戰(zhàn)。數(shù)據治理是一個需要長期投入的工作，涉及業(yè)務和技術等方方面面，影響范圍及復雜度高，治理效率尤為重要。02企業(yè)數(shù)據治理的現(xiàn)狀及痛點企業(yè)已經認識到數(shù)據價值的重要性，紛紛通過數(shù)據治理活動來挖掘數(shù)據的價值，提升數(shù)據管理水平。但還是存在很多問題，主要有6個方面：1、對數(shù)據治理概念的理解還是比較模糊。往往只關注了數(shù)據治理中的某些環(huán)節(jié)，沒有形成數(shù)據治理閉環(huán)；2、數(shù)據治理工作沒有總裁辦、風險管理等部門參與。導致數(shù)據治理面臨溝通協(xié)調困難，治理效率低下和效果不明顯。3、沒有建立統(tǒng)一的數(shù)據質量體系、方法和規(guī)范4、在數(shù)據治理落地實施、績效評價等方面還沒有專門的標準來指導5、缺乏可行有效的監(jiān)督、考核、評價機制，數(shù)據治理工作無法常態(tài)化6、缺少配套的數(shù)據標準工具，支持數(shù)據標準落地03數(shù)據治理方法論體系框架數(shù)據治理體系框架由四大管理層次和十一大管理領域組成，四大管理層次包括數(shù)據治理遠景、數(shù)據治理驅動力、數(shù)據治理核心管控和數(shù)據治理基礎支撐。1、數(shù)據治理遠景：主要就是數(shù)據戰(zhàn)略與規(guī)劃，數(shù)據戰(zhàn)略是跟企業(yè)戰(zhàn)略、業(yè)務戰(zhàn)略密切相關的。戰(zhàn)略的維度包括數(shù)據價值、數(shù)據文化、與業(yè)務價值一致性、總體擁有成本、數(shù)據在業(yè)務戰(zhàn)略中的能動作用等。2、數(shù)據驅動業(yè)務運營通過數(shù)據資產化、資產價值化、價值場景化、場景智能化來實現(xiàn)數(shù)據驅動業(yè)務運營。3、數(shù)據組織和人才明確企業(yè)內部各級組織應負有的數(shù)據治理責任，為數(shù)據治理體系的正常運轉，提供了人員和組織的保證，將數(shù)據治理上升到企業(yè)組織層面。4、數(shù)據管理制度與流程包括制度框架、制度層級、制度管理流程、制度編制情況及范圍等。管理制度又可以細分管理規(guī)范、管理辦法和工作指引三個層面。主要有數(shù)據質量管理、數(shù)據生存周期管理、主數(shù)據管理、數(shù)據安全管理等。5、數(shù)據質量管理主要提供對不符合規(guī)則的數(shù)據進行探查、發(fā)現(xiàn)、修復、報告的閉環(huán)管理，實現(xiàn)組織數(shù)據質量管理體系線上全流程閉環(huán)，持續(xù)不斷提升數(shù)據質量，滿足業(yè)務需求，輔助業(yè)務決策。6、數(shù)據生存周期管理在數(shù)據從產生、應用、歸檔到銷毀的整個生命周期全過程進行有效的自動化管理，針對不同生命周期階段的數(shù)據建立多層次的數(shù)據自動存儲體系，降低系統(tǒng)運營成本，又滿足最終用戶的數(shù)據訪問和應用的需求。7、主數(shù)據管理主數(shù)據用來定義、管理和共享組織的主數(shù)據信息，保證主數(shù)據在各個信息系統(tǒng)間的準確性、一致性、完整性。8、數(shù)據安全管理數(shù)據安全管理是數(shù)據治理體系的核心部分，包括數(shù)據安全規(guī)范管理、數(shù)據安全運行管理、數(shù)據安全技術能力、數(shù)據安全審計等方面。主要有數(shù)據架構與標準、元數(shù)據與數(shù)據資產、技術架構與數(shù)據交換。9、數(shù)據架構與標準數(shù)據架構與數(shù)據標準的業(yè)務、技術規(guī)范，以及理解數(shù)據、處理數(shù)據的相關細節(jié)信息，是建立數(shù)據治理體系所需的基礎性保障，也是支持“核心管控層”相關領域落地的基礎10、元數(shù)據與數(shù)據資產：元數(shù)據是“關于數(shù)據的數(shù)據”。元數(shù)據標注、描述或者刻畫其他數(shù)據，以便檢索、解讀或使用信息更容易。對數(shù)據上下文背景、歷史和起源進行完整地記錄并管理。通過分層架構表達對數(shù)據的分類和定義，厘清數(shù)據資產。11、技術架構與數(shù)據交換數(shù)據共享交換面向數(shù)據交換全生命周期管理，提供多類型的資源共享通道，打通各交換節(jié)點之間的數(shù)據壁壘，保證各交換節(jié)點業(yè)務系統(tǒng)之間互聯(lián)互通，實現(xiàn)跨部門、跨層級、跨地域的信息資源交換共享。04數(shù)據治理咨詢方案、步驟數(shù)據治理體系規(guī)劃總體框架，從大的方面可以分為三個階段：第一階段理規(guī)劃，也就是咨詢階段；第二階段搭平臺，也就是交付落地階段；第三階段建閉環(huán)，也就是數(shù)據驅動運營階段。對數(shù)據治理咨詢來講，我們的目標和策略是基于消費者驅動，重塑企業(yè)價值鏈，打造場景與業(yè)態(tài)（產品線條）、線上與線下、企業(yè)與伙伴、企業(yè)與員工、員工與用戶、用戶與用戶的關系，重新定義和規(guī)劃觸點互動策略、業(yè)務策略和數(shù)據策略，在此基礎上提供完整的數(shù)據治理解決方案，包括組織體系建設、數(shù)據管理制度、數(shù)據資產盤點等。第一階段咨詢的重點在于對數(shù)據資產的定義、規(guī)劃、梳理。第二階段是對第一階段成果的落地實施。首先是對現(xiàn)有湖倉一體化平臺進行延展，全域數(shù)據入湖倉數(shù)據一體化平臺，然后搭建數(shù)據治理平臺支撐數(shù)據治理管理工作，切實建立起企業(yè)數(shù)據管理能力。第三階段是在建立體系和平臺后的基礎上做運營閉環(huán)，通過數(shù)據驅動賦能業(yè)務創(chuàng)新、數(shù)據價值變現(xiàn)，為企業(yè)帶來持續(xù)價值增長。數(shù)據治理體系工作預計包含以下三個階段：數(shù)據治理體系現(xiàn)狀分析與評估、數(shù)據治理體系設計與規(guī)劃、數(shù)據治理體系建設，每個階段又分不同的任務。步驟一：現(xiàn)狀分析與評估：通過訪談、調研問卷、收集客戶資料等方式獲取在數(shù)據治理領域的資料，通過對收集資料的整理、歸納，分析數(shù)據治理的現(xiàn)狀、問題等，結合成熟度評估模型評估對現(xiàn)狀進行評估，根據評估的結果和同業(yè)領先銀行對標找出差距，最后從專業(yè)角度提出改進建議。步驟二：數(shù)據治理體系設計與規(guī)劃：根據現(xiàn)狀評估的結果，進行數(shù)據治理體系設計，主要包括數(shù)據治理體系功能框架、數(shù)據治理組織和制度框架、數(shù)據治理能力提升路線圖、信息中心職能規(guī)劃及提升路線圖。步驟三：數(shù)據治理體系建設：根據數(shù)據治理體系設計與規(guī)劃的成果，制定數(shù)據管理管理規(guī)范、管理辦法、工作指引。根據數(shù)據治理體系設計與規(guī)劃的成果，制定數(shù)據管理政策，制定數(shù)據管理工作的考核方案、考核指標、考核制度。建立數(shù)據標準全生命周期管理的流程和制度，編制基礎類數(shù)據、公共代碼基礎數(shù)據標準、核心指標數(shù)據標準并給出差異分析與落地建立，設計數(shù)據標準管理系統(tǒng)的業(yè)務需求。建立數(shù)據質量管理管理模式、管理流程和制度，同時建立數(shù)據質量認責機制。定義本項目數(shù)據質量提升數(shù)據范圍并制定度量規(guī)則，依據度量規(guī)則在相關系統(tǒng)進行數(shù)據質量探查和分析，針對分析結果進行制定數(shù)據質量整改建議。1、確定評估方案，本階段的主要任務是理解企業(yè)前期資料，設計評估維度與關鍵指標。主要工作內容有收集、理解前期獲得的企業(yè)架構、戰(zhàn)略規(guī)劃、業(yè)務介紹、湖倉一體化平臺建設等資料，基于理解的內容，設計與本次評估相關的評估維度與關鍵指標。產出物為現(xiàn)狀評估模板與調研訪談問題。2、收集與理解，本階段的主要任務是收集行業(yè)參考實踐的內容及企業(yè)內部參考資料，包括業(yè)務、技術和數(shù)據資料三方面。另外，以問卷調查和現(xiàn)場訪談的形式，對企業(yè)的各級人員進行調研，包括戰(zhàn)略領導層、部門管理層、部門骨干人員等。產出物為問卷調查結果和訪談記錄。3、執(zhí)行評估，本階段的主要任務是將企業(yè)現(xiàn)狀與未來期望和行業(yè)參考實踐進行比較，找出差距，識別改進機會點。基于洞察力的業(yè)務判斷，提出建議和行動計劃。本階段的產出物為企業(yè)現(xiàn)狀評估結果與改進方向。參考文章《用“數(shù)據金字塔”解析“數(shù)據管理能力成熟度模型（DCMM）”》中數(shù)據管理能力成熟度等級模型，對企業(yè)數(shù)據管理能力成熟度進行評估。例如企業(yè)企業(yè)數(shù)據管理能力成熟度評估結果如下：數(shù)據治理遠景-數(shù)據治理戰(zhàn)略與規(guī)劃戰(zhàn)略決定了企業(yè)架構，企業(yè)架構是從全局的角度審視與信息化相關的業(yè)務、數(shù)據、技術和應用的相互作用，企業(yè)架構由業(yè)務架構、數(shù)據架構、應用架構和技術架構共同組成。數(shù)據戰(zhàn)略包括數(shù)據價值、數(shù)據文化、與業(yè)務價值一致性、總體擁有成本、數(shù)據在業(yè)務戰(zhàn)略中的能動作用等。組織、制度、角色和流程等配套機制來保障和達成。管控領域指實施數(shù)據治理所采取的技術手段，包括數(shù)據標準、元數(shù)據、數(shù)據質量、數(shù)據生命周期、數(shù)據安全等。要實現(xiàn)這些數(shù)據治理相關領域，需要一套技術體系來支撐。數(shù)據治理驅動力-數(shù)據驅動業(yè)務運營數(shù)據驅動業(yè)務運營指的是在數(shù)據治理的基礎上，通過數(shù)據分析和挖掘來驅動業(yè)務運營的決策和優(yōu)化。通過對數(shù)據的規(guī)范化、清洗和整合，構建質量高、結構化清晰、可信度高的數(shù)據集，提供準確的數(shù)據支持來分析和決策。數(shù)據治理的數(shù)據驅動業(yè)務運營可以幫助企業(yè)發(fā)現(xiàn)和利用業(yè)務數(shù)據中的隱藏價值，優(yōu)化業(yè)務流程和服務，提高業(yè)務效率，提升競爭力。數(shù)據治理驅動力-

數(shù)據治理組織與職責數(shù)據治理組織架構的設置目的在于：建立明確的數(shù)據治理組織架構與人員角色定義，明確某類數(shù)據的責任人，定義不同數(shù)據責任人的職責，對某一特定數(shù)據范圍內的信息的正確性、一致性和及時性負責。從數(shù)據管理的工作特點來分析，既需要各個業(yè)務部門深入參與數(shù)據治理工作，承擔數(shù)據標準制定、數(shù)據質量整改、數(shù)據應用等職責，同時也需要有一個集中的組織，總體協(xié)調、指導、監(jiān)督數(shù)據治理工作的開展。因此，建議構建決策層、管理層、執(zhí)行層的三層數(shù)據管理組織架構，具體如下：企業(yè)數(shù)據組織和人才架構包括：數(shù)據治理決策委員會、數(shù)據治理辦公室、數(shù)據運營。數(shù)據治理辦公室在決策委員會的指導下，支持、確認數(shù)據治理相關的戰(zhàn)略規(guī)劃與政策；與業(yè)務部門、技術部門溝通確認數(shù)據治理的工作目標。數(shù)據治理決策委員會是公司數(shù)據管控的決策和領導組織，由企業(yè)高層領導CEO/CIO/CFO及業(yè)務負責人掛帥。數(shù)據治理委員會由主管數(shù)字化和大數(shù)據技術的領導，數(shù)據管控的相關業(yè)務部門或業(yè)務條線派駐的領導組成。數(shù)據治理辦公室，指定數(shù)據治理經理人員，下設各數(shù)據治理領域相關的數(shù)據模型主管及建模師、數(shù)據架構主管及數(shù)據架構管理員、數(shù)據質量主管及數(shù)據質量管理員、數(shù)據安全主管及數(shù)據安全管理員、數(shù)據標準主管及數(shù)據標準管理員、元數(shù)據主管及元數(shù)據管理員。負責頒布數(shù)據治理的方案、流程、報告執(zhí)行結果，管理跨業(yè)務組織的數(shù)據內容。數(shù)據運營組織，由各業(yè)務部門和數(shù)據管理部門組成，其中，每個業(yè)務部門需指定業(yè)務線負責人，其他業(yè)務部門人員可從數(shù)據治理的角度分為數(shù)據責任人、數(shù)據使用人員、業(yè)務定義人員及數(shù)據錄入人員。數(shù)據治理組織體系設計的目的不僅僅停留在組織架構的層面，更重要的是為了指導各領域實際管理流程環(huán)節(jié)的落地開展。在項目中，將在對每個領域的職責劃分的基礎之上，借鑒“RACI”方法，把具體職責分配到相應的角色上，從而幫助形成各個領域的管理流程環(huán)節(jié)?！癛ACI”是一個相對直觀的模型，用以明確組織變革過程中的各個角色及其相關責任，可以確保各項職責的角色分配科學、明晰、精確。RACI圖表計劃可以幫助我們有組織地、按統(tǒng)一的格式來明確一個工作團隊中個人的角色及職責；根據RACI圖表中的分工，各小組或個人的角色及職責得以明確溝通；理解不一致得以避免，團隊協(xié)作得以加強；避免了無畏的工作；“被咨詢人”及“被通知人”起到了跨職能部門的溝通作用。數(shù)據治理驅動力-

數(shù)據治理制度與流程管理政策與制度的目的在于：通過政策和規(guī)范的方式發(fā)布數(shù)據治理各個相關部門的責任，明確數(shù)據治理各領域的政策、規(guī)范和實施辦法，確保數(shù)據治理的管理原則和執(zhí)行是一致地貫穿全公司，改變或規(guī)范各個部門數(shù)據治理人員的行為。根據數(shù)據管理的層次和授權決策次序，數(shù)據管理制度框架分為政策、制度、細則三個梯次，該框架標準化地規(guī)定數(shù)據管理的具體領域、各個數(shù)據管理領域內的目標、遵循的行動原則、完成的明確任務、實行的工作方式、采取的一般步驟和具體措施。數(shù)據治理核心管控

-數(shù)據質量數(shù)據質量管理主要提供對不符合規(guī)則的數(shù)據進行探查、發(fā)現(xiàn)、修復、報告的閉環(huán)管理，實現(xiàn)企業(yè)數(shù)據質量管理體系線上全流程閉環(huán)，持續(xù)不斷提升數(shù)據質量，滿足業(yè)務需求，輔助業(yè)務決策。數(shù)據質量管理分為四個步驟，如下圖所示：

1、定義：確定數(shù)據質量需求，為項目確定與業(yè)務需求相一致的成功衡量指標，即確定數(shù)據質量分析維度、規(guī)則、評估指標，為數(shù)據質量分析提供標準和依據。如質量稽核規(guī)則包含維度大小類、業(yè)務提出部門、源系統(tǒng)、數(shù)據庫表、字段、取值范圍及腳本邏輯等。

2、稽核：根據定義的分析維度、規(guī)則等，對選定的數(shù)據進行檢查。在數(shù)據質量檢查中，通常需要用統(tǒng)一的數(shù)據質量檢查規(guī)則模板，從而保證數(shù)據質量檢查過程中標準的一致性。通常會編寫數(shù)據質量稽核腳本，即根據數(shù)據質量稽核規(guī)則“翻譯”為數(shù)據治理平臺上數(shù)據質量稽核工具使用的語句。如使用SQL對關系數(shù)據庫中的數(shù)據進行測量，執(zhí)行測量腳本，獲得每個測量規(guī)則的質量指標值，以及問題數(shù)據樣本文件。3、分析：在做完數(shù)據質量稽核工作后，然后就是對根據檢查的結果進行評估分析，發(fā)現(xiàn)形成數(shù)據質量問題的原因，作為定義數(shù)據質量改進點的依據?；穗A段獲得的異常數(shù)據是主要的分析對象，從中挑選具有代表性的異常數(shù)據記錄，向業(yè)務部門和IT技術人員通過訪談或調查方式分析造成數(shù)據的原因。并將問題原因歸類，作為識別和定義數(shù)據質量改進點的信息依據。依據經驗，建議從技術問題域、流程問題域、信息問題域、管理問題域四大方面進行分析造成數(shù)據質量的原因，每個類別下又可細分原因類型，每個細分類型下在項目執(zhí)行過程中將通過訪談等方式作第三級的進一步細分，生成并提交數(shù)據質量評估報告。4、彌補：根據數(shù)據質量原因分析結果，規(guī)劃數(shù)據質量彌補方案，提升數(shù)據質量。基于前述階段稽核發(fā)現(xiàn)的數(shù)據質量問題，以及數(shù)據質量問題產生原因的分析，在數(shù)據彌補方案階段將制定有針對性的數(shù)據質量改進方案與任務，并制定數(shù)據質量改進實施方案。也有些企業(yè)，在實施數(shù)據中臺和和數(shù)據應用時，此前沒有做數(shù)據治理相關工作。這樣會導致有些數(shù)據在目前的業(yè)務系統(tǒng)中沒有，同時短期內發(fā)現(xiàn)這些數(shù)據找不到業(yè)務系統(tǒng)承載，然后直接在數(shù)據中臺開發(fā)應用來滿足缺失數(shù)據錄入或導入，這些其實不太合規(guī)。數(shù)據中臺本身不承載業(yè)務，所以實施數(shù)據中臺前一定要數(shù)據治理咨詢或數(shù)據資產盤點和梳理工作。數(shù)據治理核心管控

-數(shù)據生存周期數(shù)據生存周期管理，可以協(xié)助數(shù)據管理組織和人員，在數(shù)據從產生、應用、歸檔到銷毀的整個生命周期全過程進行有效的自動化管理。針對不同生命周期階段的數(shù)據建立多層次的數(shù)據自動存儲體系，既有效管控系統(tǒng)整體在線數(shù)據規(guī)模，降低系統(tǒng)運營成本，又滿足最終用戶的數(shù)據訪問和應用的需求。數(shù)據治理核心管控

-數(shù)據安全數(shù)據安全合規(guī)管理一方面根據現(xiàn)有法律法規(guī)、國際標準、行業(yè)標準以及企業(yè)內信息安全策略，制定安全、可靠、可執(zhí)行的數(shù)據安全相關的標準、規(guī)范和操作流程；另一方面要企業(yè)的數(shù)據安全風險分析范圍，通過安全風險分析，制定切實可行的風險防護措施，對現(xiàn)有數(shù)據安全控制措施的有效性進行評估，提升數(shù)據安全等級，確保企業(yè)數(shù)據得到有效提升。數(shù)據治理團隊和數(shù)據安全技術團隊應分工負責，數(shù)據治理團隊在梳理數(shù)據資源、明確數(shù)據權責的基礎上，制定信息安全策略；數(shù)據安全技術團隊則應重點做好數(shù)據安全工具的支撐工作。雙方在充分理解相互的工作基礎上，充分合作，制定總體數(shù)據安全策略，做好數(shù)據安全管理工作。數(shù)據安全等級的設置，要基于數(shù)據治理的細化數(shù)據梳理成果。重點在于充分理解信息安全政策和業(yè)務需求，將宏觀分類分級進一步細化為：系統(tǒng)級-數(shù)據實體級-數(shù)據元素級-數(shù)據記錄級，基于此進一步制定各類數(shù)據的訪問策略，更新數(shù)據安全管理辦法。借鑒數(shù)據安全模型和數(shù)據權責管理方法，完成數(shù)據的產生者、數(shù)據的管理者、數(shù)據的使用者的定義。數(shù)據治理基礎支撐-數(shù)據架構與標準根據數(shù)據標準體系規(guī)劃的編制原則、準入原則以及所有者定義原則，制定符合實際、立足未來零售業(yè)架構發(fā)展的數(shù)據體系框架。數(shù)據標準設計的原則保證標準命名、編碼、業(yè)務解釋等內容的唯一性維持數(shù)據標準的權威性，加強它的穩(wěn)定性。數(shù)據標準的調研、設計和執(zhí)行要具備前瞻性，保證它的可持續(xù)性發(fā)展業(yè)務定義、業(yè)務名稱，業(yè)務口徑等要具有準確性。尊重實際情況和將來的發(fā)展，使標準具有可執(zhí)行性。充分考慮業(yè)務風險和技術實施風險，保證標準的順利執(zhí)行。數(shù)據標準內容數(shù)據標準的定義數(shù)據標準的分類數(shù)據標準的編碼規(guī)范數(shù)據標準的命名規(guī)范數(shù)據標準的屬性規(guī)范數(shù)據標準的應用建議數(shù)據標準管理組織分為決策層、管理層和執(zhí)行層，每一層中均有不同角色的人參與，相應的每種角色的職責也有所不同。建議數(shù)據標準管理實行“統(tǒng)一領導、集中管理、分工協(xié)調”的管理模式。建立由行長任組長的數(shù)據管理委員會承擔數(shù)據標準管理的決策和領導責任。建立數(shù)據標準管理專職機構，負責全公司數(shù)據標準的統(tǒng)一管理，承擔涉及全公司性數(shù)據標準的制定、維護和應用監(jiān)督等工作；建立數(shù)據標準管理團隊，承擔一般專業(yè)部門數(shù)據標準管理與應用推動工作。數(shù)據治理實施路徑規(guī)劃數(shù)據治理實施路線圖有一套固