數(shù)據(jù)治理框架技術(shù)方案(圖文)

數(shù)據(jù)治理框架技術(shù)方案(圖文)2020-01-0712:24|人氣：755分享至：\o"分享到微信"\o"分享到新浪微博"收藏一、什么是數(shù)據(jù)治理？維基百科：數(shù)據(jù)治理對于確保數(shù)據(jù)的準(zhǔn)確、適度分享和保護(hù)是至關(guān)重要的。有效的數(shù)據(jù)治理計(jì)劃會通過改進(jìn)決策、縮減成本、降低風(fēng)險(xiǎn)和提高安全合規(guī)等方式，將價(jià)值回饋于業(yè)務(wù)，并最終體現(xiàn)為增加收入和利潤。筆者認(rèn)為：所有為提高數(shù)據(jù)質(zhì)量而展開的業(yè)務(wù)、技術(shù)和管理活動都屬于數(shù)據(jù)治理范疇。數(shù)據(jù)治理的目的就是通過有效的數(shù)據(jù)資源控制手段，進(jìn)行數(shù)據(jù)的控制，以提升數(shù)據(jù)質(zhì)量進(jìn)而提升數(shù)據(jù)變現(xiàn)的能力。二、為什么需要數(shù)據(jù)治理？在我國，各行業(yè)的信息化發(fā)展和建設(shè)水平并不均衡，甚至有的行業(yè)是剛剛起步。但是，不論是金融行業(yè)、通訊行業(yè)、地產(chǎn)行業(yè)、傳統(tǒng)制造業(yè)以及農(nóng)業(yè)，其信息化的發(fā)展基本都遵循了“諾蘭模型”。筆者認(rèn)為企業(yè)信息化大致經(jīng)歷了初期的煙囪式系統(tǒng)建設(shè)、中期的集成式系統(tǒng)建設(shè)和后期的數(shù)據(jù)管理式系統(tǒng)建設(shè)三個(gè)大的階段，可以說是一個(gè)先建設(shè)后治理的過程。1、數(shù)據(jù)質(zhì)量層次不齊當(dāng)今時(shí)代，“數(shù)據(jù)資產(chǎn)化”的概念已經(jīng)被大多數(shù)人理解和接受。不論是企業(yè)、政府還是其他組織機(jī)構(gòu)，對于的數(shù)據(jù)資產(chǎn)的管理越來越重視。然而，數(shù)據(jù)并不等于資產(chǎn)，也就是說不是所有數(shù)據(jù)都是數(shù)據(jù)資產(chǎn)，數(shù)據(jù)中也有垃圾數(shù)據(jù)。我們需要治理的是能夠?yàn)槠髽I(yè)創(chuàng)造價(jià)值的數(shù)據(jù)資產(chǎn)，而不是全部數(shù)據(jù)。2、數(shù)據(jù)交換和共享困難企業(yè)信息化建設(shè)初期缺乏整體的信息化規(guī)劃，系統(tǒng)建設(shè)大多都是以業(yè)務(wù)部門驅(qū)動的單體架構(gòu)系統(tǒng)或套裝軟件，數(shù)據(jù)分散在這些架構(gòu)不統(tǒng)一、開發(fā)語言不一致、數(shù)據(jù)庫多樣化的系統(tǒng)中，甚至還有大量的數(shù)據(jù)存放在員工的個(gè)人電腦中，導(dǎo)致在企業(yè)內(nèi)部形成了一個(gè)個(gè)的“信息孤島”。這些“孤島”之間缺乏有效的連接通道，數(shù)據(jù)不能互聯(lián)互通，不能按照用戶的指令進(jìn)行有意義的交流，數(shù)據(jù)的價(jià)值不能充分發(fā)揮。只有聯(lián)通數(shù)據(jù)，消除這些“信息孤島”，才能實(shí)現(xiàn)數(shù)據(jù)驅(qū)動業(yè)務(wù)、數(shù)據(jù)驅(qū)動管理，才能真正釋放數(shù)據(jù)價(jià)值。3、缺乏有效的管理機(jī)制目前，許多企業(yè)都認(rèn)識到了數(shù)據(jù)的重要性，并嘗試通過生產(chǎn)系統(tǒng)的業(yè)務(wù)流來控制數(shù)據(jù)流，但由于缺乏有效的管理機(jī)制和某些人為的因素，在數(shù)據(jù)流轉(zhuǎn)過程中，存在數(shù)據(jù)維護(hù)錯(cuò)誤、數(shù)據(jù)重復(fù)、數(shù)據(jù)不一致、數(shù)據(jù)不完整的情況，導(dǎo)致了產(chǎn)生了大量的垃圾數(shù)據(jù)。數(shù)據(jù)產(chǎn)權(quán)不明確，管理職責(zé)混亂，管理和使用流程不清晰，是造成數(shù)據(jù)質(zhì)量問題的重要因素。4、存在數(shù)據(jù)安全隱患2018年3月份的Facebook5000萬用戶信息被泄露和濫用的事件，受該事件影響，F(xiàn)acebook股價(jià)當(dāng)日大跌7%，市值縮水360多億美元，而盜用數(shù)據(jù)的劍橋分析這家公司也于同年5月停止運(yùn)營，并申請破產(chǎn)。這種數(shù)據(jù)安全事件，在我國發(fā)生頻率更多，我還清楚的記得：2011年，黑客在網(wǎng)上公開了CSDN的用戶數(shù)據(jù)庫，高達(dá)600多萬個(gè)明文的注冊郵箱賬號和密碼遭到曝光和外泄；2016年，順豐員工應(yīng)盜取大量客戶信息被送上法庭；2017年，京東員工盜取用戶個(gè)人信息50億條，并通過各種方式在網(wǎng)絡(luò)黑市販賣。近年來，隨著大數(shù)據(jù)的發(fā)展，諸如此類的數(shù)據(jù)安全事件多不勝數(shù)。數(shù)據(jù)資產(chǎn)管理上，正在由傳統(tǒng)分散式的人工管理向計(jì)算機(jī)集中化管理方向發(fā)展，數(shù)據(jù)的安全問題愈來愈受到人們的關(guān)注。三、DMBOK的數(shù)據(jù)治理框架DMBOK是由數(shù)據(jù)管理協(xié)會（DAMA）編撰的關(guān)于數(shù)據(jù)管理的專業(yè)書籍，一本DAMA數(shù)據(jù)管理辭典。對于企業(yè)數(shù)據(jù)治理體系的建設(shè)有一定的指導(dǎo)性。注：DAMA是數(shù)據(jù)管理協(xié)會的簡稱，是一個(gè)全球性數(shù)據(jù)管理和業(yè)務(wù)專業(yè)志愿人士組成的非營利協(xié)會，致力于數(shù)據(jù)管理的研究和實(shí)踐。DMBOK將數(shù)據(jù)管理分為以下10個(gè)職能域：數(shù)據(jù)控制：在數(shù)據(jù)管理和使用層面之上進(jìn)行規(guī)劃、監(jiān)督和控制。數(shù)據(jù)架構(gòu)管理：定義數(shù)據(jù)資產(chǎn)管理藍(lán)圖。數(shù)據(jù)開發(fā)：數(shù)據(jù)的分析、設(shè)計(jì)、實(shí)施、測試、部署、維護(hù)等工作。數(shù)據(jù)操作管理：提供從數(shù)據(jù)獲取到清除的技術(shù)支持。數(shù)據(jù)安全管理：確保隱私、保密性和適當(dāng)?shù)脑L問權(quán)限等。數(shù)據(jù)質(zhì)量管理：定義、監(jiān)測和提高數(shù)據(jù)質(zhì)量。參考數(shù)據(jù)和主數(shù)據(jù)管理：管理數(shù)據(jù)的黃金版本和副本。數(shù)據(jù)倉庫和商務(wù)智能管理：實(shí)現(xiàn)報(bào)告和分析。文件和內(nèi)容管理：管理數(shù)據(jù)庫以外的數(shù)據(jù)元數(shù)據(jù)管理：元數(shù)據(jù)的整合、控制以及提供元數(shù)據(jù)。四、數(shù)據(jù)治理框架的理解和解讀DMBOK對企業(yè)級數(shù)據(jù)治理給出了框架性建議，但是任何指導(dǎo)性的框架文件都不是萬能的。不同的行業(yè)、不同性質(zhì)的企業(yè)、不同的信息化程度、不同的企業(yè)文化，其數(shù)據(jù)治理方案必須因地制宜，量身定制。我們常說：沒有最好的解決方案只有更合適的解決方案。企業(yè)在實(shí)施數(shù)據(jù)治理的時(shí)候，應(yīng)做好充分的分析和評估，切勿盲目跟風(fēng)，避免出現(xiàn)數(shù)據(jù)治理收效甚微，還浪費(fèi)了投資的窘境。筆者認(rèn)為企業(yè)數(shù)據(jù)治理應(yīng)考慮以下要素：1、數(shù)據(jù)治理的對象大家都在談數(shù)據(jù)治理，但是到底哪些數(shù)據(jù)需要被治理？我們說數(shù)據(jù)治理不是治理全部數(shù)據(jù)，而是針對企業(yè)數(shù)據(jù)資產(chǎn)的治理。那么，問題來了，到底什么是數(shù)據(jù)資產(chǎn)？又如何識別數(shù)據(jù)資產(chǎn)？維基百科定義：數(shù)據(jù)資產(chǎn)屬于普通個(gè)人和企業(yè)的數(shù)字財(cái)產(chǎn)，數(shù)據(jù)資產(chǎn)是無形資產(chǎn)的延伸，不具有實(shí)物形態(tài)。其本質(zhì)是數(shù)據(jù)作為一種經(jīng)濟(jì)資源參與企業(yè)的經(jīng)濟(jì)活動，減少和消除了企業(yè)經(jīng)濟(jì)活動中的風(fēng)險(xiǎn)，為企業(yè)的管理控制和科學(xué)決策提供合理依據(jù)，并預(yù)期給企業(yè)帶來經(jīng)濟(jì)利益。筆者認(rèn)為，數(shù)據(jù)資產(chǎn)雖不具備實(shí)物形態(tài)，但是它必定是實(shí)物在網(wǎng)絡(luò)世界映射的一種虛擬形態(tài)。對于企業(yè)而言，人、設(shè)備、產(chǎn)品、物料、軟件系統(tǒng)、數(shù)據(jù)庫、以及任何涉及到使用文件作為載體的各類數(shù)據(jù)，都屬于企業(yè)的數(shù)據(jù)資產(chǎn)。我們雖然定義了數(shù)據(jù)資產(chǎn)，但是不同行業(yè)的數(shù)據(jù)治理側(cè)重點(diǎn)也不同。數(shù)據(jù)治理要理解行業(yè)需求、企業(yè)訴求，在不同行業(yè)、不同企業(yè)應(yīng)具有不同的差異化方案。企業(yè)在實(shí)施數(shù)據(jù)治理的時(shí)候，首先要進(jìn)行數(shù)據(jù)資產(chǎn)的識別和定義，明確數(shù)據(jù)治理的對象和范圍，做好數(shù)據(jù)治理的頂層設(shè)計(jì)！2、數(shù)據(jù)治理的時(shí)機(jī)這些年由于工作原因走訪了一些企業(yè)，其經(jīng)濟(jì)情況不同、行業(yè)特點(diǎn)不同、信息化程度不同、數(shù)據(jù)治理情況也不盡相同。第一類企業(yè)：經(jīng)濟(jì)實(shí)力雄厚，信息化起步較早，信息化程度比較高，如：XX銀行、國家電網(wǎng)，他們已形成了系統(tǒng)性的數(shù)據(jù)治理體系。第二類企業(yè)：有一定的經(jīng)濟(jì)實(shí)力、信息化程度相對較好，但是早期的信息化盲目建議，買了一堆的套裝軟件，建了一堆的系統(tǒng)，雖然系統(tǒng)或多或少都有使用，但效果不佳，談起數(shù)據(jù)治理，客戶自己都覺得頭痛：企業(yè)到底都有哪些數(shù)據(jù)？這些數(shù)據(jù)都是分布在哪里？數(shù)據(jù)治理該如何入手？第三類企業(yè)：經(jīng)濟(jì)實(shí)力相對薄弱，也有信息化剛剛起步的企業(yè)，這些企業(yè)多數(shù)的業(yè)務(wù)還是靠紙質(zhì)或線下模式，部分企業(yè)使用了財(cái)務(wù)軟件或ERP系統(tǒng)，數(shù)據(jù)存放個(gè)人電腦或生產(chǎn)系統(tǒng)中，基本沒有數(shù)據(jù)治理。我國的一些中小民型營制造企業(yè)多數(shù)處于這個(gè)水平。企業(yè)數(shù)據(jù)治理的時(shí)機(jī)該如何選擇？是先有了數(shù)據(jù)再進(jìn)行治理，還是先建設(shè)好數(shù)據(jù)治理體系再進(jìn)行應(yīng)用系統(tǒng)建設(shè)？針對上述不同類型的企業(yè)，其數(shù)據(jù)治理選擇的時(shí)機(jī)和體系建設(shè)的設(shè)計(jì)絕對不能一概而論。對于第一類企業(yè)，已經(jīng)有了相對完善的數(shù)據(jù)治理體系，更需要的是加強(qiáng)數(shù)據(jù)安全、數(shù)據(jù)應(yīng)用、數(shù)據(jù)創(chuàng)新，穩(wěn)固提升數(shù)據(jù)管理、數(shù)據(jù)應(yīng)用和數(shù)據(jù)變現(xiàn)的能力；對于第二類企業(yè)單體架構(gòu)的系統(tǒng)多，信息孤島嚴(yán)重，一定存在數(shù)據(jù)多源、重復(fù)、不一致等問題，其數(shù)據(jù)治理已是迫在眉睫；對于第三類企業(yè)，在數(shù)字化的浪潮下，信息化雖然薄弱，但如果打好數(shù)據(jù)基礎(chǔ)，未免不是企業(yè)改革創(chuàng)新，實(shí)現(xiàn)“彎道超車”的最佳時(shí)機(jī)。3、誰來實(shí)施、誰來主導(dǎo)企業(yè)常常有這樣一個(gè)誤區(qū)，很多人認(rèn)為數(shù)據(jù)治理就是信息化部門的事情和業(yè)務(wù)部門無關(guān)。前邊我們說過數(shù)據(jù)治理是對企業(yè)數(shù)據(jù)資產(chǎn)的治理，既然是資產(chǎn)，就一定要確權(quán)。企業(yè)數(shù)據(jù)資產(chǎn)的生產(chǎn)、使用應(yīng)該有明確的責(zé)任部門，顯然數(shù)據(jù)資產(chǎn)的生產(chǎn)及歸屬部門應(yīng)該是業(yè)務(wù)部門，信息化部門最多也就是一個(gè)數(shù)據(jù)資產(chǎn)的托管部門而已。筆者也多次強(qiáng)調(diào)企業(yè)的數(shù)據(jù)問題，80%是業(yè)務(wù)和管理的問題，20%是技術(shù)問題。所以，企業(yè)數(shù)據(jù)治理是應(yīng)有高層領(lǐng)導(dǎo)牽頭，業(yè)務(wù)部門負(fù)責(zé)，信息部門執(zhí)行，企業(yè)全員的參與。企業(yè)全員應(yīng)培養(yǎng)起數(shù)據(jù)思維和數(shù)據(jù)意識，當(dāng)然這是一個(gè)長期的過程，也是一件很不容易的事情，需要一點(diǎn)一滴的積累沉淀，并不斷融入企業(yè)文化中。4、數(shù)據(jù)治理的內(nèi)容數(shù)據(jù)治理是長期、復(fù)雜的工程，涉及到組織體系、標(biāo)準(zhǔn)體系、流程體系、技術(shù)體系和評價(jià)體系五方面的工作領(lǐng)域，包含了數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)、元數(shù)據(jù)、數(shù)據(jù)安全等多個(gè)方面內(nèi)容。由于企業(yè)性質(zhì)、業(yè)務(wù)特點(diǎn)、管理模式的不同，有必要建立符合企業(yè)現(xiàn)狀和企業(yè)需求的數(shù)據(jù)治理框架，指導(dǎo)企業(yè)數(shù)據(jù)治理工作的開展。以下是筆者個(gè)人理解的數(shù)據(jù)治理框架內(nèi)容，不足之處希望業(yè)內(nèi)專家指正，期待與您的交流：組織體系：數(shù)據(jù)治理項(xiàng)目的實(shí)施絕非是一個(gè)部門的事情，不能在企業(yè)的單一部門得到解決。需要從整個(gè)組織考慮，建立專業(yè)的數(shù)據(jù)治理組織體系，進(jìn)行數(shù)據(jù)資產(chǎn)的確權(quán)，明確相應(yīng)的治理制度和標(biāo)準(zhǔn)，培養(yǎng)整個(gè)組織的數(shù)據(jù)治理意識。這需要IT與業(yè)務(wù)部門進(jìn)行協(xié)作，而且必須始終如一地進(jìn)行協(xié)作，以改善數(shù)據(jù)的可靠性和質(zhì)量，從而為關(guān)鍵業(yè)務(wù)和管理決策提供支持，并確保遵守法規(guī)。標(biāo)準(zhǔn)體系：數(shù)據(jù)治理的標(biāo)準(zhǔn)體系是多個(gè)層面的，包括：國際標(biāo)準(zhǔn)、國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)、企業(yè)標(biāo)準(zhǔn)等。企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)體系內(nèi)容應(yīng)涵蓋：元數(shù)據(jù)標(biāo)準(zhǔn)、主數(shù)據(jù)標(biāo)準(zhǔn)、參照數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)指標(biāo)標(biāo)準(zhǔn)等。數(shù)據(jù)治理的成效，很大程度上取決與數(shù)據(jù)標(biāo)準(zhǔn)的合理性和統(tǒng)一實(shí)施的程度。企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)體系的建設(shè)應(yīng)既滿足當(dāng)前的實(shí)際需求，又能著眼未來與國家及國際的標(biāo)準(zhǔn)接軌。流程體系：數(shù)據(jù)治理流程體系，為數(shù)據(jù)治理的開展提供有據(jù)可依的管理辦法、規(guī)定數(shù)據(jù)治理的業(yè)務(wù)流程、數(shù)據(jù)治理的認(rèn)責(zé)體系、人員角色和崗位職責(zé)、數(shù)據(jù)治理的支持環(huán)境和頒布數(shù)據(jù)治理的規(guī)章制度、流程等。建立數(shù)據(jù)的生產(chǎn)、流轉(zhuǎn)、使用、歸檔、消除的整個(gè)生命周期管理的過程。企業(yè)應(yīng)圍繞數(shù)據(jù)治理的對象：數(shù)據(jù)質(zhì)量、數(shù)據(jù)標(biāo)準(zhǔn)、主數(shù)據(jù)、元數(shù)據(jù)、數(shù)據(jù)安全等內(nèi)容建立相應(yīng)的制度和流程。評價(jià)體系：建立數(shù)據(jù)評價(jià)與考核體系是企業(yè)實(shí)施和貫徹?cái)?shù)據(jù)治理相關(guān)標(biāo)準(zhǔn)、制度和流程的根本。建立明確的考核制度，實(shí)際操作中可根據(jù)不同企業(yè)的具體情況和企業(yè)未來發(fā)展要求建立數(shù)據(jù)的認(rèn)責(zé)體系，設(shè)置考核指標(biāo)和考核辦法，并與個(gè)人績效掛鉤。考核指標(biāo)包括兩個(gè)方面內(nèi)容，一方面是對數(shù)據(jù)的生產(chǎn)、管理和應(yīng)用等過程的評估和考核指標(biāo)，另一方面是數(shù)據(jù)質(zhì)量的評測指標(biāo)。技術(shù)體系：數(shù)據(jù)治理包括數(shù)據(jù)治理的工具和技術(shù)，總體應(yīng)包括元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)質(zhì)量管理和數(shù)據(jù)安全管理。元數(shù)據(jù)管理：元數(shù)據(jù)管理是對企業(yè)涉及的業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)、管理元數(shù)據(jù)進(jìn)行盤點(diǎn)、集成和管理，按照科學(xué)、有效的機(jī)制對元數(shù)據(jù)進(jìn)行管理，并面向開發(fā)人員、最終用戶提供元數(shù)據(jù)服務(wù)，以滿足用戶的業(yè)務(wù)需求，對企業(yè)業(yè)務(wù)系統(tǒng)和數(shù)據(jù)分析平臺的開發(fā)、維護(hù)過程提供支持。借助變更報(bào)告、影響分析等應(yīng)用，控制數(shù)據(jù)質(zhì)量、減少業(yè)務(wù)術(shù)語歧義和建立業(yè)務(wù)和技術(shù)之間的良好溝通渠道，進(jìn)一步提高各種數(shù)據(jù)的可信性、可維護(hù)性、適應(yīng)性和可集成性。數(shù)據(jù)標(biāo)準(zhǔn)管理：數(shù)據(jù)標(biāo)準(zhǔn)適用于業(yè)務(wù)數(shù)據(jù)描述、信息管理及應(yīng)用系統(tǒng)開發(fā)，可以作為經(jīng)營管理中所涉及數(shù)據(jù)的規(guī)范化定義和統(tǒng)一解釋，也可作為信息管理的基礎(chǔ)，同時(shí)也是作為應(yīng)用系統(tǒng)開發(fā)時(shí)進(jìn)行數(shù)據(jù)定義的依據(jù)。涉及國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)、企業(yè)標(biāo)準(zhǔn)和地方標(biāo)準(zhǔn)，在定義元數(shù)據(jù)實(shí)體或元素時(shí)進(jìn)行關(guān)聯(lián)。數(shù)據(jù)標(biāo)準(zhǔn)需要不斷的補(bǔ)充完善、更新優(yōu)化和積累，以便更好的支撐業(yè)務(wù)的開發(fā)和系統(tǒng)的集成。主數(shù)據(jù)管理：主數(shù)據(jù)管理是通過運(yùn)用相關(guān)的流程、技術(shù)和解決方案，對企業(yè)核心數(shù)據(jù)的有效管理過程。主數(shù)據(jù)管理涉及主數(shù)據(jù)的所有參與方，如用戶、應(yīng)用程序、業(yè)務(wù)流程等，創(chuàng)建并維護(hù)企業(yè)核心數(shù)據(jù)一致性、完整性、關(guān)聯(lián)性和正確性。主數(shù)據(jù)是企業(yè)內(nèi)外被廣泛應(yīng)用和共享的數(shù)據(jù)，被譽(yù)為是企業(yè)數(shù)據(jù)資產(chǎn)中的“黃金數(shù)據(jù)”，主數(shù)據(jù)管理是撬動企業(yè)數(shù)字化轉(zhuǎn)型的支點(diǎn)，是企業(yè)數(shù)據(jù)治理最核心的部分。數(shù)據(jù)質(zhì)量管理：建立數(shù)據(jù)質(zhì)量管理體系，明確數(shù)據(jù)質(zhì)量管理目標(biāo)、控制對象和指標(biāo)、定義數(shù)據(jù)質(zhì)量檢驗(yàn)規(guī)則、執(zhí)行數(shù)據(jù)質(zhì)量檢核，生產(chǎn)數(shù)據(jù)質(zhì)量報(bào)告。通過數(shù)據(jù)質(zhì)量問題處理流程及相關(guān)功能實(shí)現(xiàn)數(shù)據(jù)質(zhì)量問題從發(fā)現(xiàn)到處理的閉環(huán)管理，從而促進(jìn)數(shù)據(jù)質(zhì)量的不斷提升。數(shù)據(jù)安全管理：目前多數(shù)人都知道數(shù)據(jù)安全問題十分重要，但在現(xiàn)實(shí)中，數(shù)據(jù)安全卻常常被忽視，只有出現(xiàn)了數(shù)據(jù)安全問題甚至事故時(shí)，人們才認(rèn)識到要為數(shù)據(jù)安全做點(diǎn)什么了。數(shù)據(jù)安全應(yīng)貫穿數(shù)據(jù)治理全過程，應(yīng)保證管理和技術(shù)兩條腿走路。從管理上，建立數(shù)據(jù)安全管理制度、設(shè)定數(shù)據(jù)安全標(biāo)準(zhǔn)、