談?wù)剶?shù)據(jù)治理能力發(fā)展曲線

一概述理解什么是數(shù)據(jù)治理，為什么它處于實(shí)現(xiàn)價(jià)值的關(guān)鍵路徑上，以及如何在組織中具體部署它，可能是一條漫長(zhǎng)的道路。當(dāng)公司首次推出帶有人工智能和數(shù)據(jù)應(yīng)用的大型轉(zhuǎn)型項(xiàng)目時(shí)，他們很快意識(shí)到這些項(xiàng)目需要關(guān)鍵的推動(dòng)因素，如數(shù)據(jù)平臺(tái)、數(shù)據(jù)湖、數(shù)據(jù)質(zhì)量管理和主數(shù)據(jù)，這些關(guān)鍵因素可以讓高質(zhì)量數(shù)據(jù)提供到用例中。直到最近，數(shù)據(jù)治理才出現(xiàn)在眾多復(fù)雜系統(tǒng)的優(yōu)先級(jí)中。如今，幾乎所有CDO/CTO都明白，數(shù)據(jù)治理是數(shù)字化轉(zhuǎn)型的先決條件。他們熟悉所有基本的組織和操作概念，但讓他們傳遞具體的價(jià)值是一項(xiàng)復(fù)雜得多的任務(wù)。因此，數(shù)據(jù)治理常常被簡(jiǎn)化為孤立的文檔活動(dòng)，影響很小。我們看到許多項(xiàng)目正在啟動(dòng)，許多數(shù)據(jù)治理負(fù)責(zé)人出現(xiàn)在組織中。起初，他們?cè)谡f(shuō)服贊助商和商業(yè)伙伴投資這些活動(dòng)時(shí)都遇到了同樣的困難。為什么?因?yàn)椴渴饠?shù)據(jù)治理是一個(gè)組織必須經(jīng)歷的完整的進(jìn)化過(guò)程，而且過(guò)程中的每一步都很重要。第一階段——無(wú)意識(shí)無(wú)能力:缺乏數(shù)據(jù)治理的“癥狀”是什么?由于糟糕的數(shù)據(jù)治理，公司面臨著未解決的業(yè)務(wù)問(wèn)題；公司被現(xiàn)有的需要成熟數(shù)據(jù)的計(jì)劃(戰(zhàn)略用例、IT遷移等)被迫管理數(shù)據(jù)；處理這些癥狀將有助于認(rèn)識(shí)到數(shù)據(jù)治理的挑戰(zhàn)和關(guān)鍵價(jià)值。第二階段——有意識(shí)無(wú)能力:當(dāng)公司開始數(shù)據(jù)治理之旅時(shí)，會(huì)遇到哪些挑戰(zhàn)?證明數(shù)據(jù)治理的價(jià)值:原始數(shù)據(jù)是未開發(fā)的潛力，而精煉數(shù)據(jù)是黃金；找到啟動(dòng)第一個(gè)計(jì)劃的正確的財(cái)務(wù)模式:由用例驅(qū)動(dòng)或高層要求驅(qū)動(dòng)；動(dòng)員人們交付:在數(shù)據(jù)治理聯(lián)合團(tuán)隊(duì)內(nèi)部和外部。第三階段——有意識(shí)有能力:公司在啟動(dòng)數(shù)據(jù)治理計(jì)劃時(shí)通常遵循哪些步驟?第一步—規(guī)劃數(shù)據(jù)治理:域、操作模型、路線圖、工具；第二步——在每個(gè)數(shù)據(jù)域中部署數(shù)據(jù)治理:數(shù)據(jù)質(zhì)量、數(shù)據(jù)標(biāo)準(zhǔn)和可訪問(wèn)性。通過(guò)大型項(xiàng)目在有限的時(shí)間內(nèi)進(jìn)行徹底的改造;或者把工作分散很長(zhǎng)一段時(shí)間，從最關(guān)鍵的部分開始，然后逐步地做剩下的部分。第四階段——無(wú)意識(shí)有能力:當(dāng)數(shù)據(jù)治理成為新常態(tài)時(shí)會(huì)發(fā)生什么?數(shù)據(jù)治理不再是一段旅程，而是一項(xiàng)熟練的技能；數(shù)據(jù)治理是每個(gè)人的責(zé)任:C級(jí)成員、業(yè)務(wù)所有者、工程主管、領(lǐng)域開發(fā)團(tuán)隊(duì)、數(shù)據(jù)專員、用例和特性團(tuán)隊(duì)本文的目的是通過(guò)了解每個(gè)公司不可避免地要經(jīng)歷的數(shù)據(jù)治理過(guò)程，幫助您理解數(shù)據(jù)治理在實(shí)踐中是什么。二數(shù)據(jù)治理曲線階段1-無(wú)意識(shí)無(wú)能力:缺乏數(shù)據(jù)治理的“癥狀”是什么?是什么觸發(fā)了它?甚至在開始之前，第一個(gè)挑戰(zhàn)就是識(shí)別數(shù)據(jù)治理問(wèn)題。在這個(gè)階段，該公司還沒(méi)有意識(shí)到其許多業(yè)務(wù)問(wèn)題與數(shù)據(jù)治理活動(dòng)直接相關(guān)。這個(gè)過(guò)程的第一步是確定哪些根本問(wèn)題是組織中沒(méi)有人能夠回答的。提出這類問(wèn)題將數(shù)據(jù)治理與它可能產(chǎn)生的潛在業(yè)務(wù)價(jià)值直接聯(lián)系起來(lái)，并避免了IT或隱私驅(qū)動(dòng)方法的陷阱，這些方法將數(shù)據(jù)治理減少為主數(shù)據(jù)或訪問(wèn)權(quán)限管理。在這一階段，我們還觀察到其他觸發(fā)數(shù)據(jù)治理計(jì)劃啟動(dòng)的典型情況:由于缺乏可訪問(wèn)的數(shù)據(jù)以及數(shù)據(jù)所有者和管理人員來(lái)定位和理解數(shù)據(jù)而暫停的情況；高度隱私風(fēng)險(xiǎn)管理計(jì)劃，要求數(shù)據(jù)沿襲或訪問(wèn)權(quán)限管理符合規(guī)定；戰(zhàn)略性的IT/架構(gòu)遷移(例如云遷移)，需要數(shù)據(jù)治理來(lái)定義訪問(wèn)權(quán)限和數(shù)據(jù)可用性策略；重大的數(shù)字化轉(zhuǎn)型計(jì)劃，使數(shù)據(jù)治理成為確?？焖俳桓秲r(jià)值的關(guān)鍵因素；為了在數(shù)據(jù)治理的道路上前進(jìn)，公司需要面對(duì)未解決的業(yè)務(wù)問(wèn)題，否則就會(huì)被迫陷入落后的情況。只有這樣，他們才會(huì)意識(shí)到他們面臨的挑戰(zhàn)，并理解數(shù)據(jù)治理的關(guān)鍵價(jià)值。第二階段-有意識(shí)無(wú)能力:公司在開始數(shù)據(jù)治理之旅時(shí)會(huì)遇到哪些挑戰(zhàn)?一旦公司決定正式開始其數(shù)據(jù)治理之旅，三大挑戰(zhàn)就會(huì)出現(xiàn):(1)證明數(shù)據(jù)治理是有價(jià)值的，(2)找到合適的財(cái)務(wù)模式來(lái)啟動(dòng)第一項(xiàng)計(jì)劃，(3)動(dòng)員人們交付。1.證明數(shù)據(jù)治理的價(jià)值:原始數(shù)據(jù)是未開發(fā)的潛力，而精煉數(shù)據(jù)是黃金首先的挑戰(zhàn)之一是說(shuō)服董事會(huì)。數(shù)據(jù)治理的提倡者需要找到合適的說(shuō)辭來(lái)證明，有時(shí)以犧牲用例為代價(jià)，應(yīng)該對(duì)數(shù)據(jù)治理進(jìn)行投資，并且應(yīng)該在數(shù)據(jù)轉(zhuǎn)換路線圖上找到空間。2.找到正確的財(cái)務(wù)模式:由用例驅(qū)動(dòng)或由高層機(jī)構(gòu)驅(qū)動(dòng)這一領(lǐng)域經(jīng)常會(huì)出現(xiàn)兩個(gè)問(wèn)題:啟動(dòng)一個(gè)數(shù)據(jù)治理項(xiàng)目需要多少成本?誰(shuí)應(yīng)該為此買單?可以區(qū)分出兩種模式:模式1由用例驅(qū)動(dòng)，其中一部分預(yù)算專門用于數(shù)據(jù)治理活動(dòng)。模式2由高層機(jī)構(gòu)驅(qū)動(dòng)，該機(jī)構(gòu)擁有支持?jǐn)?shù)據(jù)治理主題用例的預(yù)算。當(dāng)數(shù)據(jù)治理通過(guò)設(shè)計(jì)嵌入到所有項(xiàng)目中時(shí)，模式1是轉(zhuǎn)換后的目標(biāo)。在轉(zhuǎn)換之前和轉(zhuǎn)換期間，模式2通常適用于建立最佳實(shí)踐。3.動(dòng)員人員交付:在數(shù)據(jù)治理聯(lián)合團(tuán)隊(duì)內(nèi)，以及團(tuán)隊(duì)之外圍繞數(shù)據(jù)治理問(wèn)題調(diào)動(dòng)公司員工是關(guān)鍵的挑戰(zhàn)。在數(shù)據(jù)治理團(tuán)隊(duì)中，成功的關(guān)鍵因素是實(shí)現(xiàn)聯(lián)合交付模型，其中操作是分散的，由每個(gè)業(yè)務(wù)領(lǐng)域團(tuán)隊(duì)驅(qū)動(dòng)。一個(gè)中心辦公室或領(lǐng)導(dǎo)(視規(guī)模而定)負(fù)責(zé)組織方案、實(shí)現(xiàn)工具箱、定義標(biāo)準(zhǔn)。它的第一個(gè)任務(wù)是將公司的數(shù)據(jù)細(xì)分為數(shù)據(jù)域，并為每個(gè)域指定一個(gè)所有者，他將負(fù)責(zé)指定其域中的關(guān)鍵角色(管理員、托管人……)。除了數(shù)據(jù)治理團(tuán)隊(duì)，中央辦公室還必須適應(yīng)和提高團(tuán)隊(duì)的技能，以配合新的、更結(jié)構(gòu)化的數(shù)據(jù)交互方式。一旦這些最初的挑戰(zhàn)被克服了，組織就可以被認(rèn)為是有能力和足夠成熟的，可以定義最好的方法來(lái)開始，并實(shí)現(xiàn)第一個(gè)有形的結(jié)果，而不需要太多的前期投資。第三階段-有意識(shí)有能力:啟動(dòng)數(shù)據(jù)治理計(jì)劃時(shí)應(yīng)遵循哪些步驟?1.步驟1——夠花數(shù)據(jù)治理:域、操作模型、路線圖、工具數(shù)據(jù)治理辦公室的第一個(gè)關(guān)鍵活動(dòng)是將數(shù)據(jù)資產(chǎn)構(gòu)造為數(shù)據(jù)域。這項(xiàng)活動(dòng)使公司能夠:共享數(shù)據(jù)資產(chǎn)的共同愿景；確定數(shù)據(jù)治理路線圖的優(yōu)先級(jí)；分配角色和職責(zé)；結(jié)構(gòu)化數(shù)據(jù)治理工具。一旦實(shí)踐完成了，下一步就是分配所有者(他們將安排活動(dòng)的優(yōu)先級(jí)并確定目標(biāo))和管理人員(他們將在操作上部署質(zhì)量和文檔程序)到每個(gè)領(lǐng)域。我們已經(jīng)觀察到，成功的數(shù)據(jù)治理模式是“聯(lián)邦”模式，業(yè)務(wù)活動(dòng)分散在各個(gè)領(lǐng)域，數(shù)據(jù)治理的負(fù)責(zé)人在中央數(shù)據(jù)團(tuán)隊(duì)中推動(dòng)動(dòng)力、協(xié)調(diào)活動(dòng)并賦予專員和所有者權(quán)力。成熟的組織是業(yè)務(wù)驅(qū)動(dòng)的，并在與數(shù)據(jù)應(yīng)用路線圖密切相關(guān)的情況下構(gòu)建數(shù)據(jù)治理路線圖。他們將數(shù)據(jù)域與公司的戰(zhàn)略用例進(jìn)行映射，并對(duì)服務(wù)于許多用例的域進(jìn)行優(yōu)先排序。成功的關(guān)鍵因素是，從小處著手，通過(guò)確定兩到三個(gè)關(guān)鍵領(lǐng)域的所有者和管理人員來(lái)避免隧道效應(yīng)，并在將其部署到其他領(lǐng)域之前對(duì)方法進(jìn)行改進(jìn)。工具對(duì)于長(zhǎng)期維持?jǐn)?shù)據(jù)治理很重要，但數(shù)據(jù)治理首先是一個(gè)組織問(wèn)題。如果組織不相信數(shù)據(jù)治理的重要性，如果運(yùn)營(yíng)模式不到位，這些工具將不會(huì)被采用，對(duì)公司來(lái)說(shuō)將是一種資源和時(shí)間的浪費(fèi)。2.步驟2——在每個(gè)數(shù)據(jù)域中部署數(shù)據(jù)治理:數(shù)據(jù)質(zhì)量、標(biāo)準(zhǔn)化和可訪問(wèn)性方法1-與重大項(xiàng)目在有限時(shí)間內(nèi)完成改造方法1通常是大公司的首選，這些公司已經(jīng)啟動(dòng)了重大轉(zhuǎn)型計(jì)劃，在成功交付數(shù)據(jù)和人工智能案例方面面臨著重要的問(wèn)題。對(duì)于那些正在轉(zhuǎn)向云計(jì)算的公司來(lái)說(shuō)，他們的數(shù)據(jù)資產(chǎn)在新數(shù)據(jù)平臺(tái)中的結(jié)構(gòu)也岌岌可危。這種整體或端到端方法旨在通過(guò)處理數(shù)據(jù)治理的四個(gè)維度(質(zhì)量、標(biāo)準(zhǔn)化、可訪問(wèn)性和所有權(quán))來(lái)徹底清理數(shù)據(jù)領(lǐng)域。這一重大數(shù)據(jù)轉(zhuǎn)換方案的一個(gè)關(guān)鍵方面是協(xié)調(diào)18個(gè)數(shù)據(jù)領(lǐng)域工作的能力。數(shù)據(jù)治理辦公室在確保數(shù)據(jù)域之間的一致性和設(shè)置總體優(yōu)先級(jí)方面發(fā)揮著至關(guān)重要的作用。方法2-把工作分散在很長(zhǎng)一段時(shí)間內(nèi)，從最關(guān)鍵的開始，然后逐步做剩下的第二種方法更適合那些在推出重大項(xiàng)目之前需要證明數(shù)據(jù)治理價(jià)值的公司。首先，這些公司專注于他們想通過(guò)數(shù)據(jù)治理解決的一個(gè)特定痛點(diǎn)。有時(shí)這些計(jì)劃甚至沒(méi)有標(biāo)記為“數(shù)據(jù)治理”。第四階段-無(wú)意識(shí)有能力:當(dāng)數(shù)據(jù)治理成為新常態(tài)時(shí)會(huì)發(fā)生什么?在我們開始之前，有必要強(qiáng)調(diào)的是，除了純粹的參與者或圍繞數(shù)據(jù)設(shè)計(jì)的最新公司之外，相對(duì)很少有公司達(dá)到了數(shù)據(jù)治理的最后階段，即數(shù)據(jù)治理已成為自動(dòng)化。1.數(shù)據(jù)治理不再是一段旅程，而是一項(xiàng)熟練的技能數(shù)據(jù)治理不再被視為需要涉眾付出巨大努力的耗時(shí)轉(zhuǎn)型之旅?，F(xiàn)在，這是一項(xiàng)完全嵌入到公司流程中的技能，每個(gè)處理數(shù)據(jù)的人都受到了這一層面的影響。在數(shù)據(jù)平臺(tái)中集成數(shù)據(jù)需要滿足特定的標(biāo)準(zhǔn)，如數(shù)據(jù)文檔、數(shù)據(jù)敏感性識(shí)別、數(shù)據(jù)所有者識(shí)別等。訪問(wèn)數(shù)據(jù)意味著遵循一個(gè)過(guò)程，這個(gè)過(guò)程需要用例管理人員證明他們的數(shù)據(jù)使用是正確的只有滿足與數(shù)據(jù)集成相同的標(biāo)準(zhǔn)(文檔化、敏感性、所有者、監(jiān)控等)，才能向公司的其他部門提供新的數(shù)據(jù)集。2.數(shù)據(jù)治理是每個(gè)人的責(zé)任C級(jí)領(lǐng)導(dǎo)促進(jìn)了公司內(nèi)部數(shù)據(jù)的流通。他們依靠統(tǒng)一的數(shù)據(jù)視圖(單一的真實(shí)來(lái)源)來(lái)做出所有的戰(zhàn)略決策和監(jiān)控公司的表現(xiàn)。企業(yè)所有者認(rèn)識(shí)到，數(shù)據(jù)治理是其業(yè)務(wù)轉(zhuǎn)型的關(guān)鍵成功因素。每個(gè)業(yè)務(wù)計(jì)劃都“按設(shè)計(jì)”包含一個(gè)數(shù)據(jù)治理組件。工程主管是面向領(lǐng)域的數(shù)據(jù)平臺(tái)的領(lǐng)導(dǎo)者。他們負(fù)責(zé)構(gòu)建平臺(tái)的通用功能，并制定全球標(biāo)準(zhǔn)以確保各領(lǐng)域之間的互操作性。向用例團(tuán)隊(duì)交付高質(zhì)量數(shù)據(jù)產(chǎn)品的責(zé)任分散在那些最接近數(shù)據(jù)的領(lǐng)域開發(fā)團(tuán)隊(duì)中。為了確保數(shù)據(jù)產(chǎn)品是定性的，領(lǐng)域開發(fā)團(tuán)隊(duì)依賴于數(shù)據(jù)管家來(lái)保證高水平的數(shù)據(jù)質(zhì)量和可用性。數(shù)據(jù)管理員不是一個(gè)角色，它是一份全職工作，位于業(yè)務(wù)、IT和數(shù)據(jù)團(tuán)隊(duì)之間的中樞位置。他們協(xié)調(diào)工作，以彌補(bǔ)數(shù)據(jù)治理債務(wù)，并確保新服務(wù)“根據(jù)設(shè)計(jì)”進(jìn)行治理。使用數(shù)據(jù)的用例和特性團(tuán)隊(duì)被視為具有權(quán)利和義務(wù)的客戶:消費(fèi)高質(zhì)量和值得信賴的數(shù)據(jù)產(chǎn)品的權(quán)利，利用數(shù)據(jù)市場(chǎng)發(fā)現(xiàn)和請(qǐng)求訪問(wèn)數(shù)據(jù)集。將數(shù)據(jù)治理標(biāo)準(zhǔn)應(yīng)用于他們的用例的責(zé)任:產(chǎn)品所有者在代辦事項(xiàng)中為數(shù)據(jù)治理任務(wù)留出空間。用例創(chuàng)建的所有數(shù)據(jù)都有適當(dāng)?shù)奈臋n記錄，在數(shù)據(jù)管道的每個(gè)階段都開發(fā)質(zhì)量例程。三總結(jié)盡管今天的大多數(shù)企業(yè)仍然徘徊在第二和第三階段之間，但他們都感到在數(shù)據(jù)治理過(guò)程中前