為什么要在大數(shù)據(jù)中心實(shí)施元數(shù)據(jù)管理

-4-為什么要在大數(shù)據(jù)中心實(shí)施元數(shù)據(jù)管理當(dāng)我們費(fèi)盡艱辛搭建好數(shù)據(jù)倉庫并勝利用于線上運(yùn)行時(shí)，發(fā)覺我們將花費(fèi)更多時(shí)間為數(shù)據(jù)科學(xué)家、分析師做數(shù)據(jù)預(yù)備。分析他們的數(shù)據(jù)需求，供應(yīng)閃閃發(fā)光的數(shù)據(jù)報(bào)表。在數(shù)據(jù)管理領(lǐng)域，我們始終致力于讓數(shù)據(jù)為我們供應(yīng)價(jià)值，為此我們付出大量的努力和投入。

在過去二十年，各大企業(yè)都在著手搭建數(shù)據(jù)倉庫。當(dāng)我們費(fèi)盡艱辛搭建好數(shù)據(jù)倉庫并勝利用于線上運(yùn)行時(shí)，發(fā)覺我們將花費(fèi)更多時(shí)間為數(shù)據(jù)科學(xué)家、分析師做數(shù)據(jù)預(yù)備。分析他們的數(shù)據(jù)需求，供應(yīng)閃閃發(fā)光的數(shù)據(jù)報(bào)表。這將占用數(shù)據(jù)維護(hù)人員80%的時(shí)間投入，這個(gè)投入是偏高的，包含如溝通、反查、校正等大量重復(fù)和不必要投入。

如何提升數(shù)據(jù)管理力量？

我們需要回到這80%的投入，想盡一切方法壓縮它們，這樣才能更快的供應(yīng)數(shù)據(jù)服務(wù)。這時(shí)有種工具呈現(xiàn)出了優(yōu)勢(shì)，那就是"元數(shù)據(jù)'。

元數(shù)據(jù)，通常的定義為"描述數(shù)據(jù)的數(shù)據(jù)'。更精確?????一點(diǎn)說：元數(shù)據(jù)是描述流程、信息和對(duì)象的數(shù)據(jù)。這些描述涉及技術(shù)屬性特征（例如，結(jié)構(gòu)和行為）、業(yè)務(wù)定義（包括字典和分類法）以及操作特征（如活動(dòng)指標(biāo)和使用歷史）。

我們用"元數(shù)據(jù)'去攻擊這"80%'。將元數(shù)據(jù)做集中式管理，梳理元數(shù)據(jù)樹，翻譯、標(biāo)注、補(bǔ)充元數(shù)據(jù)內(nèi)容。便利使用者查找數(shù)據(jù)、理解數(shù)據(jù)、追蹤溯源以及規(guī)范專業(yè)學(xué)問。降低數(shù)據(jù)預(yù)備期間溝通、反查、校正等大量重復(fù)和不必要投入，這樣我們就可以留下更多的時(shí)間進(jìn)行數(shù)據(jù)分析，不僅節(jié)約大量資金投入，還賺取更多的利潤。

以電信運(yùn)營商為例，通過各個(gè)時(shí)期的IT建設(shè)，公司有計(jì)費(fèi)系統(tǒng)、網(wǎng)絡(luò)系統(tǒng)、OA系統(tǒng)、財(cái)會(huì)系統(tǒng)和客服系統(tǒng)等等。隨著公司數(shù)據(jù)倉庫項(xiàng)目建設(shè)完成，各系統(tǒng)核心業(yè)務(wù)數(shù)據(jù)都匯總到了大數(shù)據(jù)中心。本以為會(huì)大幅提升IT系統(tǒng)的"智能性'，沒想到基層的反應(yīng)是根本用不起來。許多問題都來源于：缺乏針對(duì)數(shù)據(jù)的指導(dǎo)，業(yè)務(wù)規(guī)律把控不精確?????，各部門指標(biāo)不統(tǒng)一，導(dǎo)致數(shù)據(jù)預(yù)備的成本較高。

連續(xù)以電信運(yùn)營商為例，對(duì)于運(yùn)營商的"當(dāng)日用戶數(shù)'這個(gè)指標(biāo)，各個(gè)部門給出的定義并不一樣：

在營業(yè)部每周例會(huì)上，各個(gè)部門對(duì)"當(dāng)日用戶數(shù)'爭吵的面紅耳赤，擔(dān)負(fù)著業(yè)務(wù)壓力的業(yè)務(wù)人員很可能誰也勸說不了對(duì)方來接受自己的數(shù)字，不得不要求數(shù)據(jù)維護(hù)人員額外投入工作量去解析差異根源，校準(zhǔn)報(bào)表數(shù)據(jù)。

這個(gè)問題根據(jù)元數(shù)據(jù)技術(shù)的術(shù)語來講，就是在業(yè)務(wù)元數(shù)據(jù)上，大家對(duì)于業(yè)務(wù)的熟悉并不統(tǒng)一。這種問題會(huì)造成大量的時(shí)間成本鋪張：

元數(shù)據(jù)管理平臺(tái)的建設(shè)就是為了避開消失這樣的問題。建設(shè)元數(shù)據(jù)管理平臺(tái)可以：

實(shí)現(xiàn)對(duì)技術(shù)元數(shù)據(jù)抽取、匯合、梳理，解釋相關(guān)庫表、列信息。支持查看完整數(shù)據(jù)鏈路和關(guān)聯(lián)圖譜。

梳理業(yè)務(wù)元數(shù)據(jù)，將相關(guān)的指標(biāo)、流程在平臺(tái)中建立起來，固化并傳播企業(yè)專業(yè)學(xué)問。

將業(yè)務(wù)元數(shù)據(jù)同技術(shù)元數(shù)據(jù)聯(lián)系起來，聯(lián)通業(yè)務(wù)與技術(shù)，給業(yè)務(wù)管理人員和技術(shù)維護(hù)人員供應(yīng)更詳盡的指導(dǎo)。

就上文的舉例來看，就可以在元數(shù)據(jù)管理平臺(tái)上維護(hù)"當(dāng)日用戶數(shù)'等易混淆指標(biāo)，規(guī)范其數(shù)據(jù)來源，將其同技術(shù)庫表元數(shù)據(jù)關(guān)聯(lián)起來并作詳盡的解釋。報(bào)表建設(shè)以元數(shù)據(jù)管理平臺(tái)維護(hù)的業(yè)務(wù)學(xué)問為基準(zhǔn)，這樣報(bào)表數(shù)據(jù)有章可循、有理有據(jù)，消弭不必要的爭吵，各部門用心分析報(bào)表數(shù)據(jù)，充分利用數(shù)據(jù)價(jià)值。

顯而易見，元數(shù)據(jù)管理平臺(tái)梳理企業(yè)資產(chǎn)、規(guī)范專業(yè)學(xué)問。推動(dòng)元數(shù)據(jù)管理可以顯著降低數(shù)據(jù)預(yù)備成本：

元數(shù)據(jù)管理是基礎(chǔ)

元數(shù)據(jù)管理可以梳理企業(yè)資產(chǎn)，規(guī)范專業(yè)學(xué)問，降低數(shù)據(jù)預(yù)備期間溝通、反查、校正等大量重復(fù)和不必要投入，幫助提升數(shù)據(jù)分析效率，是數(shù)據(jù)管理的基礎(chǔ)。

假如你進(jìn)行的數(shù)據(jù)處理越簡單，作為支撐的數(shù)據(jù)就需要更好。假如你同時(shí)兼顧了這兩件事，才能讓更多的人直接使用數(shù)據(jù)并為自己服務(wù)。許多時(shí)候我們往往"本末倒置'，遇到問題僅僅關(guān)注要如何解決，而忽視基礎(chǔ)的預(yù)備，不僅增加簡單度和重復(fù)工作量，還會(huì)花費(fèi)大量的溝通、理解的成本。

元數(shù)據(jù)管理是基礎(chǔ)

額外的，元數(shù)據(jù)管理作為底層基礎(chǔ)，能使我們?cè)诤罄m(xù)進(jìn)行集成操作，如處理云；在混合環(huán)境中做數(shù)據(jù)集成；在重復(fù)環(huán)境中做大數(shù)據(jù)時(shí)，獵取巨大的優(yōu)勢(shì)。事實(shí)上，將