華為數(shù)據(jù)治理方法論及最佳實(shí)踐

華為數(shù)據(jù)治理方法論及最佳實(shí)踐華為數(shù)據(jù)治理方法論一.數(shù)據(jù)治理框架數(shù)據(jù)治理主要專(zhuān)注于如下領(lǐng)域：數(shù)據(jù)集成數(shù)據(jù)集成用來(lái)完成數(shù)據(jù)入湖動(dòng)作，不是簡(jiǎn)單的數(shù)據(jù)搬家，而是按照一定的方法論進(jìn)行數(shù)據(jù)備份。數(shù)據(jù)入湖的前提條件是滿足6項(xiàng)數(shù)據(jù)標(biāo)準(zhǔn)，包括：明確數(shù)據(jù)Owner、發(fā)布數(shù)據(jù)標(biāo)準(zhǔn)、定義數(shù)據(jù)密級(jí)、明確數(shù)據(jù)源、數(shù)據(jù)質(zhì)量評(píng)估、元數(shù)據(jù)注冊(cè)。此標(biāo)準(zhǔn)由數(shù)據(jù)代表在入湖前完成梳理并在數(shù)據(jù)治理平臺(tái)上進(jìn)行資產(chǎn)注冊(cè)。數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)管理著重建立統(tǒng)一的數(shù)據(jù)語(yǔ)言，L1到L5數(shù)據(jù)層級(jí)業(yè)務(wù)對(duì)象的定義是數(shù)據(jù)標(biāo)準(zhǔn)的載體，并對(duì)應(yīng)發(fā)布包括L1到L5數(shù)據(jù)層級(jí)的數(shù)據(jù)標(biāo)準(zhǔn)。各業(yè)務(wù)對(duì)象對(duì)應(yīng)物理實(shí)現(xiàn)的IT系統(tǒng)需發(fā)布相應(yīng)的數(shù)據(jù)字典并進(jìn)行數(shù)據(jù)源認(rèn)證。而對(duì)于梳理出來(lái)，但沒(méi)有落IT系統(tǒng)的業(yè)務(wù)對(duì)象，需在后繼的開(kāi)發(fā)中進(jìn)行數(shù)字化落地。數(shù)據(jù)開(kāi)發(fā)數(shù)據(jù)開(kāi)發(fā)是編排、調(diào)度和運(yùn)維的中心，數(shù)據(jù)開(kāi)發(fā)是一個(gè)提供分析、設(shè)計(jì)、實(shí)施、部署及維護(hù)一站式數(shù)據(jù)解決方案，完成數(shù)據(jù)加工、轉(zhuǎn)換和質(zhì)量提升等。數(shù)據(jù)開(kāi)發(fā)屏蔽了各種數(shù)據(jù)存儲(chǔ)的差異，一站式滿足從數(shù)據(jù)集成、數(shù)據(jù)清洗/轉(zhuǎn)換、數(shù)據(jù)質(zhì)量監(jiān)控等全流程的數(shù)據(jù)處理，是數(shù)據(jù)治理實(shí)施的主戰(zhàn)場(chǎng)。數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量管理的目標(biāo)在于保證數(shù)據(jù)滿足使用的要求。數(shù)據(jù)標(biāo)準(zhǔn)是衡量數(shù)據(jù)質(zhì)量最基本的基準(zhǔn)。數(shù)據(jù)質(zhì)量要求各業(yè)務(wù)部門(mén)對(duì)相應(yīng)數(shù)據(jù)領(lǐng)域的數(shù)據(jù)質(zhì)量全權(quán)負(fù)責(zé)，按業(yè)務(wù)需求設(shè)計(jì)數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)，制定數(shù)據(jù)質(zhì)量管控目標(biāo)，并遵循企業(yè)數(shù)據(jù)治理要求進(jìn)行數(shù)據(jù)質(zhì)量度量，制定符合各自業(yè)務(wù)情況的數(shù)據(jù)質(zhì)量政策及數(shù)據(jù)質(zhì)量相關(guān)的改進(jìn)計(jì)劃，持續(xù)進(jìn)行數(shù)據(jù)質(zhì)量管控。數(shù)據(jù)資產(chǎn)數(shù)據(jù)資產(chǎn)包括業(yè)務(wù)資產(chǎn)、技術(shù)資產(chǎn)、指標(biāo)資產(chǎn)等。數(shù)據(jù)資產(chǎn)管理是數(shù)據(jù)治理的重要支撐手段，核心是構(gòu)建企業(yè)級(jí)的元數(shù)據(jù)管理中心、建立數(shù)據(jù)資產(chǎn)目錄、建立數(shù)據(jù)搜索引擎、實(shí)現(xiàn)數(shù)據(jù)血緣和數(shù)據(jù)全景可視。其中元數(shù)據(jù)包括業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)和操作元數(shù)據(jù)，要求將企業(yè)所有概念數(shù)據(jù)模型、邏輯數(shù)據(jù)模型以及物理數(shù)據(jù)模型系統(tǒng)化地管理起來(lái)，同時(shí)建設(shè)企業(yè)數(shù)據(jù)地圖及數(shù)據(jù)血緣關(guān)系，為數(shù)據(jù)調(diào)用、數(shù)據(jù)服務(wù)、數(shù)據(jù)運(yùn)營(yíng)及運(yùn)維提供強(qiáng)有力的信息支撐。數(shù)據(jù)服務(wù)數(shù)據(jù)服務(wù)通過(guò)在整個(gè)企業(yè)范圍統(tǒng)一數(shù)據(jù)服務(wù)設(shè)計(jì)和實(shí)現(xiàn)的規(guī)范并進(jìn)行數(shù)據(jù)服務(wù)生命周期管理，集約管理數(shù)據(jù)服務(wù)并減少數(shù)據(jù)調(diào)用和集成的開(kāi)發(fā)成本。數(shù)據(jù)安全由于企業(yè)使用的數(shù)據(jù)資源，既有來(lái)自于內(nèi)部業(yè)務(wù)系統(tǒng)，所有權(quán)屬于企業(yè)的數(shù)據(jù)，同時(shí)也有來(lái)自外部的數(shù)據(jù)，必須將數(shù)據(jù)安全納入數(shù)據(jù)治理的范疇，對(duì)所有企業(yè)數(shù)據(jù)要求依據(jù)數(shù)據(jù)安全等級(jí)定義進(jìn)行數(shù)據(jù)安全定級(jí)，在數(shù)據(jù)產(chǎn)生、傳輸、存儲(chǔ)和使用的過(guò)程中進(jìn)行必要的數(shù)據(jù)安全訪問(wèn)控制，同時(shí)對(duì)數(shù)據(jù)相應(yīng)的CRUD活動(dòng)均需產(chǎn)生日志以完成安全審計(jì)。主數(shù)據(jù)主數(shù)據(jù)管理是數(shù)據(jù)標(biāo)準(zhǔn)落地和提升數(shù)據(jù)質(zhì)量的重要手段，是企業(yè)級(jí)數(shù)據(jù)治理的重要范疇，其目標(biāo)在于保證在企業(yè)范圍內(nèi)重要業(yè)務(wù)實(shí)體數(shù)據(jù)的一致(定義和實(shí)際物理數(shù)據(jù)的一致)。主數(shù)據(jù)管理首先進(jìn)行企業(yè)主數(shù)據(jù)的識(shí)別，然后對(duì)已識(shí)別主數(shù)據(jù)按照主數(shù)據(jù)規(guī)范要求進(jìn)行數(shù)據(jù)治理和IT改造，以支撐企業(yè)業(yè)務(wù)流和工具鏈的打通和串聯(lián)。管理中心數(shù)據(jù)治理的開(kāi)展離不開(kāi)組織、流程和政策的建設(shè)，管理中心也管理著數(shù)據(jù)治理過(guò)程中公共核心的統(tǒng)一數(shù)據(jù)源、數(shù)據(jù)駕駛艙等，滿足不同角色的用戶擁有個(gè)性化的工作臺(tái)。華為數(shù)據(jù)治理之旅（100分PPT）數(shù)據(jù)治理主要模塊域之間的關(guān)系如下圖所示：圖1:

數(shù)據(jù)治理各模塊之間的關(guān)系數(shù)據(jù)標(biāo)準(zhǔn)為數(shù)據(jù)開(kāi)發(fā)和設(shè)計(jì)工作提供核心參考，同時(shí)也通過(guò)數(shù)據(jù)開(kāi)發(fā)實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化落地。數(shù)據(jù)標(biāo)準(zhǔn)為數(shù)據(jù)應(yīng)用提供“一致的語(yǔ)言”；數(shù)據(jù)標(biāo)準(zhǔn)為主數(shù)據(jù)管理提供主數(shù)據(jù)定義的基準(zhǔn)，數(shù)據(jù)標(biāo)準(zhǔn)也是數(shù)據(jù)質(zhì)量管理策略設(shè)計(jì)、數(shù)據(jù)質(zhì)量規(guī)則制定的核心依據(jù)；數(shù)據(jù)標(biāo)準(zhǔn)所定義的密級(jí)分類(lèi)和責(zé)任主體，為數(shù)據(jù)安全管理提供依據(jù)；數(shù)據(jù)標(biāo)準(zhǔn)也是數(shù)據(jù)資產(chǎn)管理重要輸入。主數(shù)據(jù)管理通過(guò)數(shù)據(jù)開(kāi)發(fā)實(shí)現(xiàn)核心數(shù)據(jù)的一致性地記錄、更新和維護(hù)，是數(shù)據(jù)質(zhì)量提升的重要手段。主數(shù)據(jù)管理保障了數(shù)據(jù)應(yīng)用和運(yùn)營(yíng)過(guò)程中核心數(shù)據(jù)的存在和一致性。數(shù)據(jù)質(zhì)量管理是數(shù)據(jù)應(yīng)用和運(yùn)營(yíng)過(guò)程中數(shù)據(jù)準(zhǔn)確性、一致性、完整性、及時(shí)性、唯一性、有效性的重要保障，是數(shù)據(jù)業(yè)務(wù)價(jià)值創(chuàng)造的重要前提。數(shù)據(jù)資產(chǎn)管理模塊完成元數(shù)據(jù)的采集和注冊(cè)，數(shù)據(jù)資產(chǎn)管理為數(shù)據(jù)應(yīng)用和數(shù)據(jù)消費(fèi)提供了解數(shù)據(jù)的窗口。數(shù)據(jù)服務(wù)管控實(shí)現(xiàn)在數(shù)據(jù)服務(wù)開(kāi)發(fā)過(guò)程中服務(wù)標(biāo)準(zhǔn)、規(guī)范、要求和管理的落實(shí)，數(shù)據(jù)服務(wù)打通數(shù)據(jù)應(yīng)用和數(shù)據(jù)消費(fèi)的物理通道。數(shù)據(jù)安全在數(shù)據(jù)開(kāi)發(fā)過(guò)程中完成數(shù)據(jù)安全的IT實(shí)現(xiàn)，以達(dá)成數(shù)據(jù)應(yīng)用過(guò)程中安全管理規(guī)范的要求。華為公司的管理者培養(yǎng)路徑圖以上工作的有效開(kāi)展，離不開(kāi)組織管理、明確的責(zé)任人、考核體系、流程制度、數(shù)據(jù)治理政策和數(shù)據(jù)治理平臺(tái)的支撐。圖2:

DataArtsStudio各模塊之間的示意圖DataArtsStudio平臺(tái)提供了上述各個(gè)功能模塊，滿足數(shù)據(jù)接入、數(shù)據(jù)建模、標(biāo)準(zhǔn)化、質(zhì)量監(jiān)控、數(shù)據(jù)服務(wù)等全流程的數(shù)據(jù)管理動(dòng)作。二.數(shù)據(jù)治理組織框架數(shù)據(jù)治理可以采用集中化（全時(shí)投入）和虛擬化（部分投入）混合的組織模式。結(jié)合具備專(zhuān)業(yè)技能的專(zhuān)職數(shù)據(jù)治理人員和熟悉業(yè)務(wù)和IT系統(tǒng)的已有人員，在運(yùn)作上實(shí)現(xiàn)數(shù)據(jù)治理團(tuán)隊(duì)的快速構(gòu)建和能力導(dǎo)入，捆綁業(yè)務(wù)、IT開(kāi)發(fā)和數(shù)據(jù)團(tuán)隊(duì)并利用已有人員熟悉度快速切入重點(diǎn)工作。華為是如何構(gòu)建PMO的？在工作內(nèi)容和責(zé)任上具體到三層的工作組織：在戰(zhàn)略層面，由數(shù)據(jù)治理Sponsor和各部門(mén)負(fù)責(zé)人組成的數(shù)據(jù)治理領(lǐng)導(dǎo)組制定數(shù)據(jù)治理的戰(zhàn)略方向，以構(gòu)建數(shù)據(jù)文化和氛圍為綱，整體負(fù)責(zé)數(shù)據(jù)治理工作的開(kāi)展、政策的推廣和執(zhí)行，并作為數(shù)據(jù)治理問(wèn)題的最終決策組織解決爭(zhēng)議，監(jiān)控和監(jiān)督數(shù)據(jù)治理工作的績(jī)效，并確保數(shù)據(jù)治理工作預(yù)算支持。數(shù)據(jù)治理委員會(huì)和各領(lǐng)域數(shù)據(jù)治理工作組是數(shù)據(jù)治理戰(zhàn)略在運(yùn)作層面具體的實(shí)施團(tuán)隊(duì)。其中：數(shù)據(jù)治理委員會(huì)：由數(shù)據(jù)治理負(fù)責(zé)人、數(shù)據(jù)治理專(zhuān)家和數(shù)據(jù)架構(gòu)專(zhuān)家團(tuán)組成，面向企業(yè)進(jìn)行數(shù)據(jù)治理工作的統(tǒng)籌并提供工作指導(dǎo)，在整個(gè)企業(yè)范圍定期溝通數(shù)據(jù)治理工作，形成數(shù)據(jù)質(zhì)量精細(xì)化管控文化。根據(jù)數(shù)據(jù)治理領(lǐng)導(dǎo)組的愿景和長(zhǎng)期目標(biāo)，建立和管理數(shù)據(jù)治理流程、階段目標(biāo)和計(jì)劃，設(shè)計(jì)和維護(hù)數(shù)據(jù)治理方法、總則、工具和平臺(tái)，協(xié)助各數(shù)據(jù)領(lǐng)域工作組實(shí)施數(shù)據(jù)治理工作，對(duì)整體數(shù)據(jù)治理工作進(jìn)行度量和匯報(bào)，并對(duì)跨領(lǐng)域的數(shù)據(jù)治理問(wèn)題和爭(zhēng)議進(jìn)行解決和決策。各領(lǐng)域數(shù)據(jù)治理工作組：在各領(lǐng)域數(shù)據(jù)范圍內(nèi)進(jìn)行數(shù)據(jù)治理的工作，依據(jù)數(shù)據(jù)治理委員會(huì)制定的數(shù)據(jù)治理方法和總則，制定本領(lǐng)域數(shù)據(jù)治理目標(biāo)和工作計(jì)劃，負(fù)責(zé)領(lǐng)域數(shù)據(jù)資產(chǎn)的看護(hù)，維護(hù)更新相應(yīng)數(shù)據(jù)標(biāo)準(zhǔn)和及相關(guān)元數(shù)據(jù)，設(shè)計(jì)本領(lǐng)域數(shù)據(jù)度量和規(guī)則，監(jiān)控收集數(shù)據(jù)質(zhì)量問(wèn)題并持續(xù)改進(jìn)提升，主動(dòng)升級(jí)數(shù)據(jù)相關(guān)問(wèn)題。最終完成領(lǐng)域內(nèi)數(shù)據(jù)資產(chǎn)的看護(hù)，并支撐數(shù)據(jù)治理目標(biāo)的達(dá)成。領(lǐng)域數(shù)據(jù)治理工作組由數(shù)據(jù)Owner、數(shù)據(jù)代表、數(shù)據(jù)管家、數(shù)據(jù)專(zhuān)員和數(shù)據(jù)架構(gòu)師組成。其中：數(shù)據(jù)Owner(DataOwners)：數(shù)據(jù)Owner是領(lǐng)域數(shù)據(jù)治理工作的責(zé)任人。制定本領(lǐng)域數(shù)據(jù)治理的目標(biāo)，工作計(jì)劃和執(zhí)行優(yōu)先級(jí)。建立數(shù)據(jù)治理責(zé)任機(jī)制，將本領(lǐng)域的數(shù)據(jù)治理工作分解到工作組成員,并跟進(jìn)及管理工作組工作。設(shè)計(jì)數(shù)據(jù)質(zhì)量規(guī)格，承接數(shù)據(jù)需求，對(duì)數(shù)據(jù)問(wèn)題及爭(zhēng)議進(jìn)行裁決。建設(shè)和維護(hù)本領(lǐng)域信息架構(gòu)。建立和推動(dòng)領(lǐng)域數(shù)據(jù)文化和氛圍。數(shù)據(jù)代表(DataRepresentatives)：數(shù)據(jù)代表是領(lǐng)域數(shù)據(jù)治理工作的專(zhuān)家?guī)ь^人。深刻理解數(shù)據(jù)工作的目標(biāo)、方法、規(guī)則、工具，并通過(guò)識(shí)別關(guān)鍵業(yè)務(wù)流程和IT系統(tǒng)，對(duì)本領(lǐng)域數(shù)據(jù)治理的路標(biāo)和工作計(jì)劃進(jìn)行細(xì)化并排序，最終管理執(zhí)行。作為本領(lǐng)域數(shù)據(jù)治理專(zhuān)家，管理并解決問(wèn)題和爭(zhēng)議，必要時(shí)提交數(shù)據(jù)Owner進(jìn)行裁決。對(duì)業(yè)務(wù)環(huán)節(jié)數(shù)據(jù)的完整性、及時(shí)性、準(zhǔn)確性、一致性、唯一性、有效性負(fù)責(zé)，確保行為即記錄，記錄即數(shù)據(jù)，并依據(jù)數(shù)據(jù)質(zhì)量規(guī)格對(duì)本領(lǐng)域數(shù)據(jù)進(jìn)行度量和報(bào)告。落實(shí)本領(lǐng)域信息架構(gòu)的建設(shè)和遵從，負(fù)責(zé)本領(lǐng)域數(shù)據(jù)資產(chǎn)的看護(hù)，維護(hù)相應(yīng)數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)目錄并更新發(fā)布。承接上下游數(shù)據(jù)需求，并主動(dòng)根據(jù)領(lǐng)域內(nèi)應(yīng)用場(chǎng)景和業(yè)務(wù)需求識(shí)別數(shù)據(jù)需求，對(duì)需求的實(shí)現(xiàn)進(jìn)行推動(dòng)和管理。依據(jù)相關(guān)規(guī)定定義本領(lǐng)域數(shù)據(jù)安全等級(jí)，并進(jìn)行數(shù)據(jù)授權(quán)管理。數(shù)據(jù)管家(DataStewards)：數(shù)據(jù)管家是領(lǐng)域數(shù)據(jù)治理工作的協(xié)助者。確保領(lǐng)域治理工作的流程和內(nèi)容規(guī)范，符合數(shù)據(jù)治理要求。協(xié)助數(shù)據(jù)代表進(jìn)行問(wèn)題跟蹤和解決。梳理、維護(hù)并更新領(lǐng)域數(shù)據(jù)元數(shù)據(jù)（業(yè)務(wù)對(duì)象、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)模型）。推廣和維護(hù)數(shù)據(jù)治理工具和平臺(tái)在本領(lǐng)域的應(yīng)用。數(shù)據(jù)專(zhuān)員(DataSpecialists)：數(shù)據(jù)專(zhuān)員是領(lǐng)域數(shù)據(jù)治理工作的專(zhuān)家團(tuán)隊(duì)?；诒绢I(lǐng)域數(shù)據(jù)治理的工作計(jì)劃，利用數(shù)據(jù)專(zhuān)項(xiàng)技能，支撐數(shù)據(jù)代表完成數(shù)據(jù)Owner分配的各類(lèi)數(shù)據(jù)治理工作。數(shù)據(jù)架構(gòu)師(DataArchitects)：數(shù)據(jù)架構(gòu)師是領(lǐng)域數(shù)據(jù)治理工作在IT層面的代表。開(kāi)發(fā)和維護(hù)本領(lǐng)域的數(shù)據(jù)系統(tǒng)或子系統(tǒng)，確保數(shù)據(jù)在系統(tǒng)中得以記錄，數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量規(guī)則、數(shù)據(jù)安全、主/參考數(shù)據(jù)管理、數(shù)據(jù)服務(wù)在系統(tǒng)中得以實(shí)施。提供數(shù)據(jù)系統(tǒng)的數(shù)據(jù)相關(guān)信息（元數(shù)據(jù)、數(shù)據(jù)字典、數(shù)據(jù)血緣）。協(xié)助執(zhí)行IT相關(guān)的數(shù)據(jù)治理工作。確保數(shù)據(jù)系統(tǒng)的技術(shù)方案符合本領(lǐng)域的信息架構(gòu)，技術(shù)選擇能夠滿足數(shù)據(jù)發(fā)展中長(zhǎng)期的需求。三.數(shù)據(jù)治理度量評(píng)論體系3.1數(shù)據(jù)治理實(shí)施方法論數(shù)據(jù)治理實(shí)施方法論按照數(shù)據(jù)治理成熟度評(píng)估->評(píng)估現(xiàn)狀、確定目標(biāo)、分析差距->計(jì)劃制定、計(jì)劃執(zhí)行->持續(xù)監(jiān)測(cè)度量演進(jìn)的關(guān)鍵實(shí)施方法形成數(shù)據(jù)治理實(shí)施閉環(huán)流程。圖3

:

數(shù)據(jù)治理實(shí)施方法論這也遵循了PDCA（Plan-Do-Check-Action）循環(huán)的科學(xué)程序，結(jié)合數(shù)據(jù)治理工作的特點(diǎn)設(shè)計(jì)了兩個(gè)層面的度量評(píng)估：度量評(píng)估工具度量評(píng)估對(duì)象度量評(píng)估方法度量評(píng)估頻次數(shù)據(jù)治理成熟度評(píng)估企業(yè)整體調(diào)查問(wèn)卷年度數(shù)據(jù)治理評(píng)分卡各業(yè)務(wù)及IT部門(mén)數(shù)據(jù)治理工作組與各業(yè)務(wù)及IT部門(mén)共同打分季度兩個(gè)層面的數(shù)據(jù)治理度量評(píng)估工具通過(guò)年度的整體數(shù)據(jù)治理成熟度評(píng)估，了解各維度數(shù)據(jù)治理現(xiàn)狀，并制定可操作性目標(biāo)，分析差距，制定切實(shí)可行的計(jì)劃，在推進(jìn)落實(shí)計(jì)劃的過(guò)程中，利用季度性實(shí)施的數(shù)據(jù)治理評(píng)分卡，針對(duì)性地監(jiān)測(cè)度量各業(yè)務(wù)/IT部門(mén)的數(shù)據(jù)治理情況，持續(xù)推進(jìn)各部門(mén)的數(shù)據(jù)治理水平提升，進(jìn)而提高整體數(shù)據(jù)治理成熟度。年度進(jìn)行的整體數(shù)據(jù)治理成熟度評(píng)估，可以結(jié)合主觀及客觀調(diào)查度量，綜合反映企業(yè)當(dāng)前數(shù)據(jù)治理成熟度水平，幫助制定切實(shí)可行的數(shù)據(jù)治理整體目標(biāo)。季度性實(shí)施的數(shù)據(jù)治理評(píng)分卡是一個(gè)重要的工具手段，從一些關(guān)鍵核心維度進(jìn)行季度性迭代評(píng)分，持續(xù)促進(jìn)所有部門(mén)數(shù)據(jù)治理工作的落實(shí)提升。3.2數(shù)據(jù)治理度量維度數(shù)據(jù)治理成熟度評(píng)估使用調(diào)查問(wèn)卷方式，包括11個(gè)治理模塊，60多個(gè)調(diào)查問(wèn)卷事項(xiàng)，全方面多維度度量了數(shù)據(jù)治理工作的水平。數(shù)據(jù)治理評(píng)分卡使用評(píng)分卡形式，由數(shù)據(jù)治理組織和各業(yè)務(wù)IT部門(mén)共同針對(duì)各部門(mén)自身數(shù)據(jù)治理情況進(jìn)行打分。評(píng)分卡是季度性打分，作為一個(gè)工具手段持續(xù)推動(dòng)促進(jìn)各部門(mén)的數(shù)據(jù)治理工作，改進(jìn)數(shù)據(jù)質(zhì)量，提升數(shù)據(jù)治理水平。圖4:

數(shù)據(jù)治理評(píng)分卡3.3數(shù)據(jù)治理度量評(píng)分規(guī)則數(shù)據(jù)治理成熟度評(píng)估分5個(gè)級(jí)別：級(jí)別1是最低級(jí)別，數(shù)據(jù)治理處于初始級(jí)別，空白狀態(tài)，沒(méi)有相關(guān)流程及數(shù)據(jù)治理管控。級(jí)別2是開(kāi)始管理級(jí)別，仍處于匱乏狀態(tài)，沒(méi)有形成正式一致的數(shù)據(jù)治理方法。級(jí)別3是明確定義級(jí)別，處于可改進(jìn)狀態(tài)，已經(jīng)形成了主動(dòng)治理的流程和正式一致的數(shù)據(jù)治理方法。級(jí)別4是量化管理級(jí)別，已經(jīng)步入適宜匹配狀態(tài)，貫穿組織采用的正式一致的數(shù)據(jù)治理方法都是可量化管控的。級(jí)別5是最高級(jí)別，專(zhuān)注于持續(xù)優(yōu)化提升，已經(jīng)步入卓越狀態(tài)。

圖5:

數(shù)據(jù)治理成熟度級(jí)別分層數(shù)據(jù)治理評(píng)分卡對(duì)各維度度量是按5分制進(jìn)行評(píng)分，每一個(gè)度量細(xì)項(xiàng)只有得分0或得分1，如果滿足度量細(xì)項(xiàng)要求得分1，否則得分0。圖6:

數(shù)據(jù)治理評(píng)分卡數(shù)據(jù)執(zhí)行維度度量評(píng)分計(jì)算范例如上示例，針對(duì)流程7.10交付項(xiàng)目管理，數(shù)據(jù)執(zhí)行維度有6個(gè)度量細(xì)項(xiàng)，則這一度量維度的總體得分就是SUM(度量細(xì)項(xiàng)得分)*5/6。所以這一度量維度的實(shí)際得分就是(1+1+1+0+0+1)*5/6=3.3。四.DAYU方法論產(chǎn)品落地DAYU數(shù)據(jù)治理方法論已經(jīng)在華為云云服務(wù)數(shù)據(jù)治理中心DataArtsStudio上落地實(shí)現(xiàn)，包括流程落地和功能落地。流程落地是指有一套詳細(xì)的流程規(guī)范（需求、設(shè)計(jì)、實(shí)施、驗(yàn)證、發(fā)布等階段）指導(dǎo)用戶使用DataArtsStudio開(kāi)展數(shù)據(jù)治理工作；功能落地是指DataArtsStudio平臺(tái)提供自動(dòng)化、智能化的工具幫助用戶高效完成數(shù)據(jù)治理工作。DAYU數(shù)據(jù)治理方法論還有完全版本，詳細(xì)描述了流程落地和功能落地內(nèi)容?？赏ㄟ^(guò)《華為數(shù)據(jù)之道》圖書(shū)進(jìn)行深入了解圖7:

方法論流程落地圖8:

方法論功能落地最佳實(shí)踐:

數(shù)據(jù)治理中心一.什么是數(shù)據(jù)治理中心DataArtsStudio1.1企業(yè)數(shù)字化轉(zhuǎn)型面臨的挑戰(zhàn)企業(yè)在進(jìn)行數(shù)據(jù)管理時(shí)，通常會(huì)遇到下列挑戰(zhàn)。數(shù)據(jù)治理的挑戰(zhàn)缺乏企業(yè)數(shù)據(jù)體系標(biāo)準(zhǔn)和數(shù)據(jù)規(guī)范定義的方法論，數(shù)據(jù)語(yǔ)言不統(tǒng)一。缺乏面向普通業(yè)務(wù)人員的高效、準(zhǔn)確的數(shù)據(jù)搜索工具，數(shù)據(jù)找不到。缺乏技術(shù)元數(shù)據(jù)與業(yè)務(wù)元數(shù)據(jù)的關(guān)聯(lián)，數(shù)據(jù)讀不懂。缺乏數(shù)據(jù)的質(zhì)量管控和評(píng)估手段，數(shù)據(jù)不可信。數(shù)據(jù)運(yùn)營(yíng)的挑戰(zhàn)數(shù)據(jù)運(yùn)營(yíng)效率低，業(yè)務(wù)環(huán)境的快速變化帶來(lái)大量多樣化的數(shù)據(jù)分析報(bào)表需求，因?yàn)槿狈Ω咝У臄?shù)據(jù)運(yùn)營(yíng)工具平臺(tái)，數(shù)據(jù)開(kāi)發(fā)周期長(zhǎng)、效率低，不能滿足業(yè)務(wù)運(yùn)營(yíng)決策人員的訴求。數(shù)據(jù)運(yùn)營(yíng)成本高，數(shù)據(jù)未服務(wù)化，導(dǎo)致數(shù)據(jù)拷貝多、數(shù)據(jù)口徑不一致，同時(shí)數(shù)據(jù)重復(fù)開(kāi)發(fā)，造成資源浪費(fèi)。數(shù)據(jù)創(chuàng)新的挑戰(zhàn)企業(yè)內(nèi)部存在大量數(shù)據(jù)孤島，導(dǎo)致數(shù)據(jù)不共享、不流通，無(wú)法實(shí)現(xiàn)跨領(lǐng)域的數(shù)據(jù)分析與數(shù)據(jù)創(chuàng)新。數(shù)據(jù)的應(yīng)用還停留在數(shù)據(jù)分析報(bào)表階段，缺乏基于數(shù)據(jù)反哺業(yè)務(wù)推動(dòng)業(yè)務(wù)創(chuàng)新的解決方案。1.2什么是DataArtsStudio？數(shù)據(jù)治理中心DataArtsStudio是為了應(yīng)對(duì)上述挑戰(zhàn)、針對(duì)企業(yè)數(shù)字化運(yùn)營(yíng)訴求提供的數(shù)據(jù)全生命周期管理、具有智能數(shù)據(jù)管理能力的一站式治理運(yùn)營(yíng)平臺(tái)，包含數(shù)據(jù)集成、數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)架構(gòu)、數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)服務(wù)、數(shù)據(jù)安全等功能，支持行業(yè)知識(shí)庫(kù)智能化建設(shè)，支持大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)計(jì)算分析引擎等數(shù)據(jù)底座，幫助企業(yè)快速構(gòu)建從數(shù)據(jù)接入到數(shù)據(jù)分析的端到端智能數(shù)據(jù)系統(tǒng)，消除數(shù)據(jù)孤島，統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，加快數(shù)據(jù)變現(xiàn)，實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型。產(chǎn)品架構(gòu)如圖1所示。

圖9:

產(chǎn)品架構(gòu)如圖所示，DataArtsStudio基于數(shù)據(jù)湖底座，提供數(shù)據(jù)集成、開(kāi)發(fā)、治理、開(kāi)放等能力。DataArtsStudio支持對(duì)接所有華為云的數(shù)據(jù)湖與數(shù)據(jù)庫(kù)云服務(wù)作為數(shù)據(jù)湖底座，例如MRSHive、數(shù)據(jù)倉(cāng)庫(kù)服務(wù)DWS等，也支持對(duì)接企業(yè)傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)，例如Oracle、Greenplum等。DataArtsStudio包含如下功能組件：管理中心提供DataArtsStudio數(shù)據(jù)連接管理的能力，將DataArtsStudio與數(shù)據(jù)湖底座進(jìn)行對(duì)接，用于數(shù)據(jù)開(kāi)發(fā)與數(shù)據(jù)治理等活動(dòng)。數(shù)據(jù)集成數(shù)據(jù)集成提供20+簡(jiǎn)單易用的遷移能力和多種數(shù)據(jù)源到數(shù)據(jù)湖的集成能力，全向?qū)脚渲煤凸芾?，支持單表、整?kù)、增量、周期性數(shù)據(jù)集成。數(shù)據(jù)架構(gòu)作為數(shù)據(jù)治理的一個(gè)核心模塊，承擔(dān)數(shù)據(jù)治理過(guò)程中的數(shù)據(jù)加工并業(yè)務(wù)化的功能，提供智能數(shù)據(jù)規(guī)劃、自定義主題數(shù)據(jù)模型、統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)、可視化數(shù)據(jù)建模、標(biāo)注數(shù)據(jù)標(biāo)簽等功能，有利于改善數(shù)據(jù)質(zhì)量，有效支撐經(jīng)營(yíng)決策。數(shù)據(jù)開(kāi)發(fā)大數(shù)據(jù)開(kāi)發(fā)環(huán)境，降低用戶使用大數(shù)據(jù)的門(mén)檻，幫助用戶快速構(gòu)建大數(shù)據(jù)處理中心。支持?jǐn)?shù)據(jù)建模、數(shù)據(jù)集成、腳本開(kāi)發(fā)、工作流編排等操作，輕松完成整個(gè)數(shù)據(jù)的處理分析流程。數(shù)據(jù)質(zhì)量數(shù)據(jù)全生命周期管控，數(shù)據(jù)處理全流程質(zhì)量監(jiān)控，異常事件實(shí)時(shí)通知。數(shù)據(jù)目錄提供企業(yè)級(jí)的元數(shù)據(jù)管理，厘清信息資產(chǎn)。通過(guò)數(shù)據(jù)地圖，實(shí)現(xiàn)數(shù)據(jù)血緣和數(shù)據(jù)全景可視，提供數(shù)據(jù)智能搜索和運(yùn)營(yíng)監(jiān)控。數(shù)據(jù)服務(wù)數(shù)據(jù)服務(wù)定位于標(biāo)準(zhǔn)化的數(shù)據(jù)服務(wù)平臺(tái)，提供一站式數(shù)據(jù)服務(wù)開(kāi)發(fā)、測(cè)試部署能力，實(shí)現(xiàn)數(shù)據(jù)服務(wù)敏捷響應(yīng)，降低數(shù)據(jù)獲取難度，提升數(shù)據(jù)消費(fèi)體驗(yàn)和效率，最終實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的變現(xiàn)。數(shù)據(jù)安全數(shù)據(jù)安全為數(shù)據(jù)治理中心提供數(shù)據(jù)生命周期內(nèi)統(tǒng)一的數(shù)據(jù)使用保護(hù)能力。通過(guò)敏感數(shù)據(jù)識(shí)別、分級(jí)分類(lèi)、隱私保護(hù)、資源權(quán)限控制、數(shù)據(jù)加密傳輸、加密存儲(chǔ)、數(shù)據(jù)風(fēng)險(xiǎn)識(shí)別等措施，幫助用戶建立安全預(yù)警機(jī)制，增強(qiáng)整體安全防護(hù)能力，讓數(shù)據(jù)可用不可得和安全合規(guī)。二.產(chǎn)品功能2.1數(shù)據(jù)集成：多種方式異構(gòu)數(shù)據(jù)源高效接入數(shù)據(jù)集成提供30+同構(gòu)/異構(gòu)數(shù)據(jù)源之間數(shù)據(jù)集成的功能，幫助您實(shí)現(xiàn)數(shù)據(jù)自由流動(dòng)。支持自建和云上的文件系統(tǒng)，關(guān)系數(shù)據(jù)庫(kù)，數(shù)據(jù)倉(cāng)庫(kù)，NoSQL，大數(shù)據(jù)云服務(wù)，對(duì)象存儲(chǔ)等數(shù)據(jù)源。數(shù)據(jù)集成基于分布式計(jì)算框架，利用并行化處理技術(shù)，支持用戶穩(wěn)定高效地對(duì)海量數(shù)據(jù)進(jìn)行移動(dòng)，實(shí)現(xiàn)不停服數(shù)據(jù)遷移，快速構(gòu)建所需的數(shù)據(jù)架構(gòu)。圖10:

數(shù)據(jù)集成數(shù)據(jù)集成提供全向?qū)饺蝿?wù)管理界面，幫助用戶在幾分鐘內(nèi)完成數(shù)據(jù)遷移任務(wù)的創(chuàng)建，輕松應(yīng)對(duì)復(fù)雜遷移場(chǎng)景。數(shù)據(jù)集成支持的功能主要有：表/文件/整庫(kù)遷移支持批量遷移表或者文件，還支持同構(gòu)/異構(gòu)數(shù)據(jù)庫(kù)之間整庫(kù)遷移，一個(gè)作業(yè)即可遷移幾百?gòu)埍?。增量?shù)據(jù)遷移支持文件增量遷移、關(guān)系型數(shù)據(jù)庫(kù)增量遷移、HBase增量遷移，以及使用Where條件配合時(shí)間變量函數(shù)實(shí)現(xiàn)增量數(shù)據(jù)遷移。事務(wù)模式遷移支持當(dāng)遷移作業(yè)執(zhí)行失敗時(shí)，將數(shù)據(jù)回滾到作業(yè)開(kāi)始之前的狀態(tài)，自動(dòng)清理目的表中的數(shù)據(jù)。字段轉(zhuǎn)換支持去隱私、字符串操作、日期操作等常用字段的數(shù)據(jù)轉(zhuǎn)換功能。文件加密在遷移文件到文件系統(tǒng)時(shí)，數(shù)據(jù)集成支持對(duì)寫(xiě)入云端的文件進(jìn)行加密。MD5校驗(yàn)一致性支持使用MD5校驗(yàn)，檢查端到端文件的一致性，并輸出校驗(yàn)結(jié)果。臟數(shù)據(jù)歸檔支持將遷移過(guò)程中處理失敗的、被清洗過(guò)濾掉的、不符合字段轉(zhuǎn)換或者不符合清洗規(guī)則的數(shù)據(jù)自動(dòng)歸檔到臟數(shù)據(jù)日志中，方便用戶分析異常數(shù)據(jù)。并支持設(shè)置臟數(shù)據(jù)比例閾值，來(lái)決定任務(wù)是否成功。2.2數(shù)據(jù)架構(gòu)：數(shù)據(jù)建模可視化、自動(dòng)化、智能化DataArtsStudio數(shù)據(jù)架構(gòu)踐行數(shù)據(jù)治理方法論，將數(shù)據(jù)治理行為可視化，打通數(shù)據(jù)基礎(chǔ)層到匯總層、集市層的數(shù)據(jù)處理鏈路，落地?cái)?shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)資產(chǎn)，通過(guò)關(guān)系建模、維度建模實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化，通過(guò)統(tǒng)一指標(biāo)平臺(tái)建設(shè)，實(shí)現(xiàn)規(guī)范化指標(biāo)體系，消除歧義、統(tǒng)一口徑、統(tǒng)一計(jì)算邏輯，對(duì)外提供主題式數(shù)據(jù)查詢(xún)與挖掘服務(wù)。圖11:

數(shù)據(jù)架構(gòu)DataArtsStudio數(shù)據(jù)架構(gòu)主要包括以下三個(gè)部分：主題設(shè)計(jì)構(gòu)建統(tǒng)一的數(shù)據(jù)分類(lèi)體系，用于目錄化管理所有業(yè)務(wù)數(shù)據(jù)，便于數(shù)據(jù)的歸類(lèi)，查找，評(píng)價(jià)，使用。通過(guò)分層架構(gòu)對(duì)數(shù)據(jù)分類(lèi)和定義，可幫助用戶厘清數(shù)據(jù)資產(chǎn)，明確業(yè)務(wù)領(lǐng)域和業(yè)務(wù)對(duì)象的關(guān)聯(lián)關(guān)系。數(shù)據(jù)標(biāo)準(zhǔn)構(gòu)建統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)體系，數(shù)據(jù)標(biāo)準(zhǔn)流程化、系統(tǒng)化。用戶可基于國(guó)家標(biāo)準(zhǔn)或行業(yè)標(biāo)準(zhǔn)，對(duì)每一行數(shù)據(jù)、每一個(gè)字段的具體取值進(jìn)行標(biāo)準(zhǔn)化，從而提升數(shù)據(jù)質(zhì)量和易用性。數(shù)據(jù)建模構(gòu)建統(tǒng)一的數(shù)據(jù)模型體系，通過(guò)規(guī)范定義和數(shù)據(jù)建模，自頂向下構(gòu)建企業(yè)數(shù)據(jù)分層體系，沉淀企業(yè)數(shù)據(jù)公共層和主題庫(kù)，便于數(shù)據(jù)的流通、共享、創(chuàng)造、創(chuàng)新，提升數(shù)據(jù)使用效率，極大的減少數(shù)據(jù)冗余，混亂，隔離，不一致以及謬誤等。DataArtsStudio數(shù)據(jù)架構(gòu)支持的數(shù)據(jù)建模方法有：關(guān)系建模關(guān)系建模是用實(shí)體關(guān)系（EntityRelationship，ER）模型描述企業(yè)業(yè)務(wù)，它在范式理論上符合3NF，出發(fā)點(diǎn)是整合數(shù)據(jù)，將各個(gè)系統(tǒng)中的數(shù)據(jù)以整個(gè)企業(yè)角度按主題進(jìn)行相似性組合和合并，并進(jìn)行一致性處理，為數(shù)據(jù)分析決策服務(wù)，但是并不能直接用于分析決策。維度建模維度建模是以維度建模理論為基礎(chǔ)，構(gòu)建總線矩陣、抽象出事實(shí)和維度，構(gòu)建維度模型和事實(shí)模型，同時(shí)對(duì)報(bào)表需求進(jìn)行抽象整理出相關(guān)指標(biāo)體系，構(gòu)建出匯總模型。2.3數(shù)據(jù)開(kāi)發(fā)：一站式協(xié)同開(kāi)發(fā)平臺(tái)DataArtsStudio數(shù)據(jù)開(kāi)發(fā)是一個(gè)一站式敏捷大數(shù)據(jù)開(kāi)發(fā)平臺(tái)，提供可視化的圖形開(kāi)發(fā)界面、豐富的數(shù)據(jù)開(kāi)發(fā)類(lèi)型（腳本開(kāi)發(fā)和作業(yè)開(kāi)發(fā)）、全托管的作業(yè)調(diào)度和運(yùn)維監(jiān)控能力，內(nèi)置行業(yè)數(shù)據(jù)處理pipeline，一鍵式開(kāi)發(fā)，全流程可視化，支持多人在線協(xié)同開(kāi)發(fā)，支持管理多種大數(shù)據(jù)云服務(wù)，極大地降低了用戶使用大數(shù)據(jù)的門(mén)檻，幫助用戶快速構(gòu)建大數(shù)據(jù)處理中心。圖12:

數(shù)據(jù)開(kāi)發(fā)模塊架構(gòu)數(shù)據(jù)開(kāi)發(fā)支持?jǐn)?shù)據(jù)管理、腳本開(kāi)發(fā)、作業(yè)開(kāi)發(fā)、資源管理、作業(yè)調(diào)度、運(yùn)維監(jiān)控等操作，幫助用戶輕松完成整個(gè)數(shù)據(jù)的處理分析流程。數(shù)據(jù)管理支持管理DWS、DLI、MRSHive等多種數(shù)據(jù)倉(cāng)庫(kù)。支持可視化和DDL方式管理數(shù)據(jù)庫(kù)表。腳本開(kāi)發(fā)提供在線腳本編輯器，支持多人協(xié)作進(jìn)行SQL、Shell、Python腳本在線代碼開(kāi)發(fā)和調(diào)測(cè)。支持使用變量。作業(yè)開(kāi)發(fā)提供圖形化設(shè)計(jì)器，支持拖拽式工作流開(kāi)發(fā)，快速構(gòu)建數(shù)據(jù)處理業(yè)務(wù)流水線。預(yù)設(shè)數(shù)據(jù)集成、SQL、Spark、Shell、機(jī)器學(xué)習(xí)等多種任務(wù)類(lèi)型，通過(guò)任務(wù)間依賴(lài)完成復(fù)雜數(shù)據(jù)分析處理。支持導(dǎo)入和導(dǎo)出作業(yè)。資源管理支持統(tǒng)一管理在腳本開(kāi)發(fā)和作業(yè)開(kāi)發(fā)使用到的file、jar、archive類(lèi)型的資源。作業(yè)調(diào)度支持單次調(diào)度、周期調(diào)度和事件驅(qū)動(dòng)調(diào)度，周期調(diào)度支持分鐘、小時(shí)、天、周、月多種調(diào)度周期。作業(yè)調(diào)度支持多種云服務(wù)的多種類(lèi)型的任務(wù)混合編排，高性能的調(diào)度引擎已經(jīng)經(jīng)過(guò)幾百個(gè)應(yīng)用的檢驗(yàn)。運(yùn)維監(jiān)控支持對(duì)作業(yè)進(jìn)行運(yùn)行、暫停、恢復(fù)、終止等多種操作。支持查看作業(yè)和其內(nèi)各任務(wù)節(jié)點(diǎn)的運(yùn)行詳情。支持配置多種方式報(bào)警，作業(yè)和任務(wù)發(fā)生錯(cuò)誤時(shí)可及時(shí)通知相關(guān)人，保證業(yè)務(wù)正常運(yùn)行。2.4數(shù)據(jù)質(zhì)量：可控可檢驗(yàn)數(shù)據(jù)質(zhì)量模塊支持對(duì)業(yè)務(wù)指標(biāo)和數(shù)據(jù)質(zhì)量進(jìn)行監(jiān)控，數(shù)據(jù)質(zhì)量可檢驗(yàn)，幫助用戶及時(shí)發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題。業(yè)務(wù)指標(biāo)監(jiān)控業(yè)務(wù)指標(biāo)監(jiān)控是對(duì)業(yè)務(wù)指標(biāo)數(shù)據(jù)進(jìn)行質(zhì)量管理的有效工具，可以靈活的創(chuàng)建業(yè)務(wù)指標(biāo)、業(yè)務(wù)規(guī)則和業(yè)務(wù)場(chǎng)景，實(shí)時(shí)、周期性進(jìn)行調(diào)度，滿足業(yè)務(wù)的數(shù)據(jù)質(zhì)量監(jiān)控需求。數(shù)據(jù)質(zhì)量監(jiān)控?cái)?shù)據(jù)質(zhì)量監(jiān)控是對(duì)數(shù)據(jù)庫(kù)里的數(shù)據(jù)質(zhì)量進(jìn)行質(zhì)量管理的工具，您可以配置數(shù)據(jù)質(zhì)量檢查規(guī)則，在線監(jiān)控?cái)?shù)據(jù)準(zhǔn)確性。數(shù)據(jù)質(zhì)量可以從完整性、有效性、及時(shí)性、一致性、準(zhǔn)確性、唯一性六個(gè)維度進(jìn)行單列、跨列、跨行和跨表的分析，也支持?jǐn)?shù)據(jù)的標(biāo)準(zhǔn)化，能夠根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)自動(dòng)生成標(biāo)準(zhǔn)化的質(zhì)量規(guī)則，支持周期性的監(jiān)控。圖4數(shù)據(jù)質(zhì)量規(guī)則體系

2.5數(shù)據(jù)資產(chǎn)管理：360度全鏈路數(shù)據(jù)資產(chǎn)可視化DataArtsStudio提供企業(yè)級(jí)的元數(shù)據(jù)管理，厘清信息資產(chǎn)。數(shù)據(jù)資產(chǎn)管理可視，支持鉆取、溯源等。通過(guò)數(shù)據(jù)地圖，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的數(shù)據(jù)血緣和數(shù)據(jù)全景可視，提供數(shù)據(jù)智能搜索和運(yùn)營(yíng)監(jiān)控。元數(shù)據(jù)管理元數(shù)據(jù)管理模塊是數(shù)據(jù)湖治理的基石，支持創(chuàng)建自定義策略的采集任務(wù)，可采集數(shù)據(jù)源中的技術(shù)元數(shù)據(jù)。支持自定義業(yè)務(wù)元模型，批量導(dǎo)入業(yè)務(wù)元數(shù)據(jù)，關(guān)聯(lián)業(yè)務(wù)和技術(shù)元數(shù)據(jù)、全鏈路的血緣管理和應(yīng)用。

圖5

全鏈路數(shù)據(jù)血緣數(shù)據(jù)地圖數(shù)據(jù)地圖圍繞數(shù)據(jù)搜索，服務(wù)于數(shù)據(jù)分析、數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)挖掘、數(shù)據(jù)運(yùn)營(yíng)等數(shù)據(jù)表的使用者和擁有者，提供方便快捷的數(shù)據(jù)搜索服務(wù)，擁有功能強(qiáng)大的血緣信息及影響分析。在數(shù)據(jù)地圖中，可通過(guò)關(guān)鍵詞搜索數(shù)據(jù)資產(chǎn)，支持模糊搜索，快速檢索，定位數(shù)據(jù)。使用數(shù)據(jù)地圖根據(jù)表名直接查看表詳情，快速查閱明細(xì)信息，掌握使用規(guī)則。獲得數(shù)據(jù)詳細(xì)信息后，可添加額外描述。通過(guò)數(shù)據(jù)地圖的血緣分析可以查看每個(gè)數(shù)據(jù)表的來(lái)源、去向，并查看每個(gè)表及字段的加工邏輯。對(duì)數(shù)據(jù)資產(chǎn)，可以從業(yè)務(wù)角度定義分類(lèi)或標(biāo)簽。2.6數(shù)據(jù)服務(wù)：提升訪問(wèn)查詢(xún)檢索效率DataArtsStudio數(shù)據(jù)服務(wù)旨在為企業(yè)搭建統(tǒng)一的數(shù)據(jù)服務(wù)總線，幫助企業(yè)統(tǒng)一管理對(duì)內(nèi)對(duì)外的API服務(wù)，支撐業(yè)務(wù)主題/畫(huà)像/指標(biāo)的訪問(wèn)、查詢(xún)和檢索，提升數(shù)據(jù)消費(fèi)體驗(yàn)和效率，最終實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的變現(xiàn)。數(shù)據(jù)服務(wù)為您提供快速將數(shù)據(jù)表生成數(shù)據(jù)API的能力，同時(shí)支持您將現(xiàn)有的API快速注冊(cè)到數(shù)據(jù)服務(wù)平臺(tái)以統(tǒng)一管理和發(fā)布。數(shù)據(jù)服務(wù)采用Serverless架構(gòu)，您只需關(guān)注API本身的查詢(xún)邏輯，無(wú)需關(guān)心運(yùn)行環(huán)境等基礎(chǔ)設(shè)施，數(shù)據(jù)服務(wù)會(huì)為您準(zhǔn)備好計(jì)算資源，并支持彈性擴(kuò)展，零運(yùn)維成本。圖13:

數(shù)據(jù)服務(wù)架構(gòu)圖2.7數(shù)據(jù)安全：全方位安全保障網(wǎng)絡(luò)安全基于網(wǎng)絡(luò)隔離、安全組規(guī)則以及一系列安全加固項(xiàng)，實(shí)現(xiàn)租戶隔離和訪問(wèn)權(quán)限控制，保護(hù)系統(tǒng)和用戶的隱私及數(shù)據(jù)安全。用戶權(quán)限策略基于角色的訪問(wèn)控制，用戶通過(guò)角色與權(quán)限進(jìn)行關(guān)聯(lián)，并支持細(xì)粒度權(quán)限策略，可滿足不同的授權(quán)需求。針對(duì)不同的用戶，DataArtsStudio提供了管理者、開(kāi)發(fā)者、運(yùn)維者、訪問(wèn)者四種不同的角色，各個(gè)角色擁有不同的權(quán)限。數(shù)據(jù)安全針對(duì)數(shù)據(jù)架構(gòu)、數(shù)據(jù)服務(wù)等關(guān)鍵流程，DataArtsStudio提供了審核流程。數(shù)據(jù)的分級(jí)分類(lèi)管理，數(shù)據(jù)的全生命周期管理，保證數(shù)據(jù)的隱私合規(guī)、可回溯。三.產(chǎn)品優(yōu)勢(shì)3.1一站式數(shù)據(jù)運(yùn)營(yíng)平臺(tái)貫穿數(shù)據(jù)全流程的一站式治理運(yùn)營(yíng)平臺(tái)，提供全域數(shù)據(jù)集成、標(biāo)準(zhǔn)數(shù)據(jù)架構(gòu)、連接并萃取數(shù)據(jù)價(jià)值、全流程數(shù)據(jù)質(zhì)量監(jiān)控、統(tǒng)一數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)開(kāi)發(fā)服務(wù)等，幫助企業(yè)構(gòu)建完整的數(shù)據(jù)中臺(tái)解決方案。3.2全鏈路數(shù)據(jù)治理管控?cái)?shù)據(jù)全生命周期管控，提供數(shù)據(jù)架構(gòu)定義及可視化的模型設(shè)計(jì)，智能化的幫助用戶生成數(shù)據(jù)處理代碼，數(shù)據(jù)處理全流程質(zhì)量監(jiān)控，異常事件實(shí)時(shí)通知。3.3豐富的數(shù)據(jù)開(kāi)發(fā)類(lèi)型支持多人在線協(xié)作開(kāi)發(fā)，腳本開(kāi)發(fā)可支持SQL、Shell在線編輯、實(shí)時(shí)查詢(xún)；作業(yè)開(kāi)發(fā)可支持CDM、SQL、MRS、Shell、Spark等多種數(shù)據(jù)處理節(jié)點(diǎn)，提供豐富的調(diào)度配置