2023數(shù)據(jù)治理實踐白皮書

數(shù)據(jù)治理行業(yè)實踐白皮書（2023）袋鼠云數(shù)據(jù)治理行業(yè)實踐白皮書（2023袋鼠云數(shù)據(jù)治理行業(yè)實踐白皮書（2023）目錄一、數(shù)據(jù)治理是數(shù)字化轉(zhuǎn)型的必經(jīng)之路 1（一）數(shù)字全球化催生數(shù)字治理需求 1（二）中國數(shù)字時代治理新范式 2二、數(shù)據(jù)治理概念 3（一）DAMA體系 4（二）信通院數(shù)據(jù)治理服務(wù)商成熟度模型（DGS） 5（三）國家標(biāo)準(zhǔn)：數(shù)據(jù)治理規(guī)范 7（四）數(shù)據(jù)中臺 7（五）數(shù)據(jù)治理與數(shù)據(jù)中臺 8三、數(shù)據(jù)治理目標(biāo)與價值 9（一）構(gòu)建數(shù)據(jù)標(biāo)準(zhǔn)體系 9（二）提升數(shù)據(jù)質(zhì)量 10（三）推動數(shù)據(jù)安全體系建設(shè) 10（四）推動數(shù)據(jù)資產(chǎn)體系建設(shè)與管理 11（五）推動數(shù)據(jù)管理組織體系建設(shè) 11（六）促進數(shù)據(jù)應(yīng)用及共享 12四、數(shù)據(jù)治理方法論 12（一）數(shù)據(jù)治理架構(gòu) 12（二）數(shù)據(jù)治理模式 14數(shù)據(jù)治理模式介紹 14數(shù)據(jù)治理模式對比 16數(shù)據(jù)治理模式選擇 17（三）數(shù)據(jù)治理實施路徑 19（四）數(shù)據(jù)治理項目交付步驟 21項目交付組織建議 21項目交付步驟 22項目交付成果 23五、數(shù)據(jù)治理保障體系 24（一）組織體系保障 24（二）制度體系保障 25六、數(shù)據(jù)治理平臺工具 27（一）數(shù)據(jù)治理平臺工具全景圖 27（二）袋鼠云數(shù)據(jù)治理管理平臺 28數(shù)據(jù)模型 29數(shù)據(jù)開發(fā) 31數(shù)據(jù)安全 33數(shù)據(jù)標(biāo)準(zhǔn) 35元數(shù)據(jù)管理 38數(shù)據(jù)質(zhì)量 44數(shù)據(jù)服務(wù) 47七、數(shù)據(jù)治理行業(yè)實踐 51（一）金融行業(yè)數(shù)據(jù)治理實踐 51銀行機構(gòu)數(shù)據(jù)治理實踐 51證券公司數(shù)據(jù)治理實踐 56基金公司數(shù)據(jù)治理實踐 64（二）集團型企業(yè)數(shù)據(jù)治理實踐 70某央企數(shù)據(jù)治理實踐案例 70某旅游投資集團數(shù)據(jù)治理實踐案例 74某控股集團數(shù)據(jù)治理實踐案例 79（三）制造行業(yè)數(shù)據(jù)治理實踐 84某汽車制造企業(yè)數(shù)據(jù)治理實踐案例 84某芯片制造企業(yè)數(shù)據(jù)治理實踐案例 90某半導(dǎo)體企業(yè)數(shù)據(jù)治理實踐案例 94（四）政務(wù)領(lǐng)域數(shù)據(jù)治理實踐 98某市住建局?jǐn)?shù)據(jù)治理實踐案例 98某高鐵樞紐站數(shù)據(jù)治理實踐案例 103某市數(shù)據(jù)治理實踐案例 108（五）港口行業(yè)數(shù)據(jù)治理實踐 111某大型港口數(shù)據(jù)治理實踐案例 111某碼頭數(shù)據(jù)治理實踐案例 126（六）教育行業(yè)數(shù)據(jù)治理實踐 1311．某高校數(shù)據(jù)治理實踐案例 131袋鼠云數(shù)據(jù)治理行業(yè)實踐白皮書（2023袋鼠云數(shù)據(jù)治理行業(yè)實踐白皮書（2023）第第1頁一、數(shù)據(jù)治理是數(shù)字化轉(zhuǎn)型的必經(jīng)之路（一）數(shù)字全球化催生數(shù)字治理需求表1技術(shù)革命與經(jīng)濟全球化資料來源：《全球數(shù)字治理白皮書（2022年）》但是，數(shù)字全球化為全球經(jīng)濟發(fā)展提供新動能的同時，也引發(fā)了數(shù)據(jù)安全、1中國信息通信研究院《全球數(shù)字治理白皮書（2022年）》袋鼠云數(shù)據(jù)治理行業(yè)實踐白皮書（2023袋鼠云數(shù)據(jù)治理行業(yè)實踐白皮書（2023）第2頁些都在催生數(shù)字治理需求?；诖?，信通院在《全球數(shù)字治理白皮書（2022）》首次嘗試提出全球規(guī)則、標(biāo)準(zhǔn)、程序及執(zhí)行機制的過程。圖1全球數(shù)字治理體系框架資料來源：《全球數(shù)字治理白皮書（2022年）》（二）中國數(shù)字時代治理新范式袋鼠云數(shù)據(jù)治理行業(yè)實踐白皮書（2023袋鼠云數(shù)據(jù)治理行業(yè)實踐白皮書（2023）第第3頁新應(yīng)用，加快推動數(shù)字產(chǎn)業(yè)化，推進產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型。字化轉(zhuǎn)型，既為市場增效，又為企業(yè)社會賦權(quán)。管理、用數(shù)據(jù)創(chuàng)新”的治理機制。二、數(shù)據(jù)治理概念二十大報告實現(xiàn)業(yè)務(wù)數(shù)據(jù)化、數(shù)據(jù)價值化，助力企業(yè)數(shù)字化轉(zhuǎn)型。那么何為數(shù)據(jù)治理？數(shù)據(jù)治理包含哪些模塊？本章將結(jié)合目前市面上比較主流的幾個體系進行闡述。（一）DAMA體系（DataManagementAssociationDAMAInternational，以下簡稱“DAMA”）在其《DAMA（2版）控制和共享決策（規(guī)劃、監(jiān)測和執(zhí)行）的系列活動2。此外，DAMA2DAMA資料來源：《DAMA數(shù)據(jù)管理知識體系指南（第2版）》DAMA進行數(shù)據(jù)資產(chǎn)的評估都缺少具體的描述。2數(shù)據(jù)管理協(xié)會（DAMA國際）:《DAMA數(shù)據(jù)管理知識體系指南》,機械工業(yè)出版社2020年版（二）信通院數(shù)據(jù)治理服務(wù)商成熟度模型（DGS）數(shù)據(jù)治理服務(wù)商成熟度模型（DGS）6216求等，明確數(shù)據(jù)治理目標(biāo)和范圍，并評估實施數(shù)據(jù)治理可行性；理，確保數(shù)據(jù)治理項目的順利實施，降低風(fēng)險和成本；系和設(shè)計文檔，形成滿足甲方需求的數(shù)據(jù)治理體系；方案實施能力域提供方通過依托相關(guān)平臺工具，實現(xiàn)方案的落地；2圖3數(shù)據(jù)治理服務(wù)能力成熟度模型資料來源：《DAMA數(shù)據(jù)管理知識體系指南（第2版）》DGS從服務(wù)商的角度出發(fā)，對數(shù)據(jù)治理的方方面面進行了解釋，給出了模型實現(xiàn)部分?jǐn)?shù)據(jù)治理工作，DGS截至目前，DGS2DGS。整體來看，數(shù)據(jù)標(biāo)準(zhǔn)等能力項。圖4信通院數(shù)據(jù)治理服務(wù)商成熟度評估（三）國家標(biāo)準(zhǔn)：數(shù)據(jù)治理規(guī)范5（GB/T34960.5-2018）合、分析、應(yīng)用、呈現(xiàn)、歸檔和銷毀過程中，提出數(shù)據(jù)治理的相關(guān)規(guī)范3。及數(shù)據(jù)治理過程的要求，從而實現(xiàn)運營合規(guī)、風(fēng)險可控和價值實現(xiàn)的目標(biāo)。（四）數(shù)據(jù)中臺人工智能、大數(shù)據(jù)等技術(shù)發(fā)展和企業(yè)數(shù)字化轉(zhuǎn)型加速的雙重驅(qū)動下，201920224；廣義來看，數(shù)據(jù)中臺是一套運用數(shù)據(jù)推動企業(yè)數(shù)字化轉(zhuǎn)型升級的機制和方法論。3《信息技術(shù)服務(wù)治理第5部分：數(shù)據(jù)治理規(guī)范》（GB/T34960.5-2018）4艾瑞咨詢《2022年中國數(shù)據(jù)中臺行業(yè)研究報告》圖5數(shù)據(jù)中臺核心架構(gòu)圖資料來源：艾瑞咨詢《2022年中國數(shù)據(jù)中臺行業(yè)研究報告》全國首個數(shù)據(jù)中臺團體標(biāo)準(zhǔn)《數(shù)據(jù)中臺元數(shù)據(jù)規(guī)范》（T/ZAII035-2022）實現(xiàn)數(shù)據(jù)匯聚、治理、運營的架構(gòu)5。這與艾瑞咨詢的觀點不謀而合。實施方法論支撐，構(gòu)建的一套持續(xù)不斷把數(shù)據(jù)變成資產(chǎn)并服務(wù)于業(yè)務(wù)的機制。（五）數(shù)據(jù)治理與數(shù)據(jù)中臺復(fù)用能力，靈活高效地解決數(shù)據(jù)應(yīng)用需求。5《數(shù)據(jù)中臺元數(shù)據(jù)規(guī)范》（T/ZAII035-2022）不涉及的數(shù)據(jù)應(yīng)用領(lǐng)域。換言之，數(shù)據(jù)中臺真正實現(xiàn)了企業(yè)內(nèi)部數(shù)據(jù)的閉環(huán)。為可以從頂層設(shè)計、專題及工具、數(shù)據(jù)應(yīng)用三項核心內(nèi)容入手。圖6袋鼠云數(shù)據(jù)治理框架圖三、數(shù)據(jù)治理目標(biāo)與價值（一）構(gòu)建數(shù)據(jù)標(biāo)準(zhǔn)體系袋鼠云數(shù)據(jù)治理行業(yè)實踐白皮書（2023袋鼠云數(shù)據(jù)治理行業(yè)實踐白皮書（2023）第第10頁范有效依據(jù)。（二）提升數(shù)據(jù)質(zhì)量高質(zhì)量的數(shù)據(jù)對管理決策，業(yè)務(wù)支撐都有極其重要的作用。務(wù)系統(tǒng)、提供數(shù)據(jù)服務(wù)、發(fā)揮數(shù)據(jù)價值的必要前提。（三）推動數(shù)據(jù)安全體系建設(shè)必要環(huán)節(jié)。來的風(fēng)險。（四）推動數(shù)據(jù)資產(chǎn)體系建設(shè)與管理體系與數(shù)據(jù)服務(wù)能力。（五）推動數(shù)據(jù)管理組織體系建設(shè)IT數(shù)據(jù)治理各項任務(wù)的有效執(zhí)行。治理制度文化的建立和傳播。（六）促進數(shù)據(jù)應(yīng)用及共享規(guī)范的自助消費數(shù)據(jù)應(yīng)用。間的溝通與合作，加強參與組織之間的聯(lián)系等益處。四、袋鼠云數(shù)據(jù)治理新范式（一）數(shù)據(jù)治理架構(gòu)ITIT圖7袋鼠云數(shù)據(jù)治理框架圖IT規(guī)劃，實現(xiàn)組織數(shù)字化轉(zhuǎn)型，固化管理機制及流程體系。據(jù)治理及數(shù)據(jù)應(yīng)用互為動力，共同推動企業(yè)數(shù)字化轉(zhuǎn)型的實現(xiàn)。圖8數(shù)據(jù)治理藍(lán)圖架構(gòu)示例（二）數(shù)據(jù)治理模式數(shù)據(jù)治理模式介紹8證明，通常數(shù)據(jù)治理模式包括三種基本模式。模式一：自下而上，以數(shù)據(jù)架構(gòu)為重，開展數(shù)據(jù)治理。技術(shù)型企業(yè)，或政府機構(gòu)，或新建、自研系統(tǒng)較多的企業(yè)。模式二：自上而下，以明確的數(shù)據(jù)應(yīng)用為重，開展數(shù)據(jù)治理。行數(shù)據(jù)治理。石。據(jù)資產(chǎn)的未來開展數(shù)據(jù)治理。圖9數(shù)據(jù)治理三大基礎(chǔ)模式&地闡述數(shù)據(jù)價值，整體可行性較高。&于高風(fēng)險高收益模式，需要企業(yè)高戰(zhàn)略、高執(zhí)行的推進落地。圖10數(shù)據(jù)治理組合模式數(shù)據(jù)治理模式對比三大數(shù)據(jù)治理模式開展方式、適用場景、優(yōu)劣勢、資源投入各不相同。模式一，自下而上，切入方便，成本可控，重架構(gòu)，但脫離應(yīng)用，對執(zhí)行團隊架構(gòu)能力要求較高，成效慢；模式二，自上而下，目的明確，切入方便，成本可控，重應(yīng)用，但輕治理，容易造成面子工程，出現(xiàn)重復(fù)治理的風(fēng)險；數(shù)據(jù)治理三大模式對比如下表所示：表2數(shù)據(jù)治理三大模式對比數(shù)據(jù)治理模式選擇不同的數(shù)據(jù)治理模式，對企業(yè)的數(shù)據(jù)治理水平、組織協(xié)同程度要求不同。（（度。這種模式對組織協(xié)同度要求相對較低，主要靠數(shù)據(jù)治理團隊推動進行。以需求為主，對數(shù)據(jù)治理的水平要求一般。（將企業(yè)數(shù)據(jù)治理水平推向一個新水平，同時完成數(shù)字化組織的轉(zhuǎn)型。&模式三的組合模式對組織協(xié)同性、數(shù)據(jù)治理水平要求最高。圖11各數(shù)據(jù)治理模式圖狀，選擇當(dāng)下最合適的數(shù)據(jù)治理模式。圖12數(shù)據(jù)治理PDCA循環(huán)機制（三）數(shù)據(jù)治理實施路徑企業(yè)數(shù)據(jù)治理實施路徑通常包含三個階段。6美.質(zhì)量管理專家沃特·阿曼德·休哈特（WalterA.Shewhart）首次提出第二階段：深入拓展階段，數(shù)據(jù)賦能常態(tài)化階段。這個階段數(shù)據(jù)應(yīng)用成為重點，企業(yè)開始深挖數(shù)據(jù)價值，提高數(shù)據(jù)應(yīng)用覆蓋。KPI臺、數(shù)據(jù)治理平臺工具等實現(xiàn)智能管理，企業(yè)數(shù)據(jù)思維認(rèn)知全面提升。第三階段：智能應(yīng)用階段，運營決策智慧化階段。探索數(shù)字業(yè)務(wù)，開啟新篇章。這個階段以智能應(yīng)用為主，AI圖13數(shù)據(jù)治理實施路徑三大階段（四）數(shù)據(jù)治理項目交付步驟項目交付組織建議專業(yè)的交付團隊，是項目成功的關(guān)鍵，依托于專業(yè)的數(shù)據(jù)治理服務(wù)團隊和知識沉淀，開展項目實施工作。CIOCDO圖14數(shù)據(jù)治理項目交付人員配置項目交付步驟4第一步是需求調(diào)研第二步是方案設(shè)計治理。第四步是上線運維：整體開發(fā)完成后進行試運行，同步開展產(chǎn)品測試工作，均通過后進行產(chǎn)品驗收及正式上線，質(zhì)保期間由運維部門進行巡檢及售后工作。圖15數(shù)據(jù)治理項目交付步驟圖項目交付成果理成果。圖16數(shù)據(jù)治理項目交付成果圖五、數(shù)據(jù)治理保障體系（一）組織體系保障CIO或CDO戰(zhàn)略和考核機制。組織協(xié)調(diào)層由虛擬的數(shù)據(jù)治理委員會承擔(dān)，負(fù)責(zé)統(tǒng)籌管理和協(xié)調(diào)資源，細(xì)化數(shù)據(jù)治理的考核指標(biāo)。建和維護組織級架構(gòu)（包括業(yè)務(wù)架構(gòu)、數(shù)據(jù)架構(gòu)、IT架構(gòu)），報。工作執(zhí)行層由業(yè)務(wù)部門和技術(shù)部門共同承擔(dān)，負(fù)責(zé)在數(shù)據(jù)項目中落實數(shù)據(jù)治理工作，與管理層協(xié)同參與各項活動。圖17數(shù)據(jù)治理組織框架圖資料來源：信通院《數(shù)據(jù)資產(chǎn)管理實踐白皮書6.0》表3數(shù)據(jù)治理組織架構(gòu)角色職責(zé)表資料來源：信通院《數(shù)據(jù)資產(chǎn)管理實踐白皮書6.0》（二）制度體系保障參考依據(jù)，從制度上保障數(shù)據(jù)治理工作有據(jù)、可行、可控。圖18數(shù)據(jù)管理流程制度數(shù)據(jù)治理制度體系通常分層次設(shè)計，依據(jù)管理的顆粒度，制度體系可劃分為總體規(guī)定、管理辦法、實施細(xì)則和操作規(guī)范四個層次?；緝?nèi)容如下：總體規(guī)定從決策層和組織協(xié)調(diào)層視角出發(fā)，包含數(shù)據(jù)戰(zhàn)略、角色職責(zé)、認(rèn)責(zé)體系等，闡述數(shù)據(jù)治理的目標(biāo)、組織、責(zé)任等。管理辦法從管理層視角出發(fā)，規(guī)定數(shù)據(jù)治理各活動職能的管理目標(biāo)、管理原則、管理流程、監(jiān)督考核、評估優(yōu)化等。實施細(xì)則從管理層和執(zhí)行層的視角出發(fā)，圍繞管理辦法相關(guān)要求，明確各項活動職能執(zhí)行落實的標(biāo)準(zhǔn)、規(guī)范、流程等。操作規(guī)范從執(zhí)行層的視角出發(fā)，依據(jù)實施細(xì)則，進一步明確各項工作需遵循的工作規(guī)程、操作手冊或模板類文件等。表4數(shù)據(jù)管理制度體系六、數(shù)據(jù)治理平臺工具（一）數(shù)據(jù)治理平臺工具全景圖數(shù)據(jù)開發(fā)與治理一體化是將數(shù)據(jù)治理的過程融入到數(shù)據(jù)開發(fā)的全生命周期的中后期階段。平臺覆蓋了日常數(shù)據(jù)治理過程中的核心資產(chǎn)管理模塊。圖19數(shù)據(jù)治理平臺工具全景圖（二）袋鼠云數(shù)據(jù)治理管理平臺DataOps圖20袋鼠云數(shù)據(jù)治理產(chǎn)品框架圖智能標(biāo)簽等。（（19），實現(xiàn)一站式數(shù)據(jù)治理工作：數(shù)據(jù)模型從根本上控制企業(yè)增量的數(shù)據(jù)質(zhì)量問題。Hive質(zhì)量問題。Hive支持更規(guī)范、更便捷的建模方式，基于數(shù)據(jù)標(biāo)準(zhǔn)，實現(xiàn)可視化、配置化的建表建模及審批等流程管控。圖21數(shù)據(jù)資產(chǎn)平臺Hive建表1圖22數(shù)據(jù)資產(chǎn)平臺Hive建表2FlinkFlinkTable，F(xiàn)linkKafka2.X、Kafka_0.10、MySQLOracleKafkaRDBMSTable圖23數(shù)據(jù)資產(chǎn)平臺Flink建表數(shù)據(jù)開發(fā)實時開發(fā)FlinkMetricIoT離線開發(fā)Hadoop值。任務(wù)發(fā)布Taier賴和周期配置，且相比開源方案可支持更多的配置內(nèi)容。圖24Taier調(diào)度方案Taier狀態(tài)監(jiān)控；支持百萬級任務(wù)并發(fā)調(diào)度，滿足大型數(shù)據(jù)中臺日常調(diào)度需求。WebDAG下游依賴。支持手動配置、依賴推薦和自動生成三種方式的任務(wù)依賴配置。Cron持任務(wù)凍結(jié)、失敗重試、任務(wù)實例過期時自動跳過策略；HadoopYARN三是優(yōu)先級與任務(wù)提交隊列：Taier擎的任務(wù)；支持任務(wù)優(yōu)先級管理，高優(yōu)先級的任務(wù)將被優(yōu)先提交至計算引擎。任務(wù)運維并記錄每個任務(wù)的運行日志，協(xié)助開發(fā)人員排查各種異常問題。報告，定時發(fā)送指定人員。圖25運維總覽頁面圖26查看任務(wù)上下游依賴數(shù)據(jù)安全數(shù)據(jù)脫敏管理張表的數(shù)據(jù)內(nèi)容時，敏感字段數(shù)據(jù)會自動進行脫敏處理。圖27數(shù)據(jù)脫敏管理數(shù)據(jù)權(quán)限管理支持Flink庫表權(quán)限的管理，該權(quán)限配置可賦能實時開發(fā)平臺。圖28數(shù)據(jù)權(quán)限管理數(shù)據(jù)分級分類對字段進行分級。圖29數(shù)據(jù)分級分類管理數(shù)據(jù)標(biāo)準(zhǔn)標(biāo)準(zhǔn)映射。詞根管理對詞根信息進行線上化管理，詞根信息可用于數(shù)據(jù)標(biāo)準(zhǔn)的定義。圖30數(shù)據(jù)標(biāo)準(zhǔn)詞根管理碼表管理支持維護管理碼表數(shù)據(jù)，碼表數(shù)據(jù)可用于數(shù)據(jù)標(biāo)準(zhǔn)的定義。圖31數(shù)據(jù)標(biāo)準(zhǔn)碼表管理行業(yè)模板系統(tǒng)內(nèi)置部分行業(yè)數(shù)據(jù)標(biāo)準(zhǔn)，支持用戶查詢并一鍵引入至自己的標(biāo)準(zhǔn)體系，更加貼合行業(yè)規(guī)范和標(biāo)準(zhǔn)。圖32數(shù)據(jù)標(biāo)準(zhǔn)行業(yè)模板數(shù)據(jù)庫拾取用于數(shù)據(jù)標(biāo)準(zhǔn)的建立基礎(chǔ)，根據(jù)拾取條件，將已存在的字段名轉(zhuǎn)化為數(shù)據(jù)標(biāo)準(zhǔn)或者詞根，豐富平臺數(shù)據(jù)標(biāo)準(zhǔn)。圖33數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)庫拾取標(biāo)準(zhǔn)定義支持?jǐn)?shù)據(jù)標(biāo)準(zhǔn)的管理維護。支持自動關(guān)聯(lián)已建好的詞根、行業(yè)模板，引入碼表。圖34數(shù)據(jù)標(biāo)準(zhǔn)定義標(biāo)準(zhǔn)映射將已發(fā)布的數(shù)據(jù)標(biāo)準(zhǔn)和平臺已采集到的字段進行映射匹配，評估企業(yè)數(shù)據(jù)的規(guī)范性。圖35數(shù)據(jù)標(biāo)準(zhǔn)映射標(biāo)準(zhǔn)統(tǒng)計全局統(tǒng)計分析該模塊的數(shù)據(jù)標(biāo)準(zhǔn)、碼表、詞根，包括看板統(tǒng)計、標(biāo)準(zhǔn)熱度、標(biāo)準(zhǔn)目錄分布、標(biāo)準(zhǔn)新增趨勢、標(biāo)準(zhǔn)來源分布。圖36數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)計看板元數(shù)據(jù)管理ROI健康情況和使用情況進行觀察，幫助該公司識別并掌握真正有價值的資產(chǎn)。數(shù)據(jù)地圖合、維護，提供快速查找數(shù)據(jù)的能力。圖37數(shù)據(jù)地圖看板元數(shù)據(jù)詳情一是基本信息：支持查看表的技術(shù)屬性、業(yè)務(wù)屬性和表結(jié)構(gòu)信息。圖38元數(shù)據(jù)基本信息二是數(shù)據(jù)預(yù)覽：支持快捷瀏覽表內(nèi)部分?jǐn)?shù)據(jù)。三是血緣關(guān)系：圖譜化的方式進行展示當(dāng)前表的血緣，便于快速定位問題，追蹤數(shù)據(jù)流向。圖39元數(shù)據(jù)血緣關(guān)系四是任務(wù)依賴：自動解析當(dāng)前數(shù)據(jù)表的相關(guān)任務(wù)依賴關(guān)系。圖40元數(shù)據(jù)任務(wù)依賴選擇兩個版本進行元數(shù)據(jù)比對，更好地定位問題、對比前后變更差異。圖41元數(shù)據(jù)版本變更資產(chǎn)的沉淀反映實際的業(yè)務(wù)發(fā)展。元數(shù)據(jù)應(yīng)用感知元數(shù)據(jù)變更。圖42元數(shù)據(jù)應(yīng)用元模型管理對元數(shù)據(jù)信息進行更規(guī)范管理。圖43元模型管理元數(shù)據(jù)管理據(jù)信息，更規(guī)范地維護元數(shù)據(jù)信息，便于后續(xù)的元數(shù)據(jù)信息查詢和利用。圖44元數(shù)據(jù)管理元數(shù)據(jù)質(zhì)量指標(biāo)分析展示。一是完整度分析：統(tǒng)計每張表的業(yè)務(wù)屬性（必填項）是否均已完成維護。圖45元數(shù)據(jù)質(zhì)量完整度分析BI圖46元數(shù)據(jù)質(zhì)量血緣分析數(shù)據(jù)質(zhì)量任務(wù)查詢、實時校驗等。規(guī)則配置一是單表校驗：單表校驗規(guī)則主要包括完整性校驗、準(zhǔn)確性校驗、規(guī)范性校驗、唯一性校驗、自定義SQL。圖47數(shù)據(jù)質(zhì)量單表校驗AB；AB。圖48數(shù)據(jù)質(zhì)量多表校驗任務(wù)管理任務(wù)列表展示規(guī)則每次執(zhí)行的實例信息，包括實例的運行狀態(tài)、運行時長等基本信息。單表任務(wù)圖49數(shù)據(jù)質(zhì)量規(guī)則報告二是表級報告：從多種維度自動統(tǒng)計表級的質(zhì)量情況，包括校驗記錄情況、告警情況。圖50數(shù)據(jù)質(zhì)量表級報告多表任務(wù)自動統(tǒng)計兩張表的差異總數(shù)和差異比例情況。圖51數(shù)據(jù)質(zhì)量多表任務(wù)實時校驗Kafka時進行抽樣校驗。圖52數(shù)據(jù)質(zhì)量實時校驗數(shù)據(jù)服務(wù)袋鼠云數(shù)據(jù)服務(wù)平臺定位于統(tǒng)一的企業(yè)數(shù)據(jù)資源“縱向貫通”“橫向互聯(lián)”APIAPIAPI，OneServiceAPI/APIAPI圖53數(shù)據(jù)服務(wù)API管理APIAPI，APIOracleSQLServerPostgreSQLDB2KingbaseES8GreenplumTrinoImpalaAnalyticDBRDSTiDBInceptorKylinMongoDBHBaseRedisPhoenixAPIAPIAPIAPIPOSTGETPUTDELETPATCHHTTP/HTTPSWebServiceSocketJSON、XMLAPI。同時，也可APIIPAPIAPIAPIAPIAPIAPIAPIAPIAPIAPIAPIAPIAPIAPI。圖54數(shù)據(jù)服務(wù)API調(diào)用API有三種認(rèn)證方式：API-TOKEN、USER-TOKEN和AK/SK簽名。API-TOKEN（APIUSER-TOKEN（用戶維度APIHeadersAPI-TOKEN/USER-TOKENAK/SKAPPSecretAPIAPIAPIURL調(diào)用。服務(wù)端對此參數(shù)進行解析，完成身份驗證，適用于安全性較高的場景。APIAPIAPIAPI，APIAPIAPIAPIJSONJSONAPI圖55數(shù)據(jù)服務(wù)API測試API產(chǎn)品在數(shù)據(jù)安全的設(shè)計上有以下保障：申請審批機制APIAPIAPIAPIAPIAPI調(diào)用限流APIAPI/API黑白名單限制APIIPIPIP三種認(rèn)證方式API-TOKEN、USER-TOKENAPIAPI-TOKEN/USER-TOKENHeaderAPIAK/SKAPIAK/SKAPPSecretAPIAPIAPIAPPKeyAPIHeaderAPI行級權(quán)限支持建立行級權(quán)限標(biāo)識，指定對應(yīng)用戶能訪問的行級數(shù)據(jù)。傳輸加密：RSA+AES、SM2+AES用于傳輸加密，為請求/返回信息做加密處理，保障數(shù)據(jù)傳輸?shù)陌踩浴?）RSA/SM2：RSA/SM2私鑰加密、公鑰解密”。RSA/SM2RSA/SM2公鑰用途：對AES密鑰進行加密處理。RSA/SM2RSAAESRSA/SM2API—API2）AES：需調(diào)用者通過程序手動生成AES密鑰。AES密鑰用途：對請求/返回信息進行加密/解密處理。七、數(shù)據(jù)治理行業(yè)實踐（一）金融行業(yè)數(shù)據(jù)治理實踐銀行機構(gòu)數(shù)據(jù)治理實踐案例背景礎(chǔ)，在推動銀行數(shù)字化轉(zhuǎn)型的過程中扮演了“承上啟下”的關(guān)鍵角色。業(yè)務(wù)數(shù)字化轉(zhuǎn)型。解決方案基于數(shù)據(jù)盤點構(gòu)建全行級數(shù)據(jù)資源目錄圖56銀行數(shù)據(jù)資源目錄ETL準(zhǔn)一般分為基礎(chǔ)指標(biāo)標(biāo)準(zhǔn)和計算指標(biāo)（又稱組合指標(biāo)）標(biāo)準(zhǔn)?；A(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn)和指標(biāo)類數(shù)據(jù)標(biāo)準(zhǔn)通過分別建立基礎(chǔ)類數(shù)據(jù)元和指標(biāo)類數(shù)（數(shù)據(jù)類型和值域等屬性（化（符合命名規(guī)則、約束規(guī)則、數(shù)據(jù)類型和值域的規(guī)定）。圖57銀行數(shù)據(jù)模型體系基于法律法規(guī)構(gòu)建數(shù)據(jù)分級分類體系（JR/T0171-2020）C3、C2C2或明文下載，則必須有如下管控措施：需求提出部門必須限定最小用戶使用范圍，并經(jīng)過本部門總經(jīng)理（如果OA系統(tǒng)內(nèi)應(yīng)當(dāng)做好相關(guān)角色權(quán)限的設(shè)置和管控。C2DRM行主要負(fù)責(zé)人。C2臺頁面查詢。所有數(shù)據(jù)使用均遵循“誰使用誰負(fù)責(zé)”的原則。（包含相關(guān)業(yè)務(wù)需求的提出到業(yè)務(wù)驗收測試環(huán)節(jié)予啟動開發(fā)。權(quán)文檔的存檔，以備后續(xù)審查。圖58銀行數(shù)據(jù)分級分類體系交付內(nèi)容數(shù)據(jù)治理咨詢協(xié)助完善數(shù)據(jù)治理組織架構(gòu)（涵蓋數(shù)據(jù)治理決策層、管理層和執(zhí)行層）及1010數(shù)據(jù)平臺建設(shè)數(shù)據(jù)應(yīng)用實施（200表2005建設(shè)成果數(shù)據(jù)治理成果數(shù)據(jù)治理相關(guān)的戰(zhàn)略規(guī)劃設(shè)計材料。定制相關(guān)的規(guī)章制度來保障治理落地。作的關(guān)鍵步驟并交付相關(guān)文件給某銀行。四是治理考核及運營，結(jié)合某銀行數(shù)字化考核目標(biāo)制定數(shù)據(jù)治理考核方案，并提供數(shù)據(jù)治理支持運營及優(yōu)化的方法論材料。各項屬性元數(shù)據(jù)，構(gòu)建全行級數(shù)據(jù)資產(chǎn)目錄。標(biāo)類數(shù)據(jù)兩大標(biāo)準(zhǔn)體系，并完成歷史數(shù)據(jù)落標(biāo)工作。級體系，并完成歷史數(shù)據(jù)的分級分類工作。工過程校驗規(guī)則，構(gòu)建全行級數(shù)據(jù)質(zhì)量監(jiān)控規(guī)則體系。平臺實施成果ImpalaSQLETLEast4.0/5.0（1104（張表過行內(nèi)現(xiàn)有數(shù)據(jù)進行模型驗證。200個系統(tǒng)保監(jiān)數(shù)據(jù)加密規(guī)范實現(xiàn)數(shù)據(jù)安全保障體系。五是數(shù)據(jù)分析場景服務(wù)，根據(jù)某銀行應(yīng)用需求提供不少于5個建模場景要求的數(shù)據(jù)支持和不少于5個應(yīng)用場景的功能支持開展數(shù)據(jù)自主分析、開發(fā)報表和管理駕駛艙等。證券公司數(shù)據(jù)治理實踐案例背景隨著證券行業(yè)發(fā)展，2016立健全數(shù)據(jù)治理和質(zhì)量控制機制。2018征求意見稿DCMM52022解決方案DataOpsDataOpsAIBIAPI經(jīng)營分析等各類需求方。圖59基于DataOps數(shù)據(jù)治理架構(gòu)圖SDOM產(chǎn)品、交易等數(shù)據(jù)模型。圖60SDOM數(shù)據(jù)標(biāo)準(zhǔn)模型OLAP資訊數(shù)據(jù)作為券商主要數(shù)據(jù)源之一，應(yīng)用廣泛，涉及投資交易、資產(chǎn)管理、經(jīng)紀(jì)與財富管理、資產(chǎn)托管等各個領(lǐng)域，往往會將資訊數(shù)據(jù)應(yīng)用到資管投研一體Wind唯一性、一致性等方面進行多維度評估，保障券商數(shù)據(jù)質(zhì)量。圖61OLAP資訊數(shù)據(jù)校驗基于數(shù)據(jù)模型的標(biāo)簽數(shù)據(jù)治理融部的營銷運營、異常交易監(jiān)控及用戶生命周期管理等。圖62證券標(biāo)簽數(shù)據(jù)治理OneService圖63證券數(shù)據(jù)服務(wù)市場交付內(nèi)容數(shù)據(jù)平臺建設(shè)數(shù)據(jù)平臺包含數(shù)據(jù)實時開發(fā)平臺和數(shù)據(jù)應(yīng)用平臺，實現(xiàn)數(shù)據(jù)的“管、治、用”。一是構(gòu)建大數(shù)據(jù)實時開發(fā)平臺流程，并提供運維監(jiān)控曲線和日志功能。具體功能如下：Hive進行數(shù)據(jù)落庫。任務(wù)管理，平臺應(yīng)支持對實時同步任務(wù)的統(tǒng)一管理，支持FlinkSQLjar管理。函數(shù)管理，平臺集成開發(fā)過程中的常用函數(shù)，同時平臺支持通過本地資UDF、UDAF、UDTF二是構(gòu)建數(shù)據(jù)應(yīng)用平臺RESTfulRESTful可獲取數(shù)據(jù)內(nèi)容，應(yīng)用程序無需了解表結(jié)構(gòu)、分庫分表等細(xì)節(jié)信息。增長，通過增加服務(wù)處理節(jié)點支持高并發(fā)。SQL數(shù)據(jù)服務(wù)圖64證券數(shù)據(jù)服務(wù)平臺數(shù)據(jù)服務(wù)平臺的建設(shè)，將帶來以下效益：減少數(shù)據(jù)復(fù)制，降低成本。應(yīng)用系統(tǒng)無需拷貝數(shù)據(jù)內(nèi)容，通過服務(wù)調(diào)用降低備份、安全等管理成本。提升應(yīng)用開發(fā)效率。應(yīng)用程序無需考慮大數(shù)據(jù)的分庫分表設(shè)計、無需了減少數(shù)據(jù)不一致的沖突。數(shù)據(jù)應(yīng)用實施FlinkSQL建設(shè)成果海量業(yè)務(wù)數(shù)據(jù)匯聚，構(gòu)建金融級數(shù)據(jù)平臺未來的數(shù)據(jù)采集、存儲和技術(shù)需求。統(tǒng)一數(shù)據(jù)開發(fā)，降低大數(shù)據(jù)開發(fā)門檻實時開發(fā)平臺滿足證券公司科技部門能統(tǒng)一在一個平臺上進行集中開發(fā)和對內(nèi)外各種租戶數(shù)據(jù)加工，提供統(tǒng)一一體化數(shù)據(jù)開發(fā)平臺，滿足大數(shù)據(jù)、SQL建數(shù)據(jù)倉庫。滿足監(jiān)管報送，實現(xiàn)一體化數(shù)據(jù)服務(wù)監(jiān)管報送的數(shù)據(jù)服務(wù)方式和數(shù)據(jù)使用要求。數(shù)據(jù)分析場景服務(wù)根據(jù)某證券公司應(yīng)用需求，袋鼠云為其設(shè)計了以下三種數(shù)據(jù)分析場景服務(wù)：一是客戶辦理的兩融業(yè)務(wù)進行信用賬戶資產(chǎn)負(fù)債實時計算：實時獲取柜臺行情數(shù)據(jù)，并按照分鐘級進行行情聚合。實時獲取客戶的股票持倉數(shù)據(jù)，并將客戶持倉數(shù)據(jù)按照狀態(tài)進行管理并倉資產(chǎn)。實時獲取兩融客戶合約流數(shù)據(jù)，根據(jù)合約類型分類計算融資負(fù)債、融券更新客戶融券負(fù)債。實時獲取客戶資金轉(zhuǎn)入數(shù)據(jù)，并更新客戶的總資金資產(chǎn)和可用資金。實時獲取客戶的融券賣出獲得資金以及資金使用情況并動態(tài)更新客戶資價證券持倉市值等指標(biāo)輸出客戶資產(chǎn)負(fù)債表。實時獲取客戶兩融授信申請、客戶征信申請、客戶征信審批等數(shù)據(jù)，實到下游系統(tǒng)。（能并推送到下游。FLink實時平臺：當(dāng)日股基交易量、當(dāng)日理財交易量當(dāng)日開戶數(shù)和開戶流水可轉(zhuǎn)債提前贖回提醒中證易簽私募回訪：生成回訪任務(wù)提醒、回訪任務(wù)成功提醒基金公司數(shù)據(jù)治理實踐案例背景建設(shè)治理之路。解決方案圍繞監(jiān)管規(guī)范打造基金行業(yè)數(shù)據(jù)治理體系的責(zé)任與職能，配套數(shù)據(jù)治理相關(guān)制度，推進數(shù)據(jù)治理工作落實。分類管理，實現(xiàn)數(shù)據(jù)可見、可用、可管理，全面量化數(shù)據(jù)價值。關(guān)規(guī)范，通過數(shù)據(jù)標(biāo)準(zhǔn)化的形式提升數(shù)據(jù)質(zhì)量，提高數(shù)據(jù)可用性。據(jù)之間關(guān)聯(lián)關(guān)系，通過分級、加密等手段進行全鏈路安全管理。礎(chǔ)業(yè)務(wù)信息全范圍內(nèi)保持一致性、準(zhǔn)確性、完整性、可控性。圖65基金公司數(shù)據(jù)治理架構(gòu)圖基于資管全要素規(guī)范實現(xiàn)基金主數(shù)據(jù)管理（主數(shù)據(jù)個業(yè)務(wù)系統(tǒng)、業(yè)務(wù)流程和決策支持系統(tǒng)等。多監(jiān)管要求提供了一道堅強的防線。圖66基金主數(shù)據(jù)管理基于元數(shù)據(jù)打造企業(yè)級數(shù)據(jù)資產(chǎn)中心數(shù)據(jù)，匯總后提供元數(shù)據(jù)查詢分析服務(wù)。影響鏈路，合理訂閱并維護用戶關(guān)注的數(shù)據(jù)。圖67基金數(shù)據(jù)資產(chǎn)中心圍繞基金業(yè)務(wù)構(gòu)建全維度畫像體系銷能力也逐漸成為企業(yè)關(guān)鍵競爭力，但建設(shè)過程主要存在以下難點：理解能力比較有限，缺少對投資者需求變化和行為變化有效研究手段。業(yè)務(wù)結(jié)合起來，提出有意義的洞察和建議。和復(fù)用，可快速支持例行、臨時或?qū)ｎ}性的數(shù)據(jù)分析68建設(shè)成果數(shù)據(jù)管理方面設(shè)的推進組織，推進數(shù)據(jù)治理相關(guān)制度發(fā)布和治理落地。質(zhì)量提升的長效機制。4095%以上。中臺能力方面中臺共享能力建設(shè)，沉淀業(yè)務(wù)及服務(wù)能力，將是未來的核心競爭力。3面賦能。一是業(yè)務(wù)中臺：當(dāng)前為百萬+客戶提供基金銷售服務(wù)。為提升系統(tǒng)交付速度AITA（高效，以數(shù)據(jù)驅(qū)動運營提效，有效規(guī)避日常運營工作中的風(fēng)險及問題。AINLPAI客服、協(xié)同辦公平臺等多個下游業(yè)務(wù)系統(tǒng)中。Hadoop（二）集團型企業(yè)數(shù)據(jù)治理實踐某央企數(shù)據(jù)治理實踐案例案例背景客商難管控等痛點。隨著企業(yè)股份數(shù)字化轉(zhuǎn)型不斷深化，數(shù)據(jù)應(yīng)用方面的需求不斷擴展。但公數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一，數(shù)據(jù)質(zhì)量不可控，數(shù)據(jù)共享不暢通等問題。標(biāo)，科學(xué)化管理公司數(shù)據(jù)資產(chǎn)和挖掘數(shù)據(jù)價值。解決方案數(shù)據(jù)建模標(biāo)準(zhǔn)為目標(biāo)進行建設(shè)。據(jù)進行數(shù)據(jù)治理，主要包括以下幾個步驟架構(gòu)設(shè)計ODS、DWD、DWS、ADS客商域：企業(yè)所服務(wù)的所有客戶及供應(yīng)商；商品域：企業(yè)自營或代理商品、SKU；等；風(fēng)險域：企業(yè)發(fā)生訴訟、處罰等風(fēng)險數(shù)據(jù)；倉儲物流域：所有倉庫出入庫、在途等信息；公共域：系統(tǒng)碼值、參數(shù)信息、組織架構(gòu)、人員以及標(biāo)準(zhǔn)化映射信息。業(yè)發(fā)展階段訴求。圖69數(shù)據(jù)治理產(chǎn)品架構(gòu)圖及說明數(shù)據(jù)統(tǒng)一歸集SAPMDMCRMOA得界面全量數(shù)據(jù)或為高度匯總報表數(shù)據(jù)等問題，使用數(shù)棧底層數(shù)據(jù)同步工具FlinkxPySparkAPI據(jù)的采集及簡單清洗，接入數(shù)據(jù)中臺。手工填報數(shù)據(jù)通過完成填報報表的初步設(shè)計后，回流手工填報平臺（當(dāng)前使用飯軟），進行定期同步，定期填報，定期回流采集的形式來完成數(shù)據(jù)的收集。圖70數(shù)據(jù)采集流程數(shù)據(jù)集中處理及標(biāo)準(zhǔn)設(shè)計指標(biāo)體系的統(tǒng)計和收集。ODS一業(yè)務(wù)行為的各項信息，縱向可以進行上鉆下鉆，橫向可以對比。SAP系設(shè)計方法論，統(tǒng)一定義指標(biāo)體系的各信息（ID，指標(biāo)名稱，指標(biāo)主開發(fā)負(fù)責(zé)人一。數(shù)據(jù)應(yīng)用場景數(shù)據(jù)應(yīng)用場景以集團供應(yīng)鏈運營管理為核心，分別對運營管理、物流管理、信用管理數(shù)據(jù)進行統(tǒng)一歸集，按照業(yè)務(wù)指標(biāo)邏輯進行數(shù)據(jù)處理開發(fā)，滿足業(yè)務(wù)人員數(shù)據(jù)報表填報和數(shù)據(jù)統(tǒng)計分析應(yīng)用場景。SAPSAP填報]、[簽約情況分析]、[重大事項填報]場景建設(shè)，有效減輕業(yè)務(wù)人員每周報表加工填報的工作壓力，同時提高業(yè)務(wù)數(shù)據(jù)線上留存能力。看板，為業(yè)務(wù)人員發(fā)現(xiàn)潛在風(fēng)險和日常業(yè)務(wù)數(shù)據(jù)便捷查詢提供有利條件。結(jié)合業(yè)務(wù)邏輯指標(biāo)進行數(shù)據(jù)開發(fā)，實現(xiàn)[授信額度跟蹤]、[逾期數(shù)據(jù)分析]、[行明確當(dāng)前各行業(yè)產(chǎn)品盈利情況提供有效支撐。建設(shè)成果751493ODS247DWD41DWS64DIM22ADS108某旅游投資集團數(shù)據(jù)治理實踐案例案例背景140的基本數(shù)字化需要。解決方案業(yè)務(wù)實際數(shù)據(jù)需求的數(shù)據(jù)決策平臺。段“做治理，立標(biāo)準(zhǔn)”；三階段“建應(yīng)用，啟服務(wù)”。圖71旅游投資集團數(shù)據(jù)治理架構(gòu)圖搭平臺，匯數(shù)據(jù)180劃分8個主題域，形成430G數(shù)據(jù)資產(chǎn)，包含2000多項指標(biāo)和300多個標(biāo)簽。做治理，立標(biāo)準(zhǔn)規(guī)則，對數(shù)據(jù)質(zhì)量進行預(yù)警，避免不合格的數(shù)據(jù)流入生產(chǎn)應(yīng)用。建應(yīng)用，啟服務(wù)134共享利用。建設(shè)成果數(shù)據(jù)資產(chǎn)，讓文旅產(chǎn)業(yè)在數(shù)據(jù)驅(qū)動的科學(xué)管理下，取得更高質(zhì)量發(fā)展。1+N通過構(gòu)建集團級數(shù)據(jù)中臺，盤活集團現(xiàn)有數(shù)據(jù)，對數(shù)據(jù)進行充分的清洗、加1N圖72旅游投資集團數(shù)據(jù)中臺架構(gòu)X性，實現(xiàn)數(shù)據(jù)從“層層上報”向“實時采集”轉(zhuǎn)變。圖73旅游投資集團產(chǎn)業(yè)大屏洞察多類消費者偏好特征，發(fā)現(xiàn)業(yè)務(wù)增長潛力3圖74旅游投資集團消費者全生命周期某控股集團數(shù)據(jù)治理實踐案例案例背景應(yīng)鏈運營板塊包含的貿(mào)易模式有大宗供應(yīng)鏈貿(mào)易及服務(wù)、4S企業(yè)。集團的整體系統(tǒng)體系主要圍繞核心ERPITERP的開發(fā)、運維人員，基于股份集團的業(yè)務(wù)管理，ERPERPERPERPERPERPERP平臺工具建設(shè)三大層面，構(gòu)建股份集團的數(shù)據(jù)資產(chǎn)體系。解決方案為了全局性、統(tǒng)籌性地進行數(shù)據(jù)資產(chǎn)規(guī)劃，梳理數(shù)據(jù)資產(chǎn)管理模式，開展數(shù)據(jù)治理，項目整體分為以下三大階段。第一階段：咨詢規(guī)劃，選模式，定方向再逐步展開。調(diào)研診斷，全面盤點現(xiàn)有數(shù)據(jù)、業(yè)務(wù)現(xiàn)狀，定位目前問題。一是現(xiàn)有源ERP是數(shù)據(jù)質(zhì)量及管理情況盤點。10架構(gòu)規(guī)劃設(shè)計，集團整體升級大數(shù)據(jù)架構(gòu)，打破數(shù)據(jù)孤島，統(tǒng)一規(guī)劃數(shù)據(jù)治理體系。架構(gòu)規(guī)劃整體采用中臺的數(shù)據(jù)體系，即在全域原始數(shù)據(jù)的基礎(chǔ)上，圖75數(shù)據(jù)架構(gòu)整體框架示意圖大數(shù)據(jù)平臺規(guī)劃，搭建集團大數(shù)據(jù)平臺體系，滿足集團大數(shù)據(jù)匯集、存圖76集團整體大數(shù)據(jù)平臺雛形示意圖第二階段：架構(gòu)規(guī)劃，理框架，定目錄這個階段，主要基于數(shù)據(jù)治理模式，自下而上開展數(shù)據(jù)治理，整體規(guī)劃數(shù)據(jù)架構(gòu)，理清集團的數(shù)據(jù)資產(chǎn)框架，初步框定股份集團數(shù)據(jù)資產(chǎn)目錄體系。調(diào)研診斷，全面調(diào)研方向系統(tǒng)使用現(xiàn)狀及痛點、業(yè)務(wù)現(xiàn)狀、業(yè)務(wù)流程、細(xì)梳理業(yè)務(wù)領(lǐng)域、數(shù)據(jù)內(nèi)容，進一步明確架構(gòu)設(shè)計思路。架構(gòu)設(shè)計，以波特價值鏈分析模型為理論基礎(chǔ)，全面梳理企業(yè)的業(yè)務(wù)領(lǐng)圖所示。圖77架構(gòu)框架示意圖數(shù)據(jù)資產(chǎn)目錄建設(shè)，以架構(gòu)框架為基礎(chǔ)，在大數(shù)據(jù)平臺中，采集數(shù)據(jù)，圖78數(shù)據(jù)資產(chǎn)目錄示意圖第三階段：實施落地，搭平臺，建資產(chǎn)這個階段，在整體框架下，明確應(yīng)用場景，搭建大數(shù)據(jù)平臺，開始數(shù)據(jù)資產(chǎn)建設(shè)。搭建平臺，搭建大數(shù)據(jù)開發(fā)平臺，補充大數(shù)據(jù)實時、離線計算能力，測試平臺實現(xiàn)路徑，遷移原有數(shù)據(jù)應(yīng)用。場景建設(shè)，以價格場景為試點，展開數(shù)據(jù)資產(chǎn)建設(shè)。價格風(fēng)險是大宗供數(shù)據(jù)資產(chǎn)建設(shè)，以滿足價格場景需求為目標(biāo)建立搭建數(shù)據(jù)模型，按照數(shù)根標(biāo)準(zhǔn)、字段標(biāo)準(zhǔn)。建設(shè)成果股份集團未來以自下而上的數(shù)據(jù)治理模式為主，逐漸納入數(shù)據(jù)應(yīng)用。三是搭建大數(shù)據(jù)平臺。搭建實時計算、離線計算的大數(shù)據(jù)計算能力，搭建數(shù)據(jù)資產(chǎn)管理平臺，納入數(shù)據(jù)質(zhì)量管理工具，逐步搭建數(shù)據(jù)治理能力。四是探索大數(shù)據(jù)分析場景。以價格場景為試點，打通數(shù)據(jù)需求分析、數(shù)據(jù)模型建設(shè)、數(shù)據(jù)開發(fā)的大數(shù)據(jù)交付路徑，為未來更多大數(shù)據(jù)場景分析提供基礎(chǔ)。五是構(gòu)建數(shù)據(jù)標(biāo)準(zhǔn)體系。在數(shù)據(jù)資產(chǎn)建設(shè)過程中，梳理詞根詞綴，建立數(shù)據(jù)標(biāo)準(zhǔn)體系，梳理詞根標(biāo)準(zhǔn)2300+，為數(shù)據(jù)標(biāo)準(zhǔn)體系建立，奠定了堅定的基礎(chǔ)。（三）制造行業(yè)數(shù)據(jù)治理實踐某汽車制造企業(yè)數(shù)據(jù)治理實踐案例案例背景ITIT內(nèi)部建立信心？到消費，消費后產(chǎn)生的數(shù)據(jù)再回流到生產(chǎn)流程的閉環(huán)過程。解決方案咨詢服務(wù)實施計劃制定。如字段的約束（例如控制不能為空的核查，以及具體的技術(shù)操作和編制定期的報告等。平臺搭建服務(wù)中心和應(yīng)用中心。圖79某車企數(shù)據(jù)治理架構(gòu)圖項目實施等。一是數(shù)據(jù)資產(chǎn)門戶量情況有直觀的了解。包括不限于：數(shù)據(jù)指標(biāo)的統(tǒng)計：數(shù)據(jù)源數(shù)量、表數(shù)量、存儲量、使用量、質(zhì)量評分。數(shù)據(jù)趨勢的統(tǒng)計：數(shù)據(jù)分布情況、數(shù)據(jù)增長趨勢、數(shù)據(jù)使用熱度。數(shù)據(jù)使用排行：數(shù)據(jù)存儲排行；元數(shù)據(jù)質(zhì)量：規(guī)范趨勢、規(guī)范排行。圖80某車企數(shù)據(jù)資產(chǎn)門戶二是數(shù)據(jù)地圖平臺內(nèi)的所有數(shù)據(jù)表情況，同時可以進行全方位管理數(shù)據(jù)資產(chǎn)。表名搜索。等，同時可以進行預(yù)覽，直觀地查看表內(nèi)數(shù)據(jù)情況。3某個節(jié)點上，數(shù)據(jù)開發(fā)者在尋找數(shù)據(jù)時可根據(jù)數(shù)據(jù)類目快速定位。數(shù)據(jù)審批授權(quán)：提供表級數(shù)據(jù)權(quán)限的管理，當(dāng)用戶需要跨項目訪問表時（讀/寫/分區(qū)的數(shù)據(jù)更新時間，超出時間后自動刪除數(shù)據(jù)，降低臨時數(shù)據(jù)造成的存儲壓力。SQL便于快速排查指標(biāo)問題，檢查指標(biāo)統(tǒng)計邏輯，依賴鏈路是否正常等。三是數(shù)據(jù)質(zhì)量的監(jiān)控規(guī)則定義、事中的數(shù)據(jù)生成監(jiān)控、事后的數(shù)據(jù)質(zhì)量分析。圖81某車企數(shù)據(jù)質(zhì)量分析示意對需要監(jiān)控的數(shù)據(jù)配置監(jiān)控規(guī)則。驗數(shù)據(jù)質(zhì)量。動生成監(jiān)控報告，幫助用戶復(fù)盤總結(jié)數(shù)據(jù)問題。四是數(shù)據(jù)安全數(shù)據(jù)權(quán)限控制：支持表級數(shù)據(jù)權(quán)限的管理，當(dāng)用戶需要跨項目訪問表時（讀/寫/分區(qū)的數(shù)據(jù)更新時間，超出時間后自動刪除數(shù)據(jù)，降低臨時數(shù)據(jù)造成的存儲壓力。SQLSQL數(shù)據(jù)得到的過程。證、銀行卡號、郵箱、手機號、IP識別，同時提供用戶自定義規(guī)則。建設(shè)成果某車企通過數(shù)據(jù)治理平臺項目，完成了數(shù)據(jù)規(guī)范、標(biāo)準(zhǔn)、質(zhì)量、服務(wù)體系、治理組織架構(gòu)等內(nèi)容建設(shè)，基本能滿足企業(yè)2—3年數(shù)據(jù)發(fā)展的使用訴求。結(jié)合數(shù)據(jù)中臺+數(shù)據(jù)治理方案，在該階段取得了階段性的成果，概括如下幾個方向：一是構(gòu)建強大數(shù)據(jù)開發(fā)與治理平臺體系BIAPI二是快速定位數(shù)據(jù)問題根本原因用戶。某芯片制造企業(yè)數(shù)據(jù)治理實踐案例案例背景3DNANDIDM3D產(chǎn)經(jīng)營過程中面臨大量的數(shù)據(jù)問題需要解決。低，需要自行實現(xiàn)可擴展性架構(gòu)，容易形成單點故障。數(shù)據(jù)質(zhì)量問題難以及時暴露和溯源。度，缺乏數(shù)據(jù)血緣關(guān)系，難以掌握數(shù)據(jù)流轉(zhuǎn)情況。形成面向用戶、面向管理、面向領(lǐng)導(dǎo)的全面數(shù)據(jù)管理視角。解決方案圖82某芯片制造企業(yè)數(shù)據(jù)治理架構(gòu)第一步建設(shè)離線平臺采集數(shù)據(jù)30+LDAP第二步建設(shè)資產(chǎn)平臺，管理數(shù)據(jù)中心，盤點數(shù)據(jù)資產(chǎn)，為數(shù)據(jù)價值挖掘提供“全、統(tǒng)、通”的元數(shù)據(jù)基礎(chǔ)。300600040PB數(shù)據(jù)使用趨勢；元數(shù)據(jù)質(zhì)量：規(guī)范趨勢、規(guī)范排行等等。圖83某芯片制造企業(yè)數(shù)據(jù)資產(chǎn)門戶示意圖第三步建設(shè)數(shù)據(jù)質(zhì)量平臺，治理數(shù)據(jù)面進行多維度評估，保障企業(yè)數(shù)據(jù)服務(wù)，提高數(shù)據(jù)質(zhì)量管理。圖84某芯片制造企業(yè)數(shù)據(jù)質(zhì)量管理示意圖建設(shè)成果一站式內(nèi)網(wǎng)訪問，提升工作效率OSS降低數(shù)據(jù)開發(fā)難度，提升企業(yè)運營價值40000構(gòu)建數(shù)據(jù)質(zhì)量管理體系流入下游，提高企業(yè)數(shù)據(jù)質(zhì)量。某半導(dǎo)體企業(yè)數(shù)據(jù)治理實踐案例案例背景某半導(dǎo)體企業(yè)是一家為信息交互和人類健康提供智慧端口產(chǎn)品和專業(yè)服務(wù)案、MLED、智慧醫(yī)工融合發(fā)展的“1+4+N+生態(tài)鏈”業(yè)務(wù)架構(gòu)。ERP、MESOAHRDCSPLCCDH最終實現(xiàn)集團數(shù)據(jù)資產(chǎn)化的目標(biāo)解決方案“數(shù)據(jù)資產(chǎn)化”“數(shù)據(jù)服務(wù)化”“數(shù)據(jù)安全化”來實現(xiàn)企業(yè)數(shù)字化轉(zhuǎn)型。圖85某半導(dǎo)體企業(yè)數(shù)據(jù)治理解決方案架構(gòu)圖數(shù)據(jù)標(biāo)準(zhǔn)化務(wù)系統(tǒng)及設(shè)備數(shù)據(jù)進行整理歸類后，最終修訂生成了數(shù)據(jù)標(biāo)準(zhǔn)。其中標(biāo)準(zhǔn)包含（（度）、管理屬性（歸口工廠及管理部門）、代碼拓展（代碼值、代碼描述）。數(shù)據(jù)質(zhì)量化通過事先、事中、事后三個環(huán)節(jié)解決了數(shù)據(jù)質(zhì)量監(jiān)控的問題，具體如下：1）事先預(yù)防控制。設(shè)置數(shù)據(jù)質(zhì)量規(guī)則，即針對不同的數(shù)據(jù)對象，配置相應(yīng)源名稱檢查、數(shù)據(jù)格式是否正確、數(shù)據(jù)是否為空等進行事前的預(yù)防控制。式進行管理，保障數(shù)據(jù)在各個環(huán)節(jié)的質(zhì)量進行有效控制。數(shù)據(jù)資產(chǎn)化以下幾個方面進行：含元模型創(chuàng)建、元數(shù)據(jù)同步、元數(shù)據(jù)管理、訂閱元數(shù)據(jù)等。數(shù)據(jù)地圖。數(shù)據(jù)資產(chǎn)地圖是對整個數(shù)據(jù)中臺內(nèi)的數(shù)據(jù)進行統(tǒng)一查詢、管影響。數(shù)據(jù)服務(wù)化相應(yīng)的資產(chǎn)數(shù)據(jù)：SQLAPIAPIAPIAPIAPIAPIAPIAPIAPIAPI/APIAPIAPIAPIAPIAPI稱、APIAPI數(shù)據(jù)安全化控：數(shù)據(jù)平臺的安全防護。用戶實現(xiàn)認(rèn)證訪問和授權(quán)操作，所有操作記錄都ACLpolicyprojectapp能夠?qū)?shù)據(jù)訪問進行多種顆粒度的權(quán)限訪問。套敏感數(shù)據(jù)訪問審批流程，做到專人專權(quán)。建設(shè)成果通過統(tǒng)一數(shù)據(jù)平臺的建設(shè)，對“人”“機”“料”“法”“環(huán)”各個環(huán)節(jié)實現(xiàn)了真正意義上的數(shù)字化轉(zhuǎn)型。為企業(yè)實現(xiàn)燈塔工廠奠定了堅實的基礎(chǔ)。數(shù)據(jù)資產(chǎn)統(tǒng)一管理CDH統(tǒng)一登錄及管理，又做到了租戶和用戶邏輯隔離。8198%（81%的突破。41PLC、DCS41（四）政務(wù)領(lǐng)域數(shù)據(jù)治理實踐某市住建局?jǐn)?shù)據(jù)治理實踐案例案例背景以落地解決方案數(shù)據(jù)資源是某市住房租賃監(jiān)管服務(wù)平臺建設(shè)最重要的資源，具有以住房租賃信息為主數(shù)據(jù)的基本特征，并體現(xiàn)數(shù)據(jù)資源的關(guān)聯(lián)性的特點。根據(jù)“基于數(shù)據(jù)，圍繞數(shù)據(jù)，面向數(shù)據(jù)”的思路，進行數(shù)據(jù)治理。圖86某市住建局?jǐn)?shù)據(jù)治理架構(gòu)數(shù)據(jù)治理建設(shè)思路項、業(yè)務(wù)數(shù)據(jù)來源、業(yè)務(wù)數(shù)據(jù)描述等。方式、聯(lián)系人等。息傳遞、數(shù)據(jù)交換、數(shù)據(jù)歸檔等全過程。平臺建設(shè)提供了堅實的數(shù)據(jù)基礎(chǔ)。數(shù)據(jù)治理步驟一是形成匯聚庫。利用共享交換平臺以及大數(shù)據(jù)基礎(chǔ)平臺采集數(shù)據(jù)源數(shù)據(jù)，袋鼠云數(shù)據(jù)治理行業(yè)實踐白皮書（2023袋鼠云數(shù)據(jù)治理行業(yè)實踐白皮書（2023）第第100頁（市細(xì)信息。邏輯關(guān)聯(lián)等方式形成面向分析應(yīng)用的主題數(shù)據(jù)庫。的數(shù)據(jù)服務(wù)接口，從基礎(chǔ)庫或主題庫中提供數(shù)據(jù)服務(wù)支撐。建設(shè)成果房屋信息“一點通”6大類領(lǐng)域相關(guān)的重點建筑、社區(qū)、地鐵分布和交叉分析等實用信息均面向公眾實現(xiàn)即時查詢。圖87某市住建局地產(chǎn)市場檢測預(yù)警平臺-房屋信息房屋安全“報警器”信小程序等途徑，實名認(rèn)證查詢本人名下房屋的健康檔案信息。88房屋物業(yè)“導(dǎo)覽圖”為廣大業(yè)主參與物業(yè)管理、物業(yè)精細(xì)化管理提供更大便利。圖89某市住建局地產(chǎn)市場檢測預(yù)警平臺-房產(chǎn)物業(yè)房屋交易“詳情表”四個環(huán)節(jié)調(diào)整為“交易網(wǎng)簽合同備案”一個環(huán)節(jié)辦理，依托平臺數(shù)據(jù)共享成果，圖90某市住建局地產(chǎn)市場檢測預(yù)警平臺-房屋交易房屋租賃“監(jiān)測器”房屋保障“新管家”某高鐵樞紐站數(shù)據(jù)治理實踐案例案例背景某高鐵樞紐站總建筑面積達(dá)122萬方，年到發(fā)客流1.37億，東西跨度8201050解決方案聯(lián)感知）+GIS（地理信息系統(tǒng)）+BIM（建筑信息模型）+協(xié)同治理。圖91數(shù)字孿生V字模型561863圖92某高鐵樞紐站需求概覽5200四是實現(xiàn)綜合集成。重點打造“一圖一庫一網(wǎng)+N個子場景”。全局與精準(zhǔn)對焦的有效協(xié)同。圖93某高鐵樞紐數(shù)字孿生全景運行圖數(shù)據(jù)、名錄數(shù)據(jù)、事件數(shù)據(jù)等，通過邊、云、超計算，生成治理數(shù)據(jù)。體協(xié)同”。N個子場景：根據(jù)急用先行、成熟先行的原則，先期打造4個子場景。調(diào)度指揮可視、工作流程可溯、風(fēng)險隱患可控。圖94某高鐵樞紐數(shù)字孿生出行安全場景圖95某高鐵樞紐數(shù)字孿生氣象防災(zāi)場景8快速聯(lián)動處置。圖96某高鐵樞紐數(shù)字孿生消防安全場景1300圖97某高鐵樞紐數(shù)字孿生治安防控場景建設(shè)成果突破，也可以為更大規(guī)模的數(shù)字孿生城市建設(shè)提供樣板和經(jīng)驗積累。實現(xiàn)“分散管理”向“一網(wǎng)統(tǒng)管”的轉(zhuǎn)變。二是再造了智能化的業(yè)務(wù)流程。以“一件事”視角設(shè)計數(shù)字孿生應(yīng)用場景、圖98某高鐵樞紐數(shù)字孿生建設(shè)成果某市數(shù)據(jù)治理實踐案例案例背景某省明確了一體化智能化公共數(shù)據(jù)平臺是該省政府?dāng)?shù)字化轉(zhuǎn)型的標(biāo)志性成的拓展和延伸，是提升縣（市、區(qū)）數(shù)據(jù)資源管理能力的基礎(chǔ)，是賦能縣域治理、解決方案6基礎(chǔ)平臺能力。數(shù)據(jù)目錄體系IRSIRS圖99某市一體化智能化公共數(shù)據(jù)平臺示意圖數(shù)據(jù)治理體系全域區(qū)級數(shù)據(jù)的統(tǒng)一治理。數(shù)據(jù)倉和特色專題庫按需建設(shè)街道數(shù)據(jù)倉。建設(shè)成果提高運維效率，降低開發(fā)成本通過對各領(lǐng)域關(guān)鍵、核心數(shù)據(jù)元的標(biāo)準(zhǔn)化，使各關(guān)聯(lián)部門在未來數(shù)據(jù)建設(shè)中（包括新增需求或者系統(tǒng)上線維護后提出修改等情況極大地提高建設(shè)開發(fā)效率。有效避免和減少重復(fù)投資，節(jié)約建設(shè)資金對數(shù)據(jù)局全局的信息系統(tǒng)建設(shè)進行統(tǒng)一規(guī)劃，將可復(fù)用的管理能力、數(shù)據(jù)計算能力、數(shù)據(jù)分析能力、數(shù)據(jù)共享能力、數(shù)據(jù)處理能力等多方面進行統(tǒng)一整合，避免信息系統(tǒng)的重復(fù)建設(shè)。提升領(lǐng)導(dǎo)監(jiān)管監(jiān)控能力，切實保障各項權(quán)益數(shù)據(jù)說話，使政府的決策更有依據(jù)、更智能、更科學(xué)。（五）港口行業(yè)數(shù)據(jù)治理實踐某大型港口數(shù)據(jù)治理實踐案例案例背景改革開放四十年以來，某港口實現(xiàn)了由內(nèi)河港、河口港、海港、億噸大港、5211世界級港口集群作出積極貢獻(xiàn)。解決方案根據(jù)某港口的目前的狀況，圍繞“一”規(guī)劃“五”標(biāo)準(zhǔn)的方針，進行全面的數(shù)據(jù)治理。數(shù)據(jù)域規(guī)劃決策等各種能力的大數(shù)據(jù)倉庫。畫各個分析對象所涉及的港口各項數(shù)據(jù)，以及數(shù)據(jù)之間的聯(lián)系。時無影響地包含進來，保障良好的擴展性。圖100某港口數(shù)據(jù)域規(guī)劃圖數(shù)據(jù)采集標(biāo)準(zhǔn)針對數(shù)據(jù)源類型、數(shù)據(jù)類型以及網(wǎng)絡(luò)類型的不一致，設(shè)定了多種數(shù)據(jù)采集標(biāo)準(zhǔn)方案。網(wǎng)絡(luò)互通數(shù)據(jù)采集標(biāo)準(zhǔn)方案數(shù)據(jù)庫直連方案

圖101數(shù)據(jù)庫直連方案圖102中轉(zhuǎn)數(shù)據(jù)庫方案API圖103API接口方案Kafka圖104Kafka中轉(zhuǎn)方案網(wǎng)絡(luò)不互通數(shù)據(jù)采集標(biāo)準(zhǔn)方案中轉(zhuǎn)數(shù)據(jù)庫方案圖105中轉(zhuǎn)數(shù)據(jù)庫方案Kafka圖106Kafka中轉(zhuǎn)方案FTP圖107 FTP方案數(shù)據(jù)開發(fā)標(biāo)準(zhǔn)離線數(shù)據(jù)處理流程4DWDDWSODSmergeDIMDWSODSADSDWDEXCEL圖108某港口模型設(shè)計與數(shù)據(jù)流向?qū)崟r數(shù)據(jù)處理流程圖109實時數(shù)據(jù)處理流程第一層ODS數(shù)據(jù)貼源層同步至本地，形成原始數(shù)據(jù)。DWDjoin、流式數(shù)據(jù)與離線維度信息等的組合，將一些相同得到最終的實時明細(xì)數(shù)據(jù)。第三層DWS公共實時匯總層KafkaOLAPKuduKuduKafkaKVMySQLMySQL1）元數(shù)據(jù)管理再以人工的方式進一步完善缺漏的信息。完整度分析統(tǒng)計每張表的業(yè)務(wù)屬性（必填項）是否均已完成維護。血緣分析

圖110質(zhì)量分析圖發(fā)現(xiàn)血緣關(guān)系缺失的表，如數(shù)倉下游層級的表、BI報表等。用戶可以通過添加數(shù)據(jù)庫，系統(tǒng)自動得出解析結(jié)果，統(tǒng)計庫中血緣孤立的表。圖111血緣解析主數(shù)據(jù)管理需要一磚一瓦地打好基礎(chǔ)，切勿急于求成，追求速成。數(shù)據(jù)完整性的中文注釋都必須齊全且統(tǒng)一。