《工業(yè)互聯(lián)網(wǎng)微證書-大數(shù)據(jù)能力 》 課件-05工業(yè)大數(shù)據(jù)技術(shù)-數(shù)據(jù)中臺的系統(tǒng)架構(gòu)

05數(shù)據(jù)中臺的系統(tǒng)架構(gòu)工業(yè)互聯(lián)網(wǎng)微證書-大數(shù)據(jù)能力

數(shù)據(jù)中臺架構(gòu)是現(xiàn)代企業(yè)數(shù)據(jù)管理的重要組成部分，旨在統(tǒng)一數(shù)據(jù)資源，提供數(shù)據(jù)服務(wù)，以支持前端業(yè)務(wù)的快速迭代和創(chuàng)新。數(shù)據(jù)中臺通過集中管理數(shù)據(jù)的采集、存儲、處理、分析和應(yīng)用，確保數(shù)據(jù)的一致性、準(zhǔn)確性和可訪問性，從而提升數(shù)據(jù)的價值和利用率內(nèi)容導(dǎo)入5.1數(shù)據(jù)中臺的功能定位5.2數(shù)據(jù)中臺建設(shè)思路目錄5.3數(shù)據(jù)中臺架構(gòu)設(shè)計考慮因素5.4數(shù)據(jù)中臺架構(gòu)了解數(shù)據(jù)中臺的功能定位熟悉數(shù)據(jù)中臺建設(shè)思路了解數(shù)據(jù)中臺架構(gòu)設(shè)計考慮因素掌握數(shù)據(jù)中臺架構(gòu)課程目標(biāo)5.1數(shù)據(jù)中臺的功能定位

數(shù)據(jù)中臺的功能定位是完成公司內(nèi)部數(shù)據(jù)能力的抽象、共享和復(fù)用，因此，數(shù)據(jù)中臺的架構(gòu)必須圍繞這三個功能來設(shè)計。

數(shù)據(jù)中臺搭建于大數(shù)據(jù)平臺及數(shù)據(jù)倉庫之上，將大數(shù)據(jù)平臺和數(shù)據(jù)倉庫所實現(xiàn)的功能以通用數(shù)據(jù)能力的形式提供給企業(yè)的所有部門。數(shù)據(jù)中臺需要把大數(shù)據(jù)平臺、數(shù)據(jù)倉庫的數(shù)據(jù)和接口組織起來，通過打通數(shù)據(jù)提升數(shù)據(jù)能力，通過共享提高全局使用效率。因此數(shù)據(jù)中臺的架構(gòu)設(shè)計應(yīng)該考慮如何有效地完成抽象、共享和復(fù)用的功能。5.2數(shù)據(jù)中臺建設(shè)思路5.3數(shù)據(jù)中臺架構(gòu)設(shè)計考慮因素數(shù)據(jù)中臺的建設(shè)應(yīng)該貫穿數(shù)據(jù)處理的全生命周期，即從原始數(shù)據(jù)到最后產(chǎn)生數(shù)據(jù)價值的整個流程，且整個流程都處于數(shù)據(jù)中臺的管理之下。數(shù)據(jù)中臺建設(shè)需要考慮環(huán)節(jié)有：數(shù)據(jù)發(fā)現(xiàn)/探索，數(shù)據(jù)采集/導(dǎo)入，數(shù)據(jù)建模/治理，數(shù)據(jù)轉(zhuǎn)換/分析，數(shù)據(jù)發(fā)現(xiàn)/探索，數(shù)據(jù)采集/導(dǎo)入，數(shù)據(jù)建模/治理，數(shù)據(jù)轉(zhuǎn)換/分析。數(shù)據(jù)中臺要做的就是把上述流程在全局標(biāo)準(zhǔn)化、規(guī)范化，讓這個流程產(chǎn)生的結(jié)果和能力能夠在全局共享和復(fù)用。原始數(shù)據(jù)到實現(xiàn)數(shù)據(jù)價值的完整流程圖。5.3數(shù)據(jù)中臺架構(gòu)設(shè)計考慮因素數(shù)據(jù)中臺的架構(gòu)設(shè)計，其核心在于用全局統(tǒng)一的標(biāo)準(zhǔn)和規(guī)范來實現(xiàn)數(shù)據(jù)賦能在數(shù)據(jù)中臺的設(shè)計中，需要考慮：(1)支持?jǐn)?shù)據(jù)能力的抽象，管理各種數(shù)據(jù)復(fù)用，確保符合統(tǒng)一的數(shù)據(jù)規(guī)范和安全規(guī)則(2)各個部門能夠獨立演變屬于自己的數(shù)據(jù)(3)各個部門在一個統(tǒng)一平臺上完成上述流程中的所需功能(4)能將特定的數(shù)據(jù)能力共享給全公司，并且在后續(xù)的演變中不會因為協(xié)調(diào)的原因而拉長數(shù)據(jù)能力的演進(jìn)過程。5.4數(shù)據(jù)中臺架構(gòu)5.4數(shù)據(jù)中臺架構(gòu)要搭建一個企業(yè)級的數(shù)據(jù)中臺，是一個及其龐大的一個工程，涉及到很多的方面，數(shù)據(jù)中臺的架構(gòu)在每個企業(yè)都是不一樣的，要結(jié)合自己公司的業(yè)務(wù)場景才是符合公司的數(shù)據(jù)中臺架構(gòu)。

數(shù)據(jù)中臺架構(gòu)示例1：5.4數(shù)據(jù)中臺架構(gòu)分析數(shù)據(jù)中臺架構(gòu)示例1，主要構(gòu)成：為數(shù)據(jù)中臺提供計算和存儲，存儲可以存儲結(jié)構(gòu)化，半結(jié)構(gòu)化，非結(jié)構(gòu)化數(shù)據(jù)，計算有實時計算、離線計算，交互式計算，圖計算等。計算存儲平臺數(shù)據(jù)集成開發(fā)平臺

數(shù)據(jù)集成開發(fā)平臺能最高效地使用底層的組件和數(shù)據(jù)，提供從源數(shù)據(jù)到數(shù)據(jù)能力的轉(zhuǎn)換。數(shù)據(jù)集成平臺是數(shù)據(jù)中臺數(shù)據(jù)接入的入口,數(shù)據(jù)來自于業(yè)務(wù)系統(tǒng)、日志、文件、網(wǎng)絡(luò)等,數(shù)據(jù)集成方式一般有數(shù)據(jù)庫同步、埋點、網(wǎng)絡(luò)爬蟲、消息隊列等；從匯聚的時效性來分，有離線批量匯聚和實時采集，也有增量同步和全量同步。在數(shù)據(jù)集成的過程中一般會用到datax，flume，sqoop，canal等工具。5.4數(shù)據(jù)中臺架構(gòu)分析數(shù)據(jù)中臺架構(gòu)示例1，主要構(gòu)成：

常用的大數(shù)據(jù)平臺組件、數(shù)據(jù)倉庫、數(shù)據(jù)湖的工具、ETL工具、數(shù)據(jù)可視化工具等。通過數(shù)據(jù)集成模塊匯聚到中臺的數(shù)據(jù)沒有經(jīng)過處理，數(shù)據(jù)開發(fā)是一整套數(shù)據(jù)加工以及加工過程管控的工具，有經(jīng)驗的數(shù)據(jù)開發(fā)、算法建模人員利用數(shù)據(jù)加工模塊提供的功能，可以快速把數(shù)據(jù)加工成對業(yè)務(wù)有價值的形式，提供給業(yè)務(wù)使用。數(shù)據(jù)基礎(chǔ)能力平臺數(shù)據(jù)體系數(shù)據(jù)要統(tǒng)一建設(shè)，建議數(shù)據(jù)按照貼源數(shù)據(jù)、統(tǒng)一數(shù)倉、標(biāo)簽數(shù)據(jù)、應(yīng)用數(shù)據(jù)的標(biāo)準(zhǔn)統(tǒng)一建設(shè)，數(shù)據(jù)體系建設(shè)最終呈現(xiàn)的結(jié)果是一套完整、規(guī)范、標(biāo)準(zhǔn)、準(zhǔn)確的數(shù)據(jù)體系，可以方便支撐數(shù)據(jù)應(yīng)用。5.4數(shù)據(jù)中臺架構(gòu)分析數(shù)據(jù)中臺架構(gòu)示例1，主要構(gòu)成：資產(chǎn)管理是以企業(yè)全員更好理解的方式，把企業(yè)的數(shù)據(jù)資產(chǎn)展現(xiàn)給企業(yè)全員，數(shù)據(jù)資產(chǎn)管理包括對數(shù)據(jù)資產(chǎn)目錄、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)血緣、數(shù)據(jù)生命周期等進(jìn)行管理和展示，以一種更直觀的方式展現(xiàn)企業(yè)的數(shù)據(jù)資產(chǎn)，提升企業(yè)的數(shù)據(jù)意識。數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)服務(wù)體系數(shù)據(jù)服務(wù)體系就是把數(shù)據(jù)變?yōu)橐环N服務(wù)能力，通過數(shù)據(jù)服務(wù)讓數(shù)據(jù)參與到業(yè)務(wù)，激活整個數(shù)據(jù)中臺，數(shù)據(jù)服務(wù)體系是數(shù)據(jù)中臺存在的價值所在。5.4數(shù)據(jù)中臺架構(gòu)分析數(shù)據(jù)中臺架構(gòu)示例1，主要構(gòu)成：數(shù)據(jù)安全管理是指對數(shù)據(jù)設(shè)定安全等級，按照相應(yīng)國家/組織相關(guān)法案及監(jiān)督要求，通過評估數(shù)據(jù)安全風(fēng)險、制定數(shù)據(jù)安全管理制度規(guī)范、進(jìn)行數(shù)據(jù)安全分級分類，完善數(shù)據(jù)安全管理相關(guān)技術(shù)規(guī)范，保證數(shù)據(jù)被合法合規(guī)、安全地采集、傳輸、存儲和使用。企業(yè)通過數(shù)據(jù)安全管理，規(guī)劃、開發(fā)和執(zhí)行安全政策與措施，提供適當(dāng)?shù)纳矸菀源_認(rèn)、授權(quán)、訪問與審計等功能。數(shù)據(jù)的安全治理應(yīng)貫穿于數(shù)據(jù)的整個生命周期。運營體系和安全體系5.4數(shù)據(jù)中