企業(yè)數(shù)據(jù)治理一站式數(shù)據(jù)開發(fā)與治理平臺(tái)建設(shè)方案

背景與挑戰(zhàn)數(shù)據(jù)治理存在的背景以及挑戰(zhàn)企業(yè)普遍存在數(shù)據(jù)現(xiàn)狀問題隨著數(shù)據(jù)時(shí)代的到來，以Google、Facebook、Amazon為代表的企業(yè)已經(jīng)完成了從IT巨頭到DT巨頭的轉(zhuǎn)變。這些公司借助其在大數(shù)據(jù)、云計(jì)算、人工智能的技術(shù)發(fā)展優(yōu)勢(shì)，快速實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)化、數(shù)據(jù)資產(chǎn)化和企業(yè)經(jīng)營(yíng)數(shù)據(jù)化，加速商業(yè)價(jià)值的轉(zhuǎn)化，在引領(lǐng)技術(shù)風(fēng)向的同時(shí)獲取了巨大的商業(yè)成功。數(shù)據(jù)統(tǒng)一化l數(shù)據(jù)集中處理l統(tǒng)一的元數(shù)據(jù)l統(tǒng)一的計(jì)算平臺(tái)數(shù)據(jù)生態(tài)化l數(shù)據(jù)域業(yè)務(wù)閉環(huán)l運(yùn)營(yíng)數(shù)據(jù)l服務(wù)和應(yīng)用共享數(shù)據(jù)業(yè)務(wù)化l數(shù)據(jù)化運(yùn)營(yíng)l智能應(yīng)用l在線數(shù)據(jù)數(shù)據(jù)資產(chǎn)化l數(shù)據(jù)整合l數(shù)據(jù)質(zhì)量管理l資產(chǎn)化與計(jì)量數(shù)據(jù)服務(wù)體系的數(shù)據(jù)驅(qū)動(dòng)模式精準(zhǔn)營(yíng)銷風(fēng)險(xiǎn)防控運(yùn)營(yíng)優(yōu)化管理決策精準(zhǔn)營(yíng)銷風(fēng)險(xiǎn)防控運(yùn)營(yíng)優(yōu)化管理決策數(shù)據(jù)治理資產(chǎn)管理數(shù)據(jù)治理資產(chǎn)管理產(chǎn)品應(yīng)用能力開放服務(wù)共享組件構(gòu)建產(chǎn)品應(yīng)用能力開放服務(wù)共享組件構(gòu)建產(chǎn)品化管理產(chǎn)品化管理存儲(chǔ)存儲(chǔ)算力算力交易數(shù)據(jù)行為數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)流式數(shù)據(jù)流式數(shù)據(jù)批量數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)外部數(shù)據(jù)企業(yè)在實(shí)行數(shù)據(jù)戰(zhàn)略時(shí)需要關(guān)注什么你有什么數(shù)據(jù)？這些數(shù)據(jù)在哪里?如何訪問它們？如何發(fā)揮他們的價(jià)值?完善的數(shù)據(jù)應(yīng)用能力對(duì)企業(yè)未來至關(guān)重要數(shù)據(jù)在不斷的增長(zhǎng)但還未被充分利用企業(yè)在數(shù)據(jù)應(yīng)用能力的建設(shè)路徑l業(yè)務(wù)系統(tǒng)獨(dú)立建設(shè)數(shù)據(jù)查詢數(shù)據(jù)查詢即服務(wù)l多業(yè)務(wù)系統(tǒng)的數(shù)據(jù)融合分主要用于OLAP分析報(bào)表分析報(bào)表即服務(wù)l利用大數(shù)據(jù)技術(shù)洞察業(yè)務(wù)，l整合企業(yè)數(shù)據(jù)+社會(huì)數(shù)據(jù)，用工具即服務(wù)l經(jīng)過業(yè)務(wù)沉淀，形成有業(yè)務(wù)價(jià)l通過數(shù)據(jù)服務(wù)快速適應(yīng)業(yè)務(wù)發(fā)數(shù)據(jù)即服務(wù)未來的企業(yè)數(shù)據(jù)中臺(tái)需要什么數(shù)據(jù)中臺(tái)方案數(shù)據(jù)中臺(tái)方案及內(nèi)容數(shù)據(jù)中臺(tái)解決方案數(shù)據(jù)應(yīng)用行業(yè)中臺(tái)解決方案第三方插件數(shù)據(jù)應(yīng)用與專家服務(wù)提供在數(shù)據(jù)中臺(tái)建設(shè)中企業(yè)所有數(shù)據(jù)應(yīng)用行業(yè)中臺(tái)解決方案第三方插件數(shù)據(jù)應(yīng)用與專家服務(wù)提供在數(shù)據(jù)中臺(tái)建設(shè)中企業(yè)所有需要的各類專家服務(wù)和數(shù)據(jù)應(yīng)用定制化服務(wù)。幫助企業(yè)打通數(shù)據(jù)據(jù)運(yùn)營(yíng)。從數(shù)據(jù)匯聚到數(shù)據(jù)服務(wù)的一站式大數(shù)據(jù)智能研發(fā)與治理平臺(tái)，支持實(shí)數(shù)據(jù)開發(fā)、生產(chǎn)運(yùn)維、實(shí)時(shí)分析、資產(chǎn)管理、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)共享等核心數(shù)據(jù)工藝，承上啟下，讓數(shù)據(jù)從采集到展現(xiàn)數(shù)據(jù)集成大數(shù)據(jù)引擎套件數(shù)據(jù)集成統(tǒng)一元數(shù)據(jù)系統(tǒng)統(tǒng)一調(diào)度系統(tǒng)大數(shù)據(jù)運(yùn)維管控平臺(tái)提供跨大數(shù)據(jù)生態(tài)的智能化大數(shù)Hadoop統(tǒng)一元數(shù)據(jù)系統(tǒng)統(tǒng)一調(diào)度系統(tǒng)大數(shù)據(jù)運(yùn)維管控平臺(tái)提供跨大數(shù)據(jù)生態(tài)的智能化大數(shù)HadoopSparkFlinkClickHouse圖計(jì)算運(yùn)維成本?；A(chǔ)設(shè)施大數(shù)據(jù)引擎套件l提供覆蓋全業(yè)務(wù)場(chǎng)景的計(jì)算引擎包含了離線計(jì)算、流式計(jì)算、數(shù)據(jù)查詢、數(shù)據(jù)分析、機(jī)器學(xué)習(xí)等各個(gè)領(lǐng)域。l基于容器的租戶隔離能力，大幅提升資源隔離和管控能力l提供彈性調(diào)度能力有效提高集群的利用率，并可實(shí)現(xiàn)多集群多云的調(diào)度編排能力大數(shù)據(jù)運(yùn)維管控平臺(tái)服務(wù)場(chǎng)景數(shù)據(jù)存儲(chǔ)數(shù)據(jù)計(jì)算服務(wù)大數(shù)據(jù)運(yùn)維平臺(tái)大數(shù)據(jù)運(yùn)維平臺(tái)計(jì)算引擎產(chǎn)品優(yōu)勢(shì)快速找出性能瓶頸、快速找出性能瓶頸、化建議根據(jù)當(dāng)前的硬件條件自動(dòng)設(shè)置組件的配置內(nèi)存、CPU根據(jù)當(dāng)前的硬件條件自動(dòng)設(shè)置組件的配置內(nèi)存、CPU、硬盤IO參數(shù)一站式數(shù)據(jù)開發(fā)與治理平臺(tái)產(chǎn)品功能核心模塊拉通數(shù)據(jù)孤島拉通數(shù)據(jù)孤島服務(wù)應(yīng)用支撐異構(gòu)數(shù)據(jù)源訪問Api生成數(shù)據(jù)服務(wù)數(shù)據(jù)服務(wù)一站式數(shù)據(jù)開發(fā)治理產(chǎn)品優(yōu)勢(shì)降低使用門檻可視化的流批一體開實(shí)時(shí)數(shù)據(jù)處理調(diào)度引擎實(shí)時(shí)獲取服可視化的流批一體開實(shí)時(shí)數(shù)據(jù)處理數(shù)據(jù)中臺(tái)數(shù)據(jù)分層ADS層ADS層面向業(yè)務(wù)ODS層面向業(yè)務(wù)ODS層面向數(shù)據(jù)供數(shù)據(jù)服務(wù)度匯總洗、形成一套標(biāo)準(zhǔn)化數(shù)據(jù)模型層數(shù)據(jù)進(jìn)行數(shù)據(jù)全/增量合并以及數(shù)據(jù)清洗和標(biāo)準(zhǔn)化動(dòng)作數(shù)據(jù)資產(chǎn)地圖數(shù)據(jù)質(zhì)量質(zhì)量監(jiān)控多租戶管理數(shù)據(jù)資產(chǎn)地圖數(shù)據(jù)質(zhì)量質(zhì)量監(jiān)控多租戶管理API分組API創(chuàng)建API注冊(cè)API調(diào)試API授權(quán)API調(diào)用API授權(quán)API調(diào)用數(shù)據(jù)安全數(shù)據(jù)集成離線開發(fā)實(shí)時(shí)開發(fā)實(shí)時(shí)開發(fā)子用戶管理監(jiān)控運(yùn)維子用戶管理監(jiān)控運(yùn)維項(xiàng)目管理項(xiàng)目管理 SparkFlink權(quán)限認(rèn)證MySQL、Oracle、SQLServer…FTP、OSS、Minio…Hive、Hbase、Elasticsearch…平臺(tái)優(yōu)勢(shì)開源底座、OS多源開源底座、OS多源、異構(gòu)一體化、全棧式組件式、插件化混合云、容器化提供數(shù)據(jù)采集，數(shù)據(jù)處理、發(fā)布運(yùn)維、自動(dòng)化元數(shù)據(jù)管理、數(shù)據(jù)共享等一站式數(shù)據(jù)服務(wù)，覆蓋整個(gè)數(shù)據(jù)生命周期基于分布式架構(gòu)設(shè)計(jì)，提供可視化配置及高性能的數(shù)據(jù)同步服務(wù)，支持多種數(shù)據(jù)源任意方向的數(shù)據(jù)讀寫支持混合云、多云、混合容器化等各種部署方案，大大節(jié)省部署時(shí)間整合高性能、穩(wěn)定版本的開源存儲(chǔ)及計(jì)算大數(shù)據(jù)組件，全國(guó)首個(gè)開源完整的數(shù)據(jù)平臺(tái)OS組件式、插件化產(chǎn)品架支持平臺(tái)能力與大數(shù)據(jù)組件分離，實(shí)現(xiàn)輕量化部署，與客戶原有大數(shù)據(jù)組件無縫銜接，大大節(jié)省資源數(shù)據(jù)中臺(tái)：數(shù)據(jù)集成SQLTransforms關(guān)系型數(shù)據(jù)庫(kù)大數(shù)據(jù)存儲(chǔ)半結(jié)構(gòu)化存儲(chǔ)AnalysisReadySchemasNoSQLNoSQL消息隊(duì)列數(shù)據(jù)中臺(tái)：數(shù)據(jù)開發(fā) 邏輯控制數(shù)據(jù)中臺(tái)：統(tǒng)一調(diào)度中心……協(xié)調(diào)器組協(xié)調(diào)器組協(xié)調(diào)器組協(xié)調(diào)器組協(xié)調(diào)器組協(xié)調(diào)器組CoordinatorCoordinatorCoordinatorCoordinatorCoordinatorCoordinatorCoordinatorCoordinator工作組工作組工作組工作組工作組工作組WorkerWorkerWorkerWorkerWorkerWorker租戶數(shù)據(jù)中心租戶數(shù)據(jù)中心租戶數(shù)據(jù)中心Worker租戶數(shù)據(jù)中心租戶數(shù)據(jù)中心租戶數(shù)據(jù)中心Worker數(shù)據(jù)檢索數(shù)據(jù)血緣數(shù)據(jù)目錄元數(shù)據(jù)管理數(shù)據(jù)檢索數(shù)據(jù)血緣數(shù)據(jù)目錄元數(shù)據(jù)管理控?cái)?shù)據(jù)中臺(tái)：數(shù)據(jù)服務(wù)應(yīng)用注冊(cè)API調(diào)試API認(rèn)證現(xiàn)有API案例分享某地市電力公司數(shù)據(jù)中臺(tái)客戶痛點(diǎn)數(shù)據(jù)中臺(tái)數(shù)據(jù)、企業(yè)級(jí)量測(cè)中心等數(shù)據(jù)來源數(shù)據(jù)融合度解決方案數(shù)據(jù)安全管理數(shù)據(jù)安全管理服務(wù)創(chuàng)建服務(wù)授權(quán)API網(wǎng)關(guān)調(diào)用管理貼源層共享層主題層主網(wǎng)量測(cè)主題庫(kù)配網(wǎng)量測(cè)主題庫(kù)......數(shù)據(jù)中臺(tái)企業(yè)級(jí)量測(cè)中心電網(wǎng)資源業(yè)務(wù)中臺(tái)省能大中心數(shù)據(jù)中臺(tái)企業(yè)級(jí)量測(cè)中心電網(wǎng)資源業(yè)務(wù)中臺(tái)省能大中心平臺(tái)價(jià)值集成了省側(cè)數(shù)據(jù)中臺(tái)、企業(yè)級(jí)量測(cè)中心、電網(wǎng)資源業(yè)務(wù)中臺(tái)、園區(qū)用戶側(cè)數(shù)據(jù)等多某工業(yè)制造企業(yè)數(shù)據(jù)中臺(tái)系統(tǒng)采集適配器物料數(shù)據(jù)適航工程數(shù)據(jù)構(gòu)型管理數(shù)據(jù)臺(tái)份狀態(tài)數(shù)據(jù)供應(yīng)商數(shù)據(jù)服務(wù)工程數(shù)據(jù)系統(tǒng)采集適配器物料數(shù)據(jù)適航工程數(shù)據(jù)構(gòu)型管理數(shù)據(jù)臺(tái)份狀態(tài)數(shù)據(jù)供應(yīng)商數(shù)據(jù)服務(wù)工程數(shù)據(jù)集中采集適配模塊集中采集適配模塊轉(zhuǎn)換提取處理加密關(guān)聯(lián)過濾數(shù)據(jù)隊(duì)列流處理主數(shù)據(jù)庫(kù)數(shù)據(jù)交換表緩存元數(shù)據(jù)模型庫(kù)統(tǒng)一數(shù)據(jù)服務(wù)網(wǎng)關(guān)統(tǒng)一數(shù)據(jù)服務(wù)網(wǎng)關(guān)數(shù)據(jù)API服務(wù)標(biāo)簽服務(wù)查詢/分析服務(wù)大屏展示統(tǒng)一門戶網(wǎng)絡(luò)運(yùn)維監(jiān)管數(shù)字孿生數(shù)據(jù)監(jiān)管系統(tǒng)統(tǒng)一流程管理大數(shù)據(jù)分析大數(shù)據(jù)AI預(yù)測(cè)KV數(shù)據(jù)庫(kù)KV數(shù)據(jù)庫(kù)搜索引擎mpp數(shù)據(jù)庫(kù)分布式計(jì)算分布式列存分布式計(jì)算分布式列存內(nèi)存計(jì)算運(yùn)