數(shù)字智慧方案數(shù)據(jù)中臺應(yīng)用場景10構(gòu)建某汽車集團(tuán)數(shù)據(jù)中臺解決方案

某企業(yè)集團(tuán)數(shù)據(jù)湖解決方案“數(shù)據(jù)湖”構(gòu)建某汽車集團(tuán)數(shù)據(jù)中臺數(shù)據(jù)湖|PART1看到的現(xiàn)象表面原因過渡原因根本原因大數(shù)據(jù)平臺待建數(shù)據(jù)庫計算能力不足數(shù)據(jù)量大個性化平臺業(yè)務(wù)數(shù)據(jù)孤島實時海量存儲計算人力不足成本過高技術(shù)沉淀不足數(shù)據(jù)湖因運而生萌生V0.12016.04產(chǎn)品

V1.02017.06沙盒

V3.02018.06未來

Vx.x2019.12沉淀

V0.22016.12成熟

V2.02017.12品牌

V4.02018.12單位格級別統(tǒng)一權(quán)限管理金融級自動化數(shù)據(jù)加密敏感數(shù)據(jù)脫敏金融級數(shù)據(jù)加密數(shù)據(jù)備份及容災(zāi)功能數(shù)據(jù)快照及數(shù)據(jù)回溯百億級數(shù)據(jù)亞秒級查詢高性能查詢數(shù)據(jù)庫數(shù)據(jù)實時接入異構(gòu)數(shù)據(jù)庫數(shù)據(jù)融合每秒百萬級數(shù)據(jù)接入實時大數(shù)據(jù)海量數(shù)據(jù)機器學(xué)習(xí)數(shù)據(jù)挖掘系統(tǒng)海量小文件存儲及檢索便捷科學(xué)計算應(yīng)用數(shù)據(jù)湖數(shù)據(jù)湖管理模塊原始數(shù)據(jù)庫入湖數(shù)據(jù)出湖->科學(xué)家工作臺數(shù)據(jù)鏈路管理科學(xué)家工作臺數(shù)據(jù)湖事件管理數(shù)據(jù)鏈路（發(fā)送端）詳情數(shù)據(jù)鏈路（接收端）管理數(shù)據(jù)表同步管理數(shù)據(jù)表Merge管理數(shù)據(jù)鏈路配置數(shù)據(jù)加密，訪問權(quán)限，脫敏設(shè)置數(shù)據(jù)治理模塊數(shù)據(jù)湖租戶租戶數(shù)據(jù)庫管理數(shù)據(jù)資產(chǎn)事件管理數(shù)據(jù)表列表數(shù)據(jù)庫狀態(tài)信息元數(shù)據(jù)導(dǎo)入數(shù)據(jù)表詳情數(shù)據(jù)血緣數(shù)據(jù)關(guān)聯(lián)數(shù)據(jù)庫元數(shù)據(jù)監(jiān)控數(shù)據(jù)表訪問日志科學(xué)家工作臺數(shù)據(jù)挖掘/分析項目管理項目文件/資源管理會話(docker)管理JupyterIDE和運行環(huán)境數(shù)據(jù)同步鏈路SAICDATALINKSAICDataLinkSAICDataLink是上汽集團(tuán)自主研發(fā)的數(shù)據(jù)同步鏈路，適配上汽數(shù)據(jù)湖平臺。完成異構(gòu)數(shù)據(jù)庫數(shù)據(jù)實時同步到上汽數(shù)據(jù)湖的工作，具有以下特點：支持Oracle，DB2，MySQL，MongoDB，PostgreSQL等數(shù)據(jù)庫異步非阻塞方式讀取數(shù)據(jù)庫Log文件，對數(shù)據(jù)庫不構(gòu)成壓力實時同步：2秒數(shù)據(jù)延遲(局域網(wǎng))數(shù)據(jù)存儲，傳輸加密：數(shù)據(jù)存儲使用AES，3DES加密，數(shù)據(jù)傳輸使用HTTPS加密支持局域網(wǎng)/廣域網(wǎng)數(shù)據(jù)同步強數(shù)據(jù)一致性校驗，保證在網(wǎng)絡(luò)條件差的情況下不丟失一條數(shù)據(jù)無狀態(tài)鏈路設(shè)計，動態(tài)擴容，基于容器的自動運維Hock方式提供數(shù)據(jù)同步鏈路開發(fā)接口，支持用戶自定義Lua腳本擴展數(shù)據(jù)鏈路功能SAICDataLink架構(gòu)圖（局域網(wǎng)）

SAICDataLinkSAICDataLink架構(gòu)圖（廣域網(wǎng)）

SAICDataLink數(shù)據(jù)湖經(jīng)濟(jì)型分析

報價單價(每TB)OracleOGG4萬/Core1000萬左右（200鏈路）Oracleexadata1000~2000萬100TB10萬/TBSAPHANA320萬256G1280萬/TBTeradata300萬30~40T100萬/TB據(jù)了解某大型企業(yè)Oracleexadata和SAPHANA，各花了400萬和320萬。數(shù)據(jù)湖建設(shè)成本，單臺機器40T，目前市面上這類機器的價格大概在10萬左右，軟件成本按照1年算，平均10個成員（100萬/人/年）大致1000萬。按照10套軟件的輸出平攤，100萬（開發(fā)成本）+(10萬硬件成本/40T（存儲容量）)=100萬+0.25萬/TB實施成本，目前實施人員（外包）成本大致為70萬/人/年，按一個季度的實施成本為17.5萬元。企業(yè)上線數(shù)據(jù)湖的預(yù)估成本（按照10套數(shù)據(jù)湖產(chǎn)品輸出計算）：

100萬+0.25萬/TB+17.5萬數(shù)據(jù)湖3.0數(shù)據(jù)湖4.0節(jié)省70%以上建設(shè)成本Guide