云原生數(shù)據(jù)湖生態(tài)分析及選型建議

1、云原生數(shù)據(jù)湖生態(tài)分析及選型建議技術(shù)創(chuàng)新，變革未來數(shù)據(jù)湖的定義離線任務(wù)管理流程編排質(zhì)量管理數(shù)據(jù)治理數(shù)據(jù)接入數(shù)據(jù)搬遷訪問控制資產(chǎn)目錄應(yīng)用BI報表數(shù)據(jù)大屏數(shù)據(jù)挖掘機(jī)器學(xué)習(xí)IoT分析數(shù)據(jù)庫數(shù)倉APP數(shù)據(jù)湖存儲層OSS實時調(diào)用數(shù)據(jù)湖是面向大數(shù)據(jù)場景的創(chuàng)新解決方案早期，業(yè)界和用戶多把數(shù)據(jù)湖定義為一個儲存原始格式數(shù)據(jù)的系統(tǒng)，可容納結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化及二進(jìn)制的數(shù)據(jù)。 隨著大數(shù)據(jù)技術(shù)的融合發(fā)展，數(shù)據(jù)湖的邊界不斷擴(kuò)展，內(nèi)涵也發(fā)生了變化。數(shù)據(jù)湖開始匯集各方面技術(shù)，逐步演進(jìn)成為集 多源異構(gòu)數(shù)據(jù)統(tǒng)一儲存、多范式計算分析及統(tǒng)一管理調(diào)用的大數(shù)據(jù)綜合解決方案。它可以更加高效率低成本地管理海量多 源異構(gòu)數(shù)據(jù)，打通數(shù)據(jù)孤

2、島，釋放數(shù)據(jù)價值，助力新時代下各行業(yè)企業(yè)的數(shù)字化轉(zhuǎn)型。數(shù)據(jù)湖典型構(gòu)架及特性數(shù)據(jù)湖接入層數(shù)據(jù)湖調(diào)度層數(shù)據(jù)湖應(yīng)用層統(tǒng) 一 的 API接 口數(shù)據(jù)科學(xué) 應(yīng)用廣泛： 支持使用者通 過自助訪問業(yè) 務(wù)數(shù)據(jù)， 支持 數(shù)據(jù)挖掘、機(jī) 器學(xué)習(xí)等未知 探索訴求。 Schema 后 置：數(shù)據(jù)湖存儲數(shù)據(jù) 不需要滿足特定 的范式，支持在 讀取數(shù)據(jù)的時候 schema。， 數(shù)據(jù)多源異構(gòu)： 可容納海量數(shù)據(jù)， 且無存儲格式要求 接收結(jié)構(gòu)化、半結(jié) 構(gòu)化、非結(jié)構(gòu)化及 二進(jìn)制數(shù)據(jù)入湖。， 多范式計算：支持多種計算引擎，滿足不同數(shù)據(jù)計算分 析需求，支持批處理、流處理、機(jī)器學(xué)習(xí)等。數(shù)據(jù)湖管理層元數(shù)據(jù)管理數(shù)據(jù)湖計算層離線計算MapReduc

3、eSpark實時計算StormFlinkSpark Streaming 數(shù)據(jù)統(tǒng)一存儲管理：對內(nèi)以O(shè)SS為中心，進(jìn)行統(tǒng)一存儲 對接多范式計算引擎，對外提供統(tǒng)一的API接口4日志數(shù)據(jù)湖 vs 數(shù)據(jù)倉庫誕生背景、設(shè)計思路及使用場景各不相同數(shù)據(jù)倉庫是誕生于數(shù)據(jù)庫時代，應(yīng)企業(yè)分析訴求而生的數(shù)據(jù)產(chǎn)品，它的核心思路是把數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行一定格式轉(zhuǎn)換后， 定時地復(fù)制至另一個庫里做列式存儲，從而滿足企業(yè)查詢和數(shù)據(jù)分析的訴求。隨著互聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)量暴增，非結(jié)構(gòu)化 數(shù)據(jù)越來越多，企業(yè)業(yè)務(wù)變化越來越快，傳統(tǒng)數(shù)據(jù)倉庫無法適應(yīng)大數(shù)據(jù)和現(xiàn)代化企業(yè)對于實時、交互式分析等方面的訴求。 隨之，數(shù)據(jù)湖誕生。它選擇了“前松后緊”的

4、設(shè)計思路，初始化階段放棄嚴(yán)格的模式，后置schema，從而獲取更強(qiáng)的靈 活性；同時通過統(tǒng)一存儲管理和計算優(yōu)化來保證數(shù)據(jù)的一致性和性能。數(shù)據(jù)湖與數(shù)據(jù)倉庫對比數(shù)據(jù)源數(shù)據(jù)處理適用場景性價比數(shù)據(jù)倉庫支持處理過后的結(jié)構(gòu)化/半結(jié)構(gòu) 化數(shù)據(jù)；來自業(yè)務(wù)系統(tǒng)寫時建模（Schema-on-write）傳統(tǒng)行業(yè)，以及企業(yè)的穩(wěn)態(tài)業(yè)務(wù)；數(shù)據(jù)量少，數(shù)據(jù)結(jié)構(gòu)化，穩(wěn)定可預(yù)測，對 執(zhí)行實時性要求不高建設(shè)成本低 擴(kuò)容成本高高度監(jiān)管與嚴(yán)格事前控制，滿足企業(yè)級訴求；數(shù)據(jù)與模式穩(wěn)定，引擎優(yōu)化表現(xiàn)較好。BI數(shù)據(jù)源ETL數(shù)據(jù)倉庫報表數(shù)據(jù)湖支持未經(jīng)處理的結(jié)構(gòu)化/半結(jié)構(gòu) 化/非結(jié)構(gòu)化數(shù)據(jù)；來自IoT設(shè)備、Web、APP和業(yè)務(wù)系統(tǒng)等讀時建模（S

5、chema-on-read）泛互聯(lián)網(wǎng)行業(yè)以及傳統(tǒng)行業(yè)的互聯(lián)網(wǎng)場景； 海量數(shù)據(jù)，迭代速度快，需要實時分析擴(kuò)容成本低 建設(shè)成本高可針對特定業(yè)務(wù)需求進(jìn)行重新配置，靈活性和可擴(kuò)展性較強(qiáng)。數(shù)據(jù)源數(shù)據(jù)湖數(shù) 據(jù) 處 理BI報表56云原生數(shù)據(jù)湖云原生部署是數(shù)據(jù)湖未來的必然形態(tài)近年來，在數(shù)字經(jīng)濟(jì)的背景下，互聯(lián)網(wǎng)行業(yè)及傳統(tǒng)企業(yè)加速云化轉(zhuǎn)型，中國整體云服務(wù)市場的規(guī)模逐年擴(kuò)增，云成為新一 代IT基礎(chǔ)設(shè)施已經(jīng)成為不爭的事實。其中，企業(yè)云化轉(zhuǎn)型的深入以及用云思維的轉(zhuǎn)變，驅(qū)動了PaaS市場份額的增長，基于 云的能力創(chuàng)新已成為基礎(chǔ)云發(fā)展新的增長引擎。云特有的“池化、彈性、成本、敏捷”等優(yōu)勢讓數(shù)據(jù)層與應(yīng)用層的很多設(shè) 想得以實現(xiàn)

6、，擁抱云原生成為數(shù)據(jù)湖乃至大數(shù)據(jù)的必然選擇。來源：2021年中國基礎(chǔ)云服務(wù)行業(yè)發(fā)展洞察，研究院自主研究及繪制。來源：2021年中國基礎(chǔ)云服務(wù)行業(yè)發(fā)展洞察，研究院自主研究及繪制。2015-2024年中國整體云服務(wù) 市場規(guī)模及增速394521693102616122256324546906598928632.1% 33.2%48.1%57.1%39.9% 43.8% 44.5% 40.7% 40.7%20 15 20 16 20 17 20 18 20 19 20 20 20 21e 20 22e 20 23e 20 24e整體云服務(wù)市場規(guī)模（億元）整體云服務(wù)市場增速（%）241322424638

7、108816392285331442035527547110514518427240561391813742015-2024年中國整體IaaS和PaaS 市場規(guī)模及增速70.4%45.0%26.8%31.5%32.6%50.6%50.7%47.2%33.3% 31.7% 38.1%27.0%47.8%39.4%49.0% 51.5% 49.8%49.6%20 15 20 16 20 17 20 18 20 19 20 20 20 21e 20 22e 20 23e 20 24eIaaS市場規(guī)模（億元） IaaS市場增速（%）PaaS市場規(guī)模（億元） PaaS市場增速（%）大 數(shù) 據(jù) 技 術(shù)數(shù)

8、據(jù) 湖發(fā)展歷程來源：公開資料，專家訪談，研究院自主研究及繪制。數(shù)據(jù)庫時代1960s2000s20世紀(jì)60年代，計算機(jī) 開始廣泛地應(yīng)用于數(shù)據(jù) 管理，能夠統(tǒng)一管理和 共享數(shù)據(jù)的數(shù)據(jù)庫管理 系統(tǒng)（DBMS）誕生。20世紀(jì)90年代，為滿足 企業(yè)數(shù)據(jù)分析的訴求， 數(shù)據(jù)倉庫誕生。2000s2010s：互聯(lián)網(wǎng)蓬勃發(fā)展，數(shù)據(jù)量 爆發(fā)式增長，數(shù)據(jù)庫/數(shù)倉 難以承載海量數(shù)據(jù)，大數(shù) 據(jù)時代開啟；以Hadoop（開源）、 Google 、 Microsoft Cosmos 為代表的分布式 技術(shù)體系誕生，奠基了大 數(shù)據(jù)時代的基本技術(shù)框架。2010s2020s：數(shù)據(jù)倉庫不斷演進(jìn)，在性能、成本、 數(shù)據(jù)管理能力等方面不斷優(yōu)化

9、， Google BigQuery、Snowflake等 優(yōu)秀產(chǎn)品面市；以開源 Hadoop 體系為代表的開放 式 HDFS 存儲、開放的文件格式、 開放的元數(shù)據(jù)服務(wù)以及多種引擎（Presto、Spark、Flink 等）協(xié)同 工作的模式，形成了數(shù)據(jù)湖的雛形。大數(shù)據(jù)技術(shù)的探索期2020s：大數(shù)據(jù)技術(shù)逐步滲透到下游各行業(yè)，人們 對大數(shù)據(jù)產(chǎn)品提出了成本、安全、穩(wěn)定性 等更加全面的企業(yè)級生產(chǎn)的要求；云上純托管的存儲系統(tǒng)逐步取代HDFS， 引擎豐富度也不斷擴(kuò)展，數(shù)據(jù)湖開始走向 “云湖共生”階段；數(shù)據(jù)倉庫和數(shù)據(jù)湖在云的體系下得以打通， 湖倉一體的解決方案在業(yè)界開始應(yīng)用。阿里云推出業(yè)內(nèi)首個云原生企業(yè)級 數(shù)

10、據(jù)湖解決方案IBM推出面向數(shù)據(jù)湖的新一代存儲 解決方案百度云推出百度數(shù)據(jù)湖管理與分析 平臺EasyDAP華為云推出數(shù)據(jù)湖治理中心DGC,將 原FusionInsight HD與MRS結(jié)合， 全面升級到FusionInsight MRS云 原生架構(gòu)2020年阿里云定義了數(shù)據(jù)湖3.0，為 用戶提供以O(shè)SS為中心，多種 元數(shù)據(jù)統(tǒng)一管理，并結(jié)合云原 生進(jìn)一步實現(xiàn)實時化、AI化、 生態(tài)化的綜合性解決方案。騰訊云首次對外展示完整的云 端數(shù)據(jù)湖產(chǎn)品圖譜，并推出數(shù) 據(jù)湖計算DLC和數(shù)據(jù)湖構(gòu)建 DLF產(chǎn)品2021年產(chǎn)品隨市場需求不斷演進(jìn)，國內(nèi)數(shù)據(jù)湖尚處于發(fā)展初期中國數(shù)據(jù)湖技術(shù)正在逐年發(fā)展及突破，公有云廠商及其他

11、行業(yè)廠商紛紛在做嘗試。但目前在數(shù)據(jù)感知收集及歸類清洗方面 存在壁壘和難度，數(shù)據(jù)湖建模經(jīng)驗不足，因此我國數(shù)據(jù)湖市場整體發(fā)展處于初期階段，未來發(fā)展空間廣闊。中國云原生數(shù)據(jù)湖行業(yè)發(fā)展歷程亞馬遜云科技推出Lake Formation2018年基于數(shù)據(jù)湖戰(zhàn)略， EMC推出三款新的 Isilon軟件產(chǎn)品Isilon SD Edge、第8代 Isilon操作系統(tǒng)和 Isilon CloudPools2016年亞馬遜云科技宣布Lake Formation全面上市青 云 QingCloud 聯(lián) 合 HashData發(fā)布基于云模 式構(gòu)建的數(shù)據(jù)湖解決方案122019年大數(shù)據(jù)技術(shù)的發(fā)展期大數(shù)據(jù)技術(shù)的普及期產(chǎn)業(yè)圖譜注釋

12、：此頁主要表現(xiàn)云原生數(shù)據(jù)湖及其生態(tài)的布局情況，僅展示部分典型企業(yè)，圖譜中所展示的公司logo順序及大小并無實際意義。 公有云廠商+生態(tài)廠商的市場格局初現(xiàn)中國云原生數(shù)據(jù)湖產(chǎn)業(yè)圖譜數(shù)據(jù)湖綜合解決方案廠商云廠商大數(shù)據(jù)廠商其他廠商數(shù)據(jù)湖生態(tài)廠商及開源項目（部分）應(yīng)用管理計算存儲(包括部分開源項目)19競爭格局注釋：獨立廠商包括大數(shù)據(jù)廠商、軟件廠商、以及其他提供云數(shù)據(jù)湖服務(wù)的IT廠商。注釋：此市占率統(tǒng)計口徑為2020自然年全年各廠商在中國內(nèi)地（不含港澳臺）銷售云原生數(shù)據(jù)湖解決方案的營業(yè)收入，合同簽署地點和交付地點都位于中國內(nèi)地區(qū)域。注釋：此市占率統(tǒng)計口徑不包含云原生數(shù)據(jù)湖組件發(fā)生于其他解決方案（例：數(shù)據(jù)

13、倉庫）的營收，不包含云原生數(shù)據(jù)湖生態(tài)支持廠商部分。 來源：長期基礎(chǔ)云服務(wù)數(shù)據(jù)監(jiān)測，結(jié)合公開資料、專家訪談，根據(jù)數(shù)據(jù)測算模型，自主研究及繪制。先發(fā)優(yōu)勢，云廠商市占率達(dá)82.4%整體來看，中國云原生數(shù)據(jù)湖還處于發(fā)展的早期，能夠提供整體解決方案的獨立廠商還較少，市場較為集中，競爭主要圍 繞頭部云廠商展開。以營收為核算口徑，2020年云廠商在中國云原生數(shù)據(jù)湖市場（不包含生態(tài)支持部分）的份額達(dá)到了 82.4%。一方面，于先發(fā)優(yōu)勢上，云計算具有彈性算力支持、數(shù)據(jù)聚合的特性，與數(shù)據(jù)湖思路天然契合；另一方面，于布 局實踐上，“春江水暖鴨先知”，出于服務(wù)自身或互聯(lián)網(wǎng)客戶的動因，云廠商率先基于云原生進(jìn)行了能力的整

14、合，在對象 存儲、多范式計算、大數(shù)據(jù)管理等云原生數(shù)據(jù)湖核心技術(shù)上都更為成熟。2020年中國云原生數(shù)據(jù)湖市場（不含生態(tài)部分）競爭格局多云、混合云管理能力獨立廠商具有第三方中立性，可以支持多云部署管理，解決企業(yè)供應(yīng)商綁定的后顧之憂。輕量與專注與云廠商從云出發(fā)到數(shù)據(jù)服務(wù)的視角不同，獨立廠商大多從數(shù)據(jù)服務(wù)出發(fā)，業(yè)務(wù)更加輕量與專注。由于數(shù)據(jù)湖較其他大數(shù)據(jù)產(chǎn)品更強(qiáng)調(diào)“海量異構(gòu)數(shù)據(jù)統(tǒng)一存儲、多源數(shù)據(jù)統(tǒng)一管理、多計算引擎統(tǒng)一調(diào)用”的能力，故而對于第三方獨立廠商而言，解決“海量存儲、計算優(yōu)化、生態(tài)建設(shè)”的成本都會更高，市場進(jìn)入的難度也更大。云廠商獨立廠商基礎(chǔ)資源支持云基礎(chǔ)資源池化、存算分離的特性，可以最大程度上

15、彈性、低成本地支持?jǐn)?shù)據(jù)湖的各種工作。數(shù)據(jù)聚合優(yōu)勢基于云的形式，企業(yè)可以更絲滑地實現(xiàn)各系統(tǒng)相通，解決數(shù)據(jù)孤島問題。能力統(tǒng)一調(diào)度在云原生的環(huán)境下，企業(yè)可以以統(tǒng)一視角，更優(yōu)雅地調(diào)用多種計算引擎。國內(nèi)市場環(huán)境復(fù)雜多變，在行業(yè)應(yīng)用、客戶服務(wù)等領(lǐng)域，云廠商還需要更多的生態(tài)廠商的補足。2082.4%17.6%競爭要素剖析技術(shù)+解決方案+應(yīng)用構(gòu)成云原生數(shù)據(jù)湖的核心競爭力云原生數(shù)據(jù)湖是一套完整的云上大數(shù)據(jù)解決方案，可以服務(wù)企業(yè)的多種數(shù)據(jù)訴求，其競爭要素可以歸類為技術(shù)、解決方案、 應(yīng)用三層。在技術(shù)層，云原生數(shù)據(jù)湖需要具備穩(wěn)定、高性價比的存儲服務(wù)、多引擎兼容的計算優(yōu)化服務(wù)以及全生命周期的 智能化數(shù)據(jù)管理服務(wù)；在解決

16、方案層，廠商需要貼近業(yè)務(wù)，面向特定場景和特定行業(yè)提供豐富、可落地的架構(gòu)方案；在應(yīng) 用層，廠商需要通過生態(tài)或自建等方式提供更多的應(yīng)用服務(wù)，不斷擴(kuò)大自己的服務(wù)半徑，向終端客戶展示更全面的能力。云原生數(shù)據(jù)湖競爭分析框架解決方案應(yīng)用技術(shù)自身應(yīng)用支持生態(tài)體系建設(shè)從終端客戶視角來看，數(shù)據(jù)湖是服務(wù)業(yè)務(wù)的綜合大數(shù)據(jù)解決方案。故 而落到實際實踐中，還需要豐富多樣的應(yīng)用支持到業(yè)務(wù)側(cè)。供應(yīng)商應(yīng) 用層的競爭力主要體現(xiàn)在自身應(yīng)用的豐富度以及生態(tài)體系建設(shè)的完整 度，自己+合作伙伴共同構(gòu)成了客戶服務(wù)的能力半徑。行業(yè)解決方案場景解決方案除了存儲、計算、管理等核心技術(shù)外，作為面向市場的解決方案，數(shù) 據(jù)湖還具有產(chǎn)品屬性，需要通過

17、一定的架構(gòu)將各種組件組織起來，從 而為用戶提供可用、易用的平臺。具體維度包括面向特定場景（推薦、 查詢、實時分析等）和特定行業(yè)（游戲、金融等）的解決方案。存儲管理計算透析數(shù)據(jù)湖產(chǎn)品，其核心技術(shù)主要包括存儲、計算和管理三個維度： 管理指對湖內(nèi)數(shù)據(jù)的全生命周期管理，具體包括一鍵入湖、元數(shù)據(jù)管 理、數(shù)據(jù)血緣、權(quán)限分級、質(zhì)量控制等；計算指對多范式計算引擎的統(tǒng)一管理、智能調(diào)用、性能優(yōu)化、智能化、開源兼容、成本優(yōu)化等；存儲指以O(shè)SS為中心的，穩(wěn)定、安全、彈性、高性價比的存儲服務(wù)。21競爭要素一：技術(shù)統(tǒng)一可靠存儲+多元彈性計算+一站式智能管理剖析云原生數(shù)據(jù)湖的核心技術(shù)，主要從存儲、計算和管理三個維度去評估市

18、面上的廠商。除了大數(shù)據(jù)產(chǎn)品通用的性能、可 用性、安全及成本外，云原生數(shù)據(jù)湖還需要關(guān)注一些特定的競爭要素，如：存儲層需要做前置的擴(kuò)展性、性能和成本優(yōu)化， 以屏蔽硬件復(fù)雜性，支持多范式計算和大數(shù)據(jù)環(huán)境；計算層需要做多計算引擎優(yōu)化和智能駕駛艙來簡化企業(yè)使用流程；管 理層需要支持多源湖外數(shù)據(jù)兼容和湖內(nèi)數(shù)據(jù)全生命周期的一站式管理。云原生數(shù)據(jù)湖核心技術(shù)計算多元融合簡單智能成本優(yōu)化管理兼容一站式安全存儲穩(wěn)定擴(kuò)展簡單高效性價比穩(wěn)定：具備成熟的物理冗余、傳輸校驗、角色權(quán)限、安全加密方案，確保存儲的最終穩(wěn)定性。擴(kuò)展：數(shù)據(jù)湖承載的數(shù)據(jù)量每天都在持續(xù)增長，需要可以按容量靈活擴(kuò)展的存儲系統(tǒng)進(jìn)行支持。簡單：面對應(yīng)用對持久

19、性、可用性和延遲的多樣化要求，以及物理硬件復(fù)雜性，需要從存儲層就著手進(jìn)行優(yōu)化，減少處理硬件資源復(fù)雜性的相關(guān)難題，使各應(yīng)用程序都可以輕松獲取和使用所需存儲。高效：面對海量數(shù)據(jù)，需要智能的冷熱分層策略實現(xiàn)資源的均衡配置，提高服務(wù)效率、降低延遲。性價比：海量數(shù)據(jù)帶來對存儲資源的大量需求，需要配置以相應(yīng)的成本優(yōu)化方案。多元融合：可以兼容多種開源/商業(yè)計算引擎，滿足企業(yè)數(shù)據(jù)處理的多種訴求，且進(jìn)行了優(yōu)化工作， 使得多范式計算對客戶側(cè)表現(xiàn)為統(tǒng)一和簡單。簡單智能：通過AI和Serverless，實現(xiàn)自動預(yù)配和管理計算資源，智能彈性伸縮工作負(fù)載以最大化 資源利用率，簡化運營運維工作，讓團(tuán)隊可以專注于編程，不必管

20、理服務(wù)器集群。成本優(yōu)化：資源自動伸縮疊加費用優(yōu)化的批流引擎調(diào)用處理方案，讓數(shù)據(jù)湖可以更為靈活地處理請求，在保證結(jié)果滿意的前提下實現(xiàn)成本最優(yōu)。兼容：提供足夠強(qiáng)大、豐富、高效（no-code）的連接器和轉(zhuǎn)換工具，支持更多數(shù)據(jù)源的接入，支 持更多種類的數(shù)據(jù)轉(zhuǎn)換，滿足各種場景訴求。一站式：具備入湖、元數(shù)據(jù)、權(quán)限、血緣、質(zhì)量、探索等數(shù)據(jù)湖所需的完備功能，提供一站式服務(wù)。安全：支持?jǐn)?shù)據(jù)任務(wù)看板、作業(yè)進(jìn)度統(tǒng)計、日志審計、資源消耗統(tǒng)計、數(shù)據(jù)全鏈路展示、數(shù)字字典 回溯追蹤等功能，確保數(shù)據(jù)全生命周期的安全。22競爭要素二：解決方案多場景挖掘+行業(yè)貼身服務(wù)從市場現(xiàn)狀來看，云原生數(shù)據(jù)湖并不是一個標(biāo)準(zhǔn)化的產(chǎn)品，而是一套

21、松耦合、多模塊、服務(wù)化的解決方案，在具體應(yīng)用中 還需要根據(jù)企業(yè)具體需求，進(jìn)行組件調(diào)整和架構(gòu)設(shè)計。因而，客戶在選型采購時，除了關(guān)注廠商的技術(shù)實力，還會關(guān)注其 解決方案的成熟度。具體評估維度包括2個方面： 廠商對數(shù)據(jù)湖典型適用場景的提取能力和方法論總結(jié)，這可以幫助項 目更快速地實施； 廠商對具體行業(yè)業(yè)務(wù)的理解以及相應(yīng)的實施思路，這可以幫助企業(yè)切實解決其痛點。云原生數(shù)據(jù)湖典型解決方案場景維度行業(yè)維度海量數(shù)據(jù)交互式查詢社交在一些業(yè)務(wù)環(huán)節(jié)，如廣告投放、用戶運營、周報/月報 等，需要對來自各個渠道的實時數(shù)據(jù)和歷史數(shù)據(jù)進(jìn)行交 互式查詢分析。云原生數(shù)據(jù)湖架構(gòu)下，企業(yè)能夠調(diào)用分 布式的查詢引擎，更加靈活、快速、

22、準(zhǔn)確的進(jìn)行查詢分 析，支持業(yè)務(wù)決策。企業(yè)級大數(shù)據(jù)治理游戲隨著互聯(lián)網(wǎng)的發(fā)展，企業(yè)內(nèi)部積累了大量的數(shù)據(jù)，數(shù)據(jù) 存儲的成本愈發(fā)高昂，但數(shù)據(jù)價值卻難以被全部釋放。 數(shù)據(jù)湖冷熱分層的存儲方案可以幫助企業(yè)將數(shù)據(jù)低成本 的“存下來”，統(tǒng)一管理的架構(gòu)讓數(shù)據(jù)可以隨時“用的 到”，多種計算引擎兼容讓數(shù)據(jù)可以“用的好”。機(jī)器學(xué)習(xí)與AI探索汽車在風(fēng)控、推薦、預(yù)測等場景，往往會需要機(jī)器學(xué)習(xí)加以 支持。然而機(jī)器學(xué)習(xí)與AI探索會消耗GPU等大量的算力 資源。云原生數(shù)據(jù)湖Serverless按需付費、自動擴(kuò)容的 方案降低了企業(yè)進(jìn)行機(jī)器學(xué)習(xí)的TCO；同時schema后基于移動互聯(lián)網(wǎng)的社交平臺近年來快速發(fā)展，短視 頻、直播、圖片

23、、資訊等構(gòu)成了其服務(wù)的內(nèi)容，大 量非結(jié)構(gòu)化數(shù)據(jù)的審核處理、實時分析、精準(zhǔn)推薦 為其帶來挑戰(zhàn)與機(jī)遇。云原生數(shù)據(jù)湖冷熱分層存儲、 上下文關(guān)聯(lián)分析、實時推薦的功能大幅提升了其內(nèi) 容創(chuàng)新和用戶運營的效果，并降低了成本。5G、云、社會娛樂方式、出海等因素共同驅(qū)動了游 戲產(chǎn)業(yè)的快速發(fā)展。游戲大數(shù)據(jù)需要更智能、靈活、 低成本的數(shù)據(jù)湖解決方案來進(jìn)行實時動態(tài)監(jiān)測、用 戶畫像和運營分析，從而降低獲客成本、改善游戲 體驗、留存現(xiàn)有玩家、提升付費轉(zhuǎn)換率。汽車正在成為未來生活的第三空間，車聯(lián)網(wǎng)產(chǎn)業(yè)進(jìn) 入快車道，新型應(yīng)用蓬勃發(fā)展，產(chǎn)業(yè)規(guī)模不斷擴(kuò)大 。 云原生數(shù)據(jù)湖可以實時地接收和存儲車聯(lián)網(wǎng)PBEB 級的數(shù)據(jù)，以低成本的方

24、式進(jìn)行資源調(diào)度，支持自動駕駛、智能交通等業(yè)務(wù)需求。置的架構(gòu)也讓未知探索變得更加靈活。23競爭要素三：應(yīng)用自研深耕+生態(tài)補充就當(dāng)今市場環(huán)境來看，大多廠商和企業(yè)都把數(shù)據(jù)湖定位為數(shù)據(jù)基座，但就實際使用來說，基座還需要配合具體的應(yīng)用，才 能真正地賦能業(yè)務(wù)。出于發(fā)展初期或產(chǎn)業(yè)分工的原因，現(xiàn)在云原生數(shù)據(jù)湖綜合解決方案廠商還不具備提供完備應(yīng)用服務(wù)的 能力。且由于市場環(huán)境復(fù)雜，企業(yè)需求多變，在未來一段時間內(nèi)，也很難有“一應(yīng)俱全”的廠商出現(xiàn)。故而，除了關(guān)注客 戶需求，不斷自研深耕外，廠商還需要通過生態(tài)建設(shè)，補足自己的服務(wù)半徑，增強(qiáng)企業(yè)服務(wù)的競爭力。云原生數(shù)據(jù)湖廠商的服務(wù)半徑服務(wù)半徑A自身能力B生態(tài)能力C客戶視角

25、下 廠商的能力C客戶視角下 廠商的能力MaxMaxA自身能力B生態(tài)能力24Max對于終端客戶來說，其關(guān)注的重點往往在于供應(yīng)商最后提供的應(yīng) 用服務(wù)，而非其服務(wù)內(nèi)容背后的關(guān)系分配。無論廠商是通過傳統(tǒng)招兵買馬的方式，還是借助開源社區(qū)力量， 或者發(fā)展生態(tài)合作體系，在客戶視角下，它們都共同包含在廠商 的服務(wù)能力半徑內(nèi)。關(guān)注客戶訴求，持續(xù)研發(fā)迭代：無論是對廠商還是對企業(yè)來說，云原生數(shù)據(jù)湖的應(yīng)用都并非是一 蹴而就的事情。中國的數(shù)據(jù)湖產(chǎn)業(yè)還處于發(fā)展的前期，某種程度 上，廠商在與企業(yè)共同成長。未來，廠商還需要更加關(guān)注客戶訴 求，不斷打磨基礎(chǔ)平臺，豐富應(yīng)用服務(wù)。明晰邊界定位，實現(xiàn)生態(tài)共贏：對于云原生數(shù)據(jù)湖來說，作

26、為企業(yè)級的大數(shù)據(jù)解決方案，具有價 值鏈長、工程復(fù)雜、周期長及金額高的特點，單獨廠商能力往往 難以支持全部工作。且在互聯(lián)網(wǎng)背景下，外部市場環(huán)境正在變得 越來越復(fù)雜。現(xiàn)階段來看，明晰自己的邊界和定位，充分發(fā)揮生 態(tài)的力量對數(shù)據(jù)湖廠商來說，不妨是一條高效共贏的捷徑。25云原生數(shù)據(jù)湖概念界定1云原生數(shù)據(jù)湖市場現(xiàn)狀2云原生數(shù)據(jù)湖競爭分析3云原生數(shù)據(jù)湖行業(yè)應(yīng)用與最佳實踐4云原生數(shù)據(jù)湖選型建議與典型企業(yè)5云原生數(shù)據(jù)湖發(fā)展趨勢6目錄行業(yè)分布注釋：此下游分布口徑為2020自然年全年各廠商在中國內(nèi)地（不含港澳臺）銷售云原生數(shù)據(jù)湖解決方案的營業(yè)收入，合同簽署地點和交付地點都位于中國內(nèi)地區(qū)域。 注釋：此下游分布統(tǒng)計口

27、徑不包含云原生數(shù)據(jù)湖組件發(fā)生于其他解決方案（例：數(shù)據(jù)倉庫）的營收，不包含云原生數(shù)據(jù)湖生態(tài)支持廠商部分。來源：長期基礎(chǔ)云服務(wù)數(shù)據(jù)監(jiān)測，結(jié)合公開資料、專家訪談，根據(jù)數(shù)據(jù)測算模型，自主研究及繪制。16.5%40.7%11.9%16.3%6.4%4.5%3.7%100.0%泛互聯(lián)網(wǎng)工業(yè)醫(yī)療汽車其他總計現(xiàn)階段主要應(yīng)用于泛互聯(lián)網(wǎng)行業(yè)及傳統(tǒng)行業(yè)的互聯(lián)網(wǎng)場景據(jù)調(diào)研，中國云原生數(shù)據(jù)湖的下游應(yīng)用主要分布于泛互聯(lián)網(wǎng)（電商、網(wǎng)絡(luò)廣告、社交媒體、游戲、互聯(lián)網(wǎng)金融等）、泛政 務(wù)（智慧城市、智慧政府、交通等）、金融（銀行、保險等）、工業(yè)（工業(yè)互聯(lián)網(wǎng)、能源、制造等）、醫(yī)療（基因、影像 治療、診斷等）、汽車（車聯(lián)網(wǎng)等）以及零售

28、、運營商等其他行業(yè)。其中，泛互聯(lián)網(wǎng)企業(yè)出于數(shù)據(jù)量大、非結(jié)構(gòu)化數(shù)據(jù)多、 迭代速度快等原因，率先應(yīng)用云原生數(shù)據(jù)湖架構(gòu)于推薦、搜索、監(jiān)控等業(yè)務(wù)環(huán)節(jié)，是現(xiàn)階段數(shù)據(jù)湖市場的主要客戶。2020年中國云原生數(shù)據(jù)湖市場（不含生態(tài)部分）下游行業(yè)分布73.5%包含混合云模式部署的數(shù)據(jù)湖泛政務(wù)金融26未來滲透時間數(shù)據(jù)海量成本上升數(shù)據(jù)量爆發(fā)式的增長，導(dǎo)致對存儲和算力資 源需求的上升，無論是縱向還是橫向擴(kuò)張， 帶來成本的疊加都十分驚人。數(shù)據(jù)多源異構(gòu)性能下降隨著互聯(lián)網(wǎng)的發(fā)展，企業(yè)外部鏈接愈發(fā)復(fù)雜， 內(nèi)部需要處理的數(shù)據(jù)也愈發(fā)多元，包括來自 媒體的非結(jié)構(gòu)化數(shù)據(jù)、web的半結(jié)構(gòu)化數(shù)據(jù)、 物聯(lián)網(wǎng)的IoT數(shù)據(jù)、以及來自企業(yè)業(yè)務(wù)系統(tǒng)

29、的 結(jié)構(gòu)化數(shù)據(jù)等。多源異構(gòu)環(huán)境下，數(shù)據(jù)處理 的性能下降，導(dǎo)致企業(yè)應(yīng)用效果不佳。數(shù)據(jù)價值兩極化實時與聚合大數(shù)據(jù)背景下，數(shù)據(jù)價值愈發(fā)向兩極聚焦， 現(xiàn)有處理架構(gòu)不能很好地滿足實時、聚合分 析的訴求，充分釋放數(shù)據(jù)價值。價值實時分析聚合分析業(yè)務(wù)具有大數(shù)據(jù)特性，現(xiàn)有架構(gòu) 擴(kuò)展具有局限性許多企業(yè)在數(shù)字化轉(zhuǎn)型的過程中，開始嘗 試信息流廣告、直播電商、遠(yuǎn)程辦公等數(shù) 字化模式，但底層IT架構(gòu)和數(shù)據(jù)架構(gòu)不能 承載海量數(shù)據(jù)，擴(kuò)展也存在局限。大數(shù)據(jù)處理的成本愈發(fā)高昂，亟 需成本優(yōu)化解決方案企業(yè)通過增加硬件資源、中間件改造的方 式，對數(shù)據(jù)庫、數(shù)倉做橫向擴(kuò)展或者縱向 優(yōu)化，成本都十分高昂，企業(yè)用于數(shù)據(jù)的 支出日益高企，難以

30、承擔(dān)。缺乏DT實力和人才，難以進(jìn)行大 數(shù)據(jù)性能優(yōu)化，數(shù)據(jù)價值不能釋放企業(yè)缺乏完整的大數(shù)據(jù)和AI團(tuán)隊，不具備 足夠的積累去應(yīng)用前沿大數(shù)據(jù)和AI技術(shù)、 搭建面向未來的新架構(gòu)，故而數(shù)據(jù)的價值 遲遲不能被完全釋放，無法實現(xiàn)賦能業(yè)務(wù)。向更多具有大數(shù)據(jù)和高價值屬性的行業(yè)拓展海量、高頻、多源異構(gòu)的大數(shù)據(jù)為企業(yè)帶來了成本、性能和價值挖掘的問題，在現(xiàn)有OLTP數(shù)據(jù)庫+數(shù)倉的架構(gòu)下，企業(yè) 難以實現(xiàn)底層架構(gòu)的彈性和優(yōu)化，無法支持快速發(fā)展的業(yè)務(wù)。云原生數(shù)據(jù)湖云上部署、存算分離和事后schema的特性可 以幫助企業(yè)更好地應(yīng)用數(shù)據(jù)，未來有望在互聯(lián)網(wǎng)、汽車、政府、工業(yè)等具有大數(shù)據(jù)和高價值屬性的行業(yè)得到更廣泛的應(yīng)用。云原生數(shù)

31、據(jù)湖的行業(yè)應(yīng)用展望云原生數(shù)據(jù)湖解決了什么問題哪些企業(yè)痛點與之匹配未來行業(yè)滲透展望車聯(lián)網(wǎng)和自動駕駛的數(shù)據(jù)快速增長，資源擴(kuò)容與處理速度跟不上業(yè)務(wù)發(fā) 展，數(shù)據(jù)湖應(yīng)用空間廣。政府在政策的驅(qū)動下，以智慧城市/政 務(wù)為中心的信息化建設(shè)正在加速推 進(jìn)，城市統(tǒng)一數(shù)據(jù)中心需求旺盛。工業(yè)工業(yè)數(shù)據(jù)價值高，標(biāo)準(zhǔn)與治理痛點 突出，基于云原生數(shù)據(jù)湖可以幫助 其在云上進(jìn)行數(shù)據(jù)統(tǒng)一治理。互聯(lián)網(wǎng)互聯(lián)網(wǎng)企業(yè)天然具有大數(shù)據(jù)的特性，需要云原生數(shù)據(jù)湖架構(gòu)來支持業(yè)務(wù) 的快速迭代發(fā)展。汽車高價值大數(shù)據(jù)27金融科技數(shù)禾計算性能與數(shù)據(jù)權(quán)限隔離能力共同提升，顯著降低成本數(shù)禾科技成立于2015年，公司以大數(shù)據(jù)和技術(shù)為驅(qū)動，為銀行、信托、消費金融公

32、司、保險、小貸公司等持牌金融機(jī)構(gòu) 提供高效的智能零售金融解決方案，包括營銷獲客、風(fēng)險防控、運營管理等服務(wù)，賦能金融機(jī)構(gòu)數(shù)字化轉(zhuǎn)型，在消費信貸、 小微企業(yè)信貸、場景分期、財富管理等多個領(lǐng)域中均有應(yīng)用。由于金融行業(yè)涉及的數(shù)據(jù)繁多，安全隱私要求程度高，在機(jī) 構(gòu)數(shù)字化轉(zhuǎn)型過程中，存在運維成本高、數(shù)據(jù)權(quán)限隔離、性能要求高等一系列業(yè)務(wù)難點。通過與阿里云JindoFS的合作， 數(shù)禾對數(shù)據(jù)計算性能的需求得到了滿足；同時，圍繞Apache Ranger開發(fā)權(quán)限方案，數(shù)禾對數(shù)據(jù)湖數(shù)據(jù)權(quán)限進(jìn)行嚴(yán)格管 控；利用EMR企業(yè)能力協(xié)助進(jìn)行不同部門的資源隔離能力和分賬能力；并采用彈性伸縮成本節(jié)約模式，兼顧了穩(wěn)定性和成本?；?/p>

33、MaxCompute+DLF+EMR+OSS的湖倉一體架構(gòu)需要同時運維兩套系統(tǒng)，運維成本過大；基于HDFS的存儲和不夠靈活的計算資源，成本遇到極大挑戰(zhàn)，需要根據(jù)任務(wù)自動大規(guī)模彈性擴(kuò)縮容；客戶服務(wù)了大量內(nèi)部和外部用戶，且數(shù)據(jù)較為敏感，要求嚴(yán)格的數(shù)據(jù)權(quán)限隔離；大量OSS的rename等操作，性能要求高。數(shù)據(jù)湖存儲ossDLF數(shù)據(jù)湖構(gòu)建元數(shù)據(jù)管理數(shù)據(jù)血緣管理數(shù)據(jù)權(quán)限管理JIndoFS+MC數(shù)據(jù)庫智能Cache冷熱分層冷熱緩存加速元數(shù)據(jù)管理+湖加速EMR(數(shù)據(jù)湖）數(shù)據(jù)同步即席查詢機(jī)器學(xué)習(xí) EMREMREMR元數(shù)據(jù)統(tǒng)一計算流動MaxCompute(數(shù)據(jù)倉庫）ODS貼源層CDM數(shù)倉層 OneData建模A

34、DSVDM應(yīng)用層沙箱層業(yè)務(wù) RDS業(yè)務(wù) OSS統(tǒng)一用數(shù) 交互式查詢Jupvter 機(jī)器學(xué)習(xí)智能數(shù)據(jù)構(gòu)建與管理數(shù)據(jù)中臺解決方案&產(chǎn)品價值通過JindoFS與OSS配合，在存算分離的架 構(gòu)下，滿足了用戶的數(shù)據(jù)計算性能需求；圍繞Apache Ranger開發(fā)權(quán)限方案，圍繞數(shù)據(jù)湖數(shù)據(jù)權(quán)限嚴(yán)格管控；利用EMR企業(yè)能力如資源組、標(biāo)簽等的支 持，協(xié)助不同部門進(jìn)行資源隔離能力和分 賬能力的建設(shè)；采用彈性伸縮成本節(jié)約模式，兼顧穩(wěn)定性 和成本，壓縮成本達(dá)20%。行業(yè)特性&業(yè)務(wù)難點來源：阿里云，研究院自主研究及繪制。28在線教育流利說EMR提供計算和存儲的彈性拓展能力，助力企業(yè)成本優(yōu)化流利說成立于2012年9月，是

35、由王翌博士和胡哲人、林暉博士共同創(chuàng)立的科技驅(qū)動的教育公司，2018年9月，流利說正式 掛牌紐交所，以其獨創(chuàng)的教育 3.0 模式，被譽為“AI+教育”第一股。企業(yè)希望提高數(shù)據(jù)質(zhì)量并完善數(shù)據(jù)處理方案，提高 計算效率。阿里云EMR+OSS云上數(shù)據(jù)湖架構(gòu)為企業(yè)提供了計算彈性拓展與存儲彈性拓展能力，減少了流利說對底層基礎(chǔ) 建設(shè)運維的投入?；诎⒗镌艵MR，流利說搭建了Spark、Hive、Presto等大數(shù)據(jù)處理框架，對存儲的數(shù)據(jù)進(jìn)行分析，通 過智能算法分析學(xué)生學(xué)習(xí)質(zhì)量，提供相應(yīng)指導(dǎo)。此外，流利說基于阿里云OSS對在線教育場景下多種類型數(shù)據(jù)進(jìn)行集中存儲，實現(xiàn)了最大程度的成本優(yōu)化。流利說基于EMR+OSS

36、的云上數(shù)據(jù)湖架構(gòu)Apache AirflowossEMR ETLEMR EMR DWSworkerworkerworkerGatewayGatewayGatewayGatewayworkerGatewayGateway企業(yè)需求為了提升商業(yè)轉(zhuǎn)化效率和公司運營效率， 流利說需要打通多業(yè)務(wù)數(shù)據(jù)源，統(tǒng)一存儲 多種應(yīng)用的各類數(shù)據(jù)。客戶受限于數(shù)據(jù)質(zhì) 量和計算成本，期望借助云計算廠商的能 力提高數(shù)據(jù)質(zhì)量，優(yōu)化數(shù)據(jù)處理方案。解決方案與效果數(shù)據(jù)入湖，從DataX全量Dump的方式 轉(zhuǎn)變?yōu)镈ataX與Delta相結(jié)合的方式， 成本節(jié)省70%以上；數(shù)據(jù)平臺計算集群成本下降50%；80%的平臺任務(wù)從Hive遷移到Sp

37、ark，整體任務(wù)時間提升30%。29智能營銷匯量科技開發(fā)者阿里云 ACK 容器引 擎ZeppelinJupyterAirflowSparkMindAlphaStarLakeIntegrated數(shù)據(jù)湖 阿里云 OSS阿里云writereadHelm chartsWeb IDE業(yè)務(wù)難點業(yè)務(wù)快速擴(kuò)展，衍生數(shù)據(jù)爆發(fā)式增長，數(shù)據(jù) 處理分析需求迫切；傳統(tǒng)數(shù)據(jù)倉庫強(qiáng)調(diào)結(jié)構(gòu)化數(shù)據(jù)，在互聯(lián)網(wǎng)應(yīng) 用中會導(dǎo)致建模繁瑣、流批架構(gòu)復(fù)雜等問題；傳統(tǒng)的hive等方案不再適配云原生的演進(jìn)趨 勢。解決方案云原生數(shù)據(jù)湖解決了傳統(tǒng)數(shù)倉部分問題，實 現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的處理、流批一體化；計算和存儲實現(xiàn)分離，資源可快速擴(kuò)展；以數(shù)據(jù)湖為“底

38、座”，具備元數(shù)據(jù)管理強(qiáng)拓 展性，同時優(yōu)化對象存儲訪問的性能，進(jìn)而 優(yōu)化寬表的實時多流攝入能力，最終能夠統(tǒng) 一支撐分析和科學(xué) AI 的應(yīng)用場景。數(shù)據(jù)處理能力顯著提升，快速構(gòu)建數(shù)據(jù)智能應(yīng)用匯量科技有限公司（Mobvista）成立于2013年3月，是一個全球性技術(shù)平臺，通過為企業(yè)打造增長賦能的“SaaS工具生 態(tài)”，提供包括移動營銷、統(tǒng)計歸因、創(chuàng)意自動化、流量變現(xiàn)、云架構(gòu)成本優(yōu)化等一系列產(chǎn)品和服務(wù)，助力企業(yè)在全球范 圍內(nèi)的增長。目前企業(yè)數(shù)字化轉(zhuǎn)型進(jìn)入深水區(qū)，營銷場景往往是轉(zhuǎn)型落地的第一目標(biāo)。在此過程中，企業(yè)業(yè)務(wù)快速擴(kuò)展， 衍生數(shù)據(jù)的爆發(fā)式增長帶來了迫切的數(shù)據(jù)處理分析需求；而傳統(tǒng)數(shù)據(jù)倉庫強(qiáng)調(diào)結(jié)構(gòu)化數(shù)據(jù)

39、，這在互聯(lián)網(wǎng)應(yīng)用中會導(dǎo)致建模 繁瑣、流批架構(gòu)復(fù)雜等問題；同時，傳統(tǒng)的hive等方案也不再適配云原生的演進(jìn)趨勢。通過與阿里云數(shù)據(jù)湖合作，匯量科 技實現(xiàn)了非結(jié)構(gòu)化數(shù)據(jù)的處理、流批一體化；并且使得計算和存儲分離，實現(xiàn)了資源的快速擴(kuò)展；另外，寬表的實時多流 攝入能力得以優(yōu)化，能夠統(tǒng)一支撐分析和科學(xué) AI 的應(yīng)用場景。匯量科技基于EMR+OSS的云上數(shù)據(jù)湖架構(gòu)來源：阿里云，研究院自主研究及繪制。30新零售百草味，企業(yè)需求為了滿足不同場景對數(shù)據(jù)時效性和精準(zhǔn)性的要求 百草味需要構(gòu)建靈活、穩(wěn)定的大數(shù)據(jù)平臺?？蛻?受限于運維難度及成本和系統(tǒng)安全性，期望借助 云計算廠商的能力實現(xiàn)成本優(yōu)化和多場景數(shù)據(jù)分 析。解決方

40、案與效果統(tǒng)一存儲：對象存儲 OSS，存儲任意規(guī)模的 數(shù)據(jù)；對接業(yè)務(wù)應(yīng)用、各類計算分析平臺。數(shù)據(jù)湖構(gòu)建與管理：數(shù)據(jù)湖構(gòu)建 DLF，解決統(tǒng) 一元數(shù)據(jù)管理、統(tǒng)一權(quán)限控制等關(guān)鍵問題；數(shù)據(jù)湖格式：Deltalake，支持?jǐn)?shù)據(jù)的增量更 新和消費，從而避免了使用Lamda架構(gòu)的兩條 鏈路來支持離線和實時的數(shù)據(jù)計算；數(shù)據(jù)分析計算引擎： DDI 數(shù)據(jù)洞察+EMR- Presto 交互式分析，保證軟件產(chǎn)品功能和性 能領(lǐng)先，并提供了全托管免運維的服務(wù)，同時 有極高的 SLA 保證；數(shù)據(jù)開發(fā)與調(diào)度：EMR提供交互式開發(fā)、作業(yè)提交、作業(yè)調(diào)試和工作流一站式數(shù)據(jù)開發(fā)體驗。銷售大屏決策中心會員中心監(jiān)控中心EMR Studio

41、DDI數(shù)據(jù)洞察EMR交互式分析云上關(guān)系數(shù)據(jù)庫MongoDB Oracle ADB RDSIDC自建 Hadoop集群HMS DBDLF數(shù)據(jù)湖構(gòu)建權(quán)限控制緩存加速統(tǒng)一元數(shù)據(jù)湖數(shù)據(jù)治理全量/增量 入湖HDFS/Hive 一站式入湖OSS對象存儲標(biāo)準(zhǔn)低頻歸檔構(gòu)建靈活穩(wěn)定的大數(shù)據(jù)平臺，實時精準(zhǔn)響應(yīng)不同場景需求百草味是以休閑食品研發(fā)、加工、生產(chǎn)、貿(mào)易、倉儲、物流為主體，集互聯(lián)網(wǎng)商務(wù)經(jīng)營模式、新零售為一體的全渠道品牌 和綜合型品牌，目前擁有全品類零食產(chǎn)品1000+SKU，致力于領(lǐng)跑中國休閑食品走向全新格局。企業(yè)希望對接多個第三方 系統(tǒng)，滿足不同場景對數(shù)據(jù)時效性和精準(zhǔn)性的要求，減輕團(tuán)隊工作負(fù)擔(dān)。通過與阿里云

42、的合作，百草味利用對象存儲OSS， 構(gòu)建 DLF，實現(xiàn)統(tǒng)一元數(shù)據(jù)管理和統(tǒng)一權(quán)限控制。同時，DDI數(shù)據(jù)洞察和EMR-Presto交互式分析在保證軟件產(chǎn)品功能和 性能領(lǐng)先的基礎(chǔ)上，還提供了全托管免運維服務(wù)，使百草味最終實現(xiàn)實時、精準(zhǔn)對接各個場景，全面提高企業(yè)運行效率。百草味基于“ EMR+Databricks+DLF ”的云上數(shù)據(jù)湖架構(gòu)來源：阿里云，研究院自主研究及繪制。31互聯(lián)網(wǎng)社交平臺Soul提高平臺穩(wěn)定性，降低運維難度，保障APP穩(wěn)定運營Soul成立于2016年，是基于興趣圖譜和游戲化玩法的產(chǎn)品設(shè)計，屬于新一代年輕人的虛擬社交網(wǎng)絡(luò)，致力于打造一個 “年輕人的社交元宇宙”。企業(yè)希望提高運維效率

43、，減少ETL任務(wù)耗時，建立穩(wěn)定的系統(tǒng)架構(gòu)支撐APP在各個時段正常運 營。通過與阿里云的合作，Soul利用EMR Delta打造實時數(shù)倉，提升了業(yè)務(wù)指標(biāo)的實時性；利用JindoFS從HDFS 3副本 的架構(gòu)遷移到OSS，優(yōu)化了存儲成本；同時，通過計存分離降低運維難度和計算成本，最終實現(xiàn)APP的穩(wěn)定運營。Soul“ EMR+OSS”的云上數(shù)據(jù)湖架構(gòu)企業(yè)需求為了滿足業(yè)務(wù)高速迭代和業(yè)務(wù)體量的上 漲，Soul需要構(gòu)建低成本、穩(wěn)定的平臺 并降低運維難度?？蛻羰芟抻谌肆?、工 具的短缺和架構(gòu)的缺失，期望借助云計 算廠商的能力，在短期內(nèi)提升運維效率、 優(yōu)化成本及APP的穩(wěn)定運營。，解決方案與效果通過EMR De

44、lta打造實時數(shù)倉，提升 業(yè)務(wù)指標(biāo)的實時性，滿足更多實時場 景對數(shù)據(jù)的需求；利用JindoFS從HDFS 3副本的架構(gòu)遷移到OSS，以及基于OSS的歸檔能力降低20%的存儲成本；采用計存分離的架構(gòu)，降低計算成本 和運維復(fù)雜度。阿里云OSS標(biāo)準(zhǔn)型 XPB低頻型 XPB歸檔型 XPBEMR JindoFS (熱數(shù)據(jù)緩存)大數(shù)據(jù)集群EMR HadoopMapReduceHiveTezHBaseSpark彈性伸縮EMR Hadoop推薦計算集群TensorFlow數(shù)據(jù)集群跨集群訪問EMR Gateway提交業(yè)務(wù)作業(yè)實時計算PAIDataWorks來源：阿里云，研究院自主研究及繪制。32自動駕駛小鵬汽車

45、數(shù)據(jù)上云數(shù)據(jù)采集閃電立方自動駕駛文件存儲 CPFS對象存儲OSS阿里云拉取訓(xùn)練數(shù)據(jù)歸檔GPU集群云上歸檔清洗標(biāo)注云上訓(xùn)練EMRMaxCompute業(yè)務(wù)難點車輛每天產(chǎn)生大量采集數(shù)據(jù)，這些分布在不同的地域數(shù)據(jù)需要及時完成合規(guī)存儲，讓采集設(shè) 備能投入下一個采集周期；存儲的數(shù)據(jù)需要能有便捷的方式與計算能力對接，應(yīng)用到自動駕駛數(shù)據(jù)清洗、標(biāo)注、訓(xùn)練等 多種不同場景中；需要豐富的計算引擎和強(qiáng)大算力來全面覆蓋仿 真、訓(xùn)練、標(biāo)注等各種數(shù)據(jù)處理與分析場景。解決方案阿里云閃電立方解決了自動駕駛車輛終端采集 難題，通過阿里云多區(qū)域上傳節(jié)點，大批量采 集數(shù)據(jù)得以快速上傳到云上數(shù)據(jù)湖；進(jìn)入到數(shù)據(jù)湖的采集數(shù)據(jù)， 通過云上E

46、MR、Maxcompute進(jìn)行大規(guī)模的數(shù)據(jù)處理和標(biāo)注，處理后的數(shù)據(jù)持久存儲到OSS；數(shù)據(jù)湖通過與文件存儲CPFS數(shù)據(jù)流動，讓數(shù)據(jù) 湖中數(shù)據(jù)更加輕松地與GPU算力對接，實現(xiàn)各 種訓(xùn)練，訓(xùn)練后的數(shù)據(jù)再歸檔到OSS，高性能 文件存儲只需要存儲臨時少量熱數(shù)據(jù)。數(shù)據(jù)傳輸、處理、存儲能力同步提升，輕松實現(xiàn)各種訓(xùn)練小鵬汽車正式成立于2015年，是一家專注未來出行的科技公司，目前已成為中國領(lǐng)先的智能電動汽車公司之一。公司一 直堅持飽和式研發(fā)投入，構(gòu)建全棧自研的核心能力，致力于用科技為人類創(chuàng)造更便捷愉悅的出行生活。在智能化、網(wǎng)聯(lián)化、 電動化、共享化的背景下，自動駕駛成為智能網(wǎng)聯(lián)汽車行業(yè)的重點，也成為了下一代汽車

47、行業(yè)轉(zhuǎn)型升級的技術(shù)高地。自動 駕駛過程中，車輛每天會產(chǎn)生大量采集數(shù)據(jù)。對于這些分布在不同地域的數(shù)據(jù)，如何及時合規(guī)地存儲以及高效便捷地計算 是一大業(yè)務(wù)難點。通過與阿里云閃電立方合作，多區(qū)域上傳節(jié)點，小鵬汽車實現(xiàn)了大批量采集數(shù)據(jù)快速上傳到云上數(shù)據(jù)湖； 進(jìn)入湖中的采集數(shù)據(jù)，通過云上EMR、Maxcompute進(jìn)行大規(guī)模處理和標(biāo)注，處理后的數(shù)據(jù)持久存儲到OSS；數(shù)據(jù)湖通 過與文件存儲CPFS數(shù)據(jù)流動，湖中數(shù)據(jù)更加輕松的與GPU算力對接，實現(xiàn)各種訓(xùn)練。小鵬汽車云上數(shù)據(jù)湖架構(gòu)33云原生數(shù)據(jù)湖選型建議與典型企業(yè)目錄建議一：戰(zhàn)略規(guī)劃來源：專家訪談，公開資料，研究院自主研究及繪制。建立統(tǒng)一的數(shù)據(jù)底座，支持企業(yè)向

48、數(shù)據(jù)驅(qū)動轉(zhuǎn)型對于現(xiàn)代化企業(yè)來說，需要面對愈發(fā)復(fù)雜多元、高頻迭代的內(nèi)外部環(huán)境，僅依靠人力難以跟上市場的發(fā)展，“數(shù)據(jù)驅(qū)動” 成為企業(yè)的必然選擇。而“數(shù)據(jù)驅(qū)動”落在實踐中還存在很多的問題，并非根據(jù)現(xiàn)在的業(yè)務(wù)需求，采購一些數(shù)字化工具即 可完成的轉(zhuǎn)型。針對具有“變化、挖掘、未知”特性的需求，企業(yè)需要建立統(tǒng)一、彈性、智能的數(shù)據(jù)底座，以“不變應(yīng)萬 變”，從而支持?jǐn)?shù)據(jù)驅(qū)動，讓數(shù)據(jù)釋放價值。建立基于統(tǒng)一底座的數(shù)據(jù)驅(qū)動策略現(xiàn)代化企業(yè)面臨來自內(nèi)外部的挑戰(zhàn)統(tǒng)一數(shù)據(jù)底座對“數(shù)據(jù)驅(qū)動”的重要性現(xiàn)代化企業(yè)面臨越發(fā)易變、模 糊、不確定、復(fù)雜的外部環(huán)境。 這從外部驅(qū)動企業(yè)業(yè)務(wù)和應(yīng)用 也必須快速迭代，及時響應(yīng)客 戶，才能在快速發(fā)

49、展的市場上 獲得優(yōu)勢。外部競爭：為了應(yīng)對越來越多種類的數(shù) 據(jù)， 以及越來復(fù)雜場景的訴 求， 大數(shù)據(jù)、AI 技術(shù)棧呈指 數(shù)增長。多種框架并存是未 來IT的必然狀態(tài)，為企業(yè)帶來 了技術(shù)部署的挑戰(zhàn)。技術(shù)部署：隨著企業(yè)的發(fā)展和多輪信息化改造、 數(shù)字化升級，內(nèi)部IT部署很難保持一 致和清晰。無論是部署環(huán)境，數(shù)據(jù) 存算，還是業(yè)務(wù)應(yīng)用都在某種程度 上呈現(xiàn)“混亂”的狀態(tài)，造成了降 本增效的困難。內(nèi)部管理：除了基于現(xiàn)有IT資源和業(yè)務(wù)進(jìn)行經(jīng) 營性的“降本提效”外，現(xiàn)代化企 業(yè)還需要考慮差異化競爭力的打造， 通過技術(shù)、產(chǎn)品、商業(yè)創(chuàng)新，發(fā)展 第二增長曲線。而通過數(shù)據(jù)驅(qū)動尋 找創(chuàng)新點，在為企業(yè)帶來機(jī)遇的同 時也提出了更

50、高的要求。發(fā)展創(chuàng)新：運營支持應(yīng)用創(chuàng)新支持應(yīng)用經(jīng)營型業(yè)務(wù)創(chuàng)新型業(yè)務(wù)統(tǒng)一、彈性、智能的數(shù)據(jù)底座統(tǒng)一統(tǒng)一的數(shù)據(jù)底座可以屏 蔽底層部署的復(fù)雜性， 為應(yīng)用層帶來更一致的 體驗，無論是經(jīng)營型還 是創(chuàng)新型應(yīng)用都能獲得 更高效的支持。彈性在業(yè)務(wù)應(yīng)用多變的背景 下，靈活、可擴(kuò)展的彈 性數(shù)據(jù)架構(gòu)成為了剛需。智能在數(shù)據(jù)層解決上下復(fù)雜 性的問題需要更松耦合 的設(shè)計與更智能的調(diào)度 機(jī)制組合。35數(shù)據(jù)驅(qū)動型企業(yè)建議二：執(zhí)行路線站在長期視角，著重考慮DT能力的開放性、敏捷性與創(chuàng)新性在市場快速發(fā)展的背景下，企業(yè)進(jìn)行DT能力建設(shè)時，需要更加看重技術(shù)路線的開放性和擴(kuò)展性，為難以預(yù)測的未來探索 做好準(zhǔn)備，去支持應(yīng)用和業(yè)務(wù)的創(chuàng)新。在

51、應(yīng)用實施及之后的運營時，企業(yè)開發(fā)者一方面可以以更開放的態(tài)度去擁抱云原生 與開源，另一方面可以對自身的技術(shù)進(jìn)行抽象、分層和服務(wù)化，以更簡單的方式提升效率和效益。云原生數(shù)據(jù)湖架構(gòu)開放、 敏捷，是企業(yè)建設(shè)DT能力很好的選擇之一。企業(yè)DT能力建設(shè)的執(zhí)行實踐如何保持DT能力的敏捷與創(chuàng)新？擁抱云原生云原生是后云計算時代新一輪生產(chǎn)力的釋放，包含容器、微服務(wù)、Serverless、DevOps等天然具有敏捷彈性 優(yōu)勢的技術(shù)、工具和方法論，是IT發(fā)展的必然趨勢?；谠圃?，進(jìn)行數(shù)據(jù)存儲、計算、治理、架構(gòu)等方面 的優(yōu)化和創(chuàng)新，是大數(shù)據(jù)發(fā)展的必然之路。擁抱開源開源是學(xué)習(xí)成本縮減、技術(shù)創(chuàng)新加速的高效生產(chǎn)方式，愈發(fā)被國

52、內(nèi)市場所接受。開發(fā)者可以通過開源社區(qū)快 速、低成本的學(xué)習(xí)前沿技術(shù)。對于缺乏IT積累和專業(yè)人才的企業(yè)，可以選擇更開源兼容的服務(wù)商共同進(jìn)步。抽象、分層與服務(wù)化站在開發(fā)者視角，需要意識到企業(yè)應(yīng)用和大數(shù)據(jù)的標(biāo)準(zhǔn)在短時間內(nèi)是難以實現(xiàn)統(tǒng)一的，且很難回到過去一家 之言成為行業(yè)標(biāo)準(zhǔn)的時代。為了更好地應(yīng)對標(biāo)準(zhǔn)和需求的復(fù)雜，企業(yè)可以對自己的IT能力進(jìn)行抽象和分層， 通過模塊的標(biāo)準(zhǔn)化來實現(xiàn)效率，通過組合的創(chuàng)新來實現(xiàn)效益，通過交付服務(wù)化實現(xiàn)便捷。36建議三：具體選型生態(tài)能力生態(tài)能力生態(tài)能力選擇服務(wù)半徑更廣，發(fā)展路徑更契合的服務(wù)商云原生數(shù)據(jù)湖是企業(yè)級的綜合大數(shù)據(jù)解決方案，且實踐具有長期性，伴隨企業(yè)的長期IT能力升級。故

53、而除了內(nèi)部能力（技 術(shù)、產(chǎn)品、解決方案等）的評估外，云原生數(shù)據(jù)湖選型還需要格外關(guān)注廠商的外部能力和未來能力：是否有足夠豐富的生 態(tài)合作伙伴來滿足企業(yè)不同場景的需求？技術(shù)演進(jìn)路線是否與企業(yè)匹配？是否能支持企業(yè)業(yè)務(wù)未來的拓展？企業(yè)需要更綜 合的考慮，選擇整體服務(wù)能力更廣的服務(wù)商。云原生數(shù)據(jù)湖的選型矩陣廠商A廠商B廠商C發(fā)展路徑發(fā)展路徑發(fā)展路徑選擇整體服務(wù)能力更廣的服務(wù)商。37選型矩陣闡述內(nèi)部能力評估評估廠商本身的能力，包括云原生數(shù)據(jù)湖核心技術(shù)組件（存儲、計算、管理等）的性能和功能，以及整體解決方案的成熟性和性價比。生態(tài)能力評估云原生數(shù)據(jù)湖不是單一的存儲或者數(shù)據(jù)庫產(chǎn)品，而是面向企業(yè)大數(shù)據(jù)應(yīng)用的全生命

54、周期解決方案。故而，企業(yè)在進(jìn)行選型時，除了廠商本身的能力，還需要關(guān)注廠商的生態(tài)能力，是否有足夠的生態(tài)合作伙伴來共同支持企業(yè)的多元需求。未來能力評估云原生數(shù)據(jù)湖的部署并非一次性結(jié)束的短期項目，涉及企業(yè)長期數(shù)據(jù)能力的發(fā)展，故而企業(yè)在選型時還需要關(guān)注廠商未來的發(fā)展路徑是否與自己的發(fā)展路線契合，是否能支持自身業(yè)務(wù)未來的拓展。38典型企業(yè)展示阿里云DatabricksClouderaAtlasRanger：用阿里云率先入局?jǐn)?shù)據(jù)湖市場，持續(xù)迭代服務(wù)全行業(yè)客戶數(shù)字化升級面對企業(yè)數(shù)據(jù)治理挑戰(zhàn)嚴(yán)峻、產(chǎn)品部署成本高企、大數(shù)據(jù)管理實施復(fù)雜和落地效果不及預(yù)期的痛點，作為中國云計算與大 數(shù)據(jù)前瞻的踐行者，阿里云率先布局

55、數(shù)據(jù)湖領(lǐng)域?；谑嗄甏髷?shù)據(jù)技術(shù)的實踐與探索，阿里云云原生數(shù)據(jù)湖解決方案不 斷迭代升級，至今已經(jīng)歷了三代發(fā)展，實現(xiàn)了存儲服務(wù)化、管理智能化、計算多元化等方面的日益完善，具備松耦合、積 木化、廣兼容及低運維的優(yōu)勢。在演進(jìn)的過程中，阿里云積累了互娛、社區(qū)、電商、金融、制造等多行業(yè)的服務(wù)案例，未 來將在serverless化、智能化、實時化、平臺化、生態(tài)化等方面繼續(xù)深耕，持續(xù)賦能全行業(yè)客戶的數(shù)字化轉(zhuǎn)型升級。阿里云云原生數(shù)據(jù)湖解決方案：發(fā)展歷程與演進(jìn)路線Apache Hadoop 第一個版 本發(fā)布?？商峁┖唵蔚腟QL查 詢功能。Flink：開 源流處理 框架。2020 2021線批處理、SQL 流式/

56、實時等計 算方式的引擎。Airflow：開源 的分布式任務(wù)調(diào) 度框架。Hive：基于E-MapReduce：Spark：支持離 平臺。Delta Lake：存 儲層，實現(xiàn)數(shù)據(jù)實時同步。Hudi：流式數(shù)據(jù) 湖平臺。Iceberg：提供于數(shù)據(jù)治理， 開放的通用表格可實現(xiàn)基于分 式。類的、跨組件JindoFS：云上的權(quán)限控制。大數(shù)據(jù)存算分離方案。201620172019DLF：業(yè)內(nèi) 首個云原生 企業(yè)級數(shù)據(jù) 湖解決方案202120062010201120132014數(shù)據(jù)湖1.02019數(shù)據(jù)湖2.0數(shù)據(jù)湖3.0存儲存算分離，冷熱分層，以Hadoop生態(tài)為主。引擎以Hadoop和Spark為主，初步實現(xiàn)云

57、原生化，但缺乏彈性及多樣性。熱數(shù)據(jù)存儲的Hadoop需要投入大量管理硬件運維和擴(kuò)容任務(wù)。對象存儲為中心，統(tǒng)一存儲承載生產(chǎn)業(yè) 務(wù)，大規(guī)模、高性能。云原生化、彈性化，但用戶仍需在計算側(cè)進(jìn)行自行搭建，且數(shù)據(jù)無法統(tǒng)一管理。元數(shù)據(jù)管理和協(xié)議轉(zhuǎn)換需用戶自行搭建， 數(shù)據(jù)管理無法和對象存儲實現(xiàn)無縫融合。對象存儲OSS為中心，構(gòu)建企業(yè)級數(shù)據(jù)湖，全兼容、 多協(xié)議、統(tǒng)一元數(shù)據(jù)。與DLF、EMR等計算引擎無縫對接，不僅云原生化、彈性化，同時實時化、AI化、生態(tài)化。智能“建湖”和“治湖”：面向湖存儲+計算的一 站式湖構(gòu)建和管理。計算管理Serverless化將一切狀態(tài)化、分散化、不利于用戶運維的產(chǎn)品繼續(xù)Serverle

58、ss化智能化產(chǎn)品部署、資源調(diào)用、后期運維更加智能平臺化抽象大數(shù)據(jù)平臺底座，兼容不同能力資源生態(tài)化以湖為中心，提供多范式、生態(tài)化產(chǎn)品來源：阿里云，研究院自主研究及繪制。39Presto：Hadoop的數(shù)倉工具， 開源的分開源大數(shù)據(jù)開發(fā)布式SQL查詢引擎。阿里云兼容、彈性、一站式的大數(shù)據(jù)架構(gòu)，滿足企業(yè)多元洞察訴求基于云原生相關(guān)技術(shù)和計算存儲分離架構(gòu)，阿里云推出了云原生企業(yè)級數(shù)據(jù)湖解決方案。在該架構(gòu)下，數(shù)據(jù)湖直接對接企 業(yè)業(yè)務(wù)生產(chǎn)中心多源異構(gòu)的海量數(shù)據(jù)，統(tǒng)一存儲于阿里云對象存儲OSS，彈性調(diào)用阿里云EMR、MaxCompute、PAI， 以及Flink、Spark等主流開源計算引擎，一站式滿足企業(yè)實

59、時分析、交互查詢、智能探索等高價值數(shù)據(jù)洞察訴求。阿里云云原生數(shù)據(jù)湖解決方案：架構(gòu)與優(yōu)勢管理DLF 數(shù)據(jù)湖構(gòu)建存儲OSS 統(tǒng)一對象存儲安全、可擴(kuò)展、高可用、低成本、兼容任何格式的統(tǒng)一存儲。DataWorks大數(shù)據(jù)開發(fā)與治理平臺提供一站式的入湖、元數(shù) 據(jù)、權(quán)限、血緣、質(zhì)量、 探索等服務(wù)。應(yīng)用QuickBI數(shù)據(jù)可視化分析Quick Audience智能用戶增長DataV可視化應(yīng)用搭建SLS日志服務(wù)AIRec智能推薦Link Analytics物聯(lián)網(wǎng)數(shù)據(jù)分析以數(shù)據(jù)湖為中心，不斷擴(kuò)容生態(tài)化應(yīng)用產(chǎn)品，滿足客戶數(shù)據(jù)洞察與業(yè)務(wù)賦能訴求。數(shù)據(jù)庫抽取數(shù)據(jù)庫數(shù)據(jù)遷移大數(shù)據(jù)平臺應(yīng)用數(shù)據(jù)RESTful API日志日志服

60、務(wù)加速JindoFS (SDKCacheblock)Dataphin智能數(shù)據(jù)構(gòu)建與管理計算EMR 開源大數(shù)據(jù)平臺MaxCompute 大數(shù)據(jù)計算Databricks 全托管SparkHologres 交互式分析開源、多引擎、松耦合、積木化、彈性的多范式計算框架。Flink 實時計算PAI 機(jī)器學(xué)習(xí)Cloudera Hadoop來源：阿里云，研究院自主研究及繪制。40靈活接入多源異構(gòu)的數(shù)據(jù)Databricks湖倉一體架構(gòu)，統(tǒng)一管理所有數(shù)據(jù)、分析和AI工作Databricks旗下的Lakehouse平臺基于湖倉一體架構(gòu)，實現(xiàn)了數(shù)據(jù)湖和數(shù)據(jù)倉庫最佳實踐的結(jié)合。Lakehouse平臺由全 新的開放和標(biāo)