2023中國(guó)大數(shù)據(jù)分析行業(yè)研究報(bào)告

中國(guó)大數(shù)據(jù)分析行業(yè)研究報(bào)告2023年4月中國(guó)大數(shù)中國(guó)大數(shù)分析行研究報(bào)告 |目錄研究背景 1大數(shù)據(jù)產(chǎn)概念和類 3大數(shù)據(jù)發(fā)的驅(qū)動(dòng)力 4大數(shù)據(jù)產(chǎn)分類 7大數(shù)據(jù)基設(shè)施 8大數(shù)據(jù)分析 10大數(shù)據(jù)應(yīng)用 19大數(shù)據(jù)開項(xiàng)目 數(shù)據(jù)源和據(jù)資源 22大數(shù)據(jù)分的價(jià)值 22大數(shù)據(jù)分市場(chǎng)規(guī)和發(fā)展勢(shì) 24大數(shù)據(jù)分市場(chǎng)規(guī)模 24大數(shù)據(jù)分市場(chǎng)趨勢(shì) 25國(guó)產(chǎn)化產(chǎn)蓬勃發(fā)展 26云化部署續(xù)增長(zhǎng)公有云非公有部署同發(fā)展 26大數(shù)據(jù)分平民化 26大數(shù)據(jù)分技術(shù)趨勢(shì) 27增強(qiáng)分析入人工能階段 27湖倉(cāng)一體為新的據(jù)基礎(chǔ)施底座 29流批一體兩種架模式融一體 30大數(shù)據(jù)分三大細(xì)市場(chǎng)主廠商分析 31商業(yè)智能數(shù)據(jù)可化 33流批一體 39智能運(yùn)維 455 結(jié)論 516 研究機(jī)構(gòu)介 52圖表目錄圖表、全生成、取、復(fù)、消費(fèi)數(shù)據(jù)量位BStatsta2 3圖表2、大據(jù)產(chǎn)品類 7圖表3、傳編程與器學(xué)習(xí)型對(duì)比 13圖表4、批計(jì)算與式計(jì)算比 16圖表5、指平臺(tái)架（來(lái)源：BennStancil） 17圖表6、典的大數(shù)行業(yè)應(yīng)用 20圖表7、開大數(shù)據(jù)目 22圖表8、中大數(shù)據(jù)場(chǎng)支出測(cè)2021v2（來(lái)源：IDC） 24圖表9、中大數(shù)據(jù)件市場(chǎng)出分布來(lái)源：大數(shù)據(jù)網(wǎng)） 25圖表10、增分析的進(jìn)（來(lái)：Gartner） 28圖表11、數(shù)倉(cāng)庫(kù)、據(jù)湖、倉(cāng)一體構(gòu)對(duì)比源：） 29圖表12、批分析與式分析來(lái)源：） 30圖表13、大據(jù)分析場(chǎng)廠商型 32圖表14、大據(jù)分析場(chǎng)主要商 33圖表15、商智能和據(jù)可視市場(chǎng)主廠商 34圖表16、新興型行業(yè)智能化和數(shù)據(jù)可視化廠商2020年相對(duì)市場(chǎng)份額（主營(yíng)業(yè)務(wù)收入口徑）34圖表17、新型行業(yè)能化和據(jù)可視廠商綜技創(chuàng)新能評(píng)價(jià) 35圖表18、中商業(yè)智軟件市規(guī)模（源：IDC） 35圖表19、中商業(yè)智和數(shù)據(jù)視化軟市場(chǎng)廠額（來(lái)源：IDC） 36圖表20、帆的商業(yè)能產(chǎn)品 37圖表21、微的PowerPlatform 38圖表22、流一體市主要廠商 39圖表23、新型流批體廠商2020相對(duì)市份分布（主業(yè)務(wù)收口徑） 40圖表24、新型行業(yè)批一體廠商綜科技創(chuàng)力評(píng)價(jià) 40圖表25、廣流批一的三個(gè)塊 41圖表26、阿的流批體架構(gòu) 42圖表27、滴科技FastData的實(shí)湖倉(cāng)引擎 43圖表28、Kyligence的流一體解方案 44圖表29、智運(yùn)維市主要廠商 46圖表30、新型智能維廠商2020相對(duì)市份分布（主業(yè)務(wù)收口徑） 46圖表31、新型智能維廠商合科技新能力價(jià) 47圖表32、Splunk智能維平臺(tái) 47圖表33、新網(wǎng)絡(luò)的棧一體智能運(yùn)平臺(tái) 48圖表34、博數(shù)據(jù)智運(yùn)維監(jiān)產(chǎn)品 49圖表35、基聽云智運(yùn)維產(chǎn)品 49圖表36、擎科技智運(yùn)維平臺(tái) 50中國(guó)大數(shù)中國(guó)大數(shù)分析行研究報(bào)告 |PAGE10研究背景30%，2020120300231420%4G5G2善，3324400生態(tài)體系持續(xù)優(yōu)化。區(qū)域集聚成效顯著，建設(shè)了8個(gè)國(guó)家大數(shù)據(jù)綜合試驗(yàn)區(qū)和11個(gè)大數(shù)據(jù)領(lǐng)域國(guó)家新型工業(yè)化產(chǎn)業(yè)示范基地。一批大數(shù)據(jù)龍頭企業(yè)快速崛起，初步形成了大企業(yè)引領(lǐng)、中小企業(yè)協(xié)同、創(chuàng)新企業(yè)不斷涌現(xiàn)的發(fā)展格局。產(chǎn)業(yè)支撐能力不斷提升，咨詢服務(wù)、評(píng)估測(cè)試等服務(wù)保障體系基本建立。數(shù)字營(yíng)商環(huán)境持續(xù)優(yōu)化，電子政務(wù)在線服務(wù)指數(shù)躍升至全球第9位，進(jìn)入世界領(lǐng)先梯隊(duì)。5G效、政府治理體系和治理能力現(xiàn)代化廣泛賦能。隨著“互聯(lián)網(wǎng)+”的升級(jí)，激發(fā)經(jīng)濟(jì)增長(zhǎng)活力，助力新型智慧城市和數(shù)字經(jīng)濟(jì)建設(shè)。值高為主要特征，是推動(dòng)經(jīng)濟(jì)轉(zhuǎn)型發(fā)展的新動(dòng)力。圖表1單位ZB，tita222來(lái)自氣象衛(wèi)星、交通攝像頭、車聯(lián)網(wǎng)、電力/能源/工業(yè)/環(huán)保行業(yè)的全日志等等，企業(yè)和政府利用這些數(shù)據(jù)制定決策，完善流程和政策，素：社會(huì)數(shù)字化、物聯(lián)網(wǎng)、技術(shù)成本快速下降、云計(jì)算的快速發(fā)展、數(shù)據(jù)科學(xué)的普及、人工智能的崛起。社會(huì)數(shù)字化遠(yuǎn)在線”的消費(fèi)者生產(chǎn)了大量的數(shù)據(jù)。20212CNNIC)9.93.7中創(chuàng)建新數(shù)據(jù)，巨大的人口基數(shù)創(chuàng)建出了巨量的數(shù)據(jù)。新冠肺炎疫情加速推動(dòng)了從個(gè)體、企業(yè)到政府全方位的社會(huì)數(shù)字面線下不3492、物聯(lián)網(wǎng)物聯(lián)網(wǎng)（IoT）是指通過(guò)傳感設(shè)備、按照標(biāo)準(zhǔn)通訊協(xié)議，把物品與互聯(lián)網(wǎng)連接，實(shí)現(xiàn)智能化服務(wù)的網(wǎng)絡(luò)。物聯(lián)網(wǎng)大致誕生于2008年2009傳感器數(shù)量還在不斷增長(zhǎng)之中，更有大量的智能設(shè)備開始走入家庭，家庭里的IP地址數(shù)量急劇增長(zhǎng)。據(jù)BusinessInsider,IoTAnalyticsGartnerIntelStatista，2025技術(shù)成本快速下降200010001000降低了大數(shù)據(jù)項(xiàng)目的成本。云計(jì)算的快速發(fā)展（需要大量專家長(zhǎng)時(shí)間進(jìn)行系統(tǒng)搭建，（基礎(chǔ)軟件可以在若干分鐘之內(nèi)搭建完成，而且能夠隨著業(yè)務(wù)的增長(zhǎng)進(jìn)行無(wú)縫的技術(shù)增長(zhǎng)，只需為實(shí)際使時(shí)間成本和使用成本。數(shù)據(jù)科學(xué)的普及據(jù)的發(fā)展貯備好了智力資源。6.人工智能的崛起2020可以方便地使用大數(shù)據(jù)系統(tǒng)了，實(shí)現(xiàn)了數(shù)據(jù)分析“平民化”的效果，大大促進(jìn)了大數(shù)據(jù)技術(shù)的應(yīng)用深度和廣度。大數(shù)據(jù)基礎(chǔ)設(shè)施大數(shù)據(jù)分析大數(shù)據(jù)應(yīng)用存儲(chǔ)數(shù)據(jù)湖關(guān)系型數(shù)據(jù)庫(kù)NewSQL大數(shù)據(jù)基礎(chǔ)設(shè)施大數(shù)據(jù)分析大數(shù)據(jù)應(yīng)用存儲(chǔ)數(shù)據(jù)湖關(guān)系型數(shù)據(jù)庫(kù)NewSQL圖數(shù)據(jù)庫(kù)ETL/數(shù)據(jù)集成隱私/安全數(shù)據(jù)質(zhì)量無(wú)服務(wù)器Hadoop數(shù)據(jù)倉(cāng)庫(kù)流式/NoSQL數(shù)據(jù)庫(kù)實(shí)時(shí)數(shù)據(jù)庫(kù)MPP數(shù)據(jù)庫(kù)反向ETL數(shù)據(jù)治理/數(shù)據(jù)可觀察性管理/監(jiān)控集群服務(wù)商業(yè)智能平臺(tái)數(shù)據(jù)可視化增強(qiáng)分析指標(biāo)平臺(tái)流批一體化日志分析查詢引擎搜索銷售企業(yè)市場(chǎng)營(yíng)銷合規(guī)自動(dòng)化和廣告電信交通客戶體驗(yàn)/服務(wù)消費(fèi)市場(chǎng)營(yíng)銷法律財(cái)務(wù)安全金融投資保險(xiǎn)農(nóng)業(yè)教育研究機(jī)構(gòu)孵化器與學(xué)校數(shù)據(jù)服務(wù)數(shù)據(jù)資源天空海數(shù)據(jù)財(cái)經(jīng)數(shù)據(jù)位置智能數(shù)據(jù)市場(chǎng)和發(fā)現(xiàn)人員/實(shí)體數(shù)據(jù)數(shù)據(jù)源和API大數(shù)據(jù)開源項(xiàng)目框架數(shù)據(jù)運(yùn)營(yíng)可視化數(shù)據(jù)格式流與消息協(xié)同查詢/數(shù)據(jù)流 數(shù)據(jù)訪問(wèn) 數(shù)據(jù)庫(kù)統(tǒng)計(jì)工具和語(yǔ)言AI/機(jī)器學(xué)習(xí)ML運(yùn)營(yíng)/基礎(chǔ)設(shè)施安全編排搜索基礎(chǔ)設(shè)施日志與監(jiān)控圖表2、大數(shù)據(jù)產(chǎn)品分類大數(shù)據(jù)市場(chǎng)經(jīng)過(guò)20多年的長(zhǎng)足發(fā)展，形成了豐富的市場(chǎng)生態(tài)，從產(chǎn)品、服務(wù)供應(yīng)端的視角大致可分為如下領(lǐng)域：大數(shù)據(jù)基礎(chǔ)設(shè)施、API1、數(shù)據(jù)庫(kù)2、數(shù)據(jù)倉(cāng)庫(kù)3、數(shù)據(jù)湖4、湖倉(cāng)一體定位和擅長(zhǎng)的業(yè)務(wù)場(chǎng)景，共同構(gòu)成了大數(shù)據(jù)時(shí)代的技術(shù)基礎(chǔ)設(shè)施。多的大中小型客戶，是對(duì)結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析的大數(shù)據(jù)技術(shù)。根本分歧點(diǎn)是存儲(chǔ)系統(tǒng)訪問(wèn)、權(quán)限管理、建模要求等方面的不同。倉(cāng)庫(kù)則剛好反之，對(duì)初創(chuàng)用戶不友好但成長(zhǎng)性較好。（設(shè)需求的話（尤其是新興的創(chuàng)業(yè)公司從零開始架構(gòu)的長(zhǎng)性/事務(wù)性。湖倉(cāng)一體的實(shí)現(xiàn)路徑有兩種。第一種，在數(shù)據(jù)倉(cāng)庫(kù)上湖倉(cāng)一體的架構(gòu)是新一代大數(shù)據(jù)分析的基礎(chǔ)設(shè)施。商業(yè)智能商業(yè)智能（BI，BusinessIntelligence）商業(yè)智能不是嚴(yán)格意義上的一種技術(shù)，它是數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、ETLOLAP商業(yè)智能的關(guān)鍵是從許多來(lái)自不同的數(shù)據(jù)源中提取出有用的資料（Extractionansformation）和裝載（Load，即ETL過(guò)程，合并到數(shù)據(jù)倉(cāng)查OLAP術(shù)等對(duì)其進(jìn)行分析和處理（這時(shí)信息變?yōu)檩o助決策的知識(shí)，最后將知智能里開始扮演越來(lái)越重要的作用。數(shù)據(jù)可視化數(shù)據(jù)分析師平臺(tái)（戶，通過(guò)洞察數(shù)據(jù)發(fā)現(xiàn)背后的業(yè)務(wù)趨勢(shì)，數(shù)據(jù)分析師使用的最經(jīng)典的Excel。的精力投入到業(yè)務(wù)領(lǐng)域。數(shù)據(jù)分析師平臺(tái)通常具備對(duì)各種格式的原始數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換處理和展現(xiàn)。增強(qiáng)分析增強(qiáng)分析是指使用機(jī)器學(xué)習(xí)和人工智能等提升能力的技術(shù)來(lái)協(xié)助進(jìn)行數(shù)據(jù)準(zhǔn)備、洞察生成和洞察解釋，從而增強(qiáng)人們?cè)诜治龊虰I平臺(tái)中探索和分析數(shù)據(jù)的能力。增強(qiáng)分析可以將內(nèi)部數(shù)據(jù)與外部數(shù)據(jù)相結(jié)合，并自動(dòng)執(zhí)行重要且(ML)和自然語(yǔ)言處理(NLP)的形式嵌入到分析中。它與傳統(tǒng)的分析或商業(yè)智能(BI)增強(qiáng)分析的價(jià)值具體體現(xiàn)在如下三個(gè)方面：AI在統(tǒng)一的數(shù)據(jù)架構(gòu)和安全架構(gòu)之下，在大大降低了使用者的技術(shù)要求之后，業(yè)務(wù)人員更容易獲得數(shù)據(jù)之下的業(yè)務(wù)洞見。AI(NLP)生成(NLG)組成的自然語(yǔ)言界面(NLI言提出問(wèn)題并以簡(jiǎn)單的語(yǔ)言得到答案。用戶能夠使用直觀的探索工具更深入地了解他們的數(shù)據(jù)。在用戶問(wèn)題的指導(dǎo)下，系統(tǒng)會(huì)推薦可視化圖表、儀表板和其他易于理解的指標(biāo)，展現(xiàn)出令人信服的數(shù)據(jù)。AIIT職工作。計(jì)算機(jī)輸出計(jì)算機(jī)計(jì)算機(jī)輸出計(jì)算機(jī)規(guī)則傳統(tǒng)編程機(jī)器學(xué)習(xí)當(dāng)困難，更不用說(shuō)把它變成程序代碼了。圖表3、傳統(tǒng)編程與機(jī)器學(xué)習(xí)模型對(duì)比而機(jī)器學(xué)習(xí)另辟蹊徑，它從一些輸入數(shù)據(jù)和正確的輸出開始“圖123456夠有效地反映現(xiàn)實(shí)世界中的規(guī)則了（可以有效地區(qū)分貓和狗了。據(jù)集來(lái)增強(qiáng)模型。機(jī)器學(xué)習(xí)模型從大數(shù)據(jù)和重復(fù)的人類交互中學(xué)習(xí)，直到它可以輸出足夠好的結(jié)果。隨著數(shù)據(jù)的極大豐富、算法的不斷進(jìn)步和機(jī)器算力的大幅提到達(dá)了“可以用了”的水平。分析中已經(jīng)成為不可或缺的部分。數(shù)據(jù)目錄與發(fā)現(xiàn)數(shù)據(jù)目錄是關(guān)于數(shù)據(jù)資產(chǎn)的一個(gè)有序清單，它使用元數(shù)據(jù)來(lái)幫助組織管理數(shù)據(jù)，幫助數(shù)據(jù)專業(yè)人員收集、組織、訪問(wèn)和充實(shí)元數(shù)據(jù)，從而為數(shù)據(jù)發(fā)現(xiàn)和治理提供支持。數(shù)據(jù)目錄之于數(shù)據(jù)，正如圖書目錄之于圖書。它可以提供一個(gè)整體視圖，提供所有數(shù)據(jù)的深度可見性，而不僅僅是一次只查看某一項(xiàng)數(shù)據(jù)。因太難使用而毫無(wú)用處。的功能。流批一體流批一體是指將流式計(jì)算與批量計(jì)算兩種不同架構(gòu)的數(shù)據(jù)處理模式融合到一起。特性批量計(jì)算流式計(jì)算數(shù)據(jù)時(shí)間范圍有界數(shù)據(jù)集，數(shù)據(jù)在某個(gè)時(shí)間范圍內(nèi)起始和結(jié)束無(wú)界數(shù)據(jù)集，一直有持續(xù)不斷新產(chǎn)生的數(shù)據(jù)任務(wù)執(zhí)行分批執(zhí)行、有終止持續(xù)執(zhí)行、無(wú)終止處理延遲小時(shí)級(jí)、天級(jí)特性批量計(jì)算流式計(jì)算數(shù)據(jù)時(shí)間范圍有界數(shù)據(jù)集，數(shù)據(jù)在某個(gè)時(shí)間范圍內(nèi)起始和結(jié)束無(wú)界數(shù)據(jù)集，一直有持續(xù)不斷新產(chǎn)生的數(shù)據(jù)任務(wù)執(zhí)行分批執(zhí)行、有終止持續(xù)執(zhí)行、無(wú)終止處理延遲小時(shí)級(jí)、天級(jí)秒級(jí)、分鐘級(jí)數(shù)據(jù)場(chǎng)景數(shù)據(jù)量超大數(shù)據(jù)、無(wú)法以流的形式交付數(shù)據(jù)以流的形式交付業(yè)務(wù)場(chǎng)景工資單計(jì)算、計(jì)費(fèi)、客戶訂線報(bào)表欺詐實(shí)時(shí)檢測(cè)、社交媒體情感分析、安全日志監(jiān)控、客戶行為分析、實(shí)時(shí)推薦關(guān)注點(diǎn)可擴(kuò)展性、大吞吐量、容錯(cuò)可擴(kuò)展性、低延遲、容錯(cuò)、消息一致性、消息持久性圖表4、批量計(jì)算與流式計(jì)算對(duì)比重復(fù)的資源，存儲(chǔ)和計(jì)算都要雙份，系統(tǒng)的成本高。兩套系統(tǒng)，組件不同，需要技能不同的人員維護(hù)，人員的成本高。兩套開發(fā)體系無(wú)法統(tǒng)一，表結(jié)構(gòu)不同，開發(fā)環(huán)境不同。一樣，雖然最前端輸入都來(lái)自同一份源數(shù)據(jù)。一體的產(chǎn)品和服務(wù)正在快速發(fā)展和完善之中。指標(biāo)平臺(tái)這里的指標(biāo)（Metrics）是指業(yè)務(wù)上或技術(shù)上關(guān)注的量化信息，KPI（關(guān)鍵績(jī)效指標(biāo)的、重要的數(shù)據(jù)資產(chǎn)。圖表5、指標(biāo)平臺(tái)架構(gòu)（來(lái)源：BennStancil）稱（MetricsPlatform（HeadlessBI、指標(biāo)層（MetricsLayer）或指標(biāo)存儲(chǔ)（MetricsStore，都是指同一個(gè)東西。BIBIBI一致地重用這些指標(biāo)。日志分析ITIT要通過(guò)日志來(lái)進(jìn)行運(yùn)維管理。設(shè)備名稱、系統(tǒng)名稱、應(yīng)用名稱、使用者及操作行為等相關(guān)的描述，7x24ITIT/服務(wù)、企業(yè)市場(chǎng)營(yíng)銷、消費(fèi)市場(chǎng)營(yíng)RPA、安全、廣告等，垂直行業(yè)應(yīng)用涉及的領(lǐng)域有：互聯(lián)網(wǎng)（電商、社交、生活服務(wù)等（行業(yè)行業(yè)挑戰(zhàn)大數(shù)據(jù)應(yīng)用大數(shù)據(jù)應(yīng)用價(jià)值互聯(lián)網(wǎng)業(yè)務(wù)場(chǎng)景復(fù)雜，數(shù)據(jù)來(lái)源多；業(yè)務(wù)快速變化，時(shí)效性要求高；數(shù)據(jù)量巨大行業(yè)行業(yè)挑戰(zhàn)大數(shù)據(jù)應(yīng)用大數(shù)據(jù)應(yīng)用價(jià)值互聯(lián)網(wǎng)業(yè)務(wù)場(chǎng)景復(fù)雜，數(shù)據(jù)來(lái)源多；業(yè)務(wù)快速變化，時(shí)效性要求高；數(shù)據(jù)量巨大但數(shù)據(jù)價(jià)值低。用戶行為分析、轉(zhuǎn)化分析、留存分析、活躍分析、渠道分析、個(gè)性化推薦、精準(zhǔn)營(yíng)銷、廣告投放提升客戶滿意度、快速獲客/留客、提升收入、指導(dǎo)產(chǎn)品開發(fā)/迭代金融證券詐，超高頻交易。風(fēng)險(xiǎn)分析，隱私計(jì)算，交易前決策支持分析，情緒測(cè)量，預(yù)測(cè)分析，交易數(shù)據(jù)分析了解客戶和減少欺詐政府政府?dāng)?shù)據(jù)資產(chǎn)的整合、管理和開放，政府部門及附屬機(jī)構(gòu)之間數(shù)據(jù)的互聯(lián)互通。氣象大數(shù)據(jù)服務(wù)于救測(cè)企業(yè)異常等數(shù)據(jù)多跑路群眾少跑腿，更高效的社會(huì)化服務(wù)，更卓越的營(yíng)商環(huán)境圖表6、典型的大數(shù)據(jù)行業(yè)應(yīng)用策源地。領(lǐng)域開源項(xiàng)目框架HadoopHDFS,Spark,HadoopMapReduce,Flink,YARN,TEZ,Kubernetes,ApacheKylin,MESOS,Docker,CDAP,RedHat,HELIX數(shù)據(jù)格式ICEBERG,Parquet,ApacheHudi,ORC,Arrow,DELTALAKE查詢/數(shù)據(jù)流SparkSQL,Pig,Hive,Presto,ApacheDRILL,SLAMDATA,GraphQL,Trino,GoogleCloudDataflow,HAWQ,ApacheTrafodion數(shù)據(jù)訪問(wèn)數(shù)據(jù)訪問(wèn)UberDatabook,Aundsen,Magda,Ckan數(shù)據(jù)庫(kù)PostgreSQL,MySQL,MongoDB,GreenPlum,Redis,CockroachDB,MariaDB,Influxdb,Presto,Druid,Cassandra,AirbnbDataportal,SciDB,DataHub,ApacheFlume,CloudSpanner,CouchDB,Riak,OpenTSDB,ApacheAccumulo,ClickHouse,Pinot,EdgeDB,ApacheHBase編排ApacheAirflow,Prefect,Dagster,Flyte,MetaFlow,Kedro,SpotifyLuigi基礎(chǔ)設(shè)施ApacheZookeeper,ApacheAmbari,ApacheMESOS,Argo數(shù)據(jù)運(yùn)營(yíng)MARQUEZ,GreatExpectations,OpenLineage,LakeFS,ProjectNessie流與消息SparkStreaming,Kafka,beamPulsar,Flink,Storm,Apex,ApacheNiFi,ApacheRocketMQ,Samza統(tǒng)計(jì)工具和語(yǔ)言Python,R,Scala,NumPy,Pandas,SciPy,RStudio,Pyro,Julia,TidyverseAI/機(jī)器學(xué)習(xí)TensorFlow,Torch,Transformers,OpenCV,ApacheMADlib,Scikit-learn,Keras,BERT,XGBoost,Caffe,MicrosoftCognitiveToolkit,DMTK,OpenAI,PyTorchLightning,Theano,PaddlePaddle,ApacheSinga,DIMSUM,FeatureFU,VELES,Mxnet,Neon,Chainer,UberMichelangelo,ONNX,WEKA,Ludwig,CoreNLP,DSSTNE,MLlib,DL4J,Mahout,Aerosolve,fast.ai,MLR,OpenML,MindsDB,spaCy,Kubeflow,AllenNLP,CatBoost機(jī)器學(xué)習(xí)運(yùn)營(yíng) Pachyderm,MLflow, Kubeflow, mleap, DVC,Seldon, Snorkel,/基礎(chǔ)設(shè)施 Polyaxon,BentoML,MediaPipe搜索ElasticSearch,ApacheSolr,ApacheLucene,Sphinx,Sonic,MeiliSearch,ToshiSearch,Tantivy,Typesense日志與監(jiān)控ElasticSearch, Logstash, Kibana, Sentry,Prometheus, Fluentd,Grafana,Vector,OpenTelemetry中國(guó)大數(shù)分析行研究報(bào)告 | 21中國(guó)大數(shù)中國(guó)大數(shù)分析行研究報(bào)告 |PAGE22可視化D3,Superset,matplotlib,Metabase,Redash,TensorBoard,Seaborn,Bokeh,ggplot2協(xié)同Beake,Jupyter,Zeppelin,Anaconda安全ApacheRanger,Knox,Sentry,ApacheAccumulo,Snyk圖表7、開源大數(shù)據(jù)項(xiàng)目經(jīng)數(shù)據(jù)、統(tǒng)計(jì)信息等等，以及需要協(xié)議接口的企業(yè)信息、人員信息、202111正在持續(xù)開展的重要工作。大數(shù)據(jù)分析是大數(shù)據(jù)產(chǎn)業(yè)的重要組成部分，核心的價(jià)值就是從海據(jù)。在企業(yè)界常見的大數(shù)據(jù)分析的價(jià)值場(chǎng)景包括：客戶獲取和保留戶的不同需求，使得企業(yè)可以制定有針對(duì)性的措施獲取新客戶，以及提升老客戶的滿意度。精準(zhǔn)營(yíng)銷提升營(yíng)業(yè)額交率。產(chǎn)品開發(fā)用戶是否喜歡這些功能、新功能是不是反而給用戶添亂。供應(yīng)鏈和渠道分析預(yù)測(cè)分析模型可以幫助進(jìn)行搶先補(bǔ)貨、構(gòu)建智能的供應(yīng)商網(wǎng)絡(luò)、庫(kù)存管理、路線優(yōu)化和潛在交貨延遲通知等等。風(fēng)險(xiǎn)管理大數(shù)據(jù)分析可以從數(shù)據(jù)模式中識(shí)別出新的風(fēng)險(xiǎn)，從而制定有效的前所有小微貸款業(yè)務(wù)的基石。自2014年以來(lái)202525自主可控的現(xiàn)代化大數(shù)據(jù)產(chǎn)業(yè)體系基本形成。IDC20211102025250圖表8、中國(guó)大數(shù)據(jù)市場(chǎng)支出預(yù)測(cè)2021v2（來(lái)源：IDC）202540%，超過(guò)軟件和服30%的市場(chǎng)支出將流向軟件。圖表圖表9、中國(guó)大數(shù)據(jù)軟件市場(chǎng)支出分布（來(lái)源：中國(guó)大數(shù)據(jù)網(wǎng)）中國(guó)大數(shù)據(jù)軟件市場(chǎng)支出分布大數(shù)據(jù)應(yīng)用28%大數(shù)據(jù)基礎(chǔ)設(shè)施42%大數(shù)據(jù)分析30%中國(guó)大數(shù)據(jù)網(wǎng)對(duì)大數(shù)據(jù)軟件市場(chǎng)的進(jìn)一步細(xì)分做了獨(dú)立研究，20213028%202110202522大數(shù)據(jù)分析市場(chǎng)具有如下趨勢(shì)：國(guó)產(chǎn)化產(chǎn)品蓬勃發(fā)展云化部署持續(xù)增長(zhǎng)，公有云、非公有云部署同步發(fā)展大數(shù)據(jù)分析平民化（對(duì)公有云的/行業(yè)云環(huán)境，有云/行業(yè)云模式仍需要采購(gòu)大量硬件設(shè)備，大數(shù)據(jù)軟件也需要部署到屬地環(huán)境中。的生態(tài)。相關(guān)：增強(qiáng)分析步入人工智能階段湖倉(cāng)一體成為新的數(shù)據(jù)基礎(chǔ)設(shè)施底座流批一體將兩種架構(gòu)模式融為一體準(zhǔn)備、洞察發(fā)現(xiàn)、數(shù)據(jù)科學(xué)以及機(jī)器學(xué)習(xí)模型開發(fā)、業(yè)務(wù)發(fā)現(xiàn)共享，（例如做區(qū)域銷售額分析的時(shí)候補(bǔ)充當(dāng)?shù)氐娜丝诤虶DP數(shù)據(jù)數(shù)據(jù)格式轉(zhuǎn)換等耗時(shí)費(fèi)力的技術(shù)性準(zhǔn)備工作。在分析步驟中，增強(qiáng)分析可以幫助用戶做自動(dòng)建模、模型管理、圖表10、增強(qiáng)分析的演進(jìn)（來(lái)源：Gartner）AI等一系列問(wèn)題。圖表11、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖、湖倉(cāng)一體架構(gòu)對(duì)比（來(lái)源：）（ETL副本，變更管理繁重而復(fù)雜，對(duì)接龐大的開放式軟件生態(tài)系統(tǒng)（數(shù)據(jù)倉(cāng)庫(kù)只能用SQL（數(shù)據(jù)倉(cāng)庫(kù)ML/AI。AIAI于過(guò)去的分析型數(shù)據(jù)庫(kù)。流批一體是指將流式計(jì)算與批量計(jì)算兩種不同架構(gòu)的數(shù)據(jù)處理模式融合到一起，對(duì)混合的有界數(shù)據(jù)和無(wú)界數(shù)據(jù)能夠統(tǒng)一進(jìn)行支持，圖表12、批量分析與流式分析（來(lái)源：）有界數(shù)據(jù)（批量處理）還是無(wú)界數(shù)據(jù)（流式處理，可以采用同一套查查詢系統(tǒng)，產(chǎn)生的結(jié)果也不一定一致。2BIBIBI中國(guó)大數(shù)據(jù)網(wǎng)通過(guò)對(duì)全國(guó)工商企業(yè)數(shù)據(jù)進(jìn)行挖掘分析，截至2021年12月底中國(guó)大數(shù)據(jù)企業(yè)共約有6.53萬(wàn)家中國(guó)大數(shù)據(jù)網(wǎng)以六大維（行業(yè)實(shí)力身份特征創(chuàng)新能力活躍程度發(fā)展速度和經(jīng)營(yíng)風(fēng)險(xiǎn)）為指標(biāo)，對(duì)上述約6.53萬(wàn)家大數(shù)據(jù)企業(yè)進(jìn)行了量化分析，并按照指標(biāo)高低劃分三級(jí)九（AAAAAABBBBBBCCCCC、由高到低排列實(shí)現(xiàn)了對(duì)大數(shù)據(jù)企業(yè)的綜合科技創(chuàng)新能力的量化評(píng)價(jià)中國(guó)大數(shù)據(jù)網(wǎng)對(duì)其中A級(jí)和B級(jí)的企業(yè)進(jìn)行了入庫(kù)并提供系統(tǒng)平臺(tái)以供社會(huì)各界查詢和應(yīng)用“中國(guó)大數(shù)據(jù)網(wǎng)認(rèn)證企業(yè)查詢系統(tǒng)入口為： 。從大數(shù)據(jù)企業(yè)的運(yùn)營(yíng)情況來(lái)看，整個(gè)大數(shù)據(jù)分析市場(chǎng)仍然遵從20/80本行業(yè)研究報(bào)告主要針對(duì)上述大數(shù)據(jù)分析市場(chǎng)的主要廠商進(jìn)行分析。這些主要廠商的運(yùn)營(yíng)情況基本代表整個(gè)產(chǎn)業(yè)發(fā)展的現(xiàn)狀和趨勢(shì)。廠商類型特點(diǎn)成熟型廠商為體量較大的互聯(lián)網(wǎng)巨頭、大型IT服務(wù)商、大數(shù)據(jù)概念上市公司等，技術(shù)、市場(chǎng)實(shí)力雄厚，產(chǎn)品線一般比較廣泛、完整。新興型廠商多為新興創(chuàng)業(yè)公司，勇于創(chuàng)新，一般專注于特定領(lǐng)域，在某些前沿技術(shù)上處于相對(duì)領(lǐng)先位置。圖表13、大數(shù)據(jù)分析市場(chǎng)廠商類型成熟型廠商基本為全球知名企業(yè)、上市公司或者科技頭部企業(yè)，下表是大數(shù)據(jù)分析整體市場(chǎng)的主要廠商，入選的依據(jù)是：在大數(shù)2020大數(shù)據(jù)分析市場(chǎng)主要的成熟型廠商新華三大數(shù)據(jù)分析市場(chǎng)主要的新興型廠商數(shù)睿數(shù)據(jù)圖表14、大數(shù)據(jù)分析市場(chǎng)主要廠商下：商業(yè)智能和數(shù)據(jù)可視化領(lǐng)域主要的成熟型廠商商業(yè)智能和數(shù)據(jù)可視化領(lǐng)域主要的新興型廠商數(shù)睿數(shù)據(jù)圖表15、商業(yè)智能和數(shù)據(jù)可視化市場(chǎng)主要廠商新興型商業(yè)智能和數(shù)據(jù)可視化廠商2020觀遠(yuǎn)數(shù)據(jù)新興型商業(yè)智能和數(shù)據(jù)可視化廠商2020觀遠(yuǎn)數(shù)據(jù)4%亦策軟件6%datahunter數(shù)睿數(shù)據(jù) 1%2%1%8%百分點(diǎn)37%11%14%16%圖表16、新興型行業(yè)智能化和數(shù)據(jù)可視化廠商2020年相對(duì)市場(chǎng)份額（主營(yíng)業(yè)務(wù)收入口徑）（來(lái)源：中國(guó)大數(shù)據(jù)網(wǎng)）中國(guó)大數(shù)據(jù)網(wǎng)對(duì)上述新興型廠商同時(shí)進(jìn)行了綜合科技創(chuàng)新能力（備注：綜合科技創(chuàng)新能力評(píng)價(jià)是基于中國(guó)）序號(hào)廠商評(píng)價(jià)等級(jí)綜合評(píng)價(jià)綜合評(píng)分1數(shù)瀾科技AAA非常健康8652數(shù)睿科技AAA非常健康8643觀遠(yuǎn)數(shù)據(jù)AAA非常健康8584思邁特AAA非常健康8475百分點(diǎn)AAA非常健康8456億信華辰AAA非常健康8237永洪科技AAA非常健康7988海致科技AAA非常健康7989亦策軟件AAA非常健康79710DATAHUNTERAAA非常健康761圖表17、新興型行業(yè)智能化和數(shù)據(jù)可視化廠商綜合科技創(chuàng)新能力評(píng)價(jià)（來(lái)源：中國(guó)大數(shù)據(jù)網(wǎng)，截至2022年4月20日）IDC20251670%以上。圖表18、中國(guó)商業(yè)智能軟件市場(chǎng)規(guī)模（來(lái)源：IDC）圖表19、中國(guó)商業(yè)智能和數(shù)據(jù)可視化軟件市場(chǎng)廠商份額（來(lái)源：IDC）IDC，20202021能市場(chǎng)，20212001118000500300TableauTableau也有市場(chǎng)經(jīng)營(yíng)策略的問(wèn)題。圖表20、帆軟的商業(yè)智能產(chǎn)品ITIT數(shù)據(jù)分析平民化的需求，主要手段是：云化和低代碼。2014SaaSPowerBI地方案中快速部署，并提供豐富的移動(dòng)端支持。圖表21、微軟的PowerPlatform100PowerPlatformPowerBIPowerAppsPowerAutomatePowerVirtualAgents等組件，可與微軟Office365、Dynamics365、Azure以及第三方應(yīng)用程序無(wú)縫集成，提升企業(yè)快速構(gòu)建解決方案的能力。AI采取了穩(wěn)扎穩(wěn)打的策略。PowerBIAIPowerPlatformAIPowerBI求和性價(jià)比，做出最適合自己的產(chǎn)品組合選擇。相對(duì)于帆軟相對(duì)穩(wěn)健的AI策略，新興型廠商則更積極地?fù)肀А癇I+AIZ-SuiteAI深度分析平臺(tái)，百分點(diǎn)的CleverBI，ETLAINextionBIAI+BI產(chǎn)品生態(tài)，SmartBICloud“BI+AI”新賽道上獲得突破的努力。流批一體未來(lái)發(fā)展有較大空間。這個(gè)領(lǐng)域的主要廠商如下。流批一體領(lǐng)域主要的成熟型廠商新華三流批一體領(lǐng)域主要的新興型廠商圖表22、流批一體市場(chǎng)主要廠商入選的新興型廠商，流批一體都是其主營(yíng)業(yè)務(wù)之一，下圖是這些新興型流批一體廠商2020年相對(duì)市場(chǎng)份額（主營(yíng)業(yè)務(wù)收入口徑）Kyligence9%滴普科技24%網(wǎng)易數(shù)帆新興型流批一體廠商2020年相對(duì)市場(chǎng)份額（主營(yíng)業(yè)務(wù)收入口徑）Kyligence9%滴普科技24%網(wǎng)易數(shù)帆67%圖表23、新興型流批一體廠商2020年相對(duì)市場(chǎng)份額分布（主營(yíng)業(yè)務(wù)收入口徑）（來(lái)源：中國(guó)大數(shù)據(jù)網(wǎng)）中國(guó)大數(shù)據(jù)網(wǎng)對(duì)上述新興型廠商同時(shí)進(jìn)行了綜合科技創(chuàng)新能力（備注：綜合科技創(chuàng)新能力評(píng)價(jià)是基于中國(guó)）序號(hào)廠商評(píng)價(jià)等級(jí)綜合評(píng)價(jià)綜合評(píng)分1網(wǎng)易數(shù)帆AAA非常健康8272KyligenceAAA非常健康7913滴普科技AAA非常健康780圖表24、新興型行業(yè)流批一體化廠商綜合科技創(chuàng)新能力評(píng)價(jià)（來(lái)源：中國(guó)大數(shù)據(jù)網(wǎng)，截至2022年4月20日）流批一體，是指離線處理、實(shí)時(shí)處理全流程的一體化，需要覆蓋（湖倉(cāng)一體（即計(jì)算流批一體析應(yīng)用一體（豐富的工具生態(tài)。我們認(rèn)為廣義的流批一體包含以上三個(gè)部分，而狹義的流批一體是其中的計(jì)算部分。統(tǒng)一存儲(chǔ)元數(shù)據(jù)目錄原子化事務(wù)統(tǒng)一存儲(chǔ)元數(shù)據(jù)目錄原子化事務(wù)高性能存儲(chǔ)一體（湖倉(cāng)一體）支持離線/實(shí)時(shí)場(chǎng)景一套代碼一套開發(fā)規(guī)范計(jì)算一體（計(jì)算流批一體）數(shù)據(jù)同步數(shù)據(jù)資產(chǎn)數(shù)據(jù)質(zhì)量數(shù)據(jù)血緣分析應(yīng)用一體（豐富的工具生態(tài)）圖表25、廣義流批一體的三個(gè)板塊據(jù)架構(gòu)，湖倉(cāng)一體正成為兵家必爭(zhēng)之地。國(guó)際上的DataBrick、Snowflake倉(cāng)一體支持，國(guó)內(nèi)的上百家數(shù)據(jù)庫(kù)/數(shù)據(jù)倉(cāng)庫(kù)廠商也都在跟進(jìn)。對(duì)聚20199000ApacheFlinkDataArtisansFlinkApache2020FlinkFlinkFlinkGithubApache目。11（量處理）和實(shí)時(shí)數(shù)據(jù)（流式處理）電商屬性和大業(yè)務(wù)體量倒逼著流批一體技術(shù)必須在阿里核心業(yè)務(wù)落地，方能解決痛點(diǎn)。圖表26、阿里的流批一體架構(gòu)2020Flink40/技術(shù)真正規(guī)模化落地應(yīng)用于超大規(guī)模核心數(shù)據(jù)業(yè)務(wù)，這也意味著Flink鏈路流批一體化。DataLakeInsightDataEngineFlinkFastData圖表27、滴普科技FastData的實(shí)時(shí)湖倉(cāng)引擎FastData/計(jì)算/都有成長(zhǎng)的土壤。KyligenceSQL語(yǔ)句，通過(guò)統(tǒng)一的查詢出口，同時(shí)接入批Kyligence圖表28、Kyligence的流批一體解決方案網(wǎng)易數(shù)帆則認(rèn)為廣義流批一體的三個(gè)方面都是網(wǎng)易大數(shù)據(jù)平臺(tái)算獨(dú)立出來(lái)做。針對(duì)存儲(chǔ)的流批一體，現(xiàn)在已經(jīng)有實(shí)時(shí)數(shù)據(jù)湖引擎FlinkSparkPresto智能運(yùn)維（監(jiān)控信息、應(yīng)用信息等，運(yùn)用人工智能和機(jī)器學(xué)習(xí)來(lái)提升運(yùn)維自動(dòng)化AI智能運(yùn)維領(lǐng)域主要的成熟型廠