2024年開源大數(shù)據(jù)行業(yè)熱點(diǎn)洞察報告-艾瑞咨詢-202410

CONTENTS01大數(shù)據(jù)開源工具發(fā)展背景02大數(shù)據(jù)開源工具熱力趨勢03大數(shù)據(jù)工具熱力值說明201大數(shù)據(jù)開源工具發(fā)展背景3大數(shù)據(jù)技術(shù)應(yīng)用廣度與深度持續(xù)加大，成為決定企業(yè)競爭力的重要因素十多年來，隨著大數(shù)據(jù)技術(shù)的演進(jìn)與成熟，其在經(jīng)濟(jì)領(lǐng)域中的應(yīng)用也在拓展并持續(xù)深化。目前，在包括醫(yī)療保健、零售、金融服務(wù)、制造業(yè)、電信、能源與公共服務(wù)的各主要行業(yè)中，大數(shù)據(jù)技術(shù)在精細(xì)管理、趨勢預(yù)測、風(fēng)險識別、決策支持等場景中發(fā)揮著越來越重要的作用。數(shù)字時代背景下，數(shù)據(jù)已成為企業(yè)核心資產(chǎn)，而大數(shù)據(jù)技術(shù)則是對這項(xiàng)資產(chǎn)開發(fā)，利用，賦能企業(yè)的重要手段，越來越多的企業(yè)認(rèn)識到用對、用好大數(shù)據(jù)技術(shù)將決定自身的行業(yè)競爭力?？蛻魝€性化檢視：根據(jù)購買歷史定制客戶個性化檢視：根據(jù)購買歷史定制營銷活動庫存管理：通過準(zhǔn)確預(yù)測需求優(yōu)化庫存水平價格優(yōu)化：利用競爭者分析和市場分析動態(tài)定價產(chǎn)品欺詐檢測：監(jiān)控交易以識別和防止欺詐風(fēng)險管理：通過全面數(shù)據(jù)分析增強(qiáng)信用評分客戶細(xì)分：針對性分析客戶，開發(fā)有針對性的產(chǎn)品客戶流失預(yù)測：識別不滿意的客戶以降低流失率網(wǎng)絡(luò)優(yōu)化：分析流量以更好地分配網(wǎng)絡(luò)資源欺詐預(yù)防：檢測賬單和使用數(shù)據(jù)中的異常情況智能電網(wǎng)管理：通過需求預(yù)測改善負(fù)載平衡預(yù)測性資產(chǎn)維護(hù)：安排維護(hù)以防止停電可再生能源預(yù)測：優(yōu)化可再生能源的接入電網(wǎng)預(yù)測分析用于病人護(hù)理：預(yù)測病人入院情況，優(yōu)化資源分配臨床決策支持：通過數(shù)據(jù)聚合增強(qiáng)治療建議人群健康管理：分析數(shù)據(jù)以跟蹤疾病爆發(fā)并針對性干預(yù)預(yù)測性維護(hù)：預(yù)測設(shè)備故障以減少停機(jī)時間供應(yīng)鏈優(yōu)化：利用數(shù)據(jù)洞察改善物流和需求預(yù)測質(zhì)量控制：實(shí)時監(jiān)控生產(chǎn)以確保產(chǎn)品質(zhì)量?2024.10iResearchInc.大數(shù)據(jù)數(shù)據(jù)存儲數(shù)據(jù)處理大數(shù)據(jù)數(shù)據(jù)存儲數(shù)據(jù)處理數(shù)據(jù)分析數(shù)據(jù)管理數(shù)據(jù)連接中間件服務(wù)器中間件通訊中間件Web中間件安全中間件數(shù)據(jù)庫關(guān)系型數(shù)據(jù)庫鍵值數(shù)據(jù)庫向量數(shù)據(jù)庫時序數(shù)據(jù)庫圖數(shù)據(jù)庫微服務(wù)中間件容器技術(shù)及編排網(wǎng)絡(luò)服務(wù)AI引擎開源趨勢下，大數(shù)據(jù)傳統(tǒng)工具已經(jīng)成熟，個性化新型工具不斷加入狹義上的開源大數(shù)據(jù)工具是指在開源大生態(tài)下，專注于解決海量、多類型數(shù)據(jù)的連接、存儲、管理等功能的工具集合。但從搭建大數(shù)據(jù)平臺角度出發(fā)，通常還需要加入AI類組件以幫助數(shù)據(jù)分析，云原生工具以實(shí)現(xiàn)容器編排，另外關(guān)系型及各類非關(guān)系型數(shù)據(jù)庫被視為大數(shù)據(jù)的基礎(chǔ)，由此得到廣義上的大數(shù)據(jù)工具套件。本報云原生數(shù)據(jù)集智能算法庫訓(xùn)練平臺人工智能開源生態(tài)下狹義與廣義大數(shù)據(jù)工具云原生數(shù)據(jù)集智能算法庫訓(xùn)練平臺人工智能前端前端框架組件庫功能插件制作平臺制作平臺解決方案操作操作系統(tǒng)桌面操作系統(tǒng)服務(wù)器操作系統(tǒng)云操作系統(tǒng)操作系統(tǒng)大數(shù)據(jù)技術(shù)領(lǐng)域開源生態(tài)成熟度雷達(dá)圖技術(shù)生產(chǎn)力技術(shù)穩(wěn)定性技術(shù)流行度86420安全能力創(chuàng)新轉(zhuǎn)化能力法律合規(guī)大數(shù)據(jù)領(lǐng)域具備較好的技術(shù)穩(wěn)健性，以Hadoop、Spark、Flink等為代表的傳統(tǒng)大數(shù)據(jù)產(chǎn)品已趨于成熟新型開源大數(shù)據(jù)工具不斷向個性化、定制化發(fā)展，如大數(shù)據(jù)框架中加入AI類庫，以及如Uber、Netflix、Spotify等企業(yè)根據(jù)自身特定業(yè)務(wù)貢獻(xiàn)新的適用于具體應(yīng)用場景的大數(shù)據(jù)工具來源：中國信通院云計(jì)算開源產(chǎn)業(yè)聯(lián)盟，中國通信標(biāo)準(zhǔn)化協(xié)會《全球開源生態(tài)洞察報告?2024.10iResearchInc.?2024.10iResearchInc.按功能類型分為5層11模塊，合理的工具選型是搭建大數(shù)據(jù)平臺的前提大數(shù)據(jù)工具組件是大數(shù)據(jù)技術(shù)輸出的載體，數(shù)字化與智能化時代下，一套完整的大數(shù)據(jù)工具可以分為基礎(chǔ)層、數(shù)據(jù)連接層、編排與數(shù)據(jù)編排、在線分析、機(jī)器學(xué)習(xí)運(yùn)維、記錄及監(jiān)監(jiān)控?cái)?shù)據(jù)基礎(chǔ)設(shè)施健康情況，追蹤指標(biāo)表現(xiàn)將數(shù)據(jù)洞察可視化展現(xiàn)開源大數(shù)據(jù)工具層級圖監(jiān)控?cái)?shù)據(jù)基礎(chǔ)設(shè)施健康情況，追蹤指標(biāo)表現(xiàn)將數(shù)據(jù)洞察可視化展現(xiàn)記錄及監(jiān)控?cái)?shù)據(jù)可視化 記錄及監(jiān)控?cái)?shù)據(jù)可視化可視化展現(xiàn)系統(tǒng)健康情況，幫助理解數(shù)據(jù)洞察結(jié)論機(jī)器學(xué)習(xí)運(yùn)維 4人工智能層機(jī)器學(xué)習(xí)運(yùn)維數(shù)據(jù)流自動化編排、監(jiān)控并處理，實(shí)現(xiàn)數(shù)據(jù)有效利用大數(shù)據(jù)集的快速聚合、查詢與實(shí)時分析為以機(jī)器學(xué)習(xí)為代表的各類AI的運(yùn)行提供基礎(chǔ)服務(wù)數(shù)據(jù)流自動化編排、監(jiān)控并處理，實(shí)現(xiàn)數(shù)據(jù)有效利用大數(shù)據(jù)集的快速聚合、查詢與實(shí)時分析數(shù)據(jù)編排在線分析 數(shù)據(jù)編排在線分析數(shù)據(jù)組織，版本控制，數(shù)據(jù)治理數(shù)據(jù)集間的查詢、整合、控制實(shí)時調(diào)控?cái)?shù)據(jù)管道及事件流實(shí)現(xiàn)大數(shù)據(jù)的自動化、實(shí)時處理及分析數(shù)據(jù)組織，版本控制，數(shù)據(jù)治理數(shù)據(jù)集間的查詢、整合、控制實(shí)時調(diào)控?cái)?shù)據(jù)管道及事件流數(shù)據(jù)管理數(shù)據(jù)查詢與連接流處理與消息處理 數(shù)據(jù)管理數(shù)據(jù)查詢與連接流處理與消息處理指導(dǎo)數(shù)據(jù)如何存儲及序列化為分布式數(shù)據(jù)處理提供核心能力結(jié)構(gòu)及非結(jié)構(gòu)化數(shù)據(jù)主存儲系統(tǒng)管理數(shù)據(jù)的連接、流動、查詢等數(shù)據(jù)治理任務(wù)指導(dǎo)數(shù)據(jù)如何存儲及序列化為分布式數(shù)據(jù)處理提供核心能力結(jié)構(gòu)及非結(jié)構(gòu)化數(shù)據(jù)主存儲系統(tǒng)數(shù)據(jù)存儲數(shù)據(jù)框架數(shù)據(jù)庫 數(shù)據(jù)存儲數(shù)據(jù)框架數(shù)據(jù)庫數(shù)據(jù)存儲、數(shù)據(jù)處理，確?；A(chǔ)設(shè)施的可擴(kuò)展性?2024.10iResearchInc.02大數(shù)據(jù)開源工具熱力趨勢7）：沿二進(jìn)制存儲、列存儲、云上數(shù)據(jù)湖的路徑演化，多樣化容納數(shù)據(jù)類型開源大數(shù)據(jù)數(shù)據(jù)存儲工具熱力圖2024上半年熱力值爭parquet{json}Messagepach爭parquet{json}Messagepach2009201020112012201320142015201620172018201920202021202220232024n二進(jìn)制和結(jié)構(gòu)化格式n針對數(shù)據(jù)序列化進(jìn)行優(yōu)化nAvro,Thrift,ProtocolBuffers①列存儲格式適應(yīng)重任務(wù)下的數(shù)據(jù)分析查詢②Parquet,ORC云原生數(shù)據(jù)格式云上數(shù)據(jù)湖DeltaLake,Iceberg,Hudi③?2024.10iResearchInc.）：大數(shù)據(jù)框架隨數(shù)據(jù)量的擴(kuò)大以及處理速度需求提升而迭代；進(jìn)入大模型2024上半年2024上半年熱力值202320232024n分布式計(jì)算及存儲n批處理nHadoop：HDFS+Mapreduce①n實(shí)時計(jì)算、內(nèi)存計(jì)算n流處理、批流一體nSpark,Flink,Storm②nAI函數(shù)庫n支持模型訓(xùn)練、微調(diào)nRay,MLlib(Spark)③?2024.10iResearchInc.）：數(shù)據(jù)庫種類逐漸豐富，支持云原生、大模型開發(fā)訓(xùn)練及實(shí)時分析開源大數(shù)據(jù)數(shù)據(jù)庫熱力圖（1-15）2024上半年熱力值ysupabasecchromaredisNeon,ariaysupabasecchromaredisNeon,aria2009201020112012201320142015201620172018201920202021202220232024n非關(guān)系型數(shù)據(jù)庫n管理處理半結(jié)構(gòu)、非結(jié)構(gòu)型數(shù)據(jù)nCassandra,MongoDB,HBase①n云原生數(shù)據(jù)庫n為基于云的高性能數(shù)據(jù)分析優(yōu)化②nCockroachDB,TiDBnAI相關(guān)——向量數(shù)據(jù)庫n高效管理、查詢嵌入向量nMilvus,Weaviate③?2024.10iResearchInc.）：數(shù)據(jù)庫種類逐漸豐富，支持云原生、大模型開發(fā)訓(xùn)練及實(shí)時分析開源大數(shù)據(jù)數(shù)據(jù)庫熱力圖（16-31）2024上半年熱力值乙spicedbIgite?postgresQL乙spicedbIgite?postgresQL2009201020112012201320142015201620172018201920202021202220232024?2024.10iResearchInc.）：2024上半年開源大數(shù)據(jù)數(shù)據(jù)管理工具熱力圖熱力值MAopen》AAmundsen三SINGERMAopen》AAmundsen三SINGER2012201320142015201620172018201920202021202220232024數(shù)據(jù)目錄及數(shù)據(jù)治理快速精準(zhǔn)查找、正確使用數(shù)據(jù)資產(chǎn)①CKAN,Metacat元數(shù)據(jù)治理，數(shù)據(jù)血緣洞察數(shù)據(jù)關(guān)系，數(shù)據(jù)價值挖掘②Amundsen,DataHub,Atlas數(shù)據(jù)質(zhì)量/一致性保證、版本控制③自動化驗(yàn)證，可回溯③Great_Expectations,LakeFS?2024.10iResearchInc.從批量到實(shí)時，從單一數(shù)據(jù)源到跨系統(tǒng)多元數(shù)據(jù)，從關(guān)系型數(shù)據(jù)到非關(guān)系型數(shù)據(jù)，工具的進(jìn)化讓數(shù)據(jù)查詢更迅速、更靈活、更絲滑開源大數(shù)據(jù)查詢與連接工具熱力圖2024上半年熱力值2009201020112012201320142015201620172018201920202021202220232024n基于Hadoop框架的大數(shù)據(jù)查詢n使用SQL語句進(jìn)行低延時批量查詢①n對于分布式數(shù)據(jù)的快速查詢做優(yōu)化n實(shí)時查詢，實(shí)時分析②nDruid,Impalan多數(shù)據(jù)源多數(shù)據(jù)類型統(tǒng)一聯(lián)合查詢n使用一套查詢語句及統(tǒng)一界面③nBeam,Trino,Drill?2024.10iResearchInc.）：開源大數(shù)據(jù)流處理及消息管理工具熱力圖2024上半年?ESTUARYFlow熱力值?ESTUARYFlow2009201020112012201320142015201620172018201920202021202220232024n消息隊(duì)列、訂閱/發(fā)布、日志聚合n簡單消息系統(tǒng)中處理少量實(shí)時數(shù)據(jù)①nRabbitMQ,ActiveMQn分布式架構(gòu)n實(shí)時數(shù)據(jù)+高吞吐量+低容錯率②nKafka,NiFi,Debeziumn云原生、事件驅(qū)動架構(gòu)n混合負(fù)載+多租戶+地域復(fù)制nPulsar,Memphis③?2024.10iResearchInc.）：大數(shù)據(jù)編排工具的演變反映了數(shù)據(jù)工作流不斷變化的需求和復(fù)雜性開源大數(shù)據(jù)編排工具熱力圖2024上半年熱力值r A6.956.926.886.565.745.665.605.28r A2012201320142015201620172018201920202021202220232024n批處理過程、簡單任務(wù)依賴n集中式調(diào)度器管理任務(wù)的執(zhí)行①基于有向無環(huán)圖構(gòu)建任務(wù)關(guān)系模塊化架構(gòu)并與云服務(wù)集成②Airflow,argo將數(shù)據(jù)管道視為軟件資產(chǎn)數(shù)據(jù)血緣追蹤，推動團(tuán)隊(duì)協(xié)作③Dagster,DolphinScheduler?2024.10iResearchInc.）：2024上半年2024上半年熱力值201320142015201620172018201920202021202220232024n查詢處理結(jié)構(gòu)化、預(yù)聚合數(shù)據(jù)n準(zhǔn)實(shí)時抓取查詢數(shù)據(jù)，分布式結(jié)構(gòu)①nDruid,Pinot,Kylin簡化查詢處理過程，實(shí)時動態(tài)分析②列存儲，矢量化執(zhí)行②ClickHouse,Trino,Doris云原生架構(gòu)，內(nèi)存計(jì)算實(shí)時高并發(fā)數(shù)據(jù)分析③StarRocks,Databend,DuckDB?2024.10iResearchInc.）：2024上半年熱力值2024上半年熱力值Lang分mindsdbGorilla八PRIVATEGPTLang分mindsdbGorilla八PRIVATEGPT2018201920202021202220232024n基礎(chǔ)模型開發(fā)跟蹤、可視化及部署n未與云融合，編排與自動化能力有限①nMlaflow,DVC,Pachydermn端到端的ML流程編排與自動化n支持本地與云環(huán)境nKubeflow,Polyaxon②n實(shí)時模型服務(wù)，AI優(yōu)先功能：可解釋性、公平性、漂移檢測③nBentoML,ZenML,Ollama?2024.10iResearchInc.?2024.10iResearchInc.）：開源大數(shù)據(jù)機(jī)器學(xué)習(xí)運(yùn)維工具熱力圖（12-23）2024上半年熱力值20142015201620172018201920202021202220232024）：開源大數(shù)據(jù)記錄與監(jiān)測工具熱力圖2024上半年熱力值sentrysyslog-ngsentrysyslog-ng201020112012201320142015201620172018201920202021202220232024n集中式日志管理與分析n提供日志搜索能力及可視化界面①nElasticsearch,Logstash,Graylogn構(gòu)建更強(qiáng)大的指標(biāo)評估系統(tǒng)n實(shí)時、主動監(jiān)測與預(yù)警nPrometheus,Grafana②n擴(kuò)展性更強(qiáng)，效率更優(yōu)n與其他大數(shù)據(jù)處理組件無縫結(jié)合③nSigNoz,OpenTelemetry?2024.10iResearchInc.）：開源大數(shù)據(jù)可視化工具熱力圖2024上半年熱力值iiiplotlyRAWGraphsPYGwalkeriiiplotlyRAWGraphsPYGwalker20082009201020112012201320142015201620172018201920202021202220232024n靜態(tài)可視化，基礎(chǔ)繪圖n與桌面環(huán)境或某些編程語言整合nggplot2,Matplotlib,Seaborn①n互動性可視化、儀表盤n與數(shù)據(jù)實(shí)時互動，基于網(wǎng)絡(luò)部署②nMetabase,Bokeh,Plotlyn支持多用戶協(xié)作，加入AI能力n與大數(shù)據(jù)架構(gòu)、數(shù)倉深度融合③nSuperset,Kibana,Redash?2024.10iResearchInc.）：從基礎(chǔ)安全和監(jiān)控能力發(fā)展到高級威脅檢測，最終實(shí)現(xiàn)全面的訪問管理和數(shù)據(jù)治理開源大數(shù)據(jù)安全組件工具熱力圖2024上半年2024上半年熱力值sentryr20112012201320142015201620172018201920202021202220232024n日志分析與事件關(guān)聯(lián)n基本的入侵檢測能力（日志監(jiān)控）nOSSEC,Sentry①n實(shí)時威脅檢測和響應(yīng)n網(wǎng)絡(luò)流量的深度包檢測nFalco,Suricata②細(xì)粒度的訪問控制策略集中的安全策略管理Cilium,Ranger,Knox③?2024.10iResearchInc.互聯(lián)網(wǎng)企業(yè)對高通量、實(shí)時數(shù)據(jù)流的處理需求批流數(shù)據(jù)需整合統(tǒng)一而非后者替代前者解決數(shù)據(jù)湖數(shù)據(jù)質(zhì)量、一致性、實(shí)時性等問題大模型時代管理機(jī)器學(xué)習(xí)生命周期（實(shí)驗(yàn)、再現(xiàn)及部署）解決分布式數(shù)據(jù)庫的擴(kuò)展性及高時延在多樣數(shù)據(jù)集間進(jìn)行查詢而不移動數(shù)據(jù)云原生架構(gòu)下更高效、自動化的管理容器數(shù)據(jù)量上升后，需要工具對其發(fā)掘、歸納并翻譯解決數(shù)據(jù)查詢緩慢、不及時的問題互聯(lián)網(wǎng)企業(yè)對高通量、實(shí)時數(shù)據(jù)流的處理需求批流數(shù)據(jù)需整合統(tǒng)一而非后者替代前者解決數(shù)據(jù)湖數(shù)據(jù)質(zhì)量、一致性、實(shí)時性等問題大模型時代管理機(jī)器學(xué)習(xí)生命周期（實(shí)驗(yàn)、再現(xiàn)及部署）解決分布式數(shù)據(jù)庫的擴(kuò)展性及高時延在多樣數(shù)據(jù)集間進(jìn)行查詢而不移動數(shù)據(jù)云原生架構(gòu)下更高效、自動化的管理容器數(shù)據(jù)量上升后，需要工具對其發(fā)掘、歸納并翻譯解決數(shù)據(jù)查詢緩慢、不及時的問題集中性安全管理、細(xì)粒度訪問控制實(shí)時數(shù)據(jù)處理批流一體數(shù)據(jù)湖及滄湖一體機(jī)器學(xué)習(xí)組件整合數(shù)據(jù)存儲及擴(kuò)展性聯(lián)邦查詢與云原生整合數(shù)據(jù)編目及治理數(shù)據(jù)查詢與分析數(shù)據(jù)安全?2024.10iResearchInc.基礎(chǔ)設(shè)施覆蓋度、云計(jì)算成本及效用以及開源配套服務(wù)是影響客戶在利用開源工具自建大數(shù)據(jù)平臺時選型底層云平臺的主要基礎(chǔ)設(shè)施覆蓋度：云廠商更廣闊的基礎(chǔ)設(shè)施覆蓋度意味著客戶在進(jìn)行大數(shù)據(jù)處理時的延遲時間更少，并可以選擇本地化的部署方式，這對于需要低延時以及數(shù)據(jù)駐留合規(guī)性要求更為嚴(yán)格的國際化用戶尤為重要。云計(jì)算成本與效用：大數(shù)據(jù)的處理需要耗費(fèi)海量計(jì)算資源，因此計(jì)算效率與成本效益是客戶的重要考量因素。定制化核心基礎(chǔ)硬件開源配套服務(wù)：云平臺對于開源大數(shù)據(jù)工具更廣泛的配套服務(wù)以及更深度的融合決定了客戶利用開源工具構(gòu)建大數(shù)據(jù)平臺的難易度綜合比較AWS，Azure與GCP三大全球性云廠商，AWS在基礎(chǔ)設(shè)施覆蓋的廣度、云計(jì)算優(yōu)化的深度、以及生態(tài)中開源配套服務(wù)的豐富度上均有一定優(yōu)勢，與當(dāng)下處理復(fù)雜數(shù)據(jù)類型、重分析呈現(xiàn)的大數(shù)據(jù)熱點(diǎn)開發(fā)組件契合度較高，是大數(shù)據(jù)云基礎(chǔ)平臺的優(yōu)質(zhì)選擇。Azure基礎(chǔ)設(shè)施覆蓋度云計(jì)算成本與效用開源配套服務(wù)Azure計(jì)劃在墨西哥、新西蘭、沙特阿拉伯王國、泰國、中國臺灣和AWS歐盟主權(quán)云為云原生工作任務(wù)高度定制，使AWS更的能耗提升，Graviton2可達(dá)到最高對開源大數(shù)據(jù)工具提供廣泛支持，為主AWS生態(tài)中的如EMR，MSK等服務(wù)與AWS兼容各類開源數(shù)據(jù)倉庫與數(shù)據(jù)湖，通過Glue與Athena可以輕松查詢或轉(zhuǎn)服務(wù)范圍涵蓋包括64個區(qū)域在內(nèi)的共通過HDInsight與Databricks將開源大數(shù)據(jù)工具與Azure整合，為用戶處理結(jié)AzureSynapse也將基于Spark的分析在38個區(qū)域中的115個節(jié)點(diǎn)運(yùn)營（包括正在另外13個區(qū)域加緊布局，但總體上提供第三方廠商Ampere設(shè)計(jì)的Altra第三方芯片尚未能與自身云平臺進(jìn)行深BigQuery是完全托管的數(shù)據(jù)倉庫，支持多種開源數(shù)據(jù)格式，同時支持與開源?2024.10iResearchInc.03大數(shù)據(jù)工具熱力值說明）：本報告中所指熱力趨勢是從開發(fā)者視角所做的研究判斷，通過對開發(fā)者圍繞開源社區(qū)相關(guān)行為的定量分析，綜合得到熱力值，是開發(fā)者對該開源大數(shù)據(jù)工具的關(guān)注、參與、討論、貢獻(xiàn)的綜合體現(xiàn)。因此開源大數(shù)據(jù)工具的熱力值越高，代表該工具能夠更快速的迭代，受到更精細(xì)的優(yōu)化打磨。從應(yīng)用視角看，該開源工具更易被使用，并在應(yīng)用場景中被廣泛推開，即熱力值由開發(fā)者端傳導(dǎo)至應(yīng)用端。事實(shí)上，許多開源大數(shù)據(jù)工具的應(yīng)用者同時也是開發(fā)者，他們針對實(shí)踐中的問題持續(xù)優(yōu)化大數(shù)據(jù)工具，將解決方案回饋至開發(fā)社區(qū)。【數(shù)據(jù)來源】GHArchive:/；GithubStarsExplorer:https://emanuelef.github.io/daily-stars-explorer【數(shù)據(jù)采集時間】起始時間為最早有記錄時間，終止時間為2024年6月30日【數(shù)據(jù)采集對象】開源大數(shù)據(jù)工具所對應(yīng)的Github代碼倉（Repository而非對應(yīng)的Github項(xiàng)目（Project）【選取范圍及指標(biāo)意義】指標(biāo)選取范圍為GHArchive可提供的17類Github事件，事件定義遵循GHArchive中對應(yīng)的屬性說明?！局笜?biāo)選定邏輯】基于開發(fā)者在開源社區(qū)（Github）中的基礎(chǔ)行為，選取Star、Fork、Issue、Commit、PullRequest五項(xiàng)核心指標(biāo)，其他Github事件或?yàn)榇宋孱愂录膹膶偈录?，或其本身一般性屬性較低。以下表格為GHArchive中所列舉的17類事件，標(biāo)色事件為本報告選取的五項(xiàng)基礎(chǔ)指標(biāo)。事件具體定義請參考Github文檔：/zh/rest/using-the-rest-api/github-event-types。CommitCommentEventCreateEventDeleteEventForkEventGollumEventIssueCommentEventIssuesEventMemberEventPublicEventPullRequestEventPullRequestReviewEventPullRequestReviewCommentEventPullRequestReviewThreadEventPushEventReleaseEventSponsorshipEventWatchEvent注：GHArchive中的事件命名可能與一般認(rèn)知不同。如，WatchEvent對應(yīng)Star，PushEvent對應(yīng)Commit。?2024.10iResearchInc.