2025愛(ài)奇藝大數(shù)據(jù)平臺(tái)建設(shè)

看過(guò) 知未Makedata-driven

Builddata-powered

數(shù)據(jù)規(guī)模增大，IDC

OLAP

DataforAIAIfor20+服 1.5+萬(wàn)

600+

挑 方

iQiyiBigdataComputing

YARN+

iQiyiBigdataFile

QBFS

統(tǒng)一元數(shù)據(jù)、跨AZ

實(shí) 公有同 對(duì)象存

跨AZ統(tǒng)一調(diào)度->多云調(diào)度（建設(shè)中

3備份 公有云對(duì)象存

3備份HDFSEC (1.5備份 公有云對(duì)象存

提速25倍

3備份（ 公有云對(duì)象存人工配置TTL

四級(jí)模型（精細(xì)化治理綜合成本降38%

OLAPonK8S：支持重要

OLAP

數(shù)據(jù)使優(yōu)缺 適用場(chǎng)

PB

PB

Adhoc

OLAP

存儲(chǔ)冗余，成本高（獨(dú)立集群

流批一體，成本低（on支持更高的查詢運(yùn)維簡(jiǎn)單：僅查詢引擎延遲低：FlinkSQL

時(shí)效性提升7.6倍：端到端延遲43到5數(shù)據(jù)使用加速：OLAP2013~

2016~

2021

OLAP

HiveSQLSparkSQLTrino、ClickHouse（Druid73）Trino+Alluxio緩存加速：提速25倍 原始

2022 2022 切換

ARPU

27分 7分 40 1 4小 15分 4分 40 找數(shù) 處理數(shù) 用數(shù) 管數(shù)

(Kafka)

支持Hive、MySQL、ClickHouse、Kafka

實(shí)時(shí)：FlinkHDFS+KafkaHive+KafkaHive+KuduHive+HBaseMapReduce+SparkStreamingMapReduce+FlinkSparkbatch+屏蔽底層服 統(tǒng)一數(shù)據(jù)模型開(kāi)發(fā)和查 統(tǒng)一數(shù)據(jù)標(biāo) 統(tǒng)一可視 自

平臺(tái) 服務(wù) 自助 人人都是分析制定資產(chǎn)定級(jí)方案，針對(duì)不同級(jí)別的數(shù)據(jù)設(shè)定相應(yīng)的TTL

DataforAIAIforBigdata+DataforAI：AIBigdatatoAIAIfordata：AIDataforAI

離線Babel,實(shí)時(shí)

編寫(xiě)HiveQLExcel/Wiki

問(wèn) 任務(wù)多平臺(tái)維

主要痛點(diǎn) 流程割裂，特征、模型、效果互相未打BigdatatoAIOpalOpalOpal

Opal

支持特征一鍵注冊(cè)、K-V

打造特征生產(chǎn)引擎，速度提升10倍60%、CPU消耗降低CPU/GPU、血緣關(guān)系：追溯模型線上A/BAIfordata：AIPilotSQL上線AI診斷，輔助排查常見(jiàn)SQLAIfordata：AIVenus提供【AI

DataforAIAIfor數(shù)字化→

信息分 安全風(fēng)

(DataasaService

(PlatformasaService

Gear工作流引擎Data(