中國(guó)數(shù)據(jù)智能管理峰會(huì)1-5 嗶哩嗶哩OLAP平臺(tái)引擎演進(jìn)實(shí)踐

呈祥呈祥01OLAP平臺(tái)介紹02ClickHouse|務(wù)分散自建2.沒有統(tǒng)一務(wù)分散自建2.沒有統(tǒng)一OLAP平臺(tái)建設(shè)3.缺乏完善的接入工具和4.多種OLAP引擎并存，維兩年前的OLAP場(chǎng)景狀態(tài)||性能強(qiáng)大2.功能豐富性能強(qiáng)大2.功能豐富3.支持各種場(chǎng)景用戶行為分析2.人群圈選3.Up主/稿件分析|案例一：用戶行為分析平臺(tái)UV|案例一：用戶行為分析平臺(tái)K案例一：用戶行為分析平臺(tái)KkLoad|的UserID字典映射，從String映射為bigintByUserIDshard式CountDistinct3.通過數(shù)據(jù)聚合物化，將UV/漏斗/人群分組等操作轉(zhuǎn)化為RoaringBitMap的交并差計(jì)算。House的海量用戶行為案例一：用戶行為分析平臺(tái)||ES部分場(chǎng)景的遷移ES部分場(chǎng)景的遷移|頸，分詞耗CPU且難以進(jìn)大數(shù)據(jù)平臺(tái)代|||ClickHouse使用情況商交易分析.多維分析2.文本檢索3.中低頻點(diǎn)查4.時(shí)序數(shù)據(jù)5.CDC更新6.靈活Schema||OLAP降本增效方向OLAP降本增效方向–湖倉一體1.開放的查詢引擎(Spark/Presto/Trino)2.開放的存儲(chǔ)格式(Iceberg)3.統(tǒng)一的存儲(chǔ)和元數(shù)據(jù)管理(HDFS/HMS)4.高階數(shù)倉引擎的能力(dataclustering/索|據(jù)組織優(yōu)化。?數(shù)據(jù)接入：Spark(離線)，F(xiàn)link(實(shí)時(shí))?基于策略的數(shù)據(jù)組織湖倉一體的架構(gòu)據(jù)組織優(yōu)化。?數(shù)據(jù)接入：Spark(離線)，F(xiàn)link(實(shí)時(shí))?基于策略的數(shù)據(jù)組織|好的查好的查.ACID。3.數(shù)據(jù)近實(shí)2.近實(shí)時(shí)分3.數(shù)倉分析需數(shù)據(jù)2.計(jì)算存儲(chǔ)3.工具鏈完歷史數(shù)據(jù)低2.低成本數(shù)據(jù)3.低頻秒級(jí)數(shù)|??文件間和文件內(nèi)排序?Z-Order數(shù)據(jù)排序?TokenBloomFilter?TokenBitMap?Count?TopN|20W查詢/天20W查詢/天臺(tái)：數(shù)據(jù)服務(wù)之路B湖倉一體的應(yīng)用場(chǎng)景–指標(biāo)服務(wù)報(bào)表數(shù)據(jù)產(chǎn)品在線服務(wù)運(yùn)營(yíng)?ClickHouse滿足部分?KV靈活性最差，滿PP901.2s|資源成本比ClickHouse降低50%以上。湖倉一體的應(yīng)用場(chǎng)景資源成本比ClickHouse降低50%以上。湖倉一體的應(yīng)用場(chǎng)景–日志平臺(tái)|嗶哩嗶哩OLAP平臺(tái)的引擎選擇嗶哩嗶哩OLAP平臺(tái)的引擎選擇|嗶嗶哩