新一代交互式分析引擎Hologres平臺介紹

1、新一代交互式分析引擎Hologres介紹目錄一. 背景介紹 二. 基礎架構(gòu) 三. 技術(shù)亮點四. 典型場景介紹 五. 未來規(guī)劃背景介紹背景:典型場景分析（業(yè)務需求，數(shù)據(jù)/計算量與資源 消耗的分布）Lambda架構(gòu)的問題：使用多種引擎和系統(tǒng)去組合，開發(fā) 和維護成本高，學習生成高數(shù)據(jù)在不同的View中存儲多份，空 間浪費，數(shù)據(jù)一致性的問題如何解 決從使用上來說，Batch,Streaming 及Query均使用不同的language， 使用起來并不容易背景：典型開源架構(gòu)技術(shù)源于流計算+數(shù)據(jù)庫技術(shù)，落地于搜索與廣告業(yè)務開源的解決方案無法滿足阿里巴巴復雜的業(yè)務場景實時數(shù)據(jù)中臺建設的需求：一個入口，一份數(shù)

2、據(jù)，一種 查詢語言成本，易用性，實時數(shù)據(jù)中臺架構(gòu)的統(tǒng)一性Alibaba Blink(Flink內(nèi)部版，已開源)創(chuàng)始人量仔老師牽 頭打造新一代交互式分析引擎背景：技術(shù)和業(yè)務背景Hologres架構(gòu)介紹新一代海量數(shù)據(jù)交互式分析引擎一套引擎支持Point Query(hbase場景)，Ad-hoc Query(Druid場景)， OLAP Query(Impala場景)快存儲計算分離支持實時數(shù)據(jù)與批量數(shù)據(jù)導入支持External Storage，與阿里云大數(shù)據(jù)產(chǎn)品無縫對接Hologres介紹Hologres架構(gòu)Pangu/FuxiHolo QEHolo SEJDBC ServerHolo FEUse

3、r AuthSQL ParserDataWorksBI toolsJDBC DriverOptimizerCoordinatorQuery RewriteQE RuntimeOperatorsIndexBuffer/CacheFileFormat/IndexHolo SMCatalog ServiceCluster ManagerMetrics SystemWatch DogTrace SystemHologres存儲計算分離的架構(gòu)內(nèi)置存儲引擎(行存，列存)行存：整行數(shù)據(jù)連續(xù)存放，更新高效，對point query和批量 scan更友好(Hbase場景)列存：相關列的數(shù)據(jù)連續(xù)存放，按列做聚合更

4、高效，壓縮更 高效，適合分析型場景External TableStorage Engine(SE)自研QE(性能卓越)異步執(zhí)行引擎向量化計算支持Filter/Agg計算的pushdownPostgreSQL QE(兼容生態(tài))兼容PostgreSQL生態(tài)與生態(tài)合作開發(fā)Query Engine(QE)PostgreSQL協(xié)議及SQL語法的兼容更加智能的優(yōu)化器，提供Query Federation的能力調(diào)度，流控，反壓Frontend(FE)Hologres技術(shù)亮點Why ？ 大數(shù)據(jù)業(yè)務Hbase中數(shù)據(jù)存一份，Druid里存一份，XXX里存一份浪費！數(shù)據(jù)一致性怎么保證？學習成本高，成天學習新系統(tǒng)的使

5、用功能內(nèi)置支持兩種存儲格式，創(chuàng)建表的時候選其一或者都選，數(shù)據(jù)一致有保證QE提供兩個版本，自研和開源能夠替換現(xiàn)有業(yè)務的Hbase，Druid和impala，且性能更好阿里巴巴業(yè)務已得到驗證團隊十多名Flink commiter，兩名Hbase PMC，多名Hbase/Druid/Kylin等開源系統(tǒng) commiterhologres技術(shù)亮點 -統(tǒng)一引擎架構(gòu)Why ？用戶只關心自己有多少計算資源，根本不關心自已的機器是什么已經(jīng)申請的計算資源可否利用，如ODPS/Blink新的NVME SSD盤可以達到150000IOPS，磁盤IO不再是性能瓶頸，問題轉(zhuǎn)變?yōu)槿绾伟?CPU高效利用起來存儲計算分離是未

6、來大勢所趨，存儲和計算非對齊采購，成本更低，部署運維更方便功能存儲使用Pangu 2.0，由存儲團隊維護，QE和SE可運行在K8S及飛天集群中全異步的存儲和計算引擎，吃盡所有CPU計算能力靈活擴容，缺存儲擴存儲，缺計算擴計算hologres技術(shù)亮點 -存儲計算分離Why ？用戶寫好Query如何去調(diào)優(yōu)？一套引擎中支持多套QE，查詢計劃如何去生成？多種文件格式，不同版本的operator多種實現(xiàn)方案，如何去選擇？如何更高效的去生成上述查詢計劃？功能支持多引擎的查詢優(yōu)化器，能夠很容易與各種QE結(jié)合基于代價的優(yōu)化器模型，支持各種index，predicted pushdownhologres技術(shù)亮點

7、 -更加聰明的OptimizerWhy ？近幾年硬件性能提升的很快，N年前的技術(shù)方案不一定能夠很好的利用現(xiàn)在的硬件性能發(fā) 揮到極致技術(shù)追求，沒有最好，只有更好功能全異步框架(Thread-per-core架構(gòu))，把CPU利用到極致vectorization(細節(jié)很多坑)，集團內(nèi)大規(guī)模使用向量化計算技術(shù)加速計算(1個量級)各種Index的實現(xiàn)精細化的Cachehologres技術(shù)亮點 -新技術(shù)傳統(tǒng)存最新硬Open大儲系統(tǒng)/數(shù)據(jù)庫系統(tǒng)資源瓶頸？ 件發(fā)展性能指標？量線程(大于core數(shù)的2倍)會帶來什么副作用?技術(shù)亮點舉例- 為什么要用全異步架構(gòu)?傳染性，系統(tǒng)整體執(zhí)行流程需要全部異?；幊谈訕O致的

8、利用cpu？cpu調(diào)度,thread-per-core代碼中不能有blocker，tracing，debugging技術(shù)亮點舉例- 全異步架構(gòu)實現(xiàn)有何難點 Flynn分類法: SISD, SIMD,MISD,MIMD技術(shù)亮點舉例- 向量化計算Flynn分類法: SISD, SIMD,MISD,MIMDSIMD：intel MMX-SSE-AVX并非新技術(shù)，但對于大數(shù)據(jù)處理卻非常有用如何更多的實現(xiàn)向量化版本的function？重劍無鋒，大巧不工。細節(jié)技術(shù)亮點舉例- 向量化計算operater實現(xiàn)可能同時存在行存版本，列存版本，向量化版本query如何高效的執(zhí)行，如何去選擇不同的operater實

9、現(xiàn)如何去支持各種 index如何去支持多種QE重劍無鋒，大巧不工技術(shù)亮點舉例- 優(yōu)化器典型業(yè)務場景介紹用戶需求大數(shù)據(jù)復雜準實時分析 T+1 （億級別）對latency敏感 但可以接受資源消耗的成本查詢復雜， 需要支持完善的SQL語義(join/distinct/topk/window) 以及方便的接入?yún)f(xié)議（jdbc）優(yōu)勢完備的SQL支持支持實時和批量導入，性能遠超同類產(chǎn)品便捷性+性能與MaxCompute共享資源(計算/存儲)， 錯峰調(diào)度服務場景-海量數(shù)據(jù)復雜查詢用戶需求海量數(shù)據(jù) PB級別存儲+Billion級記錄高頻寫入，高頻查詢，計算簡單典型客戶， 搜索廣告，集團安全部， 支付寶風控 （平臺型用戶）現(xiàn)有方案 （Hbase)導入任務難以維護 + 浪費存儲 + 導入性能極低 （5-8個小時）無SQL接口海量存儲成本極高優(yōu)勢統(tǒng)一存儲， 無需導入操作提供SQL接口， 方便開發(fā)集成服務場景 海量數(shù)據(jù)點查詢(Hbase)用戶需求需要完備SQL，并支持JDBC以及開源BI工具， 方便開發(fā)報表展現(xiàn)，Latency敏感，數(shù)據(jù)量可以控制到非常小，如百萬級別當前解決方案MaxCompute做好處理， 產(chǎn)