PolarDB-X一體化HTAP架構(gòu)助力企業(yè)級查詢分析加速

適合HTAP的典型場景企業(yè)級混合負載簡單查詢又涉及到復(fù)雜查詢企業(yè)級混合負載簡單查詢又涉及到復(fù)雜查詢對在線數(shù)據(jù)的實時分析實時報表、金融交易預(yù)警等業(yè)務(wù)在線歷史數(shù)據(jù)統(tǒng)一處理在線歷史數(shù)據(jù)統(tǒng)一處理在線事務(wù)應(yīng)用在線分析應(yīng)用在線事務(wù)應(yīng)用在線分析應(yīng)用主副本提供TP服務(wù)，從副本提供AP服務(wù)一套系統(tǒng)，成本低，性價比高數(shù)據(jù)無延遲，可滿足讀一致性不足：分析性能不佳、擴展性不靈活在線事務(wù)應(yīng)用在線分析應(yīng)用兩個系統(tǒng)，行存系統(tǒng)做在線事務(wù)，列存系統(tǒng)做在線分析行存系統(tǒng)提供TP服務(wù)，存列系統(tǒng)提供AP服務(wù)分析性能不錯不足：數(shù)據(jù)存在延遲，難以滿足讀一致性在線事務(wù)應(yīng)用在線分析應(yīng)用在線事務(wù)應(yīng)用在線分析應(yīng)用一個系統(tǒng)，行存做在線事務(wù)，列存副本做在線分析一套系統(tǒng)，成本低，性價比高數(shù)據(jù)秒級延遲，可滿足讀一致性不足：系統(tǒng)穩(wěn)定性要求高易用性性能低成本Serverless(未來)強成本的列存服務(wù)一體化、分布式一一張表同時支持行、列索引存儲引擎維護索引一致性業(yè)務(wù)一體化服務(wù)一體化數(shù)據(jù)一體化業(yè)務(wù)一體化服務(wù)一體化應(yīng)用接入成本低，架構(gòu)簡潔應(yīng)用接入成本低，架構(gòu)簡潔實時同步，強一致讀應(yīng)用系統(tǒng)/客戶端應(yīng)用系統(tǒng)/客戶端TPAPDeltafilesdel云盤(ontheway)Warehousecompaction權(quán)限管理元信息DeltafilesMainfilesMainfilesTSOdeldeldel面向行存的算子面向列存的向量化算子TableScan強大優(yōu)化器，確保優(yōu)化成不錯的計劃強大優(yōu)化器，確保優(yōu)化成不錯的計劃同一套算子，不同執(zhí)行模式，滿足各種場景計算與存儲深度融合，避免額外計算負擔(dān)storage存儲格式（類orc）partitionsnapshotwriterfile共享存儲osspartitionpartitionpartitionmemtabledeltawriterCompactionpartitionpartitionfilefilefilefilefilefilefilefile列索引構(gòu)建鏈路?全量和增量并行構(gòu)建?行存和列存分區(qū)節(jié)藕?groupcommit事務(wù)提交，保證數(shù)據(jù)完整性高可用/穩(wěn)定性?高效的主鍵索引，支持落盤?定期快照，保證一定的RTO列存格式?類orc格式，可完整表達MySQL數(shù)據(jù)協(xié)議?支持多種索引構(gòu)建，適配查詢鏈路構(gòu)建流程構(gòu)建流程查詢流程元信息維護ColumnarColumnar全量同步增量同步S3S1S2上傳UDI獲取快照信息本地緩存創(chuàng)建列存索引的語法創(chuàng)建列存索引的語法創(chuàng)建基本原理-用法集群部署列存只讀實例行存只讀實例集群地址Endpoint只讀Endpoint主實例列存只讀地址列存只讀地址Endpoint?只訪問列存，承接AP流量只讀地址Endpoint?只訪問只讀行存，承接TP讀流量集群地址Endpoint?同時訪問行存和列存，承接HTAP流量?支持按照代價自動分流TP和AP性能成本數(shù)據(jù)新鮮度性能成本數(shù)據(jù)延遲常見的場景1高并發(fā)的更新數(shù)據(jù)延遲常見的場景2大表DDL標(biāo)記刪除技術(shù)，實現(xiàn)高效的數(shù)據(jù)更新寫時多版本維護，異步做數(shù)據(jù)演進，實現(xiàn)在線DDL?強大RBO/CBO?強大RBO/CBO優(yōu)化器能力，確保可以優(yōu)化成相對不錯的分?原生支持向量化和MPP技術(shù)，確?？梢猿浞掷枚鄼C資源實Hologres與StarRocks性能數(shù)據(jù)來自產(chǎn)品官網(wǎng)架構(gòu)帶來的變化多副本TPDTS多副本AP多副本架構(gòu)帶來的變化多副本TPDTS多副本AP多副本TP單副本列存只收一款產(chǎn)品的錢定價策略的變化行存只讀實例列存只讀實例成本降至20%存儲介質(zhì)的變化存儲介質(zhì)的變化基于OSS存儲同等數(shù)據(jù)，成本是InnoDB行存的1/20ColumnarIn