2024分布式數(shù)據(jù)庫(kù) OceanBase架構(gòu)演進(jìn)與業(yè)務(wù)場(chǎng)景實(shí)踐

OceanBaseOceanBase進(jìn)一步開(kāi)源開(kāi)放的OceanBase生態(tài)

分

Paxos Paxos

多副本：一般部署為三/五個(gè)Zone，每個(gè)Zone由多個(gè)對(duì)等節(jié)點(diǎn)：每個(gè)節(jié)點(diǎn)均有自己的SQL引擎和存儲(chǔ)引擎，自主管理各自承載的數(shù)據(jù)分區(qū)，TCP/IP互通，協(xié)同服

何設(shè)備級(jí)共享存儲(chǔ)技術(shù)，不需要SAN網(wǎng)絡(luò)

高可用+強(qiáng)一致：多副本+Paxos分布式協(xié)議的高效

PaxosPaxosOceanBase

主 備

寫(xiě)操作SQL

垂直擴(kuò)展

像使用MySQL一樣使用OceanBase（租戶(hù)主備RTO秒級(jí)、RPO3.Xpaxos“從大到小”，不僅僅是架構(gòu)變小，更要解決在小規(guī)格配置時(shí)流暢的使用

3.xCPU資源，小規(guī)格資源41004.X降低選舉Paxosgroup降低分布式事務(wù)核心：MySQL4.X3.X4.X2、頻繁創(chuàng)建、刪除和truncate表和分區(qū)等1、系統(tǒng)開(kāi)銷(xiāo)（狀態(tài)機(jī)）：網(wǎng)絡(luò)、CPU2

優(yōu)化

優(yōu)化

小規(guī)格下性能表現(xiàn)優(yōu)于結(jié)論：Insert、updateMySQL2MySQL結(jié)論：OB4.0存儲(chǔ)成本只有MySQL/CockroachDB1/4左右；另外一個(gè)是rocksDB，OB自研一體化架構(gòu)兼容經(jīng)典模式，實(shí)現(xiàn)單機(jī)和分布式、TP和AP的融 MySQL兼容MySQL兼容OracleHTAPHTAP（TPAPSQL

★HTAP

★MySQLLSM-Tree的高壓縮引擎平衡

SaaS行業(yè)應(yīng)用OceanBase在企業(yè)場(chǎng)景落地實(shí)踐|生命周期自動(dòng)管理|超大容量通過(guò)OceanBase智能化的歷史庫(kù)遷移平臺(tái)，幫助用戶(hù)快速、安全的完成冷數(shù)據(jù)歸檔，一次配置即可自動(dòng)管…

|過(guò)OceanBase的分布式多租戶(hù)架構(gòu)，實(shí)現(xiàn)基于面向服（SOA）

OceanBase通過(guò)強(qiáng)大的異地部署能力和靈活的副本變換以及負(fù)載均衡能力，幫助企業(yè)

|極速擴(kuò)展|彈性擴(kuò)所容基于OceanBase的在線(xiàn)擴(kuò)縮容能力和高并發(fā)低延遲特性，快速應(yīng)對(duì)業(yè)務(wù)負(fù)載變化，支撐業(yè)務(wù)高速發(fā)展||集數(shù)據(jù)加工處理以及數(shù)據(jù)即時(shí)查詢(xún)于一體的OceanBase分布式HTAP據(jù)庫(kù)解決方案，為業(yè)務(wù)提供實(shí)時(shí)數(shù)倉(cāng)支撐

||平滑替代HBase業(yè)務(wù),大幅提升性能,節(jié)省大量HBase相關(guān)組件,統(tǒng)一技術(shù)棧,降低運(yùn)維成本.典型場(chǎng)景一:歷史庫(kù)（高級(jí)壓縮技術(shù)數(shù)據(jù)壓縮是降低海量數(shù)據(jù)存儲(chǔ)空間占用的關(guān)鍵手段。OceanBase高壓縮比的分布式存儲(chǔ)引擎，摒棄了傳統(tǒng)數(shù)據(jù)庫(kù)的定長(zhǎng)數(shù)據(jù)塊存儲(chǔ)，采用基于LSM-Tree和自適應(yīng)壓縮技術(shù)，創(chuàng)造性的解決了傳統(tǒng)數(shù)據(jù)庫(kù)無(wú)法平衡“性能”和“壓縮比”的難題，并基于數(shù)據(jù)日志分離方法的分布式存儲(chǔ)技術(shù)，進(jìn)一步降低存儲(chǔ)成本，實(shí)現(xiàn)了高性能和低存儲(chǔ)成本。基于LSM-Tree的存儲(chǔ)引擎，利用編碼壓縮大大降低存儲(chǔ)成本?；跀?shù)據(jù)變長(zhǎng)-LSM-TreeB+Tree的磁盤(pán)隨機(jī)寫(xiě)瓶頸和

OceanBase僅為MySQL支撐OLTP

傳統(tǒng)的Paxos協(xié)議中，系統(tǒng)需要三個(gè)副本（五副本），OceanBase數(shù)據(jù)庫(kù)將用戶(hù)數(shù)Paxos（五副本）（三副本/四副本）的前提下，數(shù)據(jù)日志分離可節(jié)省20%-40%的用戶(hù)數(shù)據(jù)存儲(chǔ)成本。

OLTPOLTP

CLogPaxos擴(kuò)展性不足：隨著訂單業(yè)務(wù)量的增加，業(yè)務(wù)數(shù)據(jù)迅猛增長(zhǎng)，傳統(tǒng)數(shù)據(jù)量大：業(yè)務(wù)數(shù)據(jù)量在OceanBase單集群達(dá)到百T級(jí)別，10T有復(fù)雜的AP請(qǐng)求TQPS穩(wěn)定性要求高：業(yè)務(wù)要求返回延遲為ms級(jí)，如無(wú)法在規(guī)定時(shí)間OceanBase同城三機(jī)房部署架構(gòu)，實(shí)現(xiàn)RPO=0，RTO<30秒的容災(zāi)能力；同時(shí)又可以在異地增加一個(gè)只讀Zone

300MySQL低成本：支撐上百TB數(shù)據(jù)存儲(chǔ)場(chǎng)景且性能和穩(wěn)定性有保證，同時(shí)相比較之前的方案，OceanBase方案的存儲(chǔ)成75%，降本效果明顯。架構(gòu)收益明顯：使用OceanBase替換掉ES+MySQL方案之后，替換掉ES服務(wù)，同時(shí)MySQL機(jī)器成本縮減50一套OCP管理OceanBase集群8套，OBServer節(jié)點(diǎn)數(shù)超過(guò)200個(gè) MySQL OceanBase具備靈活的資源擴(kuò)展能力，根據(jù)業(yè)務(wù)實(shí)際發(fā)展情況可以動(dòng)態(tài)的進(jìn)行計(jì)算和存儲(chǔ)能力的線(xiàn)性擴(kuò)展，支撐海量數(shù)據(jù)的存儲(chǔ)和計(jì)算，同時(shí)很好地應(yīng)對(duì)未來(lái)的業(yè)務(wù)增長(zhǎng)要求。相比傳統(tǒng)的集中式數(shù)據(jù)庫(kù)MySQL，OceanBase在存儲(chǔ)層面極致

典型場(chǎng)景二：多租戶(hù)（對(duì)碎片化資源進(jìn)行整合大集群：將長(zhǎng)尾應(yīng)用的多實(shí)例MySQL、多業(yè)務(wù)統(tǒng)一進(jìn)行計(jì)算資源，同時(shí)通過(guò)Leader打散實(shí)現(xiàn)混部。典型場(chǎng)景二：Saas服務(wù)使用OceanBase多租戶(hù)特性，管理員只需要運(yùn)維少量集群，既能保證租戶(hù)之間數(shù)據(jù)

適合多租戶(hù)SaaS服務(wù)SaaS

OceanBase

擴(kuò)展性受限。使用OceanBase數(shù)據(jù)庫(kù)內(nèi)原生多租戶(hù)，能更好地平衡隔離性和成本，

零售Saas從硬件方面考慮，OceanBase的優(yōu)勢(shì)降本在于超賣(mài)，各系從硬件方面考慮，OceanBase的優(yōu)勢(shì)降本在于超賣(mài)，各系如果使用MySQL，需要為三個(gè)業(yè)務(wù)系統(tǒng)都分配3個(gè)4C8G規(guī)格的資如果使用OceanBase，只需要分配三個(gè)1C，8G的租戶(hù)，余3個(gè)CPU另外，如果開(kāi)啟OceanBase的讀寫(xiě)分離特性，CPU資源還能進(jìn)一步

3個(gè)1C，8G典型場(chǎng)景3:極致高可用-paxosPaxos典型場(chǎng)景3:極致高可用-數(shù)據(jù)校驗(yàn)（物理&）SSTable累計(jì)行校驗(yàn)和SSTable列校驗(yàn)和合并時(shí)讀取最小單位是微塊,寫(xiě)最小單位是宏塊；讀取時(shí),會(huì)校驗(yàn)遷移/備份時(shí),會(huì)校驗(yàn)宏塊校驗(yàn)和；后臺(tái)周期性巡檢

典型場(chǎng)景3:極致高可用- 極致高可用支撐7x24容災(zāi)標(biāo)準(zhǔn)高：理財(cái)業(yè)務(wù)支撐著企業(yè)客戶(hù)萬(wàn)億級(jí)別的資產(chǎn)，需要滿(mǎn)足7x24小時(shí)持續(xù)服務(wù)，高可用容災(zāi)要求達(dá)到5級(jí)。建設(shè)成本高：原有業(yè)務(wù)系統(tǒng)基于傳統(tǒng)大機(jī)和DB2數(shù)據(jù)庫(kù)的備機(jī)房資源浪費(fèi)：近年來(lái)隨著業(yè)務(wù)并發(fā)量的不斷增加，數(shù)據(jù)庫(kù)系統(tǒng)處理能力不足的問(wèn)題凸顯。冷備機(jī)房隨時(shí)待命但

數(shù)據(jù)庫(kù)服務(wù)器資源利用率達(dá)到75%，在系統(tǒng)處理能力遭遇瓶頸時(shí)，可進(jìn)行便捷的水平擴(kuò)展，增加集群計(jì)算資源來(lái)提升處理能力。實(shí)現(xiàn)數(shù)據(jù)庫(kù)同城雙活、異地RPO=0。機(jī)房級(jí)容災(zāi)達(dá)到RPO=0，RTO<30s，即故障發(fā)生后，從IT系統(tǒng)宕機(jī)導(dǎo)致業(yè)務(wù)停頓到系統(tǒng)恢復(fù)至可以支持各部門(mén)的運(yùn)作時(shí)間，少于30秒。達(dá)到工商銀行5級(jí)容災(zāi)要求，滿(mǎn)足7x24小時(shí)服務(wù)要求。提升高可用水平，為業(yè)務(wù)提供強(qiáng)連續(xù)性保障，支撐萬(wàn)億級(jí)資金交易，并且在保證系統(tǒng)性能和穩(wěn)定性的前提下，有效降低了成本。系統(tǒng)從大型主機(jī)下移到國(guó)產(chǎn)化ARMOceanBase支持?jǐn)?shù)據(jù)多副本，節(jié)點(diǎn)間通過(guò)Paxos協(xié)議同步，實(shí)現(xiàn)集群高可用和多地災(zāi)備。結(jié)合中國(guó)工商銀行實(shí)際情況，搭建跨“兩地三中心”的分布式集群，以“五副本+主集群統(tǒng)一管理調(diào)度所有服務(wù)器資源，實(shí)時(shí)動(dòng)態(tài)計(jì)算，將業(yè)務(wù)負(fù)載調(diào)度到最空閑合理的服務(wù)器上運(yùn)行。故障管理服務(wù)自動(dòng)排查故障機(jī)器，調(diào)度事務(wù)到健康機(jī)器上執(zhí)行，保證全

典型場(chǎng)景四：高并發(fā)訪問(wèn)-OceanBase使用普通服務(wù)器和數(shù)據(jù)中心網(wǎng)絡(luò)組成的Shared-nothing集群部署，無(wú)需基于專(zhuān)用網(wǎng)絡(luò)環(huán)境的SAN存儲(chǔ)設(shè)備。集群原生自動(dòng)管理計(jì)算資源和存儲(chǔ)資源的分配和動(dòng)態(tài)資源均衡。支持彈性水平或垂

CityZone1Zone2 Zone3

Zone4Zone

CityZone6Zone7Zone

2

3

4

5

高可用性是系統(tǒng)某些組件故障時(shí)持續(xù)提供服務(wù)的能力。OceanBase分布式選舉協(xié)議在故障發(fā)生時(shí)進(jìn)行自主選舉。少數(shù)派節(jié)點(diǎn)發(fā)生宕機(jī)時(shí)，支持快速無(wú)損自動(dòng)切換，達(dá)到RTO<8秒的自動(dòng)故障恢復(fù)指標(biāo)?；赑axos協(xié)議和多類(lèi)型副本能力，OceanBase

000102

02

040502

060702

000102典型場(chǎng)景四：高并發(fā)訪問(wèn)-典型場(chǎng)景四：高并發(fā)訪問(wèn)-排號(hào)&點(diǎn)單系 &&

原系統(tǒng)流量洪峰時(shí)，會(huì)員、排隊(duì)取號(hào)等系統(tǒng)面臨非常大的壓力，曾發(fā)生高峰期數(shù)據(jù)庫(kù)典型場(chǎng)景五：實(shí)時(shí)數(shù)倉(cāng)-HTAP一套系統(tǒng)完成OLTP與OLAP企業(yè)級(jí)應(yīng)用的業(yè)務(wù)場(chǎng)景通?？梢苑譃閮蓚€(gè)類(lèi)別：聯(lián)機(jī)交易和實(shí)時(shí)分析，我們通常稱(chēng)為OLTP和OLAP的業(yè)務(wù)應(yīng)用。大型企業(yè)往往會(huì)選擇多款數(shù)據(jù)庫(kù)產(chǎn)品分別支持OLTP和OLAP類(lèi)的應(yīng)用場(chǎng)景。這種組HTAP混合事務(wù)與實(shí)時(shí)分析處理是行業(yè)強(qiáng)訴求，OceanBase基于分布式架構(gòu)做好交易處理場(chǎng)景的同時(shí)，能夠完成分析、跑批等分析性場(chǎng)景，一套引擎支持OLAP+OLTP同時(shí)實(shí)現(xiàn)兩套系統(tǒng)功能，成本將大幅降低。

針對(duì)混合負(fù)載場(chǎng)景中不同的資源隔離需求，提供多種資源隔離方式。包括使用多個(gè)Zone進(jìn)行物理隔離，使用CPU資源組隔離不同數(shù)據(jù)庫(kù)連接。系統(tǒng)還會(huì)自動(dòng)識(shí)別和隔離慢查詢(xún)，避免它影響整 Step1OLTPStep2OLAP

OceanBaseOLTPOLAP

OceanBase認(rèn)為，真正的HTAP要求先有高性能的OLTP，然后在OLTP的基礎(chǔ)上支持 實(shí)時(shí)分析。OceanBase通過(guò)原生分布式技術(shù)提供高性能的OLTP能力，真正通過(guò)“一個(gè) 統(tǒng)”提供同時(shí)處理交易及實(shí)時(shí)分析，“一份數(shù)據(jù)”用于不同的工作負(fù)載，從根本上保持?jǐn)?shù)據(jù)的一致性并最大程度降低數(shù)據(jù)冗余，幫助企業(yè)大幅降低總成本。典型場(chǎng)景五：實(shí)時(shí)數(shù)倉(cāng)-OLTP與OLAP隔離SQLOLTPOLAPOLTP與OLAPLeaderfollowerPrimary

30%典型場(chǎng)景五：實(shí)時(shí)數(shù)倉(cāng)-SQL自動(dòng)設(shè)定并行度（AUTOOceanBaseAutoDOP能有效降低并行執(zhí)行使用門(mén)檻。詳見(jiàn)社區(qū)博客《OceanBasev4.2AutoDOP功能說(shuō)明》AP復(fù)雜SQL

SETparallel_degree_policy=AUTO;selectsum(c1)fromt1groupbyc2; 極大降低AP使用門(mén)檻，無(wú)需用戶(hù)根據(jù)CPU數(shù)量來(lái)推算并行以最小化SQL執(zhí)行時(shí)間為目標(biāo)，CPU資源利用效率進(jìn)一步提

432AUTODOPApache

優(yōu)化前

數(shù)據(jù)時(shí)效差：2小時(shí)

AP典型場(chǎng)景六：多模形態(tài)-多模架構(gòu) 查詢(xún)性能:4.3查詢(xún)性能:4.3批量寫(xiě):4.6批處理:2.7OLAP開(kāi)源開(kāi)放的OceanBaseOceanBase提供旁路導(dǎo)入方案，解決過(guò)去導(dǎo)入性能不足、穩(wěn)定性差的難題。數(shù)據(jù)導(dǎo)入性能提升3~10批量數(shù)據(jù)導(dǎo)入（如PoC等MemtableOutOfMemory

Row-Level

Small-

繞開(kāi)Memtable繞開(kāi)Memtable

轉(zhuǎn)儲(chǔ)

基線(xiàn)

堆表普通插入堆表旁路導(dǎo)入索引組織表普通導(dǎo)入索引組織表旁路導(dǎo)入1035OceanBaseDBLink

select*from支持多個(gè)OceanBaseMySQLOceanBaseMySQLMySQL

SQL

DBLink訪問(wèn)示意圖MySQL兼容模式下，提供BinlogService，可以將OceanBase的日志轉(zhuǎn)換成MySQLBinlog格式，且提供了全面兼容BinlogMySQLMySQLBinlog，提供更豐富的數(shù)據(jù)服歷史庫(kù)、近實(shí)時(shí)緩存、消息隊(duì)列（MQ）

低成本復(fù)用MySQL

租戶(hù)租戶(hù)

clog

binlogdumpbinlogOB

開(kāi)發(fā)者工具

ODC是為OceanBase

Web 存儲(chǔ)過(guò)程、程序包、觸發(fā)器、類(lèi)型和同義詞等對(duì)象可視化管理的能力是完全根據(jù)OceanBase的內(nèi)核能力定制，適配性好，體驗(yàn)更佳。ODC整體風(fēng)格簡(jiǎn)潔明了，通過(guò)逐步引導(dǎo)，可快速進(jìn)行表、視圖、函數(shù)、存儲(chǔ)過(guò)程、程序包、序列、觸發(fā)器、類(lèi)型和同義詞等對(duì)象的開(kāi)發(fā)與管理工作。ODC內(nèi)置了一系列工具來(lái)輔助開(kāi)發(fā)，如代碼片段、執(zhí)行計(jì)劃分析、模擬ODC支持客戶(hù)端版和Web版，其中客戶(hù)端版可在Windows和Mac平臺(tái)上安裝。WebLinuxX86ARM架構(gòu)。

SQLSQL

PLER

對(duì)象管理：Web控制臺(tái)：WebSQLOceanBaseMySQLOracle語(yǔ)法高亮、格式化、智能提示、友好的snippetsExcel導(dǎo)入導(dǎo)出：為OceanBase數(shù)據(jù)遷移工具提供數(shù)據(jù)傳輸?shù)娜芷诠芾?，支持語(yǔ)法轉(zhuǎn)換，數(shù)據(jù)轉(zhuǎn)換，任務(wù)管理等功能，提供遷移評(píng)估、數(shù)據(jù)遷移、數(shù)據(jù)訂閱、數(shù)據(jù)校驗(yàn)等產(chǎn)品形態(tài)，從而方便客戶(hù)輕松上“OceanBase

提供可視化，所見(jiàn)即所得Web管控平臺(tái)，輕松完成數(shù)據(jù)傳輸項(xiàng)目的創(chuàng)建、基于實(shí)際業(yè)務(wù)場(chǎng)景，客戶(hù)可以靈活選擇合適的遷移、同步類(lèi)型和功能，支持組合成不同的解決方案。同時(shí)提供多樣性的部署模式及靈活的橫向和縱

DML過(guò)

OMS使用多并發(fā)、并行復(fù)制和壓縮加密傳輸?shù)燃夹g(shù)來(lái)保證遷移或同步項(xiàng)目都能擁有優(yōu)異的傳輸性能。數(shù)據(jù)全量遷移可達(dá)38萬(wàn)RPS（RowsPerSecond，每秒增量同步至目標(biāo)表的數(shù)據(jù)行數(shù)），增量數(shù)據(jù)同步可高達(dá)10萬(wàn)RPS及數(shù)據(jù)校驗(yàn)可達(dá)66萬(wàn)RPS，從而提供穩(wěn)定的秒級(jí)傳輸服務(wù)。

在線(xiàn)數(shù)據(jù)遷移：支持將Oracle、DB2LUW等多種異構(gòu)數(shù)據(jù)庫(kù)在線(xiàn)遷移至OceanBase數(shù)據(jù)庫(kù)，完成切換后支持將OceanBase數(shù)據(jù)庫(kù)上所有的變更數(shù)據(jù)反向同步至源端數(shù)據(jù)庫(kù)。實(shí)時(shí)數(shù)據(jù)同步：支持OceanBase與自建Kafka、RocketMQ一站式交互：提供數(shù)據(jù)遷移過(guò)程的全生命周期管理，在管控界面上完成數(shù)據(jù)遷移和數(shù)據(jù)同步任務(wù)的創(chuàng)建、配置、監(jiān)控和管理，交互簡(jiǎn)單方便。多重?cái)?shù)據(jù)校檢：多種方式的數(shù)據(jù)校檢和保護(hù)，全面高效的保證數(shù)據(jù)正確性，展示差異數(shù)據(jù)，提供快速修復(fù)能力。運(yùn)維管理平臺(tái)OCP支持多集群、多可用區(qū)的部署模式。增強(qiáng)了對(duì)OceanBase主備、跨城集群的運(yùn)維管理能力，即保障了災(zāi)難發(fā)生時(shí)OceanBase

·整體概