3-4 弓子介-從螞蟻集團(tuán)數(shù)據(jù)庫演進(jìn)之路看未來數(shù)據(jù)庫的選擇-24正式版

庫演進(jìn)之路據(jù)庫的選擇弓子介(泓影)泛

聯(lián)網(wǎng)&海外架構(gòu)師負(fù)責(zé)人每日免費獲取報告1、每日微信群內(nèi)分享7+最新重磅報告；2、每日分享當(dāng)日華爾街日報、金融時報；3、每周分享經(jīng)濟(jì)學(xué)人4、行研報告均為公開版，權(quán)利歸原作者所有，起點財經(jīng)僅分發(fā)做內(nèi)部學(xué)習(xí)。掃一掃二維碼關(guān)注公號回復(fù)：研究報告加入“起點財經(jīng)”微信群。。第一篇Ocean十年OceanBase發(fā)展歷程

構(gòu)架演進(jìn)1.0時代：堅定走向分布式架構(gòu)2.0時代原生分布3.0時代：合引擎、混合部署4.0時代：分布式一體化架構(gòu)20102013201420162020212022產(chǎn)品立項擴(kuò)大使用范圍核心交易上線全業(yè)務(wù)覆蓋獨立商業(yè)化規(guī)?；茝V公有云走向海外第一個用戶多個業(yè)務(wù)系統(tǒng)支付寶交易金融級核心業(yè)務(wù)核心核心HTAP引擎TPC-C7.07億走向通用行業(yè)、更多頭部客戶核心系統(tǒng)TPC-H1526萬社區(qū)版發(fā)布試點海外客戶單機分布式一體化架構(gòu)公有云上線公有云北美站點開服萬批量處理，企業(yè)級特性，HTAP支付寶早期技術(shù)架構(gòu)（20

4年-2008年）2004年2008年支付寶誕生的第一筆擔(dān)保交易闖天下棧：webx系統(tǒng)1系統(tǒng)2系統(tǒng)3技術(shù)棧：IOEOracle主備切換Oracle支付寶早期技術(shù)架構(gòu)（20

8年-2014年）雙11秒級支付峰值SOA化2014年)技術(shù)棧：SofaStack業(yè)務(wù)推進(jìn)交支付賬務(wù)垂直拆分雙11秒級支付峰主備切換主備切換支付主庫支付備庫賬務(wù)主庫賬務(wù)備庫易備庫3交易備庫4200920102011技術(shù)棧：IOE規(guī)?；\維帶來的挑戰(zhàn)磁盤容量告警實例部署7*24oncallOracleDBA時間碎片化響應(yīng)時間CPU使用率告警表太大了，不敢做DDL了抖了主備延遲了連接數(shù)不夠了數(shù)據(jù)庫升級SQLReview機器又down機了，快切SQL調(diào)優(yōu)幸福感我拆表支付寶技術(shù)架構(gòu)重大轉(zhuǎn)折點2015年527大規(guī)模癱瘓事件第二篇Ocean心亮點100據(jù)庫OceanBase數(shù)據(jù)庫產(chǎn)品架構(gòu)Paxos協(xié)議

+無共享架構(gòu)

+三副本署為三/五個Zone，每個Zone由多個服務(wù)器組成,基于Paxos分布式協(xié)議的高效高可O<30秒，實現(xiàn)切換DBA無人值守數(shù)據(jù)庫內(nèi)核級虛擬化，滿足數(shù)據(jù)安全隔離的于業(yè)務(wù)畫像的可伸縮計算資源，同時通過打散實現(xiàn)混部。大集群：將長尾應(yīng)用的多實例MySQL/Oracle統(tǒng)一進(jìn)行管理，有效提高資源密度，消除存儲碎片。運維：通過整合運維對象由實例轉(zhuǎn)變?yōu)榧?，降低運維成本，提高單兵人效比。核心優(yōu)勢-極致水平可擴(kuò)展在線擴(kuò)容（應(yīng)用無感知），ZONE內(nèi)增加OB節(jié)點/加每個高可用域（ZONE）的的數(shù)量OBServerOBServerOBServer增加資源單元P1P1P1P2P4P2P4P2將表/表分區(qū)的各個副本重均衡新增加的ObServer節(jié)點P3P3P3P4OBServerOBServerOB?

物理拷貝，每節(jié)點>500MB/s?

無需重新hash每條記錄P5P5P6P8P6P8P7P7?

應(yīng)用無感知，無需像分庫分表那樣對應(yīng)用配合大量改造OBServer（新增）OBServer（主副本

?

同樣支持在線縮容PPP6P2從副本ZONE1ZONE2Z核心優(yōu)勢-平滑高可用/容災(zāi)切換OceanBase內(nèi)部自動切換、無需人工干預(yù)和復(fù)雜決策流OBServerZ3-1上的P1/P2/P4和Z3-2上的P5/P6/P7均是從副本，它們各自剩下的1主1從兩個副本依然構(gòu)成多數(shù)派，不影響業(yè)務(wù)；?

寫事務(wù)到達(dá)超過半數(shù)庫OOBServerZ3-1?少數(shù)庫異常不影響業(yè)務(wù)P1P2?

兩地三中心多活?

灰度升級P3P4ZONE3機房整體故障，OBServerZ3-1和Z3-2全部Crash！rverZ2-2OBServerZ3-2基于Paxos協(xié)議的典型多副本(三副本或以上)部署P5P7P5P6P6?

數(shù)據(jù)強一致性?

持續(xù)可用P8P7P8P3?主備自動切換，對上層業(yè)務(wù)透明的兩個原從副本、P8的兩個原從副各自本paxos協(xié)商出1個新的主副本提供服務(wù)?

單機、機房、城市級故障：OB內(nèi)部自動故換，不停服務(wù)（

RTO<30秒），不丟任何數(shù)（RPO=0）E1ZONE2ZONE3核心優(yōu)勢-計算資源整合和存儲成本下降計算密度提升5倍下降到1/5AZ

1AZ

2AZ

3e

Cluster

(5

tenants)

x

1OB

node1?MySQL

x

5tenant

1leaderfollowerfollowertenant

3tenant

4leaderfollowerfollowerfOceanBase1TBfollowerMySQLdatabase5TBPhysicalServerPhysicaSer?DBaSS能力，租戶隔離(cpu/mem機器資源充分利用按需分配資源(升配迅速)讀寫能力都可以放在從節(jié)點上???存儲成本至少省80%以上數(shù)據(jù)編碼機制以及l(fā)sm存儲架構(gòu)無性能損耗???OceanBaseP2架構(gòu)APPAPPAPP鍵設(shè)計OBProxyOBProxyOBProxy部，數(shù)據(jù)鏈路無LoadBalance設(shè)備。節(jié)點具備承擔(dān)所有角色的可能。架構(gòu)優(yōu)雅，部署PC通訊。性協(xié)議更換：Raft->Paxos多租戶：實現(xiàn)數(shù)據(jù)庫內(nèi)核級虛擬化，滿足數(shù)據(jù)安全隔離的同時提供基于業(yè)務(wù)畫像的可伸縮計算資源，同時通過Leader打散實現(xiàn)混部。OceanBase存儲引擎增量

MemTable(WOS)ROWCacheGetSmall-QueryUpdate鍵設(shè)計Row-LevelIn-MemoryRedo/MVCCLogs儲引擎，未采用RocksDBIn-MemoryHashIn-MemoryB+-TreesBlockCacheScanBig-Query塊是數(shù)據(jù)的組織單元，宏塊則由微塊組成。作時，可以在宏塊和微塊兩個級別判斷，是否可MemoryDiskReplicas轉(zhuǎn)儲

SSTable合并：用多副本來解耦

Compact操作和同時段的查詢操，避免磁盤

I/O上的競爭。多個轉(zhuǎn)儲版本W(wǎng)ritePath??IO隔離：控制UserIO/SystemIO，減少對前臺請求影響MemoryMemtableMemoEncoding：按行存儲，按列編碼，類似GooglePAX行列混合存儲，一套存儲支持TP/AP。MDiskDiskTabletLogSSTable1TabletLogSSTable1SSTable2?CheckSum：三副本compaction的checksum，防止靜默錯誤。?1.Write2.FlushctOceanBaseSQ引擎描鍵設(shè)計SQLstatementApplicationSQLCompiler套Parser，兼容MySQL5.7;Oracle11g大的節(jié)省語句的執(zhí)行時間,幾ms->幾百us同的實現(xiàn)秒級的

SQL限流、綁定。ParserSQLExecutionParseTreeResolverStmtFastParser計劃灰度演進(jìn)，確保永遠(yuǎn)往好的計劃演進(jìn)，不會出現(xiàn)代價模型選錯計劃。QueryTransfACS：典型的大小賬號場景：存在數(shù)據(jù)傾斜，不同的參數(shù)對應(yīng)不同計劃的問題，

實現(xiàn)了自適應(yīng)計劃匹配。misshit?大查詢隊列：查詢隊列優(yōu)先級區(qū)分隔離，防止大查詢將實例打爆PlanCacheC1

C2nAddtocachePhysicalPlanCodeGenOceanBase數(shù)據(jù)復(fù)

-Paxos鍵設(shè)計Client本質(zhì)的區(qū)別，在于是否允許日志空洞。

Raft許空洞。

Multi-Paxos允許日志空洞存在，應(yīng)境，更為魯棒。StateStateStaMaMachinePaxosModuleMachinePaxosModule一次Clog（Tidb：raftlog/rocksdblog）A=1B=2A=1

B=2LogA=1B=2A=1

B=例：順序投票策略對于主庫的負(fù)面影響比較嚴(yán)重：出于性能提升的原因，數(shù)據(jù)庫的多版本并發(fā)控制（MVCC）使得不存在相互關(guān)聯(lián)的事務(wù)得以并發(fā)處理，但上述順序投票策略使得事務(wù)#5-#9可能被毫不相干的事務(wù)#4阻塞，且必須hold在內(nèi)存。12345#1-#3為已經(jīng)持久化和應(yīng)答的事務(wù)日志#5-#9為已經(jīng)收到但卻不能持久化和應(yīng)答的事務(wù)日志#4為未收到的事務(wù)日志。第三篇OceanOceanBase工具體系OceanBase工具體系為

OceanBase數(shù)據(jù)庫從替換前、遷移中和使用后的不同階段提力業(yè)務(wù)穩(wěn)定增長。01

評估改造02

實時遷移03

開發(fā)管理0406

安全管控07

診斷自治自動采集數(shù)據(jù)庫畫像兼容性評估對象遷移全量遷移數(shù)據(jù)校驗連接管理對象管理導(dǎo)入導(dǎo)出權(quán)限管理安全協(xié)同操作審計變更管控全鏈路監(jiān)控SQL診斷自動轉(zhuǎn)換回放壓測增量遷移增量回寫開發(fā)調(diào)試抽取容量管理自動優(yōu)化自動恢復(fù)分布式改造數(shù)據(jù)訂正數(shù)據(jù)可視化模擬數(shù)數(shù)據(jù)過濾數(shù)據(jù)脫敏安全治理智能運維遷具

OM開發(fā)者工具

ODC運維管理工具

OCP遷移評估工具

OMA產(chǎn)品優(yōu)勢產(chǎn)品架構(gòu)全方位采集分析支持直連到指定數(shù)據(jù)庫或者通過

OMA

提供的數(shù)據(jù)庫采集器，來自動獲取和掃描源源端數(shù)據(jù)庫系統(tǒng)中全部數(shù)據(jù)庫對象以及自定義范圍的

SQL語句；提供兼容性評估分析、遷移可行性分析和風(fēng)險分析。評估數(shù)據(jù)庫/應(yīng)用畫像源碼評估修改適配PL

改造配置推薦智能改造方案對接數(shù)據(jù)庫遷移針對未完全兼容的場景，OMA

會基于

OceanBase

多年沉淀的核心業(yè)務(wù)遷移以及大規(guī)模驗證的轉(zhuǎn)換方案最佳實踐，提供遷移至

OceanBase數(shù)據(jù)庫的分布式改造方案。告遷移計劃改造優(yōu)化OceanBase業(yè)務(wù)壓測驗證負(fù)載評估性能報告多種數(shù)據(jù)庫和對象支持流量回放支持評估

Oracle、MySQL、PostgreSQL、TiDB

和

DB2

LUW

等流數(shù)據(jù)庫的常用版本與

OceanBase

數(shù)據(jù)庫的兼容性，包括

TabIndex、View、Sequence、Synonym、Function、ProcePackage、…SQL

優(yōu)化SQL/PL

改寫安全可靠通過連接源端數(shù)據(jù)庫進(jìn)行深度采集分析，生成源庫的數(shù)據(jù)庫畫像，方便用戶了解目前數(shù)據(jù)庫的拓?fù)鋽?shù)據(jù)庫的整體負(fù)載，會話情況，熱點數(shù)據(jù)和特殊表分析，以便制定相應(yīng)的遷移策略。無需修改體統(tǒng)配置，極大降低對源端業(yè)務(wù)系統(tǒng)開銷。針敏感信息提供自動過濾和脫敏處理策略，最大程度保障用產(chǎn)安全。：支持連接到指定數(shù)據(jù)庫，自動獲取和掃描源數(shù)據(jù)庫對象以及

SQL

語句，也支持從客戶端工具連接到指定DDL

語句進(jìn)行評估。OMA

還支持解析代碼框架或負(fù)載捕獲等離線文件中的

SQL

語句，對其兼容性進(jìn)行評估。估報告以及轉(zhuǎn)換建議：評估完成后，OMA

會自動生成詳細(xì)的評估報告，包括兼容性評估結(jié)果和性能評估結(jié)果、數(shù)據(jù)以及分布式遷移可行性分析和風(fēng)險分析，方便用戶根據(jù)評估結(jié)果改造計劃制定遷移方案。數(shù)據(jù)遷移工具

OMS產(chǎn)品優(yōu)勢產(chǎn)品架構(gòu)一站式服務(wù)數(shù)據(jù)轉(zhuǎn)換抽取過濾OracleKafka提供數(shù)據(jù)傳輸?shù)娜芷诠芾?，支持語法轉(zhuǎn)換，數(shù)據(jù)轉(zhuǎn)換，任務(wù)管理等功能，提供遷移評估、數(shù)據(jù)遷移、數(shù)據(jù)訂閱、數(shù)據(jù)校驗等產(chǎn)品形態(tài)，從而方便客戶輕松上“OceanBase”,

并滿足企業(yè)客戶的多樣化需求。RocketMQDataHubMySQL/M數(shù)據(jù)同步消息訂閱AnalyticDBMySQL簡潔高效容災(zāi)雙活灰度切流提供可視化，所見即所得

Web

管控平臺，輕松完成數(shù)據(jù)傳輸項目的創(chuàng)建、任務(wù)配置和傳輸組件的監(jiān)控運維，以及鏈路維護(hù)和故障診斷等便捷的操作，并提供多種保護(hù)級別支持定制化配置，提供實時的監(jiān)控報警。OracleDDL

同步DML過濾…靈活化基于實際業(yè)務(wù)場景，客戶可以靈活選擇合適的遷移、同步類型和功合成不同的解決方案。同時提供多樣性的部署模式及靈活的橫向收縮能力，保障滿足延遲敏感客戶的業(yè)務(wù)需求。將Oracle、DB2

LUW等多種異構(gòu)數(shù)據(jù)庫在線遷移至

OceanBase

數(shù)據(jù)庫，完成切換后支持?jǐn)?shù)據(jù)庫上所有的變更數(shù)據(jù)反向同步至源端數(shù)據(jù)庫。高性能步：支持

OceanBase

與自建

Kafka、RocketMQ

之間的實時數(shù)據(jù)同步，支持?jǐn)?shù)據(jù)過濾，提供完備的能力，廣泛應(yīng)用于實時數(shù)據(jù)倉庫搭建、報表分流等業(yè)務(wù)場景。OMS

使用多并發(fā)、并行復(fù)制和壓縮加密傳輸?shù)燃夹g(shù)能擁有優(yōu)異的傳輸性能。數(shù)據(jù)全量遷移可達(dá)

38萬

RPS（每秒增量同步至目標(biāo)表的數(shù)據(jù)行數(shù)），增量數(shù)據(jù)同步可高達(dá)校驗可達(dá)

66萬RPS，從而提供穩(wěn)定的秒級傳輸服務(wù)。式交互：提供數(shù)據(jù)遷移過程的全生命周期管理，在管控界面上完成數(shù)據(jù)遷移和數(shù)據(jù)同步任務(wù)的創(chuàng)建、配置、監(jiān)控和管理，交互簡單方便。?

多重數(shù)據(jù)校檢：多種方式的數(shù)據(jù)校檢和保護(hù)，全面高效的保證數(shù)據(jù)正確性，展示差異數(shù)據(jù)，提供快速修復(fù)能力。開發(fā)者工具

ODC產(chǎn)品優(yōu)勢產(chǎn)品架構(gòu)開發(fā)者管理員量身定制ODC

是為

OceanBase

量身定制的開發(fā)平臺，其提供的表、視圖、函數(shù)、存儲過程、程序包、觸發(fā)器、類型和同義詞等對象可視化管理的能力是完全根據(jù)OceanBase

的內(nèi)核能力定制，適配性好，體驗更佳。云平臺管控協(xié)同用戶角色資源管理變更流程操作審計生產(chǎn)變更權(quán)限管理風(fēng)險規(guī)則流水線輕松上手OceanBaseODC

整體風(fēng)格簡潔明了，通過逐步引導(dǎo)，可快速進(jìn)行表、視圖、函數(shù)、存儲過程、程序包、序列、觸發(fā)器、類型和同義詞等對象的開發(fā)與管理工作。數(shù)據(jù)脫敏開發(fā)集成豐富的工具集能力數(shù)據(jù)源適配任務(wù)框架對象管理

SDK連接管理配置框架ODC

內(nèi)置了一系列工具來輔助開發(fā)，如代碼片段、執(zhí)行計劃分析、模審計框架會話管理、回收站管理、導(dǎo)入與導(dǎo)出等。多形態(tài)跨平臺ODC

支持客戶端版和

Web

版，其中客戶端版可在

W安裝。Web

版支持在

Linux

平臺上部署，支持

X86完整的數(shù)據(jù)對象和數(shù)據(jù)類型，引導(dǎo)式流程創(chuàng)建數(shù)據(jù)庫對象，可視化對象修改，支持回收站機制。：通過

WebSQL

幫助開發(fā)人員使用

OceanBase

的各種特性和功能，支持

MySQL

和

Oracle

語法

高亮、格式示、友好的

snippets

等特性，提供類似

Excel

的可視化數(shù)據(jù)編輯能力。出：為

OceanBase

量身打造的高效數(shù)據(jù)導(dǎo)入導(dǎo)出工具，具備動態(tài)負(fù)載均衡和斷點恢復(fù)等能力。全審計：支持

14

類審計事件，確保安全合規(guī)，重要事件可追蹤，審計報告可下載。流程管控：根據(jù)任務(wù)類型限制用戶發(fā)起的變更內(nèi)容、定制不同的審批流程，達(dá)到數(shù)據(jù)庫變更安全的作用。運維管理工具

OCP產(chǎn)品優(yōu)勢產(chǎn)品架構(gòu)“監(jiān)控

-

告警

-

診斷”一體化診斷第三開源高可用監(jiān)控客戶自研OCP

支持多集群、多可用區(qū)的部署模式。增強了對

OceanBase

主備、跨城集群的運維管理能力，即保障了災(zāi)難發(fā)生時

OceanBase

集群穩(wěn)定，也實現(xiàn)運維管理的高可用性。性能報告

OBAR數(shù)據(jù)庫監(jiān)控診斷告警應(yīng)急·整體概要總結(jié)系統(tǒng)活動情況SQL運行狀況緩存與隊列等待信息參數(shù)配置總計超過

400+項監(jiān)控指標(biāo)·eb

管控臺化運維管理平臺·安全··OCP

提供了基于用戶角色的權(quán)限隔離機制，保障了資源的使用安全，OCP還提供了對所管理資源的企業(yè)級監(jiān)控、告警、巡檢、自治等功能，實時守護(hù)集群的運行安全?！み\維管控自治服務(wù)生態(tài)對接部署、升級、擴(kuò)縮容、備份恢復(fù)、配置變更等全生命周期管理的全自動化運維。P2自感知

｜

自擴(kuò)容

｜

自優(yōu)化

｜

自安全OCP

提供了開放

API，支持生態(tài)用戶通過標(biāo)準(zhǔn)的

API

接口使用

OC資源，同時

OCP

的監(jiān)控、告警等數(shù)據(jù)，支持無縫對接到用戶統(tǒng)一平臺，降低用戶的運維復(fù)雜度。ODP3簡單易用ase

集群，租戶，主機，軟件包等資源對象的全生命周期管理，包括管理，安裝、運維、性能監(jiān)控、控及告警設(shè)置，支持所有資源對象不同維度，實時準(zhǔn)確的監(jiān)控告警需求，支持自定義告警，滿足定制化的告支持集群和租戶表級別全量備份、增量備份及日志備份，支持周期性備份任務(wù)、多地備份，支持在備份周期內(nèi)任意OCP

基于

Web

的可視化管理能力，將復(fù)雜困難的作，通過產(chǎn)品能力實現(xiàn)標(biāo)準(zhǔn)化、自動化，用戶可通過簡