中國(guó)銀聯(lián)自研分布式數(shù)據(jù)庫(kù)架構(gòu)

1、中國(guó)銀聯(lián)自研分布式數(shù)據(jù)庫(kù)架構(gòu)技術(shù)創(chuàng)新，變革未來(lái)1. 業(yè)界分布式數(shù)據(jù)庫(kù)產(chǎn)品變化2015年分布式數(shù)據(jù)庫(kù)相關(guān)產(chǎn)品2016年分布式數(shù)據(jù)庫(kù)相關(guān)產(chǎn)品現(xiàn)在？騰訊：TDSQL (DCDB)阿里：DRDSPetaData (HybridDB for MySQL)MariaDB：SpiderPingCAP：TiDB巨杉SequoiaDB亞馬遜、阿里Aurora、PolarDB數(shù)據(jù)存儲(chǔ)：MySQL高可用：MySQL復(fù)制數(shù)據(jù)存儲(chǔ)：KV高可用：Multi-Raft數(shù)據(jù)存儲(chǔ)：KV高可用：類似MySQL復(fù)制分布式存儲(chǔ)引擎單點(diǎn)寫、多點(diǎn)讀存儲(chǔ)與計(jì)算分離Proxy技術(shù)路線豐富完善Proxy層的SQL解析能 力主要技術(shù)狀態(tài)分布式事

2、務(wù)支持TDSQL支持DRDS支持(多種分 布式實(shí)現(xiàn)模式)復(fù)雜語(yǔ)句聚合類有限支持不支持部分?jǐn)?shù)據(jù)類 型ProxyxxSQLxxSQLxxSQLxxSQLxxSQLxxSQLxxSQLxxSQL技術(shù)路線實(shí)現(xiàn)分布式的存儲(chǔ)引 擎主要技術(shù)狀態(tài)支持分布式事務(wù)復(fù)雜語(yǔ)句支持復(fù)雜語(yǔ)句并增加特性DDL支持不支持單點(diǎn)DDL性能：與數(shù)據(jù)節(jié)點(diǎn)之間為同 步調(diào)用集群性能低于單機(jī)MariaDBMariaDBMariaDBMariaDBMariaDBMariaDBMariaDBMariaDBMariaDBMariaDBStorage EngineSpiderInnoDBSQL Interface、Parser、Optimizer

3、、 Caches & BUffersConnection Management技術(shù)路線借鑒Google Spanner和F1使用KV進(jìn)行數(shù)據(jù)存儲(chǔ)使用Multi-Raft實(shí)現(xiàn)高可用與數(shù)據(jù)遷移主要技術(shù)狀態(tài)支持分布式事務(wù)樂(lè)觀鎖機(jī)制：不適合熱點(diǎn)數(shù)據(jù)較好的MySQL兼容性時(shí)延較高成本較高ProxySparkSQL技術(shù)路線使用KV進(jìn)行數(shù)據(jù)存儲(chǔ)實(shí)現(xiàn)分布式存儲(chǔ)引擎主要技術(shù)狀態(tài)支持分布式事務(wù)支持復(fù)雜語(yǔ)句悲觀鎖，不適合高并發(fā)場(chǎng)景較好的MySQL語(yǔ)法兼容支持多種xSQL主數(shù)據(jù)節(jié)點(diǎn)從數(shù)據(jù)節(jié)點(diǎn)從數(shù)據(jù)節(jié)點(diǎn)主數(shù)據(jù)節(jié)點(diǎn)從數(shù)據(jù)節(jié)點(diǎn)從數(shù)據(jù)節(jié)點(diǎn)主數(shù)據(jù)節(jié)點(diǎn)從數(shù)據(jù)節(jié)點(diǎn)從數(shù)據(jù)節(jié)點(diǎn)主數(shù)據(jù)節(jié)點(diǎn)從數(shù)據(jù)節(jié)點(diǎn)從數(shù)據(jù)節(jié)點(diǎn)Proxy協(xié)調(diào)節(jié)點(diǎn)Proxy

4、PostgreSQLProxyMySQLProxy編目節(jié)點(diǎn)ProxyAPP技術(shù)路線通過(guò)Proxy層進(jìn)行復(fù)雜 語(yǔ)句路由OLTP與OLAP混合主要技術(shù)狀態(tài)分布式事務(wù)簡(jiǎn)單語(yǔ)句支持分布式 事務(wù)復(fù)雜語(yǔ)句目前不支持 事務(wù)復(fù)雜語(yǔ)句支持MySQL單機(jī)語(yǔ)句增加了OLAP特性語(yǔ)法 支持TPC-HTPC-DSTransactionCoordinatorAliSQL (TokuDB)AliSQL (TokuDB)AliSQL (TokuDB)AliSQL (TokuDB)AliSQL (TokuDB)AliSQL (TokuDB)AliSQL (TokuDB)AliSQL (TokuDB)ProxyRoutime C

5、ontrollerCompute WorkerComplex SQLDistributed TransactionSingle Partition Query/Transaction技術(shù)路線單點(diǎn)寫、多點(diǎn)讀Aurora已支持多點(diǎn)寫存儲(chǔ)計(jì)算分離分布式文件系統(tǒng)用戶態(tài)讀寫網(wǎng)絡(luò)、文 件主要技術(shù)狀態(tài)讀性能線性擴(kuò)展寫性能可以達(dá)到 MySQL單機(jī)性能的6 倍以上2. 銀聯(lián)架構(gòu)演進(jìn)UPSQL ProxyProxyUPSQLUPSQLUPSQLUPSQLUPSQLUPSQLUPSQLUPSQLUPSQL(Master)UPSQL(Standby)協(xié)調(diào)器Coordinator事務(wù)管理器Trx Manager語(yǔ)句路由

6、 SQL Router簡(jiǎn)單語(yǔ)句Simple SQL復(fù)雜語(yǔ)句 Complex SQL 元數(shù)據(jù)與輔助處理器 Metatda & Coprocessor存儲(chǔ)引擎Storage Engine自研存儲(chǔ)引擎Lamost應(yīng)用APP應(yīng)用APP應(yīng)用APP應(yīng)用APP應(yīng)用APPUPSQL(Master)UPSQL(Standby)UPSQL(Master)UPSQL(Standby)UPSQL(Master)UPSQL(Standby)MySQL網(wǎng)絡(luò)協(xié)議 MySQL Protocolselect product, sum from( select product, sum(profit) as sum from t

7、1group by product with rollup) as tmpwhere product is null;UPSQL數(shù)據(jù)分片UPSQL. .Metadata & CoprocessorCoordinatorCoordinator Coordinator 使用Handler語(yǔ)法掃描實(shí)體表數(shù)據(jù)UPDRDB能支持跨分片join、子查詢、視圖、UDF等復(fù)雜語(yǔ)句，其一般處理流程為：協(xié)調(diào)器(Coordinator)將復(fù)雜語(yǔ)句轉(zhuǎn)發(fā)給輔助處理器(Coprocessor)如果操作的表為L(zhǎng)amost引擎，Lamost引擎會(huì)將相應(yīng)操作轉(zhuǎn)換為Handler語(yǔ)句，從實(shí)體表獲 取數(shù)據(jù)輔助處理器根據(jù)獲取到的數(shù)據(jù)

8、進(jìn)行語(yǔ)句處理，并將最終結(jié)果返回協(xié)調(diào)器 語(yǔ)句轉(zhuǎn)發(fā)輔助處理器1.0.0.21.1.0共享集群基于Schema數(shù)據(jù)拆分1.2.0運(yùn)維需求1.2.1數(shù)據(jù)庫(kù)恢復(fù)感知1.2.2高可用主動(dòng)感知1.2.3兼容多源復(fù)制1.2.4聚合查詢優(yōu)化1.2.5適應(yīng)分庫(kù)業(yè)務(wù)邏輯1.2.6后端機(jī)制優(yōu)化2015-08-312015-11-182016-05-202016-06-2.20.1.3UPSQL Proxy 11.2.7高可用優(yōu)化2.0.0分布式事務(wù)2.0.2支持多源復(fù)制協(xié)議2.0.1后端機(jī)制優(yōu)化2.0.3STMT改進(jìn)2017-07-072.1.0Fetch與分頁(yè)2017-11-24U

9、PSQL Proxy 22.2.0數(shù)據(jù)搬遷與擴(kuò)縮容自動(dòng)化2018-08-282.3.0適配：TSP系統(tǒng)2018-09-282.4.0流式處理（適配：商戶與公參數(shù)管理）2.4.2語(yǔ)句解析缺陷修復(fù)2018-12-192.4.1行業(yè)與內(nèi)容云遷移適配2.4.3UPDRDB優(yōu)化點(diǎn)同步2.5.0支持IPv62020-06-301.0.0基線版本2019-09-031.1.0擴(kuò)縮容優(yōu)化1.2.0小表不拆分1.3.0支持IPv62019-11-042020-03-022020-06-301.4.0安全加固2020-10-311.3.1ARM適配UPDRDB3. 產(chǎn)品迭代的不同階段2017年之前，我們主要解決數(shù)

10、據(jù)庫(kù)高可用、 簡(jiǎn)單的數(shù)據(jù)拆分2017年開(kāi)始，以分布式事務(wù)、異步連接池 為重點(diǎn)主要提供分布式功能與性能2018年底開(kāi)始，開(kāi)始論證技術(shù)路線，考慮 更為統(tǒng)一的復(fù)雜語(yǔ)句、擴(kuò)縮容等問(wèn)題的解 決方案4. 分布式數(shù)據(jù)庫(kù)取決于：架構(gòu) or 功能？技術(shù)路線含義特征產(chǎn)品混合方案產(chǎn)品新架構(gòu)基于新架構(gòu)創(chuàng)建的新型 分布式數(shù)據(jù)庫(kù)。設(shè)計(jì)之初就考慮了分布 式特征。具備較高的硬 件要求，且存在穩(wěn)定性 擔(dān)憂。OceanBase TiDB存儲(chǔ)引擎在傳統(tǒng)數(shù)據(jù)庫(kù)之后，研 發(fā)分布式存儲(chǔ)引擎，以 具備分布式數(shù)據(jù)庫(kù)關(guān)鍵 特性。與傳統(tǒng)數(shù)據(jù)庫(kù)具備極好 的兼容性，但性能損耗 較大，部分產(chǎn)品存在明 顯提升上限。SequoiaDB-MySQL(巨杉)

11、 MariaDB SpiderAurora (by Amazon) PolarDB (by Alibaba ) CynosDB (by Tencent)混合存儲(chǔ)引擎和中 間件方案，在兼容 性、穩(wěn)定性、擴(kuò)展 性上進(jìn)一步發(fā)展。PolarDB-XUPDRDB透明中間件在傳統(tǒng)數(shù)據(jù)庫(kù)之上構(gòu)建 中間件。具備高性能、低成本和 穩(wěn)定性特征。但與傳統(tǒng)數(shù)據(jù)庫(kù)的兼容 性最差。Vitess(from Youtube)Sharding-Sphere UPSQL Proxy TDSQLGoldenDBAndrew Pavlo and Matthew Aslett. Whats really new with newsql? 45(2):45-55, 2016.Newsqlthe new way to handle big data. /2012/01/newsql-handle-big-data/.5. 開(kāi)源 or 閉源2012發(fā)布JAVA容器 UPJAS私有云投產(chǎn)2014發(fā)布服務(wù)調(diào)用框 架Magpie發(fā)布關(guān)系型數(shù)據(jù) 庫(kù)UPSQL2017發(fā)布Linux操作系 統(tǒng)UPEL發(fā)布消息中間件 UPKafka2015發(fā)布數(shù)據(jù)庫(kù)中間 件UPSQL Proxy2016發(fā)布NOSQL數(shù)