銀行開放平臺OLTP數(shù)據(jù)庫轉型方案

1、銀行開放平臺 OLTP數(shù)據(jù)庫轉型方案數(shù)據(jù)庫轉型背景轉型的發(fā)展歷程轉型成效后期工作思路01.02.03.04.201處理能力系統(tǒng)規(guī)模龐大，集中式架構設計，單一系統(tǒng)垂 直擴展模式，擴展能力有限更高的業(yè)務連續(xù)性保障要求，例如7*24 業(yè)務不中斷03快速交付應用內(nèi)部模塊、應用與應用之間耦合度高，使得 軟件開發(fā)和產(chǎn)品服務交付周期長04成本控制02運行風險大型主機運營費用昂貴，商業(yè)產(chǎn)品License 費用高，銀行議價能力低優(yōu)化應用架構、數(shù)據(jù)架構、技術架構，建設靈活開放、高效協(xié)同、安全穩(wěn)定的IT架構體系，強化對業(yè)務快速創(chuàng)新發(fā)展的科技支撐 傳統(tǒng)IT架構挑戰(zhàn)3業(yè)務支撐能力高并發(fā)、可擴展， 海量數(shù)據(jù)存儲及訪問兩地

2、三中心高可用 容災降低使用成本基于通用的廉價的硬 件基礎設施自主可控的能力， 行 內(nèi)適配定制降低商業(yè)產(chǎn)品依賴， 提升議價能力運維能力提升數(shù)據(jù)庫的運維自動/智能化能力更開放的技術體系以利 于自主掌控， 更本地化 的服務支持集中式分布式專有通用商業(yè)開源 開放平臺OLTP轉型的核心訴求及策略4數(shù)據(jù)庫轉型背景轉型的發(fā)展歷程轉型成效后期工作思路01.02.03.04.5分布式原型研究初2016年2017.052017年末2018.122019.01開放平臺數(shù)據(jù)庫轉型規(guī)劃2016.122018.082018.052018.10OLTP分布式數(shù)據(jù)庫研究2018.10架構優(yōu)化及云化部署2019.03OLTP數(shù)

3、據(jù)庫技術路線原型研究階段基礎研究及試點轉型實施及推廣12開源MySQL產(chǎn)品研究3開源MySQL能力建設45基于中間件MySQL分布式上線高可用、運維能力的提升67資源使用效率提升MySQL云化及自助能力建設 工行開放平臺OLTP轉型發(fā)展歷程6分布式OLTP數(shù)據(jù)庫、NewSQL數(shù)據(jù)庫待檢驗開源MySQL在業(yè)界有很豐富的案例從分布式架構角度解決自主可控開源/商業(yè)OLTP分布式數(shù)據(jù)庫分布式架構NewSQL 原型階段方案選型調(diào)研?7應用分布式技術棧分布式批量框架分布式服務分布式事務框架分布式消息開發(fā)及運維管理交易數(shù)據(jù)核對及補償配置中心分布式緩存開源MySQL 原型階段分布式架構技術棧8本地高可用按SE

4、T分組：配置中心設置的路由策略，實現(xiàn)快速自動切換到備節(jié)點數(shù)據(jù)半同步復制：支撐業(yè)務快速恢復，故障時數(shù)據(jù)零損失同城高可用故障切換：配置中心動態(tài)路由，實現(xiàn)同城切換數(shù)據(jù)一致性保障：事件跨園區(qū)雙寫節(jié)點雙園區(qū)數(shù)據(jù)互備事件與備庫數(shù)據(jù)短時間間隔快速比對差錯/可疑數(shù)據(jù)凍結處理（限制服務）補償機制：備庫與在途數(shù)據(jù)比對，找到差異，凍結數(shù)據(jù)進行應用補賬原型階段MySQL高可用9開源MySQL基礎研究及應用試點運維支持產(chǎn)品基礎研究應用開發(fā)設計21個應用211個節(jié)點實現(xiàn)同城RPO=0、RTO=分鐘級目標10分布式訪問層：應用透明/靈活拆分、開源自主可 控支持Hash/Range/List等多種分片算法，可擴展， 滿足垂直

5、數(shù)據(jù)分片、水平數(shù)據(jù)分片、混合分片等場景 數(shù)據(jù)節(jié)點分片擴展支持簡單的跨庫匯集查詢提供類似集中庫的操作體 驗可通過集群解決自身高可用問題分布式 訪問層集群高可用 負載均衡DBLESQL轉換和分發(fā)分片1Shard1 MShard1 S分片2Shard2 MShard2 S分片NShardN MShardN S 分布式中間件引入轉 型 實 施 及 推 廣 階 段DBLE11定制研發(fā)MySQL客戶端組件，分 布式中間件DBLE、數(shù)據(jù)庫管理平臺， 實現(xiàn)組件的聯(lián)動支持節(jié)點狀態(tài)監(jiān)控告警、安裝部署、 高可用自動切換、自動補數(shù)等功能采用開源MySQL和原生態(tài)數(shù)據(jù)復 制技術，一主多備架構，實現(xiàn)多份數(shù) 據(jù)冗余一致性保

6、障節(jié)點Agent節(jié)點Agent運維管理區(qū)域MySQL管理平臺配置系中心統(tǒng)管高理可用管理模塊 性能容量監(jiān)控模塊安裝部署備份恢復服務端口管理端口分布式數(shù)據(jù)訪問層動態(tài)管理MySQL集群數(shù)據(jù)操作狀態(tài)上報系統(tǒng)管理數(shù)據(jù)庫管理動態(tài)管理數(shù)據(jù)操作運維人員業(yè)務系統(tǒng)負載均衡 聯(lián)機OLTP數(shù)據(jù)庫解決方案轉 型 實 施 及 推 廣 階 段12 完善運維管理能力 轉 型 實 施 及 推 廣 階 段監(jiān)控告警故障分析自動巡檢批量部署能力提升自動化安裝部署實現(xiàn)批量安裝部署縮短業(yè)務上線時間監(jiān)控告警建立告警基線建立應急流程故障分析完善日志記錄，采集和分析建立故障分析規(guī)范自動巡檢自動化巡檢和評分報告實例健康狀態(tài)評分13 完善運維管理

7、能力 轉 型 實 施 及 推 廣 階 段自動化高可用決策系統(tǒng)多份數(shù)據(jù)冗余，基于MySQL復制技術（半同步復制）和 多數(shù)派共識機制實現(xiàn)冗余備份通過MySQL binLog日志自動數(shù)據(jù)補全，實現(xiàn)故障切換后 數(shù)據(jù)一致性本地/同城自動化切換，RTO60s，RPO=0，提供業(yè)務 連續(xù)保障 故障自動切換（高可用/一致性）轉 型 實 施 及 推 廣 階 段15主庫 + 本地1臺半同步備庫 + 同城2臺半同步備庫主庫故障時，優(yōu)先切本地；一鍵式同城快速切換本地/同城 RPO=0，RT060s；備注：NBU（NetBackup）備份是Symantec的開放平臺集中備份軟件，將生產(chǎn)系統(tǒng)的數(shù)據(jù)保存到物理磁帶中高可用方

8、案優(yōu)化轉 型 實 施 及 推 廣 階 段16實現(xiàn)異地災備快速切換（RPO、RTO分鐘級）單臺服務器可提供IO能力大幅提升，交易響應 時間提升50% 異地災備和存儲優(yōu)化轉 型 實 施 及 推 廣 階 段17MySQL容器鏡像一鍵式環(huán)境供給能力資源使用效率提升4倍-5倍MySQL容器PAASIAASMySQL上容器轉 型 實 施 及 推 廣 階 段18數(shù)據(jù)庫轉型背景轉型的發(fā)展歷程轉型成效后期工作思路01.02.04.03.19運行情況支撐核心業(yè)務日均交易高達7億，雙11、春節(jié)紅包等特殊節(jié)假日高峰期（ 高達1.5萬TPS）兩地三中心架構，同城RPO=0， RTO60S成本主機壓降明顯，逐年降低商業(yè)數(shù)

9、據(jù)庫使用零增長應用轉型120多個應用，2000多個節(jié)點涉及主機下平臺、Oracle遷移、應用重構等多種場景自主能力分布式框架+MySQL的應用 級分布式解決方案MySQL聯(lián)機交易分布式數(shù)據(jù) 庫 工行開放平臺OLTP轉型實施效果轉 型 實 施 及 推 廣 階 段20典型實施案例個人賬戶平臺轉 型 實 施 及 推 廣 階 段應用特征交易特征：高并發(fā)、低延時，日均交易量3億，交易延 時100ms；7*24聯(lián)機服務，高可用架構：同城分片雙活實施效果：日均交易量1億以上服務路由本地高可用自動化切換，RPO=0,RTO30s同城高可用切換：人工決策、一鍵式切換 RTO分鐘級21應用特征交易特征：高并發(fā)、低延時，日均交易量2億， 交易延時10ms；業(yè)務數(shù)據(jù)量20T，7*24聯(lián)機服 務，高可用架構：MySQL分庫分表，應用雙活實施效果：日均交易量1億以上分庫分表，一致性Hash算法、智能路由，128個分 片，合并部署日間聯(lián)機（讀）、夜