互聯(lián)網(wǎng)架構轉型中的數(shù)據(jù)庫實踐

1、互聯(lián)網(wǎng)架構轉型中的數(shù)據(jù)庫實踐業(yè)務由簡單到復雜，數(shù)據(jù)量由小到大，如何提升擴展性DBA能力/人力沒有跟上業(yè)務高速發(fā)展核心數(shù)據(jù)共享，異構數(shù)據(jù)共享研發(fā)人員眾多，數(shù)據(jù)安全、效率、規(guī)范的挑戰(zhàn)很大數(shù)據(jù)是企業(yè)核心資產(chǎn)，如何提高數(shù)據(jù)庫容災能力互聯(lián)網(wǎng)數(shù)據(jù)庫發(fā)展經(jīng)歷的痛點集中存儲垂直拆分 水平拆分分布式數(shù)據(jù)庫DBA支持工作流+DBA自助化數(shù)據(jù)管 理人工運維CMDB+工具半自 動平臺自動化、 智能化管控集中存儲工具拉取數(shù)據(jù)傳輸數(shù)據(jù)庫擴展性數(shù)據(jù)管理數(shù)據(jù)庫運維數(shù)據(jù)孤島腳本工具平臺、任務數(shù)據(jù)庫管控平 臺、數(shù)據(jù)庫備 份平臺數(shù)據(jù)庫容災阿里巴巴數(shù)據(jù)庫生態(tài)的發(fā)展業(yè)務少、庫 少、體量小業(yè)務多、體量 大、維護人員少穩(wěn)定、安全、 效率要

2、求高阿里巴巴分布式數(shù)據(jù)庫的前生今世痛點解決思路(核心能力)產(chǎn)品發(fā)展業(yè)務發(fā)展-數(shù)據(jù)存儲與計算 能力擴展水平拆分-DBA成本、應用改 造成本業(yè)務增速快復雜-擴容成本高業(yè)務復雜、讀寫混合-主庫成 為瓶頸多維度數(shù)據(jù)操作-跨分片事務跨分片唯一性-全局唯一主鍵分布式數(shù)據(jù)庫拆分方式豐富，對應用透明平滑擴容、透明升配透明讀寫分離分布式事務全局唯一數(shù)字ID分布式數(shù)據(jù)庫DRDS典型場景分布式數(shù)據(jù)庫DRDS典型客戶案例面臨問題u電信運營商號碼業(yè)務、資源卡業(yè)務體量 大，發(fā)展速度快，存儲擴展性是潛在瓶 頸u數(shù)據(jù)庫拆分后的應用改造成本高解決方案uDRDS提升存儲擴展能力和計算能力u 訪問應用透明、平滑擴容、透明升配、透

3、明讀寫分離解決了客戶應用改造成本高 的問題阿里巴巴數(shù)據(jù)傳輸?shù)那吧袷劳袋c解決思路(核心能力)產(chǎn)品發(fā)展MySQL單線程復制主從延 遲單元化項目-不同單元之間 進行數(shù)據(jù)交互、同步數(shù)據(jù)庫拆分-下游消費數(shù)據(jù) 工作量大核心數(shù)據(jù)共享-同構、異構 數(shù)據(jù)庫同步難硬件、網(wǎng)絡改造-數(shù)據(jù)庫遷 移成本高數(shù)據(jù)生產(chǎn)到數(shù)據(jù)消費-需求 增長、成本增加DRC支持并行應用日志支持數(shù)據(jù)同步支持數(shù)據(jù)訂閱支持數(shù)據(jù)實時同步支持數(shù)據(jù)同構、異構數(shù)據(jù) 庫遷移支持數(shù)據(jù)實時訂閱數(shù)據(jù)傳輸DTS的架構數(shù)據(jù) 遷移數(shù)據(jù) 同步數(shù)據(jù) 訂閱文件 遷移數(shù)據(jù)庫大數(shù)據(jù)/存儲SQL/CSV應用 程序云數(shù)據(jù)庫服務Apsara DB大數(shù)據(jù)產(chǎn)品ECS自建數(shù)據(jù)庫用戶IDC數(shù)據(jù)

4、庫集團、螞蟻支持數(shù)據(jù)源及目標l數(shù)據(jù)源：MySQL、Oracle、SQLServer、 PostgreSQL、MongoDB、Redisl數(shù)據(jù)目標：MySQL 、Oracle、DRDS、ADS、Oceanbase、SQLServer、PostgreSQL、 MongoDB、Redis、MaxCompute、DataHub數(shù)據(jù)傳輸DTS客戶案例-Oracle客戶上云面臨主要問題u本地的 Oracle 數(shù)據(jù)庫是客戶業(yè)務的性能瓶頸，活動時，Oracle 上的存儲過程占用了實例將近 80% 的 CPUu要求在系統(tǒng)持續(xù)運行、不停機的情況下將 Oracle 上業(yè)務遷移 到阿里云 DRDS解決方案u通過 DT

5、S 搭建 Oracle 到 DRDS 實例間的實時同步鏈路，保 證 DRDS 與 Oracle 數(shù)據(jù)實時同步u在 DRDS 和 Oracle 實例間的數(shù)據(jù)保持實時同步后，業(yè)務選擇任一時刻，將部分流量切換到阿里云上的 DRDSu通過 DTS，將 DRDS 上產(chǎn)生的業(yè)務流量回流回 Oracle,Oracle 和 DRDS 在業(yè)務完成割接期間互為災備，保證業(yè)務連 續(xù)性阿里巴巴數(shù)據(jù)管理的前生今世痛點解決思路(核心能力)產(chǎn)品發(fā)展資源管理比較原始-管理成 本高Oracle-MySQL-分庫分表 變更成本高SQL審核、DDL變更量成倍 增加-DBA成為瓶頸DBA與研發(fā)交互成本高-DBA 成為瓶頸數(shù)據(jù)安全、權

6、限控制要求 高-原生權限粒度不夠細企業(yè)數(shù)據(jù)庫類型多-對人員 能力要求高實例統(tǒng)一管理規(guī)則+流程自助變更規(guī)則+流程自動審核變更非運維操作規(guī)則化、自助化統(tǒng)一入口、多維度權限細 化、全操作審計日志廣泛數(shù)據(jù)源支持數(shù)據(jù)管理DMS架構與案例企業(yè)級數(shù)據(jù)庫DevOps架構統(tǒng)一 入口員工流程規(guī)則元數(shù) 據(jù)員工流程規(guī)則元數(shù) 據(jù)企 業(yè) A企 業(yè) B企業(yè)A 數(shù)據(jù) 庫企業(yè)B 數(shù)據(jù) 庫僅限辦公網(wǎng)內(nèi)訪問生產(chǎn)數(shù)據(jù)人員庫表權限細粒度，每次返回最多100行字段分級，避免不必要敏感數(shù)據(jù)接觸實例級別安全規(guī)則設置，保障安全與效率變更全在線管理，操作日志隨時審計能有效提高研發(fā)效率，減少與DBA交互DMS客戶案例混合云數(shù)據(jù)庫管理HDM架構與能

7、力核心能力l打通混合云(云下 IDC、云上)數(shù)據(jù)庫架 構l多環(huán)境統(tǒng)一管理l自動化運維低成本l容災切換l快速彈性擴容l一鍵切換l穩(wěn)定、容災、彈性Dashboard實時大盤異常大盤資源大盤性能大盤集群管理集群概覽集群性能集群對比結構同步資源發(fā)現(xiàn)實例接入售前管理架構拓撲實例識別彈性擴展克隆到云 上克隆到本地切換到云上切換到本地容災建設熱備建設冷備恢復自動切換數(shù)據(jù)質(zhì)量本地IDCMySQLSQLOracl ServereMongoDBRedisOther s云上自 建數(shù)據(jù) 庫RDS/DR DS產(chǎn)品發(fā)展數(shù)據(jù)庫備份DBS架構與能力產(chǎn)品優(yōu)勢l秒級RPO:支持實時增量數(shù)據(jù)備份，最大程度避免數(shù)據(jù)丟失l表級RTO:

8、支持單表恢復，大大縮短故障恢復時間l自動生命周期管理:用戶自定義規(guī)則，備份集自動轉存和過期清理l高安全:用戶自定義秘鑰，數(shù)據(jù)全程加密傳輸，OSS加密存儲l高可靠：多副本存儲l低成本:按需付費，無需提前規(guī)劃并進行前期大筆投資后續(xù)計劃l壓縮l流控l合規(guī)解決方案對象存儲 OSS（用戶）標準存儲 低頻訪問存儲歸檔存儲管控節(jié)點服務節(jié)點無需大量前期成本、實時 增量數(shù)據(jù)備份、單表恢 復、自動轉存清理、加密數(shù)據(jù)庫（關系型數(shù)據(jù)庫、NoSQL等）企業(yè)數(shù)據(jù)中心/其他云廠商/公網(wǎng)阿里云阿里云數(shù)據(jù)庫（ECS自建數(shù)據(jù)庫、RDS等）生產(chǎn)數(shù)據(jù)生產(chǎn)數(shù)據(jù)備份DBS云存儲專線互聯(lián)網(wǎng)VPC、經(jīng)典網(wǎng)絡降低 成本基于HDM、DBS、DT

9、S的容災解決方案提供多層級數(shù)據(jù)庫容災方案考量：RPO，RTO，成本，擴展性覆蓋數(shù)據(jù)庫容災的各種需求容災建設，監(jiān)控容災演練容災切換，數(shù)據(jù)校驗及修復HDM 一鍵切換構建數(shù)據(jù)庫異地容災的完整體系ECS自建數(shù)據(jù)庫數(shù)據(jù)管理服務DMSMySQL云外數(shù)據(jù)庫MySQLSQLServerOracleMongoDBRedis阿里云數(shù)據(jù)庫引擎數(shù)據(jù)上云數(shù)據(jù)傳輸DTS數(shù)據(jù)回流數(shù)據(jù)遷移數(shù)據(jù)庫備份DBS混合云數(shù)據(jù)庫管理HDM數(shù)據(jù)同步數(shù)據(jù)訂閱ADAM關系型SQLServerPostgreSQ LPPASNoSQLRedisMongoDBHbaseHybird APHybirdDB(PostgreSQL)HybirdDB(MySQL)ADS分布式數(shù)據(jù)庫分布式關系型數(shù)據(jù)庫 服務 DRDSPolarDB自建數(shù)據(jù)庫TableStoreMemcach e時序數(shù)據(jù)庫 HiTS