傅翠云--異地多活數(shù)據(jù)流基礎(chǔ)設(shè)施DRC V3.1

1、異地多活數(shù)據(jù)流基礎(chǔ)設(shè)施異地多活數(shù)據(jù)流基礎(chǔ)設(shè)施DRC- - - - - - 雙11支持571億交易額背后的武器自我介紹 專注于DRC（data replication center） 目前負(fù)責(zé)產(chǎn)品規(guī)劃和架構(gòu)設(shè)計(jì) 在數(shù)據(jù)庫(kù)，高可用，分布式經(jīng)驗(yàn)比較豐富Agenda DRC介紹 DRC在異地多活 DRC在更多數(shù)據(jù)架構(gòu) DRC在云端如果你是阿里云用戶？如果你是阿里云用戶？場(chǎng)景1：跨域同步RDS美國(guó)美國(guó)RDS杭州杭州RDSreplication場(chǎng)景2：接入異構(gòu)數(shù)據(jù)迭代、迭代、迭代迭代、迭代、迭代場(chǎng)景3：訂閱增量數(shù)據(jù)APP可擴(kuò)展性可擴(kuò)展性 一致性一致性穩(wěn)定性穩(wěn)定性 實(shí)時(shí)性實(shí)時(shí)性備份、通知備份、通知數(shù)據(jù)流基礎(chǔ)

2、設(shè)施數(shù)據(jù)流基礎(chǔ)設(shè)施DRCDRC是什么原生復(fù)制原生復(fù)制卡夫卡卡夫卡標(biāo)準(zhǔn)消息標(biāo)準(zhǔn)消息同步同步 異構(gòu)異構(gòu)高可用高可用實(shí)時(shí)實(shí)時(shí)分發(fā)分發(fā)Data Replication Center數(shù)據(jù)管道層數(shù)據(jù)管道層Master DBSlave DBMaster DBSlave DBDRC Store（抓取）（抓?。〥RC Congo（同步）（同步）DRC SDK（訂閱）（訂閱）data高可用層高可用層DRC架構(gòu)DRC distributed data集群管理層集群管理層DRC cluster manager統(tǒng)一接入層統(tǒng)一接入層DRC region managerDRC slave storeDRC Store數(shù)據(jù)流

3、基礎(chǔ)設(shè)施DRC 覆蓋阿里所有核心業(yè)務(wù) 服務(wù)于淘寶新一代架構(gòu)淘寶新一代架構(gòu)的核心組件異地多活的武器異地多活的武器DRCDRC淘寶新一代架構(gòu)機(jī)房1城市1機(jī)房2【同城多機(jī)房】只能堆機(jī)器【跨城多機(jī)房】冷備貴且不靠譜， 多寫跨城調(diào)用延遲大，流量無(wú)法切換【阿里異地多活】【阿里異地多活】熱拔插應(yīng)對(duì)業(yè)務(wù)峰值流量實(shí)時(shí)切換數(shù)據(jù)實(shí)時(shí)恢復(fù)機(jī)房3城市2機(jī)房4讀讀/寫寫讀讀只只/ 讀讀 寫寫城市3 讀讀/寫寫城市4 讀讀/寫寫淘寶異地雙活支付買家買家賣家賣家商品商品創(chuàng)建 訂單中心商品 管理庫(kù)存優(yōu)惠物流訂單會(huì)員單元物流商品 管理庫(kù)存優(yōu)惠創(chuàng)建 訂單訂單會(huì)員一致性一致性 實(shí)時(shí)性實(shí)時(shí)性單元 100%中心 100%同步架構(gòu)1 讀寫

4、分離保證實(shí)時(shí)性保證實(shí)時(shí)性 保證一致性保證一致性StoreCongo中心讀寫單元只讀單元100%中心100%同步架構(gòu)2 單元封閉避免循環(huán)復(fù)制避免循環(huán)復(fù)制 避免峰值壓力避免峰值壓力StoreCongoStoreCongo中心流量1-N%單元流量N%DRC核心能力低延遲低延遲高可用高可用一致性一致性一致性 數(shù)據(jù)有序 數(shù)據(jù)不丟 數(shù)據(jù)不錯(cuò) 事務(wù)一致BinlogcommitStoreCongo跨城秒級(jí)延遲挑戰(zhàn)5100ms15ms 0.2ms150ms低延遲 跨城延遲大 事務(wù)相關(guān)、DDL影響并發(fā) 讀歷史會(huì)影響寫實(shí)時(shí) 熱點(diǎn)數(shù)據(jù)阻塞非熱點(diǎn)數(shù)據(jù)BinlogcommitStoreCongo高可用 源和目的主備切換

5、任務(wù)高可用 數(shù)據(jù)高可用 下游隔離 核心隔離 監(jiān)控StoreCongoZookeeperCluster ManagerDistributed dataSlave StoreDRC reloader DRC monitorStoreCongo014年雙十一處理規(guī)模2000+個(gè)實(shí)例實(shí)時(shí)增量 抓取了約100TB的數(shù)據(jù)量峰值每秒每秒處理了30+GB的數(shù)據(jù)量 數(shù)據(jù)同步：除了交易限流限流，核心庫(kù)均無(wú)超過(guò)秒級(jí)延時(shí)無(wú)超過(guò)秒級(jí)延時(shí) 增量訂閱：17000+個(gè)實(shí)時(shí)下游2014年雙十一實(shí)時(shí)性DRCDRC經(jīng)歷經(jīng)歷2次次 雙雙11成功支撐成功支撐571億交易億交易最大延遲最大延遲 不超過(guò)不超過(guò)1秒秒同步距離同步距離 最長(zhǎng)最

6、長(zhǎng)10000公里公里申請(qǐng)申請(qǐng)10項(xiàng)項(xiàng) 專利專利DRCDRC支持更多數(shù)據(jù)架構(gòu)支持更多數(shù)據(jù)架構(gòu)Region2Region1Zone1高可用分布式數(shù)據(jù)庫(kù)Zone2Paxos/DRCZone3DRCStoreStoreCongoCongoCongoCongoRegion2Region1數(shù)據(jù)分發(fā)中心StoreStoreStore離線分析離線分析搜索搜索實(shí)時(shí)計(jì)算實(shí)時(shí)計(jì)算增量中心增量中心消息隊(duì)列消息隊(duì)列StoreSlave storeStoreSlave storeStoreSlave storeDRCDRC在云端在云端遷移上云 覆蓋2014年50%RDS新增實(shí)例 全量+增量，無(wú)縫遷移升級(jí)版 - - - -

7、 - - DTSMySQLmysqldumpmysqlimportOracle25-page document導(dǎo)入/導(dǎo)出SQL LoaderSQL Server7-page document Import/Export向?qū)ulk Copy ProgramPostgreSQL10-page document pg_dump3-page document某全球知名云計(jì)算服務(wù)商阿里云Data Transformation Service 一鍵入云 無(wú)縫遷移 兼容異構(gòu)兼容異構(gòu) 一致校驗(yàn)跨域同步杭州杭州RDS美國(guó)美國(guó)RDS10% RDS replication不支持不支持跨域 DRC支持跨域RDS同步或者容災(zāi)，對(duì)RDS無(wú)入侵無(wú)入侵 限量公測(cè) 杭美RDS實(shí)例之間實(shí)現(xiàn)7*24小時(shí)實(shí)時(shí)同步DRCRDSDRDS增量訂閱 支持RDS和DRDS 通過(guò)SDK訂閱 單機(jī)版 集群版 內(nèi)部客戶： Open search CDP DRDS同步，小表廣播 網(wǎng)聚寶等數(shù)據(jù)搜索 限量公測(cè)DRC sto