云時代數(shù)據(jù)遷移與容災(zāi)技術(shù)的應(yīng)用

1、云時代數(shù)據(jù)遷移與容災(zāi)技術(shù)的應(yīng)用技術(shù)創(chuàng)新 變革未來Agenda現(xiàn)狀和問題云時代的機(jī)會阿里云的新進(jìn)展應(yīng)用案例2014年 xx銀行核心數(shù)據(jù)庫出現(xiàn)故障，導(dǎo)致存取款、網(wǎng)銀、ATM等業(yè)務(wù)全部中 斷長達(dá)37小時。2017年 xx游戲數(shù)據(jù)庫故障，30小時無法服務(wù)，數(shù)據(jù)丟失，導(dǎo)致游戲回檔2018年 xx著名代碼托管服務(wù)商數(shù)據(jù)庫故障，24小時無法服務(wù)Murphys Law:If something can go wrong, it will.問題3650 3571 3669 3813 39914165 4341 44493238300040005000Revenue in million U.S.dollarsW

2、orldwide revenue from backup and recovery software between 2007 and 2015 (in million U.S. dollars)2000100002007 2008 2009 2010 2011 2012 2013 2014 2015Source: Statista,2017 亞太區(qū)400個企業(yè)中，超過34%在一年內(nèi)發(fā)生過系統(tǒng)中斷，而其中最主要的因素包括自然災(zāi)害、硬件故障、電力故障、網(wǎng)絡(luò)故障、軟件故障及人為操作 2015年備份恢復(fù)軟件收入達(dá)到44.49億美元遷移容災(zāi)現(xiàn)狀國家標(biāo)準(zhǔn)信息系統(tǒng)災(zāi)難恢復(fù)規(guī)范(GB/T 209882007

3、 )遷移容災(zāi)規(guī)范邏輯數(shù)據(jù)復(fù)制利用第三方軟件或應(yīng)用系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)復(fù)制 利用數(shù)據(jù)庫系統(tǒng)本身實(shí)現(xiàn)數(shù)據(jù)庫遠(yuǎn)程復(fù)制 利用備份系統(tǒng)將備份數(shù)據(jù)異地保存物理數(shù)據(jù)復(fù)制利用操作系統(tǒng)軟件或復(fù)制設(shè)備實(shí)現(xiàn)數(shù)據(jù)遠(yuǎn)程復(fù)制或鏡像 利用存儲系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)遠(yuǎn)程復(fù)制利用數(shù)據(jù)庫備份工具數(shù)據(jù)量應(yīng)用復(fù)雜度實(shí)時性數(shù)據(jù)庫兼容性目的庫可用邏輯復(fù)制少透明高好可用物理復(fù)制少or多透明低or高差不可用數(shù)據(jù)復(fù)制技術(shù)現(xiàn)狀云時代的機(jī)會云時代的變化由于云，玩法變了場景（上云、合規(guī)、出海、多活、混合云、云備份）網(wǎng)絡(luò)（VPC、專線、網(wǎng)關(guān)）技術(shù)（劣網(wǎng)傳輸、秒級RPO、快照技術(shù)、備份數(shù)據(jù)集查詢）云服務(wù)本地自建庫訂閱消費(fèi)XGW互聯(lián)網(wǎng)私網(wǎng)VPC反向訪問邊界路由專線VPN網(wǎng)

4、關(guān)互聯(lián)網(wǎng)反向訪問ALB公網(wǎng) VIP私網(wǎng) VIPVPC VIP云時代的網(wǎng)絡(luò)架構(gòu)阿里云管控?cái)?shù)據(jù)同步數(shù)據(jù)遷移數(shù)據(jù)訂閱數(shù)據(jù)備份數(shù)據(jù)恢復(fù)阿里云的思考數(shù)據(jù)緩存Redis/Memcache文檔型數(shù)據(jù)MongoDB關(guān)系型數(shù)據(jù)庫RDSMySQL/SQL Server/PostgreSQL/PPAS分布式擴(kuò)展DRDS時序/時空數(shù)據(jù)TSDB海量數(shù)據(jù)存儲HBase在線應(yīng)用時序/時空數(shù)據(jù)(IoT、監(jiān)控、時空信息)實(shí)時數(shù)據(jù)處理關(guān)系數(shù)據(jù)緩存/KV數(shù)據(jù)云原生數(shù)據(jù)庫PolarDB PolarDB-X圖數(shù)據(jù)GraphDB文檔數(shù)據(jù)圖數(shù)據(jù)DTS數(shù)據(jù)同步/分發(fā)數(shù)據(jù)上云云外數(shù)據(jù)庫數(shù)據(jù)庫備份DBSMySQL/MariaDBSQL Serv

5、erOracleMongoDBDB2PGRedis分析型數(shù)據(jù)庫:交互式在線分 析AnalyticDB數(shù)據(jù)湖服務(wù) Data Lake Analytics (for OSS/OTS)多模數(shù)據(jù)分析HBase+X-Pack數(shù)據(jù)管理DMS數(shù)據(jù)庫開發(fā)者工作臺結(jié)構(gòu)設(shè) 計(jì)數(shù)據(jù)訪問數(shù)據(jù)分析智能診斷優(yōu) 化數(shù)據(jù)庫實(shí)驗(yàn) 室企業(yè)數(shù)據(jù)庫研發(fā)管理套件研發(fā)規(guī)則流程規(guī)范引擎管控權(quán)限 管控任務(wù) 管控?cái)?shù)據(jù)同步與傳輸DTS混合云數(shù)據(jù)庫管 理HDM混合云數(shù)據(jù)同 步數(shù)據(jù)同步與傳輸DTS數(shù)據(jù)高速公路 - DTSDTS核心模塊日志解析能力日志解析DReader冪等同步DTS Any To Any 架構(gòu)解決one to one數(shù)據(jù)源的開發(fā)困境

6、，做到加入一個新的源庫解析，到所有目的通道全支持，加入一個新的目的寫入，所有源到這個目的通道全支持。分布式解析和同步數(shù)據(jù)庫時光機(jī) - DBS APIPortalNodeFMSIncDBS核心模塊HA &MasterPipeline MetaBuilderParquet format MetaBuilder Schema snapshot &NC CRCPipeline &PluginActor modelHot upgrade切片算法 斷點(diǎn)續(xù)傳秒 級 RPO沖突&冪等算法 任意點(diǎn)恢復(fù)單表恢復(fù)物理備份POP通信熱升級DBS gentFullSchemaPhasical backupDBS 秒級備

7、份靈活易用的解決可訪問數(shù)據(jù)庫的備份與恢復(fù)問題DBS 物理備份雙十一大屏阿里云Region單元化基于DTS搭建的銀泰新零售混合云某新零售公司異地多活某用戶備份數(shù)據(jù)在線查詢某集成商集成DBSECSECSECS集成商服務(wù)器端DBSOSSEAIDC集成商AgentDBS AgentDBEAIDC集成商AgentDBS AgentDB集成商AgentDBDBS Agent用戶IDC阿里云OPEN API互聯(lián)網(wǎng)公司緩存更新業(yè)務(wù)解耦某小視頻公司業(yè)務(wù)數(shù)據(jù)實(shí)時解析場景說明：用戶需要實(shí)時或定期對線上業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)分析，以實(shí)現(xiàn)營銷決策，業(yè)務(wù)大屏，實(shí)時查詢等業(yè)務(wù)場景解決方案：使用數(shù)據(jù)同步或者訂閱功能，將線上業(yè)務(wù)變更數(shù)據(jù)準(zhǔn)實(shí)時同步到大數(shù)據(jù)分析產(chǎn)品中，業(yè)務(wù)實(shí)現(xiàn)準(zhǔn)實(shí)時數(shù)據(jù)分析，快速搶占商務(wù)先機(jī)應(yīng)用（上游