分布式數(shù)據(jù)庫技術架構(gòu)的演變與發(fā)展方向課件

分布式數(shù)據(jù)庫技術架構(gòu)演變與發(fā)展方向CSDN數(shù)據(jù)庫核心技術與應用實戰(zhàn)峰會分布式數(shù)據(jù)庫技術架構(gòu)的演變與發(fā)展方向目錄/ContentsPartone分布式數(shù)據(jù)庫技術架構(gòu)分類ParttwoPartthreePartfour企業(yè)為何需要分布式數(shù)據(jù)庫企業(yè)典型業(yè)務場景分布式數(shù)據(jù)庫的技術架構(gòu)演變Partfive分布式數(shù)據(jù)庫技術架構(gòu)的未來方向Partsix數(shù)據(jù)庫行業(yè)十三五預測分布式數(shù)據(jù)庫技術架構(gòu)的演變與發(fā)展方向分布式數(shù)據(jù)庫技術架構(gòu)分類分布式數(shù)據(jù)庫技術架構(gòu)的演變與發(fā)展方向分布式數(shù)據(jù)庫技術架構(gòu)分類OralceRACMySQLClusterVerticaGreenPlumHBaseMongoDB分布式數(shù)據(jù)庫技術架構(gòu)的演變與發(fā)展方向分布式數(shù)據(jù)庫技術架構(gòu)分類MySQLProxyTDDLAtlasD-RDSOceanBaseHotDBFabricCDBCobar2005年---2015年分布式數(shù)據(jù)庫技術架構(gòu)的演變與發(fā)展方向企業(yè)為何需要分布式數(shù)據(jù)庫分布式數(shù)據(jù)庫技術架構(gòu)的演變與發(fā)展方向企業(yè)為何需要分布式數(shù)據(jù)庫易擴展海量用戶海量數(shù)據(jù)高可靠高性能高并發(fā)業(yè)務要求分布式數(shù)據(jù)庫技術架構(gòu)的演變與發(fā)展方向企業(yè)為何需要分布式數(shù)據(jù)庫分布式數(shù)據(jù)庫技術架構(gòu)的演變與發(fā)展方向私有云數(shù)據(jù)創(chuàng)造價值分布式開源產(chǎn)品硬件平民化自主研發(fā)自動化企業(yè)信息化發(fā)展的趨勢企業(yè)為何需要分布式數(shù)據(jù)庫分布式數(shù)據(jù)庫技術架構(gòu)的演變與發(fā)展方向企業(yè)典型業(yè)務場景分布式數(shù)據(jù)庫技術架構(gòu)的演變與發(fā)展方向企業(yè)典型業(yè)務場景目標說明指標分解海量數(shù)據(jù)系統(tǒng)運行一年之后數(shù)據(jù)總量：120T每年數(shù)據(jù)增量：小于等于20%，也即第一年數(shù)據(jù)最大增量：24T單應用數(shù)據(jù)20T以上單表有20億條記錄(大省的在1億+條記錄)系統(tǒng)正常運行后，不做任何數(shù)據(jù)存儲調(diào)整或二次拆分的情況下，支撐業(yè)務數(shù)據(jù)持續(xù)增長年限：3年高可用數(shù)據(jù)庫可用性達到99.99%，即每年僅允許有累計53分鐘的不可用時間；定期維護（包括部署）除外要求可在線數(shù)據(jù)備份，時間少于11小時（22：00～08：00）失敗切換時間小于10s故障恢復時間小于30分鐘數(shù)據(jù)復制延遲時間（本地：1s，異地：1分鐘）本地同步時，數(shù)據(jù)丟失量小于1筆交易高性能要求支撐5+個應用的全國訪問支持的并發(fā)量大于2萬數(shù)據(jù)庫交易量大于10萬/s響應時間<1s最大響應時間<10sQPS大于30萬可擴展當數(shù)據(jù)量或系統(tǒng)負載超過我們3年規(guī)劃之后，大部分業(yè)務系統(tǒng)可通過增加物理服務器節(jié)點的方式，達到支持業(yè)務的持續(xù)發(fā)展或性能線性提高要求性能可擴展要求容量可擴展數(shù)據(jù)遷移時可通過規(guī)劃和技術手段，能做到不影響數(shù)據(jù)庫提供數(shù)據(jù)服務的質(zhì)量增加物理服務器節(jié)點，對應用模塊透明，不需要修改任何代碼要求可在線擴展，擴展時間/對業(yè)務的影響時間（如性能下降時間）小于10小時擴展的線性度應該大于70%多中心要求兩地三中心數(shù)據(jù)容災及數(shù)據(jù)服務要求在線，且數(shù)據(jù)中心的每個節(jié)點都可以提供服務數(shù)據(jù)同步延遲最長時間小于1分鐘數(shù)據(jù)服務切換最大時間小于3分鐘業(yè)務服務切換最大時間小于10分鐘數(shù)據(jù)丟失量小于100筆交易不同機房的業(yè)務數(shù)據(jù)庫組之間，能做到數(shù)據(jù)異步互相復制；同一份數(shù)據(jù)，同一時刻只有一個數(shù)據(jù)中心應用模塊能對其進行修改，但是全網(wǎng)的數(shù)據(jù)中心都可同時對其進行只讀操作電信行業(yè)某集團總部去IOE項目分布式數(shù)據(jù)庫技術架構(gòu)的演變與發(fā)展方向目標說明指標分解高并發(fā)2013年單量：平時N00萬，高峰NE00萬

2013年操作平臺TPS須大于270002014年單量：平時M000萬，高峰M000萬

2014年操作平臺TPS須大于400002015年單量：平時DF00萬，高峰D000萬2015年操作平臺TPS須大于60000網(wǎng)點數(shù)量：12000+

PDA終端：10W+

子系統(tǒng)PC終端：4個+/網(wǎng)點

接入平臺集群應用服務數(shù)量：YX0個+

數(shù)據(jù)庫連接數(shù)2100/實例（操作平臺占130個）

2014年峰值單量M000W，全國12000個網(wǎng)點。

操作平臺N00W單量，優(yōu)化前：數(shù)據(jù)寫入：INSERTKL億次/天數(shù)據(jù)刪除：DELETEKX億次/天操作平臺N00W單量，優(yōu)化后：數(shù)據(jù)寫入：INSERTX億次/天數(shù)據(jù)刪除：DELETEY億次/天高可用數(shù)據(jù)庫可用性達到99.99%數(shù)據(jù)服務或應用服務的任意一個節(jié)點宕機，

不影響業(yè)務系統(tǒng)服務應用展開服務達到99.99%數(shù)據(jù)庫中間件達到99.99%應用對列服務達到99.99%故障切換時間小于10秒業(yè)務系統(tǒng)整體每年僅允許有累計53分鐘的

不可用時間，定期維護（包括部署）除外故障恢復時間小于5分鐘數(shù)據(jù)庫的數(shù)據(jù)復制延遲時間小于1秒伸縮性應用服務任意增減

支持對操作平臺中的展開應用服務節(jié)點和數(shù)據(jù)庫實例進行動態(tài)擴展；對數(shù)據(jù)庫與應用服務解耦后，調(diào)整數(shù)據(jù)節(jié)點或應用節(jié)點，互相不影響

業(yè)務系統(tǒng)的正常服務。數(shù)據(jù)庫節(jié)點任意增減負載均衡應用服務支持集群化部署應用集群中的節(jié)點可任意增減數(shù)據(jù)服務支持集群化部署數(shù)據(jù)服務集群中的數(shù)據(jù)庫節(jié)點可任意增減快遞物流行業(yè)去IOE項目企業(yè)典型業(yè)務場景分布式數(shù)據(jù)庫技術架構(gòu)的演變與發(fā)展方向8對X86服務器組成的MySQL數(shù)據(jù)庫存儲層HotDBHotDBExpress_appExpress_appExpress_appxxx_app_1xxx_app_2mmm_app_1mmm_app_2nnn_app_1nnn_app_2快遞物流行業(yè)去IOE項目某某速遞的運單數(shù)據(jù)公共服務的業(yè)務數(shù)據(jù)指標，如下：平均每天1000萬以上運單數(shù)據(jù)產(chǎn)生；平均每天8000萬次以上INSERT操作；平均每天1.2億次以上SELECT操作；平均每天1000萬以上UPDATE操作；數(shù)據(jù)保存生命周期

年，每月產(chǎn)生業(yè)務數(shù)據(jù)GB以上，總數(shù)據(jù)容量TB以上；125002企業(yè)典型業(yè)務場景分布式數(shù)據(jù)庫技術架構(gòu)的演變與發(fā)展方向分布式數(shù)據(jù)庫的技術架構(gòu)演變分布式數(shù)據(jù)庫技術架構(gòu)的演變與發(fā)展方向分布式數(shù)據(jù)庫的技術架構(gòu)演變SSSS分布式數(shù)據(jù)庫技術架構(gòu)的演變與發(fā)展方向分布式數(shù)據(jù)庫的技術架構(gòu)演變MySQL_Server_1MySQL_Server_2MySQL_ClientJavaMySQL_Cluster_NDB_Management_ServerNDBManagementClientndb_mgm負載均衡設備MySQL_Cluster_SQL_NodeMySQL_Cluster_Data_Nodendbd_1ndbd_2ndbd_3ndbd_4節(jié)點宕機，集群內(nèi)配對節(jié)點接管SQL節(jié)點宕機，負載均衡設備控制不向其發(fā)送數(shù)據(jù)操作請求MySQL_Server_1增加處理節(jié)點ndbd_5ndbd_6增加數(shù)據(jù)節(jié)點分布式數(shù)據(jù)庫技術架構(gòu)的演變與發(fā)展方向分布式數(shù)據(jù)庫的技術架構(gòu)演變OracleDiamond

配置中心IbatisSpingJDBCTemplatetddlmatrixds(TDataSource)tddlgroupdstddlatomds(withjbossds)JDBCDriverHibernate業(yè)務邏輯OracleMySQLMySQLIbatisSpingJDBCTemplatetddlmatrixds(TDataSource)tddlgroupdstddlatomds(withjbossds)JDBCDriverHibernate業(yè)務邏輯分布式數(shù)據(jù)庫技術架構(gòu)的演變與發(fā)展方向分布式數(shù)據(jù)庫的技術架構(gòu)演變ClientClientClientClientClient數(shù)據(jù)庫中間件在線雙主在線雙主在線雙主SMSMSM分布式數(shù)據(jù)庫技術架構(gòu)的演變與發(fā)展方向分布式數(shù)據(jù)庫技術架構(gòu)的未來方向分布式數(shù)據(jù)庫技術架構(gòu)的演變與發(fā)展方向分布式數(shù)據(jù)庫技術架構(gòu)的未來方向應用連接池數(shù)據(jù)庫連接池MySQLProtocol通信層（NIO/AIO/BIO）事務協(xié)調(diào)組件數(shù)據(jù)同步組件數(shù)據(jù)遷移組件資源管理組件HA檢測組件SQL優(yōu)化組件SQL路由組件SQL解析組件MySQLProtocol通信層（NIO/AIO）ApplicationApplication集群管理組件

Manager會話管理心跳管理內(nèi)存管理線程管理………..監(jiān)控&管理存儲層MySQLMySQLMySQLMySQLMySQLMySQLMySQLMySQLGROUPBY聚合組件結(jié)果集合并組件ORDERBY排序組件SQL執(zhí)行組件現(xiàn)在分布式數(shù)據(jù)庫技術架構(gòu)的演變與發(fā)展方向分布式數(shù)據(jù)庫技術架構(gòu)的未來方向企業(yè)生產(chǎn)在線交易系統(tǒng)，即OLTP業(yè)務場景經(jīng)過企業(yè)級驗證，成熟穩(wěn)定主流開源數(shù)據(jù)庫產(chǎn)品MySQL海量數(shù)據(jù)存儲海量用戶訪問業(yè)務場景數(shù)據(jù)分片垂直拆分水平拆分智能分片算法應用透明單一的數(shù)據(jù)訪問服務屏蔽數(shù)據(jù)拆分的復雜邏輯應用服務透明服務質(zhì)量高可用高并發(fā)高性能分布式數(shù)據(jù)庫技術架構(gòu)的演變與發(fā)展方向業(yè)務需求節(jié)點管理實例管理數(shù)據(jù)庫管理統(tǒng)一訪問管理設備管理備份管理日志管理系統(tǒng)管理業(yè)務流程租戶管理策略管理自動化管理監(jiān)控管理性能管理告警管理安全管理統(tǒng)一訪問入口數(shù)據(jù)庫標準協(xié)議多租戶隔離一鍵開通服務能力透明化服務消費可度量數(shù)據(jù)服務透明服務可擴展服務需求分布式數(shù)據(jù)庫技術架構(gòu)的未來方向分布式數(shù)據(jù)庫技術架構(gòu)的演變與發(fā)展方向二地三中心多活HotDB_server_1aHotDB_server_1bHotDB_Cluster_內(nèi)蒙HotDB_server_1aHotDB_server_1bHotDB_Cluster_廊坊HotDB_server_1aHotDB_server_1bHotDB_Cluster_北京內(nèi)蒙->北京ReplicateData北京->內(nèi)蒙ReplicateData廊坊->內(nèi)蒙ReplicateData內(nèi)蒙->廊坊ReplicateData北京->廊坊ReplicateData廊坊->北京ReplicateDatadb1adb1bDatabase_Server_Cluster內(nèi)蒙db2adb2bdbnadbnbdb1adb1bDatabase_Server_Cluster廊坊

db2adb2bdbnadbnbdb1adb1bDatabase_Server_Cluster北

京

db2adb2bdbnadbnb分布式數(shù)據(jù)庫技術架構(gòu)的未來方向分布式數(shù)據(jù)庫技術架構(gòu)的演變與發(fā)展方向數(shù)據(jù)庫行業(yè)十三五預測分布式數(shù)據(jù)庫技術架構(gòu)的演變與發(fā)展方向數(shù)據(jù)庫行業(yè)十三五預測國產(chǎn)數(shù)據(jù)庫進入死亡期分布式數(shù)據(jù)庫技術像虛擬化一樣普及自主研發(fā)與開源數(shù)據(jù)庫融合獨霸天下實力派中型和大型企業(yè)數(shù)據(jù)庫私有云化分析型數(shù)據(jù)庫NotonlySQL中小企業(yè)數(shù)據(jù)庫公有云化未來現(xiàn)在分布式數(shù)據(jù)庫技術架構(gòu)的演變與發(fā)展方向分布式數(shù)據(jù)庫技術架構(gòu)的演變與發(fā)展方向公司名稱：上海熱璞網(wǎng)絡科技有限公司公司地址：上海市閔行區(qū)先鋒街25號寶納大廈9樓C座公司電