傳統(tǒng)企業(yè)數(shù)據(jù)庫上云實(shí)踐

1、阿里云傳統(tǒng)企業(yè)數(shù)據(jù)庫上云實(shí)踐傳統(tǒng)行業(yè)應(yīng)用架構(gòu)的變遷互聯(lián)網(wǎng)分布式應(yīng)用對(duì)數(shù)據(jù)庫挑戰(zhàn)Spring/Struts/SOAJ2EE/.NETWebLogic/WAS/MQOracle/DB2集中數(shù)據(jù)庫小機(jī)，X86，存儲(chǔ)微服務(wù)架構(gòu)容器Swarm/K8S/MesosMySQL/Redis/HBase公有云/私有云/混合云可控發(fā)布，保守運(yùn)維傳統(tǒng)企業(yè)應(yīng)用DevOps/持續(xù)集成互聯(lián)網(wǎng)+分布式應(yīng)用資源數(shù)據(jù)中間件發(fā)布封裝應(yīng)用框架開發(fā)運(yùn)維敏捷性 微服務(wù) 分布式 容器化低成本分布式傳統(tǒng)行業(yè)的互聯(lián)網(wǎng)創(chuàng)新需要什么樣的數(shù)據(jù)庫？自主可控：基于開放架構(gòu)，基于開源的優(yōu)化高可用：跨機(jī)房容災(zāi)，滿足金融級(jí)業(yè)務(wù)系統(tǒng)全天候?qū)ν馓峁┓€(wěn)定可靠的客

2、戶服務(wù)高性能：互聯(lián)網(wǎng)+金融的創(chuàng)新業(yè)務(wù)所需的流量彈性支持云：私有云和公有云互通一致的體感，降低使用和運(yùn)維難度易運(yùn)維：大體量自動(dòng)化、運(yùn)維體系合規(guī)化要求（基線、環(huán)境適配、管理體系等）數(shù)據(jù)安全： 審計(jì)&數(shù)據(jù)強(qiáng)一致性&多中心容災(zāi)部署成本優(yōu)化：IT總體擁有成本必須下降阿里云數(shù)據(jù)庫開放，多機(jī)房容災(zāi)，強(qiáng)一致性，助力科技創(chuàng)新如今，阿里云數(shù)據(jù)庫產(chǎn)品已聚木成林MySQLSQLServer PostgreSQLPPAS(高度兼容Oracle)POLARDB關(guān)系型數(shù)據(jù)庫Relational Database ServiceNoSQL數(shù)據(jù)庫NoSQL Database ServiceRedis MongoDB HBase

3、 Memcache混合分析數(shù)據(jù)庫HTAP DatabaseHybridDBforMySQL HybridDBfor PostgreSQL搜索與時(shí)序數(shù)據(jù)庫Search and time-series DatabaseOpenSearch Elasticsearch HiTSDB數(shù)據(jù)庫服務(wù)與工具Data Backup and MigrationDTS DMS HDMApsaraDB Product Catalog基礎(chǔ)版與云服務(wù)器一樣的成本IaaS的價(jià)格，PaaS的服務(wù)高可用版多項(xiàng)企業(yè)級(jí)功能，包括讀寫分離實(shí)時(shí)升降配置 數(shù)據(jù)加密金融版SQL審計(jì)秒級(jí) 高頻監(jiān)控版本不同，普惠相同從初創(chuàng)企業(yè)到金融巨擘的共同

4、認(rèn)可MySQL金融版內(nèi)置讀寫分離主節(jié)點(diǎn)備節(jié)點(diǎn)備節(jié)點(diǎn)Raft讀(Read)寫(Write)Client讀/寫讀寫分離4/7層代理slaveslavemaster只讀只讀只讀完全兼容MySQL表數(shù)據(jù)類型函數(shù)/存儲(chǔ)過程sql_mode* 無成本遷移*免費(fèi)熱遷移（DTS）數(shù)據(jù)強(qiáng)一致節(jié)點(diǎn)故障機(jī)房故障MySQL金融版產(chǎn)品特征規(guī)格 與性能60核470G3T4核16GMySQL金融版產(chǎn)品規(guī)格MySQL金融版同城多機(jī)房容災(zāi)代理Client代理Client備節(jié)點(diǎn)機(jī)房A主節(jié)點(diǎn)機(jī)房B備節(jié)點(diǎn)機(jī)房CFailover機(jī)房間的延遲帶來的性能損耗不到5%分布式高頻探測網(wǎng)絡(luò)/硬件/OS/數(shù)據(jù)庫 多重監(jiān)控智能決策系統(tǒng)數(shù)據(jù)一致性保護(hù)

5、切換過程，對(duì)上層無感知：新連接直接到備節(jié)點(diǎn)空閑的老連接，自動(dòng)切換到備節(jié)點(diǎn)；事務(wù)中或運(yùn)行中的老連接，等待10s 后切換到備節(jié)點(diǎn)，超時(shí)Kill。三機(jī)房部署災(zāi)備切換新主庫機(jī)房A主節(jié)點(diǎn)機(jī)房B備節(jié)點(diǎn)機(jī)房C網(wǎng)關(guān)/代理（四層/七層）主：上海（三機(jī)房）災(zāi)備：北京（單機(jī)房）Raft協(xié)議，日志同步備節(jié)點(diǎn)機(jī)房A主節(jié)點(diǎn)機(jī)房B備節(jié)點(diǎn)機(jī)房C網(wǎng)關(guān)/代理（四層/七層）主節(jié)點(diǎn)備節(jié)點(diǎn)機(jī)房AMySQL金融版兩地多中心用戶流量Binlog同步DTSDRCMQ金融級(jí)可靠性原理揭秘?cái)?shù)據(jù)復(fù)制的演進(jìn)雙通道binlog復(fù)制拜占庭將軍問題與Raft一致性算法Raft in MySQL負(fù)責(zé)選主、控制復(fù)制關(guān)系Flashback確保數(shù)據(jù)強(qiáng)一致.1.

6、數(shù)據(jù)復(fù)制技術(shù)的演進(jìn)MySQL的日志復(fù)制是異步的，也就是說主備庫客觀上存在延遲。雖然IO_Thread傳輸日志的延遲（大部分所說的延遲都是指SQL_Thread Apply的 延遲）小到幾乎可以忽略不計(jì)，但對(duì)數(shù)據(jù)安全性要求極高的場景下卻存在天然缺 陷。除了延遲導(dǎo)致的日志丟失，當(dāng)Master意外故障時(shí)，沒有來得及復(fù)制到備庫的日 志是不會(huì)在新Master執(zhí)行。但老Master恢復(fù)后，會(huì)對(duì)PendingBinlog執(zhí)行 Engine Commit。導(dǎo)致新老Master數(shù)據(jù)不一致。MySQL原生異步復(fù)制的問題永遠(yuǎn)不知道備庫的數(shù)據(jù)是不是最新異步復(fù)制(一主一備/一主多備)MySQL原生半同步復(fù)制的問題網(wǎng)絡(luò)故

7、障時(shí)，半同步會(huì)降級(jí)成異步（可以設(shè)降級(jí)的延遲時(shí)間）網(wǎng)絡(luò)恢復(fù)后，從節(jié)點(diǎn)異步復(fù)制追數(shù)據(jù)，直到追平后，提升成半同步復(fù)制因此，當(dāng)主節(jié)點(diǎn)宕機(jī)時(shí)，無法判斷從庫當(dāng)前是異步狀態(tài)，還是半同步狀態(tài)，不知道從庫數(shù)據(jù)是 否追平。即：半同步狀態(tài)下，也不能確定備庫的數(shù)據(jù)是不是最新的。AliSQL改進(jìn)：雙通道數(shù)據(jù)復(fù)制主備間有兩條數(shù)據(jù)復(fù)制通道：半同步復(fù)制通道只接收最新的binlog，不回放。網(wǎng)絡(luò)故障就放棄接收，恢復(fù)后不追數(shù)據(jù)，接收最新的binlog異步復(fù)制通道正常按異步復(fù)制邏輯拖取和回放binlog，保持備庫數(shù)據(jù)再現(xiàn)當(dāng)主庫宕機(jī)時(shí)，雙通道模式可以確定性得知，備庫的數(shù)據(jù)是否跟主庫一致雙通道復(fù)制數(shù)據(jù)一致性判斷備庫數(shù)據(jù)一致，放心切換備

8、庫數(shù)據(jù)不一致，根據(jù)不同SLA 做出動(dòng)作，即RTO優(yōu)先時(shí)，可以 切換；RPO優(yōu)先時(shí)，需人工做數(shù) 據(jù)恢復(fù)當(dāng)主庫宕機(jī)時(shí)，備庫 具有確定性狀態(tài)即：異步通道半同步通道網(wǎng)絡(luò)故障區(qū)，放棄同步主庫宕機(jī)點(diǎn)時(shí)間備庫數(shù)據(jù)一致1異步通道半同步通道網(wǎng)絡(luò)故障區(qū)，放棄同步主庫宕機(jī)點(diǎn)時(shí)間備庫數(shù)據(jù)不一致可補(bǔ)償?shù)揭恢?異步通道 半同步通道網(wǎng)絡(luò)故障區(qū)，放棄同步主庫宕機(jī)點(diǎn)時(shí)間備庫數(shù)據(jù)不一致無法補(bǔ)償32.拜占庭將軍問題與分布式一致性算法https:/raft.github.io/MySQL金融版內(nèi)核中引入Raft對(duì)MySQL集群中的主備節(jié)點(diǎn)狀態(tài)進(jìn)行管理協(xié)調(diào)，在故障Failover時(shí)進(jìn)行選主，避免多點(diǎn)寫入。Leader：為主庫，可讀可寫

9、，向Follower發(fā)送日志。Follower：為備庫，只讀，從Leader接收日志Raft分布式一致性算法簡化的Paxos算法，解決拜占庭將軍問題RaftVisualizationSlaveSlaveRaftRoleDatabase RoleStateTermExpiredLeaderMasterread-write1001170526 16:20:09FollowerSlaveread-only1001170526 16:20:09FollowerSlaveread-only1001170526 16:20:09這是節(jié)點(diǎn)的狀態(tài)，包含他們的角色，數(shù)據(jù)庫狀態(tài)，選舉的Term值，以及租約過期時(shí)間

10、。角色 決定了他們的讀寫狀態(tài)，以及日志復(fù)制流向。Raft 分布式一致性協(xié)議MySQL金融版實(shí)現(xiàn)方式內(nèi)核引入Raft分布式一致性算法Master底層維護(hù)了三個(gè)數(shù)據(jù)庫節(jié)點(diǎn)，一主兩備的復(fù)制拓?fù)浣Y(jié)構(gòu)意味著每個(gè)節(jié)點(diǎn)都是全量的數(shù)據(jù)，數(shù)據(jù)庫事務(wù)日志（Log）從主 庫同步復(fù)制到所有的備庫，當(dāng)集群中超過半數(shù)的節(jié)點(diǎn)都寫入成功后，事務(wù)才能完成提交。雖然是同步復(fù)制，但由于是 三個(gè)點(diǎn)，因此單個(gè)節(jié)點(diǎn)的故障不會(huì)影響到實(shí)例整體的可用性。這種設(shè)計(jì)的好處顯而易見，即在不損失可用性的情況下，通過較高的數(shù)據(jù)冗余度來換取更好的可靠性，同時(shí)支持跨機(jī)房的部署方式，具備機(jī)房容災(zāi)能力。分布式一致性復(fù)制三節(jié)點(diǎn)強(qiáng)同步復(fù)制數(shù)據(jù)安全安全是根植于阿里云內(nèi)核的原生功能事前VPC專有網(wǎng)絡(luò)IP白名單防暴力破解靈活賬號(hào)權(quán)限管理事中SSL加密TDE加密攔截SQL注入攻擊事后SQL審計(jì)克隆實(shí)例全生命周期的安全體系，根植在阿里云飛天內(nèi)核最底層。安 全 功 能安全，是根植于內(nèi)核的原生功能全生命周期的安全體系，根植在阿里云飛天內(nèi)核最底層。安 全 功 能RDS安全與功能的融合未來，已來劃時(shí)代數(shù)據(jù)庫POLARDBPOLARDB兼容并包，大有風(fēng)度100%向下兼容MySQL 5.664核，512G強(qiáng)大