PostgreSQL AntDB數(shù)據(jù)庫(kù)復(fù)制介紹

1、PostgreSQL/AntDB 數(shù)據(jù)庫(kù)復(fù)制介紹技術(shù)創(chuàng)新 變革未來(lái)Replication-concept /流復(fù)制的基本概念Replication-Internal architecture/流復(fù)制的內(nèi)部實(shí)現(xiàn)Replication-AntDB Extension Features/AntDB擴(kuò)展功能Replication-Tools/基于流復(fù)制的管理工具內(nèi)容什么是流復(fù)制？什么是復(fù)制：在多臺(tái)主機(jī)之間建立數(shù)據(jù)副本的一種方式什么是流復(fù)制：備機(jī)不斷的接受master節(jié)點(diǎn)的WAL事務(wù)日志流并進(jìn)行apply的過(guò)程什么是邏輯復(fù)制：將物理變更轉(zhuǎn)化成邏輯變更并應(yīng)用到備節(jié)點(diǎn)的表對(duì)象。區(qū)別：流復(fù)制針對(duì)的是實(shí)例級(jí)別，

2、邏輯復(fù)制可以針對(duì)的是表級(jí)別Hot-standby流復(fù)制的發(fā)展歷程從PG9.0開(kāi)始引入了流復(fù)制功能9.0異步復(fù)制9.1（半）同9.2級(jí)聯(lián)復(fù)9.3提升性9.4邏輯9.5提升性能9.6控制同10.0發(fā)布訂11.0趨于完實(shí)現(xiàn)步復(fù)制實(shí)現(xiàn)制實(shí)現(xiàn)能和易用性日志導(dǎo)出和 延遲應(yīng)用和易用性步復(fù)制節(jié)點(diǎn) 的數(shù)量閱式邏輯復(fù) 制整僅做微調(diào)201020112012201320142015201620172018整流復(fù)制的作用如果一臺(tái)服務(wù)器崩潰，另一臺(tái)服務(wù)器可以繼續(xù)提供服務(wù)，可以輕松減少 系統(tǒng)的停機(jī)時(shí)間高可用查詢的負(fù)載可以分布到多個(gè)服務(wù)器執(zhí)行實(shí)現(xiàn)讀寫(xiě)分離，從而可以提高整 個(gè)系統(tǒng)的性能負(fù)載均衡流復(fù)制相關(guān)基本概念-WALWAL日

3、志也稱為事務(wù)日志或Redo日志每一個(gè)事務(wù)日志都有一個(gè)唯一遞增的LSN號(hào)，用64位進(jìn)行存儲(chǔ)數(shù)據(jù)庫(kù)發(fā)生的任何改變都會(huì)持久化在WAL日志文件中，一旦執(zhí)行commit就會(huì)觸發(fā)fsync將事務(wù) 日志從內(nèi)存中刷新到磁盤(pán)中WAL log debug output流復(fù)制相關(guān)基本概念-WAL事務(wù)日志存儲(chǔ)在pg_wal目錄下，每個(gè)wal日志文件為16MWAL 文件名格式同一個(gè)時(shí)間線(TLI)里面, 當(dāng)XLOG_SEG_SIZE=16MB時(shí). 最 多可以產(chǎn)生 232 * 256 個(gè) XLOG 文件. 如果我們的數(shù)據(jù)庫(kù) 平均1天產(chǎn)生10TB的WAL LOG數(shù)據(jù)量, 那么需要（ 232 * 256 ）*16*1024*

4、1024）/(10*1024*1024*1024*1024)=1677721天=4721年流復(fù)制相關(guān)基本概念-Timeline使用PITR基于時(shí)間點(diǎn)的恢復(fù)操作后和備節(jié)點(diǎn)提升為主節(jié)點(diǎn)后都會(huì)改變時(shí)間線，從 而避免對(duì)Old WAL 日志文件產(chǎn)生覆蓋流復(fù)制相關(guān)基本概念-Timeline history file流復(fù)制相關(guān)基本概念-LSN可以通過(guò)pg_current_xlog_insert_location函數(shù)獲取系統(tǒng)當(dāng)前的LSN號(hào)WAL的LSN尋址上限是 264 和 64位機(jī)器的內(nèi)存尋址空間一樣通過(guò)LSN號(hào)獲取該記錄所在的事務(wù)日志文件Replication-concept /流復(fù)制的基本概念Repli

5、cation-Internal architecture/流復(fù)制的內(nèi)部實(shí)現(xiàn)Replication-Features/流復(fù)制功能介紹Replication-Configure file/流復(fù)制相關(guān)配置文件內(nèi)容流復(fù)制-Internal architecturePostgres 后臺(tái)服務(wù)進(jìn)程和WALSender進(jìn)程間的觸發(fā)關(guān)系XLogInsert（）XLogWrite（）感知到Changed流復(fù)制-Internal architectureWALReceiver進(jìn)程和StartUP 進(jìn)程間的觸發(fā)機(jī)制ReadRecord感知ChangedStartup進(jìn)程一直持續(xù)不斷的讀取WAL Record并進(jìn)行R

6、eplay操作直到追趕到 最新的LSN號(hào)異步復(fù)制的實(shí)現(xiàn)邏輯流復(fù)制-Internal architecture同步復(fù)制的實(shí)現(xiàn)邏輯流復(fù)制-Internal architectureSynchronous Committed data is available on standby immediately，so also can cause replication lag example network delay、replica too busy流復(fù)制-Internal architecture流復(fù)制啟動(dòng)過(guò)程流復(fù)制-Internal architecture流復(fù)制通信過(guò)程AntDB的擴(kuò)展實(shí)現(xiàn)-自適

7、應(yīng)切換解決同步從節(jié)點(diǎn)宕機(jī)后，造成主節(jié)點(diǎn)hang住無(wú)法為業(yè)務(wù)提供服務(wù)，影響了業(yè)務(wù)的持續(xù)高可用特性問(wèn)題。AntDB的擴(kuò)展實(shí)現(xiàn)-按域自動(dòng)切換數(shù)據(jù)中心B數(shù)據(jù)中心AMaster同步從節(jié)點(diǎn)異步步從節(jié)點(diǎn)異地異步從節(jié)點(diǎn)-MZONE-A選取同zone下LSN最大備節(jié)點(diǎn)提升為新主節(jié)點(diǎn)異地異步從節(jié)點(diǎn)-SAntDB的擴(kuò)展實(shí)現(xiàn)-自動(dòng)高可用自主創(chuàng)新的Guard工具結(jié)合分布式一致性Raft協(xié)議完成集群狀態(tài)同步，故障自動(dòng)切換秒級(jí)切換：數(shù)據(jù)無(wú)丟失支持同步和異步兩種模式，且支持同步和異步模 式的自適應(yīng)切換支持不同級(jí)別的同步復(fù)制： remote_write ，on，remote_apply ， 應(yīng)對(duì)不同的數(shù)據(jù)安全和性能要求AntD

8、B的擴(kuò)展實(shí)現(xiàn)-自動(dòng)高可用Guard進(jìn)程會(huì)有兩個(gè)狀態(tài)Start-upProcess和Running Loop，不斷的 check集群的狀態(tài)進(jìn)行l(wèi)eader的選 舉流復(fù)制相關(guān)工具監(jiān)控 pg_stat_replication系統(tǒng)表記錄了主從狀態(tài)信息Replication connection informationStandby IP address, Port number,ROLE for replication、Replication start time, etcReplication progressHow far has master sent WAL?How far has standby written, flushed or replayed WAL?Replication statusCurrent synchronous modeStandby has already caught up with master?管理接口pg_wal_replay_