基于Goldengate技術(shù)實現(xiàn)業(yè)務(wù)平臺異地容災(zāi)備份的解決方案

基于GoldenGate技術(shù)實現(xiàn)業(yè)務(wù)平臺異地容災(zāi)備份的解決方案譚志遠楊劍宮云平摘要：業(yè)務(wù)平臺集中化建設(shè)和集約化維護是全業(yè)務(wù)運營環(huán)境下大勢所趨，重要業(yè)務(wù)平臺的用戶數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)的集中存放帶來的安全風險也加大，探討基于Oracle的GoldenGate技術(shù)實現(xiàn)業(yè)務(wù)平臺數(shù)據(jù)庫的異地備份，同時通過OSPF協(xié)議、F5等機制配合實現(xiàn)重要業(yè)務(wù)平臺容災(zāi)的綜合解決方案。關(guān)鍵詞：GoldenGate容災(zāi)備份業(yè)務(wù)平臺數(shù)據(jù)庫引言中國電信自承接C網(wǎng)實現(xiàn)全業(yè)務(wù)運營后，業(yè)務(wù)平臺的建設(shè)從原來按本地網(wǎng)、區(qū)域、省等分散建設(shè)的模式，走向了集中建設(shè)的模式，從而實現(xiàn)業(yè)務(wù)平臺的集約化運營及管理。業(yè)務(wù)平臺的集中建設(shè)優(yōu)點顯而易見，如：節(jié)省硬件投資，減少運營維護成本，便于集約化運維管理等，但由此也可能帶來的安全隱患也不能忽視，例如業(yè)務(wù)及用戶數(shù)據(jù)的集中存放，萬一碰到火災(zāi)或地震等不可抗因素，將給業(yè)務(wù)的正常運營帶來嚴重的挑戰(zhàn)，因此非常有必要對重點業(yè)務(wù)平臺、重點業(yè)務(wù)數(shù)據(jù)實現(xiàn)數(shù)據(jù)異地備份，同時在此基礎(chǔ)上實現(xiàn)業(yè)務(wù)平臺的異地容災(zāi)。本文探討基于Oracle的GoldenGate技術(shù)實現(xiàn)對重要業(yè)務(wù)平臺（如ISMP、OCS等）的用戶及業(yè)務(wù)數(shù)據(jù)進行異地備份（另外可通過FTP實現(xiàn)話單的備份，使用RSYNC服務(wù)實現(xiàn)重要目錄文件的備份，這方面的內(nèi)容本文不做重點描述），同時借助交換機的OSPF協(xié)議和F5配合實現(xiàn)業(yè)務(wù)平臺異地容災(zāi)的綜合解決方案。GoldenGate備份機制OracleGoldenGate軟件是一種基于日志的結(jié)構(gòu)化數(shù)據(jù)復(fù)制備份軟件，它通過解析源數(shù)據(jù)庫在線日志或歸檔日志獲得數(shù)據(jù)的增量變化，再將這些變化應(yīng)用到目標數(shù)據(jù)庫，從而實現(xiàn)源數(shù)據(jù)庫與目標數(shù)據(jù)庫同步。OracleGoldenGate可以在異構(gòu)的IT基礎(chǔ)結(jié)構(gòu)（包括幾乎所有常用操作系統(tǒng)平臺和數(shù)據(jù)庫平臺）之間實現(xiàn)大量數(shù)據(jù)亞秒一級的實時復(fù)制,從而可以在應(yīng)急系統(tǒng)、實時數(shù)據(jù)倉庫供應(yīng)、數(shù)據(jù)同步、集中/分發(fā)、容災(zāi)、數(shù)據(jù)庫升級和移植等多個場景下應(yīng)用。同時，OracleGoldenGate可以實現(xiàn)一對一、一對多、多對一、級聯(lián)等多種靈活的拓撲結(jié)構(gòu)。GoldenGate數(shù)據(jù)備份原理圖圖1：GoldenGate數(shù)據(jù)復(fù)制原理圖上圖為Oracle的Goldengate技術(shù)實現(xiàn)主節(jié)點數(shù)據(jù)庫與容災(zāi)數(shù)據(jù)庫之間的數(shù)據(jù)同步，下面介紹一下GoldenGate的數(shù)據(jù)復(fù)制機制。GoldenGate數(shù)據(jù)復(fù)制原理GoldenGate的數(shù)據(jù)復(fù)制原理是：利用捕捉進程(ExtractProcess)在源系統(tǒng)端讀取OnlineRedoLog或ArchiveLog，確定需要進行的復(fù)制（增、刪、改）操作，并通過隊列(Extract隊列)，將相關(guān)信息傳送到目標系統(tǒng)。目標系統(tǒng)端的投遞進程(Deliver進程)接受相關(guān)內(nèi)容，通過Replicate進程創(chuàng)建實現(xiàn)數(shù)據(jù)復(fù)制或同步的SQL語句，并在目標系統(tǒng)中予以執(zhí)行。GoldenGate是一種基于數(shù)據(jù)庫日志的數(shù)據(jù)復(fù)制產(chǎn)品，可以利用極少的系統(tǒng)開銷，實時復(fù)制數(shù)據(jù)庫，改善數(shù)據(jù)可用性。GoldenGate可以在數(shù)據(jù)移植、在線維護等場合應(yīng)用，以減少或消除數(shù)據(jù)庫的停機時間。同時，它還可用于數(shù)據(jù)容災(zāi)、負載均衡、數(shù)據(jù)集中、數(shù)據(jù)分布等應(yīng)用中。GoldenGate可確保在這些工作進行時，源系統(tǒng)的正常事務(wù)處理得以繼續(xù)進行，功能上不受影響。GoldenGate數(shù)據(jù)備份形式GoldenGate實現(xiàn)數(shù)據(jù)的備份，可以分兩種場景，一種是正向數(shù)據(jù)備份，即主節(jié)點同步數(shù)據(jù)到備份節(jié)點（即容災(zāi)節(jié)點）；第二種是當主節(jié)點異常的時候，啟用備份節(jié)點工作，此時相對于原主節(jié)點來說，是備節(jié)點同步數(shù)據(jù)到主節(jié)點的反向數(shù)據(jù)備份。表1：GoldenGate與其他產(chǎn)品的比較對于電信各種重要的增值業(yè)務(wù)平臺來說，在確保業(yè)務(wù)平臺正常工作的前提下，實現(xiàn)重要的業(yè)務(wù)數(shù)據(jù)和用戶數(shù)據(jù)異地備份及容災(zāi)，該技術(shù)的應(yīng)用必須對現(xiàn)有系統(tǒng)的性能影響最小化，數(shù)據(jù)實時性要求高，容災(zāi)節(jié)點距離遠，并能得到廠家強有力的技術(shù)支撐（7*24小時服務(wù)），同時能實現(xiàn)多對一的數(shù)據(jù)備份（因為作為備份節(jié)點的處理能力不可能和主節(jié)點相同，因此在盡可能節(jié)省投資的同時確保數(shù)據(jù)的有效備份，如上圖2所示，采用多到一的備份策略），因此基于上述原因綜合評估后，本文主要探討基于Oracle的GoldenGate技術(shù)實現(xiàn)重要業(yè)務(wù)平臺的數(shù)據(jù)異地備份及容災(zāi)方案。業(yè)務(wù)平臺容災(zāi)機制在業(yè)務(wù)平臺正常運行時，主節(jié)點業(yè)務(wù)處理機負責業(yè)務(wù)邏輯的執(zhí)行，GoldenGate軟件實現(xiàn)主節(jié)點數(shù)據(jù)庫到容災(zāi)備份節(jié)點數(shù)據(jù)庫的同步，同時通過FTP和RSYNC服務(wù)實現(xiàn)話單文件和其他重要的配置文件或者目錄的備份。當主節(jié)點發(fā)生異常的時候，采用動態(tài)路由協(xié)議技術(shù)實現(xiàn)實時切換到容災(zāi)節(jié)點，外圍系統(tǒng)無需做任何改動。系統(tǒng)可根據(jù)實際配置手動或自動切換到容災(zāi)節(jié)點運行業(yè)務(wù)（因使用浮動IP，切換過程對外圍系統(tǒng)來說是透明的），如果設(shè)計的容災(zāi)備份節(jié)點的業(yè)務(wù)處理能力小于主節(jié)點的處理能力，建議通過手工措施對其上游業(yè)務(wù)平臺進行流量控制。如：對于ISMP容災(zāi)平臺，那么可以在其上游平臺ISAG上對可信任的SP實現(xiàn)免鑒權(quán)，以確保容災(zāi)平臺業(yè)務(wù)正常的運轉(zhuǎn)。容災(zāi)切換到備份節(jié)點后，需要在容災(zāi)節(jié)點上啟用GoldenGate的逆向同步，即把在容災(zāi)備份節(jié)點上變化的各種數(shù)據(jù)，同步到原來的主節(jié)點上。當主節(jié)點恢復(fù)后，采用手工的方式把路由及數(shù)據(jù)同步相關(guān)配置切換回原主節(jié)點，以確保系統(tǒng)穩(wěn)定安全的運行。平臺容災(zāi)組網(wǎng)圖圖4：容災(zāi)組網(wǎng)圖（圖中省略雙路由器、F5、防火墻等設(shè)備）上圖為實現(xiàn)業(yè)務(wù)平臺異地備份、容災(zāi)的簡化圖，其中要求R1、R2支持動態(tài)路由協(xié)議，同時要在R1、R2上面設(shè)置VIP（F5的虛擬IP））路由的優(yōu)先級，容災(zāi)平臺提供給外圍系統(tǒng)的IP地址是F5的虛擬IP地址（VIP）。在主節(jié)點各設(shè)備正常的情況下，外圍業(yè)務(wù)系統(tǒng)的業(yè)務(wù)處理請求會送到主節(jié)點進行處理。同時通過GoldenGate、FTP、RSYNC等把主節(jié)點相關(guān)數(shù)據(jù)備份到容災(zāi)節(jié)點，達到數(shù)據(jù)備份的目的。當主節(jié)點系統(tǒng)異常，主節(jié)點F5發(fā)生切換，容災(zāi)節(jié)點的F5的路由信息會及時自動更新到網(wǎng)絡(luò)上，從而把業(yè)務(wù)流從主節(jié)點切換到備份節(jié)點運行從而達到容災(zāi)的目的。平臺容災(zāi)切換機制在主節(jié)點F5上設(shè)置對主節(jié)點服務(wù)器的健康檢查機制，如設(shè)置對主節(jié)點的數(shù)據(jù)庫執(zhí)行一個sql語句或者執(zhí)行Ping主節(jié)點主機（具體可參考F5相關(guān)技術(shù)手冊），當沒有收到預(yù)期的結(jié)果時，主節(jié)點F5認為系統(tǒng)發(fā)生故障，主節(jié)點F5切換到容災(zāi)節(jié)點，此時所有的到VIP的路由將更新到路由器R2上。當檢測到F5與主節(jié)點網(wǎng)絡(luò)不可達，或者查詢主節(jié)點核心數(shù)據(jù)庫系統(tǒng)超時的時候，F(xiàn)5可以提供告警信息給網(wǎng)管系統(tǒng)，維護人員可以根據(jù)告警信息，啟動容災(zāi)預(yù)案，容災(zāi)時需要維護人員手工啟動容災(zāi)平臺上的相關(guān)進程，不建議自動切換到容災(zāi)平臺（如果自動切換怕引起主節(jié)點和容災(zāi)節(jié)點經(jīng)常自動切換導(dǎo)致數(shù)據(jù)異常，因此本人認為實際應(yīng)用過程中采用手動切換是比較科學的）。注意事項建議使用共享存儲在使用GoldenGate數(shù)據(jù)同步的時候，GoldenGate的相關(guān)軟件和工作目錄建議最好配置在shareddisk環(huán)境中,從而保證對所有node都是可用的,從任何一個node都可以啟動GoldenGate的進程,當其中一個node出現(xiàn)異常時,可以在剩余的node啟動而無須修改任何配置參數(shù)。否則如果運行在單個node上的話,需要將剩余node中的歸檔日志通過一定的技術(shù)共享出來并加載到GoldenGate運行節(jié)點。時鐘同步對于RAC環(huán)境,GoldenGate要求所有node必須保持時鐘同步,同時必須保持所有RACnode和運行extract進程的node節(jié)點保持時鐘同步。因為GoldenGate會比較本地的系統(tǒng)時間和commit的時間戳。所以不能忽略這個設(shè)置。否則可能導(dǎo)致數(shù)據(jù)復(fù)制的紊亂，因此RAC環(huán)境下務(wù)必使用NTP（網(wǎng)絡(luò)時間協(xié)議）進行時鐘同步。注意對歸檔日志的定時清理開啟數(shù)據(jù)庫歸檔后（命令：alterdatabasearchivelog），需要部署清理歸檔日志的定時任務(wù)（如：僅保留3天的歸檔日志信息），以防磁盤空間被占滿，包括主節(jié)點和容災(zāi)節(jié)點。結(jié)束語業(yè)務(wù)平臺集中建設(shè)和集約化運維管理的發(fā)展是大勢所趨，越來越多的業(yè)務(wù)平臺走向集中，特別是隨著中國電信移動業(yè)務(wù)的蓬勃發(fā)展，各業(yè)務(wù)或產(chǎn)品的基地化建設(shè)和運營，各種用戶數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)的集中存放是否安全，各種重要業(yè)務(wù)平臺是否有切實可行的容災(zāi)措施，是目前急需面對的問題，本文通過探討基于Oracle的GoldenGate技術(shù)實現(xiàn)業(yè)務(wù)平臺數(shù)據(jù)庫的異地備份，同時通過OSPF、F5等配合實現(xiàn)重要業(yè)務(wù)平臺容災(zāi)的綜合解決方案，希望對現(xiàn)網(wǎng)業(yè)務(wù)平臺的容災(zāi)備份能有啟迪作用。【作者簡介】譚志遠，男，畢業(yè)于華南理工大學，就職于中國電信股份有限公司廣州研究院，工程師。長期從事電信基礎(chǔ)能力類平臺、綜合管理類平臺、云計算等技術(shù)研究及支撐工作，擁有多項專利技術(shù)。聯(lián)系電話箱：tanzy@。楊劍，男，畢業(yè)于北京郵電