大型數(shù)據(jù)庫高性能容災(zāi)平臺

DatappGlobeGovernance大型數(shù)據(jù)庫高性能容災(zāi)平臺數(shù)存科技DGG容災(zāi)技術(shù)白皮書ver1.8本產(chǎn)品白皮書涉及的數(shù)據(jù)庫復(fù)制產(chǎn)品針對于Oracle9i/10g/11g/RAC等環(huán)境，針對于其它數(shù)據(jù)庫保護(hù)產(chǎn)品詳情需咨詢深圳市數(shù)存科技有限公司datapp?官方網(wǎng)站或聯(lián)系4008-672-818，數(shù)存科技版權(quán)所有。1前言大數(shù)據(jù)、云、物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、自動化等促進(jìn)了信息化的快速發(fā)展，推動了社會的進(jìn)步，爆炸性的數(shù)據(jù)增長帶來便利的同時，也為我們信息化的安全敲響了警鐘，“勒索病毒”、“刪庫”、“變種”以及各種物理的損壞都會帶來巨大的經(jīng)濟(jì)損失和社會影響，所以企業(yè)需要有一套安全有效的數(shù)據(jù)保護(hù)機(jī)制，來保證數(shù)據(jù)安全和業(yè)務(wù)的連續(xù)服務(wù)能力，立于不敗之地。1.1信息安全系統(tǒng)指標(biāo)任意的物理損壞、病毒、邏輯錯誤等均有可能造成企業(yè)的數(shù)據(jù)丟失或業(yè)務(wù)宕機(jī)，衡量一個企業(yè)信息安全水準(zhǔn)，應(yīng)從以下四個指標(biāo)入手：RPO（RecoveryPointObjective）：數(shù)據(jù)丟失量；RPO是指企業(yè)能夠容忍的數(shù)據(jù)丟失量，這個指標(biāo)是由企業(yè)目前正在使用或計(jì)劃采用的安全產(chǎn)品所決定；RTO（RecoveryTimeObjective）：業(yè)務(wù)中斷時間；RTO是指企業(yè)能夠容忍的業(yè)務(wù)中斷時間，這個指標(biāo)是指企業(yè)采用現(xiàn)有的任意手段在故障發(fā)生后，業(yè)務(wù)重新上線的最大時間；ROI（ReturnofInvestment）：建設(shè)運(yùn)維和收益比；企業(yè)建設(shè)容災(zāi)備份是大勢所趨，而如何讓投資回報可見，能夠在企業(yè)信息化的發(fā)展過程中，可視化投資回報，均攤或支撐信息化健康應(yīng)用的投入產(chǎn)出比；容災(zāi)備份產(chǎn)品是一套工具型產(chǎn)品，而非核心的生產(chǎn)業(yè)務(wù)系統(tǒng)，在信息安全的道路上沒有最好，只有更好，做為衡量信息安全系統(tǒng)指標(biāo)RPO、RTO成為容災(zāi)備份的終極指標(biāo)，但是，如果能夠?qū)崿F(xiàn)容災(zāi)備份的同時，對生產(chǎn)業(yè)務(wù)形成業(yè)務(wù)分流，加固或加強(qiáng)信息化的支撐能力，保護(hù)ROI的收益指標(biāo)，則更具備實(shí)用價值和投資回報。1.2信息化系統(tǒng)的威脅企業(yè)需要建設(shè)一套高效、安全、可視化的容災(zāi)備份系統(tǒng)，以實(shí)現(xiàn)更加優(yōu)秀的RPO及RTO指標(biāo)，通過容災(zāi)備份的手段，保證信息化系統(tǒng)可以在安全、有序、穩(wěn)定的態(tài)勢下健康運(yùn)行。1.3災(zāi)備等級容災(zāi)備份從實(shí)現(xiàn)的結(jié)果和效果分為多個等級，按照國際標(biāo)準(zhǔn)SHARE78定義的容災(zāi)標(biāo)準(zhǔn)有7個層次：0級：本地磁帶備份；1級：本地備份的磁帶放置于異地；2級：建立異地?cái)?shù)據(jù)熱備系統(tǒng)，支持本地或異地?cái)?shù)據(jù)恢復(fù)，恢復(fù)時間可以是幾小時也可以是幾天；3級：建立異地?cái)?shù)據(jù)熱備并建立異地應(yīng)用系統(tǒng)，業(yè)務(wù)可以在數(shù)小時或數(shù)天內(nèi)異地恢復(fù)；4級：建立異地?cái)?shù)據(jù)熱備并建立異地應(yīng)用系統(tǒng)，可以定時進(jìn)行本、異地業(yè)務(wù)切換；5級：異地遠(yuǎn)程雙活中心，小時內(nèi)切換、數(shù)據(jù)一致性保證；6級：異地遠(yuǎn)程雙活中心，本、異地均處于活動狀態(tài)，實(shí)現(xiàn)0中斷、數(shù)據(jù)0丟失并自動切換；0---2級：是一種基于備份壓縮副本的恢復(fù)技術(shù)，一旦生產(chǎn)系統(tǒng)出現(xiàn)問題，采用備份數(shù)據(jù)恢復(fù)數(shù)據(jù)，這種技術(shù)有在數(shù)據(jù)恢復(fù)前需準(zhǔn)備大量的軟硬件環(huán)境，導(dǎo)致業(yè)務(wù)中斷時間變長，滿足不了業(yè)務(wù)系統(tǒng)對中斷時間的要求；3---4級：一般采用存儲遠(yuǎn)程復(fù)制技術(shù)，能夠?qū)崿F(xiàn)相對較好的RPO，但RTO指標(biāo)相對較差，同時此種模式對帶寬要求極高，不適宜于遠(yuǎn)距離部署；同時容災(zāi)演練操作復(fù)雜，容災(zāi)系統(tǒng)演練可能性變低；5級：一般是基于核心的數(shù)據(jù)庫復(fù)制技術(shù)，基于日志的復(fù)制原理，可以實(shí)現(xiàn)基于數(shù)據(jù)庫異構(gòu)、操作系統(tǒng)異構(gòu)、存儲異構(gòu)，可以實(shí)現(xiàn)讀寫分離以及分鐘級的容災(zāi)環(huán)境，此種模式對技術(shù)要求較高，維護(hù)量較大；6級：目前沒有成熟的技術(shù)或產(chǎn)品。2Datapp-DGG技術(shù)實(shí)現(xiàn)數(shù)存DGG可以實(shí)現(xiàn)高可用和實(shí)時的數(shù)據(jù)整合方案，保證Oracle數(shù)據(jù)庫可以7*24小時正常運(yùn)轉(zhuǎn)，滿足對客戶核心數(shù)據(jù)庫連續(xù)可用的要求；針對于大型具備多個分支機(jī)構(gòu)的企業(yè)，數(shù)存DGG可以快速按照相應(yīng)的要求進(jìn)行快速的數(shù)據(jù)分發(fā)和收集關(guān)健數(shù)據(jù)，推動決策。數(shù)存DGG是基于Oracle日志挖掘技術(shù)的數(shù)據(jù)實(shí)時復(fù)制工具，具有延時低、簡單靈活對生產(chǎn)庫影響度約為“0”的數(shù)據(jù)庫應(yīng)用級解決方案。數(shù)存DGG可以與原Oracle在數(shù)據(jù)同步的同時，形成讀寫分離的解決方案，完美實(shí)現(xiàn)Oracle的容災(zāi)備份、數(shù)據(jù)遷移、業(yè)務(wù)數(shù)據(jù)的分發(fā)和收集、整合形成大型數(shù)據(jù)倉庫的工作。2.1無縫數(shù)據(jù)遷移數(shù)存DGG在同步過程中無需停止業(yè)務(wù)，通過容災(zāi)端主動挖掘Oracle生產(chǎn)庫的日志Redolog，通過災(zāi)備端的logtable記錄數(shù)據(jù)同步差異，完整的將Oracle生產(chǎn)端的數(shù)據(jù)復(fù)制到容災(zāi)端，可以在7*24小時遠(yuǎn)行的業(yè)務(wù)系統(tǒng)上完成安全、高性能、無縫的Oracle數(shù)據(jù)遷移工作。2.2邏輯數(shù)據(jù)容災(zāi)技術(shù)數(shù)存DGG使用邏輯數(shù)據(jù)容災(zāi)技術(shù)，可以細(xì)粒度到用戶schema或者表table級別，傳遞交易指令，傳輸數(shù)據(jù)量極小，保證了在低帶寬環(huán)境下實(shí)現(xiàn)低延遲的數(shù)據(jù)異步復(fù)制，是一種高效且低成本的數(shù)據(jù)庫容災(zāi)解決方案。數(shù)存DGG采用萬兆/千兆以太網(wǎng)絡(luò)進(jìn)行通訊，容災(zāi)端DGG可以部署在本地或異地，無距離限制；同時備端的Oracle始終處于打開狀態(tài)，當(dāng)生產(chǎn)數(shù)據(jù)庫遇到計(jì)劃內(nèi)宕機(jī)或計(jì)劃外宕機(jī)時，數(shù)存DGG可以快速、無縫的切換至容災(zāi)數(shù)據(jù)庫，保證業(yè)務(wù)的連續(xù)工作，與傳統(tǒng)的基于備份或CDP技術(shù)相比，沒有數(shù)據(jù)的恢復(fù)時間，保證100%的切換成功率。2.3快速數(shù)據(jù)落盤技術(shù)數(shù)存DGG會主動根據(jù)logtable的日志差異表，從生產(chǎn)數(shù)據(jù)庫主動捕獲新log，log在傳輸過程中進(jìn)行打包加密并傳送至容災(zāi)端，DGG在獲取新的日志后，落盤并反饋給logtable，執(zhí)行遞減動作，容災(zāi)端根據(jù)獲取的日志SQL相應(yīng)的語句，生成數(shù)據(jù)，由備端呈現(xiàn)讀，生產(chǎn)端呈現(xiàn)寫的讀寫分離的模式。本地執(zhí)行日志復(fù)制的時間一般是0~2秒，遠(yuǎn)距離傳輸時，一般的時間是2~4秒，故做讀寫分離時，備端的數(shù)據(jù)一般在3秒左右，可以完成查詢動作。2.4Oracle讀寫分離模式大量的信息信息在部署完成后，一般沒有特殊情況下，硬件及應(yīng)用軟件部分會維持7*24*365天的正常工作，但隨著信息化的發(fā)展、數(shù)據(jù)類型、業(yè)務(wù)數(shù)據(jù)的提升，期初的硬件處理能力已經(jīng)無法承擔(dān)爆炸式的數(shù)據(jù)增長，特別是針對于核心數(shù)據(jù)庫服務(wù)器，CPU及內(nèi)存更新迭代的速度非?？?，無休止的更換服務(wù)器不是解決問題的根本；通過數(shù)存Datapp-DGG產(chǎn)品，日志復(fù)制的模式實(shí)時克隆一臺新的Oracle數(shù)據(jù)庫，原生產(chǎn)Oracle服務(wù)器承擔(dān)生產(chǎn)業(yè)務(wù)，新生成的Oracle服務(wù)器承擔(dān)數(shù)據(jù)的讀業(yè)務(wù)，完美的將I（in寫）O（out讀）PS靜態(tài)的分?jǐn)傊羶膳_服務(wù)器上，即做了數(shù)據(jù)安全，也做了負(fù)載的分擔(dān)。2.5Oracle數(shù)據(jù)集合/分發(fā)模式對于有大量分公司、辦事處、分支機(jī)構(gòu)的企業(yè)，通過總部數(shù)存Datapp-DGG數(shù)據(jù)庫復(fù)制軟件，可以將各子公司的數(shù)據(jù)全部提取到總部，在總部可以進(jìn)行數(shù)據(jù)的查詢、分析等業(yè)務(wù)，同時任意一個分公司、辦事處、分支機(jī)構(gòu)在發(fā)生數(shù)據(jù)丟失時，總部可以將數(shù)據(jù)進(jìn)行提取恢復(fù)。對于大型數(shù)據(jù)庫平臺，如XX省國土不動產(chǎn)數(shù)據(jù)庫，如需將各市不動產(chǎn)數(shù)據(jù)庫單獨(dú)拆分發(fā)送給各市不動產(chǎn)部門或各市不動市只可以查詢本市的數(shù)據(jù)，數(shù)存Datapp-DGG可以按照條件進(jìn)行數(shù)據(jù)庫的獨(dú)立拆分和分發(fā)。2.6交叉容災(zāi)模式根據(jù)數(shù)存DGG的工作原理及工作機(jī)制，如客戶的業(yè)務(wù)系統(tǒng)有兩套Oracle生產(chǎn)數(shù)據(jù)庫，即可以實(shí)現(xiàn)在不增加任何硬件的基礎(chǔ)上實(shí)現(xiàn)雙向容災(zāi)，如下圖示：2.7DGG跨平臺數(shù)據(jù)遷移數(shù)存DGG可以實(shí)現(xiàn)windows、linux、Unix環(huán)境下Oracle9i、Oracle10g、Oracle11g，各平臺之間交叉遷移，如windows環(huán)境下的9i，遷移至AIX環(huán)境下的Oracle11g等，任意操作系統(tǒng)下的任意Oracle數(shù)據(jù)庫版本的遷移功能。2.8DGG生產(chǎn)庫的“0”感知同步數(shù)存科技DGG是一種主動的數(shù)據(jù)庫日志挖掘技術(shù)，在生產(chǎn)庫服務(wù)器上無需安裝任何軟件，通過備庫上的數(shù)存DGG主動發(fā)起“挖掘