GoldenGate及其工作原理學習教案

1、會計學1GoldenGate及其工作原理及其工作原理Real-Time AccesstoReal-Time Information第1頁/共28頁歷史及現(xiàn)狀歷史及現(xiàn)狀 與多家著名廠商與多家著名廠商結為戰(zhàn)略合作伙伴結為戰(zhàn)略合作伙伴全球35個國家300 多客戶， 2000多個安裝廣泛的客戶基礎廣泛的客戶基礎始建于 1995在北美、歐洲、亞太、拉丁美洲設有分公司24x7 全球技術支持第2頁/共28頁TDM 具有:實時性秒一級延遲異構環(huán)境支持在不同平臺和數(shù)據(jù)庫環(huán)境下復制數(shù)據(jù)以交易為單位復制維護交易一致性特點:高性能能夠以低資源消耗完成每秒數(shù)千交易的復制可擴展開放的結構使客戶適應各種異構數(shù)據(jù)平臺可靠保證

2、數(shù)據(jù)的連續(xù)可用第3頁/共28頁數(shù)據(jù)庫數(shù)據(jù)庫操作系統(tǒng)操作系統(tǒng)抽取抽取: Oracle DB2 OS/390 DB2 UDB Microsoft SQL Server Sybase Enscribe SQL/MP SQL/MX Teradata投遞投遞: All listed above MySQL, Ingres and any ODBC compatible databases Windows 2000, 2003, XPLinuxSun SolarisHP-UXIBM AIXHP NonStopTRU64IBM z/OS, LUW第4頁/共28頁第5頁/共28頁實時數(shù)據(jù)實時數(shù)據(jù)實時訪問實時訪

3、問災難恢復災難恢復 災難容忍災難容忍 無間斷運行無間斷運行磁帶備份 磁盤鏡像 塊復制 熱備份 Active-Active硬件 存儲 數(shù)據(jù)庫 應用物理結構物理結構 數(shù)據(jù)數(shù)據(jù) 交易交易批處理批處理 即時復制即時復制 近似實時復制近似實時復制 實時復制實時復制腳本 ETL工具加腳本 EAI和ETL工具加腳本 GoldenGate TDMWeeks Days Hours Minutes / SecondsSub-secondsReal Time Threshold高可用性高可用性數(shù)據(jù)整合數(shù)據(jù)整合第6頁/共28頁實時獲取數(shù)據(jù)實時獲取數(shù)據(jù)基于日志的復制基于日志的復制對源系統(tǒng)影響小只捕捉數(shù)據(jù)變化只捕捉數(shù)據(jù)變

4、化降低系統(tǒng)負荷無需額外編程保證交易完整性和一致性保證交易完整性和一致性可以保證在各種平臺下數(shù)據(jù)的完整性和一致性第7頁/共28頁第8頁/共28頁網(wǎng)絡網(wǎng)絡源數(shù)據(jù)庫 目的數(shù)據(jù)庫雙向復制隊列文件隊列文件: 暫存數(shù)據(jù)變化暫存數(shù)據(jù)變化.傳輸傳輸: 數(shù)據(jù)經(jīng)過壓縮和加密傳送到目的地數(shù)據(jù)經(jīng)過壓縮和加密傳送到目的地. Capture: 實時讀取交易日志捕捉數(shù)據(jù)變化并可實現(xiàn)過濾實時讀取交易日志捕捉數(shù)據(jù)變化并可實現(xiàn)過濾.Delivery:執(zhí)行所需的數(shù)據(jù)變化，然后將數(shù)據(jù)變化提交到目的庫.CaptureSource TrailTarget TrailSource TrailTarget TrailDeliverDeliv

5、erCapture第9頁/共28頁建立額外的rowid mapn主鍵n實際應用中主要業(yè)務表均建立有主鍵n唯一索引也可作為唯一標示n無主鍵表可使用全部列作為唯一標示第10頁/共28頁nSUPPLEMENTAL_LOG_DATA_FK/ALL（10g）n表級附加日志 GoldenGate建議方式nsqlplus alter table add supplemental log groupnGgsci add trandata ctais2.mytable /自動尋找PK/UInDba_log_groups和dba_log_group_columnsn每個log group不能超過32列，超過需要人

6、工分組第11頁/共28頁CREATE TABLE tcustmer( cust_code VARCHAR2(4), name VARCHAR2(30), city VARCHAR2(20), state CHAR(2), PRIMARY KEY (cust_code) USING INDEX);For Record: (a,a,a,a)Update tcustmer set name=b;Oracle附加日志會記錄cust_code列的值a到日志中；目標端根據(jù)cust_code=a構筑update 的sql語句；如果兩端主鍵變?yōu)閏ity，而沒有重新添加附加日志，則目標端會根據(jù)自己的主鍵city

7、建立附加日志，此時日志中沒有該字段值，導致目標update失敗如果修改表但沒有修改主鍵，則附加日志不受影響第12頁/共28頁n裝載速度較快nGoldenGate采用常規(guī)加載n保證數(shù)據(jù)安全和一致性n有效提高性能的選項n合并小交易n拆分大交易n批處理的加速第13頁/共28頁單向復制單向復制報表、災備雙向復制雙向復制立即接管點對點點對點負載均衡, 高可用性及容災廣播復制廣播復制 數(shù)據(jù)分發(fā)集中復制集中復制數(shù)據(jù)倉庫多級復制多級復制層次化企業(yè)數(shù)據(jù)第14頁/共28頁Database Transaction LogsExtractProcessTrailExtractProcessTrailTrailTrai

8、lExtractProcessExtractProcess第15頁/共28頁快速數(shù)據(jù)對比方案快速數(shù)據(jù)對比方案能夠快速設別和報告在線數(shù)據(jù)的差異用途用途:降低數(shù)據(jù)差異帶來的風險簡便快捷的對比無需影響業(yè)務關鍵特性關鍵特性:支持大數(shù)據(jù)量對比支持在線狀態(tài)的數(shù)據(jù)對比優(yōu)秀的對比效率和速度可執(zhí)行選擇性對比可自動執(zhí)行無需人工干預靈活的報表第16頁/共28頁第17頁/共28頁第18頁/共28頁超過五千八百家分行及一萬六千多部自動柜員機熱 備 份 數(shù) 據(jù) 中 心 從 貫 穿 北 美 的 四 臺 主 機 (HP NSK) 抓 取 數(shù) 據(jù)保 障 ATM 7X24小時可用熱熱 備備 份份 點點主主 數(shù)數(shù) 據(jù)據(jù) 中中 心心

9、客客 戶戶客客 戶戶客客 戶戶客客 戶戶雙向數(shù)據(jù)復制雙向數(shù)據(jù)復制GoldenGate has helped the Bank of America accommodate growth.Michele Schwappach, Vice President and Senior Systems Manager第19頁/共28頁案例二：中華人民共和國海關總署l 遠距離容災遠距離容災l 低帶寬低帶寬l 低延時低延時l 可隨時接管的雙業(yè)務中心可隨時接管的雙業(yè)務中心l 快速業(yè)務切換快速業(yè)務切換第20頁/共28頁案例三：國家體育總局體彩中心l N+1N+1模式容災模式容災l 各省市集中備份各省市集中備份l 遠距離遠距離l 低帶寬低帶寬第21頁/共28頁2021年年12月月5日星期日日星期日第22頁/共28頁第23頁/共28頁正常運行狀態(tài)備機接管狀態(tài)第24頁/共28頁第25頁/共28頁nGGSCI add trandata nselec