IBM InfoSphere CDC入門資料PPT課件

1、 高性能端到端數(shù)據(jù)整合方案，解決數(shù)據(jù)孤島問題 使用基于日志的變化數(shù)據(jù)獲取 (CDC)技術(shù)，從數(shù)據(jù)日志中捕獲變化數(shù)據(jù) 在多處理平臺間雙向整合數(shù)據(jù) 易于擴展處理大數(shù)據(jù)量，而不影響重要應(yīng)用的性能 跨企業(yè)數(shù)據(jù)庫系統(tǒng)進行實時數(shù)據(jù)整合 從生產(chǎn)系統(tǒng)捕獲數(shù)據(jù)，而不影響性能 實時地轉(zhuǎn)換，并將數(shù)據(jù)應(yīng)用到目標(biāo)系統(tǒng) 業(yè)務(wù)收益: Business intelligence 無時間窗的Real-time 報表 e-Business Web存儲和后端操作的雙向整合 Master Data Management 跨企業(yè)合并和分發(fā)數(shù)據(jù) 數(shù)據(jù)的冗災(zāi)數(shù)據(jù)的冗災(zāi)Infosphere CDC第1頁/共23頁CDC架構(gòu)架構(gòu)Source(

2、Source)Target(Target)AccessServerCLIENT第2頁/共23頁主要功能點主要功能點數(shù)據(jù)同步數(shù)據(jù)轉(zhuǎn)換多平臺，多節(jié)點支持行過濾，表級復(fù)制，計算列，以及其他擴展等。Table levell 支持1對多，多對一以及級聯(lián)同步l 對同步的過程可以AUDITl 糾錯機制l 支持JAVA APIl 圖形化的監(jiān)控工具第3頁/共23頁Log-Based Change Data CaptureDatabase LogsSource EngineTarget EngineTCP/IPMonitoring and ConfigurationDatabaseMessage QueueWeb

3、 ServicesBusiness ProcessDB2, Oracle,SQL Server, Teradata,etcFlat files 主要特征: 低影響 靈活實施 支持異構(gòu)平臺 易于使用第4頁/共23頁Continuous(Real Time)Replication Modes:Database TableReplication LogNet Change(Periodic)Refresh(Full Copy)PushEngine第5頁/共23頁數(shù)據(jù)質(zhì)量問題數(shù)據(jù)質(zhì)量問題-實現(xiàn)統(tǒng)一完整視圖實現(xiàn)統(tǒng)一完整視圖 數(shù)據(jù)格式的轉(zhuǎn)換(如日期) 數(shù)據(jù)類型的轉(zhuǎn)換 字段拆分 字段合并 代碼標(biāo)準(zhǔn)化 數(shù)據(jù)清

4、洗(如去除空格)多表關(guān)聯(lián)多表關(guān)聯(lián)多表拆分多表拆分衍生數(shù)據(jù)計算衍生數(shù)據(jù)計算匯總處理匯總處理記錄拆分記錄拆分表合并表合并 第6頁/共23頁異構(gòu)平臺支持異構(gòu)平臺支持IBM System iIBM System zIBM System pHP-9000IntelHP AlphaSunMS SQL ServerSybaseDB2 / UDBOracleTCP/IPTeradataOS/400OS/390AIXHP-UXSolarisMS WindowsLinuxPointBaseDATABASESSource & TargetDATABASES Target OnlyOPERATINGSYSTE

5、MSHARDWAREPLATFORMSNETWORKPROTOCOLSMESSAGE QUEUESupportJMSMQ SeriesWebMethodsBEA TIBCONetezzaItanium第7頁/共23頁統(tǒng)一的管理界面統(tǒng)一的管理界面第8頁/共23頁易于使用易于使用 基于Java的GUI，配置、管理和監(jiān)控 同一屏幕內(nèi)管理數(shù)據(jù)整合流程 自動映射，拖拽實現(xiàn)轉(zhuǎn)換 事件日志、報警、統(tǒng)計報告第9頁/共23頁特點特點 低延遲 一旦提交了對源表進行的修改，并從日志中讀取到這些修改，這些變化就立即發(fā)送出去。 高吞吐量 Q Capture程序始終可以跟蹤在源表發(fā)生的快速變化，并且Apply程序使用多線

6、程，使得它能夠及時跟蹤通信通道中的消息。 低網(wǎng)絡(luò)流量 消息使用一種壓縮格式在隊列中傳送，而且在發(fā)送數(shù)據(jù)的選項中允許選擇傳送最少量的數(shù)據(jù)。 異步性 消息隊列使得Apply程序可以不連接源數(shù)據(jù)庫或者源子系統(tǒng)就可以接收事務(wù)。如果QCapture程序或者Apply程序停止，需要進行處理的消息在程序準(zhǔn)備好之后后，將仍然存在于隊列中。由于消息是永久的，所以源表和目標(biāo)表即使在系統(tǒng)或設(shè)備故障的情況下仍可以保持同步?；谌罩镜膹?fù)制，可忽略對于重要生產(chǎn)系統(tǒng)的影響，不需要時間窗口，不要時基于日志的復(fù)制，可忽略對于重要生產(chǎn)系統(tǒng)的影響，不需要時間窗口，不要時間戳來探測變化。不需要改變應(yīng)用或者表結(jié)構(gòu)，沒有額外的硬件需要，

7、只復(fù)制間戳來探測變化。不需要改變應(yīng)用或者表結(jié)構(gòu)，沒有額外的硬件需要，只復(fù)制變化，意味這最小的網(wǎng)絡(luò)帶寬，交易一發(fā)生，就轉(zhuǎn)換發(fā)送給目標(biāo)，增加數(shù)據(jù)量，變化，意味這最小的網(wǎng)絡(luò)帶寬，交易一發(fā)生，就轉(zhuǎn)換發(fā)送給目標(biāo)，增加數(shù)據(jù)量，縮短處理窗口縮短處理窗口第10頁/共23頁架構(gòu)（數(shù)據(jù)源)第11頁/共23頁架構(gòu)(目標(biāo)端)第12頁/共23頁Log-Based ReplicationFeature:可以讀取REDO和ARCHIVE LOGBusiness Benefits:實時性，以及對原有系統(tǒng)影響降到最低第13頁/共23頁可以復(fù)制ORACLE DDL和DMLTableSequenceContextDirectory

8、DimensionFunctionIndexLibraryMaterialized ViewPackageTriggerProcedureProfileResource Cost RoleRollback SegmentSynonymTablespaceUser ViewFeature:支持DDL（數(shù)據(jù)庫對象和SCHEMA的變化可以同步)Business Benefits:減少錯誤和減輕管理成本，支持DDL和DMLOracle 9i,10g, 11g第14頁/共23頁靈活的架構(gòu)Feature:擴展性好，全圖形化操作第15頁/共23頁可用于數(shù)據(jù)容災(zāi)可用于數(shù)據(jù)容災(zāi)遠(yuǎn)程控制端遠(yuǎn)程控制端生產(chǎn)服務(wù)器生產(chǎn)

9、服務(wù)器冗災(zāi)服務(wù)器冗災(zāi)服務(wù)器時間漏斗R/WR應(yīng)用數(shù)據(jù)庫應(yīng)用數(shù)據(jù)庫 online第16頁/共23頁可選擇全庫或者部分?jǐn)?shù)據(jù)的復(fù)制Replicate AllOr Selective同時支持復(fù)制過程數(shù)據(jù)格式的轉(zhuǎn)換第17頁/共23頁Proposed IBM Architecture應(yīng)對復(fù)雜場景應(yīng)對復(fù)雜場景MQ ESEData ConsolidationServerTwoServerOneMQ ESEDataMirrorCDCMQ ESEMQ ESEMQ ESEDataMirrorCDCDataMirrorCDCDataMirrorCDC第18頁/共23頁Feature:一致點的控制，可以和TSM等結(jié)合第19頁/共23頁圖形化的管理第20頁/共23頁 支持 Oracle 9i,10g and 11g 基于日志的備份 DDL & DML 支持 全量刷新