GoldenGate安裝部署與解決方案_第1頁
GoldenGate安裝部署與解決方案_第2頁
GoldenGate安裝部署與解決方案_第3頁
GoldenGate安裝部署與解決方案_第4頁
免費預覽已結(jié)束,剩余89頁可下載查看

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權,請進行舉報或認領

文檔簡介

1、GoldenGate安裝部署及解決方案目錄GoldenGate安裝部署及解決方案 .11、 GoldenGate簡介 .32、文檔約定和說明 .53、 GoldenGate軟件安裝 .63.1 GoldenGate軟件安裝包下載 63.2 Windows下安裝73.3 Linux和 Unix下安裝84、 GoldenGate同步基本配置 .94.1 oracle 之間同步和GoldenGate 基礎94.2 oracle與 db2 同步174.3 oracle與 sybase 同步 185、 GoldenGate同步方案 .195.1 使用 GoldenGate初始化加載195.2 一對多數(shù)據(jù)

2、同步(廣播復制)215.3 多對一數(shù)據(jù)同步(集中復制)225.4 數(shù)據(jù)轉(zhuǎn)換和過濾235.5 關于目標端高數(shù)據(jù)安全性下的GoldenGate 配置方案275.6 GoldenGate 雙向復制( active-active)306、 GoldenGate數(shù)據(jù)同步性能測試 .336.1 測試中主要監(jiān)測數(shù)據(jù)和監(jiān)測方式336.2 測試腳本和GoldenGate 配置346.3 測試步驟386.4 性能測試結(jié)果407、 GoldenGate推薦配置 .427.1 添加必要的環(huán)境參數(shù)427.2 BATCHSQL 參數(shù) 427.3 數(shù)據(jù)庫用戶密碼加密437.4 trail再壓縮 448、 GoldenGat

3、e Troubleshooting.458.1 一些常用的進程信息和日志的查看方式458.2 解析 trail 文件45附: GoldenGate新版本的一個特性 .46參考文檔481、 GoldenGate簡介GoldenGate軟件是一種基于日志的結(jié)構(gòu)化數(shù)據(jù)復制軟件,它通過解析源數(shù)據(jù)庫在線日志或歸檔日志獲得數(shù)據(jù)的增刪改變化,再將這些變化應用到目標數(shù)據(jù)庫,實現(xiàn)源數(shù)據(jù)庫與目標 數(shù) 據(jù)庫實時同步(real-timedatasynchronize)、雙活(active-activehighavailability)。GoldenGate軟件可以在異構(gòu)的IT基礎結(jié)構(gòu)(包括幾乎所有常用操作系統(tǒng)平臺和數(shù)

4、據(jù)庫平臺)之間實現(xiàn)大量數(shù)據(jù)亞秒一級的實時復制,其復制過程簡圖如下:如上圖所示,GoldenGate的數(shù)據(jù)復制過程如下:利用捕捉進程(Capture Process)在源系統(tǒng)端讀取Online Redo Log或Archive Log,然后進行解析,只提取其中數(shù)據(jù)的變化如增、刪、改操作,并將相關信息轉(zhuǎn)換為GoldenGate自定義的中間格式存放在隊列文件(trail )中。再利用傳送進程將隊列文件通過TCP/IP 傳送到目標系統(tǒng)。捕捉進程在每次讀完 log 中的數(shù)據(jù)變化并在數(shù)據(jù)傳送到目標系統(tǒng)后,會寫檢查點( checkpoint ),記錄當前完成捕捉的 log 位置,檢查點的存在可以使捕捉進程在

5、中止并恢復后可從檢查點位置繼續(xù)復制;目標系統(tǒng)接受數(shù)據(jù)變化并緩存到 GoldenGate 隊列當中, 隊列為一系列臨時存儲數(shù)據(jù)變化的文件,等待投遞進程讀取數(shù)據(jù);GoldenGate 投遞進程從隊列中讀取數(shù)據(jù)變化并創(chuàng)建對應的 SQL 語句,通過數(shù)據(jù)庫的本地接口執(zhí)行, 提交到數(shù)據(jù)庫成功后更新自己的檢查點, 記錄已經(jīng)完成復制的位置, 數(shù)據(jù)的復制過程最終完成。由此可見,GoldenGate是一種基于軟件的數(shù)據(jù)復制方式,它從數(shù)據(jù)庫的日志解析數(shù)據(jù)的GoldenGate通過TCP/IP網(wǎng)絡傳輸,無需依賴于數(shù)據(jù)庫自身的傳遞方式,而且可以通過高達9:1的壓縮率對數(shù)據(jù)進行壓縮,可以大大降低帶寬需求。在目標端,Gol

6、denGate可以通過交易重組、分批加載等技術手段大大加快數(shù)據(jù)投遞的速度和效率,降低目標系統(tǒng)的資源占用,可以在亞秒級實現(xiàn)大量數(shù)據(jù)的復制,并且目標端數(shù)據(jù)庫是活動的GoldenGate 提供了靈活的應用方案,基于其先進、靈活的技術架構(gòu)可以根據(jù)用戶需求組成各種拓撲結(jié)構(gòu),如圖所示:GoldenGate可以提供可靠的數(shù)據(jù)復制,主要體現(xiàn)在下面三點:(1)保證事務一致性GoldenGate在災備數(shù)據(jù)庫應用復制數(shù)據(jù)庫交易的順序與在生產(chǎn)中心數(shù)據(jù)庫上的順序相同,并且按照相同的事務環(huán)境提交, 確保在目標系統(tǒng)上數(shù)據(jù)的完整性和讀一致性, 為實時查詢和事務處理創(chuàng)造了條件。(2)檢查點機制保障數(shù)據(jù)無丟失GoldenGate

7、的抽取和復制進程使用檢查點機制記錄完成復制的位置。對于抽取進程,其檢查點記錄當前已經(jīng)抽取日志的位置和寫隊列文件的位置;對于投遞進程,其檢查點記錄當前讀取隊列文件的位置。檢查點機制可以保證在系統(tǒng)、網(wǎng)絡或 GoldenGate進程故障重啟后數(shù)據(jù)無丟失。(3)可靠的數(shù)據(jù)傳輸機制GoldenGate用應答機制傳輸交易數(shù)據(jù),只有在得到確認消息后才認為數(shù)據(jù)傳輸完成,否則將自動重新傳輸數(shù)據(jù),從而保證了抽取出的所有數(shù)據(jù)都能發(fā)送到備份端。數(shù)據(jù)傳輸過程中支持128 位加密和數(shù)據(jù)壓縮功能。Oracle公司的GoldenGate產(chǎn)品,可以在異構(gòu)的IT 基礎結(jié)構(gòu)之間實現(xiàn)大量數(shù)據(jù)的秒一級的數(shù)據(jù)捕捉、轉(zhuǎn)換和投遞。目前最新版

8、本為V11.1.1.1.0 。GoldenGate可以支持幾乎所有常用操作系統(tǒng)如和數(shù)據(jù)庫平臺,如下表所示:操作系統(tǒng)數(shù)據(jù)庫MS NT, 2000, XP, Linux, Sun Solaris,Oracle, DB2, MS SQL Server, MySQL,HP-UX, IBM AIX, HP NonStop, TRU64, IBMEnscribe, SQL/MP, SQL/MX, Sybase,z/OS , OS/390Teradata, 其他 ODBC 兼容數(shù)據(jù)庫2、文檔約定和說明為統(tǒng)一表示命令和便于查看,對格式作如下約定:GG_HOME> 表示從操作系統(tǒng)命令行(cmd )進入Go

9、ldenGate安裝路徑下執(zhí)行命令。GGSCI> 表示在 GoldenGate命令環(huán)境中執(zhí)行命令。SQL> 表示在數(shù)據(jù)庫下執(zhí)行SQL 語句/*/表示配置文件內(nèi)容,/*不包含在內(nèi)。<> 表示自定義參數(shù),如自定義表名<tablename>以下示例中若無特殊說明,GoldenGate使用的版本主要為11.1 ,部分使用除部分新特性,兩者基本無差別;GoldenGate命令行中的操作均是在mgr 主進程進行,當然,GoldenGate安裝部分除外。10.4 版本,running 時補充說明:該文檔主要介紹GoldenGate基本使用、GoldenGate的各類解決方

10、案,以及以往本人在使用測試中總結(jié)的經(jīng)驗,文中的例子和執(zhí)行的命令都是參照官方文檔并親自測試執(zhí)行過。因個人能力所限,錯漏之處再所難免,文檔中也不可能覆蓋GoldenGate的方方面面。而且,因為 GoldenGate本身提供了大量的參數(shù),也不可能在這里一一列舉,本文檔中只舉例了常用的一些參數(shù)命令,關于各個參數(shù)的具體使用語法和作用,還請參照官方文檔Oracle GoldeGateReference Guide。但3、 GoldenGate軟件安裝在不同的操作系統(tǒng)和平臺上安裝GoldenGate,需要在官網(wǎng)下載對應的版本。32 位系統(tǒng)和 64 位系統(tǒng)的安裝介質(zhì)雖然不同,但是在同一OS 上安裝方式是一樣

11、的。GoldenGate 需要解析數(shù)據(jù)庫的日志文件,所以安裝位置必須要能訪問到日志文件(在線日志和歸檔文件) ,并具有相應的權限。3.1 GoldenGate軟件安裝包下載經(jīng)常有人問我GoldenGate 的下載地址,所以在這里專門說明一下。GoldenGate軟件的官方下載地址:目前只有這個地址能下到對應 32 位操作系統(tǒng)的安裝介質(zhì)。首頁如下:網(wǎng)頁開頭點擊這個Continue 進入下載。首次進入需要登記一些個人信息,如名字、公司等, 然后下方選擇同意協(xié)議之類的, 點 Continue 進入搜索。搜索時如下選擇:點 GO ,然后選擇對應版本的Oracle GoldenGate下載。Golden

12、Gate安裝包一般只有幾十兆的大小,下載還是很快的。GoldenGate除了同步軟件這塊,還有其他相關的產(chǎn)品,比如 Oracle GoldenGate Director用于集中圖形化管理和監(jiān)控;Oracle GoldenGate Veridata,用于兩端同步數(shù)據(jù)質(zhì)量檢驗。在本文檔,中暫不介紹。3.2 Windows下安裝( 1)安裝 MicrosoftVisual C + 2005 SP1Windows 操作系統(tǒng)需要首先下載安裝 MicrosoftVisual C + 2005 SP1 發(fā)行包(注意該軟件也分 32 位和 64 位)。( 2)綠色安裝 GoldenGate下載對應平臺版本的G

13、oldenGate安裝包,解壓。然后進入操作系統(tǒng)命令行(入 GoldenGate解壓路徑下,執(zhí)行:cmd ),進GG_HOME>ggsci-進入 GoldenGate命令窗口模式GGSCI> CREATE SUBDIRS-建立子目錄GGSCI>edit param mgr-配置 GoldenGate主進程參數(shù)由于第一次執(zhí)行該命令,會提示創(chuàng)建mgr 參數(shù)文件,點“是”并在文本中輸入如下參數(shù):/*PORT 7801 -GoldenGate主進程端口號DYNAMICPORTLIST 7802-7820-GoldenGate為進程間通訊動態(tài)分配的端口段,注意這里如果分配的端口端少于e

14、xtract-replicat進程對的話,會導致部分進程因通訊失敗而出錯。*/保存,生成的參數(shù)文件保存在GG_HOME dirprm下然后可以啟動GoldenGate 主控制進程:GGSCI>start mgrGGSCI>info all-查看進程狀態(tài)如果進程MANAGER狀態(tài)顯示為RUNNING則表示主進程已在運行。至此軟件安裝完成。( 3)管理 GoldenGate 服務在 WINDOWS 下還可以將 GoldenGate 主進程作為系統(tǒng)服務進行管理,如下配置:GGSCI>edit param ./globals -配置全局參數(shù),注意前面的 ./ 表明與其他參數(shù)文件位置不

15、同,該參數(shù)文件是直接位于 GoldenGate 安裝路徑下的輸入:/*MGRSERVNAME <name>-GoldenGate主進程端口號,<name> 為自定義的系統(tǒng)服務名*/然后退出GGSCI 命令行: GGSCI> exitGG_HOME> install addservice addevents-創(chuàng)建服務,完成后可以直接進服務進行管理WINDOWS刪除 GoldenGate服務:GG_HOME>install deleteevents deleteservice- 對應刪除服務操作或者在注冊表刪除:HKEY_LOCAL_MACHINESYST

16、EMCurrentControlSetServices一般服務會以相同的名字在這里顯示一個主健,直接刪除相關的鍵值便可3.3 Linux和 Unix 下安裝(1)檢查必需的lib 包下載對應平臺版本的GoldenGate ,解壓。在解壓路徑下執(zhí)行:rootGG_HOME> # ldd ggsci將列出所有需要的lib 和當前缺少的。GoldenGate在 Linux 和 Unix 下安裝,需要安裝ORACLE 的 lib 環(huán)境以及 $ORACLE_HOME/lib下的幾個包,所以必須安裝在Oracle 之后,而且確保在環(huán)境變量中加入:export LD_LIBRARY_PATH=$ORA

17、CLE_HOME/lib( 2)綠色安裝 GoldenGate在解壓路徑下執(zhí)行./ggsci 進行接口命令行,rootGG_HOME> # ./ggsci-進入 GoldenGate命令窗口模式GGSCI> CREATE SUBDIRSGGSCI>edit param mgr-建立子目錄- 配置 GoldenGate主進程參數(shù)由于第一次執(zhí)行該命令,會提示創(chuàng)建mgr 參數(shù)文件,點“是”并在文本中輸入如下參數(shù):/*PORT 7801 -GoldenGate 主進程端口號DYNAMICPORTLIST 7802-7820 -GoldenGate為進程間通訊動態(tài)分配的端口段,注意這里

18、如果分配的端口端少于 extract-replicat進程對的話,會導致部分進程因通訊失敗而出錯。*/保存,生成的參數(shù)文件保存在GG_HOME dirprm下然后可以啟動 GoldenGate主控制進程:GGSCI>start mgrGGSCI>info all- 查看進程狀態(tài)如果進程 MANAGER狀態(tài)顯示為RUNNING則表示主進程已在運行。至此軟件安裝完成。和 Windows 下安裝的主要區(qū)別是需要確認必需的lib 包,進入 GGSCI 接口命令行后的操作都是一致的。的強制日志模式,以防止源數(shù)據(jù)庫因直接路徑加-開啟最小附加日志模式4、 GoldenGate同步基本配置Gold

19、enGate支持目前大部分主流數(shù)據(jù)庫,這也是它的優(yōu)勢之一。下面列舉了Oracle 、Db2 、Sybase 之間的同步。同步測試的準備工作中,有一部分是共通的,如下:( 1) 在源端和目標端建立相同結(jié)構(gòu)的兩個表,建立主鍵。保證復制的對象在一開始是一致的。( 2) 保證沒有相關對象的觸發(fā)器(會導致數(shù)據(jù)沖突的那些)或設置失效。( 3) 數(shù)據(jù)庫需要開啟必須的日志模式。不同數(shù)據(jù)庫的配置差異主要在這一步。( 4)源端和目標端都需要安裝相應版本的GoldenGate軟件,并分配一個有DBA 權限的數(shù)據(jù)庫用戶給GoldenGate 用以連接數(shù)據(jù)庫。備注:分配給GoldenGate 的用戶一般情況下并不需要完

20、全的DBA 權限,在官方文檔上有詳細的權限需求說明,但是完全按照那個配置比較繁瑣。額外的,如果數(shù)據(jù)庫使用ASM 時,需要 sysdba權限。4.1 oracle之間同步和GoldenGate基礎數(shù)據(jù)庫設置首先安裝好 ORACLE ,設置好 ORACLE_SID , ORACLE_HOME 等環(huán)境變量。當然,推薦的做法是在每個進程配置文件里都加上指定的環(huán)境變量參數(shù),在后面優(yōu)化配置中進行說明。Oracle 數(shù)據(jù)庫需要開啟歸檔日志,并開啟最小附加日志模式。SQL> select supplemental_log_data_min from v$database;-查看是否開啟了最小附加日志模式

21、SQL>alter database add supplemental log data;實際生產(chǎn)應用中,最好同時打開 ORACLE 載忽略 redo 生成而導致這部分數(shù)據(jù)無法同步:SQL>select force_logging from v$database;SQL> Alter database force logging;光開啟最小附加日志模式還不夠,還需要打開表級的補全日志,可以在GoldenGate中使用 add trandata命令強制重做日志記錄主鍵值,以保證在目標端能成功復制:GGSCI>dblogin userid ddw,password ddw-

22、GoldenGate 中登錄 OARCLE 數(shù)據(jù)庫GGSCI>add trandata ddw.<tablename>-表名可以使用通配符GGSCI> add trandata coss3.per_test,nokey,cols(sampletime, objectid)-無主鍵指定字段補全的示例也可以在數(shù)據(jù)庫中打開:SQL>alter table <tablename>add supplemental log data (primary key) columns;千萬不要小看這步日志設置,其實在GoldenGate的配置中,這步是最容易出錯的環(huán)節(jié)。如

23、果開啟DDL 復制做冗災備份,最好直接在數(shù)據(jù)庫級別打開補全日志:SQL> alter database add supplemental log data (primary key,unique,foreign key) columns; 檢查一下,全是 YES 就 OK 了(整個數(shù)據(jù)庫級別補全)SQL> select supplemental_log_data_min,supplemental_log_data_pk,supplemental_log_data_uifrom v$database;關于 Oracle 補全日志補充說明Oracle 日志( redo log )一般用

24、于實例恢復和介質(zhì)恢復,但是如果需要靠日志還原完整的 DML 操作信息(比如 Logmnr 、Streams 和這里的 Goldengate ),默認記錄的日志量還不夠。比如一個 UPDATE 的操作,默認 redo 只記錄了 rowid 以及被修改的字段信息,但這里GoldenGate還原這個事務,因為不是根據(jù)rowid 而是 SQL 層面根據(jù)唯一鍵值來定位記錄,所以還需要將主鍵或者其他字段的信息附加到日志中去。要往日志中增加這些額外字段信息的操作,就是開啟補全日志,即 Add Supplemental Logging 。打開補全日志,會使數(shù)據(jù)庫的日志量增加,所以只打開需要的級別和對象即可。O

25、racle 補全日志可以在數(shù)據(jù)庫級別設置,也可以在表級別設置。在數(shù)據(jù)庫級別中,補全日志按補全的信息量,對應好幾個級別:( 1) 最小附加日志( Minimal supplemental logging):是開啟 logmnr 的最低日志要求,提供了行鏈接( chained rows )和多種數(shù)據(jù)存儲(比如聚簇表、索引組織表)的信息。在 Oracle 9.2 之后的版本中,默認都不開啟。( 2)主鍵補全( Primary key supplemental logging):在日志中補全所有主鍵列。如果表中無主鍵,則補全一個非空唯一索引列;如果非空唯一索引鍵也沒,那么會補全除了 LOB 和 LON

26、G 類型字段以外的所有列,這時就和下面的所有補全一樣了。( 3)唯一鍵補全( Unique key supplemental logging):當唯一鍵列或位圖索引列被修改時,在日志中補全所有唯一鍵列或位圖索引列。打開唯一鍵補全也會同時打開主鍵補全。注意這個級別是需要條件觸發(fā)的。( 4) 外鍵補全( Foreign Key supplemental logging):當外鍵列被修改時,將在日志中補全所有外鍵列。這個級別也是需要條件觸發(fā)的。( 5)所有補全( All supplemental logging ):在日志中補全所有字段(排除 LOB 和 LONG類型)。數(shù)據(jù)庫級別中的5 個類型中,

27、除了最小附加日志級別,都可以在表級進行設置。除此之外,表級還可以明確指定需要補全的列。Oracle 表級補全日志需要在最小補全日志打開的情況下才起作用,即若一個數(shù)據(jù)庫沒有開最小補全日志或之前drop supplemental log data重做日志輸出的過程中描述的記錄仍只記錄rowid操作則即便指定了表級補全日志,實際在和相關列值。 而要關閉最小補全日志,也必須首先關閉數(shù)據(jù)庫級別的其他補全級別后,才能關閉。所以在GoldenGate中,對于Oracle 數(shù)據(jù)庫的日志補全要求,至少是打開最小附加日志和主鍵補全。主鍵補全只要在需要同步的表上開啟即可。當然GoldenGate的 add tran

28、data語法中也可以指定補全的列,這和Oracle表級補全日志的功能完全一致。畢竟,日志還是由數(shù)據(jù)庫生成的,GoldenGate并不能直接控制日志的生成方式和規(guī)則,只能根據(jù)所捕獲的數(shù)據(jù)庫的日志規(guī)則而來。不同的數(shù)據(jù)庫,日志補全的規(guī)則也會不同。以上部分內(nèi)容參考自Oracle 10gR2 Utilities Supplemental Logging部分同步一對一的實時同步簡單配置同步流程如圖:(1)源數(shù)據(jù)庫端添加提取進程(extract process)GGSCI>add extract extl,tranlog,begin now -新增抽取進程 extl ,基于日志方式,立即生效需要注意的

29、是, GoldenGate 中的進程名最長只能 8 個字符 。注意,如果是在 RAC 環(huán)境下,需要再加上 THREADS <n> 指定提取的日志 THREAD GGSCI>add extract extl,tranlog,begin now , THREADS <n>GGSCI>edit param extl - 生成并編輯同名配置文件/*extract extl- 抽取進程名userid ddworcl,password ddw-連接本機 DB 的帳號密碼rmthost 192.168.0.44, mgrport 7801-目標數(shù)據(jù)庫服務器地址和GG 服務

30、端口號rmttrail d:toolsGGgg10gdirdatrl- 遠程隊列的位置(下一步建的東西)dynamicresolution-優(yōu)化參數(shù),動態(tài)分析表結(jié)構(gòu)gettruncates-抓取 truncate 數(shù)據(jù)table ddw.aatest;-需要抽取的表,可以使用通配符*/然后給這個提取進程創(chuàng)建遠端隊列,即圖中的RMTTRAIL :GGSCI>add rmttrail d:toolsGGgg10gdirdatrl extract extl需要注意的是,這里最后的名稱rl (可以自定義,字母或數(shù)字)是指以后生成的trail 文件都會以 rl 開頭, 如 rl000001 ,這個

31、文件頭名稱最長只能 2 個字符 。如果需要在文件級別區(qū)分隊列,建議將隊列創(chuàng)建于于不同的目錄下。開啟這個提取進程:GGSCI> start extlGGSCI> info all-查看所有進程狀態(tài)此時 extl 進程 running 則表示已成功運行,這時開始會在前面指定的目標端隊列位置生成trail文件。如果進程出錯,可以使用view report extl查看錯誤信息。(2)目標數(shù)據(jù)庫端添加復制應用進程(replicat process)在目標端GoldenGate命令行中配置復制進程:GGSCI>add replicat repl exttrail d:toolsGGgg

32、10gdirdatrl,begin now,nodbcheckpoint新增復制進程,使用對應的隊列rl ,即刻開始,使用文件檢查點GGSCI>edit param repl - 配置復制進程參數(shù)/*replicat repl- 復制進程名userid ddworcl,password ddw-目標數(shù)據(jù)庫的帳號密碼assumetargetdefs -兩臺數(shù)據(jù)庫數(shù)據(jù)結(jié)構(gòu)一致則使用此參數(shù)reperror default,discard-如果復制數(shù)據(jù)出錯則忽略discardfile D:repsz.dsc,append,megabytes 100- 錯誤信息寫入XXXX 文件,追加模式,最大1

33、00mgettruncates- 復制 truncate 操作map ddw.aatest, target ddw.aatest_1;- 映射關系,注意target 前必須留一個空格-map ddw.aatest, target ddw.aatest_1, keycols (name), where (TYPE1 = "1")-加兩橫杠在配置文件中進行注釋;keycols 指定唯一鍵; where篩選數(shù)據(jù)*/開啟復制進程:GGSCI>start repl至此,一個最簡單的同步配置完成,對于源數(shù)據(jù)庫相應表的insert , update , delete和truncat

34、e 操作都將通過日志捕獲并同步到目標數(shù)據(jù)庫。使用 datapump加入 datapump 后的數(shù)據(jù)傳輸?shù)牧鞒蹋哼@里的datapump與ORACLE 10g推出的數(shù)據(jù)泵不是一個概念。在GoldenGate中,datapump 相當于一個次級提取進程(secondary extract)。在上面演示的同步流程中,提取進程直接將提取的 redo 信息經(jīng)過處理后放置到了目標端服務器上,當兩者之間的網(wǎng)絡出現(xiàn)故障時,會因無法生成 trail 文件而導致提取進程崩潰,錯誤提示類似如下:2010-11-12 10:01:21GGS ERROR150TCP/IP error10061 ( 由于目標機器積極拒絕,

35、無法連接。);retries exceeded.2010-11-12 10:01:21GGS ERROR190PROCESS ABENDING.而加入datapump后,主提取進程(即第一個extract)首先將trail生成在本地,然后datapump 讀取本地trail 再發(fā)送到目標服務器,即便網(wǎng)絡故障,主提取進程仍然能隨著事務生成 trail 文件,而 datapump則會暫時停止傳輸,等待網(wǎng)絡通暢后在將堆積的本地trail發(fā)送至目標服務器,從而實現(xiàn)了斷點傳輸?shù)墓δ?。在實際應用中,每一個同步流程都應該配文件置 datapump 以應對網(wǎng)絡問題。加入 datapump 的配置:將前面ext

36、l 參數(shù)文件中的/*rmttrail d:toolsGGgg10gdirdatrl*/替換為/*exttrail d:toolsGGgg10gdirdatl1- 本地隊列文件生成位置*/配置 datapump 進程:GGSCI>ADD EXTRACT pump1, EXTTRAILSOURCE <local_trail>, BEGIN <time>-<local_trail>即是對應extl 配置文件中定義的d:toolsGGgg10gdirdatl1GGSCI> edit param pump1/*extract pump1userid ddw

37、, password ddwrmttrail d:toolsGGgg10gdirdatr1PASSTHRU|NOPASSTHRU-直通模式或普通模式gettruncatestable ddw.bbtest;*/直通模式用在兩邊表名、列名一致,可以直接映射的情況,不需要額外配置;普通模式可以配置表名列名自定義映射,可以加FILTER 、 transformation等,需要配置一個數(shù)據(jù)定義文件(data-definitions file)。然后修改原先為提取進程配置遠端隊列位置:GGSCI>delete rmttrail d:toolsGGgg10gdirdatrl extract ext

38、lGGSCI>add rmttrail d:toolsGGgg10gdirdatrl extract pump1然后啟動extl 和 pump 進程就 OK 了。使用數(shù)據(jù)定義文件GoldenGate 數(shù)據(jù)定義文件(data-definitionsfile ),主要用于不同數(shù)據(jù)源之間(比如下面的Oracle 與 DB2 之間的同步) ,進行數(shù)據(jù)同步時用來轉(zhuǎn)換數(shù)據(jù)格式。數(shù)據(jù)定義文件主要包含表名、字段名、字段類型、字段長度和偏移量。利用GoldenGate的 defgen 工具生成一個數(shù)據(jù)定義文件( data-definitions file),大致步驟如下:( 1)創(chuàng)建 DEFGEN 工具的

39、參數(shù)文件( 2)運行 DEFGEN 工具生成數(shù)據(jù)定義文件( 3)配置 GG 進程識別定義文件例子:GGSCI>edit param defgen -創(chuàng)建DEFGEN工具的參數(shù)文件/*DEFSFILE <full_pathname>-指定由DEFGEN生成的數(shù)據(jù)定義文件的全路徑和名稱SOURCEDB | TARGETDB <dsn>,-oracle不需要配置這個參數(shù)USERID <user>,PASSWORD <password>-DB2不需要配置PASSWORDTABLE <owner>.<table>-分析指定表生成配置文件*/類似如下( ORACLE ):/*DEFSFILE GG_HOMEdirdefextdb.refUSERID ddw,PASSWORD ddwTABLE ddw.aatest;*/然后退出GGSCI ,在 GG 安裝路徑下運行DEFGEN 工具:GG_HOME>defgen paramfile dirprm/defgen.prm配置文件默認生成在 GG_HOMEdirdef 下,不要去手動修改。如果對應表的表結(jié)構(gòu)發(fā)生更改,需要重新生成這個配置文件。然后將生成的配置文件拷貝至目標服務器的GG_HOMEdirdef下。修改復制進程rep

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論