DSGRealSync管理手冊

1、DSG Realsync管理維護手冊 2021-12-27DSG RealSync 操作管理手冊 2012/1/14DSGdata Inc.迪思杰（北京）數(shù)碼技術有限公司49/49目 錄1REALSYNC工作原理41.1原理概論41.2日志抓取（Data Capture）51.3日志分析（Analyze）51.4交易合成（Synthesize）61.5交易傳輸71.6數(shù)據(jù)裝載82REALSYNC支持列表102.1首次全同步102.2復制關系維護102.3DML操作復制支持102.4DDL操作復制支持122.5常見的不支持操作及處理方式143各復制端口一覽表164軟件部署結構說明195發(fā)起全同步

2、并啟動復制206REALSYNC目錄和文件結構說明236.1源端安裝目錄說明236.1.1config目錄重點文件說明236.1.2scripts目錄中的文件說明236.1.3bin目錄重點文件說明246.1.4log目錄重點文件說明246.1.5rmp目錄重點文件說明256.2目標端安裝目錄說明256.2.1scripts目錄重點文件說明256.2.2bin目錄重點文件說明266.2.3log目錄重點文件說明266.2.4rmp目錄重點文件說明267REALSYNC日常維護287.1進程檢查287.1.1數(shù)據(jù)復制的進程檢查287.2如何停止和啟動進程297.2.1源端進程的停止297.2.2

3、源端進程的啟動297.2.3目標端進程的停止307.2.4目標端進程的啟動307.3日志監(jiān)控317.3.1源端日志分析監(jiān)控317.3.2目標端裝載日志347.4隊列累積查看367.4.1源端日常是否xf1積壓367.4.2目標端日常是否xf1積壓377.5如何進行重新全同步377.5.1停止并清空源端的realsync程序只需執(zhí)行full_sync_ds.sh377.5.2停止并清空目標端的realsync程序秩序執(zhí)行full_sync_dt.sh407.5.3重新啟動源端的realsync程序只需執(zhí)行start_dsg.sh417.5.4重新啟動目標端的realsync程序只需執(zhí)行start

4、_dsg_dt.sh427.5.5確認全同步已經(jīng)結束并且進入到實時同步階段427.6如何修改日志分析間隔457.7維護需要過濾的DDL操作457.7.1過濾DDL操作的意義457.7.2支持的過濾操作種類457.8日常需要刪除的一些文件487.8.1檢查磁盤陣列的剩余空間487.8.2刪除源端realsync的文件487.8.3刪除目標端realsync的文件491 RealSync工作原理1.1 原理概論RealSync技術是針對數(shù)據(jù)庫提供了基于邏輯的交易復制方式。該方式通過直接捕獲源數(shù)據(jù)庫的交易，將數(shù)據(jù)庫的改變邏輯復制到目標系統(tǒng)數(shù)據(jù)庫中，實現(xiàn)源系統(tǒng)和目標系統(tǒng)數(shù)據(jù)的一致性。如上圖所示，Rea

5、lSync在數(shù)據(jù)源（Data Source，簡稱DS）端和數(shù)據(jù)目標端（Data Target端，簡稱DT）分別安裝Agent進程，Source端的Agent進程對ORACLE日志進行監(jiān)控，發(fā)現(xiàn)改變及時對目標數(shù)據(jù)庫進行更新。當應用系統(tǒng)在Data Source端向數(shù)據(jù)庫進行任何操作時時，這些信息都將在Redo Log中保存，RealSync Agent通過對實時獲取的Log日志進行分析，獲得本次操作的交易指令和交易數(shù)據(jù)，然后將這些交易指令和交易數(shù)據(jù)經(jīng)過格式轉(zhuǎn)化生成XF1數(shù)據(jù)格式，并實時通過網(wǎng)絡傳送到Data Target系統(tǒng)。Data Target系統(tǒng)的RealSync Agent接收數(shù)據(jù)庫包，經(jīng)

6、過校驗碼檢查，確認正確的數(shù)據(jù)庫包后，調(diào)用Oracle函數(shù)按照交易的先后順序在Data Target系統(tǒng)中執(zhí)行該交易。1.2 日志抓?。―ata Capture）RealSync對數(shù)據(jù)的抓取是通過安裝在Data Source端的Agent模塊定時分析Oracle Redo Log來獲取Data Source端的交易類型及數(shù)據(jù)的。RealSync Agent在判斷Data Source端的Oracle系統(tǒng)是否有新的交易產(chǎn)生時是通過定期檢查oracle提供的視圖中記錄的當前SCN號來判斷的，這樣避免每次檢都通過讀取log文件來判斷否有新的交易產(chǎn)生時造成的系統(tǒng)影響。在確認有新的交易產(chǎn)生時，可以同時獲得

7、當前的Redo Log 組，以及最新日志在日志文件的最新位置。RealSync Agent模塊根據(jù)這些信息將上次抓取時記錄的日志位置與本次讀取的最新位置之間的Log讀取并加以分析。然后將這些數(shù)據(jù)保存在Online Log Cache文件中，等待下一步作交易合成處理。RealSync的優(yōu)勢：與其他類似日志復制產(chǎn)品相比，RealSync對日志進行分析，得到交易信息再進行傳送；而其他類似產(chǎn)品不對日志作分析，傳送全部日志，然后在目標端通過日志作Recover， 這樣一來，不僅傳送數(shù)據(jù)量大，而且目標端數(shù)據(jù)庫不能打開。1.3 日志分析（Analyze）Oracle數(shù)據(jù)庫的所有更改都記錄在日志中，其中記錄了

8、對數(shù)據(jù)庫中的每一個變化。當我們需要了解數(shù)據(jù)庫中所作的交易時，一個最有效實用而又低成本的方法就是分析Oracle數(shù)據(jù)庫的日志文件。RealSync Agent中集成了DSG的優(yōu)秀日志分析功能，該功能完全不同于oracle提供的Logminer日志分析工具，在性能和功能上都大大提高，主要體現(xiàn)在系統(tǒng)性能的優(yōu)化上，大幅度提高日志分析的速度，使得對于高并發(fā)業(yè)務系統(tǒng)的復制成為可能。按照RealSync的日志分析設計目標，每秒能夠分析的日志量達到10M/s。RealSync通過對日志的分析，得到該數(shù)據(jù)庫中的每個SQL指令，并將這些SQL指令生成XF1格式的表達方式。XF1格式是DSG公司的專有技術，該技術是

9、DSG公司用來表達SQL指令的方式，該數(shù)據(jù)格式能夠通過DSG的專有轉(zhuǎn)換算法能夠直接轉(zhuǎn)換為ORACL的內(nèi)部數(shù)據(jù)表達格式，從而在分析和轉(zhuǎn)載時需要最小的轉(zhuǎn)化，提高分析和裝載速度，減少資源占用、豐富能夠表達的各種數(shù)據(jù)類型。1.4 交易合成（Synthesize）通過ORACLE REDO LOG分析的交易指令存在如下的幾個特點：（1）這些指令是交叉出現(xiàn)的，屬于一個交易（Transaction）的多條SQL指令是非連續(xù)存儲的，多個交易的SQL之間是相互穿插的；（2）Redo log中記錄了所有的commit的交易以及沒有commit的交易；所以，為了提高系統(tǒng)的可控制性、保證邏輯完整性、避免數(shù)據(jù)丟失，最好

10、將復制的最小單位為一個交易（Transaction），而不是以單個SQL指令為復制單位，這樣在Data Target端的交易裝載更加容易控制。同時，對于復制的數(shù)據(jù)而言，只有那些Commit的數(shù)據(jù)對于Data Target端系統(tǒng)是有意義的，而對于那些Rollback的數(shù)據(jù)無需復制到Data target系統(tǒng)上。所以RealSync在復制過程中不是復制每個SQL語句，而是對抓取的數(shù)據(jù)進行交易整合后以交易（Transaction）為單位進行復制，同時只復制COMMIT的交易。如上圖所示，在Online Log Cache文件中，包括Commit的交易，沒有Commit的交易和Rollback的交易。

11、交易合成模塊首先按照交易序號對SOL語句進行劃分，每個交易包含多條SOL語句。然后，以交易為單位進行處理，將已經(jīng)Commit的交易，傳至傳輸處理模塊；將未提交的交易保存在本地，一旦通過日志得知保存的未提交交易已提交，立即將該交易發(fā)送到傳輸處理模塊；對Rollback的交易作丟棄處理。RealSync的優(yōu)勢：RealSync是以交易為單位進行傳輸?shù)?，而不是以SOL語句為單位進行傳輸?shù)模菀妆ＷC數(shù)據(jù)的一致性和完整性。1.5 交易傳輸RealSync技術為了保證數(shù)據(jù)傳輸?shù)陌踩⒖煽?，在傳輸處理上作了特殊的處理與支持:（1）數(shù)據(jù)在傳輸之前首先存入Data Source端的Cache，傳輸進程（sen

12、der）從Cache中讀取交易數(shù)據(jù)封裝為TCP/IP數(shù)據(jù)包傳送給Data target端的vagentd進程。（2）在data target端，vagentd進程在收到傳輸?shù)慕灰讛?shù)據(jù)包后，首先存入Queue，然后由Load進程從Queue中嚴格按照交易的順序裝載交易信息。如上圖所示，負責傳輸?shù)倪M程（sender）從本地隊列中按照先進先出的原則抓取需要傳輸?shù)慕灰?，將交易?shù)據(jù)封裝成一個數(shù)據(jù)包后通過TCP/IP協(xié)議傳遞給對端系統(tǒng)。在封裝的數(shù)據(jù)包的包頭部分描述了包的大小。對端系統(tǒng)在接受到傳來的數(shù)據(jù)包后，首先根據(jù)包頭描述的包大小進行傳輸?shù)暮戏ㄐ詸z查，判斷是否傳輸完整。1.6 數(shù)據(jù)裝載在傳統(tǒng)的復制技術中，

13、常用的數(shù)據(jù)裝載方式是采用Oracle 的SQL接口，通過Insert、Update、Delete等SQL語句實現(xiàn)數(shù)據(jù)的裝載。這種方式在通用性上很好，但關鍵在于性能問題非常突出。SQL語句的執(zhí)行需要經(jīng)過parse、plan、格式轉(zhuǎn)換等過程，造成大量的系統(tǒng)開銷。尤其是update和Delte操作的大量Where子句操作需要進行復雜的查詢定位任務，從而導致裝載性能低下，對處理能力的要求比生產(chǎn)系統(tǒng)的還高。DSG RealSync在設計之初就定位于電信級大數(shù)據(jù)量系統(tǒng)的應用，因此在裝載性能上進行了大幅度的改善，使得裝載端的性能和處理能力需求降至最低。在其中DSG RealSync采用了兩個關鍵的技術提高了

14、裝載速度：（1）采用XF1數(shù)據(jù)格式的裝載；（2）采用Rowid mapping的方式實現(xiàn)快速定位；XF1（DSG Extend Format）格式是DSG公司的專有技術，該技術是DSG公司用來表達SQL指令的方式，該數(shù)據(jù)格式能夠通過DSG的專有轉(zhuǎn)換算法能夠直接轉(zhuǎn)換為ORACL的內(nèi)部數(shù)據(jù)表達格式，從而在分析和轉(zhuǎn)載時需要最小的轉(zhuǎn)化，提高分析和裝載速度，減少資源占用、豐富sql語句的表達方式。Oracle數(shù)據(jù)庫系統(tǒng)在設計上提供了4個層次的接口，其中包括User層，SQL層，Transformation層和I/O層。其結構為：USERSQLTransformationI/O在這四層當中，當采用SQL接

15、口進行數(shù)據(jù)裝載時，調(diào)用的是User層，而DSG RealSync通過XF1數(shù)據(jù)格式裝載時，調(diào)用I/O層直接將數(shù)據(jù)通過Oracle的最底層函數(shù)寫入系統(tǒng)中，所以DSG RealSync在裝載層上有一定優(yōu)勢；對于交易中的操作，存在著大量的Where子句操作，在采用標準SQL語句執(zhí)行這些操作時，系統(tǒng)需要首先定位目標記錄所在的數(shù)據(jù)文件的位置信息，這將帶來大量的索引查詢開銷，當并發(fā)執(zhí)行數(shù)千條指令時，系統(tǒng)的開銷將變得非常龐大。DSG RealSync工具不采用該方式實現(xiàn)裝載數(shù)據(jù)的定位，而是通過ROW Mapping的方式實現(xiàn)記錄的快速定位：當RealSync從源端Log文件中讀取交易數(shù)據(jù)時，將獲得該交易對應

16、記錄的所在位置，用rowid表示為rowid_ds；當該交易在目標端裝載時，系統(tǒng)不翻譯為Where子句，而是去通過保存在目標端的row mapping表獲得對應目標端該記錄的所在位置rowid，記錄為rowid_dt。從而在目標端裝載時通過rowid能夠直接定位于該數(shù)據(jù)需要寫入的位置。避免了大量的索引查找時間。每條記錄的row mapping信息是在該記錄執(zhí)行insert操作、sql loader或首次批量同步時建立起來的。RealSync的優(yōu)勢：DSG擴展格式XF1(DSG Extend Format)是RealSync產(chǎn)品的一個核心技術，是一種最高效率表示ORACLE記錄的數(shù)據(jù)格式，該格式

17、只需要經(jīng)過最小的轉(zhuǎn)換過程就能夠裝載到ORACLE數(shù)據(jù)庫中，并且裝載效率非常高。n 無需標準SQL語句執(zhí)行的復雜過程n 加快裝載速度對于Update，Delete等帶Where子句的交易，可以大幅度提高裝載速度2 realsync支持列表2.1 首次全同步（1）指定復制對象 指定需要復制的user 指定需要復制的表 指定哪些表需要復制 指定哪些表不需要復制（2）不停業(yè)務的首次全同步（3）指定表的重新全同步2.2 復制關系維護（1）添加新表到復制任務（2）刪除某些表的復制任務（3）添加新的用戶到復制任務（4）刪除某個用戶的復制任務2.3 DML操作復制支持（1）支持的DML操作類型 Insert；

18、 Update； Delete；（2）支持對Truncate Table操作復制（3）支持DIRECT PATH LOADING在Logging模式下批量裝載數(shù)據(jù)的復制 sqlldr direct=y impdp insert into /*+ APPEND */（4）提供ROWID Mapping模式的映射關系（支持Unique key和非unique key的表的復制）（5）支持的DATA TYPES： CHAR DATE NUMBER LONG VARCHAR VARCHAR VARCHAR2 NCHAR NVARCHAR2 FLOAT LONG LONG RAW BLOB CLOB R

19、OWID（6）支持的Table 類型 Table with partitions Table with chainedrows（7）支持Insert all操作insert all when 1=1 then into ts_test_nokey values (id , name,addr,info,sysdate,systimestamp,num) when id=1000 then into ts_test values(id+1,name,addr , info,sysdate,systimestamp,num) select * from ts_test ;（8）支持Merge操作b

20、egin for i in 1.1000 loop if mod(i,3)=0 then insert into ts_test values( i , 測試|i , 中上海, 1, sysdate, systimestamp , i/200) ; end if ; end loop ; commit ; for i in 1.1000 loop merge into ts_test a using dual b on (a.id = i) when matched then update set name=測試|to_char(sysdate,yyyymmdd) when not match

21、ed then insert values ( i , 測試|i , 中上海, 1, sysdate, systimestamp , i/200) ; end loop ; commit ;end;2.4 DDL操作復制支持（1）系統(tǒng)支持的DDL操作Objects typeOperate type備注tablesCreate tableDrop tableTruncate tableAlter table:column_clauses:add_column_clausesmodify_column_clausesdrop_column_clauserename_column_clausecon

22、straint_clauses:ADD constraintsMODIFY constraintsDrop constraintsalter_table_partitioning:add_table_partitiondrop_table_partitiontruncate partition indexesCreateAlterDropviewsCreateAlterDropsequencesCreateAlterfunctionsCreateAlterDropproceduresCreateAlterDroppackagesCreate packageCreate package body

23、Alter packageDrop packageDrop package bodygrantalter databaseuserCreate userAlter userDrop userroleCreate roleAlter roleDrop rolecreate bodydirectoryCreate directoryDrop directoryprofileCreate profileAlter profileDrop profiledblinkCreate dblinkAlter dblinkDrop dblinkrevoke（2）支持的DDL操作配置可在以上支持的DDL中進行一

24、些DDL是否復制的配置，包括： database level 的DDL過濾，可指定role,user,dblink，profile等database級的操作是否需要同步 USER level的DDL過濾：可指定user級下的重要操作是否需要同步，例如可指定所有的drop table等大破壞性的操作都不能被復制。 TABLE LEVEL的ddl過濾：可指定某些重要表的TRUNCATE TABLE,DROP TABLE等大破壞性操作不被復制。2.5 常見的不支持操作及處理方式不支持的對象類型ClusterContextIOT TABLEORGANIZATION EXTERNAL tableNEST

25、ED TABLEXML TABLEDIRECTORYBITMAP INDEXDomain indexesLibraryType/type bodyUser defined typeBFILE以上對象或者數(shù)據(jù)類型DSG Realsync暫時沒支持，但如果應用中的確用到了這些對象，DSG將承諾馬上支持，因為這些對象的數(shù)據(jù)已經(jīng)分析到了，只不過是過濾了而已。不支持的database級的常見操作alter database add tablespacealter database add datafilealter system 不支持的schema下的對象操作對于nologging的table上執(zhí)行的

26、如下操作：insert /*+append*/, impdp, sqlldr direct=y；對于不支持的操作，只需要對這些表或整個schema進行一次全同步就能夠把數(shù)據(jù)全部復制過去。3 各復制端口一覽表生產(chǎn)系統(tǒng)容災系統(tǒng)復制內(nèi)容口腔醫(yī)院復制IP:130.1.10.19安裝路徑：/oracle/realsync登錄用戶名：oracleDbpsd port：60000Vagentd port：60001IP：130.1.31.8安裝路徑：/oracle/realsync登錄用戶名：oracleVagentd port：60001DSG DSGXXKLOG XXKLOGOUTPBILL OUTPB

27、ILLMHIS MHISNURSING NURSINGJJFORM JJFORMPRODUCTKEY PRODUCTKEYCPR CPRBONUS BONUSTOAD TOADAPPINFACE APPINFACEEXAMLABINTFACE EXAMLABINTFACEECONSTAT ECONSTATLAB LABADMINISTRATOR ADMINISTRATORITF_BALJ ITF_BALJPHARMACY PHARMACYEQUIPMENT EQUIPMENTINSURANCE INSURANCEINPBILL INPBILLSYSHIS SYSHISOUTPADM OUTPA

28、DMPACS PACSINQUIRE INQUIREPHYEXAM PHYEXAMSURGERY SURGERYBLDBANK BLDBANKINPADM INPADMLOGIN LOGINHCMS HCMSACCT ACCTORDADM ORDADMCOMM COMMEXAM EXAMTJ TJOUTPDOCT OUTPDOCTMEDADM MEDADMINFECT INFECTWIRELESS WIRELESSMEDREC MEDRECINTERFACE INTERFACE本地復制IP：130.1.10.18IP：130.1.10.6DSG DSGXXKLOG XXKLOGOUTPBILL

29、 OUTPBILLMHIS MHISNURSING NURSINGJJFORM JJFORMPRODUCTKEY PRODUCTKEYCPR CPRBONUS BONUSTOAD TOADAPPINFACE APPINFACEEXAMLABINTFACE EXAMLABINTFACEECONSTAT ECONSTATLAB LABADMINISTRATOR ADMINISTRATORITF_BALJ ITF_BALJPHARMACY PHARMACYEQUIPMENT EQUIPMENTINSURANCE INSURANCEINPBILL INPBILLSYSHIS SYSHISOUTPADM

30、 OUTPADMPACS PACSINQUIRE INQUIREPHYEXAM PHYEXAMSURGERY SURGERYBLDBANK BLDBANKINPADM INPADMLOGIN LOGINHCMS HCMSACCT ACCTORDADM ORDADMCOMM COMMEXAM EXAMTJ TJOUTPDOCT OUTPDOCTMEDADM MEDADMINFECT INFECTWIRELESS WIRELESSMEDREC MEDRECINTERFACE INTERFACE安裝路徑：/sharedisk/realsync安裝路徑：/dsg/realsync登錄用戶名：oracl

31、e登錄用戶名：oraclevagentd port：50001vagentd port：50001dbpsd port：500004 軟件部署結構說明如上圖所示，RealSync在生產(chǎn)數(shù)據(jù)庫(source)上和備份系統(tǒng)端(target)分別安裝Agent進程，Source端的vagent進程對ORACLE日志進行監(jiān)控，發(fā)現(xiàn)改變及時對目標數(shù)據(jù)庫進行更新。當應用系統(tǒng)在Source端向數(shù)據(jù)庫進行任何操作時時，這些信息都將在Redo Log中保存，RealSync Agent通過對實時獲取的Log日志進行分析，獲得本次操作的交易指令和交易數(shù)據(jù)，然后將這些交易指令和交易數(shù)據(jù)經(jīng)過格式轉(zhuǎn)化生成XF1數(shù)據(jù)格式

32、，并由發(fā)送進程sender實時通過網(wǎng)絡傳送到Target系統(tǒng)。Target系統(tǒng)的vagentd進程接收數(shù)據(jù)庫包，經(jīng)過校驗碼檢查，確認正確的數(shù)據(jù)庫包后，由裝載進程loder調(diào)用Oracle函數(shù)按照交易的先后順序在Target系統(tǒng)中執(zhí)行該交易。dbpsd進程為管理控制進程，該進程是在作系統(tǒng)配置和發(fā)起全同步時使用的，該進程一般安裝在生產(chǎn)系統(tǒng)上。vman程序為配置終端，該終端通過dbpsd進程管理source和target上的vagentd程序。5 發(fā)起全同步并啟動復制發(fā)起全步的方式就是在bin目錄下執(zhí)行vm文件。n 源端的全同步rac2 /sharedisk/realsync/bin$ cat vm

33、connect : 50000user root/dbpsset ds 1 -itvl 3 -state startset dt 1.1 -tgt db 2 -xf1 y -state startset dm 1.1 -cfg -sync ftcqiM6rac2 /sharedisk/realsync/bin$ ./vmanvmanvm1 set dm過程的日志信息set dm過程是realsync軟件中進行數(shù)據(jù)的導出和導入過程，該過程分為源端導出過程和目標端裝載過程。導出過程的日志在源端的log/log.vagentd文件中，在導出過程中的日志信息如下：Log.vagentd日志內(nèi)容（全同步

34、過程中）$ cd log$ tail f log.vagentd$r 0.18% 13MB (R9: 4.44,C1: 0.00,W5: 0.00,P: 4.44,T:0,E:1) TIME:Thu Dec 15 23:14:55 2011/*開始抽取表，顯示百分比（0.18%），已經(jīng)抽取的大小（13MB），讀取速度（R9:4.44），壓縮速度（C1: 0.00，寫速度（W5: 0.00），平均速度（P: 4.44），總共耗時（E:1ms）*/INFO: CR-POOL initialized! CR_POOL size: 1000, eliminate algorithm : 1(FIFO)

35、 xexp TBCS.SUBS_PRODUCT P_R_20 .(PID:26945 ReaderID:2)Performance report is disabledDetail Performance report is disabled2012-01-14:23:15:01, 0 sequence save to cachegrp# size seq# bsz nab flg dup TH Next-SCN 2011/12/15 23:15:0110 4192256 21014 1024 1283568 8 1 1 0xffffffffffff 21014.1283083.014 419

36、2256 15840 1024 1668169 8 1 2 0xffffffffffff 15840.1667573.0線程、日志大小、seq號、標志位、塊大小、下一塊、標志位（8為當前日志）如果出現(xiàn)以上信息表明全同步過程正常開始。log.s0,log.s1,log.s2,log.s3是全同步過程中目標端的日志執(zhí)行tail -f log.s0日志不斷變化并且無錯誤提示表明目標端裝載正常。$ cd log$tail f log.s0IPC_KEY=0x630106cdCHECK_MEMLEAK is turned offEntering XF1ToOracleLoader(pid:17379,

37、sem_no:8). .Loader: 0.xf1 2012-01-14:12:16:38: TRUNCATE TABLE ODS.SUBSCRIBER_1 .Truncate OK2012-01-14:12:16:38: 0-I 0-D 0-U 2-DDL(0 ms)Loader: 1.xf1 DP: handler size: 0, allocated 16384KB, maxrows one time 10242012-01-14:12:16:38: 1-I 0-D 0-U 0-DDL(0 ms)Loader: 2.xf1 Mapping TBCS. SUBSCRIBER - ODS.

38、SUBSCRIBER_1ODS SUBSCRIBER_1 1 rows1 rows mapped2 如何判斷全同步過程順利完成全同步過程的完成分為兩個階段：源端導出過程完成和目標端裝載過程完成。源端導出過程完成的標志：源端導出過程都打印在log.vagentd日志中，在該日志的導出完成后會看到如下信息：= Summary of DBPS Express Export = Tables 6 (36) Rows 835752820 Extents 16272 Zip Level 1 To Read 4800.00MB Read 130176.00MB CR Read 0.00MB XF1 1174

39、34.39MB XF1 Zipped 33602.50MB (71.39%) Elapsed 00:32:59.579(1979.579s) =當看到以上的全同步導出統(tǒng)計信息時，可認為源端的導出已經(jīng)結束目標端裝載過程完成的檢查：目標端的裝載是有多個隊列共同完成的，因此我們需要監(jiān)測幾個隊列下都已經(jīng)完成了。檢查一：檢查目標端的log.s*日志中已經(jīng)沒有新的任務在執(zhí)行。檢查二：檢查目標端的rmp/sync0,sync1,sync2隊列中已經(jīng)沒有任何xf1文件。$ cd rmp$ls sync*sync0:cfg.loadernosync1:cfg.loadernosync2:cfg.loaderno

40、當目標端裝載完成全同步的數(shù)據(jù)后，將自動進入到實時同步階段，我們可以通過查看目標端的log.r0觀察系統(tǒng)是否已經(jīng)自動進入到了實時同步階段：$ cd log$tail f log.r0Loader: 1.xf1 2011-12-16:03:31:41: 6-I 0-D 0-U 0-DDL(2086 ms)Loader: 2.xf1 2011-12-16:03:31:41: 0-I 0-D 6-U 0-DDL(2086 ms)Loader:3.xf1 2011-12-16:03:31:41: 0-I 6-D 0-U 0-DDL(2086 ms)Loader: 4.xf1 2011-12-16:03:

41、31:41: 56-I 0-D 0-U 0-DDL(2086 ms)Loader: 5.xf1 2011-12-16:03:31:41: 56-I 0-D 0-U 0-DDL(2086 ms)Loader: 6.xf1 2011-12-16:03:31:41: 56-I 0-D 0-U 0-DDL(2086 ms)6 realsync目錄和文件結構說明6.1 源端安裝目錄說明安裝完成的目錄結構如下：rac2 /sharedisk/realsync$ ls -lrt total 128drwxr-xr-x 2 dsg oinstall 96 Dec 15 21:12 indexdrwxr-xr-

42、x 2 dsg oinstall 96 Dec 15 21:12 softdrwxr-xr-x 2 dsg oinstall 96 Dec 15 21:12 expdrwxr-xr-x 2 dsg oinstall 8192 Dec 15 21:12 scriptsdrwxr-xr-x 3 dsg oinstall 96 Dec 15 21:21 logdrwxr-xr-x 2 dsg oinstall 8192 Dec 15 21:24 vcfsddrwxr-xr-x 2 dsg oinstall 96 Dec 15 21:52 configdrwxr-xr-x 4 dsg oinstall

43、 8192 Dec 19 12:00 bindrwxr-xr-x 3 dsg oinstall 32768 Dec 20 15:16 rmpdrwxr-xr-x 3 dsg oinstall 8192 Dec 20 15:16 vcfsarac2 /sharedisk/realsync$n Scripts目錄：所有腳本所在目錄n $VCFS_HOME：該環(huán)境變量一般設為vcfsa，用以保存系統(tǒng)運行狀態(tài)，如log讀取的位置，uncommitted交易、統(tǒng)計信息n $XLDR_HOME：該環(huán)境變量一般設為rmp，用以保存數(shù)據(jù)傳輸之前的緩存隊列和傳輸控制信息n bin目錄：執(zhí)行文件所在目錄n Vcf

44、sd目錄：系統(tǒng)配置信息，由dbpsd進程使用6.1.1 config目錄重點文件說明n mapping.ini：set dm命令中用到的映射關系文件。n ddl.ini：對DDL操作過濾進行設置的配置文件。6.1.2 scripts目錄中的文件說明n start_vagentd：啟動realsync進程的腳本。n stop_vagentd：停止realsync進程的腳本。n clean_vagentd：刪除realsync工作過程中的所有的中間狀態(tài)。注：clean_vagentd腳本只有在必須作重新全同步的時候才能使用，否則將造成很大的破壞性。n check：檢查realsync所有啟動的進程

45、命令。6.1.3 bin目錄重點文件說明bin目錄為所有執(zhí)行文件和vm文件的存放地點n vagentd：日志分析程序。n sender：數(shù)據(jù)發(fā)送程序。n dbpsd：服務程序。n vman：字符菜單管理工具。n vm：全同步執(zhí)行批處理文件。其他命令均為DSG公司的工具程序，是為了檢查問題時所使用的工具，用戶可不必掌握。6.1.4 log目錄重點文件說明log目錄存放了所有的進程日志文件：n log.vagentd：日志分析過程的log文件。n log.sender：發(fā)送過程的log文件。n log.dbpsd：dbpsd進程的log文件。n archivelog目錄：該目錄下為歷史的log.v

46、agentd和log.sender文件，這些文件可隨時刪除。6.1.5 rmp目錄重點文件說明源端rmp目錄存放了所有發(fā)送的隊列信息n *.xf1文件：為sender發(fā)送的隊列文件n 2.cfg.senderno：sender隊列的控制文件6.2 目標端安裝目錄說明DSG /dsg/realsync$ ls -lrt total 32568drwxr-xr-x 2 dsg dba 96 Dec 15 21:07 indexdrwxr-xr-x 2 dsg dba 96 Dec 15 21:07 impdrwxr-xr-x 2 dsg dba 96 Dec 15 21:07 softdrwxr-

47、xr-x 3 dsg dba 96 Dec 15 23:14 vcfsadrwxr-xr-x 2 dsg dba 1024 Dec 16 13:46 scriptsdrwxr-xr-x 3 dsg dba 1024 Dec 16 16:44 logdrwxr-xr-x 2 dsg dba 96 Dec 19 09:35 configdrwxr-xr-x 4 dsg dba 1024 Dec 19 12:01 bindrwxr-xr-x 9 dsg dba 1024 Dec 19 18:15 rmpdsgbasua1:/dsg/etlplus$n Scripts目錄：所有腳本所在目錄n $VCF

48、S_HOME：該環(huán)境變量一般設為vcfsa，用以保存系統(tǒng)運行狀態(tài)， n $XLDR_HOME：數(shù)據(jù)裝載之前的緩存隊列和裝載控制信息Rowid mapping文件源數(shù)據(jù)庫的數(shù)據(jù)字典文件n bin目錄：執(zhí)行文件所在目錄6.2.1 scripts目錄重點文件說明n start_vagentd：啟動realsync進程的腳本。n stop_vagentd：停止realsync進程的腳本。n clean_vagentd：刪除realsync工作過程中的所有的中間狀態(tài)。注：clean_vagentd腳本只有在必須作重新全同步的時候才能使用，否則將造成很大的破壞性。n check：檢查realsync所有啟

49、動的進程命令。6.2.2 bin目錄重點文件說明bin目錄為所有執(zhí)行文件和vm文件的存放地點n vagentd：日志分析程序。n loader：裝載進程。其他命令均為DSG公司的工具程序，是為了檢查問題時所使用的工具，用戶可不必掌握。6.2.3 log目錄重點文件說明log目錄存放了所有的進程日志文件：n log.vagentd：數(shù)據(jù)接收過程的log文件。n log.s0、log.s1、log.s2、log.s3：全同步過程中的裝載日志文件。n log.r0：增量復制過程中的裝載日志文件。n archivelog目錄：該目錄下為歷史的log.r0，這些文件可隨時刪除。6.2.4 rmp目錄重點

50、文件說明目標端的rmp目錄存放了非常重要的隊列信息和rowid mapping信息。DSG /dsg/realsync/rmp$ ls -lrt total 428830drwxr-xr-x 2 dsg dba 96 Dec 15 23:14 verifydrwxr-xr-x 2 dsg dba 96 Dec 15 23:14 rowiddrwxr-x- 2 dsg dba 115712 Dec 16 01:49 sync1drwxr-x- 2 dsg dba 131072 Dec 16 04:22 sync2-rw-r-r- 1 dsg dba 711558 Dec 16 13:38 err_dump-rw-r-r- 1 dsg dba 2 Dec 16 13:38 idx.sync-rw-r-r- 1 dsg dba 1386 Dec 16 13:41 cfg.objs-rw-r-r- 1 dsg dba 1386 Dec 16 13:41 cfg.objs.old-rw-r-r- 1 dsg dba 6 Dec 16 16:44 cfg.syncdrwxrwxrwx 8 dsg dba 1024 Dec 16 16:44