數(shù)據(jù)遷移工具匯報

數(shù)據(jù)遷移工具系統(tǒng)概述1技術(shù)方案2功能介紹3系統(tǒng)特點4成功案例5在油田信息化建設(shè)中，數(shù)據(jù)是核心關(guān)鍵，是信息化建設(shè)最有價值的資產(chǎn)。而將業(yè)務(wù)應(yīng)用產(chǎn)生的有價值的數(shù)據(jù)，在整個油田信息網(wǎng)中可控、及時、安全的流轉(zhuǎn)，是避免數(shù)據(jù)孤島的關(guān)鍵。數(shù)據(jù)及業(yè)務(wù)人員在數(shù)據(jù)管理過程中，經(jīng)常要面對的是數(shù)據(jù)的遷移、數(shù)據(jù)的備份、數(shù)據(jù)的清洗及數(shù)據(jù)的同步等需求。而如果利用數(shù)據(jù)庫現(xiàn)有功能去實現(xiàn)，技術(shù)要求高、操作復(fù)雜、靈活性差、功能受限。一、系統(tǒng)概述

項目背景目前常規(guī)數(shù)據(jù)遷移的方法一般有三種：開發(fā)專用的遷移程序優(yōu)點是操作簡單，操作人員只需要會使用遷移軟件即可。缺點是需要一定開發(fā)周期，需要研發(fā)人員配合，靈活性差，需求一旦變更，程序就要改造。借助Oracle等數(shù)據(jù)庫的功能實現(xiàn)需要專業(yè)的數(shù)據(jù)庫管理員或數(shù)據(jù)庫開發(fā)人員才能實現(xiàn)，技術(shù)要求高，且難以實現(xiàn)不同類型數(shù)據(jù)庫之間的遷移。采用GoldenGate等第三方的遷移軟件優(yōu)點是功能相對完善，效率高。缺點是配置復(fù)雜，一般業(yè)務(wù)人員難以掌握，按點收費，費用高昂。

項目背景一、系統(tǒng)概述通過對相關(guān)業(yè)務(wù)分析，XX數(shù)據(jù)遷移工具設(shè)計主要具備三大功能，即數(shù)據(jù)遷移、數(shù)據(jù)同步、文件導(dǎo)入。數(shù)據(jù)遷移應(yīng)該具備以下特點：易用性好，完全的可視化操作界面，方便上手。功能強大，可滿足數(shù)據(jù)管理中的各種數(shù)據(jù)遷移需求。運行穩(wěn)定。高效。

設(shè)計目標(biāo)一、系統(tǒng)概述如何支持不同類型數(shù)據(jù)庫之間的數(shù)據(jù)遷移及同步。如何支持?jǐn)?shù)據(jù)庫結(jié)構(gòu)不同時，數(shù)據(jù)的遷移及同步。如何支持在遷移及同步過程中做復(fù)雜的數(shù)據(jù)處理及轉(zhuǎn)換計算。怎么解決數(shù)據(jù)增量同步，并確保高效及實時性。如何實現(xiàn)軟件的易用性。

技術(shù)難點一、系統(tǒng)概述系統(tǒng)概述1技術(shù)方案2功能介紹3系統(tǒng)特點4成功案例5二、技術(shù)方案

開發(fā)一套定制工具，制定一些對應(yīng)規(guī)則，實現(xiàn)不同的數(shù)據(jù)庫、不同的表結(jié)構(gòu)之間對應(yīng)關(guān)系的建立。通過引擎調(diào)用不同的底層驅(qū)動，實現(xiàn)不同數(shù)據(jù)庫之間的數(shù)據(jù)遷移。

設(shè)計思路數(shù)據(jù)質(zhì)量檢查源庫解析引擎數(shù)據(jù)對應(yīng)規(guī)則目標(biāo)庫目標(biāo)數(shù)據(jù)事件操作二、技術(shù)方案數(shù)據(jù)庫管理員業(yè)務(wù)人員應(yīng)用程序應(yīng)用程序數(shù)據(jù)遷移工具UI界面數(shù)據(jù)遷移服務(wù)接口數(shù)據(jù)遷移工具界面定制引擎功能調(diào)度引擎多線程調(diào)度引擎日志記錄引擎自動運行引擎異常處理引擎數(shù)據(jù)庫操作引擎Oracle引擎SQLServer引擎Access引擎DBF引擎Excel引擎……功能操作引擎數(shù)據(jù)遷移引擎數(shù)據(jù)同步引擎文件導(dǎo)入引擎數(shù)據(jù)庫

整體技術(shù)架構(gòu)TCP通信引擎二、技術(shù)方案

數(shù)據(jù)操作流程用戶制定遷移規(guī)則異常監(jiān)控實時反饋日志記錄數(shù)據(jù)遷移工具規(guī)則解析數(shù)據(jù)分量加載數(shù)據(jù)遷移前處理數(shù)據(jù)遷移完成數(shù)據(jù)遷移后處理數(shù)據(jù)遷移、同步及文件導(dǎo)入均遵從此流程。二、技術(shù)方案軟件部署源數(shù)據(jù)庫數(shù)據(jù)遷移工具服務(wù)器目標(biāo)數(shù)據(jù)庫數(shù)據(jù)遷移工具可部署在局域網(wǎng)內(nèi)的任何一臺機器上，源與目標(biāo)數(shù)據(jù)庫均不需要安裝任何軟件，也不需要變動任何庫結(jié)構(gòu)，只需提供訪問帳號即可。二、技術(shù)方案

數(shù)據(jù)訪問模式數(shù)據(jù)遷移工具工廠設(shè)計模式Oracle驅(qū)動SQLServer驅(qū)動ACCESS驅(qū)動OLEDB驅(qū)動OracleSQLServerACCESSExcel其它數(shù)據(jù)操作基于工廠的軟件設(shè)計模式，實現(xiàn)了對各種不同數(shù)據(jù)庫的支持，如果要增加新的數(shù)據(jù)庫支持，系統(tǒng)變化很小。靈活性及可擴展性好。二、技術(shù)方案

關(guān)鍵技術(shù)多種數(shù)據(jù)庫類型支持?jǐn)?shù)據(jù)處理或轉(zhuǎn)換支持虛擬表、存儲過程支持大字段分段遷移數(shù)據(jù)分頁遷移系統(tǒng)概述1技術(shù)方案2功能介紹3系統(tǒng)特點4成功案例5數(shù)據(jù)遷移系統(tǒng)數(shù)據(jù)遷移功能數(shù)據(jù)同步功能數(shù)據(jù)庫管理表對應(yīng)管理字段對應(yīng)管理任務(wù)管理運行日志管理數(shù)據(jù)庫管理字段對應(yīng)管理表對應(yīng)管理運行日志管理條件遷移增量遷移觸發(fā)器同步Oracle日志同步手動運行遠(yuǎn)程調(diào)用文件數(shù)據(jù)操作功能文件導(dǎo)入規(guī)則管理文件操作運行管理運行日志管理自動運行功能框架圖三、功能介紹

將源數(shù)據(jù)庫現(xiàn)有數(shù)據(jù)根據(jù)設(shè)定的篩選條件，按照數(shù)據(jù)表或是字段對應(yīng)規(guī)則，手動或是自動定時將數(shù)據(jù)遷移至目標(biāo)數(shù)據(jù)庫。源數(shù)據(jù)庫遷移規(guī)則要遷哪些表數(shù)據(jù)遷移的條件是什么遷移數(shù)據(jù)是否要預(yù)處理什么時候開始遷移出現(xiàn)異常怎么處理是否要檢測庫結(jié)構(gòu)一致性源與目標(biāo)表對應(yīng)關(guān)系如何目標(biāo)數(shù)據(jù)庫規(guī)則解析遷移事件任務(wù)運行異常處理數(shù)據(jù)處理遷移引擎數(shù)據(jù)抓取數(shù)據(jù)寫入日志記錄1、數(shù)據(jù)遷移

模塊說明三、功能介紹運行結(jié)果Oracle源庫解析引擎數(shù)據(jù)對應(yīng)規(guī)則Oracle目標(biāo)庫目標(biāo)數(shù)據(jù)事件操作分頁提取數(shù)據(jù)

遷移流程三、功能介紹1、數(shù)據(jù)遷移數(shù)據(jù)同步是指源數(shù)據(jù)庫發(fā)生變動時，目標(biāo)數(shù)據(jù)庫在最短的時間內(nèi)同步相應(yīng)變動。

通過實時捕獲變化數(shù)據(jù)，根據(jù)表和字段對應(yīng)關(guān)系將改變的數(shù)據(jù)同步到源頭數(shù)據(jù)總庫，實時保持源數(shù)據(jù)庫與目標(biāo)數(shù)據(jù)庫數(shù)據(jù)的一致性。源數(shù)據(jù)庫目標(biāo)數(shù)據(jù)庫同步規(guī)則要同步哪些表數(shù)據(jù)同步數(shù)據(jù)是否要預(yù)處理出現(xiàn)異常怎么處理是否要檢測庫結(jié)構(gòu)一致性源與目標(biāo)表對應(yīng)關(guān)系如何規(guī)則解析同步事件異常處理數(shù)據(jù)處理同步引擎數(shù)據(jù)獲取數(shù)據(jù)寫入日志記錄三、功能介紹

模塊說明2、數(shù)據(jù)同步歸檔日志同步CDC同步觸發(fā)器同步

按照捕獲數(shù)據(jù)變化方式，同步分為解析歸檔日志同步、觸發(fā)器同步及CDC同步三種模式。歸檔日志同步通過開啟數(shù)據(jù)庫歸檔模式，用戶對數(shù)據(jù)庫的變更會自動寫入歸檔日志中，同步工具通過解析日志的方式，將數(shù)據(jù)變更解析出來，同步到目標(biāo)數(shù)據(jù)庫中。觸發(fā)器同步通過建立同步表的觸發(fā)器，將用戶對表的各種操作記錄到指定的日志表中，通過解析日志表，獲取用戶數(shù)據(jù)的變更，實現(xiàn)與目標(biāo)數(shù)據(jù)庫的同步。CDC同步Oracle自帶數(shù)據(jù)定閱技術(shù)，可將數(shù)據(jù)變更信息自動同步到別一個用戶下，同步軟件解析用戶的定閱信息，實現(xiàn)與目標(biāo)數(shù)據(jù)庫的同步。

模塊說明三、功能介紹2、數(shù)據(jù)同步歸檔日志模式技術(shù)成熟，數(shù)據(jù)庫各版本支持成熟的軟件均采用此模式觸發(fā)器模式適用于較少數(shù)據(jù)量和不頻繁變化的數(shù)據(jù)需對相關(guān)數(shù)據(jù)表建觸發(fā)器CDC模式數(shù)據(jù)庫版本有要求，10g版本以下效率較低。10.2.0.2版本以前存在內(nèi)存不能釋放的BUG。以歸檔模式為主

模塊說明三、功能介紹2、數(shù)據(jù)同步

解析日志同步中，解析日志和數(shù)據(jù)入庫采用異步模式，避免了網(wǎng)絡(luò)出現(xiàn)異常后同步數(shù)據(jù)丟失。源數(shù)據(jù)庫數(shù)據(jù)緩存文件目標(biāo)數(shù)據(jù)庫解析日志數(shù)據(jù)入庫

模塊流程三、功能介紹2、數(shù)據(jù)同步1、首先通過上次解析的日志文件SEQ號判斷并獲取新增的日志文件列表。2、然后通過上次解析日志的SCN號判斷該日志文件要解析的日志記錄。3、最后解析日志文件，并過濾解析的日志記錄，緩存成多個固定大小的數(shù)據(jù)文件。源數(shù)據(jù)庫歸檔日志文件上次解析日志SEQ要解析的日志文件列表上次解析日志SCN解析日志起始SCN數(shù)據(jù)緩存文件操作日志記錄同步表對應(yīng)關(guān)系列表

日志解析三、功能介紹2、數(shù)據(jù)同步三、功能介紹1、首先通過上次入庫的SCN號過濾數(shù)據(jù)，并判斷記錄數(shù)據(jù)是否含所有大字段的表。2、然后再根據(jù)表對應(yīng)關(guān)系判斷是否可以直接解析重做sql直接入庫，如果不能直接入庫就要根據(jù)唯一健獲取源數(shù)據(jù)。3、最后通過表對應(yīng)關(guān)系和字段對應(yīng)關(guān)系入目標(biāo)庫。源數(shù)據(jù)庫解析主鍵獲取數(shù)據(jù)上次入庫記錄SCN入庫記錄起始SCN數(shù)據(jù)緩存文件普通日志記錄簡單對應(yīng)含有字段記錄表對應(yīng)關(guān)系復(fù)雜對應(yīng)源數(shù)據(jù)目標(biāo)數(shù)據(jù)庫解析重做sql語句

數(shù)據(jù)入庫2、數(shù)據(jù)同步3、文件導(dǎo)入

遷移工具的文件操作包括Excel文件的導(dǎo)入、導(dǎo)出和dbf文件的導(dǎo)入、導(dǎo)出。其中Excel文件的導(dǎo)入支持對應(yīng)關(guān)系模板的定制導(dǎo)入，從而支持復(fù)雜Excel的導(dǎo)入功能。Dbf導(dǎo)入支持名稱模糊匹配功能，實現(xiàn)了dbf文件的批量導(dǎo)入功能。三、功能介紹

遷移工具所有設(shè)置和操作都支持可視化，都有相應(yīng)的界面供用戶操作，其中表與表對應(yīng)關(guān)系、字段對應(yīng)關(guān)系等操作支持拖拽設(shè)置，符合大多數(shù)用戶操作習(xí)慣，具有用戶使用方便、易用、直觀等特點。

數(shù)據(jù)遷移或同步詳細(xì)日志可視化顯示，方便用戶隨時查看及對對應(yīng)狀態(tài)的實時檢測。三、功能介紹4、可視化操作

數(shù)據(jù)遷移工具支持?jǐn)?shù)據(jù)遷移過程中用到的遷移參數(shù)的設(shè)置，包括遷移模式、是否啟動多線程遷移等參數(shù)。5、功能界面

參數(shù)設(shè)置三、功能介紹

數(shù)據(jù)遷移工具是一個綜合管理工具，可以同時維護(hù)、運行多個不同的數(shù)據(jù)遷移的項目，并通過項目的方式，分類展示出來。5、功能界面數(shù)據(jù)遷移項目數(shù)據(jù)同步項目

項目建立三、功能介紹

通過數(shù)據(jù)庫對應(yīng)關(guān)系，搭建多個不同庫之間的虛擬鏈路關(guān)系，設(shè)置數(shù)據(jù)源與目標(biāo)。5、功能界面

數(shù)據(jù)庫對應(yīng)關(guān)系建立三、功能介紹

虛擬數(shù)據(jù)鏈接搭建好后，需設(shè)置表的對應(yīng)關(guān)系，即源表是什么，對應(yīng)表是什么，表名可不一致，結(jié)構(gòu)也可不同。5、功能界面

表對應(yīng)關(guān)系建立三、功能介紹

支持遷移事件，包括遷移前事件、遷移后事件、插入前事件、插入后事件、修改前事件、修改后事件，事件中支持執(zhí)行sql語句和存儲過程。5、功能界面

遷移事件設(shè)置三、功能介紹

如果源數(shù)據(jù)來源比較復(fù)雜，需要通過sql語句來獲取或是通過存儲過程來獲取，就需要建立虛擬表。5、功能界面

虛擬表建立三、功能介紹

表對應(yīng)關(guān)系搭建好后，需設(shè)置字段的對應(yīng)關(guān)系，即源表是什么字段，對應(yīng)目標(biāo)表是什么字段，支持字段的計算及合并。5、功能界面

字段對應(yīng)關(guān)系建立三、功能介紹

字段設(shè)置中支持普通字段、常量、sql表達(dá)式（源）、代碼轉(zhuǎn)換、隨機Guid、sql表達(dá)式（目錄）等類型。5、功能界面

字段設(shè)置三、功能介紹

設(shè)置遷移條件，只把滿足要求的數(shù)據(jù)遷移過去，支持變量替換，支持字段拖放操作。5、功能界面

遷移條件建立三、功能介紹

對于一個項目可定制多個任務(wù)，任務(wù)觸發(fā)條件可不一樣，運行時間也各自獨立控制。5、功能界面

任務(wù)定制三、功能介紹

對于已經(jīng)制定任務(wù)的運行、啟閉操作。對數(shù)據(jù)遷移運行信息進(jìn)行詳細(xì)的查詢。5、功能界面

任務(wù)調(diào)度三、功能介紹

數(shù)據(jù)遷移同步工具保存著所有數(shù)據(jù)表同步運行詳細(xì)日志，用戶可以按照日期對日志進(jìn)行分頁查詢。5、功能界面

日志查看三、功能介紹自動調(diào)度狀態(tài)中顯示任務(wù)或是同步運行詳細(xì)信息，包括任務(wù)下次運行時間、上次運行結(jié)果和同步實時運行狀態(tài)及結(jié)果等信息。5、功能界面

任務(wù)調(diào)度狀態(tài)三、功能介紹遷移工具還支持遠(yuǎn)程調(diào)用功能，通常為了遷移工具運行的穩(wěn)定性，會把遷移工具部署到服務(wù)器上，這樣用戶操作不太方便，所以遷移工具提供客戶端遠(yuǎn)程調(diào)用工具，來運行遷移任務(wù)。5、功能界面

任務(wù)遠(yuǎn)程調(diào)用三、功能介紹

文件操作包括Excel、DBF文件的導(dǎo)入與導(dǎo)出，其中Excel的導(dǎo)入通過模板定制功能支持復(fù)雜格式的導(dǎo)入。5、功能界面

文件操作三、功能介紹系統(tǒng)概述1技術(shù)方案2功能介紹3系統(tǒng)特點4成功案例5靈活性a（1）支持多種類型數(shù)據(jù)庫間數(shù)據(jù)遷移或同步。（2）支持不同表結(jié)構(gòu)或是多表間數(shù)據(jù)遷移和同步。（3）支持遷移表分任務(wù)靈活的設(shè)置定時自動遷移。（4）支持遷移時數(shù)據(jù)的處理及不同代碼自動轉(zhuǎn)換。（5）支持視圖、同義詞、虛擬表（sql語句、存儲過程表）作為源表的遷移。四、系統(tǒng)特點靈活性a安全性b（1）數(shù)據(jù)遷移對源庫只是讀取數(shù)據(jù)，所以只要有只讀權(quán)限帳戶即可。（2）遷移工具只是操作數(shù)據(jù)，不會對目標(biāo)庫的表結(jié)構(gòu)及數(shù)據(jù)造成影響。（3）遷移工具可以支持只插入模式，只會插入數(shù)據(jù)不會修改目錄庫已有數(shù)據(jù)。（4）遷移工具有詳細(xì)的日志記錄。四、系統(tǒng)特點靈活性a安全性b高效性c（1）數(shù)據(jù)遷移工具支持遷移表和字段的自動對應(yīng)和對應(yīng)模板Excel導(dǎo)入、導(dǎo)出，提高用戶設(shè)置的高效性。（2）數(shù)據(jù)遷移工具支持多線程，大數(shù)據(jù)量分頁讀取、大字段內(nèi)容分段讀取等功能，提高數(shù)據(jù)遷移效率，局域網(wǎng)內(nèi)可以達(dá)到遷移每秒千多條數(shù)據(jù)。（3）遷移工具支持增量數(shù)據(jù)遷移及同步。四、系統(tǒng)特點靈活性a安全性b高效性c穩(wěn)定性d（1）遷移工具在遷移數(shù)據(jù)時，如果某個表或是某條數(shù)據(jù)遷移出錯，不會影響到整個遷移工具崩潰，遷移工具有很好的容錯功能。（2）數(shù)據(jù)同步不會因為遷移工具某段時間不運行而遺漏數(shù)據(jù)，工具會同步上次時間運行后所有改變的數(shù)據(jù)。四、系統(tǒng)特點靈活性a安全性b高效性c穩(wěn)定性d易用性e四、系統(tǒng)特點對用戶使用習(xí)慣以及數(shù)據(jù)遷移流程進(jìn)行詳細(xì)的調(diào)研、分析，對設(shè)計界面進(jìn)行了優(yōu)化處理，普遍使用可視化拖拽設(shè)置方式，強化遷移工具的易用性、簡便性及智能性。系統(tǒng)概述1技術(shù)方案2功能介紹3系統(tǒng)特點4成功案例5五、成功案例

新疆油田油水井錄入系統(tǒng)（A2）新老