達夢數(shù)據(jù)交換平臺產(chǎn)品白皮書

1、達夢數(shù)據(jù)交換平臺高效全面的數(shù)據(jù)集成平臺產(chǎn)品白皮書達夢數(shù)據(jù)庫有限公司2013年3月本文檔含有達夢數(shù)據(jù)庫公司的保密的技術(shù)和商業(yè)信息未經(jīng)達夢數(shù)據(jù)庫公司的書面同意，不得進行拷貝、復印或者以其它任何形式向第三方散發(fā)。我們盡力保證本文檔中信息的準確和完整，但是仍然可能出現(xiàn)技術(shù)或者文字描述的錯誤，如果因使用本文檔造成的損失，達夢概不負責。本文檔中包含的信息可能會隨時更改，恕不另行通知。本文檔發(fā)布于2013年3月緒論近幾十年來，信息化的推進和計算機網(wǎng)絡的飛速發(fā)展，使得人類社會所積累的數(shù)據(jù)量已經(jīng)超過了過去5000年的總和,數(shù)據(jù)的采集、存儲、處理和傳播的數(shù)量也與日俱增。然而，這些為不同應用服務的數(shù)據(jù)都存儲在許多不

2、同的數(shù)據(jù)源之中。為更有效地利用這些信息，實現(xiàn)企業(yè)或社會組織數(shù)據(jù)共享與交換，減少數(shù)據(jù)采集的重復勞動和相應費用，需要從多個分布、異構(gòu)和自治的數(shù)據(jù)源中集成數(shù)據(jù)，同時還需要保持數(shù)據(jù)在不同系統(tǒng)上的完整性和一致性。因此，如何對數(shù)據(jù)進行有效的集成已成為增強企業(yè)商業(yè)競爭力的必然選擇，尤其是對于那些擁有多部門多數(shù)據(jù)源的大型企業(yè)或者組織來說，每一個部門都擁有自己的數(shù)據(jù)庫，這些數(shù)據(jù)庫可能是獨立、異構(gòu)且自治的，為了各部門間更好的合作和數(shù)據(jù)共享，建立一個完善的數(shù)據(jù)交換和集成系統(tǒng)是極有應用價值而且尤為重要的。產(chǎn)品介紹達夢數(shù)據(jù)交換平臺是達夢數(shù)據(jù)庫有限公司在上十年數(shù)據(jù)處理經(jīng)驗的基礎上，研制開發(fā)的具有自主版權(quán)的、商品化的數(shù)據(jù)交

3、換與處理平臺。達夢數(shù)據(jù)交換平臺創(chuàng)新地將傳統(tǒng)的ETL工具（Extract、Transform>Loading與分布式消息平臺相結(jié)合，實現(xiàn)了對數(shù)據(jù)抽取、傳輸、整合、以及裝載的一站式支持，是構(gòu)建數(shù)據(jù)中心、數(shù)據(jù)倉庫、數(shù)據(jù)交換和數(shù)據(jù)同步等數(shù)據(jù)集成類應用的理想平臺，同時也可以作為數(shù)據(jù)加工處理工具由業(yè)務人員直接使用。1功能組件達夢數(shù)據(jù)交換平臺由以下5個軟件組件構(gòu)成：達夢數(shù)據(jù)集成服務器DMETLServerDMETLServer是一個具備數(shù)據(jù)抽?。‥xtract、清洗轉(zhuǎn)換（Transform和裝載（Load功能的通用的數(shù)據(jù)處理平臺，能夠為異構(gòu)數(shù)據(jù)同步和數(shù)據(jù)整合應用提供完整的支持。達夢數(shù)據(jù)交換設計器DME

4、TLStudioDMETLStudio提供可視化的管理、流程設計、調(diào)試功能管4小44二|,一e*T；M在LT小5*14*苔»*X,FEZMkrMji舞事m.CW0EjrlMBA4>3mn不«flraIffi*i»«葉ls*二AMftrvr«*:17dt*SMWAlS,>.!iLEW<，Ul£Hr-i4嚴5達夢數(shù)據(jù)交換控制臺DMETLConsoleDMETl服務管理、參數(shù)配置與初始化丈中町國加相丁二HE-V.-Ig“HmiHl4IBAft.°nm.owrn¥>i-nJ、迎IU心0£T

5、£.ETDh®-J3T上升RSy-一口MLTLA®L組：好i一.61磔.1-hKtgfi的處泉網(wǎng)，、WibSwcv5陽1.5<3，典理一wr-_，/D*rfRIS#"也3s前占F二N3節(jié)£豆慘2（物卻a即1gFXMlStt二SfflSK域IM£由lUiGE-TLIDAPrr_£l£M3ft二臺，0良.«-*S*式LMXII司小"；A3行£狂rrWfliE>rsfi»,.行工慘甘CJ»出.”LMKitULCIt達夢數(shù)據(jù)總線DMETLDatabus提供基于消

6、息的、可靠的、安全的數(shù)據(jù)路由與交換服務，用于支持廣域網(wǎng)上跨部門的數(shù)據(jù)交換達夢數(shù)據(jù)交換監(jiān)控系統(tǒng)DMETLWebMonitor對多節(jié)點的數(shù)據(jù)交換網(wǎng)絡的管理、監(jiān)控以及統(tǒng)計分析功能2版本劃分達夢數(shù)據(jù)交換平臺分為標準版和企業(yè)版，其中標準版主要提供基本的數(shù)據(jù)整合和數(shù)據(jù)同步功能，企業(yè)版則在標準版的功能上增加了基于消息的數(shù)據(jù)交換與路由、監(jiān)控與統(tǒng)計、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)的發(fā)布和訂閱等企業(yè)級的功能，其主要功能劃分見下表：標準版企業(yè)版數(shù)據(jù)清洗轉(zhuǎn)換W增量數(shù)據(jù)抽取W作業(yè)調(diào)度W數(shù)據(jù)發(fā)布與訂閱V自定義函數(shù)變量W權(quán)限管理W操作審計W實時告警W數(shù)據(jù)質(zhì)量檢測V數(shù)據(jù)交換與路由（DMETLDatabusV交換監(jiān)控與統(tǒng)計（DMETLWe

7、bConsole/典型應用場景達夢數(shù)據(jù)交換平臺是專門為各種類型的數(shù)據(jù)集成應用而設計的，使用達夢數(shù)據(jù)交換平臺，能夠大大縮短數(shù)據(jù)集成類應用的工作量。達夢數(shù)據(jù)交換平臺能夠全面而高效的應用于以下一些場景。1異構(gòu)數(shù)據(jù)同步異構(gòu)數(shù)據(jù)同步是指在一定的時間范圍內(nèi)，通過特定的技術(shù)方式，實現(xiàn)異構(gòu)數(shù)據(jù)源之間的數(shù)據(jù)一致性。數(shù)據(jù)同步應用通常有以下一些要求：性能要求高，通常要達到準實時同步，因此需要實現(xiàn)增量數(shù)據(jù)抽取，以達到快速同步和節(jié)省網(wǎng)絡資源的；可靠性要求高，故障自動恢復。達夢數(shù)據(jù)交換平臺可以很好的滿足上述要求，可以支持一對一或者一對多的文件到文件、文件到數(shù)據(jù)庫、數(shù)據(jù)庫到數(shù)據(jù)庫、數(shù)據(jù)庫到文件的數(shù)據(jù)同步。同步的源和目的數(shù)據(jù)

8、可以是不同類型的數(shù)據(jù)庫或者文件，并且在同步過程中可以對數(shù)據(jù)格式進行轉(zhuǎn)換以滿足源和目上的不同應用系統(tǒng)的要求。I一對多數(shù)據(jù)同步2數(shù)據(jù)交換數(shù)據(jù)交換，通常用于不同部門間的業(yè)務協(xié)同，數(shù)據(jù)的流動是通常由應用發(fā)起并推動的，應用獲取到數(shù)據(jù)并完成業(yè)務邏輯之后，可以把數(shù)據(jù)存儲下來，也可以丟棄。數(shù)據(jù)交換應用通常涉及多個部門的數(shù)據(jù)庫和應用程序，需要部署多臺數(shù)據(jù)交換服務器。達夢數(shù)據(jù)交換平臺內(nèi)置了軟總線功能，可以連接各種應用和數(shù)據(jù)源，支持數(shù)據(jù)自動路由，保證數(shù)據(jù)的安全可靠傳輸。同時達夢數(shù)據(jù)交換平臺也提供了交換監(jiān)控配置系統(tǒng)，通過該系統(tǒng)可以實時監(jiān)控各個交換節(jié)點的狀態(tài)，并可以可視化的修改交換路由設置。跨部門數(shù)據(jù)交換3數(shù)據(jù)整合數(shù)據(jù)

9、整合是指將不同來源的數(shù)據(jù)，經(jīng)過清洗轉(zhuǎn)換后變?yōu)榻y(tǒng)一格式，存儲到數(shù)據(jù)中心或者數(shù)據(jù)倉庫中，用于提供數(shù)據(jù)共享、數(shù)據(jù)分析等服務。其特點是：數(shù)據(jù)量大，數(shù)據(jù)種類豐富，需要較高的數(shù)據(jù)裝載性能；對數(shù)據(jù)質(zhì)量要求高，需要有豐富易用的數(shù)據(jù)清洗轉(zhuǎn)換組件；數(shù)據(jù)持續(xù)集成，不同類型的數(shù)據(jù)集成的周期可能不同，需要功能強大的作業(yè)調(diào)度與監(jiān)控功能；達夢數(shù)據(jù)交換平臺具有數(shù)據(jù)分區(qū)并發(fā)清洗和裝載、數(shù)據(jù)質(zhì)量實時檢查以及靈活的調(diào)度設置，能全面滿足數(shù)據(jù)整合應用對于性能、易用性的要求。數(shù)據(jù)整合功能特色全面的數(shù)據(jù)源支持支持各種主流數(shù)據(jù)庫（達夢、Oracle、SQLServer、DB2、Mysql、SybasePostgreSql等的全量和增量數(shù)據(jù)抽

10、取和裝載，還支持TXT、CSV、Excel、XML文件、消息服務器、LDAP服務器、WebService等數(shù)據(jù)的抽取和裝載。易用增量數(shù)據(jù)抽取內(nèi)置了各種增量數(shù)據(jù)抽取方式，用戶只需要簡單的設置即可實現(xiàn)對各種數(shù)據(jù)庫的數(shù)據(jù)的增量數(shù)據(jù)抽取，為實時數(shù)據(jù)集成提供了良好的支持。批量文件處理支持各種文件（txt、excel、xml的批量讀取和解析，能夠自動識別目錄中新增和修改的文件，并且能夠在本地和遠程服務器之間同步文件夾。豐富的數(shù)據(jù)轉(zhuǎn)換規(guī)則內(nèi)置近40多種數(shù)據(jù)清洗轉(zhuǎn)換規(guī)則，支持動態(tài)擴充。對于簡繁體、漢字拼音、亂碼處理、字符集轉(zhuǎn)換、中文數(shù)字的中國特有的問題提供內(nèi)置的轉(zhuǎn)換規(guī)則進行處理。HW.stiff舊*:f才Q/

11、嚕儂，姓等,隘i!£事班，”卜tk鼻,七淮用,由悵帕切山二二北享/K，；一等!9方善宇今也!崎豐利.三停三代合區(qū)1去*享批量流程創(chuàng)建提供基于模板的批量流程生成向?qū)?，可以快速生成大量類似的轉(zhuǎn)換，大大提高工作效率企業(yè)級的監(jiān)控提供了BS架構(gòu)的統(tǒng)一監(jiān)控系統(tǒng)，通過該系統(tǒng)用戶可以直觀的監(jiān)控整個多節(jié)點數(shù)據(jù)交換網(wǎng)絡，實時查看后臺流程運行狀態(tài)和統(tǒng)計信息、接收和處理系統(tǒng)告警，并執(zhí)行日常的管理和維護工作。實時數(shù)據(jù)質(zhì)量檢查DMETL內(nèi)置了數(shù)據(jù)質(zhì)量檢查功能，能夠根據(jù)用戶定義的規(guī)則對流程中的數(shù)據(jù)質(zhì)量進行檢查，并對結(jié)果進行統(tǒng)計。支持用戶定制規(guī)則以及和重用質(zhì)量檢查規(guī)則高性能采用基于流水線的多線程架構(gòu)，并支持數(shù)據(jù)分區(qū)

12、處理和并行裝載，可以充分發(fā)揮硬件性能,數(shù)據(jù)處理能力可以隨著系統(tǒng)CPU和IO性能的提升而同步提升。此外還支持支持單表多連接并行裝載、達夢、oracle的快速裝載接口、文本文件的分段并行解析等。高安全提供基于角色的權(quán)限控制機制，責權(quán)明晰。支持傳輸加密，不同交換節(jié)點之間傳輸?shù)臄?shù)據(jù)都是經(jīng)過加密處理，防止信息泄露。高可擴展DMETL采用基于OSGI整體架構(gòu)，系統(tǒng)的各個模塊如流程節(jié)點、轉(zhuǎn)換規(guī)則、數(shù)據(jù)質(zhì)量檢查規(guī)則都支持插件機制，可以根據(jù)具體業(yè)務需求動態(tài)擴展?？删幊烫峁┝撕唵我子玫木幊探涌贏PI,通過調(diào)用該API第三方應用可以快速方便的調(diào)用DMETL的各項功能，如創(chuàng)建、執(zhí)行流程，獲取監(jiān)控和統(tǒng)計信息等。此外,D

13、METL還支持編寫自定義的java函數(shù)和表達式來對數(shù)據(jù)進行處理。應用案例1浦東新區(qū)數(shù)據(jù)中心該項目建設是結(jié)合浦東新區(qū)信息化發(fā)展的實際需要，解決電子政務建設過程中出現(xiàn)的信息孤島、信息共享交換、數(shù)據(jù)安全存儲等問題，面向全區(qū)主要委辦局，建設一套安全、高效、經(jīng)濟的公共數(shù)據(jù)中心，項目總體架構(gòu)見下圖：項目特色實現(xiàn)了對多個委辦局現(xiàn)運行的各種異質(zhì)異構(gòu)系統(tǒng)的支持，包才5windows、linux以及unix操作系統(tǒng)，和對各種品牌的PCServer小型機服務器。支持多種系列的數(shù)據(jù)庫，包括Oracle系列、SqlServer系列、db2、sybasemysql、DM數(shù)據(jù)庫、access等多種國內(nèi)外數(shù)據(jù)庫管理系統(tǒng)。支持

14、通過政務外網(wǎng)或?qū)Ｓ霉饫w連接對各委辦局的局域網(wǎng)內(nèi)的數(shù)據(jù)進行交換，對地理位置從1公里以內(nèi)到10公里以外的交換節(jié)點均支持良好。2國家電網(wǎng)主備調(diào)數(shù)據(jù)同步該項目的最終用戶是國家電網(wǎng)。當前國家電網(wǎng)電力調(diào)度系統(tǒng)正面臨大規(guī)模的系統(tǒng)升級，而當前的系統(tǒng)升級過程中，面臨的普遍現(xiàn)實是：舊版系統(tǒng)運行了較長的時間，系統(tǒng)相對穩(wěn)定；新版系統(tǒng)則實現(xiàn)了更多更強的功能。為了保證能夠平穩(wěn)地完成系統(tǒng)的升級，提高系統(tǒng)白穩(wěn)定性，需要同時運行新舊兩個版本的系統(tǒng)，并保證新舊系統(tǒng)的數(shù)據(jù)同步。OpeiLOOO/GiflrlpOpon5OO口鑲0LDM表級MIA比對增量項目特色基于DMETL表級增量抽取和靈活的轉(zhuǎn)換邏輯，高效的實現(xiàn)了國家電網(wǎng)主備調(diào)系

15、統(tǒng)間的異構(gòu)數(shù)據(jù)（數(shù)據(jù)平臺和數(shù)據(jù)模型、數(shù)據(jù)結(jié)構(gòu)均不同的同步，保證了新舊調(diào)度系統(tǒng)的平穩(wěn)過渡和升級。3商務部產(chǎn)業(yè)安全數(shù)據(jù)分析平臺該項目的用戶是商務部產(chǎn)業(yè)安全調(diào)查局。項目的核心建設內(nèi)容是建設一個數(shù)據(jù)分析平臺，為產(chǎn)業(yè)損害預警業(yè)務提供數(shù)據(jù)，為具體業(yè)務部門日常作業(yè)提供支撐，為領導決策提供支持。該項目涵蓋了從數(shù)據(jù)采集、數(shù)據(jù)加工處理到信息發(fā)布的全部過程，系統(tǒng)總體構(gòu)架采取分層的開放體系結(jié)構(gòu)，分為數(shù)據(jù)及其管理層、業(yè)務分析層、綜合應用層，如下圖所示。項目特色該項目數(shù)據(jù)來源廣泛，數(shù)據(jù)結(jié)構(gòu)復雜，主要包括國家統(tǒng)計局數(shù)據(jù)、海關(guān)進出口數(shù)據(jù)、商務部數(shù)據(jù)直報系統(tǒng)采集數(shù)據(jù)、各行業(yè)協(xié)會和專家報送數(shù)據(jù)、購買的海外競爭對手貿(mào)易數(shù)據(jù)、調(diào)查局自采集數(shù)據(jù)等。通過DMETL工具實現(xiàn)了上述數(shù)據(jù)的有效整合，以此為基礎實現(xiàn)了商務部產(chǎn)業(yè)安全數(shù)據(jù)倉庫。4湖北省公安云項目該項目全稱為湖北省公安廳金盾工程多層架構(gòu)體系建設和政府部門間信息共享平臺項目。項目采用云計算”理念，利用虛擬化技術(shù)，對湖北省公安廳現(xiàn)有的軟硬件資源以及內(nèi)外部數(shù)據(jù)進行整合，實現(xiàn)基礎設施即服務（I