數據集成整體解決實施計劃方案

1、. .數據集成整體解決方案繼系統集成、應用集成、業(yè)務集成之后，最頭痛的數據集成（Data Integration）已漸被各大企業(yè)紛紛觸與。目前國大多數企業(yè)還僅停留在服務于單個系統的多對一架構數據集成應用，這種架構常見于數據倉庫系統領域，服務于企業(yè)的商務智能。早期那些數據集成大家大都是從ETL啟蒙開始的，當時ETL自然也就成了數據集成的代名詞，只是忽然一夜春風來，各廠商相繼推出DI新概念后，我們不得不再次接受新一輪的DI洗腦，首推的有SAS DI、Business Objects DI、Informatica DI、Oracle DI（ODI）等廠商。數據集成，主要是指基于企業(yè)分散的信息系統的業(yè)

2、務數據進行再集中、再統一管理的過程，是一個漸進的過程，只要有新的、不同的數據產生，就不斷有數據集成的步聚執(zhí)行。企業(yè)有了五年、八年的信息化發(fā)展，凌亂、重復、歧義的數據接踵而至，數據集成的空間與需求日漸迫切，企業(yè)需要一個主數據管理（Master Data Manager）系統來統一企業(yè)的產品信息、客戶信息；企業(yè)需要一個數據倉庫（Data Warehouse）系統來提高領導層的決策意識，加快市場戰(zhàn)略調整行動；企業(yè)需要一個數據中心（Data Center）系統來集換、分發(fā)、調度、管理企業(yè)基礎數據。數據集成的必要性、迫切性不言而喻，不斷被推至企業(yè)信息化戰(zhàn)略規(guī)劃的首要位置。要實現企業(yè)數據集成的應用，不光要

3、考慮企業(yè)急需集成的數據圍，還要從長遠發(fā)展考慮數據集成的架構、能力和技術等方面容。從數據集成應用的系統部署、業(yè)務圍、實施成熟性看主要可分三種架構。一種是單個系統數據集成架構、一種是企業(yè)統一數據集成架構、一種是機構之間數據集成架構。單個系統數據集成架構，是國目前大興土木所采用的架構，主要是以數據倉庫系統為代表提供服務而興建的數據集成平臺，面向企業(yè)部如ERP、財務、OA等多各業(yè)務操作系統，集成企業(yè)所有基礎明細數據，轉換成統一標準，按星型結構存儲，面向市場經營分析、客戶行為分析等多個特有主題進行商務智能體現。這種單個系統數據集成應用架構的主要特點是多對一的架構、復雜的轉換條件、TB級的數據量處理與加載

4、，數據存儲結構特殊，星型結構、多維立方體并存，數據加載層級清晰。企業(yè)統一數據集成架構，組織結構較復雜的大型企業(yè)、政府機構尤為偏愛這種數據集成的架構，因此類單位具有業(yè)務結構相對獨立、數據權力尤為敏感、數據接口復雜繁多等特征，更需要多個部門一起協商來建立一個統一的數據中心平臺，來解決部門之間頻繁的數據交換的需求。如金融機構、電信企業(yè)，公安、稅務等政府機構，業(yè)務獨立、層級管理的組織結構決定了部數據交互的復雜性。概括來說此類應用屬于多對多的架構、數據交換頻繁、要有獨立的數據交換存儲池、數據接口與數據類型繁多等特點。對于企業(yè)管理性、決策性較強的信息系統如主數據管理系統、財務會計管理系統、數據倉庫系統等數

5、據可直接來源于數據中心，擺脫了沒有企業(yè)數據中心前的一對多交叉的困擾，避免了業(yè)務系統對應多種管理系統時需要數據重復傳送，如CRM系統中新增一條客戶信息數據后，直接發(fā)送到企業(yè)數據中心，由企業(yè)數據中心面向風險管理系統、數據倉庫系統、主數據管理系統進行分發(fā)即可。機構之間數據集成架構，這種架構多是應用于跨企業(yè)、跨機構、多個單位圍繞某項或幾項業(yè)務進行的業(yè)務活動，或由一個第三方機構來進行協調這些企業(yè)、機構之間的數據交換、制定統一數據標準，從而形成一個多機構之間的數據集成平臺。如中國銀聯與各商業(yè)銀行之間的應用案例、各市政府信息中心與市政府各機關單位之間的應用案例、外貿EDI（海關、檢驗檢疫局、外匯局、銀行、保

6、險、運輸等）、BTOB電子商務平臺等。這類應用屬于跨多企業(yè)、單位多對多的架構，具有數據網絡復雜、數據安全性要求高、數據交換實時性強等特點。尤其這類架構頗具一些特點值得進一步去剖析。因數據集成平臺是架于多企業(yè)、單位之間，數據的安全性、獨立性決定了各企業(yè)、單位不得不考慮前置機的部署形式，各企業(yè)、單位在業(yè)務系統與數據集成平臺之間增加一臺前置機，則更有利于自有系統數據的獨立與安全，也更利于數據平臺對數據的獲取、分發(fā)、交換的統一要求。另外，數據集成平臺也要具有更多的技術功能來滿足眾多單位的眾多數據接口、多種數據類型、不一致的數據標準、數據交換的實時性、對數據的抽取與推送（Pull AND Push）等業(yè)

7、務需求。如數據集成平臺需具有數據連通、ETL、數據實時、數據清洗、數據質量、EBS（Enterprise Service Bus）、SOA（Service-Oriented Architecture）等一些技術與特點。以上三種數據集成架構，一種是對應于某一個應用系統的多對一架構，一種是完成企業(yè)部眾多系統之間數據交換的多對多架構，一種是為多個跨企業(yè)、單位機構實現某一項或幾項業(yè)務活動而建立的多對多架構，數據集成的應用差不多都是基于這三種架構，每種架構可能會對應于多種數據集成的應用。國企業(yè)常見的數據集成應用有數據倉庫、數據同步、數據交換，隨著企業(yè)并購、新舊系統升級、分布系統向數據大集中看齊、電子商務

8、的發(fā)展、多個企業(yè)單位協同作業(yè)等等眾多業(yè)務需求的誕生，數據集成的應用開始紛繁異景起來。目前大部分數據集成軟件廠商都是圍繞數據倉庫（Data Warehousing）、數據遷移（Data Migration）、數據合并（Data Consolidation）、數據同步（Data Synchronization）、數據交換（Data Hubs或者叫主數據管理：Master Data Management）這5種常見的企業(yè)應用形式來發(fā)展各自的產品技術。數據倉庫（Data Warehousing）應用：數據倉庫的發(fā)展在國差不多有近10個年頭，數據倉庫中的數據集成應用主要是圍繞ETL的功能來實現，一般來說

9、其主要功能是將多個業(yè)務系統不同種數據類型的數據抽取到數據倉庫的ODS（Operational Data Store）層，經過轉換，加載存儲到星型結構的DW（Data Warehouse）層，為滿足不同主題的展現應用，再向關系型數據庫或多維數據庫進一步匯總加載，其ETL功能可由手工編程或專業(yè)工具軟件這兩種類型來實現。第一種類型：由手工編程到專項ETL工具的應用，這種應用類型是成熟的數據集成軟件工具的雛形，是為快速達成項目功能需求為主，滿足復雜的業(yè)務處理的需要，以ETL為核心應用，開發(fā)技術也發(fā)揮得淋漓盡致，PB、JAVA、SQL、存儲過程、C/C+都可能會悉數登場，多一種系統的數據集成就可能會多于

10、一倍的開發(fā)工作量，使數據集成平臺更趨于復雜、脆弱。另外，如電信、金融、稅務、公安等行業(yè)的眾多系統集成商針對各自的業(yè)務系統也開發(fā)有專項的數據集成工具，只是有一定的局限性，拘泥于某一種應用或某一特定的系統環(huán)境。第二種類型：眾多成熟的數據集成軟件工具的應用為這一代表，如Informatica PowerCenter、IBM Datastage、Oracle ODI、Microsoft SISS等，集各種數據接口、ETL、數據質量、實時、數據聯邦、分區(qū)并行、網格、HA等技術于一身，歷練世界眾多客戶需求多時，具有更寬廣的應用、可擴展性強、安全穩(wěn)定等一些特點。數據遷移（Data Migration）應用：

11、這種應用比較容易理解，對于新舊系統升級、數據大集中時的數據作遷移，使數據更能順應新系統的結構變化而平穩(wěn)遷移。數據合并（Data Consolidation）應用：在企業(yè)并購中很容易產生數據合并的應用，如兩個企業(yè)的HR系統的合并、財務系統的合并、其它業(yè)務系統的合并，當系統需要合并必然產生數據的合并，因此對企業(yè)數據進行統一標準化、規(guī)化、數據的補缺、數據的一致性都將導致數據合并。數據同步（Data Synchronization）應用：當企業(yè)一個系統的業(yè)務活動會影響其它多個系統的進程時，對數據的實時性、準確性就尤顯重要。如航空公司與航空機場之間的數據同步應用、證券交易所與證券公司之間的股票信息同步、

12、金融業(yè)的匯率信息同步等等，影響數據同步的實時性與可靠性的因素會有網絡的連通性、傳輸效率、數據接口、數據格式等，這些諸多因素都屬于數據集成中的數據同步要解決的問題。數據交換（Data Hubs）應用：或者叫主數據管理（Master Data Management）應用，這種數據集成的應用越來越受企業(yè)的重視。一般構成企業(yè)主要的基礎數據分別是客戶數據、產品數據、員工信息數據、供應商數據，要從企業(yè)多個系統中快速、可靠地建立唯一、完整的企業(yè)主數據視圖這就是主數據管理。要實現企業(yè)主數據管理應用的數據集成平臺，必須具備有良好的數據連通性、良好的數據質量探查與分析、良好的數據轉換能力等特點。文中上述提到跨多個

13、企業(yè)、單位機構的架構就是一個典型的主數據管理應用，如公安局、工商局、稅務局、人事局、勞動社保局等這些眾多政府機構主要是圍繞2個基本主體進行各項事務活動，一個主體是個人，另外一個主體是企業(yè)單位，而眾多政府機構對這2個主體的信息數據要求重點不同、數據處理順序有先后，數據變更有各異，數據交換復雜、頻繁，而最理想的境界是這2個主體數據能做到最大程度的同步，這就是主數據管理的思想。以上五種數據集成應用解決方案在國最常見的首當其沖的是數據倉庫的應用，最復雜的應用應該是數據交換了，不管是簡單還是復雜的應用都以ETL技術為基礎，ETL技術成為了數據集成的核心技術，伴隨ETL技術的還有數據連通、數據質量、數據清

14、洗、數據聯邦、Real-Time、數據探查等技術，為了提高數據集成的安全性、高效性、可擴展能力，還有SOA、HA、GRID等相關技術作為支撐。ETL（Extract、Transform、Load）：數據集成視數據抽取、轉換和加載為最基礎、最核心的三項技術，這三個執(zhí)行步驟可根據系統環(huán)境特點進行調整順序，典型的應用有ELT的順序。如源與目標為同種數據庫、或共用一個數據庫時，可將數據從源直接抽取到目標然后再進行轉換，效率會大有提高，專注此類特點的產品以Oracle的ODI為代表。數據連通（Data Connective）：良好的數據連通性是數據集成的能力體現，一般通用的關系型數據庫、ODBC、XML

15、等數據連通類型為常見類型，還有一些就是大中型企業(yè)常用的ERP、CRM、BPM、OA等應用軟件為封閉式的系統，如SAP、Seibel、Lotus等系統的連通，因此良好的數據集成平臺需要提供來自更多企業(yè)的數據連通接口，抽取源與裝載目標的圍也就更廣闊。數據質量（Data Quality）：數據質量越來越被企業(yè)重視，數據質量的技術圍也越發(fā)寬廣，開始慢慢被剝離出數據集成的疇。企業(yè)不能根據標準不統一、歧義、不正確的數據快速做出決策，只有站在高質量的數據基礎之上做出的決策才不會發(fā)生方向偏倚。通常實現企業(yè)數據質量管理會包括源數據的探查、數據質量的評估、數據集成、數據的完整和數據的監(jiān)控這五個步驟。數據的完整一般

16、是指根據現有基礎數據作其它數據項的擴展和豐富，如根據客戶的聯系方式來豐富客戶的所屬地區(qū)數據項、根據客戶來豐富客戶的所屬地區(qū)、年齡、性別等信息。數據實時（Real-Time）：對于實時數據倉庫系統、數據同步等應用都會用到數據實時技術，一個系統的數據發(fā)生變化后，能即刻將變化的動作同步到另一個系統這就是數據實時技術的主旨。關系型數據庫、AS400、MQ Series、ADABAS等系統都有自身的實時數據策略，如Oracle數據庫的實時可以通過Trigger或Log Miner分析歸檔日志方式來實現。諸如以上ETL、數據連通、數據質量、數據實時等技術，還有數據聯邦、數據清洗、HA、Grid、Parti

17、tion、SOA技術，這些都是保證數據集成平臺的可擴展性、安全性、高效性、簡便性的通用技術。神州數碼公司面向各行業(yè)提供有多家數據集成整體解決方案的經驗，整體解決方案包括有企業(yè)數據集成業(yè)務咨詢、企業(yè)數據集成平臺產品、各廠商數據集成底層軟件共三大塊。l 數據集成咨詢神州數碼的業(yè)務咨詢具體指對企業(yè)各個層次的數據對象進行調研，給出企業(yè)數據管理現狀分析報告，為企業(yè)的數據管理進行數據標準定義，根據企業(yè)特點提出更優(yōu)的核心數據管理機制建議，設計適合企業(yè)長遠發(fā)展的數據管理機構體系和工作管理流程，并對組織結構進行崗位職能設置。l 數據集成平臺神州數碼的數據集成平臺是企業(yè)數據管理部門的工作手段，須依賴于一套嚴謹的數據管理規(guī)。數據集成平臺是以企