數(shù)據(jù)交換平臺.功能白皮書

1、數(shù)字校園系列軟件產(chǎn)品數(shù)據(jù)交換平臺功能白皮書目錄1產(chǎn)品概述 . . - 3 - 1.1 產(chǎn)品簡介 . . - 3 - 1.2 應(yīng)用范圍 . . - 3 - 2 產(chǎn)品功能結(jié)構(gòu) . . - 4 - 3產(chǎn)品功能 . . - 5 - 3.1 數(shù)據(jù)源適配器 . . - 5 -3.1.1 數(shù)據(jù)源類型 . . - 5 - 3.1.2 數(shù)據(jù)獲取方式 . . - 5 - 3.2 數(shù)據(jù)抽取 . . - 6 -3.2.1 抽取全量、增量數(shù)據(jù) . . - 6 - 3.2.2 數(shù)據(jù)過濾 . . - 6 - 3.2.3 數(shù)據(jù)關(guān)聯(lián) . . - 7 - 3.2.4 數(shù)據(jù)分包 . . - 8 - 3.2.5 數(shù)據(jù)加密 . . -

2、 8 - 3.2.6 數(shù)據(jù)壓縮 . . - 8 - 3.2.7 數(shù)據(jù)備份、刪除 . . - 8 - 3.3 數(shù)據(jù)傳輸 . . - 9 - 3.4 數(shù)據(jù)映射、轉(zhuǎn)換 . . - 9 - 3.5 數(shù)據(jù)同步 . . - 9 -3.5.1 數(shù)據(jù)同步方式 . .- 10 - 3.5.2 數(shù)據(jù)同步異常 . .- 10 - 3.6 服務(wù)調(diào)度 . .- 10 - 3.7 運(yùn)維監(jiān)控 . .- 11 -3.7.1 告警監(jiān)控 . .- 11 - 3.7.2 流程監(jiān)控 . .- 12 - 3.7.3 資源監(jiān)控 . .- 12 - 3.7.4 日志管理 . .- 13 - 4產(chǎn)品特點(diǎn) . .- 13 - 4.1 支持多種

3、數(shù)據(jù)交換方式 . .- 13 - 4.2 服務(wù)調(diào)度時(shí)間多種選擇 . .- 14 - 4.3 進(jìn)行可視化的數(shù)據(jù)交換過程監(jiān)控 . .- 14 - 4.4 提供多種數(shù)據(jù)個(gè)性化業(yè)務(wù)處理 . .- 14 - 4.5 支持海量數(shù)據(jù)處理 . .- 14 - 4.6 先進(jìn)的體系結(jié)構(gòu) . .- 14 - 4.7 完善的安全設(shè)計(jì) . .- 15 - 5運(yùn)行環(huán)境 . .- 15 - 5.1 服務(wù)器配置 . .- 15 - 5.2 客戶端配置 . .- 15 - 6 典型客戶 . .- 15 -1 產(chǎn)品概述1.1 產(chǎn)品簡介在校園信息化趨勢日益高漲的同時(shí)，暴露出很多問題：信息化建設(shè)缺乏統(tǒng)一指導(dǎo)和總體規(guī)劃，各部門獨(dú)自為戰(zhàn)

4、，信息孤島現(xiàn)象日益嚴(yán)重由于建設(shè)時(shí)期不同，采用的技術(shù)架構(gòu)和建設(shè)情況各有差異，各系統(tǒng)之間的運(yùn)行管理維護(hù)等也相對獨(dú)立缺少統(tǒng)一應(yīng)用平臺，不能提供基于全面準(zhǔn)確的標(biāo)準(zhǔn)數(shù)據(jù)及基于此的決策分析等深層次的增值服務(wù)數(shù)據(jù)交換平臺正是立足于解決以上問題，通過對現(xiàn)有的系統(tǒng)進(jìn)行數(shù)據(jù)整合，尤其是對相關(guān)的數(shù)據(jù)資源進(jìn)行整合，消除“信息孤島”，實(shí)現(xiàn)校園內(nèi)各種信息系統(tǒng)的互通互連和數(shù)據(jù)共享，形成統(tǒng)一的數(shù)據(jù)服務(wù)層，為上層應(yīng)用提供數(shù)據(jù)服務(wù)，為校園綜合信息服務(wù)的便利、完善和高效提供可靠的數(shù)據(jù)基礎(chǔ)。數(shù)據(jù)交換平臺采用星型拓?fù)浣Y(jié)構(gòu)，有效的簡化了網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)了數(shù)據(jù)交換智能路由功能，根據(jù)交換數(shù)據(jù)內(nèi)容，能夠方便實(shí)現(xiàn)一點(diǎn)對多點(diǎn)，多點(diǎn)對一點(diǎn)，以及發(fā)送、

5、轉(zhuǎn)換、轉(zhuǎn)發(fā)、接收等多種交換流程。通過采用中間件機(jī)制，很好的屏蔽了應(yīng)用系統(tǒng)直接的耦合程度，實(shí)現(xiàn)了數(shù)據(jù)的無縫交換和共享訪問，保證了各應(yīng)用系統(tǒng)的有效協(xié)同，同時(shí)又能保證各應(yīng)用系統(tǒng)的相互獨(dú)立性和低耦合性，從整體上提高了系統(tǒng)運(yùn)作效率和可靠性。1.2 應(yīng)用范圍 2 產(chǎn)品功能結(jié)構(gòu) 數(shù)據(jù)交換平臺功能結(jié)構(gòu)圖3 產(chǎn)品功能3.1 數(shù)據(jù)源適配器 3.1.1 數(shù)據(jù)源類型數(shù)據(jù)交換平臺支持各種主流、非主流的數(shù)據(jù)源，通過數(shù)據(jù)適配器可以靈活擴(kuò)展。 支持多種主流關(guān)系型數(shù)據(jù)庫，包括：Oralce （9i 、10g 、11g ）、Microsoft SQLServer （2000、2005、2008）、IBM DB2、Sybase 支

6、持多種ODBC 數(shù)據(jù)類型，包括：Microsoft Access（.mdb ）、Microsoft Excel（.xls ）、VisualFoxpro （.dbf ） 支持XML 文件 支持Webservice 支持純粹的文件類型，例如：照片、Word 文件3.1.2 數(shù)據(jù)獲取方式數(shù)據(jù)交換平臺支持多種數(shù)據(jù)獲取方式： 數(shù)據(jù)庫視圖可以從指定數(shù)據(jù)庫的視圖中提取數(shù)據(jù)。 數(shù)據(jù)表可以從指定數(shù)據(jù)庫的表中提取數(shù)據(jù)。 自定義SQL可以用自定義SQL 從指定數(shù)據(jù)庫中提取數(shù)據(jù)。 Webservice可以從指定Webservice 提供的方法中提取數(shù)據(jù)。 文件可以從指定XML 、Excel 、Access 、Dbf

7、文件中提取數(shù)據(jù)；可以把任意類型的文件從一個(gè)地方交換到另一個(gè)地方。3.2 數(shù)據(jù)抽取數(shù)據(jù)交換的第一個(gè)環(huán)節(jié)是要進(jìn)行數(shù)據(jù)抽取，根據(jù)特定的業(yè)務(wù)規(guī)則進(jìn)行抽取，例如：抽取全量數(shù)據(jù)、抽取增量數(shù)據(jù)、數(shù)據(jù)過濾、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)分包、數(shù)據(jù)加密、數(shù)據(jù)刪除、數(shù)據(jù)備份、數(shù)據(jù)壓縮等。3.2.1抽取全量、增量數(shù)據(jù)根據(jù)實(shí)際業(yè)務(wù)需要，數(shù)據(jù)交換平臺需要獲取全量或者只提取有變化的數(shù)據(jù)，即增量數(shù)據(jù)。 全量、增量數(shù)據(jù)3.2.2 數(shù)據(jù)過濾對于業(yè)務(wù)系統(tǒng)提供的數(shù)據(jù)，有些數(shù)據(jù)不是實(shí)際需要的，那么可以通過設(shè)置數(shù)據(jù)過濾條件和選擇數(shù)據(jù)字段，對數(shù)據(jù)源進(jìn)行過濾。 選擇字段 設(shè)置過濾條件3.2.3 數(shù)據(jù)關(guān)聯(lián)業(yè)務(wù)系統(tǒng)提供的數(shù)據(jù)中，缺少某些字段，需要關(guān)聯(lián)其他系統(tǒng)

8、的數(shù)據(jù)后才能得到，通過數(shù)據(jù)關(guān)聯(lián)可以輕松解決此問題，要關(guān)聯(lián)的數(shù)據(jù)源類型和源數(shù)據(jù)一樣都支持所有數(shù)據(jù)類型 數(shù)據(jù)關(guān)聯(lián)3.2.4 數(shù)據(jù)分包針對大數(shù)據(jù)量的抽取，一下子讀取所有數(shù)據(jù)，對系統(tǒng)壓力比較大，通過數(shù)據(jù)分包，按照數(shù)據(jù)條數(shù)可以把數(shù)據(jù)分成多個(gè)包，分包進(jìn)行交換，大大減輕系統(tǒng)的承受壓力。3.2.5 數(shù)據(jù)加密針對一些機(jī)密數(shù)據(jù)，在數(shù)據(jù)抽取過程中，會對數(shù)據(jù)進(jìn)行加密，即使在交換過沖被截獲，也無法獲取數(shù)據(jù)的真實(shí)內(nèi)容。3.2.6 數(shù)據(jù)壓縮針對大數(shù)據(jù)量的抽取，可以采用數(shù)據(jù)壓縮，縮小數(shù)據(jù)文件的大小。3.2.7 數(shù)據(jù)備份、刪除針對增量數(shù)據(jù)源的數(shù)據(jù)，數(shù)據(jù)抽取完需要?jiǎng)h除原數(shù)據(jù)，為保證數(shù)據(jù)的完整性，在刪除前，需要對數(shù)據(jù)進(jìn)行備份。3.

9、3 數(shù)據(jù)傳輸數(shù)據(jù)抽取完成后，下一步就是數(shù)據(jù)傳輸，傳輸時(shí)可以通過Http 協(xié)議和Ftp 協(xié)議進(jìn)行傳輸。3.4 數(shù)據(jù)映射、轉(zhuǎn)換數(shù)據(jù)映射、轉(zhuǎn)換環(huán)節(jié)是數(shù)據(jù)交換平臺中的重中之重，主要提供了以下支持： 字段關(guān)聯(lián)合并多個(gè)字段可以合并到一個(gè)目標(biāo)字段，字段首尾可以連接自定義字符大小寫轉(zhuǎn)換對字段進(jìn)行大小寫轉(zhuǎn)換首尾空格刪除對字段首尾空格進(jìn)行刪除字段長度計(jì)算獲取字段內(nèi)容長度 映射配置數(shù)據(jù)映射關(guān)系的配置，可以通過拖曳式的操作，建立源和目標(biāo)之前的對應(yīng)關(guān)系3.5 數(shù)據(jù)同步經(jīng)過數(shù)據(jù)抽取、數(shù)據(jù)映射轉(zhuǎn)換后的數(shù)據(jù)，就可以給目標(biāo)數(shù)據(jù)源進(jìn)行同步了。3.5.1 數(shù)據(jù)同步方式數(shù)據(jù)同步支持的方式有：數(shù)據(jù)表目標(biāo)數(shù)據(jù)源為數(shù)據(jù)表，需要指定數(shù)據(jù)表的

10、主鍵，同步過程中根據(jù)主鍵來判斷數(shù)據(jù)插入、更新。存儲過程存儲過程提供輸出參數(shù)，在目標(biāo)數(shù)據(jù)源配置中指定預(yù)期輸出，在同步過程中，判斷預(yù)期輸出值和輸入值是否一致，同時(shí)記錄異常數(shù)據(jù)和異常原因。Webservice通過判斷Webservice 調(diào)用后的返回結(jié)果和預(yù)期是否一致，判斷同步是否成功，記錄成功的記錄數(shù)和失敗的記錄數(shù)。文件把轉(zhuǎn)換后的數(shù)據(jù)同步成文件，文件類型可以是任意文件類型3.5.2 數(shù)據(jù)同步異常數(shù)據(jù)同步過程中的異常數(shù)據(jù)，系統(tǒng)會自動記錄下來，包括數(shù)據(jù)和錯(cuò)誤原因，在監(jiān)控平臺上，可以下載異常數(shù)據(jù)和異常記錄，供系統(tǒng)維護(hù)人員進(jìn)行分析處理。3.6 服務(wù)調(diào)度每一個(gè)源數(shù)據(jù)源和目標(biāo)數(shù)據(jù)源之間的數(shù)據(jù)交換頻率是不盡相同

11、的，可以為每一個(gè)流程設(shè)置運(yùn)行周期調(diào)度： 流程在啟動狀態(tài)時(shí)執(zhí)行，滿足輪詢策略 具體到某一時(shí)刻執(zhí)行 設(shè)置時(shí)間段運(yùn)行 周期運(yùn)行，周期可以設(shè)置為分鐘、小時(shí)、天、周、月、年 服務(wù)調(diào)度3.7 運(yùn)維監(jiān)控?cái)?shù)據(jù)交換平臺提供了多種監(jiān)控，實(shí)時(shí)反映各個(gè)數(shù)據(jù)交換流程的運(yùn)行情況，服務(wù)器資源的使用情況，交換平臺的整體接入情況。所有的流程都可以進(jìn)行啟動、停止操作。3.7.1 告警監(jiān)控提供平臺運(yùn)行過程中的異常信息。 告警監(jiān)控3.7.2 流程監(jiān)控對每一個(gè)流程中的各個(gè)環(huán)節(jié)進(jìn)行監(jiān)控，針對出錯(cuò)的環(huán)節(jié)通過下載錯(cuò)誤數(shù)據(jù)和錯(cuò)誤原因分析問題具體的原因。 流程監(jiān)控3.7.3資源監(jiān)控實(shí)時(shí)監(jiān)控服務(wù)器CPU 、內(nèi)存、硬盤的使用情況。 資源監(jiān)控 整體情

12、況監(jiān)控3.7.4 日志管理平臺記錄了數(shù)據(jù)交換各個(gè)環(huán)節(jié)的日志。 日志管理4 產(chǎn)品特點(diǎn)4.1 支持多種數(shù)據(jù)交換方式數(shù)據(jù)庫表（支持ORACLE 、SQLSERVER 、SYBASE 、DB2等） 視圖、存儲過程數(shù)據(jù)文件（EXCEL 文件、XML 文件、TXT 文件） WebService 接口4.2 服務(wù)調(diào)度時(shí)間多種選擇固定時(shí)間設(shè)定周期循環(huán)（年、月、周、日、時(shí)、分） 指定時(shí)間段（如：每年8、9月等）4.3 進(jìn)行可視化的數(shù)據(jù)交換過程監(jiān)控整個(gè)數(shù)據(jù)交換流程的運(yùn)行狀態(tài) 各個(gè)客戶端代理的運(yùn)行環(huán)境 異常狀況的告警提醒4.4 提供多種數(shù)據(jù)個(gè)性化業(yè)務(wù)處理字段內(nèi)容組合、格式轉(zhuǎn)換 數(shù)據(jù)驗(yàn)證、過濾、關(guān)聯(lián) 文件、圖片等大字段處理 支持相同架構(gòu)數(shù)據(jù)源的訂閱4.5 支持海量數(shù)據(jù)處理全量數(shù)據(jù)增量收取 海量數(shù)據(jù)自定義分包4.6 先進(jìn)的體系結(jié)構(gòu)基于先進(jìn)的SOA 體系結(jié)構(gòu)設(shè)計(jì)。采用B/S結(jié)構(gòu)，使