數(shù)據(jù)交換平臺(tái)功能白皮書(shū)

數(shù)字校園系列軟件產(chǎn)品數(shù)據(jù)交換平臺(tái)功能白皮書(shū)目錄TOC\o"1-5"\h\z\o"CurrentDocument"1產(chǎn)品概述-3-\o"CurrentDocument"1.1產(chǎn)品簡(jiǎn)介-3-\o"CurrentDocument"1.2應(yīng)用范圍-3-\o"CurrentDocument"2產(chǎn)品功能結(jié)構(gòu)-4-\o"CurrentDocument"3產(chǎn)品功能-5-\o"CurrentDocument"3.1數(shù)據(jù)源適配器-5-\o"CurrentDocument"3.1.1數(shù)據(jù)源類(lèi)型-5-\o"CurrentDocument"3.1.2數(shù)據(jù)獲取方式-5-\o"CurrentDocument"3.2數(shù)據(jù)抽取-6-\o"CurrentDocument"3.2.1抽取全量、增量數(shù)據(jù)-6-數(shù)據(jù)過(guò)濾-6-數(shù)據(jù)關(guān)聯(lián)-7-數(shù)據(jù)分包-8-數(shù)據(jù)加密-8-數(shù)據(jù)壓縮-8-\o"CurrentDocument"3.2.7數(shù)據(jù)備份、刪除-8-\o"CurrentDocument"3.3數(shù)據(jù)傳輸-9-\o"CurrentDocument"3.4數(shù)據(jù)映射、轉(zhuǎn)換-9-\o"CurrentDocument"3.5數(shù)據(jù)同步-9-3.5.1數(shù)據(jù)同步方式-10-3.5.2數(shù)據(jù)同步異常-10-服務(wù)調(diào)度-10-運(yùn)維監(jiān)控-11-告警監(jiān)控-11-流程監(jiān)控-11-資源監(jiān)控-12-日志管理-13-4產(chǎn)品特點(diǎn)-13-4.1支持多種數(shù)據(jù)交換方式-13-4.2服務(wù)調(diào)度時(shí)間多種選擇-13-4.3進(jìn)行可視化的數(shù)據(jù)交換過(guò)程監(jiān)控-14-4.4提供多種數(shù)據(jù)個(gè)性化業(yè)務(wù)處理-14-4.5支持海量數(shù)據(jù)處理-14-4.6先進(jìn)的體系結(jié)構(gòu)-14-4.7完善的安全設(shè)計(jì)-15-5運(yùn)行環(huán)境-15-5.1服務(wù)器配置-15-5.2客戶(hù)端配置-15-6典型客戶(hù)-15-產(chǎn)品概述1.1產(chǎn)品簡(jiǎn)介在校園信息化趨勢(shì)日益高漲的同時(shí)，暴露出很多問(wèn)題：A信息化建設(shè)缺乏統(tǒng)一指導(dǎo)和總體規(guī)劃，各部門(mén)獨(dú)自為戰(zhàn)，信息孤島現(xiàn)象日益嚴(yán)重＞由于建設(shè)時(shí)期不同，采用的技術(shù)架構(gòu)和建設(shè)情況各有差異，各系統(tǒng)之間的運(yùn)行管理維護(hù)等也相對(duì)獨(dú)立＞缺少統(tǒng)一應(yīng)用平臺(tái)，不能提供基于全面準(zhǔn)確的標(biāo)準(zhǔn)數(shù)據(jù)及基于此的決策分析等深層次的增值服務(wù)數(shù)據(jù)交換平臺(tái)正是立足于解決以上問(wèn)題，通過(guò)對(duì)現(xiàn)有的系統(tǒng)進(jìn)行數(shù)據(jù)整合，尤其是對(duì)相關(guān)的數(shù)據(jù)資源進(jìn)行整合，消除“信息孤島”，實(shí)現(xiàn)校園內(nèi)各種信息系統(tǒng)的互通互連和數(shù)據(jù)共享，形成統(tǒng)一的數(shù)據(jù)服務(wù)層，為上層應(yīng)用提供數(shù)據(jù)服務(wù)，為校園綜合信息服務(wù)的便利、完善和高效提供可靠的數(shù)據(jù)基礎(chǔ)。數(shù)據(jù)交換平臺(tái)采用星型拓?fù)浣Y(jié)構(gòu)，有效的簡(jiǎn)化了網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)了數(shù)據(jù)交換智能路由功能，根據(jù)交換數(shù)據(jù)內(nèi)容，能夠方便實(shí)現(xiàn)一點(diǎn)對(duì)多點(diǎn)，多點(diǎn)對(duì)一點(diǎn)，以及發(fā)送、轉(zhuǎn)換、轉(zhuǎn)發(fā)、接收等多種交換流程。通過(guò)采用中間件機(jī)制，很好的屏蔽了應(yīng)用系統(tǒng)直接的耦合程度，實(shí)現(xiàn)了數(shù)據(jù)的無(wú)縫交換和共享訪(fǎng)問(wèn)，保證了各應(yīng)用系統(tǒng)的有效協(xié)同，同時(shí)又能保證各應(yīng)用系統(tǒng)的相互獨(dú)立性和低耦合性，從整體上提高了系統(tǒng)運(yùn)作效率和可靠性。1.2應(yīng)用范圍主要用戶(hù)主要功能學(xué)校信息化主管領(lǐng)導(dǎo)了解學(xué)校數(shù)據(jù)集成情況以及運(yùn)行情況維護(hù)人員整體交換流程監(jiān)控、異常處理報(bào)告業(yè)務(wù)系統(tǒng)管理員監(jiān)控自身數(shù)據(jù)交換情況系統(tǒng)管理員用戶(hù)管理、系統(tǒng)設(shè)置、流程配置產(chǎn)品功能結(jié)構(gòu)過(guò)濾特殊字符處理壓縮文件格式轉(zhuǎn)換加密添加GUID服務(wù)調(diào)度服務(wù)過(guò)濾1數(shù)據(jù)合并?解壓解密II文件格式轉(zhuǎn)換f1iI消息發(fā)送消息接收1i消息傳輸WebServiceHTTPFTPFILE數(shù)據(jù)交換中心消息接收XML服務(wù)調(diào)度任務(wù)定義任務(wù)定義數(shù)據(jù)交換管理平臺(tái)客戶(hù)端管理||子系統(tǒng)管理||數(shù)據(jù)源管理I運(yùn)維監(jiān)控訂閱管理映射定義日志管理服務(wù)調(diào)度數(shù)據(jù)交換平臺(tái)功能結(jié)構(gòu)圖產(chǎn)品功能3.1數(shù)據(jù)源適配器3.1.1數(shù)據(jù)源類(lèi)型數(shù)據(jù)交換平臺(tái)支持各種主流、非主流的數(shù)據(jù)源，通過(guò)數(shù)據(jù)適配器可以靈活擴(kuò)展。支持多種主流關(guān)系型數(shù)據(jù)庫(kù)，包括：Oralce(9i、10g、11g)、MicrosoftSQLServer(2000、2005、2008)、IBMDB2、Sybase支持多種ODBC數(shù)據(jù)類(lèi)型，包括：MicrosoftAccess(.mdb)、MicrosoftExcel(.xls)、VisualFoxpro(.dbf)支持XML文件?支持Webservice支持純粹的文件類(lèi)型，例如：照片、Word文件3.1.2數(shù)據(jù)獲取方式數(shù)據(jù)交換平臺(tái)支持多種數(shù)據(jù)獲取方式：＞數(shù)據(jù)庫(kù)視圖可以從指定數(shù)據(jù)庫(kù)的視圖中提取數(shù)據(jù)。＞數(shù)據(jù)表可以從指定數(shù)據(jù)庫(kù)的表中提取數(shù)據(jù)。＞自定義SQL可以用自定義SQL從指定數(shù)據(jù)庫(kù)中提取數(shù)據(jù)。＞W(wǎng)ebservice可以從指定Webservice提供的方法中提取數(shù)據(jù)。＞文件可以從指定XML、Excel、Access、Dbf文件中提取數(shù)據(jù)；可以把任意類(lèi)型的文件從一個(gè)地方交換到另一個(gè)地方。

3?2數(shù)據(jù)抽取數(shù)據(jù)交換的第一個(gè)環(huán)節(jié)是要進(jìn)行數(shù)據(jù)抽取，根據(jù)特定的業(yè)務(wù)規(guī)則進(jìn)行抽取,例如：抽取全量數(shù)據(jù)、抽取增量數(shù)據(jù)、數(shù)據(jù)過(guò)濾、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)分包、數(shù)據(jù)加密、數(shù)據(jù)刪除、數(shù)據(jù)備份、數(shù)據(jù)壓縮等。3?2?1抽取全量、增量數(shù)據(jù)根據(jù)實(shí)際業(yè)務(wù)需要，數(shù)據(jù)交換平臺(tái)需要獲取全量或者只提取有變化的數(shù)據(jù),即增量數(shù)據(jù)。慝挺労窿總a總扭弋事龍或巒王量戲裾Q坪蚩裁話(huà)昌卒爺生h燈竝咒蛙sut：■"T[工肛自ft:ro{■用無(wú)宦弋工匚益吾生咄臨石■辭理裁貫■直巧三盡也壬「勺三：叫1二TK-二蓋弋責(zé)回般豬雌建甩申懇菩矣婆站Eflanmiji全量、增量數(shù)據(jù)3?2?2數(shù)據(jù)過(guò)濾對(duì)于業(yè)務(wù)系統(tǒng)提供的數(shù)據(jù)，有些數(shù)據(jù)不是實(shí)際需要的，那么可以通過(guò)設(shè)置數(shù)據(jù)過(guò)濾條件和選擇數(shù)據(jù)字段，對(duì)數(shù)據(jù)源進(jìn)行過(guò)濾。

□宇段名稱(chēng)是否主程宇段類(lèi)型囲學(xué)號(hào)學(xué)號(hào)否stringA團(tuán)姓名姓名否￡tring1lllllllllllllllll1111llll■lll■llll1111llll■lll■lll■llll1111llll■lll■llllIlli1111llll■lll■llll1111Illl■lll■llllIlliIllillll■lll■llllIllillll■lll■llllIlliIllilllllllllllllIllillll■lll■lll■llllIllillll■lll■llilIllillll■lll■lll■IIC二0年齡年齡否stringB電話(huà)電話(huà)否striit耳B簡(jiǎn)壓簡(jiǎn)歷否etr1ng~V選擇字段1?1Md*□INIIIBIrHTIKCtl□ZJU冊(cè)電IB設(shè)置過(guò)濾條件3?2?3數(shù)據(jù)關(guān)聯(lián)業(yè)務(wù)系統(tǒng)提供的數(shù)據(jù)中，缺少某些字段，需要關(guān)聯(lián)其他系統(tǒng)的數(shù)據(jù)后才能得到，通過(guò)數(shù)據(jù)關(guān)聯(lián)可以輕松解決此問(wèn)題，要關(guān)聯(lián)的數(shù)據(jù)源類(lèi)型和源數(shù)據(jù)一樣都支持所有數(shù)據(jù)類(lèi)型關(guān)曠數(shù)聒涯天A齊弓?咗-匚:助學(xué)貸款信息-關(guān)曠信但-Err毬字岌:XH￥-玨字蟄：證件號(hào)碼￥-h示蘭壬辰亍蘭翌：回全選回專(zhuān)業(yè)0證件類(lèi)型0證件號(hào)碼0郵政編碼0銀行賬號(hào)回學(xué)性費(fèi)回學(xué)制0學(xué)生類(lèi)別回序昌0性別數(shù)據(jù)關(guān)聯(lián)3?2?4數(shù)據(jù)分包針對(duì)大數(shù)據(jù)量的抽取，一下子讀取所有數(shù)據(jù)，對(duì)系統(tǒng)壓力比較大，通過(guò)數(shù)據(jù)分包，按照數(shù)據(jù)條數(shù)可以把數(shù)據(jù)分成多個(gè)包，分包進(jìn)行交換，大大減輕系統(tǒng)的承受壓力。3?2?5數(shù)據(jù)加密針對(duì)一些機(jī)密數(shù)據(jù)，在數(shù)據(jù)抽取過(guò)程中，會(huì)對(duì)數(shù)據(jù)進(jìn)行加密，即使在交換過(guò)沖被截獲，也無(wú)法獲取數(shù)據(jù)的真實(shí)內(nèi)容。3?2?6數(shù)據(jù)壓縮針對(duì)大數(shù)據(jù)量的抽取，可以采用數(shù)據(jù)壓縮，縮小數(shù)據(jù)文件的大小。3?2?7數(shù)據(jù)備份、刪除針對(duì)增量數(shù)據(jù)源的數(shù)據(jù),數(shù)據(jù)抽取完需要?jiǎng)h除原數(shù)據(jù)，為保證數(shù)據(jù)的完整性,在刪除前，需要對(duì)數(shù)據(jù)進(jìn)行備份。3?3數(shù)據(jù)傳輸數(shù)據(jù)抽取完成后，下一步就是數(shù)據(jù)傳輸，傳輸時(shí)可以通過(guò)Http協(xié)議和Ftp協(xié)議進(jìn)行傳輸。3?4數(shù)據(jù)映射、轉(zhuǎn)換數(shù)據(jù)映射、轉(zhuǎn)換環(huán)節(jié)是數(shù)據(jù)交換平臺(tái)中的重中之重，主要提供了以下支持:＞字段關(guān)聯(lián)合并多個(gè)字段可以合并到一個(gè)目標(biāo)字段，字段首尾可以連接自定義字符＞大小寫(xiě)轉(zhuǎn)換對(duì)字段進(jìn)行大小寫(xiě)轉(zhuǎn)換＞首尾空格刪除對(duì)字段首尾空格進(jìn)行刪除＞字段長(zhǎng)度計(jì)算獲取字段內(nèi)容長(zhǎng)度文件斛目口映射配置文件斛目口映射配置數(shù)據(jù)映射關(guān)系的配置，可以通過(guò)拖曳式的操作，建立源和目標(biāo)之前的對(duì)應(yīng)關(guān)3.5數(shù)據(jù)同步經(jīng)過(guò)數(shù)據(jù)抽取、數(shù)據(jù)映射轉(zhuǎn)換后的數(shù)據(jù)，就可以給目標(biāo)數(shù)據(jù)源進(jìn)行同步了。3.5.1數(shù)據(jù)同步方式數(shù)據(jù)同步支持的方式有：＞數(shù)據(jù)表目標(biāo)數(shù)據(jù)源為數(shù)據(jù)表，需要指定數(shù)據(jù)表的主鍵，同步過(guò)程中根據(jù)主鍵來(lái)判斷數(shù)據(jù)插入、更新。＞存儲(chǔ)過(guò)程存儲(chǔ)過(guò)程提供輸出參數(shù)，在目標(biāo)數(shù)據(jù)源配置中指定預(yù)期輸出，在同步過(guò)程中，判斷預(yù)期輸出值和輸入值是否一致，同時(shí)記錄異常數(shù)據(jù)和異常原因。＞W(wǎng)ebservice通過(guò)判斷Webservice調(diào)用后的返回結(jié)果和預(yù)期是否一致，判斷同步是否成功，記錄成功的記錄數(shù)和失敗的記錄數(shù)。＞文件把轉(zhuǎn)換后的數(shù)據(jù)同步成文件，文件類(lèi)型可以是任意文件類(lèi)型3.5.2數(shù)據(jù)同步異常數(shù)據(jù)同步過(guò)程中的異常數(shù)據(jù)，系統(tǒng)會(huì)自動(dòng)記錄下來(lái)，包括數(shù)據(jù)和錯(cuò)誤原因在監(jiān)控平臺(tái)上，可以下載異常數(shù)據(jù)和異常記錄，供系統(tǒng)維護(hù)人員進(jìn)行分析處理3.6服務(wù)調(diào)度每一個(gè)源數(shù)據(jù)源和目標(biāo)數(shù)據(jù)源之間的數(shù)據(jù)交換頻率是不盡相同的，可以為每一個(gè)流程設(shè)置運(yùn)行周期調(diào)度：?流程在啟動(dòng)狀態(tài)時(shí)執(zhí)行，滿(mǎn)足輪詢(xún)策略?具體到某一時(shí)刻執(zhí)行?設(shè)置時(shí)間段運(yùn)行?周期運(yùn)行，周期可以設(shè)置為分鐘、小時(shí)、天、周、月、年

效據(jù)..叵運(yùn)行胃期謖量廠運(yùn)行時(shí)間周期至\1同期創(chuàng)運(yùn)石周期廠天廠小時(shí)廠拎怦話(huà)行時(shí)問(wèn)[7F：阿謂度說(shuō)明貿(mào)度期于毎僅。小時(shí)咼執(zhí)行：開(kāi)始時(shí)間站：12時(shí)歸井直最近運(yùn)行時(shí)冋設(shè)盍:S近云斤時(shí)問(wèn)|2D10-8-13~—師時(shí)耐分辰一秒確定職消服務(wù)調(diào)度3運(yùn)維監(jiān)控?cái)?shù)據(jù)交換平臺(tái)提供了多種監(jiān)控，實(shí)時(shí)反映各個(gè)數(shù)據(jù)交換流程的運(yùn)行情況，服務(wù)器資源的使用情況，交換平臺(tái)的整體接入情況。所有的流程都可以進(jìn)行啟動(dòng)、停止操作。3?7?1告警監(jiān)控提供平臺(tái)運(yùn)行過(guò)程中的異常信息。敷聲交換訓(xùn)中心盂彌控->告獸孟控系統(tǒng)日?吉釜翌：|詰曲t一亍位FT日志時(shí)習(xí)：「"Bl至BC\S^(Enter)□日志內(nèi)容記錄旳間口志裘型123□□□JJetYCfkenrol-IQE^cepi:on：Conrtectiontirred.■SOlO-fl^-SSIE：LO：01服務(wù)器HetvorkerrorTOEzcepiion：Connectionlined,i2010-Q^_2315：09：4D』艮務(wù)器HelYorkerrorIDE?;cepiioil：Connec-liontinsd.>3010-0-4-2315：09：19JIE.務(wù)黑4□SatvorkerrorIQE>:cepliojl.Connectiontimed.>3010-0^-2315:09.19服竭■器5nletvorkerrorTOE>:ceiitionConnectioritiraed.>2010-0^-231509L9HetvorkerrorIDEKcep-■onConnectiontimed，3010-0^-2315091.9告警監(jiān)控3?7?2流程監(jiān)控對(duì)每一個(gè)流程中的各個(gè)環(huán)節(jié)進(jìn)行監(jiān)控，針對(duì)出錯(cuò)的環(huán)節(jié)通過(guò)下載錯(cuò)誤數(shù)據(jù)和

錯(cuò)誤原因分析問(wèn)題具體的原因。殿:E盤(pán)換営迎中祖->康規(guī)鱉腔->謔程船豎査詢(xún)擺卄聯(lián)譜‘1匝用耒紐3務(wù)：”'.査ffi(Eutii尊刷新訴程:S稱(chēng)琛數(shù)露詛目標(biāo)菽據(jù)函詩(shī)帥日消且生成SJE^fiE救據(jù)上隹覽布SE程sass誚狀布樂(lè)菇下我數(shù)菇同歩SlQ.av_sq1SlEilt3O1CM15-05y■■//?$lQ.a￥_sql$l=i)13cifvtS14.cces5_t301CKI5-D5V查看所有SiaaY_sijlBlsijlserve5]aricLt_tZ01D-05-05V￥VV*V￥31ELov_3il8]3ilTervt20J0-05-Q5v￥VV寸査君騎育流程監(jiān)控3?7?3資源監(jiān)控實(shí)時(shí)監(jiān)控服務(wù)器CPU、內(nèi)存、硬盤(pán)的使用情況。服勞器監(jiān)控資源監(jiān)控告警信息歡迎您:系統(tǒng)管理員艾有斗1觀條告警信息進(jìn)入查詢(xún)按級(jí)別包括：正^（1308；警告〔2酣7：錯(cuò)誤⑴按類(lèi)別包括：服務(wù)門(mén)呃9；^i：2837）告警通知設(shè)置警戒絹設(shè)置交換中業(yè)粟練信息朋應(yīng)用系統(tǒng):接入2亍應(yīng)用系統(tǒng)進(jìn)入查詢(xún)數(shù)據(jù)源：創(chuàng)連斗1平數(shù)據(jù)源-2丘平源數(shù)據(jù)源亍目標(biāo)數(shù)據(jù)源進(jìn)入查詢(xún)疣程：逹立2并疣程正在運(yùn)行的疣程”25平暫停運(yùn)行硫程進(jìn)入查詢(xún)訂閱：逹立口亍訂閱-口平正在運(yùn)行』平暫停進(jìn)入查詢(xún)整體情況監(jiān)控

3?7?4日志管理平臺(tái)記錄了數(shù)據(jù)交換各個(gè)環(huán)節(jié)的日志。I——r1眾務(wù)口志服務(wù)運(yùn)行E志查詢(xún)數(shù)垂生成數(shù)據(jù)生成E志逾程發(fā)布硫程發(fā)布E志消息逅布消息發(fā)布I——r1眾務(wù)口志服務(wù)運(yùn)行E志查詢(xún)數(shù)垂生成數(shù)據(jù)生成E志逾程發(fā)布硫程發(fā)布E志消息逅布消息發(fā)布E志數(shù)乘同步數(shù)據(jù)同歩E志梢息生成消息生成日志數(shù)齬上傳數(shù)據(jù)上傳日志數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換日志數(shù)齬下載數(shù)據(jù)下載日志日志管理4產(chǎn)品特點(diǎn)4.1支持多種數(shù)據(jù)交換方式數(shù)據(jù)庫(kù)表（支持ORACLE、SQLSERVER、SYBASE、DB2等）>視圖、存儲(chǔ)過(guò)程數(shù)據(jù)文件（EXCEL文件、XML文件、TXT文件）WebService接口4.2