大學(xué)數(shù)字化校園數(shù)據(jù)交換集成平臺設(shè)計方案

大學(xué)數(shù)字化校園數(shù)據(jù)交換集成平臺設(shè)計方案數(shù)據(jù)交換平臺依據(jù)學(xué)校實際需要，建立分層次的功能處理結(jié)構(gòu)。數(shù)據(jù)交換引擎建設(shè)成為一個面向服務(wù)的、流程驅(qū)動的綜合服務(wù)平臺，通過標(biāo)準(zhǔn)、開放的數(shù)據(jù)連接、服務(wù)接口，實現(xiàn)跨越異構(gòu)應(yīng)用系統(tǒng)的數(shù)據(jù)交換與服務(wù)合成，實現(xiàn)對綜合服務(wù)平臺的Web服務(wù)的集中管理、健康監(jiān)控、安全管理、統(tǒng)計分析等服務(wù)管理功能。《圖信息交換平臺示意圖》數(shù)據(jù)中心通過ETL方式從業(yè)務(wù)數(shù)據(jù)庫中抽取數(shù)據(jù)，將數(shù)據(jù)抽取到邏輯層的ODS中，并進(jìn)行更高層次的抽取和清洗工作，為數(shù)據(jù)倉庫提供數(shù)據(jù)支撐。對于需要提供數(shù)據(jù)交換服務(wù)的系統(tǒng)，數(shù)據(jù)中心提供了完善的WebServices接口，相關(guān)系統(tǒng)可通過標(biāo)準(zhǔn)的接口調(diào)用獲得所需要的數(shù)據(jù)。數(shù)據(jù)交換平臺規(guī)劃交換平臺由應(yīng)用服務(wù)層、信息接口及工具層、信息存儲層、信息集成層、信息接入層、業(yè)務(wù)數(shù)據(jù)源層組成。應(yīng)用服務(wù)層提供高級報表、教育評估、綜合查詢、應(yīng)用業(yè)務(wù)歷史查詢、一體化應(yīng)用操作與監(jiān)管服務(wù)。該層面向最終使用者，為校內(nèi)用戶提供個性化服務(wù)，包括應(yīng)用系統(tǒng)（學(xué)生服務(wù)、教務(wù)服務(wù)、人事服務(wù)、科研服務(wù)、學(xué)籍服務(wù)、設(shè)備服務(wù)、辦公服務(wù)、外事服務(wù)等）、對外數(shù)據(jù)服務(wù)、共享數(shù)據(jù)的統(tǒng)計查詢及報表服務(wù)、和沒有業(yè)務(wù)系統(tǒng)對應(yīng)的共享數(shù)據(jù)管理等服務(wù)。信息接口及工具層提供WebservicesXML交換、SQL操作、SearchAPI、報表/查詢配置工具等。其中面向個人查詢、管理定制服務(wù)是由本層提供的。信息服務(wù)層的各種服務(wù)不能直接操作數(shù)據(jù)庫，必須通過調(diào)用統(tǒng)一的數(shù)據(jù)訪問模塊實現(xiàn)對數(shù)據(jù)庫中數(shù)據(jù)的操作。信息存儲層提供給予校園信息標(biāo)準(zhǔn)的共享數(shù)據(jù)存儲，包括操作數(shù)據(jù)庫（直接與業(yè)務(wù)系統(tǒng)數(shù)據(jù)、文件進(jìn)行交換的信息，保留業(yè)務(wù)系統(tǒng)當(dāng)前數(shù)據(jù)狀態(tài)）；具有周期性全庫掃描存儲操作數(shù)據(jù)庫鏡像的歷史數(shù)據(jù)庫；學(xué)校未來跨業(yè)務(wù)部門一體化流程業(yè)務(wù)數(shù)據(jù)庫；部門臨時報表及統(tǒng)計使用的臨時數(shù)據(jù)庫等五個部分。該層的數(shù)據(jù)是學(xué)校一切活動所涉及的、用于共享的公共數(shù)據(jù)集，來源于學(xué)校的各個業(yè)務(wù)部門，并基于“誰產(chǎn)生，誰維護(hù)”的原則，由對應(yīng)的業(yè)務(wù)部門管理。從數(shù)據(jù)來源上分?；谛@信息標(biāo)準(zhǔn)的臨時、當(dāng)前及歷史數(shù)據(jù)存儲；提供異構(gòu)校園應(yīng)用系統(tǒng)數(shù)據(jù)源的數(shù)據(jù)復(fù)制、轉(zhuǎn)換、查詢、緩存、標(biāo)準(zhǔn)化ETL等數(shù)據(jù)服務(wù)。統(tǒng)一交換平臺支持基于語義的SQL、XML、WebServices、SearchAPI的共享訪問接口；自身提供自定義報表工具、靈活查詢工具以及在此之上建立的綜合業(yè)務(wù)報表、自定義查詢等共享應(yīng)用服務(wù)。保障了學(xué)?？鐦I(yè)務(wù)部門的數(shù)據(jù)標(biāo)準(zhǔn)一致性與共享互換的技術(shù)需求。ETLETL是數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、裝載的過程，同時提供數(shù)據(jù)質(zhì)量的管理、數(shù)據(jù)轉(zhuǎn)換與清洗、調(diào)度監(jiān)控，并且貫穿整個數(shù)據(jù)中心解決方案的全過程。ETL是構(gòu)建數(shù)據(jù)中心的關(guān)鍵環(huán)節(jié)，按照統(tǒng)一的規(guī)則集成并提高數(shù)據(jù)的價值，是負(fù)責(zé)完成數(shù)據(jù)從數(shù)據(jù)源向目標(biāo)數(shù)據(jù)中心轉(zhuǎn)化的過程，是實施數(shù)據(jù)中心的重要步驟。ETL規(guī)則設(shè)計和實施是項目中工作量很大的部分，其工作量通常要占整個項目工作量的50%以上。數(shù)據(jù)抽取數(shù)據(jù)抽取是從源系統(tǒng)中獲取數(shù)據(jù)，以便加載到數(shù)據(jù)倉庫中。數(shù)據(jù)的抽取必須能夠充分滿足數(shù)據(jù)中心系統(tǒng)分析及決策支持的需要，同時必須保證不能影響業(yè)務(wù)系統(tǒng)的性能，所以進(jìn)行數(shù)據(jù)抽取時必須充分考慮這些因素，制定相應(yīng)的策略，包括抽取方式、抽取時機(jī)、抽取周期等內(nèi)容。抽取方式：增量抽取、完全抽取等。抽取時機(jī)：盡可能避開業(yè)務(wù)系統(tǒng)的高峰時段，比如在夜間業(yè)務(wù)系統(tǒng)比較閑時。抽取周期：綜合考慮業(yè)務(wù)需求和系統(tǒng)代價，制定合理的抽取周期，如按照小時、天、周、季度等。數(shù)據(jù)清洗數(shù)據(jù)清洗的目的是選出有缺陷的數(shù)據(jù)，通過把他們正確化和規(guī)范化來滿足信息使用者需求的數(shù)據(jù)質(zhì)量。由于數(shù)據(jù)清洗是一件增加成本的過程，提高數(shù)據(jù)質(zhì)量的最終目的是希望得到干凈和標(biāo)準(zhǔn)的數(shù)據(jù)來降低數(shù)據(jù)清洗和轉(zhuǎn)換上的工作。數(shù)據(jù)清洗可以在以下場合發(fā)生：源數(shù)據(jù)的清洗：目的是提高系統(tǒng)中已有數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)質(zhì)量。對數(shù)據(jù)轉(zhuǎn)換的數(shù)據(jù)清洗：目的是清洗、轉(zhuǎn)換和提高從現(xiàn)有系統(tǒng)到目標(biāo)架構(gòu)中的數(shù)據(jù)質(zhì)量。數(shù)據(jù)中心的數(shù)據(jù)清洗：目的是確保用于數(shù)據(jù)分析的數(shù)據(jù)的質(zhì)量。以下是數(shù)據(jù)清洗的流程：定義數(shù)據(jù)源：記錄下所有會包含需要實體的數(shù)據(jù)源，并且標(biāo)識出權(quán)威的數(shù)據(jù)源。決定在哪里進(jìn)行數(shù)據(jù)清洗和轉(zhuǎn)換。抽取和分析數(shù)據(jù)源：從數(shù)據(jù)源中提取數(shù)據(jù)樣本，分析這些數(shù)據(jù)是否符合定義，發(fā)現(xiàn)數(shù)據(jù)非正常的結(jié)構(gòu)和格式，定義業(yè)務(wù)規(guī)則。標(biāo)準(zhǔn)化數(shù)據(jù)：轉(zhuǎn)換數(shù)據(jù)到一個通用的數(shù)據(jù)模型中，基于定義標(biāo)準(zhǔn)化格式和數(shù)據(jù)值。正確和完整的數(shù)據(jù)：基于正確的規(guī)則糾正不正確和非標(biāo)準(zhǔn)的數(shù)據(jù)。定義如何處理遺失的數(shù)據(jù)，例如是找尋丟失的數(shù)據(jù)還是使用默認(rèn)的數(shù)據(jù)。確定如何處理不確切的錯誤數(shù)據(jù)。匹配和合并數(shù)據(jù)：確定對于同一個實體的多個數(shù)據(jù)，并把他們合并到同一個同期的記錄中。合并同時需要把所有和這個合并有關(guān)的記錄進(jìn)行去重。分析數(shù)據(jù)錯誤類型：發(fā)現(xiàn)數(shù)據(jù)錯誤的種類來提高流程和降低重大問題出現(xiàn)的可能性。轉(zhuǎn)換和增強(qiáng)數(shù)據(jù)：轉(zhuǎn)換數(shù)據(jù)來把它加載到主題數(shù)據(jù)庫中，這包含轉(zhuǎn)換、格式化清洗數(shù)據(jù)和外部數(shù)據(jù)合并等。數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換是指對從業(yè)務(wù)應(yīng)用系統(tǒng)中抽取的源數(shù)據(jù)，根據(jù)主題數(shù)據(jù)庫系統(tǒng)模型的要求，進(jìn)行數(shù)據(jù)的轉(zhuǎn)換、清洗、拆分、匯總等處理，保證來自不同系統(tǒng)、不同格式的數(shù)據(jù)的一致性和完整性，并按要求裝入主題數(shù)據(jù)庫。ETL轉(zhuǎn)換過程的集中體現(xiàn)為：空值處理，可捕獲字段空值，進(jìn)行加載或替換為其他含義數(shù)據(jù)，并可根據(jù)字段空值實現(xiàn)分流加載到不同目標(biāo)庫。規(guī)范化數(shù)據(jù)格式，可實現(xiàn)字段格式約束定義，對于數(shù)據(jù)源中，時間、數(shù)值、字符等數(shù)據(jù)，可自定義加載格式。拆分?jǐn)?shù)據(jù)，依據(jù)業(yè)務(wù)需求對字段可進(jìn)行分解。驗證數(shù)據(jù)正確性，可利用查詢表及拆分功能進(jìn)行數(shù)據(jù)驗證。數(shù)據(jù)替換，對于因業(yè)務(wù)因素，可實現(xiàn)無效數(shù)據(jù)、缺失數(shù)據(jù)的替換。從查詢表獲取丟失數(shù)據(jù)，查詢表實現(xiàn)子查詢，并返回用其他手段獲取的缺失字段，保證字段完整性。建立ETL過程的主外鍵約束，對無依賴性的非法數(shù)據(jù)，可替換或?qū)С龅藉e誤數(shù)據(jù)文件中，保證了主鍵唯一記錄的加載?？蓪崿F(xiàn)數(shù)據(jù)規(guī)則過濾。數(shù)據(jù)加載數(shù)據(jù)加載就是將從源應(yīng)用系統(tǒng)中抽取、轉(zhuǎn)換后的數(shù)據(jù)加載到主題數(shù)據(jù)庫系統(tǒng)中。要求數(shù)據(jù)加載工具必須具有高效的加載性能。數(shù)據(jù)加載策略要考慮加載周期及數(shù)據(jù)追加策略兩方面的內(nèi)容，主要加載技術(shù)：使用主題數(shù)據(jù)庫引擎廠商提供的數(shù)據(jù)加載工具進(jìn)行數(shù)據(jù)加載；通過主題數(shù)據(jù)庫引擎廠商提供的API編程進(jìn)行數(shù)據(jù)加載；數(shù)據(jù)審計每個數(shù)據(jù)加載周期中，如何保證數(shù)據(jù)倉庫系統(tǒng)中數(shù)據(jù)同業(yè)務(wù)系統(tǒng)中數(shù)據(jù)業(yè)務(wù)意義上的一致性及數(shù)據(jù)的準(zhǔn)確性極其重要。必須引進(jìn)數(shù)據(jù)審計功能。數(shù)據(jù)正確性的保證在數(shù)據(jù)的ETL過程中實現(xiàn)，但數(shù)據(jù)正確性的審計工作則是在數(shù)據(jù)加載工作完成以后。一方面要從設(shè)計到實施的整個過程中確保算法的正確性，另一方面要通過事后的檢驗來檢查ETL的正確性。理想的情況是，審計工作必須在數(shù)據(jù)抽取、轉(zhuǎn)換、加載等所有的階段都要進(jìn)行，比如：如果采用異步數(shù)據(jù)抽取和加載，則在數(shù)據(jù)抽取傳輸完畢后，要從記錄數(shù)、文件大小等角度檢驗抽取和傳輸?shù)恼_性。數(shù)據(jù)加載完畢后，一方面通過加載日志檢驗加載過程的正確性，另一方面要通過業(yè)務(wù)規(guī)則來校驗數(shù)據(jù)的正確性。統(tǒng)一調(diào)度統(tǒng)一調(diào)度是ETL中較為重要的功能。它不但可以將源數(shù)據(jù)加載到主題數(shù)據(jù)庫中，而且還可以更新數(shù)據(jù)倉庫，并且還可以更新OLAPServer和挖掘模型數(shù)據(jù)。它在整個商務(wù)智能方案中扮演著總指揮、總調(diào)度的角色。ETL的調(diào)度控制方式有兩種：自動方式由每天定時或準(zhǔn)實時啟動后臺程序，自動完成數(shù)據(jù)倉庫ETL處理流程。手動方式用戶可以通過前臺監(jiān)控平臺，對單個目標(biāo)或批量目標(biāo)進(jìn)行手工調(diào)度。監(jiān)控主要是監(jiān)控ETL的整個過程，通過掃描ETL各模塊的日志中的關(guān)鍵值，如記錄時間等信息與當(dāng)前的狀態(tài)作比較，如果超過某一個值，則認(rèn)為該模塊運(yùn)行可能出現(xiàn)問題，應(yīng)當(dāng)報警通知系統(tǒng)管理員等。數(shù)據(jù)服務(wù)接口為了實現(xiàn)數(shù)據(jù)中心和外界信息環(huán)境的溝通，提供可靈活的組織、擴(kuò)充、維護(hù)共享和互操作數(shù)據(jù)的功能，采用SOA模式建立標(biāo)準(zhǔn)的元數(shù)據(jù)管理系統(tǒng)，對數(shù)據(jù)中心的各類數(shù)據(jù)進(jìn)行封裝，并采用WebServices模式提供數(shù)據(jù)訪問和維護(hù)接口。元數(shù)據(jù)接口提供將外部元數(shù)據(jù)系統(tǒng)映射到數(shù)據(jù)中心的內(nèi)部體系中的方法，并建立同構(gòu)關(guān)系，元數(shù)據(jù)管理系統(tǒng)的結(jié)構(gòu)包括6個組成部分。（1）基準(zhǔn)元數(shù)據(jù)系統(tǒng)。是指某個數(shù)字校園標(biāo)準(zhǔn)的元數(shù)據(jù)系統(tǒng)。它的作用是：作為基準(zhǔn)元數(shù)據(jù)，組織標(biāo)識數(shù)字校園中的數(shù)字化信息資源；以標(biāo)準(zhǔn)形式描述用戶的查詢提問；為各種網(wǎng)絡(luò)信息發(fā)掘工具提供數(shù)字化信息。（2）元數(shù)據(jù)字典。是一種用于各種元數(shù)據(jù)體系到系統(tǒng)基準(zhǔn)元數(shù)據(jù)系統(tǒng)相互轉(zhuǎn)換的對照表，它描述了各種元數(shù)據(jù)的基本特征，構(gòu)建了各種元數(shù)據(jù)與基準(zhǔn)元數(shù)據(jù)系統(tǒng)的對應(yīng)關(guān)系。其基本作用是為系統(tǒng)的轉(zhuǎn)換模塊提供轉(zhuǎn)換依據(jù)。（3）數(shù)據(jù)屬性集。是指數(shù)字校園存儲數(shù)據(jù)的屬性總和。元數(shù)據(jù)管理系統(tǒng)可通過數(shù)據(jù)屬性集將數(shù)字校園的數(shù)據(jù)結(jié)構(gòu)和基準(zhǔn)元數(shù)據(jù)相對照，保障它們之間的可互換性。（4）數(shù)字化信息資源集。它描述的對象是信息源。數(shù)字校園可以通過信息源特征集來確定個信息源所采用的元數(shù)據(jù)體系，將用基準(zhǔn)元數(shù)據(jù)表達(dá)的查詢式轉(zhuǎn)換成各個信息源所采用的元數(shù)據(jù)表達(dá)式，從而決定各個信息源的檢索方法并解釋檢索結(jié)構(gòu)。（5）轉(zhuǎn)換模塊。提供了實現(xiàn)各種元數(shù)據(jù)之間相互轉(zhuǎn)換、翻譯的方法。（6）維護(hù)模塊。可以對各種對照表進(jìn)行添加、刪除、修改等動態(tài)管理，保證元數(shù)據(jù)系統(tǒng)的可擴(kuò)展性和可維護(hù)性。（7）一卡通系統(tǒng)對應(yīng)的共享數(shù)據(jù)服務(wù)平臺：數(shù)據(jù)由一卡通應(yīng)用產(chǎn)生，同時為全校用戶提供一卡通系統(tǒng)的查詢及相關(guān)服務(wù)，平臺提供與一卡通系統(tǒng)的接口。數(shù)據(jù)導(dǎo)入導(dǎo)出數(shù)據(jù)中心的導(dǎo)入導(dǎo)出工具解決非結(jié)構(gòu)化與數(shù)據(jù)中心的交互，用戶可以根據(jù)授權(quán)把異構(gòu)的數(shù)據(jù)（Excel、DBF格式）導(dǎo)入到數(shù)據(jù)中心，用戶也可以根據(jù)授權(quán)把數(shù)據(jù)中心中的數(shù)據(jù)導(dǎo)出成非結(jié)構(gòu)化或桌面數(shù)據(jù)庫格式，再對導(dǎo)出的數(shù)據(jù)分析整理成業(yè)務(wù)需要的數(shù)據(jù)、報表等。《圖導(dǎo)入導(dǎo)出邏輯圖》《圖導(dǎo)入導(dǎo)出工具使用界面》數(shù)據(jù)源適配器提供異構(gòu)數(shù)據(jù)源的適配器：支持結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)源；支持Informix、Sybase、Oracle、MSSQLServer、ODBC、OLEDB、JDBC、Native數(shù)據(jù)源；WebServices、XML、消息隊列數(shù)據(jù)源。（我校目前現(xiàn)有的業(yè)務(wù)子系統(tǒng)基于的數(shù)據(jù)庫管理系統(tǒng)有Oracle、DB2、SQLServer、Mysql、Sybase等，且應(yīng)用運(yùn)行的操作系統(tǒng)也各不相同，有AIX、Solaris、Windows、linux等。）數(shù)據(jù)交換應(yīng)具有靈活的方式與多種交換觸發(fā)機(jī)制，能同步或異步方式實現(xiàn)數(shù)據(jù)的交換及推送，并保證各應(yīng)用系統(tǒng)交換和共享的各種數(shù)據(jù)的一致性、準(zhǔn)確性；實現(xiàn)原理如下圖所示：數(shù)據(jù)同步工具數(shù)據(jù)交換平臺數(shù)據(jù)同步工具采用DXP系統(tǒng)，DXP是一款專業(yè)化數(shù)據(jù)庫轉(zhuǎn)換工具，可以在多種數(shù)據(jù)庫之間進(jìn)行相互數(shù)據(jù)轉(zhuǎn)換，在數(shù)據(jù)轉(zhuǎn)換過程的各個環(huán)節(jié)可用通過數(shù)據(jù)計算功能，實現(xiàn)高效、復(fù)雜的數(shù)據(jù)計算、轉(zhuǎn)換功能。能充分讀取關(guān)系數(shù)據(jù)庫中的數(shù)據(jù)和您機(jī)器中的各種格式的數(shù)據(jù)，DXP提供圖形化的轉(zhuǎn)換過程設(shè)計功能，您無需掌握任何數(shù)據(jù)庫方面的技能，只需可以通過簡單的配置，就可以實現(xiàn)您所需要的轉(zhuǎn)換功能。如果您是數(shù)據(jù)庫管理員，您可以：將分散在各個地方的文件數(shù)據(jù)或其它關(guān)系數(shù)據(jù)庫的數(shù)據(jù)，集中轉(zhuǎn)換到您所需要的數(shù)據(jù)庫中。如果您是野外數(shù)據(jù)采集員，您可以：將您野外計算機(jī)中的數(shù)據(jù)，實時的轉(zhuǎn)換、傳輸?shù)娇偛繑?shù)據(jù)庫中。如果您是網(wǎng)站管理員，您可以將主機(jī)上的數(shù)據(jù)庫數(shù)據(jù)下載到本地，也可以將本地的數(shù)據(jù)上傳到遠(yuǎn)程數(shù)據(jù)庫中。如果您是臨時數(shù)據(jù)使用用戶，您可以：將數(shù)據(jù)庫中的數(shù)據(jù)轉(zhuǎn)換成Word、Excel、PDF、Lotus、等各種格式的文件，總之，您如果遇到了在不同系統(tǒng)之間的數(shù)據(jù)交換或轉(zhuǎn)換的工作時，DXP可以幫助您輕松的實現(xiàn)您的工作要求。支持實時數(shù)據(jù)交換和批量定時數(shù)據(jù)交換；支持全表和增量兩種交換方式；數(shù)據(jù)交換不影響應(yīng)用系統(tǒng)的正常運(yùn)行；支持大對象數(shù)據(jù)的交換和文件交換；支持的數(shù)據(jù)庫介紹支持的數(shù)據(jù)庫類型DXP支持多種大中型的關(guān)系數(shù)據(jù)庫系統(tǒng)、單機(jī)文件型數(shù)據(jù)庫、多種格式的電子文件。按照讀取和寫入類型，DXP支持以下的數(shù)據(jù)類型：讀取數(shù)據(jù)：Oracle、SYBASE、DB2、SQLServer、Informix、Interbase、Accesse、MySQL、dbf、Foxpro、Paradox、Textfile(*.txt)。寫入數(shù)據(jù)：Oracle、SYBASE、DB2、SQLServer、Informix、Interbase、Accesse、MySQL、dbf、Foxpro、Paradox、Textfile(*.txt)、HTMLfile(*.htm)、Excelspreadsheet(*.xls)、SYLK(SymbolicLink)(*.slk)、DIF(DataInterchangeFormat)(*.dif)、Lotus1-2-3file(*.wk1)、QuattroProfile(*.wq1)、XMLfile(*.xml)、RichTextformat(*.rtf)、SPSSformat(*.sav)、AdobeAcrobatDocument(*.pdf)、LDAP/LightweightDataInterchangeFormat(*.ldif)。訪問各種類型數(shù)據(jù)庫和電子文件的方式在DXP中，可以通過內(nèi)置的多種數(shù)據(jù)對象，來訪問各種數(shù)據(jù)庫和電子文檔。下表，時對各種類型數(shù)據(jù)的連接方式、所需要的支持環(huán)境信息：訪問類型（數(shù)據(jù)對象），請參考【主要對象介紹】-【數(shù)據(jù)對象數(shù)據(jù)對象】一節(jié)數(shù)據(jù)庫或電子文件訪問類型（數(shù)據(jù)對象）所需支持環(huán)境主要對象介紹Introductionofmainob