ODS在金融行業(yè)的應(yīng)用

1、ODS在金融行業(yè)的應(yīng)用ODS項(xiàng)目組什么是ODS？ODS(Operational Data Store)操作型數(shù)據(jù)存儲(chǔ)，對(duì)于一些準(zhǔn)實(shí)時(shí)業(yè)務(wù)數(shù)據(jù)庫(kù)當(dāng)中的數(shù)據(jù)的暫時(shí)存儲(chǔ)，支持一些同時(shí)關(guān)聯(lián)到歷史數(shù)據(jù)與實(shí)時(shí)數(shù)據(jù)分析的數(shù)據(jù)暫時(shí)存儲(chǔ)區(qū)域。ODS 是一個(gè)集成了來自不同操作數(shù)據(jù)庫(kù)數(shù)據(jù)的環(huán)境，其目的是為終端用戶提供一致的企業(yè)數(shù)據(jù)集成視圖。例如，目前中國(guó)建設(shè)銀行內(nèi)部有很多系統(tǒng)：核心業(yè)務(wù)系統(tǒng)CCBS、信貸管理系統(tǒng)CMIS、個(gè)貸系統(tǒng)PLS、外匯資金系統(tǒng)OPICS、抵債系統(tǒng)DMAMIS、總帳系統(tǒng)GLMIS等等，他們之間的信息有重疊和不一致存在，如客戶資料、客戶所對(duì)應(yīng)的業(yè)務(wù)信息等，如何綜合應(yīng)用這些數(shù)據(jù)，首要任務(wù)就是進(jìn)行數(shù)據(jù)

2、整合，ODS的特點(diǎn)恰恰可以解決這個(gè)問題，而且ODS的出現(xiàn)，也正是因?yàn)橛辛诉@種需求的存在。中國(guó)建設(shè)銀行ODS采用統(tǒng)一的數(shù)據(jù)模型，保存全行標(biāo)準(zhǔn)化全量數(shù)據(jù)、短期(30-60天)的明細(xì)/流水?dāng)?shù)據(jù)，屏蔽目標(biāo)系統(tǒng)對(duì)源系統(tǒng)的數(shù)據(jù)需求，滿足DW&MIS、ERP、APMIS、NARMIS、CCMIS等分析系統(tǒng)的數(shù)據(jù)交換需求。ODS在商業(yè)智能中扮演什么角色？金融行業(yè)的ODS提供了一個(gè)統(tǒng)一的標(biāo)準(zhǔn)數(shù)據(jù)平臺(tái)，基于ODS平臺(tái)的數(shù)據(jù)交換，為金融行業(yè)的數(shù)據(jù)倉(cāng)庫(kù)以及各數(shù)據(jù)分析系統(tǒng)提供所需的源數(shù)據(jù)。ODS有如下優(yōu)勢(shì)：1.組織機(jī)構(gòu)可以獲得他們業(yè)務(wù)分析和客戶交易的完整視圖，有利于更好地了解客戶和做出統(tǒng)觀全局的商業(yè)決策。2.O

3、DS能以較高的性能生成操作報(bào)告，并實(shí)時(shí)或近實(shí)時(shí)地查詢產(chǎn)品及服務(wù)相關(guān)的數(shù)據(jù)。3.它提供一個(gè)平臺(tái)，可以集中共享不同應(yīng)用軟件系統(tǒng)數(shù)據(jù);一種方式是應(yīng)用軟件直接訪問ODS中的數(shù)據(jù);另一種方式則可從ODS中將數(shù)據(jù)變化復(fù)制到現(xiàn)有系統(tǒng)的數(shù)據(jù)庫(kù)中。4.由于部分集成數(shù)據(jù)已駐留在ODS中，因而ODS可縮短遷移DW所需的時(shí)間。5.ODS可幫助集成現(xiàn)有新型系統(tǒng)。上圖所示，中國(guó)建設(shè)銀行ODS，通過ETL從CCBS、CMIS、PLS等源系統(tǒng)提取業(yè)務(wù)、管理數(shù)據(jù)，并經(jīng)過標(biāo)準(zhǔn)化處理（公用代碼標(biāo)準(zhǔn)化、數(shù)據(jù)類型標(biāo)準(zhǔn)化、數(shù)據(jù)格式標(biāo)準(zhǔn)化以及客戶信息標(biāo)準(zhǔn)化），建立全行統(tǒng)一的標(biāo)準(zhǔn)化ODS數(shù)據(jù)模型ODSDB。ODS平臺(tái)按照需求定期向DW以及其

4、他管理系統(tǒng)ERP、APMIS等提供全量、增量數(shù)據(jù)；DW對(duì)ODS提供的數(shù)據(jù)進(jìn)行整合、加工和分析，建立面向主題的、集成的、與時(shí)間相關(guān)的、不可修改的數(shù)據(jù)集合，滿足建行的企業(yè)管理、決策需要。如何實(shí)現(xiàn)ODS？ 首先，需要建立一個(gè)統(tǒng)一的ODS數(shù)據(jù)模型。這個(gè)模型必須涵蓋所有需要整合應(yīng)用系統(tǒng)內(nèi)的信息，該數(shù)據(jù)模型一般不需要保留歷史信息，只需要保留當(dāng)前的信息（而DW中需要保存每一個(gè)修改的歷史記錄）。例如，目前建行ODS整合了11個(gè)源系統(tǒng)的信息，ODS模型保存了全行當(dāng)前的全量數(shù)據(jù)以及短期的明細(xì)/流水信息，對(duì)于歷史數(shù)據(jù)進(jìn)行了必要的備份，保證數(shù)據(jù)的可回溯性。建行ODS模型基本沿用了被整合系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)，只對(duì)客戶模型進(jìn)行

5、了整合，建立了統(tǒng)一的客戶模型。 其次，就是數(shù)據(jù)處理，主要包括數(shù)據(jù)導(dǎo)入以及數(shù)據(jù)導(dǎo)出。其中，數(shù)據(jù)的導(dǎo)入就是利用ETL，將源系統(tǒng)的數(shù)據(jù)通過extract（抽?。ransfer（轉(zhuǎn)換）、clean（清洗）和load（裝載）整合到ODS的統(tǒng)一模型中。數(shù)據(jù)的導(dǎo)出就是為DW等目標(biāo)系統(tǒng)提供提供經(jīng)過整合的數(shù)據(jù)。ETL在ODS中至關(guān)重要，它將影響數(shù)據(jù)模型的準(zhǔn)確性、完整性以及數(shù)據(jù)處理的效率，以下將結(jié)合中國(guó)建設(shè)銀行的ODS項(xiàng)目，著重討論ODS中ETL的實(shí)現(xiàn)。1ETL過程，可以利用數(shù)據(jù)庫(kù)系統(tǒng)、業(yè)務(wù)子系統(tǒng)工具自行開發(fā),或者購(gòu)買現(xiàn)成的ETL工具（如EAI、Informatic等廠商的ETL工具 ）。自行開發(fā)可以充分利用

6、子系統(tǒng)的優(yōu)化操作，提高數(shù)據(jù)處理效率，但是靈活性以及可拓展性欠佳；現(xiàn)成的ETL工具可以靈活定制數(shù)據(jù)處理流程、簡(jiǎn)化開發(fā)、縮短ETL方案實(shí)施周期，但是其處理效率較低、工具購(gòu)買成本較高。效率至上的指導(dǎo)方針，決定了建行ODS采用自行開發(fā)的方案。2ETL主要包括數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換/清洗、數(shù)據(jù)裝載以及數(shù)據(jù)統(tǒng)計(jì)管理四個(gè)模塊。數(shù)據(jù)抽取模塊，主要分為DB到DB以及DB到文件兩種方式，數(shù)據(jù)的抽取很大程度受到了數(shù)據(jù)源的影響，不同的數(shù)據(jù)庫(kù)需要開發(fā)不同的數(shù)據(jù)抽取程序，同一數(shù)據(jù)源需要考慮能夠靈活增加數(shù)據(jù)抽取的對(duì)象。數(shù)據(jù)轉(zhuǎn)換/清洗模塊，在ODS中主要是數(shù)據(jù)的標(biāo)準(zhǔn)化轉(zhuǎn)換,包括數(shù)據(jù)類型標(biāo)準(zhǔn)化、公共代碼標(biāo)準(zhǔn)化、數(shù)據(jù)映射轉(zhuǎn)換等，同時(shí)

7、需要考慮非法數(shù)據(jù)的清洗、檢核處理，該模塊包括文件中轉(zhuǎn)換清洗以及數(shù)據(jù)庫(kù)中轉(zhuǎn)換清洗兩種方式。數(shù)據(jù)裝載模塊，是整個(gè)ETL過程的效率瓶頸，這一部分可以利用數(shù)據(jù)庫(kù)的工具，例如ORACLE的sqlldr工具或者ORACLE 10g的數(shù)據(jù)泵，如何捕獲數(shù)據(jù)庫(kù)工具的異常是利用數(shù)據(jù)庫(kù)工具的關(guān)鍵。數(shù)據(jù)統(tǒng)計(jì)管理模塊，主要對(duì)ETL作業(yè)的監(jiān)控以及數(shù)據(jù)流的監(jiān)控，包括ETL各模塊作業(yè)處理的過程、結(jié)果，以及數(shù)據(jù)的完整性監(jiān)控等。3元數(shù)據(jù)管理，ETL過程需要通過元數(shù)據(jù)的管理來實(shí)現(xiàn)數(shù)據(jù)流程的監(jiān)控以及作業(yè)的靈活調(diào)度。需要定義：源數(shù)據(jù)結(jié)構(gòu)、目標(biāo)數(shù)據(jù)結(jié)構(gòu)、源和目標(biāo)的映射（包括定制映射的方案、定制映射調(diào)用的函數(shù)、定制清洗的方案）、作業(yè)處理日

8、志以及作業(yè)依賴關(guān)系。4異常處理，ETL異常主要包括：硬件、操作系統(tǒng)、網(wǎng)絡(luò)導(dǎo)致異常；數(shù)據(jù)源數(shù)據(jù)傳輸、質(zhì)量導(dǎo)致異常；ETL過程處理導(dǎo)致異常；目標(biāo)數(shù)據(jù)模型導(dǎo)致異常；人工干預(yù)導(dǎo)致異常等；處理方法包括：手工干預(yù)，重新調(diào)整ETL過程；終止流程，通知管理員；拒絕數(shù)據(jù)，記錄原因；清洗數(shù)據(jù)，部分入庫(kù)；監(jiān)控資源，反復(fù)嘗試。5作業(yè)調(diào)度、監(jiān)控，根據(jù)作業(yè)依賴關(guān)系的元數(shù)據(jù)進(jìn)行ETL作業(yè)的調(diào)度，并對(duì)執(zhí)行過程進(jìn)行監(jiān)控。作業(yè)調(diào)度需要包括以下功能：靈活啟停作業(yè)；根據(jù)日期規(guī)則設(shè)置作業(yè)執(zhí)行計(jì)劃；支持作業(yè)的并發(fā)執(zhí)行；允許作業(yè)網(wǎng)絡(luò)的嵌套；方便新增ETL作業(yè)。作業(yè)的監(jiān)控需要包括以下功能：監(jiān)控作業(yè)的當(dāng)前執(zhí)行情況；查詢作業(yè)歷史執(zhí)行情況。6其他考慮。job粒度：一個(gè)大的數(shù)據(jù)流動(dòng)才定為一個(gè)job，比如從接口到表，雖然經(jīng)過了轉(zhuǎn)換、清洗、裝載，但這個(gè)步驟都只為一個(gè)目的服務(wù)：將數(shù)據(jù)從接口裝入到表，因此可以定為一個(gè)job，而不是象常見的ETL工具，定為3個(gè)job，否則就割裂了之間的聯(lián)系，不便于描述數(shù)據(jù)流向。數(shù)據(jù)流圖：能夠結(jié)合元數(shù)據(jù)管理，對(duì)ETL過程的數(shù)據(jù)