商業(yè)銀行數(shù)據(jù)服務(wù)平臺(tái)功能優(yōu)化項(xiàng)目實(shí)施總體方案說明書

商業(yè)銀行數(shù)據(jù)服務(wù)平臺(tái)功能優(yōu)化項(xiàng)目實(shí)施總體方案說明書PAGEPAGE17保密信息商業(yè)銀行數(shù)據(jù)服務(wù)平臺(tái)功能優(yōu)化項(xiàng)目實(shí)施總體方案說明書

目錄TOC\o"1-7"\h\z\u第1章概述 21.1.項(xiàng)目背景 21.2.項(xiàng)目目標(biāo) 21.3.項(xiàng)目建設(shè)原則 3第2章總體架構(gòu)方案 42.1.規(guī)劃藍(lán)圖 42.2.統(tǒng)一命名規(guī)范 62.3.本期項(xiàng)目總體架構(gòu) 82.3.1.邏輯架構(gòu) 82.3.2.數(shù)據(jù)架構(gòu) 92.3.3.技術(shù)架構(gòu) 102.3.4.物理架構(gòu) 112.3.5.運(yùn)維架構(gòu) 122.4.ODS模型方案 132.5.統(tǒng)一調(diào)度監(jiān)控方案 142.6.統(tǒng)一數(shù)據(jù)交換 152.7.歷史數(shù)據(jù)存儲(chǔ)方案 152.8.備份與恢復(fù)設(shè)計(jì) 16

概述項(xiàng)目背景商業(yè)銀行的數(shù)據(jù)服務(wù)平臺(tái)上線已久。正在運(yùn)行中數(shù)據(jù)服務(wù)平臺(tái)，已經(jīng)將商業(yè)銀行綜合業(yè)務(wù)系統(tǒng)等25個(gè)業(yè)務(wù)系統(tǒng)，近700多張表的重要業(yè)務(wù)數(shù)據(jù)進(jìn)行了抽取和轉(zhuǎn)換，并提供給上層應(yīng)用。除現(xiàn)有已納入的數(shù)據(jù)源之外，隨著經(jīng)營管理的需要，目前每個(gè)月底都有新數(shù)據(jù)源陸續(xù)增加到數(shù)據(jù)服務(wù)平臺(tái)中。數(shù)據(jù)平臺(tái)已經(jīng)成為所有分析應(yīng)用系統(tǒng)的基礎(chǔ)，在眾多的業(yè)務(wù)系統(tǒng)與分析系統(tǒng)間起到了重要的橋梁和紐帶作用，為上層應(yīng)用分析系統(tǒng)提供著源源不斷的數(shù)據(jù)支持。目前，隨著數(shù)據(jù)平臺(tái)上層分析應(yīng)用系統(tǒng)項(xiàng)目的改造與新增，參與相關(guān)實(shí)施的項(xiàng)目組沒有統(tǒng)一命名規(guī)范、開發(fā)規(guī)范，在投產(chǎn)和運(yùn)行中時(shí)有，對(duì)系統(tǒng)的軟硬件資源的爭搶和阻塞沖突時(shí)有發(fā)生，且由于各項(xiàng)目組數(shù)據(jù)模型分層及命名不統(tǒng)一，造成日常運(yùn)維及故障定位不便。當(dāng)前商業(yè)銀行的數(shù)據(jù)標(biāo)準(zhǔn)與EDW咨詢項(xiàng)目已經(jīng)啟動(dòng)，在對(duì)全行業(yè)務(wù)系統(tǒng)數(shù)據(jù)梳理的同時(shí)，制定和規(guī)劃著全行的數(shù)據(jù)標(biāo)準(zhǔn)以及企業(yè)級(jí)基礎(chǔ)數(shù)據(jù)平臺(tái)，EDW實(shí)施在即。著眼未來，現(xiàn)有數(shù)據(jù)平臺(tái)的ODS在架構(gòu)規(guī)劃與功能定位上應(yīng)結(jié)合數(shù)據(jù)標(biāo)準(zhǔn)與EDW咨詢項(xiàng)目，在統(tǒng)籌兼顧的前提下明確本項(xiàng)目的分工，保證本期項(xiàng)目的實(shí)施范圍可控，共同從全行數(shù)據(jù)的加工、流轉(zhuǎn)、存儲(chǔ)、使用上考慮周全，進(jìn)一步趨于合理化。這樣既有利于現(xiàn)有上層應(yīng)用分析系統(tǒng)持續(xù)提供服務(wù)，又有利于后期企業(yè)級(jí)基礎(chǔ)數(shù)據(jù)平臺(tái)的建設(shè)。項(xiàng)目目標(biāo)針對(duì)目前數(shù)據(jù)服務(wù)平臺(tái)ODS進(jìn)行功能優(yōu)化，實(shí)現(xiàn)以下目標(biāo)：結(jié)合數(shù)據(jù)標(biāo)準(zhǔn)與EDW咨詢，在企業(yè)級(jí)基礎(chǔ)數(shù)據(jù)平臺(tái)架構(gòu)下，配合稍后即將建設(shè)的EDW，保證現(xiàn)有數(shù)據(jù)平臺(tái)之上的應(yīng)用分析系統(tǒng)持續(xù)服務(wù)的前提下，規(guī)劃ODS新架構(gòu)、制定ODS統(tǒng)一命名規(guī)范、開發(fā)規(guī)范、測試規(guī)范、數(shù)據(jù)交換規(guī)范、歷史數(shù)據(jù)存儲(chǔ)規(guī)范，并逐步物理落地。對(duì)ODS模型進(jìn)行分層，新層次由ODS技術(shù)緩沖層、ODS基礎(chǔ)層、ODS共性加工層、ODS應(yīng)用集市層組成，使設(shè)計(jì)、開發(fā)、測試、數(shù)據(jù)使用、運(yùn)維等過程的清晰明朗；增加統(tǒng)一數(shù)據(jù)交換，減少數(shù)據(jù)重復(fù)抽取對(duì)源系統(tǒng)、網(wǎng)絡(luò)、運(yùn)維、存儲(chǔ)的壓力，減少重復(fù)開發(fā)，降低各系統(tǒng)間耦合度；增加歷史數(shù)據(jù)存儲(chǔ)，改善目前應(yīng)用系統(tǒng)，分析、設(shè)計(jì)、開發(fā)、測試階段樣本數(shù)據(jù)獲取困難，以及系統(tǒng)出故障后長時(shí)間追數(shù)的現(xiàn)狀；改造統(tǒng)一調(diào)度監(jiān)控，使之效率更高、操作更便捷，更人性化；對(duì)現(xiàn)有系統(tǒng)進(jìn)行整體優(yōu)化，提高運(yùn)行效率，使現(xiàn)有數(shù)據(jù)平臺(tái)在優(yōu)化改造后，現(xiàn)有應(yīng)用分析系統(tǒng)可持續(xù)使用，與EDW及各應(yīng)用分析系統(tǒng)在架構(gòu)，數(shù)據(jù)的加工、流轉(zhuǎn)、使用上合理融合，改善運(yùn)維操作；為EDW的實(shí)施及上線做好數(shù)據(jù)積累及投產(chǎn)后持續(xù)供數(shù)能力。通過本項(xiàng)目方案的實(shí)施，最終實(shí)現(xiàn)靈活、高效的基礎(chǔ)數(shù)據(jù)服務(wù)平臺(tái)，最好的為業(yè)務(wù)人員提供完善的數(shù)據(jù)服務(wù)。項(xiàng)目建設(shè)原則本項(xiàng)目方案設(shè)計(jì)、建設(shè)原則將體現(xiàn)在規(guī)范性、開放性、先進(jìn)性、實(shí)用性、可靠性、擴(kuò)展性、安全性、軟件開發(fā)管理八個(gè)方面，使得有限的資源以較有效的協(xié)作方式共同發(fā)揮效用。

總體架構(gòu)方案規(guī)劃藍(lán)圖本次優(yōu)化綜合數(shù)據(jù)平臺(tái)問題現(xiàn)狀，結(jié)合商業(yè)銀行數(shù)據(jù)標(biāo)準(zhǔn)及EDW咨詢項(xiàng)目，從企業(yè)級(jí)基礎(chǔ)數(shù)據(jù)平臺(tái)規(guī)劃出發(fā)，本著想大做小的原則具體規(guī)劃本次ODS優(yōu)化的范圍，以及后續(xù)部分的分步實(shí)施路線。此總體架構(gòu)方案將由統(tǒng)一數(shù)據(jù)交換、通用文件傳輸、ODS、EDW、集成信息服務(wù)、歷史數(shù)據(jù)存儲(chǔ)、統(tǒng)一調(diào)度監(jiān)控管理、統(tǒng)一數(shù)據(jù)管控8個(gè)部分組成。統(tǒng)一數(shù)據(jù)交換負(fù)責(zé)整個(gè)企業(yè)級(jí)基礎(chǔ)數(shù)據(jù)平臺(tái)內(nèi)部、以及基礎(chǔ)數(shù)據(jù)平臺(tái)與其上、下游系統(tǒng)之間的數(shù)據(jù)傳遞交換，是基礎(chǔ)數(shù)據(jù)平臺(tái)對(duì)外數(shù)據(jù)交換的唯一出口；主要以數(shù)據(jù)文件形式為載體實(shí)現(xiàn)數(shù)據(jù)交換，也包括庫對(duì)庫的直接接入和接出；同時(shí)還會(huì)以數(shù)據(jù)文件形式保留近期的數(shù)據(jù)，并可以基于數(shù)據(jù)文件進(jìn)行簡單的加工；當(dāng)數(shù)據(jù)以文件形式對(duì)外進(jìn)行數(shù)據(jù)交換時(shí)，將通過通用文件傳輸子系統(tǒng)對(duì)外傳輸。通用文件傳輸負(fù)責(zé)整個(gè)基礎(chǔ)數(shù)據(jù)平臺(tái)對(duì)外進(jìn)行文件型數(shù)據(jù)的傳輸，文件型數(shù)據(jù)統(tǒng)一將從統(tǒng)一數(shù)據(jù)交換的存儲(chǔ)區(qū)經(jīng)由通用文件傳輸進(jìn)行加密、壓縮等處理，傳輸?shù)浇邮辗降臄?shù)據(jù)文件服務(wù)器，然后再解密、解壓恢復(fù)成可以直接使用的數(shù)據(jù)文件。按照目前商業(yè)銀行的規(guī)劃，類似系統(tǒng)正在籌劃和開發(fā)建設(shè)中。ODSODS是以數(shù)據(jù)庫的形式存在的一個(gè)數(shù)據(jù)集成區(qū)，偏源結(jié)構(gòu)建模，適合于數(shù)據(jù)整合度較低、時(shí)效性要求較高、且又不適合基于簡單的數(shù)據(jù)文件進(jìn)行加工而獲得的應(yīng)用；可以以開放數(shù)據(jù)庫直接訪問的形式對(duì)外提供服務(wù)，也可以直接將數(shù)據(jù)交換給下游應(yīng)用自己的數(shù)據(jù)存儲(chǔ)，如是后者，則交由統(tǒng)一數(shù)據(jù)交換完成并作為唯一出口；按照整體規(guī)劃，ODS子系統(tǒng)將包含ODS數(shù)據(jù)存儲(chǔ)模塊、ODS處理模塊兩部分，而其中ODS數(shù)據(jù)存儲(chǔ)模塊又包括ODS技術(shù)緩沖層、ODS近源模型層(ODS基礎(chǔ)層)、ODS共性加工層和ODS應(yīng)用集市層，是整個(gè)基礎(chǔ)數(shù)據(jù)平臺(tái)的其中一個(gè)對(duì)外提供數(shù)據(jù)服務(wù)的核心，而ODS處理模塊則主要是將針對(duì)各數(shù)據(jù)層中的數(shù)據(jù)庫表進(jìn)行數(shù)據(jù)加工轉(zhuǎn)換處理，并交由統(tǒng)一調(diào)度監(jiān)控子系統(tǒng)進(jìn)行統(tǒng)一調(diào)度。EDWEDW(數(shù)據(jù)倉庫)是以數(shù)據(jù)庫的形式存在的一個(gè)數(shù)據(jù)整合區(qū)，主題模型化建模，適合一些數(shù)據(jù)整合度較高的應(yīng)用；可以以開放數(shù)據(jù)庫直接訪問的形式對(duì)外提供服務(wù)，也可以導(dǎo)出數(shù)據(jù)文件提供給下游應(yīng)用，如是后者，也將交由統(tǒng)一數(shù)據(jù)交換完成并作為唯一出口；按照整體規(guī)劃，EDW子系統(tǒng)將包含EDW數(shù)據(jù)存儲(chǔ)模塊、EDW處理模塊兩部分，而其中EDW數(shù)據(jù)存儲(chǔ)模塊又包括EDW技術(shù)緩沖層、EDW整合模型層(EDW基礎(chǔ)層)、EDW共性加工層和EDW應(yīng)用集市層，是整個(gè)基礎(chǔ)數(shù)據(jù)平臺(tái)的另一個(gè)對(duì)外提供數(shù)據(jù)服務(wù)的核心，而EDW處理模塊則主要是將針對(duì)各數(shù)據(jù)層中的數(shù)據(jù)庫表進(jìn)行數(shù)據(jù)加工轉(zhuǎn)換處理，并交由統(tǒng)一調(diào)度監(jiān)控子系統(tǒng)進(jìn)行統(tǒng)一調(diào)度。集成信息服務(wù)集成信息服務(wù)是整個(gè)數(shù)據(jù)平臺(tái)中，以數(shù)據(jù)庫形式對(duì)外提供服務(wù)的唯一發(fā)布窗口，集成信息服務(wù)將EDW和ODS中可以對(duì)外提供查詢服務(wù)的數(shù)據(jù)配合權(quán)限設(shè)定發(fā)布出來，以供業(yè)務(wù)部門用戶根據(jù)自己的需求進(jìn)行隨機(jī)查詢。歷史數(shù)據(jù)存儲(chǔ)歷史數(shù)據(jù)存儲(chǔ)將主要負(fù)責(zé)存儲(chǔ)超出統(tǒng)一數(shù)據(jù)交換、ODS、EDW三個(gè)子系統(tǒng)各自生命周期的遠(yuǎn)期歷史數(shù)據(jù)，便于較遠(yuǎn)期歷史數(shù)據(jù)的檢索和查詢，同時(shí)降低存儲(chǔ)成本；歷史數(shù)據(jù)存儲(chǔ)可以采用多種不同的方式進(jìn)行混合存儲(chǔ)，包括容價(jià)比比較便宜的數(shù)據(jù)庫、文件形式數(shù)據(jù)、以及帶庫離線存儲(chǔ)等。統(tǒng)一調(diào)度監(jiān)控負(fù)責(zé)整個(gè)基礎(chǔ)數(shù)據(jù)平臺(tái)所有數(shù)據(jù)加工、傳輸任務(wù)的統(tǒng)一調(diào)度和監(jiān)控，包括統(tǒng)一數(shù)據(jù)交換的作業(yè)、ODS的作業(yè)、EDW的作業(yè)等，均由統(tǒng)一調(diào)度監(jiān)控進(jìn)行統(tǒng)一管理。統(tǒng)一數(shù)據(jù)管控主要實(shí)現(xiàn)整個(gè)數(shù)據(jù)平臺(tái)的數(shù)據(jù)管理功能，包括元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、以及代碼標(biāo)準(zhǔn)化的管理。規(guī)劃中的企業(yè)級(jí)基礎(chǔ)數(shù)據(jù)平臺(tái)不僅能向集中式的下游應(yīng)用提供數(shù)據(jù)支持，也能夠?qū)崿F(xiàn)對(duì)分行的數(shù)據(jù)分發(fā)和數(shù)據(jù)發(fā)布。按此規(guī)劃，基礎(chǔ)數(shù)據(jù)平臺(tái)將成為全行唯一的BI系統(tǒng)數(shù)據(jù)的來源和供應(yīng)方，對(duì)外提供數(shù)據(jù)服務(wù)的將有4個(gè)部分：即統(tǒng)一數(shù)據(jù)交換、ODS、EDW和歷史數(shù)據(jù)存儲(chǔ)。統(tǒng)一命名規(guī)范對(duì)于規(guī)劃藍(lán)圖中各部分將采用統(tǒng)一命名規(guī)范：簡稱英文名稱中文名稱HDSHistoryDataStore歷史數(shù)據(jù)存儲(chǔ)ODSOperationalDataStoreODSEDWEnterpriseDataWarehouseEDWUDEUnitiveDataExchange統(tǒng)一數(shù)據(jù)交換USMUnitiveSchedulerAndMonitor統(tǒng)一調(diào)度監(jiān)控UDGUnitiveDataGovernance統(tǒng)一數(shù)據(jù)管控UFTUnitiveFileTransfer通用文件傳輸服務(wù)OTLODSTechnologyBufferLayerODS技術(shù)緩沖層OMLODSModelLayerODS基礎(chǔ)層(近源模型層)OCLODSCommonMachiningLayerODS共性加工層ODL_XXXODSData-martLayer(其中XXX為具體集市的3位縮寫名)ODS應(yīng)用集市層ITLEDWTechnologyBufferLayerEDW技術(shù)緩沖層IMLEDWModelLayer/IntegratedModelLayer因?yàn)镋DW采用整合模型,所以EDW各層均采用I開頭)EDW基礎(chǔ)層(整合模型層)ICLEDWCommonMachiningLayerEDW共性加工層IDL_XXXEDWData-martLayer(其中XXX為具體集市的3位縮寫名)EDW應(yīng)用集市層URLUDERawLayer統(tǒng)一數(shù)據(jù)交換原始層USLUDEStandardLayer統(tǒng)一數(shù)據(jù)交換標(biāo)準(zhǔn)層UPLUDEProcessLayer統(tǒng)一數(shù)據(jù)交換加工層本期項(xiàng)目總體架構(gòu)邏輯架構(gòu)在邏輯架構(gòu)中，本次ODS優(yōu)化項(xiàng)目涉及規(guī)劃藍(lán)圖中的ODS、統(tǒng)一數(shù)據(jù)交換、歷史數(shù)據(jù)存儲(chǔ)和統(tǒng)一調(diào)度監(jiān)控4個(gè)部分。數(shù)據(jù)架構(gòu)本次ODS優(yōu)化項(xiàng)目中將涉及統(tǒng)一數(shù)據(jù)交換、ODS、歷史數(shù)據(jù)存儲(chǔ)三個(gè)子系統(tǒng)中的數(shù)據(jù)流轉(zhuǎn)及數(shù)據(jù)存儲(chǔ)。技術(shù)架構(gòu)技術(shù)架構(gòu)說明如下：統(tǒng)一數(shù)據(jù)交換文件存儲(chǔ)模塊：采用符合行內(nèi)規(guī)范的共享存儲(chǔ)設(shè)備。文件處理模塊：采用DataStage。ODS區(qū)：采用IBMDB2數(shù)據(jù)庫。歷史數(shù)據(jù)存儲(chǔ)：采用符合行內(nèi)規(guī)范的共享存儲(chǔ)設(shè)備+磁帶庫方式。統(tǒng)一調(diào)度監(jiān)控：采用ETLPLUS調(diào)度監(jiān)控工具實(shí)現(xiàn)。物理架構(gòu)針對(duì)上述物理設(shè)備的邏輯化架構(gòu)圖分解如下：運(yùn)維架構(gòu)運(yùn)維架構(gòu)包含兩個(gè)層面的內(nèi)容，一是運(yùn)維管理團(tuán)隊(duì)及規(guī)章制度，即需要建立運(yùn)維管理團(tuán)隊(duì)，詳細(xì)制定運(yùn)維管理團(tuán)隊(duì)中的角色及職能，制定規(guī)范審核機(jī)制，對(duì)團(tuán)隊(duì)人中進(jìn)行規(guī)范培訓(xùn)，并設(shè)立專門角色對(duì)規(guī)范的執(zhí)行情況進(jìn)行監(jiān)督；二則是具體的運(yùn)維管理的流程閉環(huán)，即從日常運(yùn)維管理，到服務(wù)基線管理，再到系統(tǒng)性能工藝優(yōu)化，最后到設(shè)備容量管理直至系統(tǒng)擴(kuò)容，然后重新開始新一輪的日常運(yùn)維管理、性能優(yōu)化、直至新一輪擴(kuò)容，系統(tǒng)將一直處于這種運(yùn)維管理閉環(huán)中。ODS模型方案ODS數(shù)據(jù)存儲(chǔ)模塊主要以數(shù)據(jù)庫的形式來存儲(chǔ)數(shù)據(jù)，所以數(shù)據(jù)庫中的數(shù)據(jù)模型在基礎(chǔ)數(shù)據(jù)平臺(tái)的建設(shè)中具有非常重要的作用，是建設(shè)基礎(chǔ)數(shù)據(jù)平臺(tái)的核心基礎(chǔ)，一個(gè)好的、