總體架構(gòu)設(shè)計(jì)介紹講解

1、UDSF系統(tǒng)總體架構(gòu) q總體架構(gòu) q物理架構(gòu) q技術(shù)架構(gòu) q數(shù)據(jù)架構(gòu) 2 總體架構(gòu) 哈爾濱銀行數(shù)據(jù)應(yīng)用總體架構(gòu) 本期哈爾濱銀行數(shù)據(jù)應(yīng) 用平臺(tái)建設(shè)架構(gòu)規(guī)劃如 下： p數(shù)據(jù)采集平臺(tái)： T+1 數(shù)據(jù)采集、缺失數(shù)據(jù) 補(bǔ)錄 p數(shù)據(jù)整合平臺(tái)：基礎(chǔ) 數(shù)據(jù)層模型和加工數(shù) 據(jù)層模型，ETL管理 p數(shù)據(jù)推送平臺(tái)：數(shù)據(jù) 定制下載,數(shù)據(jù)接口 文件推送 p通用展現(xiàn)平臺(tái)：平臺(tái) 管理功能,經(jīng)營(yíng)分析 系統(tǒng),金融經(jīng)理考核 系統(tǒng),報(bào)表開(kāi)發(fā)功能 3 物理架構(gòu):網(wǎng)絡(luò)拓?fù)鋱D 物理架構(gòu)應(yīng)用服務(wù)器: 1)服務(wù)器 DB SERVER 2)服務(wù)器 ETL SERVER FILE SERVER WEB SERVER REPORT SERVER

2、說(shuō)明: ETL,WEB,FILE,REPORT目前 使用同一臺(tái)服務(wù)器,但其在邏輯 上是分離的,未來(lái)可以根據(jù)規(guī)劃 需要進(jìn)行物理分離. 待確認(rèn): 未來(lái)我行用戶(hù)使用哪個(gè)網(wǎng)段訪 問(wèn)應(yīng)用系統(tǒng)? 哈爾濱銀行數(shù)據(jù)應(yīng)用物理架構(gòu) 4 物理架構(gòu):服務(wù)器配置 應(yīng)用服務(wù)器軟硬件配置(推薦) 物理服務(wù)器服務(wù)器1服務(wù)器2 邏輯服務(wù)器DB ServerETL Server FILE Server WEB Server Report Server 硬件配置型號(hào)： CPU：8個(gè) 內(nèi)存：16G-32G 網(wǎng)卡：1kM Ethernet 存儲(chǔ)：2T 型號(hào)：PC SERVER CPU：4個(gè) 內(nèi)存：8G 網(wǎng)卡：2*1kM Etherne

3、t 存儲(chǔ)：500G 軟件配置操作系統(tǒng)：AIX 數(shù)據(jù)庫(kù)：DB2 操作系統(tǒng)：REDHAT LINUX App Server：IBM WebSphere 其它：宇誠(chéng)WFT,潤(rùn)乾報(bào)表 備注各邏輯服務(wù)器未來(lái)可以根據(jù)規(guī)劃需要進(jìn)行物理分 離 5 技術(shù)架構(gòu):前端應(yīng)用技術(shù) 宇誠(chéng)應(yīng)用門(mén)戶(hù)宇誠(chéng)應(yīng)用門(mén)戶(hù) 通用展現(xiàn)平臺(tái) J2EE技術(shù)體系 宇誠(chéng)宇誠(chéng)EMP 潤(rùn)乾報(bào)表潤(rùn)乾報(bào)表 平臺(tái)管理平臺(tái)管理金融經(jīng)理考核金融經(jīng)理考核經(jīng)營(yíng)分析經(jīng)營(yíng)分析 ETL監(jiān)控監(jiān)控?cái)?shù)據(jù)定制數(shù)據(jù)定制報(bào)表開(kāi)發(fā)報(bào)表開(kāi)發(fā)數(shù)據(jù)補(bǔ)錄數(shù)據(jù)補(bǔ)錄圖表開(kāi)發(fā)圖表開(kāi)發(fā)報(bào)表展示報(bào)表展示 6 技術(shù)架構(gòu):后端應(yīng)用技術(shù) UDSF ETL SHELL 數(shù)據(jù)采集數(shù)據(jù)采集 C C/S技術(shù)體系架構(gòu)

4、技術(shù)體系架構(gòu) 總控總控 PROCEDURE宇誠(chéng)宇誠(chéng)WFT 7 數(shù)據(jù)架構(gòu):數(shù)據(jù)源范圍 本期哈爾濱銀行數(shù)據(jù)應(yīng)用平臺(tái)整合數(shù)據(jù)源范圍如下： p核心系統(tǒng): 140張 p信貸系統(tǒng):23張張 p農(nóng)貸系統(tǒng):10張 p微貸系統(tǒng):20張 p中間業(yè)務(wù)系統(tǒng):26張 p國(guó)際業(yè)務(wù)系統(tǒng):13張 p卡前置(銀聯(lián)):2張 8 數(shù)據(jù)架構(gòu):數(shù)據(jù)分層 9 數(shù)據(jù)架構(gòu):數(shù)據(jù)層次說(shuō)明 q源數(shù)據(jù)層(ODM) n分為增量源數(shù)據(jù)(1日) /全量源數(shù)據(jù)兩部分. n結(jié)構(gòu)嚴(yán)格貼源,按系統(tǒng)劃分主題. n完成統(tǒng)一編碼標(biāo)準(zhǔn)化. q基礎(chǔ)數(shù)據(jù)層(FDM) n對(duì)數(shù)據(jù)源中的關(guān)鍵模型按邏輯主題進(jìn)行重組. n完成對(duì)不同系統(tǒng)數(shù)據(jù)模型的信息整合與計(jì)算,如客戶(hù)信息整合、賬戶(hù)

5、均值等. n為關(guān)鍵模型建立歷史變動(dòng)拉鏈與月底快照模型. q加工數(shù)據(jù)層(ADM) n應(yīng)用匯總指標(biāo)計(jì)算,如經(jīng)營(yíng)分析指標(biāo)庫(kù)等. n劃分主題的共性指標(biāo)分析, 貸款匯總統(tǒng)計(jì)模型等 q應(yīng)用集市層(MDM) n貼近應(yīng)用使用的數(shù)據(jù)模型,一般對(duì)應(yīng)前端一張報(bào)表. 10 數(shù)據(jù)架構(gòu):FDM主題劃分 11 數(shù)據(jù)架構(gòu):FDM賬戶(hù)主題 q主題說(shuō)明 n賬戶(hù)主題存放內(nèi)容為客戶(hù)持有我行產(chǎn)品所對(duì)應(yīng)的各類(lèi)賬戶(hù)信息. q二級(jí)主題 n存款 n貸款 n銀行卡 n債券. q數(shù)據(jù)源范圍 n核心(存款/貸款/債券） n信貸（貸款） n農(nóng)貸（貸款） n微貸.（貸款） 12 數(shù)據(jù)架構(gòu):FDM賬戶(hù)主題關(guān)鍵點(diǎn) q存款 n存款靜態(tài)表拆分對(duì)公對(duì)私，添加計(jì)算

6、賬戶(hù)余額、積數(shù). n賬戶(hù)款項(xiàng)關(guān)系表拆分對(duì)公對(duì)私，添加了關(guān)系的變動(dòng)日期. n活期/定期動(dòng)態(tài)表拆分對(duì)公對(duì)私，計(jì)算余額年/月積數(shù). q貸款 n貸款靜態(tài)表,動(dòng)態(tài)表信息整合（農(nóng)貸）,拆分對(duì)公對(duì)私,計(jì)算積數(shù),利息. n整合了分布在各個(gè)信貸系統(tǒng)中的賬戶(hù)屬性信息,如五級(jí)分類(lèi),四級(jí)分類(lèi)等. q銀行卡 n計(jì)算了對(duì)應(yīng)賬戶(hù)的余額,積數(shù). q債券 n計(jì)算了債券賬戶(hù)的余額積數(shù). 另外為賬戶(hù)主題的各模型建立了歷史變動(dòng)拉鏈,月底快照模型. 13 數(shù)據(jù)架構(gòu):FDM賬戶(hù)主題建設(shè)示例 14 數(shù)據(jù)架構(gòu):FDM客戶(hù)主題 q主題說(shuō)明 n客戶(hù)主題存放經(jīng)過(guò)UDSF平臺(tái)整合后客戶(hù)詳細(xì)信息. q二級(jí)主題 n公共信息 n個(gè)人客戶(hù) n對(duì)公客戶(hù) n補(bǔ)

7、充信息 q數(shù)據(jù)源范圍 n核心 n信貸 n農(nóng)貸 n微貸 n國(guó)際結(jié)算 15 數(shù)據(jù)架構(gòu):FDM客戶(hù)主題關(guān)鍵點(diǎn) q客戶(hù)信息整合 n對(duì)于分布在不同源系統(tǒng)中的客戶(hù)信息進(jìn)行整合. n區(qū)分對(duì)公對(duì)私客戶(hù)信息. n同類(lèi)信息的系統(tǒng)優(yōu)先順序?yàn)?信貸-核心-微貸-農(nóng)貸-國(guó)結(jié). q客戶(hù)合并 n外圍系統(tǒng)客戶(hù)向核心對(duì)照識(shí)別同一客戶(hù),無(wú)法識(shí)別的生成新的客戶(hù)編碼. n個(gè)人客戶(hù)識(shí)別規(guī)則:證件類(lèi)型+證件號(hào)碼+姓名. n對(duì)公客戶(hù)識(shí)別規(guī)則:營(yíng)業(yè)執(zhí)照號(hào)+名稱(chēng). n兼顧核心系統(tǒng)客戶(hù)合并處理. q客戶(hù)關(guān)聯(lián)關(guān)系 n建立平臺(tái)客戶(hù)編碼與源系統(tǒng)客戶(hù)編碼關(guān)系索引. n建立平臺(tái)客戶(hù)編碼與各類(lèi)賬戶(hù)的關(guān)聯(lián)關(guān)系索引. 另外為各客戶(hù)主題模型建立了歷史變動(dòng)拉鏈模型

8、. 16 數(shù)據(jù)架構(gòu):FDM客戶(hù)主題建設(shè)示例 17 數(shù)據(jù)架構(gòu):FDM總賬主題 q主題說(shuō)明 n存放的內(nèi)容包括核心系統(tǒng)總賬與內(nèi)部賬信息. q二級(jí)主題 n總賬 n內(nèi)部賬 q數(shù)據(jù)源范圍 n核心 18 數(shù)據(jù)架構(gòu):FDM總賬主題關(guān)鍵點(diǎn) q總賬 n整合日總賬(網(wǎng)點(diǎn)),日總賬(匯總)兩張總賬模型. n將總賬按月存儲(chǔ),將豎表轉(zhuǎn)為橫表以減少數(shù)據(jù)量(約30倍). n計(jì)算余額均值類(lèi)指標(biāo). q內(nèi)部賬 n計(jì)算余額積數(shù). n建立月底快照,歷史變動(dòng)拉鏈模型. 19 數(shù)據(jù)架構(gòu):FDM總賬主題建設(shè)示例 20 數(shù)據(jù)架構(gòu):FDM交易主題 q主題說(shuō)明 n存放我行發(fā)生各類(lèi)業(yè)務(wù)的交易事件信息. q主要處理說(shuō)明 n整合核心系統(tǒng)多張流水表的渠道

9、交易信息 n外圍交易登記簿渠道交易 n交易流水柜面交易 n柜員業(yè)務(wù)量柜面交易（不記入交易流水類(lèi)的） n批量業(yè)務(wù)流水批量業(yè)務(wù) n通過(guò)以上流水匯總滿(mǎn)足對(duì)渠道交易量,柜員交易量的統(tǒng)計(jì)分析 q數(shù)據(jù)源范圍 n核心 21 數(shù)據(jù)架構(gòu):FDM交易主題建設(shè)示例 22 數(shù)據(jù)架構(gòu):FDM渠道主題 q主題說(shuō)明 n存放我行各類(lèi)渠道以及設(shè)備的詳細(xì)信息. q二級(jí)主題 n實(shí)柜員信息 n虛柜員信息 q數(shù)據(jù)源范圍 n核心 n卡前置 23 數(shù)據(jù)架構(gòu):FDM渠道主題建設(shè)示例 24 數(shù)據(jù)架構(gòu):FDM產(chǎn)品主題 q主題說(shuō)明 n存放我行發(fā)行的各類(lèi)產(chǎn)品屬性信息. q二級(jí)主題 n公共信息 n詳細(xì)信息 q數(shù)據(jù)源范圍 n核心 n中間業(yè)務(wù) 25 數(shù)據(jù)

10、架構(gòu):FDM產(chǎn)品主題建設(shè)示例 26 數(shù)據(jù)架構(gòu):FDM公共主題 q主題說(shuō)明 n存放機(jī)構(gòu)、員工、參數(shù)緯表等公用信息. q二級(jí)主題 n統(tǒng)計(jì)緯 n平臺(tái)標(biāo)準(zhǔn)碼 q數(shù)據(jù)源范圍 n核心 n中間業(yè)務(wù) n信貸 n 27 數(shù)據(jù)架構(gòu):FDM公共主題建設(shè)示例 28 數(shù)據(jù)架構(gòu):ADM q建設(shè)思路 n采用循序漸進(jìn)、分期、分階段建設(shè)原則，避免設(shè)計(jì)空洞、不實(shí)用. n本期重點(diǎn)建設(shè)兩個(gè)主題模型經(jīng)營(yíng)分析指標(biāo)庫(kù)、貸款分析模型. n重點(diǎn)從目前需建設(shè)的應(yīng)用系統(tǒng)需求中的提煉共性需求. nADM數(shù)據(jù)層設(shè)計(jì)不宜過(guò)“厚”，以免統(tǒng)計(jì)口徑不一致或粒度不符合業(yè)務(wù) 需求而重復(fù)開(kāi)發(fā). 29 數(shù)據(jù)架構(gòu):關(guān)鍵點(diǎn)模型設(shè)計(jì)規(guī)范 q包含內(nèi)容 n表命名規(guī)范. n字段

11、命名規(guī)范. n表空間及數(shù)據(jù)文件命名規(guī)范. n建模工具規(guī)范. 30 數(shù)據(jù)架構(gòu):關(guān)鍵點(diǎn)平臺(tái)標(biāo)準(zhǔn)碼 q目標(biāo) n建立平臺(tái)統(tǒng)一標(biāo)準(zhǔn)代碼屏蔽我行各數(shù)據(jù)源的編碼差異. n為未來(lái)平臺(tái)整合新的數(shù)據(jù)源提供編碼參考以及編碼整合方法. q標(biāo)準(zhǔn)化原則 n針對(duì)源業(yè)務(wù)系統(tǒng)中,部分共性且代碼相對(duì)固定、表達(dá)意義一致的代碼種類(lèi)，以 及一些關(guān)鍵的統(tǒng)計(jì)緯度編碼,需要進(jìn)行編碼標(biāo)準(zhǔn)化,比如:幣種、性別、借貸別 、證件類(lèi)型、余額分段等. n標(biāo)準(zhǔn)碼分為三級(jí)編碼形式,標(biāo)準(zhǔn)化后的代碼在系統(tǒng)中是唯一的,不發(fā)生重復(fù).也 便于索引編碼含義. 例如:“賬戶(hù)狀態(tài)”中“正常” =“1002(賬戶(hù))0012(賬戶(hù)狀態(tài))00001(正常)” 31 數(shù)據(jù)架構(gòu):關(guān)

12、鍵點(diǎn)歷史變動(dòng)拉鏈表設(shè)計(jì) q目標(biāo) n拉鏈算法是目前數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域使用比較廣泛的算法之一，其通常用于記錄數(shù) 據(jù)量很大且記錄之間存在一種歷史延續(xù)性，通過(guò)拉鏈算法可以方便快捷得到 歷史時(shí)點(diǎn)的狀態(tài)，同時(shí)以最低的數(shù)據(jù)存儲(chǔ)方式保留歷史記錄. q設(shè)計(jì)原則 n保留源表所有字段,添加開(kāi)始日期、結(jié)束日期, 采用“左閉右開(kāi)”的方式. n最新?tīng)顟B(tài)記錄結(jié)束時(shí)間為定值2099-12-31. n范圍：FDM層關(guān)鍵模型，如賬戶(hù)、客戶(hù). n保留周期見(jiàn)“平臺(tái)數(shù)據(jù)清理策略”部分. q使用方法 如取“20080131”日狀態(tài)語(yǔ)句Select * from table_his where start_date 20080131 32 數(shù)據(jù)

13、架構(gòu):關(guān)鍵點(diǎn)月底快照表設(shè)計(jì) q目標(biāo) n由于客戶(hù)/賬戶(hù)的余額、利率、賬戶(hù)狀態(tài)等經(jīng)常發(fā)生變動(dòng)，同時(shí)結(jié)合實(shí)際業(yè) 務(wù)需求，通常業(yè)務(wù)應(yīng)用會(huì)頻繁使用月底數(shù)據(jù)作為報(bào)表需求的數(shù)據(jù)源，為了 提高系統(tǒng)的響應(yīng)速度，并且提高數(shù)據(jù)的可操作性，建議對(duì)某些客戶(hù)/賬戶(hù)的 狀態(tài)信息表進(jìn)行月底快照保存策略. q設(shè)計(jì)原則 n增加統(tǒng)計(jì)日期字段，每月底批量保存快照信息， n只保留源表關(guān)鍵指標(biāo)字段以便分析使用，如機(jī)構(gòu)號(hào)，帳戶(hù)狀態(tài)等。 n對(duì)于賬戶(hù)的快照增加計(jì)算出的月日均余額、年日均余額、統(tǒng)計(jì)積數(shù)等統(tǒng)計(jì) 指標(biāo)字段. n范圍：FDM層賬戶(hù)主題存儲(chǔ)余額以及積數(shù)類(lèi)的數(shù)據(jù)模型. n保留周期見(jiàn)“平臺(tái)數(shù)據(jù)清理策略”部分. 33 數(shù)據(jù)架構(gòu):關(guān)鍵點(diǎn)積數(shù)運(yùn)算

14、 q目標(biāo) n基于現(xiàn)有所了解的業(yè)務(wù)需求看，賬戶(hù)的日均、積數(shù)等信息是日常報(bào)表經(jīng)常 統(tǒng)計(jì)的指標(biāo)之一。通常積數(shù)的計(jì)算公式如下. n而在計(jì)算積數(shù)的過(guò)程中，采用全量更新賬戶(hù)積數(shù)的方式卻不太現(xiàn)實(shí)（海量 數(shù)據(jù)更新效率低），因此需要在模型設(shè)計(jì)過(guò)程中重點(diǎn)考慮積數(shù)的計(jì)算過(guò)程. 1.以當(dāng)天增量數(shù)據(jù)，更新增量記錄的積數(shù); 2.積數(shù)的計(jì)算公式: 3.對(duì)于均值的計(jì)算過(guò)程，需要首先計(jì)算截止當(dāng)天為止的累計(jì)積數(shù)，然后再除以實(shí)際 天數(shù)；因此在計(jì)算月底快照表中，需要采用積數(shù)的計(jì)算公式對(duì)賬戶(hù)的積數(shù)進(jìn)行統(tǒng)計(jì) 后再進(jìn)行均值計(jì)算； 4.在每年1月1號(hào)需要對(duì)積數(shù)進(jìn)行清零. 34 數(shù)據(jù)架構(gòu):關(guān)鍵點(diǎn)數(shù)據(jù)清理策略 q目標(biāo) n為控制UDSF系統(tǒng)數(shù)據(jù)容

15、量，保證數(shù)據(jù)使用效率，在數(shù)據(jù)存儲(chǔ)一定周期后 需要對(duì)其進(jìn)行備份再?gòu)腢DSF系統(tǒng)中清理掉. n清理的數(shù)據(jù)范圍主要包括流水、歷史拉鏈、快照、周期性統(tǒng)計(jì)數(shù)據(jù)等。 n賬戶(hù)、客戶(hù)等關(guān)鍵信息表永久保留全量數(shù)據(jù). q數(shù)據(jù)存儲(chǔ)周期策略 . 增量文件層增量文件層ODMFDMADMMDM 2個(gè)月13個(gè)月13個(gè)月13年3年以上 35 數(shù)據(jù)架構(gòu):關(guān)鍵點(diǎn)數(shù)據(jù)備份策略 q目標(biāo) n需要日常備份的文件包含三類(lèi)，UDSF數(shù)據(jù)庫(kù)、數(shù)據(jù)采集平臺(tái)每日采集的 源系統(tǒng)增量文件以及UDSF卸載至推送平臺(tái)的推送文件。采集源文件以及 推送文件都以文本文件形式存儲(chǔ)，UDSF系統(tǒng)每日會(huì)建立單獨(dú)目錄存放可 以直接將其拷貝到備機(jī)或磁帶中完成備份. q備

16、份策略 n雙機(jī)熱備 n雙機(jī)冷備 n單機(jī)備磁帶 . 36 數(shù)據(jù)架構(gòu):關(guān)鍵點(diǎn)數(shù)據(jù)庫(kù)規(guī)劃 q目標(biāo) n數(shù)據(jù)庫(kù)是哈爾濱銀行UDSF系統(tǒng)的核心，它的設(shè)計(jì)直接關(guān)系系統(tǒng)執(zhí)行的效 率和系統(tǒng)的穩(wěn)定性。因此在系統(tǒng)開(kāi)發(fā)中，數(shù)據(jù)庫(kù)設(shè)計(jì)應(yīng)遵循必要的數(shù)據(jù)庫(kù) 范式理論，以減少冗余、保證數(shù)據(jù)的完整性與正確性。只有在合適的數(shù)據(jù) 庫(kù)產(chǎn)品上設(shè)計(jì)出合理的數(shù)據(jù)庫(kù)模型，才能降低整個(gè)系統(tǒng)的編程和維護(hù)難度 ，提高系統(tǒng)的實(shí)際運(yùn)行效率. q規(guī)劃范圍 n數(shù)據(jù)庫(kù)分區(qū)，用戶(hù)結(jié)構(gòu). n表空間、索引空間、日志空間規(guī)劃. n數(shù)據(jù)容量評(píng)估，清理，備份策略. n數(shù)據(jù)庫(kù)優(yōu)化策略. . 數(shù)據(jù)采集平臺(tái) q技術(shù)方案 q采集策略 q部署方案 38 采集平臺(tái):技術(shù)方案選擇

17、q目標(biāo) nT+1數(shù)據(jù)采集的主要功能需要從源系統(tǒng)中采集數(shù)據(jù)到數(shù)據(jù)集成平臺(tái)的源系統(tǒng) 數(shù)據(jù)文件落地區(qū) q可選方案 n通過(guò)專(zhuān)用數(shù)據(jù)同步工具將源系統(tǒng)生產(chǎn)數(shù)據(jù)實(shí)時(shí)同步到數(shù)據(jù)采集區(qū).例如IBM 的II或HDR、ER. n通過(guò)存儲(chǔ)設(shè)備本身的同步復(fù)制軟件將源系統(tǒng)生產(chǎn)數(shù)據(jù)同步到數(shù)據(jù)采集區(qū). n開(kāi)發(fā)通用的采集程序完成數(shù)據(jù)采集到落地過(guò)程. n核心模塊采用通用模式（調(diào)度傳輸），卸數(shù)部分自定義采集角本. q實(shí)施策略 n上述四種數(shù)據(jù)采集模式，均各有特點(diǎn)，各有合適的應(yīng)用場(chǎng)景。UDSF的數(shù) 據(jù)源也是多種多樣，不宜采用統(tǒng)一的數(shù)據(jù)采集模式；應(yīng)根據(jù)采集數(shù)據(jù)本身 的特點(diǎn)，來(lái)規(guī)劃數(shù)據(jù)采集模式。對(duì)于哈爾濱銀行UDSF項(xiàng)目本身來(lái)說(shuō)，每 日卸

18、載的數(shù)據(jù)量在可以接受的范圍內(nèi)，采用第1，2兩種方案會(huì)帶來(lái)較大的 實(shí)施成本和技術(shù)難度，我們?cè)O(shè)計(jì)暫用第四種方案完成數(shù)據(jù)T+1的采集工作. . 39 采集平臺(tái):采集策略數(shù)據(jù)卸載策略 q目標(biāo) n對(duì)于采集目標(biāo)表的數(shù)據(jù)卸載主要有全量卸載和增量卸載兩種方式. n全量卸載即日終卸載數(shù)據(jù)表中全部數(shù)據(jù)，處理相對(duì)簡(jiǎn)單。 n增量卸載的數(shù)據(jù)范圍為對(duì)比上一卸載周期內(nèi)數(shù)據(jù)表中新增以及內(nèi)容發(fā)生過(guò) 變化的數(shù)據(jù)記錄，一般來(lái)說(shuō)需要根據(jù)數(shù)據(jù)中某一時(shí)間戳進(jìn)行判斷，有時(shí)可 能需要關(guān)聯(lián)其他數(shù)據(jù)表的時(shí)間戳才能判斷出變量數(shù)據(jù)，那么這就需要對(duì)采 集的數(shù)據(jù)模型進(jìn)行詳細(xì)的分析、制訂卸數(shù)采用的策略. n一般來(lái)說(shuō)各類(lèi)數(shù)據(jù)表的卸載策略可參考下面圖例. .

19、 40 采集平臺(tái):采集策略卸數(shù)時(shí)間策略 q目標(biāo) n采集數(shù)據(jù)的卸數(shù)時(shí)間應(yīng)以其源系統(tǒng)數(shù)據(jù)庫(kù)時(shí)間為準(zhǔn)并且需要充分考慮業(yè)務(wù) 系統(tǒng)可能發(fā)生的日終跑批處理、重啟、備份等步驟，規(guī)劃好每一個(gè)業(yè)務(wù)數(shù) 據(jù)源的卸數(shù)時(shí)間窗口，根據(jù)與科技、系統(tǒng)維護(hù)部門(mén)的溝通討論，共同制定 的各系統(tǒng)卸數(shù)時(shí)間方案如下. . 系統(tǒng)名主備機(jī)選擇系統(tǒng)日終處理策略是否能夠提供日終結(jié)束 標(biāo)志 其他特殊處理卸載時(shí)間策略 核心備份是pubsysctrlinfo時(shí)間表翻牌 為準(zhǔn) 信貸生產(chǎn) 國(guó)際結(jié)算生產(chǎn) 微貸生產(chǎn)待核心系統(tǒng)日終結(jié)束運(yùn) 行 可以提供（技術(shù)人員修 改程序） 根據(jù)生產(chǎn)系統(tǒng)提供的日終結(jié) 束標(biāo)志確定是否卸數(shù) 農(nóng)貸生產(chǎn)待核心系統(tǒng)日終結(jié)束運(yùn) 行 可以提供

20、（技術(shù)人員修 改程序） 根據(jù)生產(chǎn)系統(tǒng)提供的日終結(jié) 束標(biāo)志確定是否卸數(shù) 中間業(yè)務(wù)生產(chǎn)md_xtcs.zjyw（日期） 卡前置生產(chǎn)sysrunparam表 Paramcode=0007的日期 41 采集平臺(tái):采集策略補(bǔ)錄數(shù)據(jù)策略 q目標(biāo) n數(shù)據(jù)補(bǔ)錄是為了彌補(bǔ)數(shù)據(jù)源缺失或者業(yè)務(wù)系統(tǒng)建設(shè)不完善的情況而設(shè)置特 殊采集模式。 n數(shù)據(jù)補(bǔ)錄模塊的提供是針對(duì)不同業(yè)務(wù)數(shù)據(jù)庫(kù)的通用數(shù)據(jù)錄入工具，包括頁(yè) 面錄入和模板錄入以及數(shù)據(jù)入庫(kù)的審批流程。支持對(duì)錄入數(shù)據(jù)的事件處理 （如新增前進(jìn)行有效性數(shù)據(jù)檢查、新增后進(jìn)行數(shù)據(jù)平衡校驗(yàn)等，使用檢核 規(guī)則來(lái)實(shí)現(xiàn)）. n數(shù)據(jù)補(bǔ)錄工具服務(wù)于各部門(mén)、各機(jī)構(gòu)的數(shù)據(jù)錄入人員。該模塊使用到“數(shù)

21、據(jù)集管理”功能. . 42 采集平臺(tái):部署方案分布式部署 q目標(biāo) n如圖所示：采集程 序?qū)⒃诟鱾€(gè)數(shù)據(jù)源 服務(wù)器進(jìn)行部署， 各自完成針對(duì)其業(yè) 務(wù)系統(tǒng)的卸數(shù)、存 儲(chǔ)、傳輸?shù)炔杉?驟，各個(gè)系統(tǒng)的采 集程序無(wú)依賴(lài)關(guān)系 但總體程序處理風(fēng) 格保持一致。該方 案弊端是采集需要 分散部署，維護(hù)困 難； . 43 采集平臺(tái):部署方案集中式部署 q目標(biāo) n如圖所示：采集程 序?qū)⒓胁渴鹪?UDSF數(shù)據(jù)庫(kù)服務(wù) 器中，通過(guò)DB2的 客戶(hù)端直接訪問(wèn)各 數(shù)據(jù)源系統(tǒng)完成對(duì) 其數(shù)據(jù)的卸載。該 方案采集程序主要 集中在一臺(tái)服務(wù)器 上，便于日常的管 理和維護(hù)，目前該 方案也是我們目前 建議的部署方案。 . 44 采集平臺(tái):關(guān)鍵

22、點(diǎn) q效率保證 n對(duì)各個(gè)數(shù)據(jù)源的采集是獨(dú)立的，數(shù)據(jù)源間無(wú)依賴(lài)關(guān)系. n對(duì)單個(gè)數(shù)據(jù)源系統(tǒng)采集支持并發(fā)處理，允許調(diào)整最大并發(fā)數(shù). n目前部分?jǐn)?shù)據(jù)源表數(shù)據(jù)量較大，時(shí)間字段非索引造成采集語(yǔ)句執(zhí)行異 常緩慢，這部分需要待全面測(cè)試后與科技方探討解決方案，可能需要 在源系統(tǒng)端加一些時(shí)間索引 q質(zhì)量保證 n所有卸數(shù)角本將采用相同的邏輯編寫(xiě)，避免代碼方面差異造成的問(wèn)題. n系統(tǒng)將設(shè)計(jì)并開(kāi)發(fā)平臺(tái)數(shù)據(jù)模型大數(shù)核對(duì)程序，可以為UDSF平臺(tái) ODM的數(shù)據(jù)表制定關(guān)鍵核算指標(biāo)，如COUNT、SUM等，與數(shù)據(jù)源端 進(jìn)行核對(duì)，通過(guò)這種方式來(lái)校驗(yàn)采集的數(shù)據(jù)的完整性以及正確性。 . 數(shù)據(jù)整合平臺(tái) q數(shù)據(jù)加載 q數(shù)據(jù)整合 q特殊處理

23、 46 整合平臺(tái):數(shù)據(jù)加載-加載策略 q總體策略 n數(shù)據(jù)加載主要指從源系統(tǒng)采集到的每日增量數(shù)據(jù)文件裝載到UDSF平 臺(tái)ODM數(shù)據(jù)層的過(guò)程，UDSF系統(tǒng)數(shù)據(jù)加載分為歷史數(shù)據(jù)加載（ Initial Load）也叫初始和日常數(shù)據(jù)加載（Incremental Load）. n從架構(gòu)設(shè)計(jì)的角度將充分考慮同一套作業(yè)同時(shí)實(shí)現(xiàn)初始和增量裝載的 兩套功能，每次運(yùn)行裝載處理哪一種加載將由參數(shù)來(lái)控制。在作業(yè)設(shè) 計(jì)時(shí)只需要建立一套增量加載的ETL程序 同樣能夠處理歷史數(shù)據(jù)加載 和日常數(shù)據(jù)加載，而不再開(kāi)發(fā)另一套全量加載ETL 程序處理歷史數(shù)據(jù) 加載。 這樣只需要開(kāi)發(fā)一套ETL 程序作業(yè)，減少了開(kāi)發(fā)工作量，并且 避免了兩

24、套程序可能出現(xiàn)的數(shù)據(jù)算法不一致造成的數(shù)據(jù)不一致的錯(cuò)誤. n對(duì)于涉及大量歷史數(shù)據(jù)加載的策略，我們可以采用時(shí)間窗口的分段的 方法來(lái)處理歷史數(shù)據(jù)量大的表的裝載，即我們可以一個(gè)一個(gè)時(shí)間段來(lái) 加載歷史數(shù)據(jù). . 47 整合平臺(tái):數(shù)據(jù)加載-加載策略 q日常處理策略 n全量加載：首先清空ODM（增量）目標(biāo)表的昨日數(shù)據(jù)再進(jìn)行全量數(shù)據(jù) 加載；進(jìn)行全量加載的表主要為數(shù)據(jù)源表中無(wú)時(shí)間戳或其它標(biāo)志可以 剝離出每日變量的并且信息量較小信息表、代碼表等，這部分包含的 內(nèi)容一般情況下不會(huì)被分析歷史狀態(tài)所使用，無(wú)需建立歷史變動(dòng)拉鏈 表. n增量加載：首先清空ODM中目標(biāo)表的昨日數(shù)據(jù)再進(jìn)行該日增量數(shù)據(jù)的 加載；增量加載的數(shù)據(jù)源

25、表中包含時(shí)間戳或者唯一流水號(hào)、變動(dòng)標(biāo)志 等能夠準(zhǔn)確剝離出每日變化數(shù)據(jù)的標(biāo)志字段，如流水表、賬戶(hù)動(dòng)態(tài)表 等. n比較增量剝離： 首先用本日的全量信息文件與上日的全量信息文件進(jìn) 行比較，將發(fā)生過(guò)變化或者新增的信息記錄剝離出來(lái)，再將這些變化 的數(shù)據(jù)插入ODM模型中。通過(guò)這種方式來(lái)滿(mǎn)足那些數(shù)據(jù)源表中無(wú)時(shí)間 戳或則其它標(biāo)志可以剝離出每日變量的并且需要增量加載并在UDSF 平臺(tái)保留歷史變化痕跡的信息表，如客戶(hù)地址信息、利率信息等模型 . 48 整合平臺(tái):數(shù)據(jù)加載-加載策略 q初始化數(shù)據(jù)策略 n考慮到由于歷史數(shù)據(jù)初始化是UDSF上線前一次性將歷史數(shù)據(jù)導(dǎo)入到 UDSF模型的過(guò)程，ETL不單獨(dú)再行開(kāi)發(fā)程序，采用

26、復(fù)用增量加載的 JOB,并按實(shí)際情況進(jìn)行手工調(diào)整JOB以滿(mǎn)足初始化裝載需求的方式。 對(duì)于數(shù)據(jù)量特別大的歷史表，ETL充分考慮處理的效率，將采取時(shí)間 窗口分割的方法來(lái)進(jìn)行分段加載. n初始化加載數(shù)據(jù)時(shí)應(yīng)先檢查UDSF物理數(shù)據(jù)庫(kù)，刪除索引后再進(jìn)行數(shù) 據(jù)加載，加載完成后需要使用腳本重新創(chuàng)建索引. n初始化前的準(zhǔn)備：存儲(chǔ)的準(zhǔn)備，數(shù)據(jù)的準(zhǔn)備. n初始化過(guò)程監(jiān)控： ETL在進(jìn)行數(shù)據(jù)初始化過(guò)程中需要進(jìn)行監(jiān)控，保證 初始化過(guò)程的正常運(yùn)行以及錯(cuò)誤的有效記錄. n初始化事后檢查：數(shù)據(jù)初始化累計(jì)完成數(shù)據(jù)后，需要對(duì)入庫(kù)數(shù)據(jù)進(jìn)行 核對(duì)，一般主要對(duì)存量的客戶(hù)數(shù)、賬戶(hù)數(shù)、交易量、機(jī)構(gòu)和科目余額 進(jìn)行大數(shù)核對(duì)，確保初始化進(jìn)入

27、UDSF的數(shù)據(jù)的準(zhǔn)確性. . 49 整合平臺(tái):數(shù)據(jù)加載-錯(cuò)誤數(shù)據(jù)處理 q錯(cuò)誤數(shù)據(jù)處理 n在數(shù)據(jù)文件ODM以及ODMFDM加載的過(guò)程中數(shù)據(jù)可能會(huì) 因?yàn)閿?shù)據(jù)質(zhì)量或者其它一些原因產(chǎn)生被REJECT的情況，異常數(shù)據(jù)產(chǎn) 生后，需要一套專(zhuān)門(mén)的流程機(jī)制來(lái)完成數(shù)據(jù)的：排查定位分類(lèi) 修改復(fù)核提交記錄的過(guò)程，一般情況下的處理方式如下. . 50 整合平臺(tái):數(shù)據(jù)加載-錯(cuò)誤數(shù)據(jù)處理 qREJECT數(shù)據(jù)處理 n對(duì)于發(fā)生REJECT的記錄需要添加至目標(biāo)表對(duì)應(yīng)的REJECT日志文件 中，記錄需要保留完整內(nèi)容以便于問(wèn)題分析和修正，對(duì)于REJECT信 息的修正采用“數(shù)據(jù)源端修正”以及“手工修正”兩種方式，對(duì)發(fā)生 REJECT的

28、數(shù)據(jù)源表需要與源系統(tǒng)負(fù)責(zé)技術(shù)人員共同探討解決方案， 如何可能盡量多采用“數(shù)據(jù)源端修正”的方式修改錯(cuò)誤數(shù)據(jù)并且重新 采集加載至UDSF平臺(tái)，否則采用“手工修正”數(shù)據(jù)文件方式調(diào)整記 錄內(nèi)容再完成加載動(dòng)作. qREJECT數(shù)據(jù)監(jiān)控 n在發(fā)生REJECT的同時(shí)，加載程序需要統(tǒng)計(jì)相關(guān)的REJECT信息插入 至“REJECT日志統(tǒng)計(jì)信息表”中，UDSF平臺(tái)應(yīng)用端（WEB）將提 供一張統(tǒng)計(jì)報(bào)表展示出日志統(tǒng)計(jì)信息表中的內(nèi)容以達(dá)到監(jiān)控的目的。 “REJECT日志信息表”的內(nèi)容如下. . 序號(hào)（自增長(zhǎng))） 加 載 日 期 數(shù)據(jù)層 （ODM/FDM） 程序名 數(shù)據(jù)源表 目標(biāo)表 REJECT記錄 數(shù) 備用 51 整合

29、平臺(tái):數(shù)據(jù)加載-錯(cuò)誤數(shù)據(jù)處理 qREJECT任務(wù)處理 n在UDSF平臺(tái)數(shù)據(jù)加載過(guò)程中如果發(fā)生了REJECT數(shù)據(jù)情況那么平臺(tái) 的整體調(diào)度過(guò)程是否應(yīng)受其影響，在這里考慮采用為每個(gè)加載信息表 設(shè)置配置參數(shù)的方式來(lái)決定平臺(tái)的整體運(yùn)行機(jī)制. n處理策略目前包含兩種選擇 1.忽略正常數(shù)據(jù)繼續(xù)插入，平臺(tái)整體ETL調(diào)度繼續(xù)運(yùn)行。 2.暫停按照ETL出錯(cuò)處理（該任務(wù)回滾），暫停該裝載JOB以及其 后續(xù)的任務(wù)。 . 序號(hào)（自增長(zhǎng)）添加日期 結(jié)束日期目標(biāo)表名 處理策略 備用 52 整合平臺(tái):數(shù)據(jù)整合 q數(shù)據(jù)整合范圍 n客戶(hù)、賬戶(hù)、產(chǎn)品等邏輯主題模型整合 n賬戶(hù)積數(shù),均值計(jì)算. n歷史變動(dòng)拉鏈 n月底快照 n標(biāo)準(zhǔn)碼清

30、晰 n匯總指標(biāo)的計(jì)算 . 53 整合平臺(tái):關(guān)鍵點(diǎn)機(jī)構(gòu)撤并 q源系統(tǒng)處理方式 n對(duì)于機(jī)構(gòu)的拆分和撤并在這里著重闡述一下UDSF平臺(tái)的設(shè)計(jì)方案， 目前哈爾濱銀行各應(yīng)用數(shù)據(jù)源系統(tǒng)對(duì)于拆分和撤并的處理方式不盡相 同，如“國(guó)結(jié)系統(tǒng)”的撤并處理就比較簡(jiǎn)單，只是在機(jī)構(gòu)參數(shù)表中將 標(biāo)志置為無(wú)效，對(duì)于歷史數(shù)據(jù)不做處理。而“核心系統(tǒng)”相對(duì)而言處 理略微復(fù)雜，主要方式是通過(guò)配置表定義撤并任務(wù)，在日終完成撤并 或拆分動(dòng)作，撤并或拆分將刷新部分賬戶(hù)或客戶(hù)信息表中的機(jī)構(gòu)號(hào)碼 ，具體的處理方式如圖. . 54 整合平臺(tái):關(guān)鍵點(diǎn)機(jī)構(gòu)撤并 qUDSF系統(tǒng)處理方式 n核心系統(tǒng)在發(fā)生機(jī)構(gòu)拆分或撤并時(shí)本身已有了一套機(jī)制來(lái)完成拆分或

31、撤并的處理動(dòng)作，那么未來(lái)UDSF平臺(tái)對(duì)于發(fā)生的機(jī)構(gòu)撤并與拆分該 如何處理？這里有兩套方案可供選擇. . 方案介紹方案介紹優(yōu)點(diǎn)優(yōu)點(diǎn)缺點(diǎn)缺點(diǎn)是否推薦是否推薦 1.1.采集撤并后的數(shù)據(jù)采集撤并后的數(shù)據(jù). . 主要是針對(duì)核心而言，因?yàn)榘l(fā)生撤并處理時(shí)核心各子 系統(tǒng)賬戶(hù)中機(jī)構(gòu)號(hào)變更但賬戶(hù)變動(dòng)日期不做記錄，因 此我們需要在數(shù)據(jù)采集時(shí)讀取撤并的配置表，將本日 撤并/拆分/并入機(jī)構(gòu)相關(guān)的記錄或者拆分的賬戶(hù)數(shù)據(jù) 都當(dāng)作增量數(shù)據(jù)采集出來(lái)，再加載到UDSF平臺(tái)中，這 樣能保證與核心數(shù)據(jù)一致 1)處理相對(duì)簡(jiǎn)單 2)數(shù)據(jù)能夠保證 與源系統(tǒng)一致 1)該方案只適合核心 系統(tǒng)數(shù)據(jù) 不推薦； 雖然說(shuō)對(duì)于核 心某些數(shù)據(jù)表 撤并的處

32、理相 對(duì)容易但還需 要額外設(shè)計(jì)一 套方案處理其 它信息表，兩 套方案并行不 適用 2)獲取的變量數(shù)據(jù)會(huì) 包含實(shí)際未發(fā)生變化 的記錄 3)對(duì)于平臺(tái)一些有特 殊要求的表的處理也 不通用，例如總賬模 型，需要額外設(shè)計(jì)處 理細(xì)節(jié) 2 2重新設(shè)計(jì)撤并重新設(shè)計(jì)撤并/ /拆分處理（仿核心系統(tǒng)拆分處理（仿核心系統(tǒng)) ) 1)使用所有采集 到的數(shù)據(jù)源 1)邏輯相對(duì)復(fù)雜,對(duì) 設(shè)計(jì)要求較高。 推薦； 參考核心系統(tǒng)的配置表重新設(shè)計(jì)一套UDSF平臺(tái)的機(jī)構(gòu) 撤并/拆分處理方案，UDSF配置表每日加載核心配置 表中的配置項(xiàng)，采用與核心同樣的程序邏輯來(lái)完成加 載到平臺(tái)的核心數(shù)據(jù)源模型的撤并/拆分處理；UDSF 平臺(tái)的處理方案

33、還需要兼顧到其它采集到的數(shù)據(jù)源表、 拉鏈表、快照表等，通過(guò)在核心系統(tǒng)配置撤并/拆分 任務(wù)，UDSF平臺(tái)完成所有采集數(shù)據(jù)源撤并/拆分處理 這種模式來(lái)處理該類(lèi)問(wèn)題 2)平臺(tái)中只存在 一種設(shè)計(jì)方案， 設(shè)計(jì)思路較清晰 2）如果設(shè)計(jì)或?qū)崿F(xiàn) 存在缺陷可能造成與 核心系統(tǒng)的數(shù)據(jù)不一 致 該種方案最明 顯的好處就是 可以針對(duì)UDSF 平臺(tái)對(duì)撤并/拆 分的需求單獨(dú) 設(shè)計(jì)，并且所 有系統(tǒng)的處理 風(fēng)格能夠保持 一致 3)對(duì)于機(jī)構(gòu)撤并 的處理集中在一 兩支程序中，便 于維護(hù) q撤并處理要點(diǎn) n刷新FDM，ODM信息表中的歸屬機(jī)構(gòu)字段 nFDM總賬模型中被并機(jī)構(gòu)的年積數(shù)要累加到并入機(jī)構(gòu)積數(shù)中 n對(duì)于統(tǒng)計(jì)月匯總交易的模型

34、要考慮將本月被并機(jī)構(gòu)的交易累加到并入 機(jī)構(gòu)統(tǒng)計(jì)總量當(dāng)中 n對(duì)于已成歷史的交易表，統(tǒng)計(jì)表不做刷新處理，保留歷史狀態(tài)。 . 55 整合平臺(tái):關(guān)鍵點(diǎn)結(jié)息日處理 q處理策略 n目前我行存款/貸款賬戶(hù)的結(jié)息周期為每個(gè)月20號(hào)，這一天存/貸款賬 戶(hù)基本上都將發(fā)生變化，采集到UDSF平臺(tái)的存/貸款信息表也將是接 近于全量的信息，并且相關(guān)業(yè)務(wù)流水明細(xì)信息表的記錄數(shù)也將比較龐 大，但考慮到我行全量賬戶(hù)總數(shù)還是在一個(gè)可接受的范圍內(nèi)，因此暫 時(shí)不考慮另外進(jìn)行開(kāi)發(fā)而沿用日常加載時(shí)的ETL程序進(jìn)行處理，但需 要該日常加載程序在設(shè)計(jì)初期將多線程處理等優(yōu)化處理方案考慮在內(nèi). . 56 整合平臺(tái):關(guān)鍵點(diǎn)年終結(jié)轉(zhuǎn)處理 q處理策

35、略 n年終結(jié)轉(zhuǎn)主要涉及的是核心總賬主題相關(guān)的表，如“內(nèi)部賬分戶(hù)文件 ”、“日總賬”、“周期總賬”等。核心的處理方式為每年12月31日 日終完成賬戶(hù)間的結(jié)轉(zhuǎn)，最終保留下來(lái)的12月31日賬務(wù)信息為結(jié)轉(zhuǎn)后 的信息，這部分信息也將被UDSF平臺(tái)所采集。但是業(yè)務(wù)部門(mén)經(jīng)常會(huì) 需要12月31日終結(jié)轉(zhuǎn)之前的賬務(wù)數(shù)據(jù)，因?yàn)樵摂?shù)據(jù)能夠反映出每個(gè)賬 戶(hù)以及每個(gè)科目一年的真實(shí)損益情況，這部分信息對(duì)于業(yè)務(wù)部門(mén)相當(dāng) 重要，這部分?jǐn)?shù)據(jù)整合進(jìn)UDSF平臺(tái)是相當(dāng)必要的。但是目前沒(méi)有渠 道能夠讓UDSF平臺(tái)自動(dòng)采集到這部分?jǐn)?shù)據(jù)，針對(duì)于這種情況平臺(tái)初 步設(shè)計(jì)兩種解決方案供選擇. 1.數(shù)據(jù)源端完成結(jié)轉(zhuǎn)前數(shù)據(jù)的備份，UDSF平臺(tái)自動(dòng)采

36、集方式 2.業(yè)務(wù)人員自行備份，通過(guò)UDSF平臺(tái)的補(bǔ)錄接口進(jìn)行信息補(bǔ)錄 不管采用上面哪種方式都需要一定的管理要求，比如在12月31日系統(tǒng) 日終處理前必須保證數(shù)據(jù)的正確備份否則事后很難進(jìn)行追溯，需要在 管理上加以要求 . 57 整合平臺(tái):關(guān)鍵點(diǎn)村鎮(zhèn)銀行數(shù)據(jù)的處理 q處理策略 n目前我行發(fā)展的村鎮(zhèn)銀行與我行共用一套生產(chǎn)系統(tǒng)，其業(yè)務(wù)數(shù)據(jù)與我 行目前是混在一起的，但業(yè)務(wù)部門(mén)要求在UDSF平臺(tái)前端展現(xiàn)的報(bào)表 中不包含村鎮(zhèn)銀行的業(yè)務(wù)數(shù)據(jù)，對(duì)于這種需求平臺(tái)有兩種方案可供選 擇. 1. UDSF采集平臺(tái)采集平臺(tái)屏蔽屏蔽 指的是UDSF采集平臺(tái)不采集這部分業(yè)務(wù)數(shù)據(jù)使其不進(jìn)入到UDSF平臺(tái)中，在物理上隔離 2. U

37、DSF前端應(yīng)用屏蔽前端應(yīng)用屏蔽 UDSF平臺(tái)對(duì)數(shù)據(jù)的采集、整合、匯總等操作也包含這部分內(nèi)容，平臺(tái)機(jī)構(gòu)信息表中添加 是否村鎮(zhèn)銀行的標(biāo)志字段，在前端展現(xiàn)時(shí)進(jìn)行屏蔽，作到邏輯上的隔離 在與科技部門(mén)討論后決定UDSF平臺(tái)暫時(shí)使用第二種方案來(lái)處理。 . 數(shù)據(jù)推送平臺(tái) q總體架構(gòu) q實(shí)施目標(biāo) 59 數(shù)據(jù)推送平臺(tái):總體架構(gòu) . 60 數(shù)據(jù)推送平臺(tái):實(shí)施目標(biāo)(1)監(jiān)管系統(tǒng) q監(jiān)管系統(tǒng)數(shù)據(jù)源移植 n“監(jiān)管報(bào)送”系統(tǒng)是我行目前正在使用的一套應(yīng)用系統(tǒng)，其數(shù)據(jù)源包 含“核心”，“信貸”等系統(tǒng)。目前“監(jiān)管報(bào)送”系統(tǒng)數(shù)據(jù)的獲取方 式是從“核心”，“信貸”等系統(tǒng)分別采集業(yè)務(wù)數(shù)據(jù)，雖則其系統(tǒng)需 求功能逐漸增加涉及的數(shù)據(jù)源系統(tǒng)

38、范圍也越來(lái)越廣，未來(lái)UDSF系統(tǒng) 上線后將成為監(jiān)管報(bào)送系統(tǒng)的唯一數(shù)據(jù)源，UDSF數(shù)據(jù)推送平臺(tái)可以 實(shí)現(xiàn)將監(jiān)管報(bào)送需要的業(yè)務(wù)數(shù)據(jù)按照其原需求文件格式、文件內(nèi)容、 傳輸方式、存儲(chǔ)位置等條件傳輸至“監(jiān)管報(bào)送”系統(tǒng)所在服務(wù)器，使 “監(jiān)管報(bào)送”系統(tǒng)不再需要關(guān)心數(shù)據(jù)的獲取而只關(guān)心本身的應(yīng)用就可 以了，這樣也達(dá)到了使其數(shù)據(jù)源平滑過(guò)渡的目標(biāo). . 61 數(shù)據(jù)推送平臺(tái):實(shí)施目標(biāo)(2)自定義數(shù)據(jù)推送 q監(jiān)管系統(tǒng)數(shù)據(jù)源移植. . 62 數(shù)據(jù)推送平臺(tái):實(shí)施目標(biāo)(3)指標(biāo)電子渠道推送 n其主要功能是將UDSF平臺(tái)計(jì)算的重要經(jīng)營(yíng)指標(biāo)數(shù)據(jù)按照規(guī)定的方式 推送至我行“短信平臺(tái)”、“郵件服務(wù)器”等信息傳輸渠道，再借助 這些渠道

39、本身的功能推送給信息接收者。 n例如UDSF平臺(tái)每日將我行經(jīng)營(yíng)分析類(lèi)的統(tǒng)計(jì)指標(biāo)卸載為固定格式的 文本文件，再按照與郵件服務(wù)器的約定接口完成文件傳輸，由其每日 通過(guò)郵件形式將電子格式的報(bào)表發(fā)送給對(duì)我行經(jīng)營(yíng)指標(biāo)關(guān)心的行領(lǐng)導(dǎo) 。再例如每日UDSF平臺(tái)完成日終后將總體的運(yùn)行狀態(tài)指標(biāo)卸載并推 送至短信平臺(tái)，由其將平臺(tái)運(yùn)行信息通過(guò)短信發(fā)送至系統(tǒng)運(yùn)營(yíng)人員的 手機(jī)，使其第一時(shí)間了解到平臺(tái)的運(yùn)行狀況。 n通過(guò)推送平臺(tái)與電子渠道的互動(dòng)使UDSF平臺(tái)信息的消費(fèi)從被動(dòng)變?yōu)?主動(dòng)，這也是UDSF平臺(tái)未來(lái)發(fā)展規(guī)劃的重要方向。但該功能的實(shí)現(xiàn) 與我行電子渠道本身的建設(shè)有這重要的聯(lián)系；功能是否能夠?qū)崿F(xiàn)、實(shí) 現(xiàn)效果如何也受各種客

40、觀因素的限制。 n另外對(duì)于平臺(tái)推送信息的范圍、功能的多少都需要與銀行科技部門(mén)、 業(yè)務(wù)部門(mén)進(jìn)行進(jìn)一步的探討，建議UDSF平臺(tái)本期重點(diǎn)建立與其它電 子渠道的交互接口并完成少量指標(biāo)信息的推送，未來(lái)隨著平臺(tái)的不斷 建設(shè)逐步完善和擴(kuò)展這部分的功能. . ETL總控平臺(tái) q功能架構(gòu) qETL監(jiān)控 q日期翻牌 64 ETL總控平臺(tái):功能架構(gòu) q管理模塊 n流程管理. n調(diào)度核心 n任務(wù)執(zhí)行 n日志管理 n任務(wù)監(jiān)控 . 65 q流程監(jiān)控 nETL流程監(jiān)控主要是監(jiān)控整個(gè)ETL過(guò)程的動(dòng)態(tài)執(zhí)行情況，可以監(jiān)控到 ETL當(dāng)前執(zhí)行的任務(wù)以及相關(guān)狀態(tài). q作業(yè)監(jiān)控 n通過(guò)監(jiān)控界面實(shí)時(shí)監(jiān)控ETL作業(yè)的日程和執(zhí)行情況，并在必要

41、時(shí)手工 停止作業(yè)的運(yùn)行. . ETL總控平臺(tái):ETL監(jiān)控 66 ETL總控平臺(tái):關(guān)鍵點(diǎn)平臺(tái)日期翻牌 平臺(tái)端應(yīng)用總體實(shí)施架構(gòu) q實(shí)施架構(gòu) 68 實(shí)施架構(gòu) 通用展現(xiàn)平臺(tái) q邏輯架構(gòu) q功能架構(gòu) q物理架構(gòu) q報(bào)表發(fā)布流程 70 通用展現(xiàn)平臺(tái):邏輯架構(gòu) PeopleSoft Enterprise Portal 通用展現(xiàn)平臺(tái)登陸門(mén)戶(hù)通用展現(xiàn)平臺(tái)登陸門(mén)戶(hù) 平臺(tái)管理平臺(tái)管理 經(jīng)營(yíng)分析經(jīng)營(yíng)分析 管理員普通用戶(hù) 用戶(hù)管理 機(jī)構(gòu)管理 通用參數(shù)管理 公告管理 報(bào)表管理 經(jīng)營(yíng)分析報(bào)表 平臺(tái)運(yùn)行監(jiān)控 角色管理 權(quán)限管理 數(shù)據(jù)補(bǔ)錄 金融經(jīng)理考核金融經(jīng)理考核 參數(shù)維護(hù) 考核報(bào)表 71 通用展現(xiàn)平臺(tái):功能架構(gòu) q經(jīng)營(yíng)分析系

42、統(tǒng) n經(jīng)營(yíng)分析報(bào)表、部門(mén)報(bào)表、數(shù)據(jù)補(bǔ)錄、數(shù)據(jù)訂制下載、總賬查詢(xún)、 經(jīng)營(yíng)指標(biāo)查詢(xún). q金融經(jīng)理考核系統(tǒng) n移植原金融經(jīng)理考核系統(tǒng)功能 q管理員系統(tǒng) n機(jī)構(gòu)、用戶(hù)、角色、權(quán)限管理（不同應(yīng)用系統(tǒng)公用一套機(jī)構(gòu)、用戶(hù) 、角色，不同系統(tǒng)角色具備的權(quán)限可以設(shè)置不同). n平臺(tái)運(yùn)行ETL監(jiān)控、錯(cuò)誤監(jiān)控. n公告管理、數(shù)據(jù)字典管理、通用參數(shù)管理. n菜單管理、報(bào)表管理. . 72 通用展現(xiàn)平臺(tái):物理架構(gòu) WEBSPHERE 潤(rùn)乾報(bào)表潤(rùn)乾報(bào)表.war 超鏈接超鏈接 HTTP 門(mén)戶(hù)門(mén)戶(hù).war應(yīng)用應(yīng)用.war 超鏈接超鏈接 73 通用展現(xiàn)平臺(tái):報(bào)表發(fā)布流程 report.war WEBSPHERE 菜單菜單 UDS

43、F管理系統(tǒng)管理系統(tǒng) .rpg.jsp 角色角色 潤(rùn)乾client開(kāi)發(fā)端發(fā)布到服務(wù)器登陸UDSF管理系統(tǒng) 添加菜單 指定超鏈地址 將菜單分配給角色 項(xiàng)目情況匯報(bào) q已完成里程碑 q近階段工作安排 q總體實(shí)施計(jì)劃 q實(shí)施難點(diǎn) 75 項(xiàng)目情況匯報(bào):已完成里程碑 日期里程碑交付物描述 2008-11-25項(xiàng)目啟動(dòng)會(huì)啟動(dòng)會(huì)介紹PPT 啟動(dòng)會(huì)會(huì)議記要 項(xiàng)目組,科技部門(mén),業(yè)務(wù)部門(mén),行領(lǐng)導(dǎo)參與, 項(xiàng)目正式啟動(dòng),確定了項(xiàng)目目標(biāo),人員組 織結(jié)構(gòu),項(xiàng)目計(jì)劃,溝通渠道等內(nèi)容. 2008-12-25經(jīng)營(yíng)分析系統(tǒng)需求收集結(jié)束經(jīng)營(yíng)分析系統(tǒng)需求范圍收集了各業(yè)務(wù)部門(mén)針對(duì)經(jīng)營(yíng)分析系統(tǒng) 提出的各類(lèi)報(bào)表需求，項(xiàng)目組將針對(duì) 此需求進(jìn)行

44、分析整理，劃定實(shí)施范圍 以及實(shí)施策略。 2008-12-30數(shù)據(jù)調(diào)研結(jié)束數(shù)據(jù)調(diào)研報(bào)告(數(shù)據(jù)源范圍,數(shù) 據(jù)源結(jié)構(gòu),數(shù)據(jù)源碼值說(shuō)明,數(shù) 據(jù)源采集策略,數(shù)據(jù)源問(wèn)題檢 核報(bào)告,UDSF平臺(tái)標(biāo)準(zhǔn)代碼) 由科技方相關(guān)系統(tǒng)負(fù)責(zé)人介紹數(shù)據(jù)源 系統(tǒng)的詳細(xì)情況,之后項(xiàng)目組根據(jù)提供 的數(shù)據(jù)結(jié)構(gòu)文檔,樣本數(shù)據(jù)完成數(shù)據(jù)調(diào) 研工作.目前除信貸系統(tǒng)外的數(shù)據(jù)源調(diào) 研已結(jié)束. 2008-12-30UDSF總體設(shè)計(jì)完成總體設(shè)計(jì)介紹PPT UDSF平臺(tái)總體設(shè)計(jì) ETL總體設(shè)計(jì) 數(shù)據(jù)模型總體設(shè)計(jì) 展現(xiàn)平臺(tái)總體設(shè)計(jì) 數(shù)據(jù)模型設(shè)計(jì)標(biāo)準(zhǔn) ETL實(shí)施標(biāo)準(zhǔn) 數(shù)據(jù)庫(kù)規(guī)劃優(yōu)化方案 由項(xiàng)目組與科技部項(xiàng)目相關(guān)人員共同 完成,為UDSF平臺(tái)實(shí)施的總體設(shè)

45、計(jì)思路、 實(shí)施策略、實(shí)施規(guī)范、關(guān)鍵問(wèn)題解決 方案.在此基礎(chǔ)上完成UDSF平臺(tái)的各類(lèi) 詳細(xì)設(shè)計(jì) 2009-01-10數(shù)據(jù)采集平臺(tái)、采集角本完成采集平臺(tái)詳細(xì)設(shè)計(jì)、程序代碼、 數(shù)據(jù)源采集角本 滿(mǎn)足單元測(cè)試條件 76 項(xiàng)目情況匯報(bào):已完成里程碑 日期里程碑交付物描述 2009-1-20金融經(jīng)理考核系統(tǒng)需求分析金融經(jīng)理考核系統(tǒng)需求說(shuō)明書(shū)項(xiàng)目組通過(guò)分析原金融經(jīng)理考核系統(tǒng) 程序代碼分析其目前的功能需求。 2009-2-6數(shù)據(jù)平臺(tái)ODM,FDM模型設(shè)計(jì)完 成 ODM，F(xiàn)DM模型圖，數(shù)據(jù)結(jié) 構(gòu)文檔. 貼源數(shù)據(jù)層，整合數(shù)據(jù)層的模型設(shè)計(jì) 整理工作，完成了數(shù)據(jù)模型的部署， 滿(mǎn)足ETL開(kāi)發(fā)條件。 77 項(xiàng)目情況匯報(bào):近階段工作安排 結(jié)束日期工作內(nèi)容 2009-02-17FD