銀行數(shù)據(jù)中心應(yīng)用平臺建設(shè)方案

1、銀行數(shù)據(jù)中心應(yīng)用平臺建設(shè)方案 項目背景與挑戰(zhàn)總體方案架構(gòu)方案建設(shè)要點項目實施計劃方案總結(jié)和案例分享展示與討論議題商業(yè)銀行在IT建設(shè)上成就卓著，但是近年來和其它城商行一樣需要對IT尤其是數(shù)據(jù)應(yīng)用和管理進行優(yōu)化以適應(yīng)業(yè)務(wù)的快速發(fā)展和市場變化，我們認為需從應(yīng)用、系統(tǒng)、管理三大方面逐一突破，通過建設(shè)數(shù)據(jù)中心平臺，并增強實施數(shù)據(jù)治理來提升對經(jīng)營管理分析的支撐應(yīng)用突破系統(tǒng)突破管理突破需求多了數(shù)據(jù) 不一致時間短了壓力大了資源緊張擴容難了系統(tǒng)分散整合難了數(shù)據(jù)孤島數(shù)據(jù)冗余應(yīng)用講效果投資要效益面臨挑戰(zhàn)突破方向戰(zhàn)術(shù)目標(biāo)構(gòu)建數(shù)據(jù)中心平臺，增強數(shù)據(jù)治理應(yīng)對手段本項目的目的是立足于全行數(shù)據(jù)治理的基礎(chǔ)之上，整合所有業(yè)務(wù)系統(tǒng)

2、的源數(shù)據(jù)，準確完整地分析商業(yè)銀行現(xiàn)有的數(shù)據(jù)、流向以及數(shù)據(jù)使用標(biāo)準，建設(shè)一套高數(shù)據(jù)標(biāo)準、高數(shù)據(jù)質(zhì)量、高可用、高性能、高穩(wěn)定的數(shù)據(jù)中心系統(tǒng)，為各個業(yè)務(wù)部門的管理分析提供統(tǒng)一而且完整的數(shù)據(jù)支持，為今后各個面向主題的分析型應(yīng)用的開發(fā)建設(shè)提供數(shù)據(jù)基礎(chǔ)和技術(shù)基礎(chǔ)。數(shù)據(jù)中心應(yīng)用平臺不是一個單一項目，需要一系列項目按照規(guī)劃漸進上行，IBM從四個方面來進行項目的規(guī)劃與路線圖的定制，這樣才能保證項目投資的連續(xù)性和良好的投資回報率項目劃分及優(yōu)先級對業(yè)務(wù)戰(zhàn)略及業(yè)務(wù)運營的支持對管理改進的支持對其它IT系統(tǒng)的影響項目實施緊急程度項目所需的資源，包括實施服務(wù)、硬件和軟件投資，IT與業(yè)務(wù)人員投入等項目實施所需的管理、業(yè)務(wù)和技

3、術(shù)能力業(yè)務(wù)的準備度項目實施難度技術(shù)與方案成熟度變革的管理難度項目利益分析項目所需資源與能力項目風(fēng)險分析項目內(nèi)部的關(guān)系，包括系統(tǒng)模塊間和實施業(yè)務(wù)單元間的依賴及主從關(guān)系項目之間的實施依賴關(guān)系項目之間的依賴關(guān)系價值提升時間1 2 年8 11個月8個月前期：平臺建設(shè)數(shù)據(jù)倉庫平臺建設(shè)元數(shù)據(jù)管理平臺數(shù)據(jù)質(zhì)量管理平臺分析型應(yīng)用門戶建立基礎(chǔ)業(yè)務(wù)報表原有分析系統(tǒng)數(shù)據(jù)遷移中期：深化業(yè)務(wù)分析深化報表平臺綜合統(tǒng)計分析與KPI監(jiān)控客戶價值分析風(fēng)險計量與監(jiān)控產(chǎn)品創(chuàng)新支撐遠期：企業(yè)戰(zhàn)略全面風(fēng)險管理高端業(yè)務(wù)分析提升決策支持客戶關(guān)系管理Basel II數(shù)據(jù)管理資產(chǎn)負債管理報表功能增強KPI梳理與計量經(jīng)濟資本計量客戶細分風(fēng)險計量

4、統(tǒng)一視圖平臺建設(shè)分析型門戶建立2 3 年根據(jù)我們所理解的商業(yè)銀行當(dāng)前所面臨的問題和業(yè)務(wù)部門的需求，我們建議參考如下的數(shù)據(jù)中心應(yīng)用平臺實施規(guī)劃本期建設(shè)的重點目標(biāo)管理駕駛艙 充分利用數(shù)據(jù)中心應(yīng)用平臺的建設(shè)成果，建立全面、便捷、直觀的關(guān)鍵經(jīng)營指標(biāo)展示平臺，以壓力表盤、雷達圖等多種方式直觀的顯示企業(yè)關(guān)鍵經(jīng)營指標(biāo)，為高層管理提供一站式?jīng)Q策信息服務(wù)對象銀行決策層展示內(nèi)容全行的關(guān)鍵指標(biāo)（KPIs)展示手段時間、機構(gòu)維度歷史趨勢、機構(gòu)排位計劃完成情況、預(yù)警業(yè)務(wù)財務(wù)風(fēng)險客戶關(guān)鍵經(jīng)營指標(biāo)包含采用價值樹的KPI體系梳理方法，梳理出符合商業(yè)銀行業(yè)務(wù)的關(guān)鍵指標(biāo)體系示例管理駕駛艙專頁示例行長首頁：將行長最關(guān)心的業(yè)務(wù)指標(biāo)以

5、非常直觀的方式在一個頁面上進行集中展現(xiàn)，讓行長能夠快速、全面的掌握銀行的經(jīng)營狀況。并且這些頁面我們可以在移動終端上進行脫機訪問各分支行經(jīng)營狀況經(jīng)濟資本指標(biāo)趨勢存貸比儀表盤產(chǎn)品回報率排名客戶前十回排名示例以統(tǒng)一數(shù)據(jù)架構(gòu)，統(tǒng)一展現(xiàn)交互，統(tǒng)一需求管理三個統(tǒng)一為核心思想構(gòu)建統(tǒng)一的報表平臺，提升數(shù)據(jù)報表的質(zhì)量，用戶體驗和收益整合系統(tǒng)依托現(xiàn)有系統(tǒng)強大的數(shù)據(jù)加工能力，將分散于系統(tǒng)中的報表統(tǒng)計信息進行集中化信息協(xié)同分離報表的管理和加工運算過程，將報表的分類、定義、指標(biāo)口徑等信息分離出來 ，形成面向業(yè)務(wù)需求統(tǒng)一的報表管理中心智慧決策積累客戶認識、市場分析等過程中的智慧，在整合之后，輔以先進的IT技術(shù)手段，向分析

6、性報表平臺過度項目背景與挑戰(zhàn)總體方案架構(gòu)方案建設(shè)要點項目實施計劃方案總結(jié)和案例分享展示與討論議題整體架構(gòu)概念模型參考最佳實踐和參考架構(gòu)，制定商業(yè)銀行數(shù)據(jù)平臺的總體技術(shù)架構(gòu)方案，從應(yīng)用架構(gòu)、數(shù)據(jù)架構(gòu)、ETL架構(gòu)和管控架構(gòu)等幾個方面設(shè)計入手，達到完整、全面、詳細的要求，可全程直接指導(dǎo)項目的具體實施靈活的架構(gòu)與集成方案友好的用戶操作和體驗可落地的管控實施辦法先進的軟件工具和平臺整體架構(gòu)組件模型概覽業(yè)務(wù)分析數(shù)據(jù)分析發(fā)現(xiàn)數(shù)據(jù)特征試圖解釋和說明數(shù)據(jù)特征聲明數(shù)據(jù)應(yīng)該遵循的規(guī)則利用數(shù)據(jù)對聲明的數(shù)據(jù)規(guī)則進行驗證質(zhì)量內(nèi)容結(jié)構(gòu)有價值的數(shù)據(jù)源分析過程是需要數(shù)據(jù)分析與業(yè)務(wù)分析相結(jié)合的過程借鑒標(biāo)準數(shù)據(jù)模型落地的經(jīng)驗完成商

7、業(yè)銀行數(shù)據(jù)標(biāo)準的模型化，數(shù)據(jù)模型是數(shù)據(jù)標(biāo)準落地的產(chǎn)物，是基于商業(yè)銀行的數(shù)據(jù)的數(shù)據(jù)標(biāo)準的體現(xiàn)，要符合商業(yè)銀行現(xiàn)有數(shù)據(jù)的標(biāo)準體系和要求 全行統(tǒng)一數(shù)據(jù)標(biāo)準企業(yè)級數(shù)據(jù)模型應(yīng)用級數(shù)據(jù)模型1.數(shù)據(jù)標(biāo)準實施方案建議2.數(shù)據(jù)標(biāo)準實施演進路線3.數(shù)據(jù)標(biāo)準數(shù)據(jù)質(zhì)量檢驗4.數(shù)據(jù)標(biāo)準執(zhí)行差異5.數(shù)據(jù)標(biāo)準日常問題收集標(biāo)準落地的思路和流程各類模版和系統(tǒng)不斷的反饋和評估增強標(biāo)準的生命力，并使標(biāo)準適應(yīng)業(yè)務(wù)的發(fā)展需要數(shù)據(jù)標(biāo)準模型化過程一般分為四個步驟，1）數(shù)據(jù)標(biāo)準到概念模型，2）概念模型到邏輯模型，3）物理模型建立，4）ETL和應(yīng)用的映射，這期間邏輯模型是核心，即要從業(yè)務(wù)角度體現(xiàn)數(shù)據(jù)標(biāo)準，又能滿足數(shù)據(jù)中心靈活可擴展的需求為了能

8、夠更方便快捷地從分析應(yīng)用系統(tǒng)中抽取所需要的信息進行全面、綜合、靈活多樣的查詢和分析，支持決策分析，就需要重新有效地組織原有業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)，滿足以下要求，這就是邏輯數(shù)據(jù)模型的引入邏輯數(shù)據(jù)模型（Logical Data Model）是一種圖形的展現(xiàn)方式，采用面向主題的方法有效組織來源多樣的各種業(yè)務(wù)數(shù)據(jù)，同時能全面反映復(fù)雜的業(yè)務(wù)規(guī)則，支持大量的分析應(yīng)用。邏輯數(shù)據(jù)模型使用統(tǒng)一的邏輯語言描述業(yè)務(wù)，是數(shù)據(jù)管理的分析工具和交流的有力手段；同時還能夠很好地保證數(shù)據(jù)的一致性，是實現(xiàn)業(yè)務(wù)智能（Business Intelligence）的重要基礎(chǔ)。模型物理化是基于模型工具導(dǎo)出的物理模型。制定統(tǒng)一的命名規(guī)范，標(biāo)準

9、字段、根據(jù)DB2/DPF 特性 指定表實體的存儲空間、分區(qū)鍵、主鍵、索引工具化的模型設(shè)計使用流程圖數(shù)據(jù)源業(yè)務(wù)分析引入?yún)⒖寄Ｐ偷慕９ぞ呓９ぞ咦詣虞敵龅腅rwin數(shù)據(jù)模型映射工具自動輸出的ETL Mapping結(jié)果基于ETL Mapping結(jié)果自動生成的DS Job數(shù)據(jù)源分析結(jié)果導(dǎo)入建模工具中在建模工具中完成邏輯和物理數(shù)據(jù)模型的設(shè)計工作在ETL映射工具中完成數(shù)據(jù)源到數(shù)據(jù)模型的ETL Mapping工作輸出Erwin數(shù)據(jù)模型輸出ETL Mapping結(jié)果基于ETL Mapping結(jié)果自動生成DataStage Job模版銀行業(yè)務(wù)和數(shù)據(jù)結(jié)構(gòu)復(fù)雜，應(yīng)該采用專業(yè)的ETL工具和具有豐富實施經(jīng)驗的團隊，E

10、TL是數(shù)據(jù)倉庫建設(shè)中最為繁重，與倉庫建設(shè)效率最密切的核心開發(fā)內(nèi)容，我們在長期的數(shù)據(jù)倉庫項目實施中積累了大量的最佳實踐并將其有機的用于各種數(shù)據(jù)處理的項目實施過程中綜合展現(xiàn)平臺功能概覽應(yīng)用功能（業(yè)務(wù)用戶）業(yè)務(wù)報表監(jiān)控上報查看報表報表管理（管理員，IT，業(yè)務(wù)用戶）報表定制報表上傳系統(tǒng)管理（管理員）菜單管理角色管理部門維護機構(gòu)維護機構(gòu)匯總關(guān)系設(shè)置外匯折算率維護數(shù)據(jù)維護（管理員，業(yè)務(wù)用戶）報表修改用戶管理綜合展現(xiàn)平臺組管理管理報表報表覆蓋報表狀態(tài)報表審批參數(shù)維護公告維護監(jiān)管報表即席查詢我的收藏夾換膚介紹修改密碼查看公告 查詢報表 以PDF格式查看 導(dǎo)出為EXCEL 導(dǎo)出為CSV 打印報表報表信息管理數(shù)據(jù)

11、模型會話時長設(shè)置在線人員監(jiān)控用戶權(quán)限查詢 目錄權(quán)限 數(shù)據(jù)權(quán)限日志查詢 系統(tǒng)操作日志 報表明細日志快速查詢綜合報表平臺展現(xiàn)案例建議的物理架構(gòu)方案如下：根據(jù)當(dāng)前業(yè)務(wù)系統(tǒng)存量數(shù)據(jù)，以及項目數(shù)據(jù)容量的需求，我們依據(jù)IBM BCU方案，配置2臺P750服務(wù)器作為數(shù)據(jù)倉庫服務(wù)器，兩臺服務(wù)器相互HA。兩臺PC Server作為平臺管控服務(wù)器。 DB2 Interconnect磁盤陣列DS5300(21T)SAN交換機 P750A PC Server2CPU4G MEM備份/系統(tǒng)監(jiān)控服務(wù)器磁帶庫利用已有PC Server可考慮利用已有的SAN和存儲利用已有磁帶庫配置兩臺P750，目的是實現(xiàn)HA，避免單點故障，

12、未來可進行垂直和水平擴展。P750B 文件服務(wù)器，平臺管控服務(wù)器數(shù)據(jù)倉庫服務(wù)器InfoSphere Warehouse16C64G16C64G HAPC Server A4Core32G MEMPC Server B4Core32G MEM HA項目背景與挑戰(zhàn)總體方案架構(gòu)方案建設(shè)要點項目實施計劃方案總結(jié)和案例分享展示與討論議題數(shù)據(jù)質(zhì)量提升：數(shù)據(jù)中心應(yīng)用平臺將構(gòu)建質(zhì)量檢測機制，識別源數(shù)據(jù)當(dāng)中存在的各種數(shù)據(jù)質(zhì)量問題，并根據(jù)預(yù)訂的規(guī)則解決質(zhì)量問題，如總分不平等。對于無法根據(jù)規(guī)則解決的問題，將按照數(shù)據(jù)質(zhì)量管理流程反饋給相關(guān)人員。數(shù)據(jù)質(zhì)量監(jiān)測機制數(shù)據(jù)質(zhì)量評估維度Cust# CustName Gender

13、 Comments001 Smith M Frequent002 Jones F New003 Watson F 004 Terrance U Canadien005 Phillips M 004 Gabriel M Existing有效性唯一性 完整性一致性可用性 準確性精確性Enterprise Definition LOB Definition 1LOB Definition 2LOB Definition .n數(shù)據(jù)質(zhì)量規(guī)則 & 結(jié)果數(shù)據(jù)質(zhì)量檢查規(guī)則1通過數(shù)據(jù)質(zhì)量管理流程確定增加數(shù)據(jù)質(zhì)量檢查內(nèi)容記錄檢查表級檢查業(yè)務(wù)指標(biāo)檢查4質(zhì)檢腳本文件ETL服務(wù)器2文件校驗報告記錄檢驗報告表檢驗報告指標(biāo)

14、檢驗報告手工質(zhì)檢報告56文件檢查文件記錄檢查3業(yè)務(wù)數(shù)據(jù)標(biāo)準&規(guī)則總分核對平衡檢查其它業(yè)務(wù)規(guī)則建設(shè)數(shù)據(jù)質(zhì)量管理問題跟蹤平臺，實現(xiàn)端到端的溝通和管理，數(shù)據(jù)質(zhì)量問題定位到人，解決過程流程化，解決成果文檔化，提升數(shù)據(jù)質(zhì)量解決的效率和效果數(shù)據(jù)質(zhì)量管理平臺記錄了所有數(shù)據(jù)質(zhì)量問題解決的過程下一個責(zé)任人數(shù)據(jù)質(zhì)量問題的描述數(shù)據(jù)質(zhì)量問題解決流程啟動 問題管理報表、分析數(shù)據(jù)集市數(shù)據(jù)倉庫ETL過程數(shù)據(jù)源數(shù)據(jù)輪廓分析數(shù)據(jù)的影響力分析技術(shù)元數(shù)據(jù)管理方案：構(gòu)建技術(shù)元數(shù)據(jù)管理平臺，提供對數(shù)據(jù)的影響力分析和血緣分析，提高數(shù)據(jù)質(zhì)量，降低系統(tǒng)開發(fā)、維護工作量。集成企業(yè)調(diào)度，元數(shù)據(jù)管理，數(shù)據(jù)質(zhì)量管理過程的統(tǒng)一的數(shù)據(jù)倉庫管控平臺統(tǒng)一的

15、數(shù)據(jù)倉庫管控平臺同時集成數(shù)據(jù)倉庫統(tǒng)一調(diào)度監(jiān)控平臺，為運營維護人員和系統(tǒng)開發(fā)人員提供統(tǒng)一一致的日常工作平臺演示移動BI，IBM Cognos Mobile簡介 IBM Cognos Active Report新的交互式可快速響應(yīng)的靜態(tài)報表類型.關(guān)鍵能力快速的交互式的儀表盤可以保存為MHT 應(yīng)用，允許離線使用可調(diào)度和分發(fā)給廣泛的各種類型的用戶Active Report對于瀏覽器的要求：至少Microsoft Internet Explorer 7 版本以上如果使用Firefox查看需安裝UnMHT附加組件IBM Cognos Mobile在IPAD上的使用IBM Cognos Mobile界面IB

16、M Cognos MobileIBM Cognos Mobile歡迎界面，含用戶登陸和注銷功能我的Ipad上的報表列出報表查看歷史，可迅速導(dǎo)航到常查看的報表，也可對其管理獲取更多報表登陸到 IBM Cognos Connection查看服務(wù)器上的報表，系統(tǒng)自動將查看過的報表保存到本地IBM Cognos Mobile在Iphone等移動終端上的使用 查看報表項目背景與挑戰(zhàn)總體方案架構(gòu)方案建設(shè)要點項目實施計劃方案總結(jié)和案例分享展示與討論議題在項目開展四個半多月左右，需求、規(guī)劃、建模階段結(jié)束。此時，后續(xù)的項目需求已經(jīng)很明確、技術(shù)路線也已經(jīng)規(guī)劃清晰。在項目啟動6個月左右，項目的所有開發(fā)和單元測試工作

17、都已經(jīng)結(jié)束，開始啟動系統(tǒng)集成測試工作Activities12345678（月）統(tǒng)一報表平臺ETL開發(fā)，單元測試模型設(shè)計規(guī)劃及設(shè)計數(shù)據(jù)源分析需求分析項目管理指標(biāo)體系移動駕駛艙倉庫管控平臺集成測試UAT及上線開發(fā)結(jié)束建模結(jié)束SIT結(jié)束上線數(shù)據(jù)中心平臺項目實施周期長，涉眾多，需要成熟的實施方法論支持。數(shù)據(jù)倉庫方法論涵蓋了項目管理、風(fēng)險管理和實施流程相關(guān)的所有內(nèi)容階段活動任務(wù)角色項目制品或提交物技術(shù)白皮書項目背景與挑戰(zhàn)總體方案架構(gòu)方案建設(shè)要點項目實施計劃方案總結(jié)和案例分享展示與討論議題銀行數(shù)據(jù)倉庫解決方案整合多年銀行數(shù)據(jù)倉庫建設(shè)領(lǐng)域的多方資產(chǎn)，包括特定的業(yè)務(wù)的解決方案、成熟的軟硬件平臺、先進的數(shù)據(jù)計算

18、引擎、友好的用戶體驗Information ServerInformation ServerBanking Data Warehouse Model預(yù)設(shè)的靈活、可以適應(yīng)國內(nèi)銀行現(xiàn)狀的應(yīng)用模版適合國內(nèi)銀行的豐富、靈活的管理層儀表盤、分析模板和報表+可客戶化的適合國內(nèi)銀行的先進的數(shù)據(jù)倉庫模型+業(yè)界領(lǐng)先的軟硬件技術(shù)全球銀行業(yè)最佳實踐經(jīng)驗整合的優(yōu)秀解決方案+Information Server將存儲、處理、數(shù)據(jù)庫和分析融入到一個高性能數(shù)據(jù)倉庫設(shè)備+Data Warehouse一個成功的數(shù)據(jù)倉庫平臺包含眾多致勝因素, 軟件實驗室服務(wù)團隊實施了大量的數(shù)據(jù)質(zhì)量項目，并在項目實施過程中積累了大量的可重用的資產(chǎn)，可加速項目的實施和提升實施質(zhì)量數(shù)據(jù)倉庫平臺項目項目規(guī)劃項目路線圖項目計劃項目實施方法常規(guī)管理與風(fēng)險控制經(jīng)驗和項目資產(chǎn)復(fù)用ETL流程設(shè)計ETL MappingETL調(diào)度設(shè)計ETL開發(fā)管理數(shù)據(jù)標(biāo)準數(shù)據(jù)模型物理模型元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理平臺管理平臺監(jiān)控軟硬件維護架構(gòu)規(guī)劃架構(gòu)設(shè)計參考架構(gòu)軟件方案硬件平臺軟硬件拓撲IBM行業(yè)解決方