某FusionInsightLibrA案例(工商銀行MPPDB新數(shù)倉)課件

1、使用說明文檔名稱工商銀行FusionInsight LibrA成功案例 ( 一頁案例 + 詳版案例 )目的給客戶講解工商銀行成功使用FI LibrA打造下一代新數(shù)倉的成功故事受眾一頁版： 客戶CXO，戰(zhàn)略規(guī)劃部、市場部等早期拓展交流詳細(xì)版： 客戶的技術(shù)，規(guī)劃等部門交流關(guān)鍵信息工行背景和存在的問題華為FI LibrA方案設(shè)計項目實(shí)施效果版本記錄版本描述作者審批人V1.0LibrA 上市營銷材料, 首次版本上線. 黨張波 00330169詹才華 00255073 行銷; MKT; 研發(fā)如客戶需要提供此材料，請以PDF格式提供請務(wù)必刪除敏感信息，例如數(shù)字，客戶名稱，后面隱藏的備份頁面等部分信息放在了

2、每個頁面的備注里面，供講解人員參考工商銀行借助FusionInsight LibrA打造新一代融合數(shù)倉擴(kuò)容成本高：TD一體機(jī)架構(gòu)，價格昂貴，計算存儲擴(kuò)容成本高。時效性差：要求476個業(yè)務(wù)處理時間從10降到6小時易用性差：只支持兩代設(shè)備兼容，無法跨代；擴(kuò)容業(yè)務(wù)需停機(jī)將近一周時間工行的痛點(diǎn)和挑戰(zhàn)：華為提供的解決方案：統(tǒng)一架構(gòu)：通用x86服務(wù)器，設(shè)備利舊和高效水平擴(kuò)容統(tǒng)一SQL接口：通過LibrA on Hadoop特性直接訪問Hadoop上的數(shù)據(jù)在線擴(kuò)容：支持夸代硬件兼容，擴(kuò)容不停機(jī)等特性工行的收益：成本優(yōu)勢：軟硬件解耦，基于通用X86服務(wù)器避免Lock-in，支持跨代設(shè)備共存，最大化保護(hù)硬件投資

3、融合平臺： Hadoop 與 MPP 完全融合， 一套系統(tǒng)支持處理批量和聯(lián)機(jī)查詢混合負(fù)載架構(gòu)演進(jìn)： Cloud Ready， 支持面向未來混合云演進(jìn)一頁案例工商銀行FusionInsight LibrA新數(shù)倉成功案例華為大數(shù)據(jù)營銷團(tuán)隊30/ 04/ 2017詳版案例工商銀行背景介紹中國工商銀行向全球532萬公司客戶和4.96億個人客戶提供廣泛的金融產(chǎn)品和服務(wù)。連續(xù)三年位列銀行家全球1000家大銀行和美國福布斯全球企業(yè)2000強(qiáng)榜首。中國工商銀行是中國五大銀行之首，世界五百強(qiáng)企業(yè)之一，擁有中國最大的客戶群，是中國最大的商業(yè)銀行。 中國工商銀行是中國最大的國有獨(dú)資商業(yè)銀行，基本任務(wù)是依據(jù)國家的法律

4、和法規(guī)，通過國內(nèi)外開展融資活動籌集社會資金，加強(qiáng)信貸資金管理，支持企業(yè)生產(chǎn)和技術(shù)改造，為我國經(jīng)濟(jì)建設(shè)服務(wù)中國工商銀行（全稱：中國工商銀行股份有限公司，Industrial and Commercial Bank of China）簡稱ICBC ，成立于1984年1月1日。領(lǐng)導(dǎo)決策業(yè)務(wù)分析監(jiān)管報送BI服務(wù)區(qū)營銷理財交易系統(tǒng)區(qū)（OLTP）渠道日志交互控制層大機(jī)平臺對私存貸款業(yè)務(wù)1千萬筆交易/天對公存貸款業(yè)務(wù)2-3千萬筆交易/天基金開放平臺網(wǎng)上銀行手機(jī)/電話銀行金融市場（債券、票據(jù)）數(shù)據(jù)倉庫區(qū)數(shù)據(jù)集市區(qū)日志、文本、（大數(shù)據(jù)加工處理）文檔索引（信息檢索平臺）非結(jié)構(gòu)化數(shù)據(jù)Hadoop平臺PCRM個人客戶

5、管理管理客戶關(guān)系管理CCRM法人客戶管理管理下游數(shù)據(jù)集市GSIS全球統(tǒng)計信息系統(tǒng)風(fēng)險/審計報送CRA信用風(fēng)險分析CS2002綜合報表報表CAP資本報表MOVA績效系統(tǒng)績效HDM（Oracle，280TB）歷史數(shù)據(jù)管理系統(tǒng)獨(dú)立分析平臺數(shù)據(jù)服務(wù)總線（賬務(wù)數(shù)據(jù)）ETL平臺工行自建結(jié)構(gòu)化數(shù)據(jù)日志、網(wǎng)頁、影像、掃描等非結(jié)構(gòu)化向下游直接供 數(shù)據(jù)信用卡3-4億筆/結(jié)息日外部審計新型分析型業(yè)務(wù)客戶畫像/精準(zhǔn)營銷實(shí)時營銷反欺詐消費(fèi)信貸電子商務(wù)ATM柜員用戶網(wǎng)上銀行手機(jī)銀行1億筆交易/天電子商務(wù)數(shù)據(jù)倉庫是工行核心分析處理系統(tǒng)EDI（XX TB)，XX個月的數(shù)據(jù)，準(zhǔn)實(shí)時ODS（操作型數(shù)倉）批量加工集群EDW 1（X

6、XX TB)，7年的數(shù)據(jù)， 批量JobEDW 2（XXX TB)，7年的數(shù)據(jù)， 交互查詢Job分析挖掘集群ISFC (半配Exadata, 25TB)信貸統(tǒng)一查詢系統(tǒng)批量EDI與批量EDW對比批量 EDI批量 EDW數(shù)據(jù)量/作業(yè)數(shù)XX TB/ XXX 個作業(yè)XX T/ XXXX 個作業(yè)業(yè)務(wù)特點(diǎn)批處理系統(tǒng)，每天新增數(shù)據(jù) XX G，不保留歷史原數(shù)據(jù)；批處理系統(tǒng)，每天新增數(shù)據(jù) XXG，保留歷史原數(shù)據(jù)（最長7年）業(yè)務(wù)窗口數(shù)據(jù)隨到隨加載，0：009：00，業(yè)務(wù)繁忙期約4小時數(shù)據(jù)隨到隨加載，18：00T+1 22:00，業(yè)務(wù)繁忙期約1214小時數(shù)據(jù)特征貼源（和業(yè)務(wù)系統(tǒng)采用基本一致的結(jié)構(gòu)）;數(shù)據(jù)每年自然增長

7、約6%；面向主題的范式模型；數(shù)據(jù)每年自然增長約6%；SQL特點(diǎn)典型場景：1015張表關(guān)聯(lián)、聚集、復(fù)雜表達(dá)式、Insert/Select為主，寫入比例占比較大，讀寫比例2：13：1典型場景：2030張表關(guān)聯(lián)、聚集、復(fù)雜表達(dá)式、Insert/Select為主，寫入比例占比較大，讀寫比例2：13：1工行的需求與挑戰(zhàn)靈活性差批量任務(wù)與聯(lián)機(jī)交互任務(wù)分離，業(yè)務(wù)分析靈活性差時效性差EDI與EDW混合運(yùn)行，時效性差。工行要求EDI 85個核心作業(yè)從4.5小時降低到3小時完成，476作業(yè)端到端時間從10小時降低到6小時擴(kuò)容成本高400TB數(shù)據(jù)，擴(kuò)容需求強(qiáng)烈，Teradata節(jié)點(diǎn)擴(kuò)容成本高(20萬/TB)易用性差

8、1） 跨代設(shè)備兼容：TD只支持兩代設(shè)備兼容2） 在線擴(kuò)容：TD擴(kuò)容業(yè)務(wù)需停機(jī)將近一周時間；批量加工集群搬遷FusionInsight LibrA + 開放硬件解決方案4P4P4P4P管理節(jié)點(diǎn)ETL服務(wù)器計算節(jié)點(diǎn)X+2+2 物理組網(wǎng)EDW主要使用列存，IO隔離性更好，每個RAID部署2 DN節(jié)點(diǎn)故障后4*2 DN方式可以在安全組內(nèi)均分DN，即安全組大小=節(jié)點(diǎn)RAID數(shù)+1將來SSD/ADIO等特性會更好的隔離IO并節(jié)省內(nèi)存，更適合多DN部署設(shè)計原則EDI（70TB)，13個月的數(shù)據(jù)，準(zhǔn)實(shí)時ODS（操作型數(shù)倉）批量加工集群EDW 1（400TB)，7年的數(shù)據(jù)， 批量JobEDW 2（310TB)，

9、7年的數(shù)據(jù)， 交互查詢Job分析挖掘集群Teradata 平臺DATA LAKEFusionInsight HD系統(tǒng)組網(wǎng)方式80GE簡化匯聚層接入層10GE匯聚層接入層1、該方案本質(zhì)是FATTREE組網(wǎng)方式，為實(shí)現(xiàn)收斂比1：1，交換網(wǎng)絡(luò)層級每提高一層，帶寬增加一倍；2、左圖中每根加粗連接線代表80GE帶寬，即8臺物理機(jī)帶寬上限之和。接入層每單臺交換機(jī)下行帶寬160GE，上行帶寬160GE；匯聚層每單臺交換機(jī)接入帶寬320GE；3、右圖是簡化的FATTREE本質(zhì)；計算節(jié)點(diǎn)ETL/管理節(jié)點(diǎn)成本EDI批量庫標(biāo)準(zhǔn)x86服務(wù)器4*30：(2016年底擴(kuò)容到42臺)30臺 標(biāo)準(zhǔn)x86服務(wù)器2*12核（In

10、tel Xeon CPU 2.3GHz*2）512GB RAM900GB SAS硬盤 x 20（本地盤）2個萬兆網(wǎng)口OS: SUSE11.2標(biāo)準(zhǔn)x86服務(wù)器4*2：2臺標(biāo)準(zhǔn)x86服務(wù)器2*12核（Intel Xeon CPU 2.3GHz*2）128GB RAM160 T（SAN存儲）軟件成本：FusionInsight LibrA軟件報價模式：X萬元/TB硬件成本： XX標(biāo)準(zhǔn)x86服務(wù)器4 XX萬/臺*30，華為5885V3 XX萬/臺*60EDW批量庫標(biāo)準(zhǔn)x86服務(wù)器*60 CPU：4*15Core，2.8GHz內(nèi)存：1024G硬盤：20*900G SAS（本地盤）網(wǎng)卡：10GE標(biāo)準(zhǔn)x86

11、服務(wù)器4*2：2臺XX標(biāo)準(zhǔn)x86服務(wù)器2*12核（Intel Xeon CPU 2.3GHz*2）128GB RAM15 T硬盤 x 3（SAN存儲）華為LibrA + 開放硬件解決方案FusionInsight LibrA搬遷成本遠(yuǎn)低于TD擴(kuò)容成本兩個集群：外高橋30節(jié)點(diǎn)集群和嘉定60節(jié)點(diǎn)集群數(shù)據(jù)增長：EDI批量庫+ EDW批量庫：400TB； EDW分析庫：300TB，每年自然增長6%擴(kuò)容單價：20萬/TB2014年一次擴(kuò)容12節(jié)點(diǎn)，耗資 XX 億RMB工行20052014年采購Teradata總共耗資 XX 億RMBTD 擴(kuò)容解決方案FusionInsight LibrA 滿足客戶的要求

12、，并超出了客戶的期望作業(yè)名TD生產(chǎn)環(huán)境（秒）華為生產(chǎn)、列存20臺（秒）華為/TD生產(chǎn)運(yùn)行時間比率（%）E01_CUST_BELONG_INFO_A11702387633%PBM_CUST_PERMEABILITY_SUBSALY_A6350129320%PBM_CUST_PERMEABILITY_ALL_A16449237914%C01_INDV_CUST_LOAN_INFO_A444585319%CST_CUST_STRU_生產(chǎn)環(huán)境部分復(fù)雜作業(yè)處理性能對比（超過2000秒的作業(yè)）華為 (列存, 20臺）TD 工行要求EDI 85個核心作業(yè)的處理時間2.5小時4.5小

13、時4小時476 作業(yè)端到端的處理時間5.8小時（684個作業(yè) ) 10小時6小時EDI 核心作業(yè)處理性能對比FusionInsight LibrA方案亮點(diǎn)總結(jié)2 高性能SQL引擎數(shù)據(jù)倉庫核心作業(yè)性能超越TD30%3 高時效數(shù)據(jù)復(fù)制單節(jié)點(diǎn)外表導(dǎo)入速度700MB/S5 高效作業(yè)遷移一鍵式,圖形化,自動化SQL遷移，遷移后零調(diào)優(yōu)6 在線快速擴(kuò)容110T數(shù)據(jù)，20-32節(jié)點(diǎn)擴(kuò)容耗時僅需8小時4 Hadoop融合與Hadoop深度融合，透明訪問1 跨代設(shè)備兼容兼容通用x86硬件服務(wù)器工行大數(shù)據(jù)應(yīng)用范圍績效管理行內(nèi)多維度績效支持倉庫報表系統(tǒng)信貸業(yè)務(wù)統(tǒng)一查詢平臺提供單一產(chǎn)品線、渠道和各種業(yè)務(wù)關(guān)聯(lián)、客戶關(guān)聯(lián)的

14、信貸查詢功能分析師平臺基于數(shù)據(jù)倉庫的即時查詢分析師支持系統(tǒng)銀監(jiān)會監(jiān)管數(shù)據(jù)采集按照銀監(jiān)會的數(shù)據(jù)結(jié)構(gòu)規(guī)范，向銀監(jiān)會（局）報送監(jiān)管數(shù)據(jù)大數(shù)據(jù)服務(wù)企業(yè)數(shù)據(jù)集成（EDI）基于數(shù)據(jù)倉庫的批量計算系統(tǒng)全球統(tǒng)計信息系統(tǒng)匯總統(tǒng)計業(yè)務(wù)明細(xì)及指標(biāo)生成的報表系統(tǒng)EDW集群部署方案設(shè)計說明30臺5885（4P/1TB/20*900GB），后續(xù)會擴(kuò)展到60臺每個節(jié)點(diǎn)4個RAID（4D+1P），每個RAID 2個DNDN數(shù)=2*4*30=240（后續(xù)會擴(kuò)展到480 DN）每個安全組（圈）包含5個節(jié)點(diǎn)，共6個安全組節(jié)點(diǎn)宕機(jī)后其上8個DN飄移到組內(nèi)另外4個節(jié)點(diǎn)上，每個節(jié)點(diǎn)接收2DN，分別落在兩個RAID上設(shè)計理由EDW主要使用

15、列存，IO隔離性更好，因此每個RAID部署2 DN節(jié)點(diǎn)故障后4*2 DN方式可以在安全組內(nèi)均分DN，即安全組大小=節(jié)點(diǎn)RAID數(shù)+1將來SSD/ADIO等特性會更好的隔離IO并節(jié)省內(nèi)存，更適合多DN部署基于FusionInsight優(yōu)化數(shù)倉源系統(tǒng)數(shù)據(jù)交換平臺集成型數(shù)據(jù)區(qū)分析挖掘平臺匯總區(qū)基礎(chǔ)數(shù)據(jù)區(qū)集市區(qū)企業(yè)數(shù)據(jù)集成批量加工平臺企業(yè)數(shù)據(jù)集成基礎(chǔ)數(shù)據(jù)共享數(shù)據(jù)區(qū)歷史數(shù)據(jù)區(qū)臨時數(shù)據(jù)區(qū)非結(jié)構(gòu)化數(shù)據(jù)流處理平臺批量調(diào)度系統(tǒng)批量調(diào)度系統(tǒng)實(shí)時類 應(yīng)用數(shù)據(jù)集市（混合負(fù)載）績效信貸FusionInsight HDFusionInsight HDFusionInsight MPPFusionInsight MPPCD

16、C集市區(qū)GoldengateStormFlume上層應(yīng)用（BI類、監(jiān)管類）分析師展現(xiàn)平臺SAS1234FusionInsight LibrA倉庫1：XX標(biāo)準(zhǔn)x86服務(wù)器4*32CPU：2*10Core，2.8GHz內(nèi)存：512G硬盤：20*900G SAS網(wǎng)卡：10GE倉庫2：華為5885V3*60CPU：4*15Core，2.8GHz內(nèi)存：1024G硬盤：20*900G SAS網(wǎng)卡：10GE倉庫1：30+2+2管理節(jié)點(diǎn)ETL服務(wù)器計算節(jié)點(diǎn)1GE管理網(wǎng)10GE業(yè)務(wù)網(wǎng)倉庫2：60+2+22P2P2P2P4P4P4P4P物理部署架構(gòu)日志、文本、行為（大數(shù)據(jù)加工處理）文檔索引（信息檢索平臺）大數(shù)據(jù)大

17、數(shù)據(jù)平臺區(qū)（FusionInsight HD平臺）結(jié)構(gòu)化數(shù)據(jù)EDW歷史庫（7年）分析挖掘集群（310TB）批量加工集群EDW批量庫（7年）EDI（70TB）1EDW數(shù)據(jù)倉庫區(qū)（X86+FusionInsight MPP DB平臺）個人客戶管理客戶關(guān)系管理法人客戶管理境外客戶管理全球統(tǒng)計信息系統(tǒng)風(fēng)險/審計/報送風(fēng)險權(quán)重計量信用風(fēng)險分析利率管理系統(tǒng)綜合報表報表CAP資本報表前臺對賬類報表MOVA績效系統(tǒng)績效DM數(shù)據(jù)集市區(qū)（Oracle平臺50+）歷史數(shù)據(jù)查詢HDM（280TB）歷史數(shù)據(jù)管理系統(tǒng)ISFC信貸統(tǒng)一查詢系統(tǒng)EDI批量加工系統(tǒng)：數(shù)據(jù)預(yù)匯總、整合，向下游數(shù)據(jù)集市供數(shù)數(shù)據(jù)量：70T， 20 5

18、0+億級別大表join運(yùn)算量： 468+批處理任務(wù)新型互聯(lián)網(wǎng)應(yīng)用客戶畫像精準(zhǔn)營銷.批量加工集群2EDW分析挖掘系統(tǒng)：模型數(shù)據(jù)來自批量加工集群，少量數(shù)據(jù)預(yù)匯總、整合，數(shù)據(jù)供查詢分析、挖掘數(shù)據(jù)量：300T+運(yùn)算量： 500+批處理任務(wù)，并發(fā)查詢3SAS分析師平臺DASTD數(shù)倉卸載 (批量加工)(大額資金流動監(jiān)控，績效考核(產(chǎn)品)渠道日志交互控制層主機(jī)平臺對私存貸款業(yè)務(wù)對公存貸款業(yè)務(wù)基金理財信用卡開放平臺網(wǎng)上銀行信貸臺賬系統(tǒng)手機(jī)/電話銀行營銷系統(tǒng)保險電商/互聯(lián)網(wǎng)金融45EDW批量加工系統(tǒng)：數(shù)據(jù)模型整合，大量匯總運(yùn)算，支撐向下游數(shù)據(jù)集市數(shù)據(jù)量：400T， 20 50+億級別大表join運(yùn)算量： 200

19、00批處理任務(wù)采用大數(shù)據(jù)技術(shù)優(yōu)化數(shù)倉工行原有數(shù)據(jù)倉庫架構(gòu) 源 系 統(tǒng)（100+）數(shù)據(jù)交換平臺集成型數(shù)據(jù)區(qū)分析挖掘平臺（300TB）匯總區(qū)基礎(chǔ)數(shù)據(jù)區(qū)集市區(qū)批量加工平臺（400 TB）ODS分析師展現(xiàn)SAS、DAS數(shù)據(jù)集市運(yùn)營管理財務(wù)管理風(fēng)險管理監(jiān)管報表客戶管理績效考核匯總區(qū)基礎(chǔ)數(shù)據(jù)區(qū)集市區(qū)臨時區(qū) 集市區(qū)作業(yè)調(diào)度管理TeradataTeradata作業(yè)調(diào)度管理EDIEDWEDW臨時區(qū) 下游集市（50+）生產(chǎn)系統(tǒng)數(shù)據(jù)EDW數(shù)據(jù)流圖MainFrame/開放平臺110+源系統(tǒng)UDSGFT交易型數(shù)據(jù)區(qū)渠道日志交互控制層主機(jī)平臺對私存貸款業(yè)務(wù)對公存貸款業(yè)務(wù)基金對公客戶信息理財信用卡對公客戶信息開放平臺網(wǎng)上銀

20、行信貸臺賬系統(tǒng)手機(jī)/電話銀行營銷系統(tǒng)保險金融市場（債券、票據(jù)）ETL服務(wù)器General File Transfer,點(diǎn)到點(diǎn)文件傳輸和交換文件大?。?00MB GB數(shù)據(jù)峰值窗口：每天9點(diǎn)前數(shù)據(jù)增量：800GB/天SAS靈活查詢數(shù)據(jù)挖掘批量加工平臺Teradata批量加工平臺EDIPDMStage緩存層300GB/天，存7天SUM企業(yè)數(shù)據(jù)集成 50 TB基礎(chǔ)數(shù)據(jù)管理/模型整合4000+張表，142.8 TB數(shù)據(jù)存放7年匯總層 35.8 TB數(shù)據(jù)存放13個月Teradata分析挖掘平臺SUMStage緩存層300GB/天，存7天PDM匯總層 35TB數(shù)據(jù)存放13個月基礎(chǔ)數(shù)據(jù)管理/模型整合172 T

21、B，數(shù)據(jù)存放7年MART同步服務(wù)器集市 72TB庫內(nèi)集市區(qū) 142.6TBPCRM個人客戶管理管理客戶關(guān)系管理（3）CCRM法人客戶管理管理境外客戶關(guān)系管理GSIS全球統(tǒng)計信息系統(tǒng)風(fēng)險/審計/報送（40+）RWA風(fēng)險權(quán)重計量CRA信用風(fēng)險分析ALM利率管理系統(tǒng)PCCM信用評級外部審計CS2002綜合報表報表（5+）境外報表CAP資本報表前臺對賬類報表MOVA績效系統(tǒng)績效（1）2套滿配Exadata下游數(shù)據(jù)集市（50+系統(tǒng)，Oracle平臺，20TB/個）用戶數(shù)：500（總行、分行數(shù)據(jù)分析師）業(yè)務(wù)特征：靈活查詢，直接寫SQL，對優(yōu)化器智能要求極高查詢量：每月10萬次，高優(yōu)先級15個，中優(yōu)先級7個

22、，低優(yōu)先級5個，需要具備運(yùn)行時優(yōu)先級的負(fù)載管理資源控制機(jī)制，按CPU分配隊列資源響應(yīng)時間：95%的查詢在5分鐘之內(nèi)響應(yīng)，對性能要求高兼容性：要求數(shù)據(jù)庫與SAS系統(tǒng)兼容數(shù)據(jù)量：400TB+數(shù)據(jù)表：5000+批處理作業(yè)：20000+作業(yè)并發(fā)：60+業(yè)務(wù)特征：20+ 50+ 億級別大表join，10分鐘跑完，對優(yōu)化器、執(zhí)行器性能要求極高資源控制：高并發(fā)并發(fā)響應(yīng)時間：1、EDI時效要求高，在T日6-9點(diǎn)跑完。2、EDW在T日12點(diǎn)T+1，月末要T+2/3。文本接口ETL調(diào)度交換United Data Switch, 共享數(shù)據(jù)交換200+應(yīng)用系統(tǒng)接入每天50萬文件,5TB容量級別，超過7天數(shù)據(jù)歸檔文件大

23、小： 80% 10M以下文件；20% 10M以上文件數(shù)據(jù)峰值窗口：每天9點(diǎn)前ETL工具：自研，集成了TD的TPT，F(xiàn)astloadETL服務(wù)器: 4臺，外接共享存儲DAS靈活查詢用戶數(shù)：2000+（總行、分行IT部門）業(yè)務(wù)特征：靈活查詢，直接寫SQL，對優(yōu)化器智能要求極高并發(fā)數(shù)：10%響應(yīng)時間：基于查詢數(shù)據(jù)量大小，秒級、分鐘級、小時級都有分析挖掘平臺文本接口百M(fèi)B GBBI工具：Cognos用戶數(shù)：10000+（業(yè)務(wù)人員）業(yè)務(wù)特征：報表查詢展示EDIEDWMARTMARTEDW生產(chǎn)系統(tǒng)組網(wǎng)方式58855885588558855885588558855885匯聚交換機(jī)(主)管理網(wǎng)絡(luò)5885588

24、5588558855885588558855885接入交換機(jī)(備)匯聚交換機(jī)(備)管理網(wǎng)絡(luò)接入交換機(jī)(主)58855885588558855885588558855885管理網(wǎng)絡(luò)588558855885588558855885ETLETL接入交換機(jī)(備)管理網(wǎng)絡(luò)接入交換機(jī)(主)30節(jié)點(diǎn)方案組網(wǎng)部署示意圖(60節(jié)點(diǎn)方案需要增加4臺接入交換機(jī)，2主2備，接入?yún)R聚交換機(jī))40GE40GE40GE40GE10GE10GE10GE10GE10GE10GE10GE10GEGEGEGE匯聚交換機(jī)(主)匯聚交換機(jī)(備)匯聚交換機(jī)：接入交換機(jī)(主)接入交換機(jī)(備)接入交換機(jī)：40GE接線(業(yè)務(wù)網(wǎng)) ：主備10G

25、E接線(業(yè)務(wù)網(wǎng)) ：主備GE接線(管理網(wǎng))：EDW基礎(chǔ)層算法Page 22算法類型算法含義針對源表類型APPENDINSERT明細(xì)類F1全刪全加參數(shù)類F2UPDATE&INSERT明細(xì)類F3標(biāo)準(zhǔn)型歷史拉鏈（支持每日增量數(shù)據(jù)）分戶帳以及有需要拉鏈的表F4經(jīng)濟(jì)型歷史拉鏈（支持?jǐn)?shù)據(jù)信息為0或”）分戶帳以及有需要拉鏈的表F5全量型歷史拉鏈（支持每日全量數(shù)據(jù)）分戶帳以及有需要拉鏈的表F6全主鍵歷史拉鏈分戶帳以及有需要拉鏈的表F7自拉鏈分戶帳以及有需要拉鏈的表典型歷史拉鏈表算法1、采集當(dāng)日全量數(shù)據(jù)到ND(NewDay)表；2、可從歷史表中取出昨日全量數(shù)據(jù)存儲到OD(OldDay)表;3、(ND-OD)就是

26、當(dāng)日新增和變化的數(shù)據(jù)，也就是當(dāng)天的增量，用W_I表示；4、(OD-ND)為狀態(tài)到此結(jié)束需要封鏈的數(shù)據(jù)，用W_U表示；5、將W_I表的內(nèi)容全部插入到歷史表中，這些是新增記錄，start_date為當(dāng)天，而end_date為max值；6、對歷史表進(jìn)行W_U部份的更新操作，start_date保持不變，而end_date改為當(dāng)天，也就是關(guān)鏈操作；財務(wù) 資產(chǎn)當(dāng)事人區(qū)域地理區(qū)域，物理的或電子的地址單個人或一組人事件會導(dǎo)致同客戶達(dá)成合同的金融或非金融的事件內(nèi)部組織金融機(jī)構(gòu)或保險公司內(nèi)部的業(yè)務(wù)單元協(xié)議在客戶和金融機(jī)構(gòu)之間達(dá)成的關(guān)于特定產(chǎn)品的協(xié)議產(chǎn)品一種可以在市場上交易的產(chǎn)品或服務(wù)，包括條款或條件行銷活動為了

27、獲取、挽留客戶或提高用戶的使用率而采取的戰(zhàn)略、計劃或促銷活動渠道客戶和金融機(jī)構(gòu)或保險公司進(jìn)行接觸的途徑企業(yè)內(nèi)部的會計系統(tǒng)當(dāng)事人所有的具有價值且能夠獲得受益的事物模型按第三范式進(jìn)行設(shè)計，按主體模型組織，先劃分10個主題：協(xié)議、渠道、地域、機(jī)構(gòu)、客戶、產(chǎn)品、營銷活動、事件、財務(wù)、客戶資產(chǎn)保存周期：按照巴塞爾協(xié)議的要求，結(jié)合工行數(shù)據(jù)實(shí)際情況，制定的數(shù)據(jù)保留周期最長為7年EDW基礎(chǔ)層模型 - 區(qū)域主題模型EDW匯總/集市層作業(yè)范例匯總計算作業(yè)（匯總層）：CST_CUST_STRU_A作業(yè)步驟：-插入逾期客戶全部扣款情況的記錄-插入逾期客戶聯(lián)動部分扣收的記錄-插入逾期客戶未成功扣收的記錄-插入逾期客戶還款失敗的記錄-插入逾期客戶還款賬戶為空的記錄-插入借記卡-借記卡介質(zhì)表-網(wǎng)點(diǎn)-逸貸目標(biāo)客戶-逸貸額度使用率單獨(dú)對逸貸總額度-星級客戶主要目標(biāo)：逸貸客戶結(jié)構(gòu)情況統(tǒng)計指標(biāo)計算作業(yè)（集市層）：M01_CRDT_CUST_CAP_TRAN_LOAN_A作業(yè)步驟：-取當(dāng)月放款貸款信息-取當(dāng)月放款賬