銀行大數(shù)據(jù)應(yīng)用場景設(shè)計

1、Ingenuine Presentation銀行大數(shù)據(jù)應(yīng)用場景設(shè)計Hadoop World 2016 /GTC 2016 分享大數(shù)據(jù)10年零售銀行：1000倍數(shù)據(jù)庫提速的故事介紹我們的工作我們所理解智能服務(wù)機器人匯報我們的想法內(nèi)容提要Hadoop World 2016+GTC 2016 所見 所聞 所遇 所惑 所思 所期望圣何塞拾零我們在哪里？硅谷中央城市：圣何塞Strat Hadoop 2016： Hadoop World所見所聞所思所望Hadoop world 所見之一每天200多場各種報告 豐富多彩展覽會更趨娛樂 多種多樣數(shù)據(jù)庫領(lǐng)袖企業(yè)黯然謝幕互聯(lián)網(wǎng)大佬企業(yè)悉數(shù)缺席灌木生態(tài)逐漸形成Had

2、oop world 所思之二大數(shù)據(jù)的基本技術(shù)體系已經(jīng)建立，應(yīng)用時代到來革命已經(jīng)階段完成打垮了一個舊時代建立了新的數(shù)據(jù)文化：開源、廉價、去中心、分享Hadoop world 所聞：幾個報告三菱銀行； 用Hadoop重建數(shù)據(jù)倉庫英國電信： 用Hadoop進(jìn)行數(shù)據(jù)集成通用電氣：建立以大數(shù)據(jù)的企業(yè)文化Linkined：傾聽每個用戶的心聲Hadoop world 所思之三解決應(yīng)用問題是這個階段的主要使命技術(shù)等待另外一場革命：HPC應(yīng)用期待著另外一場革命：AIHadoop world 所思之四不會在新老體系之間再纏綿憂郁不要再在架構(gòu)上描寫圖畫不要再工具平臺之間在糾纏提高應(yīng)用水平是很多企業(yè)的核心任務(wù)Hado

3、op World 2016 /GTC 2016 分享大數(shù)據(jù)10年零售銀行：1000倍數(shù)據(jù)庫提速的故事介紹我們的工作我們所理解智能服務(wù)機器人匯報我們的想法內(nèi)容提要零售銀行的故事GPU加速數(shù)據(jù)查詢：1000倍提速銀行擁有大數(shù)據(jù)，而且很大數(shù)據(jù)大了 頭也大銀行數(shù)據(jù)有多大典型的中國省級銀行，中國最少有300個5千萬客戶，9千萬客戶10億次交易 (不包括上網(wǎng)日志記錄)繼續(xù)102030405060708090100102030405060708090100賬戶統(tǒng)計指標(biāo)產(chǎn)品和賬戶客戶資料渠道和交易客戶交往記錄others每個客戶經(jīng)理的業(yè)績指標(biāo)營銷團(tuán)隊業(yè)績指標(biāo)市場信息競爭記錄銷售機會和線索風(fēng)險管理其他ABCDE

4、FG銀行業(yè)務(wù)運營的數(shù)據(jù)衍生指標(biāo) 乘法典型統(tǒng)一客戶視圖規(guī)模5千萬行 乘以 5000 列財務(wù)和風(fēng)險指標(biāo)網(wǎng)絡(luò)數(shù)據(jù)查詢太慢了 即使購買RS6000 高端機器，獲得客戶統(tǒng)一視圖也需要10分鐘，但是一個銀行的客戶經(jīng)理有2萬個，更不要說更復(fù)雜的分析了。傳統(tǒng)IT架構(gòu)支撐應(yīng)付報表，在大數(shù)據(jù)環(huán)境下無法應(yīng)對實時隨機查詢，更不要說實時客戶行為分析了。等等案例，苦惱不已成本太高了主機廠商和存儲廠商高興壞了，客戶不高興04The Products數(shù)據(jù)倉庫過去20年 IBM, Oracle and Teradata 一致教育客戶構(gòu)建數(shù)據(jù)倉庫，但是怎么樣呢？數(shù)據(jù)倉庫有了，數(shù)據(jù)多了，應(yīng)用還是報表到報表報表只能提供宏觀狀態(tài)，無法

5、指導(dǎo)客戶經(jīng)理營銷和完成任務(wù)20小時20小時10分鐘Extract ,transform and Load into data warehouse5 RS/ 6000 7 seriesFor every customerEvery customers managerEvery teamsEvery product lineJoin all the data from every Account historyEvery channelsEvery pre-calculated Dimentional statistics All channel contact and relationship

6、recordETL基本統(tǒng)計數(shù)據(jù)在線服務(wù):典型需求客戶統(tǒng)一視圖和客戶篩選事實: 所有的動作都慢即使購買昂貴的IBM/EMC設(shè)備，升級DB2/Oracle 采集系統(tǒng)框架映射定義計劃調(diào)度采集執(zhí)行錯誤控制業(yè)務(wù)系統(tǒng)ODS數(shù)據(jù)其他數(shù)據(jù)CRM數(shù)據(jù)系統(tǒng)ECIF基本信息管理客戶信息組織機構(gòu)管理信息息相互關(guān)系嘻嘻你產(chǎn)品銷售記錄管理服務(wù)關(guān)聯(lián)關(guān)聯(lián)關(guān)聯(lián)流水明細(xì)賬戶歷史變動客戶關(guān)系記錄數(shù)據(jù)模型： 10個領(lǐng)域基本信息基本指標(biāo)衍生指標(biāo)流水明細(xì)賬戶客戶客戶群客戶統(tǒng)一視圖客戶識別R 應(yīng)用開發(fā)建設(shè)內(nèi)容數(shù)據(jù)采集、存儲、加工和管理平臺ECIF 是二期建設(shè)內(nèi)容是一期為主 二期補充的內(nèi)容未標(biāo)注部分為一期內(nèi)容存儲和加工機制：Hadoop集群

7、 和 加工群數(shù)據(jù)目錄接口和服務(wù)JNDI 架構(gòu)的RMI接口服務(wù) 包括 優(yōu)選規(guī)則服務(wù) 安全服務(wù) 數(shù)據(jù)視圖服務(wù) 客戶定位服務(wù) 查詢服務(wù) 信息維護(hù)服務(wù) 等加工系統(tǒng)框架加工腳本調(diào)度執(zhí)行錯誤控制賬戶加工客戶加工客戶群加工客戶經(jīng)理維護(hù)DB2RS/6000+輔助查詢服務(wù)器集群系統(tǒng)架構(gòu)藍(lán)圖 102 某銀行大數(shù)據(jù)應(yīng)用架構(gòu)流程引擎數(shù)據(jù)引擎 消息總線ESB消息總線ECIF是整合各個業(yè)務(wù)系統(tǒng)數(shù)據(jù)并由客戶經(jīng)理維護(hù)的客戶信息系統(tǒng)企業(yè)客戶關(guān)系記錄的入口R1R2/3/11R5,6RHadoopR9，10R4R12R9，10R7Impala集群+GPU集群+R計算集群We empower elephants21/32GPU:為什

8、么這么快？三級并行機器間機器內(nèi)部的GPU之間GPU內(nèi)部的計算單元之間的并行GPU內(nèi)部眾多的計算單元快速的線程切換非常快速的本地內(nèi)存訪問無人駕駛汽車兩塊K80 每秒檢測100個點Princple of the new query enginedirects and executes query statements in GPUs24/32標(biāo)準(zhǔn)SQL，開發(fā)簡單大規(guī)模并行技術(shù)重構(gòu)數(shù)據(jù)庫引擎2數(shù)據(jù)庫緩存緩沖結(jié)構(gòu)優(yōu)化1GPU集群管理和調(diào)度并擴展到Hadoop集群，關(guān)系數(shù)據(jù)庫集群和R集群3 對用戶僅僅是標(biāo)準(zhǔn)SQL界面4聯(lián)社數(shù)：86個機構(gòu)數(shù)：2700個客戶經(jīng)理數(shù)：20000人客戶數(shù)：5700萬賬戶數(shù)：1.

9、3億日交易流水：850萬條指標(biāo)個數(shù)：1500個增量文件大?。?0GB1天存量數(shù)據(jù)文件大?。?50GB所有存量數(shù)據(jù)：60TBImpala 集群 44+2節(jié)點步驟執(zhí)行時間開始時間結(jié)束時間備注30分鐘23:0023:3020分鐘23:3023:5055小時23:505:2040分鐘5:206:001分鐘6:006:01通過FTP服務(wù)器獲取外圍系統(tǒng)增量數(shù)據(jù)，將數(shù)據(jù)裝在到Hadoop集群中根據(jù)增量數(shù)據(jù)生成全量數(shù)據(jù)根據(jù)業(yè)務(wù)邏輯加工1500個指標(biāo)數(shù)據(jù)值將指標(biāo)結(jié)果數(shù)據(jù)裝載到GPU服務(wù)器和RDB服務(wù)器切換CRM前端查詢數(shù)據(jù)日期加工內(nèi)容數(shù)據(jù)規(guī)模構(gòu)造客戶統(tǒng)一信息視圖并為86個法人機構(gòu) 2700個網(wǎng)點 2萬客戶經(jīng)理

10、60000萬客戶 加工1500個指標(biāo)這在以前根本不可能完成，即使你購買了n貴的機器。其業(yè)務(wù)達(dá)成是數(shù)據(jù)驅(qū)動每一天的工作大數(shù)據(jù)：如何助力業(yè)務(wù)步驟執(zhí)行時間開始時間結(jié)束時間備注230分鐘23:0023:30320分鐘23:3023:50455小時23:505:20540分鐘5:206:0061分鐘6:006:01可是以前做不到構(gòu)造客戶統(tǒng)一信息視圖并為86個法人機構(gòu) 2700個網(wǎng)點 2萬客戶經(jīng)理 60000萬客戶 加工1500個指標(biāo)客戶360視圖 1000個指標(biāo)全行存款類指標(biāo)（余額、月日均、季度日均、年日均、日均比同期、日均比年初）（指標(biāo)數(shù)：700個）全行貸款類指標(biāo)（余額、月日均、季度日均、年日均、日均

11、比同期、日均比年初）（指標(biāo)數(shù)：400個）全行理財類指標(biāo)（余額、月日均、季度日均、年日均、日均比同期、日均比年初）（指標(biāo)數(shù)：200個）全行中間業(yè)務(wù)類指標(biāo)（余額、月日均、季度日均、年日均、日均比同期、日均比年初）（指標(biāo)數(shù)：100個）全行存款、貸款、理財類、中間業(yè)務(wù)類指標(biāo)分組排序（指標(biāo)數(shù)：100個）加工內(nèi)容：你的客戶經(jīng)理各級老大天天需要的 再舉例：某銀行貸款數(shù)據(jù)在各平臺FTP計算效率對比數(shù)據(jù)量：1.8億條貸款記錄計算邏輯：將未到期的貸款記錄按銀行產(chǎn)品和日期逐條匹配FTP利率并計算FTP日成本及月累計成本FTP日成本=當(dāng)月本日累計成本-當(dāng)月上日累計成本=貸款本金余額*FTP利率/360*當(dāng)月當(dāng)日累計天

12、數(shù)-當(dāng)月上日累計成本，其中當(dāng)月上市累計成本從上一天的計算結(jié)果表中查詢SAP HANANETEZZAIMPALADB2Data Turbines集群數(shù)114413CPU4C/8核/共32核2C/8核/共16核2C/10核/共20核4C/4核/共16核2C/10核/共20核內(nèi)存2T24G25616G24硬盤SSD:750G+SAS:2T300G3T2T1T成本（RMB:萬元）80303604020用時（秒）43996277152574572.5200各平臺硬件配置及成本預(yù)估男子100米決賽長表 三億條記錄 8列DB2提速400倍K40寬表 ： 80萬行 1076列DB2提速 1000倍K40140

13、0倍提速典型案例1 長表銀行客戶產(chǎn)品使用行為表 3億行 8 列 案例 找到晚上在市中心商場月消費2000元以上的年輕女性客戶，在RS6000 590 /DB2 上需要50-60 秒 在GPU上 僅需要0.1-0.2秒11000倍提速典型應(yīng)用2 寬表信貸管理案例 840,000 行，1075 列，浮點和字符串混合類型 1. Locate a customerselect custno,jbxx101,BRTCOD from C_MEASURE_ALL where custno = 0000000789 2. Find all customers of education level above

14、undergraduatedselect custno,jbxx101,BRTCOD,jbxx128_name from C_MEASURE_ALL where jbxx128_name like “%graduated% 3. Find all customer with income rangeselect custno,jbxx101,BRTCOD,khckye441 from C_MEASURE_ALL where khckye441 1000 and khckye441 小雅問:您要在哪里辦業(yè)務(wù)呢？客戶回答：某某樓盤附近的地址。小雅理解： 這是我們的一個網(wǎng)點。小雅告訴她： 這個網(wǎng)點營

15、業(yè)時間是早9點到晚5點，周末下午4點下班。所以您明天早點來，因為還要排隊，周末人挺多的因為小雅知道了問題的以上5個方面，所以小雅又問：您要辦什么業(yè)務(wù)？客戶回答：我要存款10萬元現(xiàn)金。小雅的知識庫馬上告訴她：1.存款是很多產(chǎn)品的功能。2.可以是儲蓄，也可以是理財，于是小雅說： 我們有20多種產(chǎn)品可以用，您有開戶嗎？客戶如果說：沒有，小雅告訴客戶，存款產(chǎn)品先要開戶，開戶必須本人攜帶好身份證；如果客戶說：有，小雅告訴他您按時去那個網(wǎng)點就可以了；同時小雅建議客戶：您的金額比較大，可以根據(jù)輕重緩急，存成不同期限或通知存款?？蛻魡枺菏裁词峭ㄖ婵?？小雅：XXXX介紹了一番通知存款的東西。小雅說：很多客戶會把資產(chǎn)分成活期、定期和理財?shù)慕M合，例如你的10萬元如果存活期，你能一個月獲取200元的利息，但是存成定期或有400 元。 客戶說：定