金融行業(yè)大數(shù)據(jù)解決方案與案例

1、金融行業(yè)大數(shù)據(jù)解決方案與案例銀行大數(shù)據(jù)平臺整體架構(gòu)圖數(shù)據(jù)源層數(shù)據(jù)交換層總行數(shù)據(jù)交換平臺數(shù)據(jù)處理層數(shù)據(jù)應用層結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)Hadoopcore統(tǒng)一訪問、統(tǒng)一監(jiān)控、統(tǒng)一調(diào)度統(tǒng)一展示、統(tǒng)一報送、統(tǒng)一元數(shù)據(jù)管理分布式文件系統(tǒng)HDFS并行處理MapReduce并行調(diào)度YARN數(shù)據(jù)倉庫BATCHNoSQLIndexStreamGraphIn-memoryAd-Hoc QuerySecurityGovernance蜂窩圖柱狀圖儀表盤餅圖漏斗、錐形圖外部數(shù)據(jù)源人行工商公積金公安九項資產(chǎn)黑名單流程自生產(chǎn)數(shù)據(jù)催收系統(tǒng)，全量C卡并行化，審批系統(tǒng)審批流程記錄等行內(nèi)共享數(shù)據(jù)行內(nèi)數(shù)據(jù)集市，傳統(tǒng)數(shù)倉共享數(shù)據(jù)。數(shù)據(jù)裝

2、載數(shù)據(jù)清洗數(shù)據(jù)轉(zhuǎn)換資金集市風控集市信貸集市內(nèi)存計算Spark光大銀行案例集光大銀行總行大數(shù)據(jù)項目中國光大銀行歷史數(shù)據(jù)在線查詢系統(tǒng)建設項目（1期、2期、3期）中國光大銀行現(xiàn)鈔冠字號碼查詢信息系統(tǒng)項目（1期、2期）國內(nèi)第一個Hadoop技術(shù)在銀行業(yè)務系統(tǒng)的落地實現(xiàn)，國內(nèi)落地了唯一滿足銀監(jiān)會要求雙活Hadoop集群容災系統(tǒng)。系統(tǒng)上線后于2014年獲得IDC金融最佳創(chuàng)新獎。全行3個月45億現(xiàn)鈔清分數(shù)據(jù)的采集、存儲、處理和查詢，滿足全行1000多網(wǎng)點的毫秒級查詢響應級別。中國光大銀行工單文本數(shù)據(jù)挖掘項目基于大數(shù)據(jù)平臺，利用Hive、Hbase、Spark等組件，集合自然語言處理引擎，實現(xiàn)對光大信用卡中心

3、工單文本數(shù)據(jù)的挖掘。中國光大銀行大數(shù)據(jù)挖掘平臺項目基于大數(shù)據(jù)平臺和模型算法訓練平臺MaximAI，聯(lián)合建設了適用于光大銀行數(shù)據(jù)分析挖掘的綜合算法研究開發(fā)平臺。光大銀行總行規(guī)劃推進的項目中國光大銀行數(shù)據(jù)產(chǎn)品應用系統(tǒng)項目中國光大銀行大屏實時展示系統(tǒng)項目基于大數(shù)據(jù)平臺，開發(fā)實現(xiàn)機器學習、復雜網(wǎng)絡等模型算法產(chǎn)品在生產(chǎn)環(huán)境上落地使用的服務系統(tǒng)，為全行各個業(yè)務部門營銷和風控等業(yè)務活動提供有力的數(shù)據(jù)支撐?；诖髷?shù)據(jù)平臺，利用Hadoop流式處理技術(shù)，建設全行業(yè)務數(shù)據(jù)動態(tài)實時播報系統(tǒng)，并通過數(shù)據(jù)可視化的服務表達方式在行內(nèi)大屏實時展示。中國光大銀行風險一體化大數(shù)據(jù)平臺基于大數(shù)據(jù)平臺，融合信用卡全流程數(shù)據(jù)，做到貸

4、前，貸中，貸后的客戶全流程化管理，同時構(gòu)建客戶統(tǒng)一的風險視圖興業(yè)銀行客戶標簽化背景在大數(shù)據(jù)時代，以互聯(lián)網(wǎng)為代表的現(xiàn)代信息科技將從根本上改變金融運營模式。數(shù)據(jù)在呈現(xiàn)出海量化、多樣化、傳輸快速化和價值化的變化趨勢的同時，也改變了傳統(tǒng)金融行業(yè)的市場競爭環(huán)境、營銷策略和服務模式對商業(yè)銀行而言，基于客戶特征集合形成的客戶標簽有成百上千、甚至成千上萬個，這些標簽在構(gòu)建時的業(yè)務目的和適用場景各有不同。隨著應用標簽的場景越來越豐富，商業(yè)銀行也會逐漸形成一套完整的客戶標簽體系。備注標簽邏輯架構(gòu)用戶畫像生產(chǎn)和應用：邏輯架構(gòu)處理流程備注業(yè)務系統(tǒng)數(shù)據(jù)探查標簽寬表標簽模型計算標簽模型交易示例數(shù)據(jù)交易日期客戶卡號交易金額

5、商戶類型交易描述：愛車一族交易描述：家有熊孩交易描述：精致奢華交易描述：紙醉金迷交易描述：小資派示例手機銀行日志業(yè)務類型用戶標識手機品牌二期實時營銷架構(gòu)圖備注系統(tǒng)截圖人民銀行征信中心企業(yè)關(guān)聯(lián)關(guān)系，擔保閉環(huán)大數(shù)據(jù)技術(shù)如何應用到關(guān)聯(lián)關(guān)系查詢中（最佳方案）企業(yè)主體標識數(shù)據(jù)投資關(guān)系數(shù)據(jù)擔保關(guān)系數(shù)據(jù)信貸信息數(shù)據(jù)原始信息Hadoop的分布式存儲技術(shù)有效支撐大數(shù)據(jù)量存儲數(shù)據(jù)處理主體信息數(shù)據(jù)關(guān)系信息數(shù)據(jù)原始信息信貸信息數(shù)據(jù)轉(zhuǎn)換、歸整Hadoop的并行計算技術(shù)有效支撐大規(guī)模的數(shù)據(jù)處理任務數(shù)據(jù)建模數(shù)據(jù)模型Hadoop的并行計算技術(shù)有效實現(xiàn)數(shù)據(jù)模型創(chuàng)建并存于圖數(shù)據(jù)庫中圖數(shù)據(jù)庫圖形數(shù)據(jù)庫數(shù)據(jù)計算數(shù)據(jù)模型迭代計算圖形數(shù)

6、據(jù)庫圖計算引擎通過圖計算引擎對圖數(shù)據(jù)庫的數(shù)據(jù)進行關(guān)系計算結(jié)果查詢結(jié)果數(shù)據(jù)通過大數(shù)據(jù)的數(shù)據(jù)庫技術(shù)提供計算結(jié)果的快速查詢場景分析數(shù)據(jù)特點企業(yè)企業(yè)擔保關(guān)系企業(yè)企業(yè)投資關(guān)系企業(yè)企業(yè)實際控制企業(yè)個人高管關(guān)系個人個人家族關(guān)系邏輯視圖關(guān)系對兒復雜網(wǎng)絡某金融機構(gòu)企業(yè)關(guān)聯(lián)關(guān)系查詢文本數(shù)據(jù)擔保關(guān)系對家族關(guān)系對投資關(guān)系對集團關(guān)系對0 1 0 1 0 1 01 1 0 1 0 1 10 1 0 1 1 1 01 1 0 1 0 1 11 1 0 1 1 1 11 1 0 1 1 1 11 1 0 1 1 1 1鄰接矩陣復雜網(wǎng)絡平臺數(shù)據(jù)匯總構(gòu)建模型企業(yè)關(guān)系網(wǎng)絡某金融機構(gòu)企業(yè)關(guān)聯(lián)關(guān)系查詢BDCN計算引擎BDCN復雜網(wǎng)絡W

7、arshall算法Breath-First Search，BFS算法Deep-First Search，DFS算法擔保圈發(fā)現(xiàn)企業(yè)關(guān)聯(lián)關(guān)系查找技術(shù)與算法支撐擔保圈應用-場景商業(yè)銀行A企業(yè)1放貸擔保企業(yè)1企業(yè)2擔保商業(yè)銀行B放貸企業(yè)1擔保擔保商業(yè)銀行C放貸商業(yè)銀行D放貸擔保圈形成商業(yè)銀行不能看到擔保鏈條全部。未知的信息帶來巨大的金融風險。泰康人壽精準營銷基于無監(jiān)督機器學習技術(shù)的客戶流失分析年收入2.9萬，總標保1.5萬以上，高達9萬的兩全產(chǎn)品，產(chǎn)品覆蓋面齊全年收入高達18萬，總標保只有1萬，壽險和年金金額較高，無投連產(chǎn)品年收入2.9萬，高達6.3萬的萬能產(chǎn)品，產(chǎn)品覆蓋面齊全年收入只有0.3萬，高達

8、7.7萬的投連產(chǎn)品年收入9.7萬，標保只有0.5萬年收入只有0.8萬，高達2.9萬的年金產(chǎn)品年收入4.8萬，總標保2.6萬以上，高達7.6萬的年金產(chǎn)品，產(chǎn)品覆蓋面齊全客戶分群按照不同視角選擇變量，進行客戶分群將客戶分群結(jié)果與業(yè)務解讀進行校對調(diào)整分群大小的顆粒度，尋找最優(yōu)值產(chǎn)品推薦根據(jù)客戶產(chǎn)品購買行為，運用關(guān)聯(lián)規(guī)則分析模型，生成二次購買產(chǎn)品推薦列表流失預警圈定已流失客戶群體，尋找群體特征根據(jù)此特征形成客戶流失預測模型計算每個客戶的流失概率個性臉譜為每位客戶生成特征描述、二開產(chǎn)品推薦、客戶流失概率泰康人壽精準推薦產(chǎn)品和服務對公司全部投保人客戶進行全量數(shù)據(jù)分析基于有監(jiān)督機器學習技術(shù)的客戶流失分析客戶

9、1客戶2客戶3客戶4基本信息購買數(shù)據(jù)理賠數(shù)據(jù)健康數(shù)據(jù)繳費數(shù)據(jù)呼叫數(shù)據(jù)HDFS已流失客戶清洗、轉(zhuǎn)換規(guī)整、建模有監(jiān)督學習算法模型訓練成熟的算法模型基于有監(jiān)督機器學習技術(shù)的客戶流失分析成熟的算法模型客戶1客戶2客戶3客戶4基本信息購買數(shù)據(jù)理賠數(shù)據(jù)健康數(shù)據(jù)繳費數(shù)據(jù)呼叫數(shù)據(jù)現(xiàn)有客戶客戶1客戶2客戶3客戶4流失預警穩(wěn)定客戶客戶經(jīng)理用戶界面借貸寶熟人借貸借貸寶復雜網(wǎng)絡應用借貸寶首創(chuàng)熟人間單向匿名借貸模式（即借款人實名、出借人匿名），通過互聯(lián)網(wǎng)人與人之間的連接機制，實現(xiàn)直接金融交易；利用熟人之間的天然關(guān)系，極大程度的減少甚至消除信息不對稱；還利用熟人圈的聲譽機制和信息收集便利，實現(xiàn)對惡意欠債者的天然約束與高效催收。已完成二輪25億融資，總估值超500億。國內(nèi)頂級私募機構(gòu)九鼎控股傾力打造的熟人間借貸平臺。熟人借貸風險定價分析利用復雜網(wǎng)絡技術(shù)的社交關(guān)系網(wǎng)進行分析，評估個人信用風險，量化借貸利率?；趶碗s網(wǎng)絡技術(shù)的風險識別掮客長鏈條從復雜的借貸關(guān)系網(wǎng)絡中發(fā)現(xiàn)掮客長鏈條，預測風險深度。出借人掮客掮客掮客掮客掮客掮客基于復雜網(wǎng)絡技術(shù)的風險識別風險群體識別物以類聚，人以群分，眾多節(jié)點關(guān)系稠密，編織在一起，會形成一社群，社群中的節(jié)點的相似性極高，當社群中的一些節(jié)點出現(xiàn)問題時，與其相似的節(jié)點的潛在風險性也會越高。欺詐群體基于復雜網(wǎng)絡技術(shù)的風險識別旁氏騙局識別有大量的資金從多個借