智慧銀行大數(shù)據(jù)分析應用平臺建設方案

智慧銀行大數(shù)據(jù)分析應用平臺建設方案目錄4銀行大數(shù)據(jù)分析業(yè)務應用金融大數(shù)據(jù)分析應用背景銀行的商業(yè)價值鏈銀行的商業(yè)價值鏈客戶/營銷銷售/渠道戶是誰/在哪里?客戶通過什么的關系?需要的產品?數(shù)據(jù)在以客戶為導向的經(jīng)營價值鏈中的應用考量·領先的集團公司在做些嘗試和轉變?·數(shù)據(jù)應用在哪些領域可能有應用價值?·大數(shù)據(jù)時代有哪些新的機遇?風險/管控流程/運營的事?產品/創(chuàng)新產品?什么是戰(zhàn)略/市場哪類客戶?他有多大?PwCIpage4未來的銀行的趨勢將會對在職人員有更多要求以前，金融被稱為看門狗的角色，而不是分析洞察呈現(xiàn)數(shù)據(jù)驅動的監(jiān)管機構現(xiàn)在，業(yè)務人員有望演變成新的角色帶來決策制定和執(zhí)行如今分析學存在許多不統(tǒng)一的概念-對“大數(shù)據(jù)”術語擁有多種定義3biKILOBYTESMEGABYTESGIGABYTES屬性用大數(shù)據(jù)領域下廣泛的科技產品/解決方案金融大數(shù)據(jù)分析應用背景V交易總賬統(tǒng)3D打印機5數(shù)據(jù)是新“石油”PwCIpage8銀行大數(shù)據(jù)分析應用需求大數(shù)據(jù)的方法論?哪些是前沿的大數(shù)據(jù)技術?音頻pagePwCIpage戰(zhàn)略/市場客戶營銷的營銷分析客戶/營銷流失激活發(fā)分析到期應對客戶之聲客戶特征集分析客戶價值相關性分析相關性分析相關性分析客戶行為集和分析客戶需求銷售/渠道析銷售活動/產品/創(chuàng)新產品流程/運營測風險/管控面向業(yè)務經(jīng)營面向內部運營更加高效化更加體系化關聯(lián)的360°客戶PwCIpage12廣告廣告挖洞察層客戶信息構建層大數(shù)據(jù)來源層更加立體化能力更加全面化行業(yè)趨勢匯報匹配業(yè)務需求和未來大數(shù)據(jù)技術趨勢，規(guī)劃貴行大數(shù)據(jù)能力框架及大數(shù)據(jù)業(yè)務云圖，制定面向運營和服務的大數(shù)據(jù)功能架構梳理貴行數(shù)據(jù)資產的分布及利用情況及管控現(xiàn)狀，規(guī)劃銀行級的數(shù)據(jù)架構方案及大數(shù)據(jù)管理機制的建設選擇典型應用場景，將大數(shù)據(jù)運營融入貴行的運營和管理，推動轉型研大數(shù)據(jù)平臺規(guī)劃及完成落地實施數(shù)據(jù)的有效利用率降低從數(shù)據(jù)到洞察力是主要的挑戰(zhàn)OO前端應用前端應用前端工具營銷運營績效集市風險集市人力資源綜合類數(shù)據(jù)存儲轉儲整合區(qū)還款數(shù)據(jù)風險數(shù)據(jù)績效數(shù)據(jù)數(shù)據(jù)治理，數(shù)據(jù)管理數(shù)據(jù)交互管理平臺多維數(shù)據(jù)集具數(shù)據(jù)存儲平臺數(shù)據(jù)源數(shù)據(jù)挖掘多維分析四席查詢AohOcreronrsre,gouew.t用的要求，廠商迫切需要為自己產品增強高級持在大數(shù)據(jù)時代的競爭力乎Teradata于2014支持R語言而內存技術帶來了時效性的革命性突破，和Hadoop更是完美的結合。Hadoop提供持久化能力和海量數(shù)據(jù)的批量計算能力，內存技術提供一定量數(shù)據(jù)內的實時分析和交互式分析的能力。Actian的Vectorwise是世界上最快的單點內存列式數(shù)據(jù)庫，近期推出了深度融合Hadoop的新版本SPARKSPARK的高性能和接近一棧式計算能力的特點已被業(yè)界公認為是下一代的Hadoop超級計算引擎交互式統(tǒng)合除了HANA外值得關注的查詢PwCIpage17Google于2014年中旬的I/0大會上宣布了Pipeline統(tǒng)一了2種代碼的不同風格。下圖為阿里巴巴在雙11當天的實時作戰(zhàn)指揮部現(xiàn)場。在雙11巨大的流量壓力下淘寶天貓的關鍵銷售指標實時展現(xiàn)在了決策者們的面前。淘寶的實時流計算后的主要技術支撐，每秒運算量超過500萬/條，每日過2500億。dsh精準廣告投放等智能爬蟲和搜素據(jù)的識別和應用智能預測，規(guī)劃和優(yōu)化基于智能AI的設備，程序和接口智能機器人百度2013年初在美國硅谷成立了百度深百度2013年初在美國硅谷成立了百度深度學習研究院(IDL),招攬了余凱、吳恩達等機器學習領域頂級的專家。目前主要的研究成果包括百度識圖，三維視放放開放價值挖掘能力對降低數(shù)據(jù)應用的門檻非常重要，讓數(shù)據(jù)價值平民化和向無力建設和維護自己蘋臺的銀行提供大數(shù)據(jù)基礎設施的開放，比如提供數(shù)據(jù)基礎非涉密的政府數(shù)據(jù)及科研數(shù)據(jù)以一種主動和免費的形式開放，而不是“申請信息公開”成Bluemix,將支持包括PwCIpage20認知智能大數(shù)據(jù)平臺1.0版基礎架構平臺層存儲層數(shù)據(jù)層合理的數(shù)據(jù)治理/管控是確保發(fā)起人、領導層有效溝通理傳統(tǒng)的數(shù)據(jù)生命周期一般指數(shù)據(jù)獲取(創(chuàng)建)、數(shù)據(jù)存儲、數(shù)據(jù)加工(轉換)、數(shù)據(jù)使用、數(shù)據(jù)歸檔、數(shù)據(jù)消除。但我們認為新的數(shù)據(jù)生命周期數(shù)據(jù)規(guī)范方案存儲使用恢復銷毀傳統(tǒng)數(shù)據(jù)生命周期大數(shù)據(jù)與先進分析將從描述和診斷性向預測、規(guī)范與自主決策型轉變回顧過去前瞻性查7)·實時產品與服務(圖表分·對現(xiàn)有及未來客戶價值具·快速評估多種“假設分藏這總與分析歷定數(shù)增(發(fā)生了什么7)(以發(fā)生什a7)我決新7正耐27)識5湖發(fā)及原因與成果(為H2會發(fā)?)越來越復雜的數(shù)據(jù)與PwC分析歡迎來到“數(shù)據(jù)湖”數(shù)據(jù)湖是一個大數(shù)量和品種，結構化和非結構化的大數(shù)據(jù)架構數(shù)據(jù)專員，程序員可以挖掘數(shù)據(jù)流的實時該湖可以作為一個臨時區(qū)域的數(shù)據(jù)倉庫，在批處理模式的報告和分析中更仔細的“處理”數(shù)據(jù)的位置數(shù)據(jù)科學家利用數(shù)據(jù)湖探索和構思數(shù)據(jù)湖泊利用商品集群計算技術使得大規(guī)?？蓴U展的，低成本的數(shù)據(jù)文數(shù)據(jù)科學家利用數(shù)據(jù)湖探索和構思PwCIpage26PwcIpage27下一代的大數(shù)據(jù)體系-數(shù)據(jù)湖內容認知的智能內容認知的智能數(shù)據(jù)的分析模型，學習，模擬，行動，保護全面的監(jiān)控和分析社交媒體和社區(qū)深度挖掘數(shù)據(jù)變現(xiàn)內容知識語義標簽數(shù)據(jù)的理解實時統(tǒng)計和檢索數(shù)據(jù)的快速入庫源數(shù)據(jù)的自動標簽數(shù)據(jù)的自我學習異常關聯(lián)原汁原味語義和配置化搜索簡單IT架構(云服務)實時性/半實時IT創(chuàng)造(數(shù)據(jù)倉庫/集市)大量ETL非實時基于文本分析技術和語音分析技術的調研，結合結構化數(shù)據(jù)在大數(shù)據(jù)加工域的處理，整合它們之間的共性處理部分，規(guī)劃大數(shù)據(jù)加工域內數(shù)據(jù)處理的過程。業(yè)務交易數(shù)據(jù)文本分析語音分析結構化數(shù)據(jù)社交網(wǎng)絡網(wǎng)絡文章語音文件PwCIpage30治理大數(shù)據(jù)架構-頂層框架銀行數(shù)據(jù)池傳統(tǒng)數(shù)據(jù)平臺大數(shù)據(jù)平臺新技術創(chuàng)新PuCIpage32①2③④⑤⑥⑦云服務銀行數(shù)據(jù)池分析工作臺數(shù)據(jù)集成展現(xiàn)層云服務銀行數(shù)據(jù)池分析工作臺數(shù)據(jù)集成傳統(tǒng)數(shù)據(jù)平臺大數(shù)據(jù)平臺大數(shù)據(jù)平臺外部數(shù)據(jù)池WeatherSensors外部數(shù)據(jù)池WeatherSensorsPwCIpage33網(wǎng)絡生活網(wǎng)絡客戶信仰客戶需求背景專業(yè)購買背景專業(yè)以獨創(chuàng)的“7W2H”標準語法將客戶解析，歸納為“客戶屬性、客戶行為、客戶需求”三方面N3個維度、6個層級的客戶屬性庫體系3個維度、6個層級的客戶屬性庫體系超越傳統(tǒng)所想!需求需求求求PwCIpage35要，不局限于對產品的需要涵蓋方方面面!大數(shù)據(jù)平臺標簽數(shù)據(jù)大數(shù)據(jù)平臺標簽數(shù)據(jù)信息財務信息屬性信息行為其他信息瀏覽信息搜索信息營銷活動360客戶視圖源系統(tǒng)數(shù)據(jù)源系統(tǒng)數(shù)據(jù)PwCIpage36對于銀行內外部不同來源的信息，使用多源數(shù)據(jù)采集架構來捕獲各種可能需要的數(shù)據(jù)，并包含數(shù)據(jù)格式統(tǒng)一化引擎用確保所有輸出數(shù)據(jù)標準的一致性。外部數(shù)據(jù)采集架構外部數(shù)據(jù)采集架構和訊網(wǎng)金融界HTML格式處理XML格式處理路透社國泰安電子文件紙質文件內部數(shù)據(jù)采集PDF格式處理JSON格式處理數(shù)據(jù)流技術引擎數(shù)據(jù)格式化處理網(wǎng)路防火墻虛擬專用網(wǎng)絡代理-PwCIpage37風險風險木果(3)情感分析&行(1)數(shù)據(jù)清洗&分模型層級通過將非結構化數(shù)據(jù)轉換為結構化數(shù)據(jù)，從營銷方面可以了解客戶的具體需求、產品滿意度、甚至生活方式；從風險方面可以驗證客戶身份、客戶收入水這部分數(shù)據(jù)與現(xiàn)有數(shù)據(jù)庫內部數(shù)據(jù)結合一起用于模型建立，提高模型的準確性迥些●即時獲取使用網(wǎng)站個人信息●即時獲取使用社交媒體個人信息●即時獲取在線搜索健康、養(yǎng)老、教育、投資信息●在線購物信息(如商品購買)穿戴式設備(例如●旅游網(wǎng)站信息芒果網(wǎng)社交媒體信息(如●房產投資●業(yè)務線坐席收集客戶信息●客戶增值服務使用和體應信息●客戶經(jīng)理掌握的客戶信息號、流水、消費、續(xù)妨業(yè)務信息內部數(shù)據(jù)網(wǎng)絡收集客戶●客戶投訴文本和語音缺口內部及外部已整合數(shù)據(jù)運動鍛煉、減肥餐飲理財●醫(yī)療和健康管理信內外部未/半整合數(shù)據(jù) 工商紅盾行外數(shù)據(jù)結構化查詢接口人行征信行外數(shù)據(jù)非結構化網(wǎng)頁抓取水電數(shù)據(jù)行外數(shù)據(jù)結構化查詢接口公安核查行外數(shù)據(jù)結構化查詢接口法院信息行外數(shù)據(jù)結構化非結構化查詢接口網(wǎng)頁抓取公安戶籍信息行外數(shù)據(jù)結構化查詢接口土地信息行外數(shù)據(jù)非結構化網(wǎng)頁抓取百居易房產交易行外數(shù)據(jù)非結構化網(wǎng)頁抓取銀聯(lián)，電信數(shù)據(jù)行外數(shù)據(jù)非結構化合作基于Hadoop及實時處理框架用于對非結構化數(shù)據(jù)進行處理轉換，核心技術包括數(shù)據(jù)清洗，語義分析(NatualLanguageProcess),數(shù)據(jù)標簽等。函數(shù)Map(映射)函數(shù)Map(映射)非結構化數(shù)據(jù)術清洗文檔內容相似度排查語義分析NLPO結構化數(shù)據(jù)輿情等)并加以整理歸類檢索檢索分類分類理1.數(shù)據(jù)碎片1.數(shù)據(jù)碎片2.元數(shù)據(jù)標簽3.數(shù)據(jù)洞察索引可洞察的數(shù)據(jù)不可洞察到數(shù)據(jù)搜索前臺-信息搜索結構的變化網(wǎng)頁結果網(wǎng)頁結果排序索引檢索自然語言文本表示推薦音頻圖片榀結構化數(shù)據(jù)半結構化數(shù)據(jù)文本和非結構數(shù)據(jù)知識庫半結構化信息抽取性抽取配置化可視化展現(xiàn)統(tǒng)計可配置化檢索統(tǒng)計推理推薦個個索引生成認知立方數(shù)據(jù)整合據(jù)PwCIpage45認知立方體構建PwCIpage46信息實體的N維到平面特征的轉換PwCIpage47捐款(donation)紅十字會(Red紅十字會(RedCross)地震(earthquake)Iypes;NUMBER0.46PwCIpage48重建(rebuilding)地震(earthquake)政府(govemmentf)hhPA)銀行對知識圖譜根據(jù)內部數(shù)據(jù)有大量的業(yè)務需求需求人工智能(AI)是計算機科學的一個分支，可進行模擬計算機的智能行為知識表示知識表示新一代自然語言傳感器/物聯(lián)網(wǎng)(認知計算)規(guī)劃深層因果推理虛擬個人助理推薦系統(tǒng)(工序自動化)影像分析PwC銀行數(shù)據(jù)與分析資產PwC銀行數(shù)據(jù)與分析資產的App項目臺架構來分析Apps&平臺十協(xié)作-行業(yè)內/跨行業(yè)銀行分析創(chuàng)新十預先架構數(shù)據(jù)&分析環(huán)全球咨詢師網(wǎng)絡靈活模型-項目、retainer快速探素-外部數(shù)據(jù)行公共與第三方數(shù)據(jù)的數(shù)據(jù)平臺對標指數(shù)模型十完成100-500課程書行業(yè)/領域集中式分析環(huán)境銀行分析學院數(shù)據(jù)服務十十十十機器學習與銀機器學習與銀行分析能力PwC演算法ExpectationMax·分級群聚演算法回歸分斷法實酬計草法機器學期計算法-1AveragedOne-Dependence貝葉斯算法實酬計草法機器學期計算法-1分類和回歸樹(CART)迭代二分3(分類和回歸樹(CART)迭代二分3(ID3)卡方自動交互檢測(CHAID)決策樹決定條件樹Source:PwCAnalysis;ATourofMachineLearningAlgorithms.JasonBrownlee·線性回歸·邏輯回歸···局部預估平滑散點圖(LOESS)····遺傳程序設計動態(tài)學習計法關耗櫚則學習法···BootstrappedAggreg···BootstrappedAggreg·隨機森林法PwCSource:PwCAnalysis;ATourofMachineLearningAlgorithms,JIasonBrownleePwC大數(shù)據(jù)的主要能力商業(yè)機會Payers支付者供應商&制造商發(fā)app計算法新設備)。MaProviders制訂正確的分析投資需要一個以業(yè)務規(guī)劃和運營模型為基礎PwCIpage57規(guī)劃實施路線圖設計設施路線圖設計軟硬件架構方案對公7個入各尸典型應用場景洛地1.現(xiàn)狀分析與需求調研X周wW究業(yè)試點階段**注*:實施規(guī)劃階段可以與規(guī)劃設計階段部分重疊注**:試點階段以***銀行隊為主，普華團隊進行支持優(yōu)點研討會資源較多訪談訪談問卷以上三種調研方式各有所長也各有不足，因此，在項目整個運作過過程中，銀行將這三種方法配合使用(特別是在項目第一階段以上三種調研方式各有所長也各有不足，因此，在項目整個運作過過程中，銀行將這三種方法配合使用(特別是在項目第一階段)PwCIpage6lPwCIpage62價值核心驅動世代率數(shù)字識別客戶，并將為銀行帶來長期的價值微細分機，渠道，方法(內容構和定位策略，推動存款增長和留住客戶使用客戶偏好動，通過網(wǎng)上銀行發(fā)展來為客戶提高了產品的功能支持客戶摩擦了解摩擦點通過客戶互動的生命周期及其在社用戶體驗&:忠誠度DataModel:ssLifeEventsSocialMediaDataHealhfrPwCProprictar)ybankingandbankingandpayments,depositpicing)HouscholdFinukial2以值為核心的消費勘察：群體?大?(如，何種渠道?短信推送?)向“可定位”轉型?運用運用體驗流程?·根本原因為何?·高價值客戶的物理位置、同效應?·利率變化對于獲客策略的的競爭力?·我行的客戶忠誠計劃與他行的對比情況?交付1)定制化儀表盤-根據(jù)客戶需求定制化創(chuàng)建儀表盤并每1)更新/定制模型4)評估結果1)定制化報告-面向客戶需求每月交付—2周2)目標業(yè)務測量與影響PwtPwtKey:Key:銀行中有大量(62%)的客戶A市場屬于中至高收入(>$50K)引了大部分(51%)低收入(<1全球性保險公司3全球金融支付4全球金融支付5美國信用卡公司6全球零售商78910全球制造商PwCIpage67識別并優(yōu)先與業(yè)務一致的大數(shù)據(jù)能力，用來支持客戶以數(shù)據(jù)驅動增長的模式，隨著業(yè)務戰(zhàn)√略目標創(chuàng)造$100M以上的數(shù)據(jù)分析平臺投資。建立數(shù)字化客戶營銷能力的戰(zhàn)略并設計基礎設施來支撐無限擴展性，使提供數(shù)量/擴展能力得到提升，客戶點擊量增加3-5倍，同時改善合作伙伴關系。為客戶建立單一的全渠道視角；滿足從每個值層5%的客戶中獲取10%的利潤。√員工晉升優(yōu)化與通過分析預計財務影響和流程改變；新型優(yōu)化方案體現(xiàn)了貿易消費的效益建立信息管理戰(zhàn)略，包括優(yōu)先排序31個項目計劃的3-5年實現(xiàn)路線圖并確保信息滿足業(yè)數(shù)字操作和組織模型設計，使銀行關于客戶體驗方案可以確定短期數(shù)字渠道達到10%客戶滿意提升的改善，并且建立一個戰(zhàn)略管理得以使數(shù)字化開銷和數(shù)字市場在2年提升5倍。實現(xiàn)銀行數(shù)據(jù)分析操作模型，實現(xiàn)對基于創(chuàng)新信息產品的追擊；獲得董事會對數(shù)據(jù)分析的√$100M投資，并且推出8個數(shù)據(jù)分析試點?！獭蘗√√√√Y√√y務預算和資金計劃趨勢預測和新機遇探索行業(yè)數(shù)據(jù)和報告據(jù)處理和整合各種數(shù)據(jù)PwCIpage69分析能力從戰(zhàn)略到執(zhí)行聚焦行業(yè)全球交付能力spoke”模型來經(jīng)營能力多樣化價等),能力專家(如戰(zhàn)略、等)以及技術專家(如，數(shù)據(jù)創(chuàng)新創(chuàng)新大數(shù)據(jù)和咨詢數(shù)據(jù)工/對標知識資本題咨詢數(shù)據(jù)工/露商項目對標銀行幫助客戶利用大規(guī)?？梢暬脚_與協(xié)作平臺來組成復雜的戰(zhàn)略規(guī)劃流程PwC'sYourCompanyInaRoomSM戰(zhàn)略與增長分析客戶與市場戰(zhàn)略與增長分析合?值?銷售與分配售戰(zhàn)略?求?流程與運營產品與定價分析洞見?合規(guī)分析資金、風險、財務分析..開發(fā)結果機會.性持致組織部門間分散的技術設計不能夠快速整合第三方有限數(shù)量的可供分析的結前一種快速的分析方法，以更好的商業(yè)決策DecisionDecisionHealthCheck(DHC)m優(yōu)先權決策框架明確商業(yè)價值決策框架明確商業(yè)價值根據(jù)決策的速度和復雜性確定優(yōu)先順序根據(jù)決策的速度和復雜性確定優(yōu)先順序跨價生命周期分析生命周期分析分析工具包保保數(shù)據(jù)架構完整技術平臺選擇聯(lián)鎖數(shù)據(jù)技術平臺選擇聯(lián)鎖數(shù)據(jù)·協(xié)調測試和學習方式以創(chuàng)建了信息優(yōu)勢銀行分析應用程序以深入了解并迅速采取行動·在適當情況下，使用“快速啟動”解決方案，包含一系列快速從數(shù)據(jù)到洞察到?jīng)Q定以致行動22建立大數(shù)據(jù)與分析架構評估及路徑·業(yè)務邏輯與個人專有的應用性質緊密耦合(如，取決于應用程序-基于應用程序"分析了當前數(shù)據(jù)采集、數(shù)據(jù)轉換、數(shù)據(jù)分布和展"提出了不同的分析試點場景需求，結合常見數(shù)據(jù)"定義一組全面的計劃，預估未來架構增量階段的為全球領先金融服務/支付公司建立以大數(shù)據(jù)驅動增長的戰(zhàn)略開發(fā)了一個全面的/跨業(yè)務部門-基于客戶業(yè)務運行的·識別數(shù)據(jù)差異-包括內部差異與同業(yè)領先差異；基于業(yè)決方案"在銀行內部建立“數(shù)據(jù)民主化”,包括工具、技能與激勵變化；執(zhí)行自選試點來普及“數(shù)據(jù)民主化”PwCIpage84銷售管理銷售管理戶關系加強客戶管理·交易反欺詐模型監(jiān)管需求拓廣客戶群催收核肖新PwCIpage86客戶決策支持體系，需要圍繞挖掘客戶的深度、客戶廣度、提升客戶價值三個維度進行降低客戶流失”最大化客戶價值”■激活沉默客戶客戶向上銷售■客戶流失預警關注客戶體驗分析期間有空氣質量有改善還是惡化?年皂及相吳信用十信息等就且客客戶營銷解決方案同期信用卞客戶屬輛機文比數(shù)據(jù)分析輛機文比數(shù)據(jù)分析成戶熱銷大刺比成戶熱銷大刺比pagePwCIpage能分率上育xx望營植租人營銷創(chuàng)新-一賬通精準營銷項目營銷活動設計訂購率訂購率收益率合營銷活動營銷活動設計與執(zhí)行隨機選10%營銷活動設計與執(zhí)行平安一賬通客戶網(wǎng)站行為數(shù)據(jù)集市一賬通精準營銷網(wǎng)站廣告精準投放7月期間共有10期行產品偏好類廣告精準投屬性庫營銷活動活動組A對比組C加權平均原始組響應率：