1-大數(shù)據(jù)-宗露-華為大數(shù)據(jù)產(chǎn)品及金融行業(yè)實(shí)踐

1、華為金融行業(yè)大數(shù)據(jù)實(shí)踐分享,大數(shù)據(jù)是華為ICT戰(zhàn)略的重要支柱,Source: Huawei corporate presentation,全球8個研究所，保持1000+的研發(fā)投入； 擁有社區(qū)Committer、 IEEE Fellow等世界級數(shù)據(jù)挖掘和人工智能專家； 截止2016年12月，華為大數(shù)據(jù)取得專利190+，其中發(fā)明公布136件，發(fā)明授權(quán) 54件。,Professional Service,Big Data Analytics Platform,Data Center Infrastructure,Core Network,IP+Optical,FBB,Enterprise Netwo

2、rk,MBB,Things (M2M Module),People (Smart Device),Enterprise Apps,SDP,BSS/OSS,3rd Partners,Content & App,3rd ISVs,華為大數(shù)據(jù)：IDC中國大數(shù)據(jù)MarkerScape領(lǐng)導(dǎo)者第一,IDC觀點(diǎn)：華為公司大數(shù)據(jù)的競爭優(yōu)勢在于：大數(shù)據(jù)作為公司重點(diǎn)戰(zhàn)略，公司內(nèi)部有持續(xù)發(fā)展的規(guī)劃，網(wǎng)羅全球高端專家，持續(xù)進(jìn)行高研發(fā)投入，為公司打造了持續(xù)創(chuàng)新的能力。 華為聚焦大數(shù)據(jù)平臺層，秉承開放、合作、共贏的理念，以技術(shù)合作和人才培養(yǎng)為支撐，攜手合作伙伴打造大數(shù)據(jù)生態(tài)。截至2016年12月，華為FusionInsi

3、ght大數(shù)據(jù)平臺主要商業(yè)合作伙伴超過200家。 當(dāng)前行業(yè)數(shù)據(jù)處理規(guī)模最大的即公共安全、銀行業(yè)以及運(yùn)營商，這幾個領(lǐng)域?qū)τ诖髷?shù)據(jù)平臺的性能要求最高。華為在這三大領(lǐng)域積累了700多個案例，證明了產(chǎn)品的穩(wěn)定性、可靠性以及安全性。 華為同時也是活躍的開源社區(qū)貢獻(xiàn)者。華為是OpenStack董事與白金會員，Completed Blueprints貢獻(xiàn)全球第一，綜合貢獻(xiàn)在中國廠商中排名第一，Hadoop社區(qū)貢獻(xiàn)全球第三，Docker開源社區(qū)綜合貢獻(xiàn)排名全球第三。2016年華為創(chuàng)建了社區(qū)項(xiàng)目Apache CarbonData，發(fā)布了實(shí)時反欺詐平臺FarmerRTD。,華為是大數(shù)據(jù)生態(tài)建設(shè)的倡導(dǎo)者和踐行者,To

4、p 2,Top 4,Databricks,Cloudera,Intel,Huawei,Meituan,Appier,Alpine Data,Hortonworks,Huawei,Cloudera,NTT,Altiscale,Intel,Yahoo,2015年10月， 華為貢獻(xiàn)大數(shù)據(jù)挖掘隱私保護(hù)增強(qiáng)技術(shù)（PET），將PET技術(shù)應(yīng)用于大數(shù)據(jù)領(lǐng)域，助力產(chǎn)業(yè)發(fā)展。 2016年6月， 華為將CarbonData貢獻(xiàn)給社區(qū)，成為全球第一個由中國企業(yè)提出,被Apache社區(qū)接納的開源組件。,20152016年統(tǒng)計(jì)數(shù)據(jù),Gartner DMSA 魔力四象限報(bào)告,華為FusionInsight，云化、開放、融合

5、的大數(shù)據(jù)平臺,數(shù)據(jù)集成 Porter,Sqoop 批量采集,大規(guī)模并行處理數(shù)據(jù)庫 Apollo DB,Flume 實(shí)時采集,Oozie 作業(yè)調(diào)度管理,Kafka 消息管理,FtpOnHDFS 文件傳輸,管理平臺 Manager,大數(shù)據(jù) 分析,關(guān)系型數(shù)據(jù)庫服務(wù): RDS,運(yùn)維管理,配置管理,故障管理,性能管理,安全管理, ,Hadoop生態(tài)發(fā)行版 HD （HDFS、MapReduce、HBase、Hive、Solr、Spark、Storm、Flink、Elk、CarbonData 等核心組件）,數(shù)據(jù)洞察 Miner （圖分析引擎、機(jī)器學(xué)習(xí)、數(shù)據(jù)標(biāo)簽）,大數(shù)據(jù)云服務(wù),數(shù)據(jù)智慧 Farmer （實(shí)時

6、決策引擎 Farmer RTD）,數(shù)據(jù)接入服務(wù): DIS,數(shù)據(jù)分析服務(wù)：MRS、DWS、Stream、M-OLAP,人工智能服務(wù)： MLS、NLP,HD：全新數(shù)據(jù)格式Carbondata，同時滿足多種業(yè)務(wù)需求,高效率，高性能，存儲靈活，兼容,MPPDB：幫助企業(yè)構(gòu)建高性能、PB級新數(shù)倉,完備的SQL能力，應(yīng)用平滑遷移 開放平臺性能業(yè)界最佳 彈性伸縮支持PB級數(shù)據(jù)處理,Miner：一站式圖形化大數(shù)據(jù)洞察平臺,全流程；多維度；高性能；開放,Farmer：實(shí)時應(yīng)用使能器，助力企業(yè)實(shí)時決策,平滑微服務(wù)化；易運(yùn)維；高可用性；業(yè)務(wù)人員直接寫規(guī)則,FusionInsight HD, Redis, RTD D

7、B,MQ 消息隊(duì)列,ALB 接入負(fù)載均衡,Container 容器池,RTD執(zhí)行,RTD編排,數(shù)據(jù)服務(wù)管理,自定義應(yīng)用1,自定義應(yīng)用N,FusionInsight Farmer,HDFS,OBS,Batch（YARN）,Spark,Hive,MapReduce,TensorFlow/MXNet,模型文件解析運(yùn)行引擎,Yarn,HDFS,Elk,X86,GPU,COTS,GPU,芯片,ATLAS,FPGA,CPU,Hadoop Data Lake （數(shù)據(jù)第二數(shù)據(jù)平面）,AI平臺（訓(xùn)練 + 推理）,Docker Container,算法 倉庫,模型倉庫,HBase,Loader,Storm/Fli

8、nk,MLstudio機(jī)器學(xué)習(xí)平臺,notebook,特征工程,模型訓(xùn)練,Weave圖引擎,知識管理,圖計(jì)算,圖存儲,金融行業(yè)AI解決方案總體架構(gòu),語音API 語音識別 語音合成,文本API 情緒分析 機(jī)器翻譯 文字摘要,圖像API 人臉識別 OCR識別 圖像識別,行業(yè)使能服務(wù)API,知識圖譜API 通用知識 業(yè)務(wù)知識,圖展示,Restful APIs,業(yè)務(wù) 場景,智能客服,智能投顧,智慧預(yù)測營銷,智能風(fēng)控、 征信,。,單據(jù)識別OCR,實(shí)時決策 RTD,規(guī)則,模型,事件接入,流計(jì)算,KV引擎,生物識別,客戶接觸渠道,短信,網(wǎng)銀,微信銀行,手機(jī)銀行,電話語音（IVR）,移動互聯(lián),呼叫中心,排隊(duì)機(jī)

9、/叫號機(jī),貴賓廳門禁,互聯(lián)網(wǎng),一網(wǎng)通,高柜/低柜,ATM,網(wǎng)點(diǎn),遠(yuǎn)程銀行,自助設(shè)備,PAD銀行,掌上生活,推送,電郵,自助終端,VTM,POS,DM（RDB）,ODS,企業(yè)級數(shù)倉 （第一數(shù)據(jù)平面）,EDW (GP/TD/LibrA),WebService,VM,NAS,T保險(xiǎn)大數(shù)據(jù)建設(shè)歷程,2013年,2015年,EDW,大數(shù)據(jù)應(yīng)用,技術(shù)平臺,批處理平臺,FusionInsight HD,基于專用設(shè)備，實(shí)現(xiàn)結(jié)構(gòu)化數(shù)據(jù)離線、實(shí)時計(jì)算,引入企業(yè)版Hadoop，開放技術(shù)與通用設(shè)備，構(gòu)建企業(yè)內(nèi)統(tǒng)一數(shù)據(jù)平臺,基于Hadoop，企業(yè)內(nèi)統(tǒng)一的批處理平臺，離線計(jì)算與分析能力,2016年,2017年,數(shù)據(jù)集市,

10、人工智能AI,機(jī)器學(xué)習(xí)ML,基于GreenPlum，構(gòu)建數(shù)據(jù)倉庫，承擔(dān)企業(yè)數(shù)據(jù)批量加工,基于Oracle，建立財(cái)務(wù)、資產(chǎn)、審計(jì)、績效、風(fēng)險(xiǎn)、ACRM等集市,客戶數(shù)據(jù)ATM,基于Hadoop，提供目標(biāo)客群確定、目標(biāo)客群提取功能,數(shù)據(jù)平臺類,營銷類,反欺詐類,產(chǎn)險(xiǎn)/壽險(xiǎn)IDS,基于Oracle，對產(chǎn)險(xiǎn)/壽險(xiǎn)業(yè)務(wù)數(shù)據(jù)實(shí)現(xiàn)T+0實(shí)時供出,引入MPP架構(gòu)的分布式數(shù)據(jù)平臺，開放技術(shù)與通用設(shè)備，實(shí)現(xiàn)結(jié)構(gòu)化數(shù)據(jù)批量加工,FusionInsight Weaver,業(yè)務(wù)運(yùn)營類,引入企業(yè)版圖分析引擎，開放技術(shù)與通用設(shè)備，構(gòu)建企業(yè)內(nèi)關(guān)系分析平臺,打假通(車險(xiǎn)),基于Weaver，通過圖計(jì)算和關(guān)系分析，發(fā)現(xiàn)理賠時的騙保

11、案件,LBS業(yè)務(wù),基于Hadoop，提供根據(jù)用戶當(dāng)前位置做產(chǎn)品精準(zhǔn)推薦,智能運(yùn)維,基于Hadoop，從業(yè)務(wù)系統(tǒng)收集日志，實(shí)時分析，發(fā)現(xiàn)異常情況，給出告警,集團(tuán)標(biāo)簽系統(tǒng),知客系統(tǒng),自動核保,基于Hadoop海量數(shù)據(jù)處理和實(shí)時計(jì)算能力，實(shí)現(xiàn)與歷史數(shù)據(jù)關(guān)聯(lián)檢查功能,人管預(yù)考核,基于Hadoop，實(shí)現(xiàn)業(yè)務(wù)人員考核，包含實(shí)時推送預(yù)考核結(jié)果,流平臺,基于Hadoop，企業(yè)內(nèi)統(tǒng)一的流處理平臺，數(shù)據(jù)實(shí)時計(jì)算,新數(shù)據(jù)倉庫,基于Hadoop，集團(tuán)內(nèi)新數(shù)倉/集市平臺，卸載GP的財(cái)務(wù)、審計(jì)應(yīng)用,基于Hadoop,基于Hadoop,工具軟件,車險(xiǎn)理賠定損,基于ML,醫(yī)療單據(jù)識別,基于AI,Python/R,數(shù)據(jù)架構(gòu)研究

12、：煙囪式數(shù)據(jù)應(yīng)用-企業(yè)統(tǒng)一大數(shù)據(jù)平臺-深化大數(shù)據(jù)應(yīng)用-數(shù)據(jù)智能,智能客服,基于AI,打假通業(yè)務(wù)場景,業(yè)務(wù)場景： 保險(xiǎn)理賠案件中存在欺詐和騙保行為，需要通過技術(shù)手段快速和有效識別。 當(dāng)前使用手工查找復(fù)雜關(guān)聯(lián)關(guān)系，耗時耗力且易遺漏關(guān)鍵信息；當(dāng)前只能對個案風(fēng)險(xiǎn)進(jìn)行評估，串案和團(tuán)伙不易被偵測。 方案要點(diǎn)： 通過圖計(jì)算和關(guān)系算法分析，發(fā)現(xiàn)理賠案例中的騙保行為和案件：同地多案、同號多案、可疑時間、可疑三者、同車多案、復(fù)雜串聯(lián)案件。 核心技術(shù)：大數(shù)據(jù)、圖分析引擎（Spark，GraphX，Miner(Weaver)） 大數(shù)據(jù)方案：利用華為大數(shù)據(jù)技術(shù)+華為圖分析引擎+可視化界面展示 支持十億結(jié)點(diǎn)千億邊。 客戶

13、收益： 1、打假業(yè)務(wù)人員人工表格方式-圖形化展示，提升分析效率 2、人工表格方式找案件關(guān)聯(lián)，很難做多層擴(kuò)展-案件自動關(guān)聯(lián)，多層關(guān)聯(lián)和擴(kuò)展，找串案、窩案 3、單人分析-對案件人工標(biāo)注，多人協(xié)作打假,根據(jù)輸入數(shù)據(jù)，構(gòu)建多源異構(gòu)信息的復(fù)雜網(wǎng)絡(luò)，打通數(shù)據(jù)邊界,根據(jù)拓?fù)浣Y(jié)構(gòu)與信息傳遞過程識別異常模式，判斷欺詐案件、犯罪團(tuán)伙,點(diǎn)擊規(guī)則,雙引擎問答系統(tǒng)：自動化的檢索系統(tǒng)&精準(zhǔn)的知識圖譜,Spark,人工坐席界面,TopN答案,標(biāo)記,數(shù)據(jù)處理,過濾,規(guī)則化,搜索問題,工單,已有知識庫,新聊天記錄,Lucene,問題初篩,相似模型,排序算法,相似度排序,可執(zhí)行引擎,工單 問題,Tensorflow/Mxnet,

14、構(gòu)建知識庫,離線排序算法,排序模型,SVM,CNN,知識圖譜問答系統(tǒng),圖數(shù)據(jù)庫,知識圖譜,工單,已有知識庫,Spark,數(shù)據(jù)處理,知識表示,標(biāo)記,問答檢索系統(tǒng),基于圖引擎構(gòu)筑企業(yè)級知識應(yīng)用,數(shù)據(jù)接入,知識獲取,知識表達(dá),知識計(jì)算,知識應(yīng)用,交易數(shù)據(jù),用戶數(shù)據(jù),商戶數(shù)據(jù),社交數(shù)據(jù),網(wǎng)上銀行數(shù)據(jù),FusionInsight Hadoop（HDFS/Hive/HBase）,FusionInsight Miner知識建模 （統(tǒng)計(jì)、分類/聚類、關(guān)聯(lián)、關(guān)系抽取、圖挖掘、打標(biāo)簽）,Spark,讀數(shù)據(jù)，并計(jì)算,FusionInsight Weaver,OWL本體語言,基于OWL表達(dá)的圖數(shù)據(jù)導(dǎo)入,搜索、路徑、匹

15、配、推理 （Plugable）,入庫（Plugable）,分析計(jì)算接口層,知識存儲,查詢、遍歷 （Plugable）,推薦,營銷,問答,1,2,3,4,5,6,在知識的獲取過程中，可以利用華為的Miner進(jìn)行建模，也支持其他建模工具，只需要知識的結(jié)果遵循OWL標(biāo)準(zhǔn)，即可按照標(biāo)準(zhǔn)格式入庫到Weaver。,基于圖計(jì)算和知識圖譜技術(shù)，構(gòu)筑企業(yè)級相關(guān)關(guān)系網(wǎng)和知識庫，在金融反欺詐、反洗錢、營銷、智能客服等場景下，對業(yè)務(wù)變革影響越來越突出，甚至在IT運(yùn)維管理方面也有不錯的創(chuàng)新實(shí)踐。,風(fēng)控,實(shí)時風(fēng)控需求與挑戰(zhàn),風(fēng)控方案總體架構(gòu),數(shù)量不斷增長的電子銀行欺詐已經(jīng)成為全球增長最快的“產(chǎn)業(yè)”之一。電子銀行欺詐不僅會造成用戶直接的經(jīng)濟(jì)損失，也會動搖客戶對銀行的信心，影響銀行的信譽(yù)。 現(xiàn)有系統(tǒng)的實(shí)時性不足，且無法支撐高并發(fā)的業(yè)務(wù)壓力。,客戶挑戰(zhàn),解決方案,華為FusionInsight Farmer RTD實(shí)時反欺詐平臺提供了實(shí)時決策引擎，通過PL/SQL定制化反欺詐規(guī)則，支持多租戶。 Farmer RTD是高效、可靠、易用的實(shí)時發(fā)