大數(shù)據(jù)和小米金融2

大數(shù)據(jù)和小米金融方流，小米金融技術(shù)總監(jiān)概述小米公司簡介小米金融DW建設(shè)用戶金融畫像大數(shù)據(jù)反欺詐小米公司-產(chǎn)品手機空氣凈化器凈水器…電視移動電源插線板…生態(tài)鏈平衡車手環(huán)…智能家居攝像頭血壓計體重秤…小米公司-成績小米金融信貸保險理財證券小米金融-信貸便捷只需要一部小米手機隨時/隨地靈活第二天即可還款根據(jù)信用不同，先息后本/等額本金等多種還款方式極速1分鐘身份驗證1分鐘到賬進化隨著小米產(chǎn)品的使用/提交資料/使用貸款等方法可以提升信用信用和新品公測/分期等結(jié)合小米金融-保險基于智能設(shè)備的企業(yè)團體健康險健康險車險意外險數(shù)據(jù)平臺基于智能設(shè)備與小米大數(shù)據(jù)的保險業(yè)務(wù)風(fēng)險建模保險公司贏利點2：風(fēng)控與精算定價數(shù)據(jù)輸出TOCTOB業(yè)務(wù)平臺極致性價比的保險產(chǎn)品支持保險業(yè)務(wù)快速成交、快速服務(wù)快速理賠的IT平臺贏利點1：產(chǎn)品分銷深度定制產(chǎn)品小米保險DW建設(shè)架構(gòu)工具-scribe

-hadoop/hdfs

-hbase

-hive

-impala

-sqoop

-sparkDW建設(shè)-業(yè)務(wù)架構(gòu)智能家居小米手環(huán)小米血壓計小米金融/支付外部數(shù)據(jù)（爬蟲/合作數(shù)據(jù)）小米生活等等小米push小米電視/盒子/視頻應(yīng)用/主題商店多看閱讀小米商城業(yè)務(wù)層設(shè)備層數(shù)據(jù)倉庫模型KUDUhbaseHadoop/hdfs反欺詐模型信用模型機器學(xué)習(xí)/數(shù)據(jù)挖掘sparkimpalaHiveRscribe政策/運營sqoopSaikuDW建設(shè)-log利器之scribeApplication/ScribeclientApplication/ScribeclientApplication/ScribeclientApplication/ScribeclientlocalScribe

AgentAnother

Scribe

AgentHDFSFILEsOther

storageLocal

Storage來自于facebook高性能較好的容錯性DW建設(shè)-ETL利器之Hadoop/Hdfs每天上T數(shù)據(jù)ETL批處理DW建設(shè)-DW利器之HBaseColumnfamily數(shù)量不能太多線上服務(wù)（99%讀請求10ms左右，寫請求5ms左右）容易用map/reduce進行批處理小米賬號11月安裝<-t110月安裝<-t29月安裝<-t3columnfamily:app數(shù)據(jù)columnfamily:商城數(shù)據(jù)columnfamily:視頻數(shù)據(jù)timestampRowKeyDW建設(shè)-數(shù)據(jù)分析利器之Hive/Sentry類SQL查詢語言/易上手無縫對接hadoop/hdfs/hbase使用Sentry進行權(quán)限控制缺點：速度較慢DW建設(shè)-OLAP利器之Impala對應(yīng)于google的dremel近實時(分布式查詢引擎/中間結(jié)果在內(nèi)存/LLVM/C++等)類SQL查詢非常適合OLAPDW建設(shè)-數(shù)據(jù)遷移利器之sqoop業(yè)務(wù)數(shù)據(jù)往往都在mysql從mysql到hbaseDW建設(shè)-機器學(xué)習(xí)利器之spark比hadoop更通用（豐富的API）高性能良好的機器學(xué)習(xí)支持用戶金融畫像目標(biāo)屬性分析數(shù)據(jù)稀疏性問題用戶金融畫像-目標(biāo)金融屬性

-收入/支出/資產(chǎn)/購物/理財/…行為屬性(人被行為所定義)

-app/視頻/圖書/音樂/電話時間和次數(shù)/運動/…社交屬性(物以類聚，人以群分)

-居住區(qū)域/工作單位

-米聊/小米社區(qū)

-網(wǎng)絡(luò)社交（微博/linkedin）人口屬性

性別/年齡/學(xué)歷/…金融用戶畫像-屬性分析基于Spark引入GBDT+LR，GBDT+FM等方法自動發(fā)現(xiàn)、組合特征采樣：均衡性問題去噪：部分業(yè)務(wù)數(shù)據(jù)可能有作弊數(shù)據(jù)用戶金融畫像-數(shù)據(jù)稀疏性-應(yīng)用數(shù)據(jù)應(yīng)用元信息用戶評論評分用戶行為數(shù)據(jù)分類：SVM+人工用戶金融焦屬性-數(shù)據(jù)稀陽疏性-職業(yè)數(shù)據(jù)定向定向抓取人工修正，需要一些領(lǐng)域知識搜索引擎通過搜索引擎獲得語義機器學(xué)習(xí)分類知識圖譜垂直搜索引擎建立公司、職業(yè)的知識圖譜大數(shù)據(jù)涼反欺詐-欺詐類眠型盜號-異常環(huán)大境監(jiān)測/手機驗證身份偽造-實名認(rèn)證虛假資料-交叉驗證大數(shù)據(jù)且反欺詐-架構(gòu)業(yè)務(wù)接國口反欺詐中壯心DW/Cach坐e外部數(shù)據(jù)鍵接入異常特征善發(fā)現(xiàn)資料交籃叉驗證反欺詐模仇型決策引擎人工審批大數(shù)據(jù)裳反欺詐-反欺詐聯(lián)盟反欺詐任徒重而道今遠(yuǎn)—需要大家企攜手如何衡量全各自的價距值？Tha擋nks謝謝觀看/歡迎下載BYF苦AITH豎IM湖EAN貧AVI短SION慈OF袖GOOD煤ONE欄CHE滑RISH主ESA世NDT奔HEE霸NTHU煙SIAS江MTH典ATP點