金融反欺詐場景下的Spark實踐

1、金融反欺詐場景下的Spark實踐金融反欺詐場景下的Spark實踐融科技企業(yè)臨的欺詐險在線反欺詐中的Spark算法實踐基于Spark架構(gòu)的實時反欺詐平臺123金融與科技的結(jié)晶融的本質(zhì)：資源的最合理化應互聯(lián)技術(shù)：交易的邊界成本趨向“零”融科技（FinTech）：通過技術(shù)段推動融創(chuàng)新，形成對融市場、機 構(gòu)及融服務產(chǎn)重影響的業(yè)務模式、技術(shù)應以及流程和產(chǎn)品量速類質(zhì)VolumeVelocityVarietyVeracity每天生,最高每分鐘網(wǎng)絡 設(shè)備 行為 完整度和質(zhì)量T級數(shù)據(jù)50+申請渠道 PII 社交 三方 等類別經(jīng)常殘差不齊金融科技-個人對個人的信用貸款宜人貸官方網(wǎng)站宜人貸借款APP宜人理財APP宜

2、人貸：極速信任-自動化信用評估欺詐風險是互聯(lián)網(wǎng)金融 線上信貸工廠模式最大的挑戰(zhàn)客戶獲取信用評估交易促成客戶服務全流程線上借款與理財咨詢服務場景不同 人群不同數(shù)據(jù)獲取方式不同數(shù)據(jù)維度不同 數(shù)據(jù)深度不同信用評估機制不同線下線上金融科技企業(yè)面臨的欺詐風險群團體化地區(qū)集中化式多樣化具智能化險遇到的問題業(yè)界通常解決法業(yè)界的法為什么效信險還款能力收集收入水平、消費 水平、負債情況等對 用戶進行風險評分無權(quán)威數(shù)據(jù)、數(shù)據(jù)收集 難度大、傳統(tǒng)評分卡有 效特征挖掘難度大欺詐險偽冒申請和欺詐交易人工審查、信用黑名 單、基于規(guī)則人工效率低、無權(quán)威黑 名單、無法自動發(fā)現(xiàn)異 常、欺詐手段更新快金融反欺詐場景下的Spark實

3、踐融科技企業(yè)臨的欺詐險在線反欺詐中的Spark算法實踐基于Spark架構(gòu)的實時反欺詐平臺123反欺詐也是一種機器學習過程Y標： Benchmark選取好、壞戶定義訓練、測試和跨時間驗證樣本X變量：特征程特征程圖譜特征挖掘技術(shù)知識圖譜技術(shù)圖挖掘技術(shù)信消費 通訊社交為險控制數(shù)據(jù)字塔構(gòu)建金融知識圖譜：FinGraph10種實體-電話、份證、銀卡、信卡、IP、 設(shè)備號、地理位置等約2.6億節(jié)點約10億邊關(guān)系應用場景層面智能搜索、反欺詐、貸后管理、營銷分析、運營支撐 等數(shù)據(jù)整合層面信用數(shù)據(jù)、金融消費數(shù)據(jù)、行為數(shù)據(jù)、社交數(shù)據(jù)、 網(wǎng)絡安全、第三方數(shù)據(jù) 等圖數(shù)據(jù)庫neo4j系統(tǒng)支持層面特征工程、模型開發(fā)、異常

4、監(jiān)控、推薦系統(tǒng) 等Spark+Hadoop+GraphX+Mllib+Streaming+TensorFlowFinGraph 平臺系統(tǒng)反欺詐場景下Spark三板斧Spark StreamingSpark GraphXSpark Mllib流式數(shù)據(jù)處理業(yè)務：SDK實時數(shù)據(jù)處理算法：PageRank、LPA業(yè)務：圖挖掘特征程、挖掘欺詐組團算法：LR、RF、Kmeans、LDA業(yè)務：特征程、簡單機器學習訓練3.3倍反欺詐分析案例：借款戶通信社交絡 與欺詐險-結(jié)論：PageRank分段戶的壞賬率是 低分段戶的3.3倍反欺詐建模中的數(shù)據(jù)科學金融反欺詐場景下的Spark實踐融科技企業(yè)臨的欺詐險在線反欺詐

5、中的Spark算法實踐基于Spark架構(gòu)的實時反欺詐平臺123對不同事件得出實時欺詐評分PHONEAME: MikeADRESS: Chaoyang, Beijing IP: 123.89.21.10IMEI： 447769804451095 Mac: 00-80-C2-00-00-1AOS：android 4.3 Model: Oppo R7.73446185設(shè)備激活注冊賬戶查看新手引導點擊貸款點擊提交 初審退出申請數(shù)據(jù)采集機器學習57欺詐評分92SENT EVENTSGET RISK SCORE通過SDK采集欺詐事件設(shè)備數(shù)據(jù)為數(shù)據(jù)位置數(shù)據(jù)機品牌機型號操作系統(tǒng)本機號

6、碼設(shè)備IDApp安裝列表賬號登錄進按鈕點擊信息輸告瀏覽操作時間GPSIP反欺詐平臺架構(gòu)反 欺 詐具 平 臺SDK數(shù)據(jù)流提報終審戶評分模型/規(guī)則引擎預警戶反欺詐組調(diào)查員進件戶數(shù)據(jù)(為數(shù)據(jù)、設(shè)備數(shù)據(jù)、資格數(shù)據(jù)等)數(shù)據(jù)層模型層具層戶層Neo4j/HDFS/Hbase/Mysql/Redis消費數(shù)據(jù)通信數(shù)據(jù)Kafka存儲層.事件、團伙引擎(知識圖譜)Spark StreamingImpalaMap Reduce數(shù)據(jù)處理層反欺詐平臺工作流程反欺詐 調(diào)查組SDK進件設(shè)備算法模型戶申請借款消費特征通訊特征評分等級FICO評分校準預警戶1天）結(jié)合圖譜挖掘，利于快速發(fā)現(xiàn)欺詐團伙根據(jù)調(diào)查認定的欺詐戶，尋 找聯(lián)系緊密的戶團體認定 欺詐認定 欺詐用一手行為數(shù)據(jù)和圖譜信息創(chuàng)造商業(yè)價值SDK數(shù)據(jù) 采集知識圖譜反欺詐 平臺挑戰(zhàn)：初步歷史為數(shù)據(jù)分析體現(xiàn)了 顯著的欺詐區(qū)分能。怎樣實 時捕捉，上傳，處理，和分析為數(shù)據(jù)？解決案：代碼 埋點SDK動實時/準實時上傳戶 為Flume+Kafka實時處理分析挑戰(zhàn)：反欺詐調(diào)研時效性差，需要實 時動提報疑似欺詐案例，及 時發(fā)現(xiàn)欺詐事件/團伙，來主動 攔截？解決案：Go做為效開發(fā)和運基礎(chǔ)Python連接動提報后臺SKLearn、GBDT、 事件識別Cypher圖譜關(guān)系挖掘挑戰(zhàn)：