金融云數(shù)據(jù)平臺介紹

1、傳易金融云數(shù)據(jù)平臺介紹技術(shù)創(chuàng)新 變革未來公司介紹傳易集團是由中國領(lǐng)先的互聯(lián)網(wǎng)上市公司網(wǎng)易 集團和全球智能終端產(chǎn)品移動增值服務提供商 傳音控股集團共同創(chuàng)辦的合資公司，聚焦移動 互聯(lián)網(wǎng)領(lǐng)域，以互聯(lián)網(wǎng)金融、音樂、短視頻、 應用市場、在線游戲等為主要業(yè)務方向。旗下網(wǎng)聚了非洲第一大在線音樂平臺Boomplay， 非洲排名第一的短視頻平臺 Vskit，非洲第 二大移動應用分發(fā)平臺 Palmstore，以及互聯(lián) 網(wǎng)金融信貸理財和支付產(chǎn)品Palmcredit、Palmsave、Palmpay等已在非洲嶄露頭角的優(yōu) 秀互聯(lián)網(wǎng)產(chǎn)品，是中國互聯(lián)網(wǎng)最先開始非洲本 土化的企業(yè)之一。數(shù)據(jù)平臺理財注冊平臺信貸支付業(yè)務整體框

2、架海量的線上用戶豐富的應用場景快速的授信、審批、交易和高度自動化實時反欺詐和快速迭代業(yè)務特點數(shù)據(jù)平臺特點數(shù)據(jù)種類多各種采集數(shù)據(jù)、業(yè)務數(shù)據(jù)、三方數(shù)據(jù)數(shù)據(jù)類型多結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化處理方式多實時、準實時、離線支持場景多申請、審批、交易、分析采集客戶端10+種數(shù)據(jù)實時和準實時解析200+風控變量風控分析師能夠靈活快速分析所有數(shù)據(jù)高可用，支持橫向伸縮數(shù)據(jù)平臺目標我們的規(guī)劃方案數(shù)據(jù)采集服務集群隊列集群S3數(shù)據(jù)采集數(shù)據(jù)采集數(shù)據(jù)上報埋點數(shù)據(jù)、授權(quán)數(shù)據(jù)數(shù)據(jù)采集服務接入節(jié)點，將數(shù)據(jù)轉(zhuǎn)發(fā)到隊列集群隊列集群NSQ消息隊列隊列集群實時業(yè)務處理ETL消費端數(shù)據(jù)結(jié)構(gòu)化處理S3消息緩存準實時處理消費端文檔數(shù)據(jù)庫Mys

3、ql數(shù)據(jù)同步數(shù)據(jù)倉庫埋點數(shù)據(jù)ETL數(shù)據(jù)處理業(yè)務風控指標實時 解析用戶授信、交易申 請，根據(jù)申請時刻 采集的數(shù)據(jù)出授信 額度和交易審批實時處理處理用戶通訊錄、 通話記錄、短信等 信息解析用戶關(guān)系消費端故障，數(shù)據(jù) 可以延遲處理，但 不能丟失支持慢消費和數(shù)據(jù) 回溯準實時處理ETL原始數(shù)據(jù)直接備份S3將數(shù)據(jù)結(jié)構(gòu)化處理，暫存S3S3結(jié)構(gòu)化數(shù)據(jù)直接轉(zhuǎn) 入數(shù)據(jù)倉庫埋點數(shù)據(jù)ETL后，存 入數(shù)據(jù)倉庫ETL消費端ETLS3消息緩存準實時處理消費端文檔數(shù)據(jù)庫Mysql數(shù)據(jù)同步數(shù)據(jù)倉庫埋點數(shù)據(jù)ETL數(shù)據(jù)存儲主要用于通訊錄、通話記錄、短信 等大塊數(shù)據(jù)存儲和解析用戶關(guān)系表的存儲要支持靈活擴展文檔數(shù)據(jù)庫數(shù)據(jù)湖存儲所有原始數(shù)

4、據(jù)暫存中間的處理數(shù)據(jù)S3離線處理（OLAP）BI、風控分析大規(guī)模并行處理跟其他服務之間無縫對接升級容易，易維護數(shù)據(jù)倉庫數(shù)據(jù)平臺方案開源方案Kafka + MongoDB + Mysql + Sqoop + Hadoop + Hive云服務方案Kinesis + DynamoDB + Aurora + DMS + Redshift開源方案問題：技術(shù)難度高，后期的維護和升級麻煩穩(wěn)定性低，開源問題較多，需要升級來保證與其他服務的兼容性不好，需要額外開發(fā)保證需要有經(jīng)驗的開發(fā)人力投入數(shù)據(jù)平臺方案開發(fā)現(xiàn)狀：僅3名開發(fā)人員基本無數(shù)據(jù)開發(fā)經(jīng)驗開發(fā)人員的技術(shù)棧不同兩個月上線數(shù)據(jù)平臺方案原則：充分利用其他項目中已

5、實現(xiàn)組件優(yōu)先選擇開發(fā)人員熟悉的和上手快的盡量整合AWS服務，減少基礎服務人力投入聚焦業(yè)務實現(xiàn)數(shù)據(jù)平臺方案最后方案的架構(gòu)DynamoDBlambdaAurora數(shù)據(jù)采集平臺AZ-1AZ-2Kinesis FirehoseAmazon S3隊列集群KinesisKinesis 消費端業(yè)務單元集群DMSRedshiftlambda傳易金融數(shù)據(jù)平臺架構(gòu)一些使用注意事項消息隊列使用Kinesis Data Streams API，需要消費端來記錄已處理消息Kinesis Client Library (KCL)可以實現(xiàn)上面的功能，專注于每條記錄的處理KCL的每個分片不支持多個消費端同時處理KCL支持的語

6、言有限，不支持GO語言Kinesis將實時流傳送到S3，Redshift從S3 COPY數(shù)據(jù)到Redshift，遇到不兼容字符會導致任務阻塞， 阻塞期間的數(shù)據(jù)會丟失存儲到S3的目錄會自動加上年月日時如果數(shù)據(jù)量不大，存儲到S3的小文件較多，影響使用效率Kinesis FirehoseNoSql文檔數(shù)據(jù)庫如果不是強一致讀數(shù)據(jù)，可能會讀取不到最終數(shù)據(jù)支持通過指定Hash key批量查詢，不支持批量查詢Hash keyDynamoDB用于不同數(shù)據(jù)庫之間數(shù)據(jù)同步和遷移DMS 對Redshift性能影響很大, 可以通過調(diào)整參數(shù)BatchApplyTimeoutMin來控制更新頻率數(shù)據(jù)源改了數(shù)據(jù)類型會導致任

7、務失敗，整個表需要重新同步只能從Aurora讀寫節(jié)點同步，不支持從只讀節(jié)點同步DMS使用COPY命令，varchar類型長度必須是正常長度的3倍設計表的時候 distkey 和 sortkey 要在一開始想好，創(chuàng)建表后無法更改表創(chuàng)建后，字段的類型無法修改盡量不要使用sql直接做數(shù)據(jù)清洗操作Redshift存在問題和優(yōu)化點：數(shù)據(jù)采集平臺需要額外維護，Kinesis支持手機端直接上報數(shù)據(jù)，可以 直接干掉數(shù)據(jù)采集平臺Kinesis直接替換掉NSQ隊列集群用戶的復雜關(guān)系需要上圖數(shù)據(jù)庫處理業(yè)務集群可以考慮使用lambda實現(xiàn)，實現(xiàn)無服務器隨著業(yè)務量的增長可以上EMR做ETL和流處理Redshift數(shù)據(jù)根據(jù)時間分表，冷數(shù)據(jù)轉(zhuǎn)移到S3，掛載回Redshift架構(gòu)迭代DynamoDBLambdaAuroraKinesis FirehoseLambda集群KinesisKinesis FirehoseLambdaAmazon S3DMSRedshiftLambda傳易數(shù)據(jù)平臺架構(gòu)演進-無服務器架構(gòu)AWS云服務方案：技術(shù)