MongoDB及Spark在金融保險(xiǎn)行業(yè)技術(shù)實(shí)踐

1、運(yùn)用MongoDB及Spark 實(shí)現(xiàn)保險(xiǎn)行業(yè)開(kāi)門紅秒殺大屏MongoDB及Spark在金融保險(xiǎn)行業(yè)技術(shù)實(shí)踐公司介紹中國(guó)太平保險(xiǎn)集團(tuán)有限責(zé)任公司于1929年在上海創(chuàng)立，1956年根據(jù)國(guó)家統(tǒng) 一部署，中國(guó)保險(xiǎn)、太平保險(xiǎn)停辦國(guó)內(nèi)業(yè)務(wù)，專營(yíng)港澳和海外保險(xiǎn)業(yè)務(wù)。1999 年所有境外國(guó)有保險(xiǎn)機(jī)構(gòu)劃歸中國(guó)保險(xiǎn)股份有限公司管理。2000年在港交所上 市，是我國(guó)首家在境外上市的保險(xiǎn)企業(yè)。2001年以太平品牌在境內(nèi)復(fù)業(yè)。2011 年底列入中央管理，升格為副部級(jí)金融央企。2013年完成重組改制和整體上市。2018年7月19日，首次進(jìn)入世界500強(qiáng)。目前，中國(guó)太平總保費(fèi)超過(guò)1600億 元，總資產(chǎn)突破6000億元，管理

2、資產(chǎn)規(guī)模突破1萬(wàn)億元，已經(jīng)成為一家擁有60余 萬(wàn)名內(nèi)外勤員工、24家子公司和2000余家各級(jí)營(yíng)業(yè)機(jī)構(gòu)的大型跨國(guó)金融保險(xiǎn)集團(tuán)，經(jīng)營(yíng)范圍涉及中國(guó)內(nèi)地、中國(guó)香港、中國(guó)澳門、北美、歐洲、大洋洲、東 亞及東南亞等國(guó)家和地區(qū)，業(yè)務(wù)范圍涵蓋壽險(xiǎn)、財(cái)險(xiǎn)、養(yǎng)老保險(xiǎn)、再保險(xiǎn)、再 保險(xiǎn)經(jīng)紀(jì)及保險(xiǎn)代理、互聯(lián)網(wǎng)保險(xiǎn)、資產(chǎn)管理、證券經(jīng)紀(jì)、金融租賃、不動(dòng)產(chǎn) 投資、養(yǎng)老醫(yī)療健康產(chǎn)業(yè)投資等領(lǐng)域。太平保險(xiǎn)開(kāi)門紅開(kāi)門紅特點(diǎn)：統(tǒng)計(jì)緯度多秒殺并發(fā)大實(shí)時(shí)要求高存在的痛點(diǎn)實(shí)現(xiàn)思路不足使用觸發(fā)器對(duì)原始數(shù)據(jù)進(jìn)行裁剪寫(xiě)入小表延遲大，無(wú)法滿足實(shí)時(shí)要求，當(dāng)前聚合計(jì)算和ETL的時(shí) 間延遲4m對(duì)寫(xiě)入到小表的數(shù)據(jù)利用存儲(chǔ)過(guò)程進(jìn)行聚合分析，結(jié)果 寫(xiě)入到聚合

3、表存儲(chǔ)過(guò)程中的聚合分析無(wú)法進(jìn)行并發(fā)計(jì)算，性能空間有 限聚合表數(shù)據(jù)通過(guò)shareplex的cdc機(jī)制將數(shù)據(jù)同步到讀庫(kù)統(tǒng)缺乏水平可擴(kuò)展性Spark + MongoDB應(yīng)用app消息隊(duì)列Spark StreamingMongoDB指標(biāo)大屏實(shí)現(xiàn)思路優(yōu)點(diǎn)不足業(yè)務(wù)APP將數(shù)據(jù)寫(xiě)入到消息隊(duì)列（建議 采用kafka）統(tǒng)計(jì)實(shí)時(shí)性強(qiáng)，延遲5s對(duì)業(yè)務(wù)系統(tǒng)有一定的改造，業(yè)務(wù)系統(tǒng)的數(shù)據(jù) 持久化邏輯受影響，需要將數(shù)據(jù)直接寫(xiě)入消 息隊(duì)列通過(guò)Spark Streaming消費(fèi)消息隊(duì)列中 的數(shù)據(jù)，進(jìn)行總金額的實(shí)時(shí)累加，實(shí)時(shí) 反應(yīng)統(tǒng)計(jì)排名系統(tǒng)水平可擴(kuò)展性高原始數(shù)據(jù)快速寫(xiě)入MongoDB 聚合結(jié)果實(shí)時(shí)寫(xiě)入MongoDB系統(tǒng)高可用(

4、high availablitity)分片擴(kuò)展能力Spark高速比hadoop快100倍易用Java, Scala, Python, R, and SQL.通用流式運(yùn)算、機(jī)器學(xué)習(xí)、圖計(jì)算、SQLSpark Streaming數(shù)據(jù)采集：用戶使用流式數(shù)據(jù)采集工具將數(shù)據(jù)流式且實(shí)時(shí)地采集并傳輸?shù)酱髷?shù)據(jù)消息Pub/Sub系統(tǒng)，該系 統(tǒng)將為下游流計(jì)算提供源源不斷的事件源去觸發(fā)流式計(jì)算任務(wù)的運(yùn)行。流式計(jì)算：流數(shù)據(jù)作為流計(jì)算的觸發(fā)源驅(qū)動(dòng)流計(jì)算運(yùn)行。因此，一個(gè)流計(jì)算任務(wù)必須至少使用一個(gè)流數(shù)據(jù) 作為數(shù)據(jù)源。一批進(jìn)入的數(shù)據(jù)流將直接觸發(fā)下游流計(jì)算的一次流式計(jì)算處理，并針對(duì)但批次流式數(shù)據(jù)得出計(jì)算 結(jié)果。數(shù)據(jù)集成：流計(jì)算

5、將計(jì)算的結(jié)果數(shù)據(jù)直接寫(xiě)入目的數(shù)據(jù)源，這其中包括多種數(shù)據(jù)源，包括數(shù)據(jù)存儲(chǔ)系統(tǒng)、 消息投遞系統(tǒng)，甚至直接對(duì)接業(yè)務(wù)規(guī)則告警系統(tǒng)發(fā)出告警信息。不同于批量計(jì)算，流計(jì)算天生自帶數(shù)據(jù)集成模 塊，可以將結(jié)果數(shù)據(jù)直接寫(xiě)入到目的數(shù)據(jù)源。數(shù)據(jù)消費(fèi)：流計(jì)算一旦將結(jié)果數(shù)據(jù)投遞到目的數(shù)據(jù)源后，后續(xù)的數(shù)據(jù)消費(fèi)從系統(tǒng)劃分來(lái)說(shuō)，和流計(jì)算已經(jīng) 完全解耦。用戶可以使用數(shù)據(jù)存儲(chǔ)系統(tǒng)訪問(wèn)數(shù)據(jù)，使用消息投遞系統(tǒng)進(jìn)行信息接收，或者直接使用告警系統(tǒng)進(jìn) 行告警。數(shù)據(jù)庫(kù)選型關(guān)鍵能力描述RDBMSHDFSMongoDB性能與擴(kuò)展海量數(shù)據(jù)處理能力否是是高效查詢效率是否是性能擴(kuò)展有限（垂直）水平擴(kuò)展水平擴(kuò)展模型靈活度數(shù)據(jù)模型變更是否靈 活否N/A是支

6、持結(jié)構(gòu)化、半結(jié)構(gòu)、非機(jī)構(gòu)化數(shù)據(jù)有限支持支持支持企業(yè)級(jí)支撐完整的企業(yè)級(jí)運(yùn)維標(biāo) 準(zhǔn)及工具是否是Why MongoDB？原始交易數(shù)據(jù)（高峰10w消息/秒），有重復(fù)，要求能夠快速寫(xiě)入數(shù)據(jù)庫(kù)并去重（唯一索引），之后Spark Streaming快速讀出數(shù)據(jù)處理展示指標(biāo)緯度多，單一基于key-value的內(nèi)存數(shù)據(jù)庫(kù)無(wú)法支撐多條件查詢MongoDB Spark connector，支持雙向讀寫(xiě)；查詢條件下推，利用MongoDB索引過(guò)濾無(wú)用數(shù)據(jù)， 減少數(shù)據(jù)傳輸量MongoDB查詢功能強(qiáng)大（Aggregation/范圍/地理位置/JOIN/Key-value/Graph），可以應(yīng)付今 后的更多場(chǎng)景實(shí)際性能功能虛擬機(jī)配置數(shù)量Spark集群CPU 4core RAM 16GB5MongoDB集群CPU 4core RAM 16GB3處理數(shù)據(jù)量 batch 4s處理時(shí)間（秒）是否有延遲25000.2N/A50000.5N/A200003N/A300004N/A400005延遲1s數(shù)據(jù)準(zhǔn)確度100%注意