2025年構(gòu)建多技術(shù)融合的湖倉一體化平臺打造銀行數(shù)據(jù)智核新引擎報(bào)告-陜西農(nóng)信（閆顯）

項(xiàng)目背景項(xiàng)目方案創(chuàng)新點(diǎn)及技術(shù)實(shí)現(xiàn)特點(diǎn)運(yùn)營分享冒政策與需求?2019年，人民銀行發(fā)布《金融科技（FinTech）發(fā)展規(guī)劃（2019-2021年）》，啟動金融科技創(chuàng)新監(jiān)管試點(diǎn)探索。?2020年，人大發(fā)布《數(shù)據(jù)安全法》、個(gè)人信息保護(hù)法》，人民銀行發(fā)布《征信業(yè)務(wù)管理辦法》。?2021年，中央十四五規(guī)劃綱要指出，要”穩(wěn)妥發(fā)展金融科技，加快金融機(jī)構(gòu)數(shù)字化轉(zhuǎn)型“。?2022年，人民銀行《金融科技發(fā)展規(guī)劃（2022-2025年）》銀保監(jiān)會《關(guān)于銀行業(yè)保險(xiǎn)業(yè)數(shù)字化轉(zhuǎn)型的指導(dǎo)意見》國務(wù)院《”十四五“數(shù)字經(jīng)濟(jì)發(fā)展規(guī)劃》。夯實(shí)數(shù)據(jù)基礎(chǔ)?2020年，陜西農(nóng)信啟動數(shù)字化轉(zhuǎn)型工作，貫徹新發(fā)展理念、立足新發(fā)展階段，堅(jiān)持?jǐn)?shù)據(jù)驅(qū)動業(yè)務(wù)發(fā)展，持續(xù)發(fā)揮數(shù)據(jù)要素價(jià)值。?面對井噴式增長的數(shù)據(jù)量及數(shù)據(jù)應(yīng)用需求，當(dāng)前數(shù)據(jù)倉庫MPP、大數(shù)據(jù)平臺Hadoop存在數(shù)據(jù)孤島、處理效率低、流轉(zhuǎn)時(shí)間長等問題，難以敏捷高效地支撐業(yè)務(wù)發(fā)展，陜西農(nóng)信開展湖倉一體化平臺技術(shù)預(yù)言及建設(shè)工作。NNNNNN冒演進(jìn)路線（一）能統(tǒng)一在Hadoop體系特點(diǎn)： N集市歷史歸檔湖倉分體集市模型貼源報(bào)表數(shù)據(jù)探索機(jī)器學(xué)習(xí)實(shí)時(shí)計(jì)算結(jié)構(gòu)化數(shù)據(jù)半/半結(jié)構(gòu)化數(shù)據(jù)N集市歷史歸檔湖倉分體集市模型貼源報(bào)表數(shù)據(jù)探索機(jī)器學(xué)習(xí)實(shí)時(shí)計(jì)算結(jié)構(gòu)化數(shù)據(jù)半/半結(jié)構(gòu)化數(shù)據(jù)集市模型數(shù)據(jù)倉庫集市模型數(shù)據(jù)倉庫報(bào)表集市集市貼源貼源結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)湖數(shù)據(jù)湖報(bào)表歷史歸檔實(shí)時(shí)歷史歸檔實(shí)時(shí)計(jì)算半/半結(jié)構(gòu)化數(shù)據(jù)N湖倉一體—湖倉分體集市集市實(shí)時(shí)計(jì)算流批一體模型貼源N湖倉一體—湖倉分體集市集市實(shí)時(shí)計(jì)算流批一體模型貼源歸檔報(bào)表數(shù)據(jù)探索機(jī)器學(xué)習(xí)結(jié)構(gòu)化數(shù)據(jù)半/半結(jié)構(gòu)化數(shù)據(jù)湖倉一體湖倉一體—湖內(nèi)建倉數(shù)據(jù)探索機(jī)器學(xué)習(xí)報(bào)表集市集市集市集市模型模型結(jié)構(gòu)化數(shù)據(jù)半/半結(jié)構(gòu)化數(shù)據(jù)特點(diǎn)：特點(diǎn)：同冒演進(jìn)路線（二）晶DWS應(yīng)用集群主題數(shù)據(jù)整合；共性加工層數(shù)據(jù)處理；晶DWS應(yīng)用集群主題數(shù)據(jù)整合；共性加工層數(shù)據(jù)處理；面向應(yīng)用領(lǐng)域的集市實(shí)時(shí)數(shù)據(jù)處理區(qū)；系統(tǒng)穩(wěn)定性高大數(shù)據(jù)平臺數(shù)據(jù)倉庫實(shí)時(shí)加工：全鏈路秒級業(yè)務(wù)量大：維表千萬級/高可靠：主備集群容災(zāi)化化支撐高SLA業(yè)務(wù)查詢：高并發(fā)資源獨(dú)享：物理資源高可靠：主備集群容災(zāi)數(shù)數(shù)據(jù)平臺行業(yè)情況行業(yè)情況冒2.1建設(shè)目標(biāo)搭建湖倉一體化平臺搭建湖倉一體化平臺，實(shí)現(xiàn)全行數(shù)據(jù)的高效匯聚和統(tǒng)一管理?平臺采用全棧信創(chuàng)架構(gòu)；?圍繞數(shù)據(jù)采集、存儲、分析、應(yīng)用等全流程開展建設(shè)。建設(shè)目標(biāo)建設(shè)目標(biāo)提升數(shù)據(jù)服務(wù)能力提升數(shù)據(jù)服務(wù)能力，豐富數(shù)據(jù)場景應(yīng)用?升級數(shù)據(jù)平臺原有查詢服務(wù)，提高數(shù)據(jù)查詢效率和穩(wěn)定性；?引入新組件，為業(yè)務(wù)人員開展BI自助分析和交互式分析場景提供平臺支撐。融合多技術(shù)組件，強(qiáng)化數(shù)據(jù)分析與計(jì)算能力?實(shí)現(xiàn)批處理、流式計(jì)算及流批一體數(shù)據(jù)處理；?提供多樣的數(shù)據(jù)分析能力，滿足海量、復(fù)雜且多樣化的數(shù)據(jù)處理需求。規(guī)范開發(fā)流程，建立DataOps研發(fā)運(yùn)營體系?規(guī)范數(shù)據(jù)需求、數(shù)據(jù)研發(fā)、數(shù)據(jù)治理、數(shù)據(jù)交付、數(shù)據(jù)運(yùn)營等環(huán)節(jié)；?形成面向數(shù)據(jù)全生命周期的標(biāo)準(zhǔn)化實(shí)施工藝流程，提升整個(gè)團(tuán)隊(duì)協(xié)作與效能。冒2.2技術(shù)架構(gòu) SparkStreaming析TezTeze（presto）共性加工層實(shí)時(shí)數(shù)據(jù)區(qū)共性加工層實(shí)時(shí)數(shù)據(jù)區(qū)集市層集市層元數(shù)據(jù)B數(shù)據(jù)安全B.元數(shù)據(jù)B數(shù)據(jù)存儲數(shù)據(jù)存儲平臺能力據(jù)冒2.3功能架構(gòu)數(shù)據(jù)消費(fèi)數(shù)據(jù)消費(fèi)交易中臺運(yùn)營中臺應(yīng)用系統(tǒng)......數(shù)據(jù)使用者業(yè)務(wù)人員分析人員管理人員運(yùn)維人員數(shù)據(jù)訪問統(tǒng)一入口數(shù)據(jù)訪問統(tǒng)一入口資產(chǎn)目錄標(biāo)簽明細(xì)數(shù)據(jù)領(lǐng)導(dǎo)駕駛艙統(tǒng)計(jì)報(bào)表知識圖譜數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量數(shù)據(jù)安全數(shù)據(jù)模型管理元數(shù)據(jù)管理資產(chǎn)盤點(diǎn)數(shù)據(jù)地圖數(shù)據(jù)血緣數(shù)據(jù)管控指標(biāo)資產(chǎn)目錄標(biāo)簽明細(xì)數(shù)據(jù)領(lǐng)導(dǎo)駕駛艙統(tǒng)計(jì)報(bào)表知識圖譜數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量數(shù)據(jù)安全數(shù)據(jù)模型管理元數(shù)據(jù)管理資產(chǎn)盤點(diǎn)數(shù)據(jù)地圖數(shù)據(jù)血緣數(shù)據(jù)管控指標(biāo)實(shí)時(shí)數(shù)據(jù)區(qū)明細(xì)數(shù)據(jù)匯總數(shù)據(jù)指標(biāo)數(shù)據(jù)明細(xì)數(shù)據(jù)匯總數(shù)據(jù)指標(biāo)庫共性加工層數(shù)據(jù)集市層......財(cái)務(wù)集市報(bào)表集市績效集市報(bào)送集市實(shí)時(shí)數(shù)據(jù)區(qū)明細(xì)數(shù)據(jù)匯總數(shù)據(jù)指標(biāo)數(shù)據(jù)明細(xì)數(shù)據(jù)匯總數(shù)據(jù)指標(biāo)庫共性加工層數(shù)據(jù)集市層......財(cái)務(wù)集市報(bào)表集市績效集市報(bào)送集市風(fēng)險(xiǎn)集市客戶集市 緩存層貼源層標(biāo)準(zhǔn)層主題層歷史數(shù)據(jù)區(qū)實(shí)時(shí)數(shù)據(jù)區(qū)外部/法人數(shù)據(jù)區(qū)半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)區(qū)通用匯總數(shù)據(jù)層應(yīng)用應(yīng)用數(shù)據(jù)層數(shù)據(jù)采集數(shù)據(jù)采集/數(shù)據(jù)交換行內(nèi)數(shù)據(jù)行內(nèi)數(shù)據(jù)......人工補(bǔ)錄采集ECIF核心信貸網(wǎng)貸互金外部數(shù)據(jù) 外部數(shù)據(jù) 政務(wù)......稅務(wù)征信監(jiān)管工商司法日志文件日志文件埋點(diǎn)數(shù)據(jù)埋點(diǎn)數(shù)據(jù)XMLXML/JSON數(shù)據(jù)源系統(tǒng)文件數(shù)據(jù)源系統(tǒng)文件數(shù)據(jù)源系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)源系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)其他數(shù)據(jù)其他數(shù)據(jù)冒2.4數(shù)據(jù)流向數(shù)據(jù)流向說明冒2.5部署架構(gòu)管控節(jié)點(diǎn)管控節(jié)點(diǎn)，都用新服務(wù)器管控節(jié)點(diǎn)【2】數(shù)據(jù)節(jié)點(diǎn)【20】Gauss【16】Gauss【4】新集群原服務(wù)器數(shù)據(jù)節(jié)點(diǎn)【22】新增：數(shù)據(jù)節(jié)點(diǎn)【25】管控節(jié)點(diǎn)（3）數(shù)據(jù)節(jié)點(diǎn)（25）合計(jì)50）管控節(jié)點(diǎn)合計(jì)50）管控節(jié)點(diǎn)(3)數(shù)據(jù)節(jié)點(diǎn)（47）Kafka【5】Redis【3】Gauss【4】HDFS【13】HBase【2】ClickHouse【2】HDFS【21】ClickHouse【10】HDFS【21】ClickHouse【10】ElasticSearch【16】HBase【21】ElasticSearch【10】ClickHouse【10】ElasticSearch【10】ClickHouse【10】HetuEngine【8】HDFSHetuEngine【8】新增：【29】新增：【29】控制節(jié)點(diǎn)（2）數(shù)據(jù)節(jié)點(diǎn)（27）數(shù)據(jù)節(jié)點(diǎn)【85】*HDFS同部署組件：HDFS+Hudi*HDFS同部署組件：HDFS+Hudi*Hbase同部署組件：HBASE+HDFSHadoop技術(shù)棧MPP技術(shù)?！竟?jié)點(diǎn)數(shù)】混布冒3.1創(chuàng)新點(diǎn)?多集群部署架構(gòu)通過冒3.2技術(shù)實(shí)現(xiàn)特點(diǎn)冒3.3項(xiàng)目過程管理項(xiàng)目過程管理主要工作涵蓋計(jì)劃管理、風(fēng)險(xiǎn)管理和質(zhì)量管理三大領(lǐng)域，具體如下： 分類措施涉及人員?制定可操作性的項(xiàng)目計(jì)劃（總體計(jì)劃、詳細(xì)計(jì)劃）；計(jì)劃管理——項(xiàng)目經(jīng)理、PMO?建立項(xiàng)目溝通機(jī)制（定期會議、計(jì)劃管理——項(xiàng)目經(jīng)理、PMO?加強(qiáng)進(jìn)度監(jiān)控（晨會、周會、評審會議）；——項(xiàng)目經(jīng)理、PMO、——項(xiàng)目經(jīng)理、PMO、科室負(fù)責(zé)人、部門領(lǐng)導(dǎo)風(fēng)險(xiǎn)管理?制定預(yù)防、規(guī)避措施及應(yīng)急方案等；?持續(xù)監(jiān)控風(fēng)險(xiǎn)狀態(tài)，及時(shí)識別、發(fā)現(xiàn)新的風(fēng)險(xiǎn)；——項(xiàng)目經(jīng)理、SQA、項(xiàng)目成員、架構(gòu)科、PMO質(zhì)量管理?遵循技術(shù)規(guī)范；?制定質(zhì)量標(biāo)準(zhǔn)及驗(yàn)收標(biāo)準(zhǔn)；——項(xiàng)目經(jīng)理、SQA、項(xiàng)目成員、架構(gòu)科、PMO質(zhì)量管理?加強(qiáng)團(tuán)隊(duì)成員質(zhì)量意識。冒4.1運(yùn)營情況湖倉一體化平臺作為全行統(tǒng)一的數(shù)據(jù)歸集與處理中心湖倉一體化平臺作為全行統(tǒng)一的數(shù)據(jù)歸集與處理中心，承擔(dān)了全行各類數(shù)據(jù)處理任務(wù)自助數(shù)據(jù)分析自助數(shù)據(jù)分析實(shí)時(shí)大屏冒4.2項(xiàng)目成效平臺投產(chǎn)上線后平臺投產(chǎn)上線后，有效解決了原先大數(shù)據(jù)平臺和數(shù)據(jù)倉庫平臺獨(dú)立部署，集群間通過數(shù)據(jù)文件交互，且跨平臺數(shù)據(jù)搬遷，存在數(shù)據(jù)存儲冗余、資源浪費(fèi)、消耗大量時(shí)間、代碼開發(fā)難度大等問題。批處理能力40%?構(gòu)建數(shù)據(jù)集模型，執(zhí)行離線計(jì)算、實(shí)時(shí)計(jì)算；?增強(qiáng)交互式查詢和深度分析能力；?平均耗時(shí)200~400ms。?融合敏捷開發(fā)與數(shù)據(jù)運(yùn)維；?通過自動化流程管理，持續(xù)集成與部署，提高數(shù)據(jù)研發(fā)效率；?促進(jìn)團(tuán)隊(duì)協(xié)作更加高效。?運(yùn)用checkpoint點(diǎn)及夜間校準(zhǔn)等手段，保障實(shí)時(shí)數(shù)據(jù)的準(zhǔn)確性。?移動駕駛艙、可視化大屏等520個(gè)實(shí)時(shí)指標(biāo)。冒4.1經(jīng)驗(yàn)分享陜西農(nóng)信基于數(shù)據(jù)倉庫、大數(shù)據(jù)平臺使用期間顯現(xiàn)的弊端陜西農(nóng)信基于數(shù)據(jù)倉庫、大數(shù)據(jù)平臺使用期間顯現(xiàn)的弊端，經(jīng)歷一年時(shí)間完成湖倉一體調(diào)研、交流、演進(jìn)