無錫農(nóng)商銀行數(shù)據(jù)治理項(xiàng)目

數(shù)據(jù)治理項(xiàng)目

科技信息部軟件開發(fā)中心匯報(bào)人：顧琪冰項(xiàng)目簡介02項(xiàng)目背景01項(xiàng)目功能03總結(jié)0401項(xiàng)目背景業(yè)務(wù)口徑越來越復(fù)雜數(shù)據(jù)質(zhì)量要求越來越高數(shù)據(jù)使用范圍越來越廣產(chǎn)品更迭速度越來越快數(shù)據(jù)治理全面風(fēng)險(xiǎn)管理客戶管理產(chǎn)品創(chuàng)新主動(dòng)營銷項(xiàng)目背景01項(xiàng)目簡介02項(xiàng)目功能03總結(jié)042016年2018年2017年打下基礎(chǔ)穩(wěn)步提升巨大改變建立全行數(shù)據(jù)管控體系架構(gòu)，提高全行數(shù)據(jù)治理意識(shí)編制基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)，建立數(shù)據(jù)標(biāo)準(zhǔn)管理制度及流程，形成全行層面的基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)編制數(shù)據(jù)質(zhì)量規(guī)范和管理流程梳理整個(gè)監(jiān)管報(bào)送指標(biāo)優(yōu)化數(shù)據(jù)管理流程制方法完成初期大數(shù)據(jù)平臺(tái)的搭建，簡單應(yīng)用場景的試用啟動(dòng)數(shù)據(jù)治理平臺(tái)建設(shè)項(xiàng)目，重建基礎(chǔ)數(shù)據(jù)平臺(tái)優(yōu)化數(shù)據(jù)管理組織架構(gòu)建立元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)標(biāo)準(zhǔn)管理平臺(tái)完成新數(shù)據(jù)平臺(tái)的建設(shè)完成大數(shù)據(jù)風(fēng)險(xiǎn)預(yù)警建設(shè)數(shù)據(jù)治理建設(shè)階段02數(shù)據(jù)治理組織架構(gòu)02總行數(shù)據(jù)主負(fù)責(zé)人數(shù)據(jù)使用人分支機(jī)構(gòu)數(shù)據(jù)入人行長室決策層行長室組長：行長成員：各副行長協(xié)調(diào)層數(shù)據(jù)管控職能團(tuán)隊(duì)財(cái)務(wù)部：主持管控?cái)?shù)據(jù)管理工作；統(tǒng)籌制定年度數(shù)據(jù)管理工作方案與目標(biāo)；審核、監(jiān)督及評(píng)估相關(guān)數(shù)據(jù)管理方案落實(shí)成果；針對(duì)重大事項(xiàng)及時(shí)上報(bào)信息科技委員會(huì)；負(fù)責(zé)全行監(jiān)管報(bào)表統(tǒng)一報(bào)送及牽頭監(jiān)管指標(biāo)體系梳理信息科技部：配合財(cái)務(wù)相關(guān)數(shù)據(jù)管理工作；為數(shù)據(jù)和系統(tǒng)責(zé)任部門提供數(shù)據(jù)領(lǐng)域的服務(wù)與支持，確保數(shù)據(jù)管理工作的有效落實(shí)；支撐業(yè)務(wù)部門大數(shù)據(jù)應(yīng)用分析與大數(shù)據(jù)平臺(tái)的開發(fā)執(zhí)行層數(shù)據(jù)責(zé)任人體系數(shù)據(jù)責(zé)任人體系：在本業(yè)務(wù)條線內(nèi)貫徹和落實(shí)數(shù)據(jù)管理政策、制度、規(guī)范，并執(zhí)行數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)質(zhì)量等數(shù)據(jù)管理相關(guān)工作；負(fù)責(zé)對(duì)數(shù)據(jù)相關(guān)的業(yè)務(wù)問題進(jìn)行澄清；跟蹤數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行情況以及數(shù)據(jù)質(zhì)量狀況，并及時(shí)向數(shù)據(jù)管控職能團(tuán)隊(duì)匯報(bào)。系統(tǒng)責(zé)任人體系：在系統(tǒng)層面落實(shí)數(shù)據(jù)管理政策、制度、規(guī)范，并貫徹和執(zhí)行數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)質(zhì)量等數(shù)據(jù)管理相關(guān)工作；跟蹤系統(tǒng)層面數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行情況以及數(shù)據(jù)質(zhì)量狀況，并及時(shí)向數(shù)據(jù)管控職能團(tuán)隊(duì)匯報(bào)。項(xiàng)目組：由項(xiàng)目經(jīng)理、架構(gòu)師、需求分析人員、開發(fā)測(cè)試人員各角色組成。公司業(yè)務(wù)三農(nóng)金融電子銀行金融市場……總行業(yè)務(wù)部門總行分支機(jī)構(gòu)數(shù)據(jù)責(zé)任部門數(shù)據(jù)管控職能團(tuán)隊(duì)配合、協(xié)調(diào)年度數(shù)據(jù)治理工作，提供科技領(lǐng)域的技術(shù)與支撐支撐業(yè)務(wù)部門大數(shù)據(jù)應(yīng)用分析與大數(shù)據(jù)平臺(tái)的開發(fā)匯報(bào)年度數(shù)據(jù)治理工作成果制定數(shù)據(jù)治理工作計(jì)劃；協(xié)調(diào)年度數(shù)據(jù)治理工作；匯報(bào)年度數(shù)據(jù)治理工作成果；負(fù)責(zé)全行監(jiān)管報(bào)表統(tǒng)一報(bào)送及牽頭監(jiān)管指標(biāo)體系梳理；系統(tǒng)責(zé)任人體系系統(tǒng)負(fù)責(zé)人系統(tǒng)技術(shù)專家系統(tǒng)開發(fā)維護(hù)人項(xiàng)目組項(xiàng)目經(jīng)理需求分析人員設(shè)計(jì)人員開發(fā)測(cè)試人員財(cái)務(wù)管理部信息科技部數(shù)據(jù)管理中心大數(shù)據(jù)管控組支撐數(shù)據(jù)治理體系框架02數(shù)據(jù)應(yīng)用報(bào)表服務(wù)應(yīng)用服務(wù)數(shù)據(jù)文件服務(wù)數(shù)據(jù)管理數(shù)據(jù)管控?cái)?shù)據(jù)組織與職責(zé)數(shù)據(jù)管理績效數(shù)據(jù)控制與流程技術(shù)支撐舉措保障促進(jìn)支持支持?jǐn)?shù)據(jù)安全管理數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)架構(gòu)管理主數(shù)據(jù)管理元數(shù)據(jù)管理數(shù)據(jù)生命周期管理支持?jǐn)?shù)據(jù)戰(zhàn)略目標(biāo)項(xiàng)目背景01項(xiàng)目功能03項(xiàng)目簡介02總結(jié)04數(shù)據(jù)治理平臺(tái)架構(gòu)03EOD數(shù)據(jù)總線基礎(chǔ)數(shù)據(jù)層ODS

門戶（統(tǒng)一認(rèn)證、單點(diǎn)登錄、角色權(quán)現(xiàn)管理）數(shù)據(jù)倉庫ETL公共分析層數(shù)據(jù)緩沖區(qū)（StageArea）ETLETLETLETL財(cái)務(wù)管理系統(tǒng)信貸管理系統(tǒng)個(gè)貸管理系統(tǒng)微貸管理系統(tǒng)資金業(yè)務(wù)系統(tǒng)信用卡系統(tǒng)客戶關(guān)系管理個(gè)人理財(cái)系統(tǒng)個(gè)人征信現(xiàn)金管理系統(tǒng)企業(yè)征信ECIF綜合積分管理綜合額度管理國際結(jié)算系統(tǒng)抵押品管理不良資產(chǎn)管理源系統(tǒng)人力資源管理系統(tǒng)風(fēng)險(xiǎn)數(shù)據(jù)集市信用風(fēng)險(xiǎn)市場風(fēng)險(xiǎn)操作風(fēng)險(xiǎn)風(fēng)險(xiǎn)加權(quán)資產(chǎn)風(fēng)險(xiǎn)管理監(jiān)管數(shù)據(jù)集市EAST征信反洗錢監(jiān)管合規(guī)財(cái)務(wù)數(shù)據(jù)集市財(cái)務(wù)管理預(yù)算管理管理會(huì)計(jì)綜合分析管理系統(tǒng)固定報(bào)表多維分析靈活查詢決策儀表盤產(chǎn)品管理系統(tǒng)電子渠道整合平臺(tái)ETL統(tǒng)一監(jiān)管報(bào)送核心業(yè)務(wù)系統(tǒng)1104營銷數(shù)據(jù)集市客戶管理客戶積分CRM數(shù)據(jù)挖掘應(yīng)用系統(tǒng)

庫內(nèi)集市層

分行應(yīng)用層

分析存儲(chǔ)層歷史數(shù)據(jù)區(qū)實(shí)時(shí)決策區(qū)非結(jié)構(gòu)化數(shù)據(jù)處理區(qū)非結(jié)構(gòu)化數(shù)據(jù)外部數(shù)據(jù)補(bǔ)錄數(shù)據(jù)非現(xiàn)場審計(jì)大數(shù)據(jù)HiveMapRduce分布式架構(gòu)高效運(yùn)算大數(shù)據(jù)量吞吐數(shù)據(jù)整合數(shù)據(jù)治理物理架構(gòu)03數(shù)據(jù)整合03模型指標(biāo)客戶號(hào)統(tǒng)一機(jī)構(gòu)號(hào)統(tǒng)一產(chǎn)品號(hào)統(tǒng)一員工號(hào)統(tǒng)一數(shù)據(jù)整合行內(nèi)數(shù)據(jù)（核心、信貸、、支付、理財(cái)?shù)龋┬型鈹?shù)據(jù)（工商、法院、稅務(wù)、同盾、Wind等）手機(jī)號(hào)統(tǒng)一配合ECIF完成客戶整合03更新客戶信息CRM非重要系統(tǒng)CIF模塊渠道網(wǎng)銀柜面座席手機(jī)終端用戶認(rèn)證僅限管理安全管理企業(yè)門戶營銷管理銷售管理客戶管理知識(shí)庫服務(wù)管理客戶視圖業(yè)務(wù)系統(tǒng)（群）核心信貸核算網(wǎng)銀理財(cái)…數(shù)據(jù)集成（DW）數(shù)據(jù)交換-ODS/EDW元數(shù)據(jù)管理數(shù)據(jù)存儲(chǔ)管理ETL運(yùn)作管理客戶評(píng)級(jí)個(gè)人客戶機(jī)構(gòu)客戶資產(chǎn)信息事件信息交易信息產(chǎn)品信息聯(lián)系信息企業(yè)內(nèi)容渠道信息ECIF客戶客戶經(jīng)理營銷信息更新客戶信息更新客戶信息客戶相關(guān)信息客戶信息部分客戶相關(guān)分析結(jié)果帳戶數(shù)據(jù)交易數(shù)據(jù)更新客戶信息存儲(chǔ)標(biāo)識(shí)管理服務(wù)客戶信息查詢客戶信息查詢客戶信息查詢外購系統(tǒng)客戶信息（信用卡等）數(shù)據(jù)模型033NF設(shè)計(jì)降范式建模優(yōu)點(diǎn)：

符合數(shù)據(jù)庫規(guī)范

數(shù)據(jù)量相對(duì)較少

靈活性高，容易擴(kuò)展

相對(duì)穩(wěn)定缺點(diǎn)：

實(shí)施周期較長

關(guān)聯(lián)較多，性能差

語義抽象

優(yōu)點(diǎn)：性能較高實(shí)施周期短無二義性缺點(diǎn)：穩(wěn)定性較低擴(kuò)展性欠佳相互結(jié)合容易理解運(yùn)行高效擴(kuò)展性好高穩(wěn)定性設(shè)計(jì)規(guī)范對(duì)公貸款模型自主化分析03SAS數(shù)據(jù)分析工具可視化數(shù)據(jù)分析工具數(shù)據(jù)分析數(shù)據(jù)挖掘決策分析數(shù)據(jù)報(bào)表專業(yè)數(shù)據(jù)分析團(tuán)隊(duì)使用，為全行高級(jí)分析提供支持將技術(shù)語言轉(zhuǎn)變?yōu)闃I(yè)務(wù)語言，通過拖拉拽的方式實(shí)現(xiàn)基本數(shù)據(jù)分析一個(gè)報(bào)表所能展示的內(nèi)容是相對(duì)固定且有限的，不同的人看同一張報(bào)表，視角或想法都可能是不一樣的！業(yè)務(wù)數(shù)據(jù)需求多變，數(shù)據(jù)使用范圍變化較大，科技部門落地工作量大。數(shù)據(jù)分析需要多方配合，業(yè)務(wù)模型不全，專業(yè)化分析沒有數(shù)據(jù)支持。數(shù)據(jù)分析工具晦澀難懂，對(duì)人員要求較高，準(zhǔn)入門檻高。數(shù)據(jù)難以理解，無法轉(zhuǎn)述為業(yè)務(wù)語言

缺陷智能分析平臺(tái)展示03數(shù)據(jù)管控?cái)?shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量元數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)規(guī)范數(shù)據(jù)質(zhì)量數(shù)據(jù)形態(tài)03部門間協(xié)作執(zhí)行的力度常態(tài)化運(yùn)作重點(diǎn)關(guān)注：數(shù)據(jù)管控是為了內(nèi)部對(duì)數(shù)據(jù)的需求，提升數(shù)據(jù)服務(wù)水準(zhǔn)而制定的相關(guān)流程、制度以及相關(guān)技術(shù)手段，是一項(xiàng)跨系統(tǒng)、跨部門、長期的、漸進(jìn)式的工作。數(shù)據(jù)質(zhì)量管理03實(shí)現(xiàn)數(shù)據(jù)質(zhì)量檢測(cè)規(guī)則的定義、設(shè)置、運(yùn)行和發(fā)現(xiàn)將問題數(shù)據(jù)通過流程引擎下發(fā)到對(duì)應(yīng)人員，監(jiān)督相關(guān)人員處理和跟蹤記錄問題處理結(jié)果，并形成質(zhì)量知識(shí)庫對(duì)質(zhì)量問題進(jìn)行統(tǒng)計(jì)分析檢核結(jié)果質(zhì)量分析檢核字段：OPERATERID記錄總數(shù)：3397問題總數(shù)：285指標(biāo)趨勢(shì)分析趨勢(shì)分析問題數(shù)：3問題數(shù)：7非空問題：31%長度問題：31%一致性問題：38%類型分析元數(shù)據(jù)管理03元數(shù)據(jù)版本管理元數(shù)據(jù)血緣分析元數(shù)據(jù)管理是針對(duì)信息系統(tǒng)元數(shù)據(jù)變化的日常管理和維護(hù)，有效管理變更的各個(gè)環(huán)節(jié)，建立向相關(guān)單位發(fā)布變更的機(jī)制，從而為數(shù)據(jù)正確使用提供保障。

數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)是數(shù)據(jù)管控工作中的一個(gè)不可缺失的重要環(huán)節(jié)，它是整個(gè)企業(yè)層級(jí)的規(guī)范。前期咨詢整理了1723項(xiàng)基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)，在此次倉庫模型中落地了212個(gè)，同時(shí)對(duì)部分標(biāo)準(zhǔn)項(xiàng)進(jìn)行了調(diào)整。為了更好的實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)，后期需要