5數(shù)據(jù)中臺解決方案

數(shù)據(jù)中臺解決方案數(shù)字科技成就美好世界目錄案例分享CaseShare解決方案Solution2.3.4.實施路徑ImplementApproach1.中臺概述DataCenterOverview數(shù)據(jù)中臺定義數(shù)據(jù)中臺的愿景是打造數(shù)據(jù)驅(qū)動的智能企業(yè)數(shù)據(jù)中臺是一套可持續(xù)“讓企業(yè)數(shù)據(jù)用起來”的機(jī)制，是一種戰(zhàn)略選擇和組織形式，是依據(jù)企業(yè)特有的業(yè)務(wù)模式和組織架構(gòu)，通過有形的產(chǎn)品和實施方法論支撐，構(gòu)建的一套持續(xù)不斷把數(shù)據(jù)變成資產(chǎn)并服務(wù)于業(yè)務(wù)的機(jī)制?！獢?shù)瀾科技數(shù)據(jù)中臺的核心，是避免數(shù)據(jù)的重復(fù)計算，通過數(shù)據(jù)服務(wù)化，提高數(shù)據(jù)的共享能力，賦能數(shù)據(jù)應(yīng)用。數(shù)據(jù)中臺收益：優(yōu)化現(xiàn)有業(yè)務(wù)和實現(xiàn)新業(yè)務(wù)的轉(zhuǎn)型數(shù)據(jù)中臺的內(nèi)涵是技術(shù)的概念，更是企業(yè)管理的概念數(shù)據(jù)中臺居于前臺和后臺之間，是企業(yè)級的數(shù)據(jù)共享、能力復(fù)用平臺，是數(shù)字化轉(zhuǎn)型的基礎(chǔ)和中樞系統(tǒng)。將企業(yè)全域海量、多源、異構(gòu)的數(shù)據(jù)整合資產(chǎn)化，為業(yè)務(wù)前臺提供數(shù)據(jù)資源和能力的支撐，以實現(xiàn)數(shù)據(jù)驅(qū)動的精細(xì)化運營。數(shù)據(jù)中臺不是簡單的一套軟件系統(tǒng)或者一個標(biāo)準(zhǔn)化產(chǎn)品，更多的是一種強(qiáng)調(diào)資源整合、集中配置、能力沉淀、分步執(zhí)行的運作機(jī)制，是一系列數(shù)據(jù)組件或模塊的集合，指向企業(yè)的業(yè)務(wù)場景。企業(yè)基于自身的信息化建設(shè)基礎(chǔ)和業(yè)務(wù)特點對數(shù)據(jù)中臺的能力進(jìn)行定義，基于能力定義選擇和利用數(shù)據(jù)組件搭建中臺。各類數(shù)據(jù)技術(shù)是構(gòu)建數(shù)據(jù)中臺的基礎(chǔ)，能夠高效對數(shù)據(jù)進(jìn)行統(tǒng)一收集、處理、儲存、計算、分析和可視化呈現(xiàn)，使數(shù)據(jù)最終與業(yè)務(wù)鏈條結(jié)合，真正轉(zhuǎn)化為企業(yè)核心資產(chǎn)。而從廣義上，數(shù)據(jù)中臺更是一種企業(yè)組織管理模式和理念，集公司戰(zhàn)略決心、組織架構(gòu)、技術(shù)架構(gòu)于一體，企業(yè)從戰(zhàn)略上構(gòu)建統(tǒng)一的協(xié)同基座即中臺化組織，以協(xié)調(diào)和支持各業(yè)務(wù)部門，用技術(shù)拓展商業(yè)邊界，為新業(yè)務(wù)、新部門提供成長空間。如何理解數(shù)據(jù)中臺跳出數(shù)據(jù)中臺看中臺業(yè)務(wù)系統(tǒng)到數(shù)據(jù)應(yīng)用完整鏈條數(shù)據(jù)中臺的本質(zhì)：重管理、看價值發(fā)散、聚焦-看數(shù)據(jù)中臺的意義和價值1、大數(shù)據(jù)的下一站：業(yè)務(wù)層面技術(shù)層面2、數(shù)字化轉(zhuǎn)型的金鑰匙、新引擎：信息化建設(shè)->數(shù)字化轉(zhuǎn)型中臺戰(zhàn)略-大中臺、小前臺3、數(shù)據(jù)價值數(shù)據(jù)資產(chǎn)數(shù)據(jù)是生產(chǎn)要素大勢所趨、順勢而為中臺戰(zhàn)略，解決的是數(shù)字化轉(zhuǎn)型過程中信息化建設(shè)的問題數(shù)據(jù)中臺是一套幫助組織管好、用好數(shù)據(jù)的解決方案銀行數(shù)據(jù)中臺的的演化歷程數(shù)據(jù)文件/Excel少量數(shù)據(jù)記錄業(yè)務(wù)情況統(tǒng)計類需求數(shù)據(jù)倉庫/集市較多數(shù)據(jù)長期歷史業(yè)務(wù)主題整合分析報表即服務(wù)大數(shù)據(jù)平臺異構(gòu)數(shù)據(jù)異構(gòu)數(shù)據(jù)多平臺報表、預(yù)測數(shù)據(jù)集即服務(wù)數(shù)據(jù)業(yè)務(wù)化數(shù)據(jù)產(chǎn)品數(shù)據(jù)服務(wù)數(shù)據(jù)資產(chǎn)數(shù)據(jù)API即服務(wù)統(tǒng)計分析業(yè)務(wù)驅(qū)動數(shù)據(jù)中臺從業(yè)務(wù)數(shù)據(jù)化到數(shù)據(jù)業(yè)務(wù)化數(shù)據(jù)中臺是數(shù)據(jù)建設(shè)發(fā)展到一定階段的產(chǎn)物，是業(yè)務(wù)數(shù)據(jù)化到數(shù)據(jù)業(yè)務(wù)化的必然發(fā)展階段在某個維度上他們?yōu)闃I(yè)務(wù)產(chǎn)生的價值有不同的側(cè)重數(shù)據(jù)中臺距離業(yè)務(wù)更近，能更快速響應(yīng)業(yè)務(wù)和應(yīng)用開發(fā)的需求銀行業(yè)數(shù)據(jù)中臺的核心內(nèi)容數(shù)據(jù)API（數(shù)據(jù)加工廠或者Open

API）狹義上來講，Data

API是數(shù)據(jù)中臺的核心，它是連接前臺和后臺的橋梁，通過API的方式提供數(shù)據(jù)服務(wù)，而不是直接把數(shù)據(jù)庫給前臺、讓前臺開發(fā)自行使用數(shù)據(jù)。數(shù)據(jù)API的重要體現(xiàn)方式是數(shù)據(jù)產(chǎn)品或者數(shù)據(jù)資產(chǎn)廣義來講，數(shù)據(jù)中臺是以應(yīng)用場景為出發(fā)點構(gòu)建的數(shù)據(jù)服務(wù)體系，包括了組織架構(gòu)、流程制度、數(shù)據(jù)、工具和服務(wù)銀行業(yè)通常講數(shù)據(jù)中臺是指的廣義的概念前臺敏捷開發(fā)，戰(zhàn)略創(chuàng)新后臺數(shù)據(jù)開發(fā)，穩(wěn)步前進(jìn)DataAPI快速提供服務(wù)高性能搞安全優(yōu)化數(shù)據(jù)模型提升數(shù)據(jù)質(zhì)量數(shù)據(jù)中臺產(chǎn)品特點數(shù)據(jù)中臺本身是好產(chǎn)品通用的數(shù)據(jù)中臺產(chǎn)品（與業(yè)務(wù)中臺不同）1、集裝箱——海陸聯(lián)運的解決方案：在集裝箱出來之前，貨物都是混裝的，裝的少不說，還得倒騰。所以碼頭通常會聚集大量的搬運工。集裝箱出來之后，一個集裝箱內(nèi)裝一種貨物，一艘船可以隨便裝。而且集裝箱非常標(biāo)準(zhǔn)化，可以隨便裝。2、罐頭：不管午餐肉、水果還是糖、餅干，都能裝在管子里的密封保存很久。在二戰(zhàn)期間，午餐肉更是給美軍帶來了全球的能量來源。韓國的部隊火鍋文化就是撿美軍遺落的午餐肉，加上各種配料大亂燉。貨物分揀混裝計量貨物轉(zhuǎn)運視頻防腐加工復(fù)雜運輸不便效率低下提數(shù)麻煩成本太高統(tǒng)一標(biāo)準(zhǔn)單柜計量海陸聯(lián)運超強(qiáng)防腐營養(yǎng)搭配方便快捷數(shù)據(jù)統(tǒng)一隨用隨取價值輸出數(shù)據(jù)中臺是一種好的產(chǎn)品，能屏蔽復(fù)雜的取數(shù)邏輯，降低數(shù)據(jù)的使用成本，然后提供托拉拽、接口、高價值的簡單可行的數(shù)據(jù)應(yīng)用。OneDataOneIDOneService阿里巴巴數(shù)據(jù)中臺的能力框架OneServiceOneDataOneID統(tǒng)一數(shù)據(jù)服務(wù)能力復(fù)用而非復(fù)制數(shù)據(jù)統(tǒng)一數(shù)據(jù)建設(shè)&數(shù)據(jù)化資產(chǎn)管理能力標(biāo)準(zhǔn)統(tǒng)一、資產(chǎn)而非成本統(tǒng)一實體（如：消費者、企業(yè)、商品、設(shè)備等）數(shù)據(jù)融通而非孤島存在數(shù)據(jù)標(biāo)準(zhǔn)化數(shù)據(jù)規(guī)范定義從業(yè)務(wù)源頭標(biāo)準(zhǔn)化技術(shù)內(nèi)核工具化規(guī)范定義、建模研發(fā)、調(diào)度運維元數(shù)據(jù)驅(qū)動智能化半自動化->智能化規(guī)劃計算和存儲技術(shù)驅(qū)動數(shù)據(jù)連接基于超強(qiáng)ID識別技術(shù)連接數(shù)據(jù)技術(shù)內(nèi)核工具化超強(qiáng)ID識別、高效標(biāo)簽產(chǎn)生、…業(yè)務(wù)驅(qū)動技術(shù)價值化孤島->高質(zhì)量->高價值主題式數(shù)據(jù)服務(wù)主題邏輯表屏蔽復(fù)雜物理表統(tǒng)一但多樣化數(shù)據(jù)服務(wù)一般查詢+OLAP分析+在線服務(wù)跨源數(shù)據(jù)服務(wù)屏蔽多種異構(gòu)數(shù)據(jù)源全流程一體化從數(shù)據(jù)采集到數(shù)據(jù)服務(wù)全鏈路通向上多樣化賦能場景通用產(chǎn)品+行業(yè)產(chǎn)品+專享產(chǎn)品向下屏蔽多計算引擎公共云+專有云+混合云雙向聯(lián)動業(yè)務(wù)與產(chǎn)品&技術(shù)協(xié)同互助數(shù)據(jù)模型數(shù)據(jù)質(zhì)量數(shù)據(jù)信任數(shù)據(jù)可視化數(shù)據(jù)資產(chǎn)管理智能黑盒數(shù)據(jù)技術(shù)領(lǐng)域阿里數(shù)據(jù)中臺六大數(shù)據(jù)技術(shù)領(lǐng)域數(shù)據(jù)技術(shù)領(lǐng)域隨著業(yè)務(wù)的發(fā)展和技術(shù)的突破不斷擴(kuò)大、

升華1、建設(shè)阿里數(shù)據(jù)公共層之初，規(guī)劃了六大數(shù)據(jù)技術(shù)領(lǐng)域：即數(shù)據(jù)模型領(lǐng)域、存儲治理領(lǐng)域、數(shù)據(jù)質(zhì)量領(lǐng)域、安全權(quán)限領(lǐng)域、平臺運維領(lǐng)域、研發(fā)工程領(lǐng)域。2、阿里數(shù)據(jù)公共層建設(shè)項目第二階段完成：存儲治理領(lǐng)域，已經(jīng)被擴(kuò)大到資源治理領(lǐng)域，進(jìn)而升級到數(shù)據(jù)資產(chǎn)管理領(lǐng)域安全權(quán)限領(lǐng)域，升級到數(shù)據(jù)信任領(lǐng)域，因為很多工作已經(jīng)在產(chǎn)品中實現(xiàn)平臺運維領(lǐng)域不再作為一個數(shù)據(jù)技術(shù)領(lǐng)域被推進(jìn)數(shù)據(jù)模型領(lǐng)域與數(shù)據(jù)質(zhì)量領(lǐng)域還在持續(xù)推進(jìn)中，不過增加了許多新的內(nèi)涵智能黑盒領(lǐng)域則是新起之秀阿里數(shù)據(jù)中臺產(chǎn)品建設(shè)模式總結(jié)全面規(guī)劃，平臺級建設(shè)自下而上，先技術(shù)后應(yīng)用，最后解決方案產(chǎn)品主導(dǎo)：“產(chǎn)品+3One方法論”是核心能力1、產(chǎn)品主導(dǎo)的邏輯2、阿里10年時間摸索，今年才產(chǎn)品化阿里數(shù)據(jù)中臺產(chǎn)品全景圖DataPhin、QuickBi、Quick

Stock、Quick

A+、Quick

Audience、QuickDecision等組建Data

Phin底層數(shù)據(jù)Quick

Bi圖表可視化Quick

A+用戶行為分析Quick

Stock人貨場運營Quick

Audience用戶運營Quick

Decision提供全面精細(xì)化運營和決策阿里數(shù)據(jù)中臺分析阿里數(shù)據(jù)中臺產(chǎn)品重業(yè)務(wù)、重運營非大而全、無核心阿里巴巴集團(tuán)數(shù)據(jù)技術(shù)及產(chǎn)品部總經(jīng)理朋新宇說，如何衡量數(shù)據(jù)中臺的好壞，就一個標(biāo)準(zhǔn)，價值。華為DAYU分析數(shù)據(jù)使能DAYU結(jié)合華為數(shù)字化轉(zhuǎn)型實踐和30多年在ICT基礎(chǔ)設(shè)施領(lǐng)域積累的技術(shù)，攜手行業(yè)合作伙伴，為客戶提供一站式數(shù)據(jù)全生命周期管理解決方案，打造“全域、服務(wù)化、資產(chǎn)化、智能、安全”的數(shù)據(jù)體系，釋放數(shù)據(jù)價值華為云數(shù)據(jù)使能DAYU致力于打通企業(yè)數(shù)據(jù)從資源到資產(chǎn)的通路，為大型政企客戶量身定制跨越孤立系統(tǒng)、感知業(yè)務(wù)的數(shù)據(jù)資源智能管理解決方案，實現(xiàn)全域數(shù)據(jù)入湖，幫助政企客戶從多角度、多層次、多粒度挖掘數(shù)據(jù)價值，實現(xiàn)數(shù)據(jù)驅(qū)動數(shù)字化轉(zhuǎn)型華為DAYU分析解決方案架構(gòu)網(wǎng)易數(shù)帆產(chǎn)品清單網(wǎng)易數(shù)據(jù)中臺整合數(shù)據(jù)技術(shù)、產(chǎn)品技術(shù)能力、提供統(tǒng)一的數(shù)據(jù)和服務(wù)、強(qiáng)力支撐前臺業(yè)務(wù)方案特色網(wǎng)易數(shù)據(jù)中臺整體方案解決架構(gòu)網(wǎng)易數(shù)據(jù)中臺產(chǎn)品介紹敏捷開發(fā)平臺一站式大數(shù)據(jù)管理與應(yīng)用開發(fā)平臺，

覆蓋了大規(guī)模數(shù)據(jù)存儲與計算、數(shù)據(jù)集成、任務(wù)開發(fā)、分析查詢、數(shù)據(jù)管理及項目管理等企業(yè)級大數(shù)據(jù)應(yīng)用場景。數(shù)據(jù)中臺發(fā)展趨勢深入下沉市場，產(chǎn)品更加標(biāo)準(zhǔn)化數(shù)據(jù)中臺發(fā)展趨勢深耕細(xì)分領(lǐng)域，場景愈加精細(xì)化數(shù)據(jù)中臺發(fā)展趨勢趨近軟件形態(tài)，技術(shù)的SaaS化數(shù)據(jù)中臺發(fā)展趨勢融合新興技術(shù)，釋放更多能量數(shù)據(jù)中臺發(fā)展趨勢人才需求從單一性向復(fù)合型轉(zhuǎn)變數(shù)據(jù)中臺的核心價值降低數(shù)據(jù)建設(shè)成本，提高數(shù)據(jù)治理效率數(shù)據(jù)中臺的核心價值激活數(shù)據(jù)商業(yè)價值，賦能企業(yè)運營與決策數(shù)據(jù)中臺的核心價值改造企業(yè)業(yè)務(wù)流程，升級企業(yè)組織架構(gòu)企業(yè)實施數(shù)據(jù)中臺的價值業(yè)務(wù)價值技術(shù)價值數(shù)字科技成就美好世界目錄案例分享CaseShare解決方案Solution2.3.4.實施路徑ImplementApproach1.中臺概述DataCenterOverview某城商行：從數(shù)據(jù)倉庫到融合平臺，從數(shù)據(jù)治理到數(shù)據(jù)資產(chǎn)管理HD交易系統(tǒng)區(qū)內(nèi)部結(jié)構(gòu)化數(shù)據(jù)核心收單信貸信用卡內(nèi)部非結(jié)構(gòu)化數(shù)據(jù)電話銀行 語音網(wǎng)銀 日志影像平臺 圖像外部數(shù)據(jù)人行征信社交網(wǎng)絡(luò)電商平臺臨時存儲接口管理網(wǎng)絡(luò)爬蟲數(shù)據(jù)交換區(qū)數(shù)據(jù)加載數(shù)據(jù)采集實時加載準(zhǔn)實時加載批量加載-增量/全量大數(shù)據(jù)存儲(x86服務(wù)器n*pb)大數(shù)據(jù)多表關(guān)聯(lián)分析零售數(shù)據(jù)集市行為數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)基礎(chǔ)數(shù)據(jù)平臺多維模型監(jiān)管報送類應(yīng)用銀監(jiān)會1104報送證監(jiān)會報送數(shù)據(jù)應(yīng)用區(qū)新型分析類應(yīng)用精準(zhǔn)營銷系統(tǒng)反欺詐/反洗錢…………數(shù)據(jù)治理血緣分析任務(wù)管理和調(diào)度元數(shù)據(jù)管理Gaussdb200MPP集群數(shù)據(jù)主題聯(lián)合(n*pb)上游緩沖層(SDATA)模型層(PDATA)匯總層（PMID）標(biāo)簽多維系統(tǒng)分析企業(yè) 風(fēng)控征信 中心下游緩沖層(SDATA)數(shù)據(jù)試驗區(qū)Vertica公共實驗區(qū)分行實驗項目數(shù)據(jù)管控平臺某城商行：打造更強(qiáng)的數(shù)據(jù)管控及治理能力，為開放生態(tài)做好準(zhǔn)備新的數(shù)據(jù)湖帶來新的數(shù)據(jù)管理應(yīng)用挑戰(zhàn)，為解決紛亂復(fù)雜的數(shù)據(jù)資產(chǎn)利用難題，必須首要克服數(shù)據(jù)的“不可知、不可控、不可取、不可聯(lián)”。所以，構(gòu)建包含數(shù)據(jù)資產(chǎn)管理及數(shù)據(jù)自治的下一代智能化數(shù)據(jù)管控治理能力，至關(guān)重要！NO2.施行與資產(chǎn)相結(jié)合的全面標(biāo)準(zhǔn)基于全行數(shù)據(jù)模型資產(chǎn)，提供便捷檢索瀏覽數(shù)據(jù)標(biāo)準(zhǔn)信息能力。提供基于標(biāo)準(zhǔn)主題的全局?jǐn)?shù)據(jù)分布概覽，支持由粗到細(xì)粒度的標(biāo)準(zhǔn)落地信息展示。NO4.基于生命周期的全過程管理實現(xiàn)貫穿數(shù)據(jù)設(shè)計、產(chǎn)生、存儲、遷移、使用、歸檔等環(huán)節(jié)的數(shù)據(jù)全生命周期管理NO3.基于AI的智能化數(shù)據(jù)質(zhì)量檢核基于機(jī)器學(xué)習(xí)、語義識別等AI技術(shù)，實現(xiàn)數(shù)據(jù)質(zhì)量檢核規(guī)則的自動生成。智能判定業(yè)務(wù)優(yōu)先程度，自動化完成關(guān)鍵數(shù)據(jù)質(zhì)量檢核規(guī)則調(diào)度。結(jié)合數(shù)據(jù)所在層次及人工設(shè)置的分級策略，實現(xiàn)靈活的質(zhì)量檢核。NO1.打通端到端的數(shù)據(jù)血緣分析增強(qiáng)現(xiàn)有的數(shù)據(jù)血緣分析能力，向下游擴(kuò)展元數(shù)據(jù)管理覆蓋范圍，將報表、應(yīng)用納入到血緣管理中。實現(xiàn)從數(shù)據(jù)源頭，到數(shù)據(jù)處理平臺，再到數(shù)據(jù)應(yīng)用的端到端全過程血緣追溯管理。NO5.自動化構(gòu)建企業(yè)數(shù)據(jù)資產(chǎn)庫梳理全行數(shù)據(jù)架構(gòu)，對全行的數(shù)據(jù)模型、數(shù)據(jù)關(guān)系、數(shù)據(jù)處理有清晰化的認(rèn)識。某城商行：打造數(shù)據(jù)生態(tài)圈成為數(shù)據(jù)應(yīng)用的重要方法和渠道統(tǒng)一的數(shù)據(jù)庫平臺統(tǒng)一的文件下發(fā)平臺統(tǒng)一的調(diào)度統(tǒng)一調(diào)度監(jiān)控開放靈活自助云化易用數(shù)據(jù)加工者數(shù)據(jù)使用生態(tài)圈打造者標(biāo)準(zhǔn)化實行全行統(tǒng)一標(biāo)準(zhǔn)提升數(shù)據(jù)質(zhì)量0102平臺化建立云化平臺資源集約管理智能化依托挖掘模型創(chuàng)造智能產(chǎn)品移動化實時智能推送創(chuàng)造財富奇跡0304管理技術(shù)架構(gòu)的生態(tài)圈數(shù)據(jù)應(yīng)用生態(tài)圈的打造數(shù)字科技成就美好世界目錄案例分享CaseShare解決方案Solution2.3.4.實施路徑ImplementApproach1.中臺概述DataCenterOverview資源管理技術(shù)棧7應(yīng)用管理資產(chǎn)管理技術(shù)棧AI算法技術(shù)棧AI模型在線部署數(shù)據(jù)開發(fā)技術(shù)棧數(shù)據(jù)服務(wù)技術(shù)棧6業(yè)務(wù)應(yīng)用總體架構(gòu)：規(guī)劃建議技術(shù)棧能力匹配說明1.數(shù)據(jù)總線技術(shù)棧*數(shù)據(jù)采集、交換、調(diào)度2.計算存儲技術(shù)棧數(shù)據(jù)的存儲、計算、加工的能力3.數(shù)據(jù)開發(fā)技術(shù)棧*數(shù)據(jù)模型設(shè)計、指標(biāo)體系設(shè)計、數(shù)據(jù)離線開發(fā)、在線開發(fā)4.AI算法技術(shù)棧AI模型、挖掘模型的訓(xùn)練、部署5.資產(chǎn)管理技術(shù)棧*數(shù)據(jù)質(zhì)量、標(biāo)準(zhǔn)、元數(shù)據(jù)、模型、安全管理6.數(shù)據(jù)服務(wù)技術(shù)棧*自助數(shù)據(jù)服務(wù)、API、文件的共享服務(wù)及可視化7.資源管理技術(shù)棧系統(tǒng)資源的配置、監(jiān)控、優(yōu)化*中電金信數(shù)據(jù)生態(tài)工具集個人信貸系統(tǒng)公司業(yè)務(wù)系統(tǒng)理財業(yè)務(wù)系統(tǒng)內(nèi)部數(shù)據(jù)公司信貸系統(tǒng) 大總賬系統(tǒng)信用卡核心系統(tǒng) 個人客戶營銷系統(tǒng)……社交網(wǎng)絡(luò)……外部數(shù)據(jù)搜索數(shù)據(jù) 宏觀數(shù)據(jù)結(jié)構(gòu)化/半結(jié)構(gòu)化/非結(jié)構(gòu)化3計算存儲技術(shù)棧2數(shù)據(jù)總線技術(shù)棧1業(yè)務(wù)原始數(shù)據(jù)4互聯(lián)網(wǎng)金融管理決策系統(tǒng)新一代信貸運營管理精準(zhǔn)營銷……風(fēng)險監(jiān)控監(jiān)管報送第三方云應(yīng)用元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)生命周期管理AI統(tǒng)一開發(fā)平臺可視化建模 Notebook建模ADMS輔助開發(fā)平臺離線任務(wù)開發(fā) 實時任務(wù)開發(fā)數(shù)據(jù)模型設(shè)計與部署數(shù)據(jù)采集工具數(shù)據(jù)采集組件 數(shù)據(jù)處理組件數(shù)據(jù)交換工具數(shù)據(jù)分發(fā)組件 發(fā)布訂閱組件作業(yè)調(diào)度工具調(diào)度管理器 任務(wù)管理器SQLMPPHDFSNoSQL其它FlinkSparkMR5Hive-SQLShell數(shù)據(jù)API服務(wù)注冊、配置 調(diào)用、監(jiān)控數(shù)據(jù)分析工具Kyligence Presto數(shù)據(jù)社區(qū)工具數(shù)據(jù)產(chǎn)品 數(shù)據(jù)開放視圖指標(biāo)/標(biāo)簽管理平臺MPP集群部署監(jiān)控Hadoop集群部署監(jiān)控集群彈性伸縮多租戶管理DockerK8S數(shù)據(jù)可視化工具商業(yè)BI Echarts/D3數(shù)據(jù)門戶/應(yīng)用視圖管控流程管理技術(shù)棧能力介紹自有產(chǎn)品典型案例客戶能力水平1.數(shù)據(jù)總線技術(shù)棧可為商業(yè)銀行提供數(shù)據(jù)采集、數(shù)據(jù)交換、任務(wù)調(diào)度等交付服務(wù)。中電金信數(shù)據(jù)湖產(chǎn)品郵儲銀行、民生銀行、平安銀行、浦發(fā)銀行信用卡中心2.計算存儲技術(shù)?？蔀樯虡I(yè)銀行提供基于大數(shù)據(jù)平臺的離線/在線數(shù)據(jù)開發(fā)服務(wù)。華為：工商銀行/平安銀行/華夏銀行/光大銀行阿里：重慶農(nóng)商/農(nóng)業(yè)發(fā)展銀行/廣東農(nóng)信/貴陽銀行；CDH：郵儲銀行/浦發(fā)銀行/平安銀行星環(huán)：民生銀行3.數(shù)據(jù)開發(fā)技術(shù)?？蔀樯虡I(yè)銀行提供基于大數(shù)據(jù)平臺的模型設(shè)計開發(fā)、集市設(shè)計開發(fā)、指標(biāo)體系咨詢與設(shè)計開發(fā)服務(wù)。中電金信ADMS產(chǎn)品郵儲銀行/民生銀行/平安銀行/中信銀行/華夏銀行4.AI算法技術(shù)?？蔀樯虡I(yè)銀行提供人工智能、數(shù)據(jù)挖掘和算法等實施服務(wù)。平安銀行/郵儲銀行5.資產(chǎn)管理技術(shù)?？蔀樯虡I(yè)銀行提供數(shù)據(jù)治理咨詢、數(shù)據(jù)標(biāo)準(zhǔn)落地、數(shù)據(jù)質(zhì)量分析、專項數(shù)據(jù)治理工作、數(shù)據(jù)資產(chǎn)管理等實施服務(wù)。中電金信數(shù)據(jù)資產(chǎn)管理平臺農(nóng)業(yè)發(fā)展銀行/民生銀行/華夏銀行6.數(shù)據(jù)服務(wù)技術(shù)?？蔀樯虡I(yè)銀行提供數(shù)據(jù)產(chǎn)品開發(fā)、報表開發(fā)、可視化開發(fā)、分析平臺和門戶開發(fā)、DataAPI平臺開發(fā)等服務(wù)。中電金信指標(biāo)管理平臺中電金信標(biāo)簽管理平臺中電金信數(shù)據(jù)分析門戶郵儲銀行/民生銀行/中信銀行總體架構(gòu)：中電金信數(shù)據(jù)中臺技術(shù)棧能力總結(jié)咨詢能力實施能力產(chǎn)品能力數(shù)據(jù)交換區(qū)操作型數(shù)據(jù)區(qū)數(shù)據(jù)架構(gòu)：核心系統(tǒng)信貸系統(tǒng)客戶系統(tǒng)渠道系統(tǒng)信用卡系統(tǒng)集成型數(shù)據(jù)區(qū)數(shù)據(jù)集成平臺貼源模型層（ODM）數(shù)據(jù)緩沖層（SDM）標(biāo)準(zhǔn)模型層（BDM）整合模型層（CDM）歷史數(shù)據(jù)區(qū)歷史數(shù)據(jù)平臺分析型數(shù)據(jù)區(qū)客戶管理對CRM零售CRM風(fēng)險管理信用風(fēng)險操作風(fēng)險市場風(fēng)險反洗錢風(fēng)險風(fēng)險資本計量財務(wù)績效FTP盈利性分析成本分?jǐn)傔\營管理監(jiān)管報送外管局報送1104報送外部系統(tǒng)數(shù)據(jù)家園管理駕駛倉自助分析平臺數(shù)據(jù)看版數(shù)據(jù)集市層（FDM）數(shù)據(jù)應(yīng)用層（PDM）客戶集市風(fēng)險集市財務(wù)集市報表集市監(jiān)管集市其它應(yīng)用數(shù)據(jù)采集和交換平臺數(shù)據(jù)集市大數(shù)據(jù)模型基礎(chǔ)平臺數(shù)據(jù)架構(gòu)：數(shù)據(jù)區(qū)域?qū)?yīng)系統(tǒng)：客戶管理系統(tǒng)、各類產(chǎn)品系統(tǒng)、帳務(wù)處理系統(tǒng)、各類渠道系統(tǒng)、管理流程系統(tǒng)。功能定位：主要承擔(dān)面向客戶的交易、帳務(wù)處理，面向內(nèi)部的流程、事務(wù)管理等功能。數(shù)據(jù)特征：存儲業(yè)務(wù)處理和流程管理過程中產(chǎn)生的客戶、協(xié)議、賬戶、交易等原始數(shù)據(jù)，數(shù)據(jù)基本為當(dāng)前狀態(tài)，保存一定周期的交易流水?dāng)?shù)據(jù)。對應(yīng)系統(tǒng)：數(shù)據(jù)集成平臺、大數(shù)據(jù)平臺和實時事件處理平臺。功能定位：實現(xiàn)全行關(guān)系型結(jié)構(gòu)化數(shù)據(jù)，非關(guān)系型的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，以及實時事件數(shù)據(jù)的集中管理和加工，為業(yè)務(wù)運營和決策分析提供數(shù)據(jù)支持。數(shù)據(jù)特征：數(shù)據(jù)集成平臺以關(guān)系型結(jié)構(gòu)化數(shù)據(jù)的集成、整合、范式化、歷史保留等特征為主；大數(shù)據(jù)平臺以非關(guān)系型數(shù)據(jù)的集中管理和加工為主；實時事件處理平臺以實時事件數(shù)據(jù)的集中管理和加工為主。對應(yīng)系統(tǒng)：統(tǒng)一報表平臺、監(jiān)管報送平臺、管理會計、風(fēng)險管理等系統(tǒng)。功能定位：主要獲取數(shù)據(jù)集成平臺提供的匯總數(shù)據(jù)，按照應(yīng)用主題進(jìn)行數(shù)據(jù)的高粒度匯總加工、圖形化分析和展現(xiàn)。數(shù)據(jù)特征：存儲匯總、聚合類數(shù)據(jù)，主要以星型結(jié)構(gòu)、寬表等形式存儲，存儲周期較長。對應(yīng)系統(tǒng)：主要是歷史數(shù)據(jù)平臺。功能定位：根據(jù)數(shù)據(jù)生命周期管理規(guī)范（有待制定），承擔(dān)對操作型系統(tǒng)、分析型系統(tǒng)的歷史數(shù)據(jù)，以及數(shù)據(jù)集成平臺部分歷史數(shù)據(jù)的在線歸檔保存，為客戶交易明細(xì)歷史查詢、公檢法查詢等應(yīng)用提供支持。數(shù)據(jù)特征：狀態(tài)類數(shù)據(jù)采用全表歷史拉鏈存儲，交易類數(shù)據(jù)保留長期歷史。操 集作 成型 型數(shù) 數(shù)據(jù) 據(jù)區(qū) 區(qū)分 歷析 史型 數(shù)數(shù) 據(jù)據(jù) 區(qū)區(qū)數(shù)據(jù)架構(gòu)：數(shù)據(jù)流向代表貼源模型層（ODS）向標(biāo)準(zhǔn)模型層（BDM）的數(shù)據(jù)流，標(biāo)準(zhǔn)模型層（BDM）基本依照源系統(tǒng)結(jié)構(gòu)建模，并進(jìn)行代碼字段標(biāo)準(zhǔn)化轉(zhuǎn)換。代表標(biāo)準(zhǔn)模型層（BDM）向整合模型層（CDM）的數(shù)據(jù)流。整合模型層（CDM）通過整合加工提供統(tǒng)一的業(yè)務(wù)口徑，盡量避免集市的重復(fù)加工，提供相對穩(wěn)定，和業(yè)務(wù)擴(kuò)展同步的數(shù)據(jù)模型。代表整合模型層（CDM）向數(shù)據(jù)集市的數(shù)據(jù)流，數(shù)據(jù)集市對整合模型層（CDM）是強(qiáng)依賴。代表標(biāo)準(zhǔn)模型層（BDM）向數(shù)據(jù)集市的數(shù)據(jù)流，是整合模型層（CDM）的補(bǔ)充。代表數(shù)據(jù)集市的數(shù)據(jù)分發(fā)。數(shù)據(jù)流說明操作型數(shù)據(jù)區(qū)核心系統(tǒng)信貸系統(tǒng)客戶系統(tǒng)渠道系統(tǒng)數(shù)據(jù)交換平臺數(shù)據(jù)采集和交換平臺集成型數(shù)據(jù)區(qū)數(shù)據(jù)集成平臺基礎(chǔ)平臺信用卡

信貸

外部系統(tǒng) 系統(tǒng) 系統(tǒng)標(biāo)準(zhǔn)模型層（BDM）整合模型層（CDM）大數(shù)據(jù)模型數(shù)據(jù)集市12345數(shù)據(jù)交換平臺數(shù)據(jù)采集和交換平臺數(shù)據(jù)中臺整體技術(shù)架構(gòu)客戶端WebApp微信小程序……公網(wǎng)區(qū)域DMZ區(qū)負(fù)載均衡Nginx或F5HTTP/HTTPS內(nèi)網(wǎng)安全區(qū)域管理支持業(yè)務(wù)監(jiān)控SpringAdmin服務(wù)監(jiān)控DubboAdmin鏈路監(jiān)控Pinpoint系統(tǒng)監(jiān)控Zabbix持續(xù)集成Jenkins自動化測試Python代碼質(zhì)量P3C+SonarNexusGitlabK8s日志分析ELK過程管理禪道Gateway數(shù)據(jù)網(wǎng)中關(guān)臺管理用戶認(rèn)證 系統(tǒng)安全權(quán)限控制（功能和數(shù)據(jù)）Gateway會員服務(wù)網(wǎng)關(guān)會員認(rèn)證系統(tǒng)安全權(quán)限控制第三方登錄數(shù)據(jù)GatewayAPI網(wǎng)關(guān)平臺認(rèn)證系統(tǒng)安全用戶授權(quán)計費控制REST風(fēng)格的HTTP服務(wù)數(shù)據(jù)服務(wù)層ADMS統(tǒng)一調(diào)度數(shù)據(jù)交換數(shù)據(jù)安全數(shù)據(jù)服務(wù)數(shù)據(jù)資產(chǎn)目錄元數(shù)據(jù)數(shù)據(jù)模型數(shù)據(jù)質(zhì)量數(shù)據(jù)標(biāo)準(zhǔn)基礎(chǔ)數(shù)據(jù)平臺計劃任務(wù)數(shù)據(jù)指標(biāo)數(shù)據(jù)標(biāo)簽……公共父POM工具包服務(wù)公 間共 調(diào)用DUBBOL熔斷限流Sentinel分布式事務(wù)Seata分布式內(nèi)存緩存限流Sentinel服熔 務(wù)斷 注冊與發(fā)現(xiàn)NacosRedis緩存集群配置中心ApolloKafka（RabbitMQ）消息隊列集群大數(shù)據(jù)存數(shù)儲據(jù)HiveHBASEHDFS數(shù)據(jù)服務(wù)代理（可實現(xiàn)讀寫分離、數(shù)據(jù)脫敏等）MySQL ElasticSearch（ES）數(shù)據(jù)中臺邏輯架構(gòu)數(shù)據(jù)應(yīng)用數(shù)據(jù)資產(chǎn)管理數(shù)倉管理數(shù)據(jù)服務(wù)數(shù)據(jù)資產(chǎn)目錄元數(shù)據(jù)管理數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量數(shù)據(jù)安全模型管理ADMS調(diào)度平臺數(shù)據(jù)交換指標(biāo)管理標(biāo)簽管理統(tǒng)一數(shù)據(jù)運營（資產(chǎn)運營、資產(chǎn)應(yīng)用）元數(shù)據(jù)收集數(shù)倉模型管理模型同步元數(shù)據(jù)元數(shù)據(jù)生成模型依托資源參照標(biāo)準(zhǔn)基于標(biāo)準(zhǔn)生成標(biāo)準(zhǔn)保障數(shù)據(jù)安全質(zhì)量檢核對象生成資產(chǎn)生成資產(chǎn)生成指標(biāo)、標(biāo)簽生成資產(chǎn)生成資產(chǎn)生成資產(chǎn)資產(chǎn)輸出依賴元數(shù)據(jù)報表工具生成資產(chǎn)資產(chǎn)輸出生成資產(chǎn)數(shù)據(jù)中臺主線和支線流程元數(shù)據(jù)管理數(shù)據(jù)交換平臺外部數(shù)據(jù)平臺實時數(shù)據(jù)采集數(shù)據(jù)質(zhì)量數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)資產(chǎn)目錄數(shù)據(jù)模型數(shù)據(jù)安全數(shù)據(jù)湖數(shù)據(jù)倉庫數(shù)據(jù)集市數(shù)據(jù)應(yīng)用DataAPI指標(biāo)管理標(biāo)簽管理ADMS調(diào)度可視化ETL數(shù)據(jù)源數(shù)據(jù)中臺核心功能數(shù)據(jù)源管理 數(shù)據(jù)字典采集系統(tǒng)管理資 資產(chǎn)目錄 資產(chǎn)模板 資產(chǎn)屬性 資產(chǎn)收集 資產(chǎn)管理 資產(chǎn)版本 資產(chǎn)應(yīng)用產(chǎn)治理 元數(shù)據(jù)瀏覽 采集管理 映射關(guān)系管理 版本管理 變更管理 標(biāo)準(zhǔn)管理 質(zhì)量管理數(shù)據(jù)庫文件-hive任務(wù) DDL腳本生成 作業(yè)腳本生成交 A 基礎(chǔ)層任務(wù) 匯總層任務(wù)換 hive- DMS 數(shù)據(jù)層管理 數(shù)據(jù)流管理數(shù)據(jù)庫任務(wù)源系統(tǒng)配置 數(shù)據(jù)字典配置 DDL模板 作業(yè)模板調(diào) 作業(yè)管理 作業(yè)組管理 服務(wù)器管理 參數(shù)管理度 作業(yè)監(jiān)控 作業(yè)重置 作業(yè)重跑 服務(wù)監(jiān)控平臺 資源監(jiān)控 預(yù)警配置 調(diào)度告警 一鍵部署數(shù)據(jù)服務(wù)錯誤碼查看接口調(diào)試接口查詢接口申請服務(wù)編排流程查看接口管理接口創(chuàng)建流程中心 日志中心應(yīng)用中心 需求中心數(shù)據(jù)開發(fā)平臺數(shù)據(jù)服務(wù)平臺數(shù)據(jù)資產(chǎn)管理平臺統(tǒng)一數(shù)開據(jù)字發(fā)典管平理臺-BDAP權(quán)限管理統(tǒng)一開發(fā)平臺前端后臺數(shù)據(jù)庫PGMySQLOracleMySQL前端框架統(tǒng)一：統(tǒng)一使用Vue框架elementui,antdesignpro,layui,bootstrap,easyui中臺和模塊的版本管理策略中臺基礎(chǔ)模塊和可選模塊劃分工具類和應(yīng)用類分類系統(tǒng)管理可視化統(tǒng)一元數(shù)據(jù)管理統(tǒng)一公共業(yè)務(wù)單元技術(shù)框架三統(tǒng)一統(tǒng)一采集入口支持?jǐn)?shù)據(jù)模型生成各子項目統(tǒng)一使用統(tǒng)一元數(shù)據(jù)版本管理元數(shù)據(jù)

數(shù)據(jù)交換數(shù)據(jù)資產(chǎn)脫敏造數(shù)數(shù)據(jù)模型ADMS 指標(biāo)中臺門戶單點登錄 統(tǒng)一界面風(fēng)格微服務(wù)服務(wù)網(wǎng)關(guān)授權(quán)認(rèn)證中心配置中心容錯限流服務(wù)注冊發(fā)現(xiàn)調(diào)用鏈監(jiān)控健康檢查和報告SpringCloud系統(tǒng)監(jiān)控Metrics監(jiān)控用戶管理參數(shù)設(shè)置日志審計權(quán)限管理碼表管理全文檢索工作流 BPMNDataMapping指標(biāo)應(yīng)用基礎(chǔ)指標(biāo)，衍生指標(biāo)數(shù)據(jù)處

理 指標(biāo)、標(biāo)簽加工數(shù)據(jù)能力-技術(shù)棧四、數(shù)據(jù)分析預(yù)測能力五、數(shù)據(jù)資產(chǎn)管理能力六、數(shù)據(jù)服務(wù)共享能力七、系統(tǒng)資源管理能力一、數(shù)據(jù)采集交換能力數(shù)據(jù)二、數(shù)據(jù)整合存儲能力三、數(shù)據(jù)開發(fā)處理能力信息知識數(shù)據(jù)能力技術(shù)棧能力介紹數(shù)據(jù)采集交換能力數(shù)據(jù)總線技術(shù)棧提供數(shù)據(jù)采集、數(shù)據(jù)交換、任務(wù)調(diào)度等交付服務(wù)。數(shù)據(jù)整合存儲能力計算存儲技術(shù)棧提供基于大數(shù)據(jù)平臺的模型設(shè)計開發(fā)、集市設(shè)計開發(fā)、指標(biāo)體系咨詢與設(shè)計開發(fā)服務(wù)。數(shù)據(jù)開發(fā)處理能力數(shù)據(jù)開發(fā)技術(shù)棧提供基于大數(shù)據(jù)平臺的離線/在線數(shù)據(jù)開發(fā)服務(wù)。數(shù)據(jù)分析預(yù)測能力AI算法技術(shù)棧提供人工智能、數(shù)據(jù)挖掘和算法等實施服務(wù)。數(shù)據(jù)資產(chǎn)管理能力資產(chǎn)管理技術(shù)棧提供數(shù)據(jù)治理咨詢、數(shù)據(jù)標(biāo)準(zhǔn)落地、數(shù)據(jù)質(zhì)量分析、專項數(shù)據(jù)治理工作、數(shù)據(jù)資產(chǎn)管理等實施服務(wù)。數(shù)據(jù)服務(wù)共享能力數(shù)據(jù)服務(wù)技術(shù)棧提供數(shù)據(jù)產(chǎn)品開發(fā)、報表開發(fā)、可視化開發(fā)、分析平臺和門戶開發(fā)、DataAPI平臺開發(fā)等服務(wù)。系統(tǒng)資源管理能力系統(tǒng)資源技術(shù)棧提供系統(tǒng)資源的配置、監(jiān)控、優(yōu)化。一、數(shù)據(jù)采集交換能力篇數(shù)據(jù)交換-產(chǎn)品優(yōu)勢多場景適用可視化任務(wù)配置可擴(kuò)展性集成多數(shù)據(jù)源適用數(shù)據(jù)交換平臺可以無縫集成更多產(chǎn)品，如基礎(chǔ)數(shù)據(jù)平臺、調(diào)度管理平臺等。無需進(jìn)行再次開發(fā)數(shù)據(jù)交換支持多種項目類型，如數(shù)據(jù)遷移、數(shù)據(jù)同步等。支持多種交換策略，如定時推送、發(fā)布訂閱、數(shù)據(jù)批量出倉、入倉等需求。數(shù)據(jù)交換平臺提供多種可視化任務(wù)類型，可以實現(xiàn)輕松線上配置任務(wù)。數(shù)據(jù)交換平臺支持多種數(shù)據(jù)庫。如：mysql、oracle、db2、postgre、Greenplum、GaussDB、達(dá)夢數(shù)據(jù)庫等數(shù)據(jù)庫的批量出倉、入倉等操作?；A(chǔ)數(shù)據(jù)平臺數(shù)據(jù)交換-邏輯架構(gòu)調(diào)度管理平臺源系統(tǒng)源系統(tǒng)1源系統(tǒng)2源系統(tǒng)3源系統(tǒng)4….…大數(shù)據(jù)平臺數(shù)據(jù)文件數(shù)據(jù)庫文件服務(wù)器大數(shù)據(jù)平臺數(shù)據(jù)文件數(shù)據(jù)庫文件服務(wù)器文件 數(shù)傳 據(jù)輸 安安 全全

范規(guī) 圍范數(shù)據(jù)采集 元數(shù)據(jù)存儲數(shù)據(jù)交換系統(tǒng)數(shù)據(jù)源配置 服務(wù)器配置 數(shù)據(jù)字典配置數(shù)據(jù)庫文件——HIVE任務(wù) HIVE——數(shù)據(jù)庫任務(wù)數(shù)據(jù)庫文件——HDFS任務(wù) HDFS——數(shù)據(jù)庫任務(wù)HIVE——文件服務(wù)器 HDFS——文件服務(wù)器數(shù)據(jù)庫——DB文件任務(wù) DB文件任務(wù)——數(shù)據(jù)庫數(shù)據(jù)庫——數(shù)據(jù)庫 發(fā)布訂閱數(shù)據(jù)庫—Sqoop—HIVE庫 HIVE庫—Sqoop—數(shù)據(jù)庫數(shù)據(jù)脫敏數(shù)據(jù)交換-交換方式源系統(tǒng)主機(jī)核心系統(tǒng)操作型系統(tǒng)1分析型系統(tǒng)1操作型系統(tǒng)N分析型系統(tǒng)N數(shù)據(jù)集成平臺大數(shù)據(jù)平臺外部數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)大數(shù)據(jù)環(huán)境--數(shù)據(jù)庫xml json自助查詢功能半結(jié)構(gòu)化數(shù)據(jù)表結(jié)構(gòu)/文件完整性校驗校驗表/文件是否成功文件是否發(fā)送成功 表/文件數(shù)據(jù)數(shù)量記錄是否完整

數(shù)據(jù)監(jiān)控數(shù)據(jù)交換平臺數(shù)據(jù)交換平臺數(shù)據(jù)庫----數(shù)據(jù)庫數(shù)據(jù)庫---文件實時采集 Kafka+Flink目標(biāo)系統(tǒng)主機(jī)核心系統(tǒng)操作型系統(tǒng)1分析型系統(tǒng)1操作型系統(tǒng)N分析型系統(tǒng)N外部數(shù)據(jù)數(shù)據(jù)集成平臺大數(shù)據(jù)平臺數(shù)據(jù)庫----MPP數(shù)據(jù)交換-接入范圍置置置GaussDBGreenplum接入模塊接入數(shù)據(jù)源類型mysqloracle源數(shù)服db2系據(jù)務(wù)統(tǒng)配源配器配postgre達(dá)夢接入大數(shù)據(jù)范圍hdfshiveimpala業(yè)務(wù)操作流程數(shù)據(jù)采集調(diào)度管理平臺配置管理任務(wù)配置源系統(tǒng)配置數(shù)據(jù)源配置服務(wù)器配置數(shù)據(jù)字典配置數(shù)據(jù)文件導(dǎo)入至HIVE任務(wù)HIVE導(dǎo)出至關(guān)系庫數(shù)據(jù)文件導(dǎo)入至HDFS任務(wù)HDFS導(dǎo)出至關(guān)系庫HIVE導(dǎo)出至文件服務(wù)器數(shù)據(jù)文件導(dǎo)入至關(guān)系庫HDFS導(dǎo)出至文件服務(wù)器源關(guān)系庫導(dǎo)入目標(biāo)關(guān)系庫關(guān)系庫導(dǎo)出數(shù)據(jù)文件發(fā)布訂閱數(shù)據(jù)脫敏處理第一步：在配置管理中，配置上游系統(tǒng)的對應(yīng)的數(shù)據(jù)源信息。第二步：配置數(shù)據(jù)庫--hive|數(shù)據(jù)庫--hdfs|數(shù)據(jù)庫--數(shù)據(jù)庫|數(shù)據(jù)庫--數(shù)據(jù)文件使用場景分類（接入數(shù)據(jù)源為數(shù)據(jù)庫）上游數(shù)據(jù)源PorstgresGaussDBGreenplumOracleMysqlDB2達(dá)夢目標(biāo)數(shù)據(jù)庫PorstgresGreenplumGaussDBOracleMysqlDB2大數(shù)據(jù)平臺（hive）數(shù)據(jù)文件配置管理任務(wù)配置數(shù)據(jù)庫—HIVE任務(wù)數(shù)據(jù)庫—HDFS任務(wù)數(shù)據(jù)庫—數(shù)據(jù)庫數(shù)據(jù)庫—數(shù)據(jù)庫源系統(tǒng)配置服務(wù)器配置數(shù)據(jù)源配置數(shù)據(jù)字典配置使用場景分類（接入數(shù)據(jù)源為大數(shù)據(jù)平臺）第一步：在配置管理中，配置上游系統(tǒng)的對應(yīng)的數(shù)據(jù)源信息。第二步：配置hive--文件服務(wù)|hive--數(shù)據(jù)庫|hdfs--文件服務(wù)|hdsf--數(shù)據(jù)庫上游數(shù)據(jù)源大數(shù)據(jù)平臺（HDFS/HIVE）目標(biāo)數(shù)據(jù)庫PorstgresGaussDBGreenplumOracleDB2數(shù)據(jù)文件配置管理任務(wù)配置HIVE—文件服務(wù)任務(wù)HIVE—數(shù)據(jù)庫任務(wù)HDFS—文件服務(wù)任務(wù)HDFS—數(shù)據(jù)庫任務(wù)置置達(dá)夢 Mysql 源數(shù)服系據(jù)務(wù)統(tǒng)源器配配配置數(shù)據(jù)字典配置使用場景分類（接入數(shù)據(jù)源為數(shù)據(jù)文件）第一步：在配置管理中，配置上游系統(tǒng)的對應(yīng)的數(shù)據(jù)源信息。第二步：配置DB文件--數(shù)據(jù)庫任務(wù)|DB文件--HIVE任務(wù)|DB文件--服務(wù)器任務(wù)上游數(shù)據(jù)源目標(biāo)數(shù)據(jù)庫Porstgres達(dá)夢GaussDBGreenplumOracleMysqlDB2數(shù)據(jù)文件配置管理任務(wù)配置DB文件—數(shù)據(jù)庫任務(wù)DB文件—HIVE任務(wù)DB文件—服務(wù)器任務(wù)源數(shù)服系據(jù)務(wù)統(tǒng)源器配配配置置置數(shù)據(jù)字典配置數(shù)據(jù)文件大數(shù)據(jù)平臺（HIVE）二、數(shù)據(jù)整合存儲能力篇數(shù)據(jù)整合存儲能力：模型價值通過數(shù)據(jù)模型建設(shè)，能夠為企業(yè)提供一個整體的數(shù)據(jù)視角，不再是各個部門只是關(guān)注自己的數(shù)據(jù)，而且通過模型的建設(shè)，勾勒出了部門之間內(nèi)在的聯(lián)系，幫助消滅各個部門之間的信息孤島的問題，更為重要的是，通過數(shù)據(jù)模型的建設(shè)，實現(xiàn)以產(chǎn)品為中心向客戶為中心的轉(zhuǎn)變。通過數(shù)據(jù)模型的建設(shè)，能夠很好的分離出底層技術(shù)的實現(xiàn)和上層業(yè)務(wù)的展現(xiàn)。當(dāng)上層業(yè)務(wù)發(fā)生變化時，通過數(shù)據(jù)模型，底層的技術(shù)實現(xiàn)可以非常輕松的完成業(yè)務(wù)的變動，從而達(dá)到整個數(shù)據(jù)倉庫系統(tǒng)的靈活性。通過數(shù)據(jù)模型的建設(shè)，能夠很好地支撐各種分析應(yīng)用，并能滿足不斷的擴(kuò)充。一般來說，應(yīng)用類型主要有一般查詢類報表需求、多維分析、數(shù)據(jù)挖掘、引入應(yīng)用軟件包等。服務(wù)于不同應(yīng)用，實現(xiàn)數(shù)據(jù)和指標(biāo)的共享，減少相同的業(yè)務(wù)統(tǒng)計所帶來的數(shù)據(jù)重復(fù)計算與存儲，避免數(shù)據(jù)在多次加工后出現(xiàn)的不一致。提高查詢效率。由于基礎(chǔ)數(shù)據(jù)和業(yè)務(wù)指標(biāo)整合在模型層，減少了重新關(guān)聯(lián)表進(jìn)行計算所帶來的性能問題，加快了查詢的響應(yīng)時間。建立全方位的數(shù)據(jù)視角消滅信息孤島解決業(yè)務(wù)的變更和數(shù)據(jù)倉庫的靈活性滿足全業(yè)務(wù)的業(yè)務(wù)需求提高數(shù)據(jù)質(zhì)量及數(shù)據(jù)響應(yīng)數(shù)據(jù)整合存儲能力：模型定位項目ODMBDMCDM入模原則結(jié)構(gòu)化數(shù)據(jù)增量或全量同步到ODS；非結(jié)構(gòu)化(日志)結(jié)構(gòu)化處理并存儲到ODPS；根據(jù)數(shù)據(jù)業(yè)務(wù)需求及稽核和審計要求保存歷史數(shù)據(jù)、數(shù)據(jù)清洗；結(jié)構(gòu)化數(shù)據(jù)的代碼標(biāo)準(zhǔn)化能反映整個業(yè)務(wù)相關(guān)所涉及的表以下不考慮入模1、控制類的表，如限額參數(shù)；2、除參數(shù)外設(shè)置性的表，如界面顯示格式等；3、反映和業(yè)務(wù)無關(guān)的流程性的表，如審批流程控制流向表；4、臨時表；5、和業(yè)務(wù)結(jié)果無關(guān)的計算過程表建模方式貼源模型，結(jié)構(gòu)與源系統(tǒng)基本一致貼源模型，結(jié)構(gòu)與源系統(tǒng)基本一致主題模型，維度模型方法為基礎(chǔ)，提升公共指標(biāo)的復(fù)用性，減少重復(fù)的加工數(shù)據(jù)整合完全貼源，不進(jìn)行任何整合進(jìn)行代碼標(biāo)準(zhǔn)，不進(jìn)行任何整合按主題進(jìn)行整合（包括表級和記錄級的整合）模型擴(kuò)展性低。對業(yè)務(wù)的發(fā)展變化適用性較弱，對源系統(tǒng)的變更屏蔽能力較弱。低。對業(yè)務(wù)的發(fā)展變化適用性較弱，對源系統(tǒng)的變更屏蔽能力較弱。高?？奢^好的適應(yīng)業(yè)務(wù)的發(fā)展和變化，可以基本屏蔽源系統(tǒng)的變更。存儲周期長期歷史數(shù)據(jù)當(dāng)前快照或短期歷史數(shù)據(jù)當(dāng)前快照或短期歷史數(shù)據(jù)數(shù)據(jù)標(biāo)準(zhǔn)化不進(jìn)行標(biāo)準(zhǔn)化代碼標(biāo)準(zhǔn)化基于數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范下標(biāo)準(zhǔn)化處理時效性面向下游應(yīng)用和最終用戶的時效性相對較高面向下游應(yīng)用和最終用戶的時效性相對較高面向下游應(yīng)用和最終用戶的時效性相對較低優(yōu)勢隔絕下游應(yīng)用與上游業(yè)務(wù)系統(tǒng)的關(guān)系，確保上游業(yè)務(wù)系統(tǒng)的變化不影響下游應(yīng)用。同時服務(wù)于多個不同應(yīng)用，實現(xiàn)數(shù)據(jù)和指標(biāo)的共享，減少相同的業(yè)務(wù)統(tǒng)計所帶來的數(shù)據(jù)重復(fù)計算與存儲，避免數(shù)據(jù)在多次加工后出現(xiàn)的不一致。提高查詢效率。由于經(jīng)常被訪問到的基礎(chǔ)數(shù)據(jù)和業(yè)務(wù)指標(biāo)經(jīng)過整合計算以后存儲在CDM層，減少了重新關(guān)聯(lián)表進(jìn)行計算所帶來的性能問題，加快了查詢的響應(yīng)時間。降低應(yīng)用開發(fā)和數(shù)據(jù)查詢的復(fù)雜程度。由于CDM層從業(yè)務(wù)分析的視角組織數(shù)據(jù)，屏蔽了數(shù)據(jù)倉庫的復(fù)雜性，便于前端應(yīng)用的開發(fā)。劣勢1. 數(shù)據(jù)倉庫中CDM層是預(yù)先設(shè)計并生成好，其通過封裝好的、穩(wěn)定的模型對外提供有限的、標(biāo)準(zhǔn)化的數(shù)據(jù)服務(wù)，數(shù)據(jù)模型的高內(nèi)聚、松耦合成了評估數(shù)據(jù)倉庫好壞的一個標(biāo)準(zhǔn)，所以增加了復(fù)用性卻降低靈活性和及時性，可以考慮使用ODM層來進(jìn)行相應(yīng)補(bǔ)充。0101010101010010101010010101010101010101010100101010100101010101010101010101001010101001010101010101010101010010101010010101010101010101010100101010100101010101010101010101001010101001010101010101010101010010101010010101010101010101010100101010100101010101010101010101001010101001010101010101010101010010101010010101010101010101010100101010100101010101010101010101001010101001010101010101010101010010101010010101010101010101010100101010100101010101數(shù)據(jù)模型-產(chǎn)品特點全景的目錄體系圖形化的設(shè)計全生命周期的管控?zé)o縫的中臺銜接全徑的模型數(shù)據(jù)層次化的模型架構(gòu)立體的0101010101010010101010010101010關(guān)1系結(jié)構(gòu)0101010101010010101010010101010101010101010100101010100101010101多樣化的共享應(yīng)用貼身的版本方案靈活的權(quán)限策略數(shù)據(jù)模型-產(chǎn)品優(yōu)勢支持業(yè)務(wù)系統(tǒng)和數(shù)據(jù)倉庫數(shù)據(jù)建模，靈活設(shè)置數(shù)據(jù)模型管理方式根據(jù)元數(shù)據(jù)信息逆向生成數(shù)據(jù)模型支持多人協(xié)同數(shù)據(jù)建模管理支持?jǐn)?shù)據(jù)模型版本管理，可以靈活定義數(shù)據(jù)模型版本管理策略01010101010100101010100101010101010101010101001010101001010101010101010101010010101010010101010101010101010100101011001010101010101010101010010101010010101010101010101010100101010100101010101010101010101001010101001010101010101010101010010101010010101010101010101010100101010100101010101010101010101010101010010101010101010101010100101010100101010101數(shù)據(jù)模型-實施路徑屬性字段0業(yè)務(wù)實體業(yè)務(wù)梳理0總體規(guī)劃模型實施運維1、數(shù)據(jù)模型的構(gòu)建，應(yīng)在數(shù)據(jù)管理和應(yīng)用的總體規(guī)劃框01010101010100101010100101010101架內(nèi)進(jìn)行實施。2、根據(jù)數(shù)據(jù)資源現(xiàn)狀和業(yè)務(wù)發(fā)展預(yù)期，規(guī)劃未來數(shù)據(jù)需求方向和管理目標(biāo)，設(shè)計數(shù)據(jù)模型管理策略和構(gòu)01建010方101法0101。001010101001010101013、以業(yè)務(wù)條線或數(shù)據(jù)資源渠道等方式歸集數(shù)據(jù)實體，勾勒實體間業(yè)務(wù)、邏輯、物理等關(guān)系。4、按照實體01屬010性101內(nèi)0101容001，010形101成0010模101型010的1屬性字段清單，結(jié)合標(biāo)準(zhǔn)化目標(biāo)，形成模型要素的標(biāo)準(zhǔn)體010系101。010101001010101001010101015、結(jié)合模型產(chǎn)品工具的技術(shù)支撐0，101完01成010模10型100的10實101施01，001形01010101成可管、可控、01可010用101的010機(jī)1001構(gòu)010數(shù)101據(jù)001模010型1010資1源體系，發(fā)揮技術(shù)和數(shù)據(jù)的價值。數(shù)據(jù)模型-邏輯架構(gòu)元數(shù)據(jù)存儲基礎(chǔ)服務(wù)模型應(yīng)用模型查詢、模型輸出版本管理打版、發(fā)布、對比、回退權(quán)限管理模型目錄權(quán)限模型結(jié)構(gòu)權(quán)限數(shù)據(jù)建模主題模型、模型構(gòu)建、模型目錄、實體數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范、數(shù)據(jù)項、代碼集基礎(chǔ)信息業(yè)務(wù)術(shù)語、值域、數(shù)據(jù)庫兼容數(shù)據(jù)整合存儲能力：主題域劃分參與人資產(chǎn)財務(wù)風(fēng)險協(xié)議市場營銷事件渠道地址產(chǎn)品內(nèi)部機(jī)構(gòu)所服務(wù)的任意對象和感興趣進(jìn)行分析的各種對象可能采集到的客戶的資產(chǎn)（負(fù)債）信息，也包括農(nóng)信社向外租賃的資產(chǎn)信息描述的是當(dāng)各種事件發(fā)生時，當(dāng)事雙方進(jìn)行交互和接觸的手段及方法，通過它客戶與銀行進(jìn)行接觸、購買產(chǎn)品、使用服務(wù)并交流信息。農(nóng)信社內(nèi)部的組織機(jī)構(gòu)（如分行、支行、網(wǎng)點、部門等），也可能是任何一個法人機(jī)構(gòu)當(dāng)事人的內(nèi)部組織包括農(nóng)信社的總帳信息，是描述科目組織、控制、內(nèi)部核算等銀行核心科目帳務(wù)以及預(yù)算管理有關(guān)的內(nèi)容金融機(jī)構(gòu)與當(dāng)事人之間針對某種特定產(chǎn)品或服務(wù)而簽立的契約關(guān)系記錄各種與銀行相關(guān)的活動的詳細(xì)情況產(chǎn)品主題域地址主題域市場營銷主題域數(shù)據(jù)整合存儲能力：建模方法論概念模型設(shè)計邏輯模型設(shè)計物理模型設(shè)計業(yè)務(wù)范圍要求數(shù)據(jù)分析數(shù)據(jù)粒度要求分析性能要求業(yè)務(wù)范圍確定業(yè)務(wù)業(yè)務(wù)對象及規(guī)則分析分析業(yè)務(wù)數(shù)據(jù)實現(xiàn)成立模型設(shè)計組后續(xù)模型及應(yīng)用的設(shè)計和開發(fā)首要工作是通過需求分析，明確需求所涵蓋的業(yè)務(wù)范圍。然后再對需求范圍內(nèi)的業(yè)務(wù)及其間關(guān)系進(jìn)行高度概括性的描述，把密切相關(guān)業(yè)務(wù)對象進(jìn)行歸類，即劃分主題域。概念模型的設(shè)計是為邏輯模型的設(shè)計做準(zhǔn)備，它沒有統(tǒng)一的標(biāo)準(zhǔn)，主要根據(jù)設(shè)計者的經(jīng)驗。對概念模型的各個主題進(jìn)行細(xì)化，根據(jù)業(yè)務(wù)定義、分類和規(guī)則，定義其中的實體并描述實體之間的關(guān)系，然后遵照規(guī)范化思想在實體關(guān)系的基礎(chǔ)上明確各個實體的屬性。實體產(chǎn)生于銀行開展的業(yè)務(wù)、服務(wù)及其涉及的對象（如客戶、帳戶、員工、機(jī)構(gòu)），實體間的對應(yīng)、約束關(guān)系則來自于各業(yè)務(wù)過程中的規(guī)則?？梢哉f，這一階段面對的是業(yè)務(wù)。依據(jù)邏輯模型針對具體的分析需求和物理平臺采取相應(yīng)的優(yōu)化策略。此時會在一定程度上增加數(shù)據(jù)冗余或者隱藏實體之間的關(guān)系，是一種反規(guī)范化的處理，目的是提高數(shù)據(jù)分析的速度，適應(yīng)具體數(shù)據(jù)庫的容量、性能等限制。可以說，這一階段面對的是具體軟硬件平臺和性能要求。概念模型邏輯模型物理模型數(shù)據(jù)整合存儲能力：外部數(shù)據(jù)-建設(shè)方法論進(jìn)行外部數(shù)據(jù)全生命周期管理，設(shè)置貫穿整個外部數(shù)據(jù)生命周期的外部數(shù)據(jù)服務(wù)流程，主要分為外部數(shù)據(jù)引入、外部數(shù)據(jù)使用、外部數(shù)據(jù)評估、外部數(shù)據(jù)退出四個階段。A.外部數(shù)據(jù)引入引入階段的服務(wù)包括外部數(shù)據(jù)需求統(tǒng)一受理與整合、預(yù)算統(tǒng)一管理與采購，嚴(yán)格把控供應(yīng)商準(zhǔn)入和數(shù)據(jù)準(zhǔn)入，保障外部數(shù)據(jù)合規(guī)可用。B.外部數(shù)據(jù)使用使用階段的服務(wù)主要是基于統(tǒng)一的外部數(shù)據(jù)管理平臺提供統(tǒng)一接入、統(tǒng)一存儲、統(tǒng)一整合和按需共享服務(wù)等。做到數(shù)據(jù)使用服務(wù)化，安全規(guī)范可管理。C.外部數(shù)據(jù)評估評估階段的服務(wù)包括外部數(shù)據(jù)質(zhì)量監(jiān)控、服務(wù)評價、應(yīng)用效果評估、供應(yīng)商評價等。定期審計總結(jié)外部數(shù)據(jù)管理和服務(wù)工作，提升外部數(shù)據(jù)統(tǒng)一管理能效。D.外部數(shù)據(jù)退出退出階段的服務(wù)包括數(shù)據(jù)下線后替代接口的無縫切換、供應(yīng)商黑名單管理等。適時執(zhí)行數(shù)據(jù)退出，促進(jìn)外部數(shù)據(jù)更新迭代，逐步提升外部數(shù)據(jù)資產(chǎn)質(zhì)量和業(yè)務(wù)價值。引入機(jī)制數(shù)據(jù)整合存儲能力：外部數(shù)據(jù)-引入原則和機(jī)制1、真實性2、準(zhǔn)確性3、連續(xù)性5、及時性4、完整性引入原則1、數(shù)據(jù)來源真實可靠，數(shù)據(jù)內(nèi)容未經(jīng)篡改2、數(shù)據(jù)解析準(zhǔn)確，不出現(xiàn)亂碼、錯位、錯值、空值等數(shù)據(jù)錯誤3、數(shù)據(jù)提供穩(wěn)定、持續(xù)，不出現(xiàn)可引起業(yè)務(wù)停滯的重大服務(wù)中斷事故4、所供數(shù)據(jù)覆蓋范圍完整，數(shù)據(jù)完備程度高，可支撐業(yè)務(wù)決策5、數(shù)據(jù)返回時間、數(shù)據(jù)更新時間符合金融機(jī)構(gòu)業(yè)務(wù)需求，數(shù)據(jù)及時有效明確外部數(shù)據(jù)采購流程。包括數(shù)據(jù)源認(rèn)證、數(shù)據(jù)測試、采購談判、職責(zé)劃分、成本管理等一系列流程制度要明確外部數(shù)據(jù)共享機(jī)制。包括外部數(shù)據(jù)及時發(fā)布機(jī)制，存儲策略，訪問路徑等要明確外部數(shù)據(jù)隱私保護(hù)機(jī)制。包括用戶授權(quán)、數(shù)據(jù)采集策略、數(shù)據(jù)使用策略等數(shù)據(jù)整合存儲能力：外部數(shù)據(jù)-模型設(shè)計設(shè)計說明：1、外部數(shù)據(jù)分層分域：分成ODM、BDM、CDM三層，單獨劃分外部數(shù)據(jù)主題域。2、采用概念模型->邏輯模型->物理模型的步驟進(jìn)行模型設(shè)計；3、邏輯模型設(shè)計：將所有客戶類外部數(shù)據(jù)設(shè)計在外部數(shù)據(jù)域-客戶子主題模型中，不同源系統(tǒng)客戶類數(shù)據(jù)使用同一套模型體系，但設(shè)計不同實體且數(shù)據(jù)做標(biāo)準(zhǔn)化處理。概念模型設(shè)計思路數(shù)據(jù)整合存儲能力：外部數(shù)據(jù)-模型整合和融合數(shù)據(jù)整合數(shù)據(jù)融合在數(shù)據(jù)質(zhì)量有所保障的前提下，實現(xiàn)外部數(shù)據(jù)項與數(shù)據(jù)項、數(shù)據(jù)實體與數(shù)據(jù)實體之前的關(guān)聯(lián)，并且能夠形成正確的數(shù)據(jù)視圖。數(shù)據(jù)清洗與轉(zhuǎn)換數(shù)據(jù)關(guān)聯(lián)及識別統(tǒng)一標(biāo)準(zhǔn)的碼值轉(zhuǎn)換數(shù)據(jù)同類項的優(yōu)先合并數(shù)據(jù)格式的標(biāo)準(zhǔn)化處理無價值干擾數(shù)據(jù)項剔數(shù)據(jù)關(guān)聯(lián)的核心是數(shù)據(jù)項的識別，也就是通過一定的信息能夠識別出來這是哪個具體的、確切的客戶信息和數(shù)據(jù)實體對于內(nèi)外部數(shù)據(jù)融合，我們不建議在CDM層進(jìn)行整合，而考慮下游應(yīng)用層進(jìn)行整合，即考慮“讀時模式”而非“寫時模式”。數(shù)據(jù)整合存儲能力：外部數(shù)據(jù)-評估引進(jìn)前，調(diào)研數(shù)據(jù)源公司的合規(guī)性，數(shù)據(jù)來源的合法性、用戶信息安全保護(hù)機(jī)制調(diào)研；采購中，應(yīng)明確數(shù)據(jù)不合規(guī)、數(shù)據(jù)源中止時，數(shù)據(jù)源公司應(yīng)當(dāng)承擔(dān)的責(zé)任，包括賠償金額、提前告知等責(zé)任。引入后，建立外部數(shù)據(jù)源中止的應(yīng)急預(yù)案，評估外部數(shù)據(jù)源中止對相關(guān)業(yè)務(wù)的影響，并盡量的以替代數(shù)據(jù)彌補(bǔ)等。外部數(shù)據(jù)引進(jìn)后，要定期開展業(yè)務(wù)效果評估，如果業(yè)務(wù)效果差，則中止引進(jìn)或者采取替代手段。數(shù)據(jù)可持續(xù)性評估數(shù)據(jù)質(zhì)量持續(xù)驗證評估業(yè)務(wù)效果評估數(shù)據(jù)引進(jìn)前，需和外部公司做一些數(shù)據(jù)測試，以避免采購無效的數(shù)據(jù)，在數(shù)據(jù)引進(jìn)后，也要定期測試外部數(shù)據(jù)質(zhì)量，避免出現(xiàn)數(shù)據(jù)造假等情況。三、數(shù)據(jù)開發(fā)處理能力篇數(shù)據(jù)開發(fā)處理能力：數(shù)據(jù)開發(fā)流程1準(zhǔn)備與策劃2項目啟動3系統(tǒng)需求系統(tǒng)設(shè)計信息調(diào)研構(gòu)建概念模型邏輯數(shù)據(jù)模型設(shè)計物理數(shù)據(jù)模型設(shè)計5開發(fā)測試項目準(zhǔn)備與策劃模型人員的主要職責(zé)是參與制定模型相關(guān)的項目實施策略，包括確定數(shù)據(jù)源，明確最終提交物和項目日程等。此外，在進(jìn)場前可提出客戶資料的需求，以保證后續(xù)工作的輸入項目啟動模型人員參與模型相關(guān)的工作流程制定、標(biāo)準(zhǔn)工作模板的客戶化，負(fù)責(zé)在整個項目組范圍內(nèi)組織模型培訓(xùn)，明確LDM在整個信息架構(gòu)中的定位和作用，并就工作方法達(dá)成共識系統(tǒng)需求模型人員配合業(yè)務(wù)顧問，通過對應(yīng)用需求的梳理或規(guī)劃的解讀，確定項目實施重點和優(yōu)先順序系統(tǒng)設(shè)計系統(tǒng)設(shè)計工作是模型組工作的主體，主要由模型小組主導(dǎo)。它包括：信息調(diào)研、邏輯數(shù)據(jù)模型詳細(xì)設(shè)計，以及物理數(shù)據(jù)模型設(shè)計系統(tǒng)開發(fā)與測試模型設(shè)計人員主要起到支持的作用，為開發(fā)人員解釋模型設(shè)計，協(xié)助驗證單元測試的結(jié)果等，并根據(jù)測試發(fā)現(xiàn)的問題進(jìn)行相應(yīng)修改和變更數(shù)據(jù)開發(fā)處理能力：ETL設(shè)計策略嚴(yán)格的ETL規(guī)范標(biāo)準(zhǔn)的ETL編碼自動的ETL開發(fā)高效的ETL部署ETL整體需要解決的問題ETL具體設(shè)計策略ETL設(shè)計要求1.ETL開發(fā)自動化和高質(zhì)量2.ETL后續(xù)的易擴(kuò)展和可維護(hù)3.ETL的處理效率優(yōu)化數(shù)據(jù)開發(fā)處理能力：中電金信輔助開發(fā)平臺ADMS業(yè)務(wù)探索信息探索邏輯數(shù)據(jù)模型設(shè)計物理數(shù)據(jù)庫設(shè)計映射文檔填寫ETL腳本開發(fā)測試循環(huán)迭代開發(fā)ADMS:數(shù)據(jù)平臺輔助開發(fā)管理系統(tǒng)-智能化的流程控制和代碼生成工具完全數(shù)據(jù)庫化：外部的離線文檔，僅作為編輯的介質(zhì)，可以有效的與元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、ETL調(diào)度系統(tǒng)等集成。開發(fā)流程化：解決了工作銜接問題，即可順序，也可返回迭代系統(tǒng)級分析任務(wù)；表級分析任務(wù)；字段級分析任務(wù)；LDM任務(wù)；PDM任務(wù)；SDM任務(wù)；ETL任務(wù)智能化能力不需要編寫程序代碼，全動自動化代碼生成，擺脫人工編碼的出錯問題與調(diào)度平臺結(jié)合，生成代碼即運行ADMS統(tǒng)一開發(fā)平臺安全管理ADMS：邏輯架構(gòu)標(biāo)準(zhǔn)層原始層知識庫技術(shù)緩沖層（SDB）基礎(chǔ)層近源模型層（ODB）整合模型層（PDB)集市層共性加工層（CDB）集市應(yīng)用層（MDB)作業(yè)腳本配置進(jìn)調(diào)度作業(yè)中用戶管理角色管理權(quán)限管理菜單管理參數(shù)管理配置管理核心系統(tǒng)電子國債網(wǎng)銀互聯(lián)XX系統(tǒng)……開發(fā)管理上線管理監(jiān)控管理服務(wù)監(jiān)控資源監(jiān)控調(diào)度服務(wù)調(diào)度管理平臺調(diào)度告警預(yù)警配置作業(yè)監(jiān)控平臺管理預(yù)提管理歷史日志分析作業(yè)組管理作業(yè)管理作業(yè)批量配置服務(wù)器管理調(diào)度參數(shù)管理一鍵部署Perl shell Python ……ADMS：開發(fā)流程源系統(tǒng)調(diào)研系統(tǒng)級分析文檔表級分析表級分析文檔字段級分析字段級分析文檔LDM調(diào)整LDM維護(hù)文檔PDM調(diào)整PDM維護(hù)文檔映射填寫SDM

文檔腳本生成DDL腳本作業(yè)腳本任務(wù)生成ETL任務(wù)定義各環(huán)節(jié)之間依靠數(shù)據(jù)平臺開發(fā)輔助管理平臺自動銜接，不單純依靠制度管理；每個環(huán)節(jié)提交，自動檢查校驗，減少人工錯誤；很多中間過程自動生成，提高規(guī)范性；010101010101001010101001010101010101010101010010101010010101010101010101010100101010100101010101010101010101001010101001010101010101010101010010101010010101010101010101010100101010100101010101010101010101001010101001010101010101010101010010101010010101010101010101010100101010100101010101010101010101001010101001010101010101010101010010101010010101010101010101010100101010100101010101010101010101001010101001010101010101010101010010101010010101010101010101010100101010100101010101調(diào)度特性特性01010101010100101010100101010101強(qiáng)大的企業(yè)級特性豐富的功能完善的管理全面的監(jiān)控負(fù)載均衡特性；支持多租戶；代理

HA

特性。01010101010100101010100支10持10特101定01作業(yè)在特定的agent上執(zhí)行。多類型作業(yè)支持如：命令行、jar、存儲過程、python/Perl/Shell

等多種腳本；支持按時間輪循調(diào)度；調(diào)度的一鍵部署、版本回退功能；作業(yè)的出錯重試功能；上游作業(yè)、下游作業(yè)關(guān)系圖展現(xiàn)。完整的作業(yè)監(jiān)控圖；Master/Agent資源監(jiān)控、服務(wù)監(jiān)控；調(diào)度監(jiān)控/腳本監(jiān)控；實時監(jiān)控&告警。執(zhí)行節(jié)點 Master備機(jī)兼執(zhí)行節(jié)點調(diào)度物理部署架構(gòu)調(diào)度負(fù)載均衡示意圖應(yīng)用服務(wù)+BDAP數(shù)據(jù)庫集群Master Agent1 Agent2 Agent3

調(diào)度集群HAEtlschedule.pl按資源組輪循分配到Agent主調(diào)度Agent進(jìn)程從調(diào)度Agent進(jìn)程從調(diào)度Agent進(jìn)程Agent_2Agent_nEtlserver_1開始Agent_1Etlserver_2Etlserver_NEtlschedule.plEtlschedule.pl四、數(shù)據(jù)分析能力篇數(shù)據(jù)分析能力：指標(biāo)體系-體系架構(gòu)業(yè)務(wù)層面統(tǒng)一指標(biāo)的命名、編碼、業(yè)務(wù)定義、業(yè)務(wù)口徑、關(guān)聯(lián)指標(biāo)、管理部門等業(yè)務(wù)關(guān)注的屬性，為建立全行指標(biāo)業(yè)務(wù)標(biāo)準(zhǔn)打基礎(chǔ)。管理層面建立全行統(tǒng)計指標(biāo)的管理規(guī)范，并通過建立制度和系統(tǒng)實現(xiàn)指標(biāo)的集中管理，保證指標(biāo)元數(shù)據(jù)的統(tǒng)一存儲、管理與訪問。數(shù)據(jù)層面落地實施后，指標(biāo)實現(xiàn)集中加工與存儲，既方便用戶直接訪問，也可以為其它應(yīng)用提供數(shù)據(jù)服務(wù)，有利于數(shù)據(jù)共享，并保證數(shù)據(jù)的一致性。指標(biāo)體系指標(biāo)管理辦法與系統(tǒng)指標(biāo)數(shù)據(jù)庫數(shù)據(jù)分析能力：指標(biāo)體系-建設(shè)步驟需求調(diào)研業(yè)務(wù)部門需求調(diào)研整理業(yè)務(wù)需求研究可行方案業(yè)務(wù)部門確認(rèn)方案設(shè)計建立指標(biāo)架構(gòu)框架指標(biāo)設(shè)計及討論圖形Demo展示并請業(yè)務(wù)部門確認(rèn)實施進(jìn)行指標(biāo)系統(tǒng)開發(fā)實施進(jìn)行儀表盤的開發(fā)基于開發(fā)出的版本進(jìn)行反復(fù)確認(rèn)逐漸完善逐步調(diào)整并完善各層面的指標(biāo)根據(jù)業(yè)務(wù)和管理層建議不斷完善駕駛艙成熟階段在全行范圍內(nèi)形成統(tǒng)一的指標(biāo)庫形成全行的管理駕駛艙數(shù)據(jù)分析能力：指標(biāo)體系-構(gòu)建示例集市客戶(I)客戶總數(shù)個人客戶數(shù)公司客戶數(shù)客戶AUM客戶積分客戶轉(zhuǎn)換率……利率活期存款利率定期存款利率(按期限)協(xié)議存款利率協(xié)定存款利率(按層級)貸款利率(按產(chǎn)品、期限)……同業(yè)按同業(yè)披露指標(biāo)數(shù)據(jù)……客戶(II)客戶流失率客戶區(qū)域業(yè)務(wù)量客戶交易介質(zhì)偏好率客戶投資風(fēng)險偏好率客戶交易渠道偏好率……匯率中間價……信用風(fēng)險單一客戶授信集中度單一客戶貸款集中度最大十家客戶授信集中度單一客戶關(guān)聯(lián)度全部關(guān)聯(lián)度……流動性風(fēng)險流動性比例流動性覆蓋率凈穩(wěn)定資金比例流動性缺口率核心負(fù)債依存度存貸款比例……市場風(fēng)險利率風(fēng)險敏感度……操作風(fēng)險操作風(fēng)險加權(quán)資產(chǎn)……資本充足資本充足率一級資本充足率核心資本充足率核心資本凈額……人力資源全體員工數(shù)量人均成本下設(shè)網(wǎng)點數(shù)量……資產(chǎn)負(fù)債資產(chǎn)總額負(fù)債總額所有者權(quán)益資產(chǎn)負(fù)債率各項存款各項貸款……資產(chǎn)質(zhì)量不良資產(chǎn)率不良貸款余額不良貸款率資產(chǎn)損失準(zhǔn)備充足率貸款損失準(zhǔn)備充足率貸款撥備率撥備覆蓋率……效益及相關(guān)凈利差(NIS)凈息差(NIM)資本利潤率(ROE)資產(chǎn)利潤率(ROA)風(fēng)險資產(chǎn)利潤率(RORA)風(fēng)險調(diào)整資本利潤(RAROC)……財務(wù)指標(biāo)主要呈現(xiàn)企業(yè)的財務(wù)狀況及發(fā)展趨勢，包含資產(chǎn)、負(fù)債、損益指標(biāo)。運營指標(biāo)主要呈現(xiàn)企業(yè)內(nèi)部運行狀況,包括資本充足率、流動性等信息及公司員工和機(jī)構(gòu)狀況。市場指標(biāo)主要呈現(xiàn)企業(yè)外部的相關(guān)信息,包括匯率、利率；客戶信息；競爭對手等信息。其他指標(biāo)財務(wù)盈利類指標(biāo)風(fēng)險管理類指標(biāo)運營績效類指標(biāo)市場客戶類指標(biāo)XXX集市，……全行指標(biāo)梳理指標(biāo)以實際業(yè)務(wù)梳理為準(zhǔn)規(guī)模指標(biāo)損益指標(biāo)盈利指標(biāo)運營指標(biāo)交易指標(biāo)風(fēng)險指標(biāo)展現(xiàn)分析檢測指標(biāo)管理平臺數(shù)據(jù)分析能力：指標(biāo)體系-指標(biāo)管理平臺基礎(chǔ)指標(biāo)管理派生指標(biāo)維度管理口徑管理指標(biāo)申購數(shù)據(jù)共享專題分析挖掘分析比較分析高級分析風(fēng)險提醒數(shù)據(jù)跟蹤預(yù)警告警預(yù)測發(fā)展指標(biāo)梳理、歸類、標(biāo)準(zhǔn)化指標(biāo)索引指標(biāo)引用角色/權(quán)限管理流程管理指標(biāo)版本管理指標(biāo)發(fā)布數(shù)據(jù)源管理……指標(biāo)搜索基本圖形展示自助分析多維分析關(guān)聯(lián)分析……風(fēng)險因子管理參數(shù)管理閥值配置指標(biāo)視圖-基本信息查詢儀表盤/GIS 自助/靈活查詢……指標(biāo)庫管理指標(biāo)計算 指標(biāo)審批文思海輝指標(biāo)管理平臺功能架構(gòu)?Pactera.Confidential.AllRightsReserved.指標(biāo)數(shù)據(jù)源指標(biāo)管理指標(biāo)應(yīng)用指標(biāo)查詢服務(wù)服務(wù)&引擎指標(biāo)調(diào)度引擎調(diào)度配置任務(wù)配置服務(wù)監(jiān)控指標(biāo)流程服務(wù)條件查詢詳情查看風(fēng)險集市財務(wù)集市客戶集市…指標(biāo)流程引擎流程編輯器流程參數(shù)配置流程規(guī)則配置流程事件配置SQL處理引擎語法驗證語句轉(zhuǎn)換語句解析基礎(chǔ)指標(biāo)管理基礎(chǔ)指標(biāo)類別維護(hù)衍生指標(biāo)管理衍生指標(biāo)類別維護(hù)衍生指標(biāo)維護(hù)四則復(fù)雜SQL限制流程審批查詢編輯數(shù)據(jù)顯示指標(biāo)查詢 數(shù)據(jù)查詢 我的查詢條件查詢詳情查看基礎(chǔ)指標(biāo)維護(hù)算法定義 計算任務(wù)離線計算在線計算……數(shù)據(jù)倉庫數(shù)據(jù)分析能力：指標(biāo)體系-與系統(tǒng)應(yīng)用的關(guān)系指標(biāo)展現(xiàn)及應(yīng)用4指標(biāo)定義、梳理與管理指標(biāo)加工與存儲統(tǒng)一規(guī)范的指標(biāo)體系12管理駕駛艙重視用戶體驗的應(yīng)用設(shè)計與開發(fā)個性化設(shè)置圖形化瀏覽交互式的展示B3指標(biāo)體系與指標(biāo)庫建立全行統(tǒng)一的指標(biāo)體系與指標(biāo)庫形成業(yè)務(wù)與技術(shù)溝通的基礎(chǔ)與標(biāo)準(zhǔn)A規(guī)范指標(biāo)定義，輔助指標(biāo)相關(guān)標(biāo)準(zhǔn)落地83標(biāo)準(zhǔn)&規(guī)范平臺&工具知識&資產(chǎn)規(guī)則定義分級規(guī)范分類規(guī)范編號規(guī)范命名規(guī)范口徑定義…固化落地積累沉淀規(guī)范檢查定義引用統(tǒng)一指標(biāo)庫統(tǒng)一維度庫支持指標(biāo)的快速指標(biāo)查詢、檢索84指標(biāo)編號指標(biāo)名稱指標(biāo)類型業(yè)務(wù)規(guī)則加工規(guī)則類型生效日期失效日期0007凈收入派生凈利息收入+凈非利息收入四則運算2010-01-012999-12-310008凈利息收入派生利息收入-資金成本+資金價值-利息支出四則運算2010-01-012999-12-310010對公貸款利息收入派生管會產(chǎn)品體系二級“單位貸款”、剔除三級“票據(jù)貼現(xiàn)”的利息收入限制2010-01-012999-12-310011個人貸款利息收入派生管會產(chǎn)品體系二級“個人貸款”的利息收入限制2010-01-012999-12-310012小微貸款利息收入派生管會產(chǎn)品體系二級“小微貸款”、剔除三級“小微法人票據(jù)貼現(xiàn)”利息收入限制2010-01-012999-12-31票據(jù)利息收入派生管會產(chǎn)品體系三級“票據(jù)貼現(xiàn)”、“小微法人票據(jù)貼現(xiàn)”、“票據(jù)轉(zhuǎn)貼現(xiàn)”利息收入限制2010-01-012999-12-310013“收入”關(guān)鍵字模糊查詢“類型=派生”&“指標(biāo)狀態(tài)=生效”組合條件查詢清晰的展示指標(biāo)加工脈絡(luò)與依賴影響分析85衍生指標(biāo)C衍生指標(biāo)A衍生指標(biāo)B＋基礎(chǔ)指標(biāo)1基礎(chǔ)指標(biāo)2基礎(chǔ)指標(biāo)3基礎(chǔ)指標(biāo)4基礎(chǔ)指標(biāo)N……=衍生指標(biāo)D-衍生指標(biāo)E=加工脈絡(luò)查看基礎(chǔ)指標(biāo)1衍生指標(biāo)A衍生指標(biāo)C衍生指標(biāo)E衍生指標(biāo)F衍生指標(biāo)G衍生指標(biāo)H衍生指標(biāo)I依賴影響分析產(chǎn)品特性介紹（預(yù)置指標(biāo)集）86+規(guī)模資產(chǎn)規(guī)模市值結(jié)構(gòu)資產(chǎn)機(jī)構(gòu)貸款結(jié)構(gòu)負(fù)債結(jié)構(gòu)收入結(jié)構(gòu)客戶機(jī)構(gòu)效益成本收入比人均靜利潤市場市盈率市凈率安全性不良貸款率不良貸款撥備覆蓋率撥貸比資本充足率流動性存貸比流動性覆蓋率凈穩(wěn)定資金比例流動性比例盈利性撥備前利潤平均總資產(chǎn)回報率平均凈資產(chǎn)回報率每股收益凈息差特性1預(yù)置7大類銀行管理基本指標(biāo)集產(chǎn)品特性介紹（支持拖拽方式編輯條件，自動生成SQL語句）?Pactera.Confidential.AllRightsReserved.87后臺自動生成SQL代碼：Select[OCRM系統(tǒng)客戶]*+[網(wǎng)銀對私業(yè)務(wù)的客戶數(shù)]*from……特性4支持拖拽方式編輯算法定義數(shù)據(jù)查詢條件全部指標(biāo)類別數(shù)據(jù)過濾條件五、數(shù)據(jù)服務(wù)共享能力篇數(shù)據(jù)服務(wù)共享能力：應(yīng)用架構(gòu)應(yīng)用體系由應(yīng)用架構(gòu)、系統(tǒng)管理、信息分發(fā)三部分構(gòu)成：應(yīng)用架構(gòu)：由應(yīng)用主題和應(yīng)用模式兩維度構(gòu)成。應(yīng)用主題主要分為客戶管理、財務(wù)管理、風(fēng)險管理、運營管理、監(jiān)管合規(guī)五大業(yè)務(wù)主題。應(yīng)用模式用于支持業(yè)務(wù)邏輯的實現(xiàn)，分為固定報表、即席查詢、挖掘分析、接口服務(wù)等系統(tǒng)管理：現(xiàn)對應(yīng)用邏輯的管理與控制。包括安全管理、用戶管理、權(quán)限管理等內(nèi)容信息分發(fā)：提供應(yīng)用的信息分發(fā)途徑。支持多樣的信息分發(fā)手段如WEB界面、GUI軟件界面、EMAIL、數(shù)據(jù)分發(fā)、遠(yuǎn)程調(diào)用接口等系統(tǒng)管理管理客戶財務(wù)管理風(fēng)險管理運營管理監(jiān)管合規(guī)信息發(fā)布數(shù)據(jù)應(yīng)用主題分類客戶管理類客戶獲取交叉銷售目標(biāo)市場營銷客戶貢獻(xiàn)度事件和營銷活動管理客戶挽留監(jiān)管合規(guī)類1104監(jiān)管報表人行征信人行反洗錢人行集中金融統(tǒng)計財務(wù)管理類財務(wù)報告與分析改進(jìn)財務(wù)管理流程優(yōu)化企業(yè)績效管理實施運營分析和報表體系改進(jìn)管理會計風(fēng)險準(zhǔn)備金計提風(fēng)險管理類績效衡量和資本分配信用風(fēng)險、市場風(fēng)險、操作風(fēng)險額度動態(tài)監(jiān)控和擔(dān)保品管理防欺詐運營管理類管理運營艙銷售績效和報告績效管理支付渠道分析分銷渠道優(yōu)化渠道遷移產(chǎn)品開發(fā)和包裝資產(chǎn)負(fù)債管理數(shù)據(jù)服務(wù)共享能力：技術(shù)架構(gòu)匯總數(shù)據(jù)指標(biāo)數(shù)據(jù)數(shù)據(jù)平臺（MPP/HADOOP）報表數(shù)據(jù) 明細(xì)數(shù)據(jù)統(tǒng)一數(shù)據(jù)分析服務(wù)平臺知識庫平臺管理工具接口定義訪問用戶管理接口權(quán)限管理用戶、角色權(quán)限管理指標(biāo)管理需求服務(wù)管理應(yīng)用平臺框架對外接口可擴(kuò)展管理駕駛艙/數(shù)據(jù)可視化WEB服務(wù)器（WebSphere/WebLogic等）ECHARTSSpringWEBSERVICESMybatis HibernateJDBC、JNDI數(shù)據(jù)訪問綜合門戶平臺（WEB）多維分析/報表查詢商業(yè)BI工作流引擎數(shù)據(jù)查詢服務(wù)報表開發(fā)服務(wù)數(shù)據(jù)下發(fā)服務(wù)指標(biāo)管理服務(wù)

外圍接口服務(wù) 門戶展現(xiàn)功能報表管理功能系統(tǒng)管理功能報表數(shù)據(jù)管理門戶信息展現(xiàn)報表應(yīng)用功能數(shù)據(jù)服務(wù)共享能力：應(yīng)用功能框架系統(tǒng)管理報表緩存管理指標(biāo)庫應(yīng)用報表查詢應(yīng)用（固定報表）首頁管理業(yè)務(wù)線首頁部門首頁領(lǐng)導(dǎo)首頁分行首頁個性化我的首頁我的收藏夾我的文件夾最近訪問的報表排行榜最近更新報表最多瀏覽報表最新發(fā)布報表推薦報表其他分析系統(tǒng)和環(huán)境管會分析展現(xiàn)市場風(fēng)險分析展現(xiàn)流動性風(fēng)險分析展現(xiàn)隨機(jī)查詢信息發(fā)布報表動態(tài)（公告）待辦任務(wù)（審核）常用鏈接報表信息瀏覽報表目錄導(dǎo)航搜索報表報表元數(shù)據(jù)瀏覽(報表口徑)監(jiān)管報送應(yīng)用查詢 審核報送查詢預(yù)警查詢下載定制報表應(yīng)用（復(fù)雜報表）查詢 打印下載管理駕駛艙應(yīng)用（儀表盤）業(yè)務(wù)概覽...移動BI應(yīng)用移動報表查看移動報表更新打印訂閱瀏覽發(fā)布移動BI管理移動報表設(shè)計移動報表生成移動BI目錄管理報表發(fā)布報表發(fā)布管理報表發(fā)布?xì)v史報表角色策略報表權(quán)限角色配置報表可見性功能權(quán)限角色配置（下載/打印）報表配置報表登記及索引管理報表統(tǒng)計管理訪問量統(tǒng)計訪問部門統(tǒng)計訪問人員統(tǒng)計指標(biāo)管理指標(biāo)定義審核管理基礎(chǔ)指標(biāo)定義衍生指標(biāo)定義數(shù)據(jù)補(bǔ)錄管理補(bǔ)錄數(shù)據(jù)導(dǎo)入 補(bǔ)錄數(shù)據(jù)查詢補(bǔ)錄數(shù)據(jù)審核緩存數(shù)據(jù)清理緩存數(shù)據(jù)生成緩存策略配置報表檢核報表數(shù)據(jù)檢核用戶管理角色管理機(jī)構(gòu)管理日志管理菜單權(quán)限參數(shù)管理公告管理報表目錄管理門戶組件管理Portlet注冊導(dǎo)航菜單管理內(nèi)容頁管理（添加Portlet/布局）接口管理短信發(fā)送接口元數(shù)據(jù)查詢接口