企業(yè)數(shù)字化底座與數(shù)字化轉(zhuǎn)型方案

整理制作：郎豐利1519制作時(shí)間：02議程企業(yè)數(shù)字化底座與數(shù)字化總體架構(gòu)33企業(yè)數(shù)字化底座與數(shù)字化規(guī)劃設(shè)計(jì)44企業(yè)數(shù)字化底座與數(shù)字化建設(shè)運(yùn)營(yíng)企業(yè)數(shù)字化底座與數(shù)字化未來(lái)展望集團(tuán)管理分析類應(yīng)用建設(shè)現(xiàn)狀基本分析l集團(tuán)已建立面向整個(gè)扶貧的數(shù)據(jù)倉(cāng)庫(kù)理數(shù)據(jù)，建立了面向扶貧的管理分析l集團(tuán)已開(kāi)展供應(yīng)鏈金融、人人貸和保理等多種業(yè)務(wù)，積累了一定量的業(yè)務(wù)數(shù)據(jù)，同時(shí)業(yè)務(wù)人員也從客戶管理、風(fēng)險(xiǎn)評(píng)級(jí)和經(jīng)營(yíng)規(guī)模預(yù)測(cè)等方面，提出了大量分析預(yù)測(cè)需求；l集團(tuán)數(shù)據(jù)倉(cāng)庫(kù)累積數(shù)據(jù)沒(méi)有充分利用l缺乏面向整個(gè)集團(tuán)的統(tǒng)一、完整的數(shù)l缺乏支撐集團(tuán)日常業(yè)務(wù)運(yùn)轉(zhuǎn)的風(fēng)險(xiǎn)評(píng)l缺乏集團(tuán)客戶360度視圖，客戶行為分析和預(yù)測(cè)無(wú)法實(shí)現(xiàn)；l缺乏面向金融業(yè)務(wù)運(yùn)營(yíng)管理的關(guān)鍵績(jī)效指標(biāo)體系；l數(shù)據(jù)平臺(tái)整體架構(gòu)；l數(shù)據(jù)平臺(tái)各層建設(shè)的標(biāo)準(zhǔn)；l較成熟的金融業(yè)數(shù)據(jù)模型；l數(shù)據(jù)質(zhì)量治理；l數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)l數(shù)據(jù)應(yīng)用建設(shè)；l數(shù)據(jù)平臺(tái)的軟硬環(huán)境企業(yè)數(shù)字化底座與數(shù)字化建設(shè)目標(biāo)通過(guò)數(shù)據(jù)平臺(tái)和BI應(yīng)用建設(shè)，集團(tuán)將搭建統(tǒng)一的大數(shù)據(jù)共享和分析平臺(tái)，對(duì)各類業(yè)務(wù)進(jìn)行前瞻性預(yù)測(cè)及分析，為集團(tuán)各層次用戶提供統(tǒng)一的決策分析支持，提升數(shù)據(jù)共享與流轉(zhuǎn)能力行＋列的簡(jiǎn)單定義方式多種格式報(bào)表BI分析工具統(tǒng)一制定目標(biāo)和分行＋列的簡(jiǎn)單定義方式多種格式報(bào)表BI分析工具關(guān)注集團(tuán)主要經(jīng)營(yíng)指標(biāo)統(tǒng)一定義BI應(yīng)用集團(tuán)決策層關(guān)注集團(tuán)主要經(jīng)營(yíng)指標(biāo)統(tǒng)一定義BI應(yīng)用集團(tuán)決策層查看職能部門(mén)的查看職能部門(mén)的業(yè)務(wù)經(jīng)營(yíng)情況業(yè)務(wù)經(jīng)營(yíng)情況業(yè)務(wù)人員使用BI業(yè)務(wù)人員使用BI應(yīng)用實(shí)現(xiàn)業(yè)務(wù)協(xié)作和創(chuàng)新集團(tuán)職能管控層外部非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一規(guī)劃分析方法統(tǒng)一劃分分析主題統(tǒng)一設(shè)計(jì)數(shù)據(jù)模式集團(tuán)職能管控層外部非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一規(guī)劃分析方法統(tǒng)一劃分分析主題統(tǒng)一設(shè)計(jì)數(shù)據(jù)模式統(tǒng)一部署技術(shù)基礎(chǔ)供應(yīng)鏈金融系統(tǒng)供應(yīng)鏈金融系統(tǒng)POP系統(tǒng)采購(gòu)管理系統(tǒng)其他業(yè)務(wù)系統(tǒng)各級(jí)業(yè)務(wù)操作層POP系統(tǒng)采購(gòu)管理系統(tǒng)其他業(yè)務(wù)系統(tǒng)企業(yè)數(shù)字化底座與數(shù)字化建設(shè)預(yù)期收益通過(guò)數(shù)據(jù)平臺(tái)實(shí)現(xiàn)數(shù)據(jù)集中，確保集團(tuán)各級(jí)部門(mén)均可在保證數(shù)據(jù)隱私和安全的前提下使用數(shù)據(jù)，充分發(fā)揮數(shù)據(jù)作為集團(tuán)重要資產(chǎn)的業(yè)務(wù)價(jià)值實(shí)現(xiàn)分散在供應(yīng)鏈金融、人人貸、保理等各個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)在數(shù)據(jù)平臺(tái)中的集中和整合，建立單一的產(chǎn)品、客戶等數(shù)據(jù)的集團(tuán)級(jí)視圖，有效促進(jìn)業(yè)務(wù)的集成和協(xié)作，并為集團(tuán)級(jí)分析、交叉銷售提供基礎(chǔ)集團(tuán)業(yè)務(wù)人員可以基于明細(xì)、可信的數(shù)據(jù)，進(jìn)行多維分析和數(shù)據(jù)挖掘，為金融業(yè)務(wù)創(chuàng)新（客戶服務(wù)創(chuàng)新、產(chǎn)品創(chuàng)新等）創(chuàng)造了有利條件通過(guò)數(shù)據(jù)平臺(tái)對(duì)數(shù)據(jù)進(jìn)行集中，為管理分析、挖掘預(yù)測(cè)類等系統(tǒng)提供一致的數(shù)據(jù)基礎(chǔ)，改變現(xiàn)有系統(tǒng)數(shù)據(jù)來(lái)源多、數(shù)據(jù)處理復(fù)雜的現(xiàn)狀，實(shí)現(xiàn)應(yīng)用系統(tǒng)建設(shè)模式的轉(zhuǎn)變，提升相關(guān)IT系統(tǒng)的建設(shè)和運(yùn)行效率從中長(zhǎng)期看，數(shù)據(jù)倉(cāng)庫(kù)對(duì)集團(tuán)分散在各個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)整合、清洗，有助于集議程企業(yè)數(shù)字化底座與數(shù)字化綜述33企業(yè)數(shù)字化底座與數(shù)字化規(guī)劃設(shè)計(jì)44企業(yè)數(shù)字化底座與數(shù)字化建設(shè)運(yùn)營(yíng)企業(yè)數(shù)字化底座與數(shù)字化未來(lái)展望企業(yè)數(shù)字化底座與數(shù)字化總體架構(gòu)數(shù)據(jù)管控層數(shù)據(jù)安全數(shù)據(jù)質(zhì)量元數(shù)據(jù)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)管控平臺(tái)數(shù)據(jù)安全數(shù)據(jù)質(zhì)量元數(shù)據(jù)數(shù)據(jù)標(biāo)準(zhǔn)流程調(diào)度平臺(tái)流程調(diào)度監(jiān)控告警流程調(diào)度層內(nèi)部管理分析數(shù)據(jù)增值產(chǎn)品實(shí)時(shí)數(shù)據(jù)查詢業(yè)務(wù)沙盤(pán)演練大數(shù)據(jù)交換組件數(shù)據(jù)庫(kù)數(shù)據(jù)交換組件數(shù)據(jù)區(qū)數(shù)據(jù)交換組件數(shù)據(jù)交換平臺(tái)集團(tuán)內(nèi)外部半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)人人貸系統(tǒng)基金系統(tǒng)……系統(tǒng)集團(tuán)扶貧供應(yīng)鏈金融流程調(diào)度平臺(tái)流程調(diào)度監(jiān)控告警流程調(diào)度層內(nèi)部管理分析數(shù)據(jù)增值產(chǎn)品實(shí)時(shí)數(shù)據(jù)查詢業(yè)務(wù)沙盤(pán)演練大數(shù)據(jù)交換組件數(shù)據(jù)庫(kù)數(shù)據(jù)交換組件數(shù)據(jù)區(qū)數(shù)據(jù)交換組件數(shù)據(jù)交換平臺(tái)集團(tuán)內(nèi)外部半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)人人貸系統(tǒng)基金系統(tǒng)……系統(tǒng)集團(tuán)扶貧供應(yīng)鏈金融外部用戶歷史數(shù)歷史數(shù)據(jù)查詢實(shí)時(shí)數(shù)據(jù)區(qū)實(shí)時(shí)數(shù)據(jù)區(qū)歷史歸檔數(shù)據(jù)區(qū)社交媒體用戶評(píng)價(jià)移動(dòng)互聯(lián)訪問(wèn)日志客戶匯總客戶主題賬戶匯總協(xié)議主題機(jī)構(gòu)匯總產(chǎn)品主題扶貧數(shù)據(jù)供應(yīng)鏈數(shù)據(jù)……增值產(chǎn)品數(shù)據(jù)區(qū)財(cái)務(wù)管理風(fēng)險(xiǎn)管理沙盤(pán)演練數(shù)據(jù)區(qū)應(yīng)用集市數(shù)據(jù)區(qū)處理后大數(shù)據(jù)待處理大數(shù)據(jù)主題數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū)客戶管理……企業(yè)數(shù)字化底座與數(shù)字化總體架構(gòu)——數(shù)據(jù)產(chǎn)生層l內(nèi)部業(yè)務(wù)系統(tǒng)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)集團(tuán)日常扶貧處理過(guò)程中產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)中，如：供應(yīng)商信息、采購(gòu)信息、商品信息、銷售流水……集團(tuán)日常業(yè)務(wù)處理過(guò)程中產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)中，如：客戶信息、賬戶信息、金融產(chǎn)品信息、交易流水……日常業(yè)務(wù)處理過(guò)程中產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)，存儲(chǔ)形式多樣，主要包括用戶訪問(wèn)日志、用戶投訴、用戶點(diǎn)評(píng)……集團(tuán)外部數(shù)據(jù)以非結(jié)構(gòu)化為主，主要包括國(guó)家政策法規(guī)、論壇等互聯(lián)網(wǎng)信息、地理位置等移動(dòng)信息、微博等社交媒體信息……l在本次項(xiàng)目實(shí)施中將采用以增量為主、全量為輔結(jié)合的方式獲取源數(shù)據(jù)l集團(tuán)和集團(tuán)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)增量數(shù)據(jù)識(shí)別、獲取由云數(shù)據(jù)推送平臺(tái)負(fù)責(zé)，云數(shù)據(jù)推送平臺(tái)采用分析、對(duì)比源系統(tǒng)日志方式實(shí)現(xiàn)對(duì)于無(wú)法通過(guò)上述方式獲取增量的源系統(tǒng)數(shù)據(jù)，則采用某一個(gè)時(shí)間范圍內(nèi)的全部數(shù)據(jù)作為增量初始數(shù)據(jù)加載均采用全量模式企業(yè)數(shù)字化底座與數(shù)字化總體架構(gòu)——數(shù)據(jù)交換層傳輸組件是根據(jù)數(shù)據(jù)源存儲(chǔ)的不同分類而設(shè)計(jì)的，本質(zhì)是通過(guò)分析數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)和數(shù)據(jù)存儲(chǔ)庫(kù)的特點(diǎn)來(lái)針對(duì)性的設(shè)計(jì)工具，以追求卓越的性能件據(jù)據(jù)企業(yè)數(shù)字化底座與數(shù)字化總體架構(gòu)——數(shù)據(jù)交換層NAS存儲(chǔ)存儲(chǔ)數(shù)據(jù)平臺(tái)各個(gè)Hadoop集群的元數(shù)據(jù)信息，如：HDFS文件系統(tǒng)集團(tuán)數(shù)據(jù)交換平臺(tái)每日獲取運(yùn)輸局推送平臺(tái)提供的業(yè)務(wù)系統(tǒng)變化數(shù)據(jù)，暫存在NAS臨時(shí)數(shù)據(jù)區(qū)金融數(shù)據(jù)平臺(tái)加工計(jì)算結(jié)果返回給業(yè)務(wù)系統(tǒng)，暫存在NAS臨時(shí)數(shù)數(shù)據(jù)平臺(tái)ETL加工處理程序（數(shù)據(jù)壓縮、數(shù)據(jù)加載、各數(shù)據(jù)數(shù)據(jù)處理等）統(tǒng)一存儲(chǔ)在NAS集群指定目錄，各接口服務(wù)器通過(guò)文件企業(yè)數(shù)字化底座與數(shù)字化總體架構(gòu)——數(shù)據(jù)交換層大數(shù)據(jù)交換組件、半結(jié)構(gòu)化數(shù)據(jù)，如：音頻、視頻、郵件、Office文檔、抵押品掃描件等、半結(jié)構(gòu)化數(shù)據(jù)，如：微博、貼吧、論壇、用戶點(diǎn)擊流、用戶移動(dòng)位置等兩種模式實(shí)現(xiàn)下列數(shù)據(jù)傳輸?shù)綌?shù)據(jù)交換NAS指定目錄存儲(chǔ)數(shù)據(jù)到數(shù)據(jù)平臺(tái)大數(shù)據(jù)區(qū)指定HDFS目源以SFTP協(xié)議批量傳輸數(shù)據(jù)文件Java或C應(yīng)用，調(diào)用大據(jù)源API，或以網(wǎng)絡(luò)平臺(tái)爬蟲(chóng)方式抓取源系統(tǒng)非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)日志，加載到數(shù)據(jù)平臺(tái)大數(shù)據(jù)區(qū)HDFS指定目錄，MR程序加工處理抓取用戶微博內(nèi)容入大數(shù)據(jù)區(qū)企業(yè)數(shù)字化底座與數(shù)字化總體架構(gòu)——數(shù)據(jù)交換層數(shù)據(jù)庫(kù)數(shù)據(jù)交換組件生的結(jié)構(gòu)化數(shù)據(jù)，包括兩大來(lái)源：集團(tuán)扶貧數(shù)據(jù)，數(shù)據(jù)存MongoDB四類數(shù)據(jù)庫(kù)集團(tuán)互聯(lián)網(wǎng)金融業(yè)務(wù)數(shù)據(jù)，數(shù)據(jù)存儲(chǔ)在MySQL式實(shí)現(xiàn)下列功能：數(shù)據(jù)采集，輪詢NAS集群指定目錄，獲取數(shù)據(jù)數(shù)據(jù)核查，對(duì)數(shù)據(jù)文件進(jìn)行質(zhì)量校驗(yàn)數(shù)據(jù)加載，加載數(shù)據(jù)到數(shù)據(jù)采集，調(diào)用Perl文件模塊相關(guān)函數(shù)，輪詢指定目錄，獲取數(shù)據(jù)文件數(shù)據(jù)核查，Perl執(zhí)行文件級(jí)數(shù)據(jù)質(zhì)量檢查數(shù)據(jù)加載，調(diào)用HiveLoad數(shù)據(jù)命令，加載到數(shù)據(jù)平臺(tái)臨時(shí)數(shù)據(jù)區(qū)的HiveTable供應(yīng)鏈金融系統(tǒng)數(shù)據(jù)庫(kù)，分析供應(yīng)鏈金融MySQL數(shù)據(jù)庫(kù)日志，識(shí)別增量數(shù)據(jù)，存儲(chǔ)到金融平臺(tái)NAS存儲(chǔ)的指定目錄，金融平臺(tái)加載數(shù)據(jù)文件到數(shù)據(jù)平臺(tái)臨時(shí)區(qū)Hive表企業(yè)數(shù)字化底座與數(shù)字化總體架構(gòu)——數(shù)據(jù)交換層數(shù)據(jù)區(qū)數(shù)據(jù)交換組件集市數(shù)據(jù)區(qū)現(xiàn)下列數(shù)據(jù)交換功貼源數(shù)據(jù)區(qū)和主題數(shù)據(jù)區(qū)到集市數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū)到主題數(shù)據(jù)主題數(shù)據(jù)區(qū)、貼源數(shù)據(jù)區(qū)、集市數(shù)據(jù)區(qū)到沙盤(pán)數(shù)據(jù)區(qū)各個(gè)數(shù)據(jù)區(qū)數(shù)據(jù)歸檔區(qū)與數(shù)據(jù)平臺(tái)其他Hadoop數(shù)據(jù)區(qū)的數(shù)據(jù)交換lHadoop命令、Hive外部表、MR程序?qū)崿F(xiàn)數(shù)據(jù)平臺(tái)Hadoop數(shù)據(jù)區(qū)間的數(shù)據(jù)交照據(jù)生命周期規(guī)劃歸檔到歷史數(shù)據(jù)歸企業(yè)數(shù)字化底座與數(shù)字化總體架構(gòu)——流程調(diào)度層批量處理流程企業(yè)數(shù)字化底座與數(shù)字化總體架構(gòu)——流程調(diào)度層實(shí)時(shí)數(shù)據(jù)處理流程術(shù)構(gòu)建“數(shù)據(jù)流”企業(yè)數(shù)字化底座與數(shù)字化總體架構(gòu)——流程調(diào)度層歸檔數(shù)據(jù)處理流程企業(yè)數(shù)字化底座與數(shù)字化總體架構(gòu)——數(shù)據(jù)存儲(chǔ)層數(shù)據(jù)內(nèi)容數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型數(shù)據(jù)模型保留周期訪問(wèn)模式訪問(wèn)模式工作負(fù)載工作負(fù)載平臺(tái)要求平臺(tái)要求臨時(shí)數(shù)據(jù)區(qū)臨時(shí)數(shù)據(jù)區(qū)ll緩存數(shù)據(jù)，支持后續(xù)ELT數(shù)據(jù)處理l貼源數(shù)據(jù)區(qū)和主題數(shù)據(jù)區(qū)批量作業(yè)訪問(wèn)l少量量數(shù)據(jù)使用Hive的Load命令，大量數(shù)據(jù)使用MR程序l與主題區(qū)/貼源區(qū)/集市區(qū)構(gòu)成一個(gè)Hadoop集群（Hive）l無(wú)單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)貼源數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)l業(yè)務(wù)系統(tǒng)前日快照數(shù)據(jù)和一段時(shí)間的流水?dāng)?shù)據(jù)l業(yè)務(wù)系統(tǒng)前日快照數(shù)據(jù)和一段時(shí)間的流水?dāng)?shù)據(jù)l數(shù)據(jù)標(biāo)準(zhǔn)化，為后續(xù)主題模型、集市和沙盤(pán)演練提供數(shù)據(jù)l主題數(shù)據(jù)區(qū)、集市數(shù)據(jù)區(qū)和沙盤(pán)演練數(shù)據(jù)區(qū)批量作業(yè)訪問(wèn)l與主題區(qū)/貼源區(qū)/集市區(qū)構(gòu)成一個(gè)Hadoop集群（Hive）l無(wú)單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)企業(yè)數(shù)字化底座與數(shù)字化總體架構(gòu)——數(shù)據(jù)存儲(chǔ)層（續(xù)）數(shù)據(jù)內(nèi)容數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型數(shù)據(jù)模型保留周期訪問(wèn)模式訪問(wèn)模式工作負(fù)載工作負(fù)載平臺(tái)要求平臺(tái)要求大數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū)l集團(tuán)內(nèi)外部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)ll集團(tuán)內(nèi)外部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)l采集并存儲(chǔ)數(shù)據(jù)，進(jìn)行結(jié)構(gòu)化處理，最終得到結(jié)構(gòu)化數(shù)據(jù)l集市區(qū)/沙盤(pán)區(qū)/增值產(chǎn)品區(qū)/主題區(qū)/歸檔區(qū)批量作業(yè)訪問(wèn)l少量高級(jí)業(yè)務(wù)人員進(jìn)行大數(shù)據(jù)分析lMapReduce分布式計(jì)算，半/非結(jié)構(gòu)化數(shù)據(jù)的結(jié)構(gòu)化處理(包括文本檢索、語(yǔ)義分詞、圖像識(shí)別、音頻識(shí)別等）l與主題區(qū)/貼源區(qū)構(gòu)成一個(gè)Hadoop集群（HDFS）l無(wú)單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)歷史歸檔數(shù)據(jù)區(qū)歷史歸檔數(shù)據(jù)區(qū)l按數(shù)據(jù)生命周期規(guī)劃歸檔平臺(tái)過(guò)期數(shù)據(jù)，支撐歷史數(shù)據(jù)查詢l數(shù)據(jù)文件按照數(shù)據(jù)區(qū)劃分目錄，建議保留7年l集市區(qū)/沙盤(pán)區(qū)/增值產(chǎn)品區(qū)/主題區(qū)/高時(shí)效區(qū)批量作業(yè)訪問(wèn)l業(yè)務(wù)人員執(zhí)行歷史數(shù)據(jù)查詢Sqoop實(shí)現(xiàn)數(shù)據(jù)庫(kù)歸檔，通過(guò)Hive提供歷史查詢l無(wú)單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)企業(yè)數(shù)字化底座與數(shù)字化總體架構(gòu)——數(shù)據(jù)存儲(chǔ)層（續(xù)）數(shù)據(jù)內(nèi)容數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型數(shù)據(jù)模型保留周期訪問(wèn)模式訪問(wèn)模式工作負(fù)載工作負(fù)載可用性要求可用性要求主題數(shù)據(jù)區(qū)—明細(xì)主題數(shù)據(jù)區(qū)—明細(xì)l保留長(zhǎng)期歷史，需要根據(jù)主題細(xì)化l主題區(qū)/集市區(qū)/沙盤(pán)區(qū)/增值產(chǎn)品區(qū)/歸檔區(qū)批量作業(yè)訪問(wèn)l少量高級(jí)業(yè)務(wù)人員進(jìn)行靈活查詢、挖掘預(yù)測(cè)l與大數(shù)據(jù)區(qū)/貼源區(qū)構(gòu)成一個(gè)Hadoop集群（Hive）l無(wú)單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)主題數(shù)據(jù)區(qū)—匯總主題數(shù)據(jù)區(qū)—匯總l對(duì)主題數(shù)據(jù)預(yù)加工后的結(jié)果數(shù)據(jù)l對(duì)主題數(shù)據(jù)預(yù)加工后的結(jié)果數(shù)據(jù)l針對(duì)應(yīng)用需求進(jìn)行數(shù)據(jù)預(yù)連接、預(yù)匯總，為集市提供數(shù)據(jù)l集市區(qū)/沙盤(pán)區(qū)/增值產(chǎn)品區(qū)/歸檔區(qū)批量作業(yè)訪問(wèn)l少量高級(jí)業(yè)務(wù)人員進(jìn)行靈活查詢、挖掘預(yù)測(cè)l與大數(shù)據(jù)區(qū)/貼源區(qū)構(gòu)成一個(gè)Hadoop集群（Hive）l無(wú)單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)企業(yè)數(shù)字化底座與數(shù)字化總體架構(gòu)——數(shù)據(jù)存儲(chǔ)層（續(xù)）數(shù)據(jù)內(nèi)容數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型數(shù)據(jù)模型保留周期訪問(wèn)模式訪問(wèn)模式工作負(fù)載工作負(fù)載可用性要求可用性要求沙盤(pán)演練數(shù)據(jù)區(qū)沙盤(pán)演練數(shù)據(jù)區(qū)l按沙盤(pán)演練需求，準(zhǔn)備的明細(xì)或匯總業(yè)務(wù)數(shù)據(jù)l按沙盤(pán)演練需求，準(zhǔn)備的明細(xì)或匯總業(yè)務(wù)數(shù)據(jù)l為數(shù)據(jù)科學(xué)家的挖掘預(yù)測(cè)操作提供數(shù)據(jù)服務(wù)l模型依賴于沙盤(pán)演練需求l在整個(gè)沙盤(pán)演練周期內(nèi)保留l集市區(qū)/沙盤(pán)區(qū)/歸檔區(qū)批量作業(yè)訪問(wèn)l少量高級(jí)業(yè)務(wù)人員進(jìn)行靈活查詢、挖掘預(yù)測(cè)lI/O敏感，終批量ETL（合并、拉鏈、關(guān)聯(lián)、匯總等等）l無(wú)單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)應(yīng)用集市數(shù)據(jù)區(qū)應(yīng)用集市數(shù)據(jù)區(qū)l面向集團(tuán)內(nèi)部管理分析類應(yīng)用需求的匯總數(shù)據(jù)l面向集團(tuán)內(nèi)部管理分析類應(yīng)用需求的匯總數(shù)據(jù)l為客戶、運(yùn)營(yíng)等管理分析主題和數(shù)據(jù)增值產(chǎn)品提供數(shù)據(jù)服務(wù)l沙盤(pán)區(qū)/歸檔區(qū)批量作業(yè)訪問(wèn)l決策人員、管理人員、業(yè)務(wù)人員訪問(wèn)lI/O敏感型，BI工具提交的報(bào)表、查詢、分析SQL命令和日終批量ETL（匯總、聚集等操作，以ELT形式通過(guò)SQL執(zhí)行）l基于開(kāi)放平臺(tái)的完全無(wú)共享MPP數(shù)據(jù)庫(kù)集群+內(nèi)存數(shù)據(jù)庫(kù)l無(wú)單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)企業(yè)數(shù)字化底座與數(shù)字化總體架構(gòu)——數(shù)據(jù)存儲(chǔ)層（續(xù)）數(shù)據(jù)內(nèi)容數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型數(shù)據(jù)模型保留周期訪問(wèn)模式訪問(wèn)模式工作負(fù)載工作負(fù)載可用性要求可用性要求增值產(chǎn)品數(shù)據(jù)區(qū)增值產(chǎn)品數(shù)據(jù)區(qū)l根據(jù)外部用戶的數(shù)據(jù)使用需求數(shù)據(jù)平臺(tái)加工計(jì)算的結(jié)果數(shù)據(jù)ll根據(jù)外部用戶的數(shù)據(jù)使用需求數(shù)據(jù)平臺(tái)加工計(jì)算的結(jié)果數(shù)據(jù)l為部署在數(shù)據(jù)平臺(tái)上的集團(tuán)內(nèi)外部增值產(chǎn)品提供數(shù)據(jù)支持l應(yīng)用模型，依賴于用戶業(yè)務(wù)需求l集團(tuán)外部人員，如：客戶l通過(guò)自己部署在Paas平臺(tái)上的應(yīng)用訪問(wèn)lI/O敏感型，BI工具提交的報(bào)表、查詢、分析SQL命令和日終批量ETL（匯總、聚集等操作，以ELT形式通過(guò)SQL執(zhí)行）l獨(dú)立的Paas平臺(tái)，部署Hadoop集群l無(wú)單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)實(shí)時(shí)數(shù)據(jù)區(qū)實(shí)時(shí)數(shù)據(jù)區(qū)l面向應(yīng)用的業(yè)務(wù)系統(tǒng)快照數(shù)據(jù)和一段時(shí)間的交易流水l面向應(yīng)用的業(yè)務(wù)系統(tǒng)快照數(shù)據(jù)和一段時(shí)間的交易流水l為實(shí)時(shí)獲準(zhǔn)實(shí)時(shí)分析應(yīng)用提供數(shù)據(jù)服務(wù)l高時(shí)效、高并發(fā)、高可靠性的聯(lián)機(jī)交易類查詢lCPU敏感，BI工具或業(yè)務(wù)系統(tǒng)高并發(fā)、高時(shí)效查詢，以及準(zhǔn)實(shí)時(shí)連續(xù)ETL處理+SQL批量處理l無(wú)單點(diǎn)故障，365×24小時(shí)不停機(jī)企業(yè)數(shù)字化底座與數(shù)字化總體架構(gòu)——數(shù)據(jù)存儲(chǔ)層數(shù)據(jù)流臨時(shí)數(shù)據(jù)區(qū)非結(jié)構(gòu)化&半結(jié)構(gòu)化數(shù)據(jù)主題明細(xì)數(shù)據(jù)公共匯總數(shù)據(jù)臨時(shí)數(shù)據(jù)區(qū)非結(jié)構(gòu)化&半結(jié)構(gòu)化數(shù)據(jù)主題明細(xì)數(shù)據(jù)公共匯總數(shù)據(jù)實(shí)驗(yàn)室數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)企業(yè)數(shù)字化底座與數(shù)字化總體架構(gòu)——數(shù)據(jù)應(yīng)用層l實(shí)時(shí)分析類應(yīng)用通常使用CEP、ESB等技術(shù)實(shí)現(xiàn)l客戶經(jīng)理等最終業(yè)務(wù)人員針對(duì)當(dāng)前業(yè)務(wù)的發(fā)生（如：用戶交易、用戶訪問(wèn)日志），l實(shí)時(shí)分析類應(yīng)用通常使用CEP、ESB等技術(shù)實(shí)現(xiàn)ll管理分析類應(yīng)用主要實(shí)現(xiàn)了集團(tuán)客戶管理、運(yùn)營(yíng)管理、財(cái)務(wù)管理、風(fēng)險(xiǎn)管理、監(jiān)管信息披露五大分析體系功能l管理分析類應(yīng)用通常采用套裝軟件和BI工具（MicroStrategy等l針對(duì)公檢法查詢需求、內(nèi)外部審計(jì)需求和最終用戶的歷史交易查詢需求，以貼源存儲(chǔ)的歸檔數(shù)據(jù)為基礎(chǔ)，實(shí)現(xiàn)的查詢類應(yīng)用l歷史查詢類應(yīng)用通常使用BI工具或自主開(kāi)發(fā)實(shí)現(xiàn)l業(yè)務(wù)人員根據(jù)業(yè)務(wù)需求或自己對(duì)業(yè)務(wù)的理解，設(shè)計(jì)計(jì)算模型，準(zhǔn)備各類明細(xì)或匯總數(shù)據(jù)，導(dǎo)入模型運(yùn)算，驗(yàn)證業(yè)務(wù)結(jié)果l沙盤(pán)演練類應(yīng)用通常使用R語(yǔ)言在Hadoop分布式體系下實(shí)現(xiàn)l集團(tuán)數(shù)據(jù)科學(xué)家根據(jù)自己對(duì)業(yè)務(wù)需求的理解或者對(duì)市場(chǎng)的判斷，設(shè)計(jì)并運(yùn)行模型，發(fā)掘數(shù)據(jù)價(jià)值l數(shù)據(jù)增值產(chǎn)品通常采用R語(yǔ)言和BI工具實(shí)現(xiàn)，面向集團(tuán)內(nèi)外部用戶企業(yè)數(shù)字化底座與數(shù)字化總體架構(gòu)——平臺(tái)發(fā)展不同階段對(duì)應(yīng)應(yīng)用動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)階段讓正確的事情發(fā)生！數(shù)據(jù)量增長(zhǎng)用戶數(shù)增長(zhǎng)操作為主階段查詢復(fù)雜度增長(zhǎng)操作為主階段ETL處理復(fù)雜度增長(zhǎng)什么正在發(fā)生？ETL處理復(fù)雜度增長(zhǎng)預(yù)測(cè)為主階段工作負(fù)載復(fù)雜度將會(huì)發(fā)生什么？工作負(fù)載復(fù)雜度分析為主階段為什么會(huì)發(fā)生報(bào)表為主階段發(fā)生了什么大數(shù)據(jù)平臺(tái)發(fā)展階段劃分?jǐn)?shù)據(jù)分析持續(xù)更新加載/短查詢基于事件的動(dòng)態(tài)觸發(fā)大數(shù)據(jù)平臺(tái)發(fā)展階段劃分企業(yè)數(shù)字化底座與數(shù)字化總體架構(gòu)——管理分析類應(yīng)用求公司客戶信息管理個(gè)人客戶信息管理同業(yè)客戶信息管理重點(diǎn)客戶關(guān)懷客戶風(fēng)險(xiǎn)客戶異動(dòng)客戶個(gè)人客戶細(xì)分公司客戶細(xì)分客戶輪廓分析產(chǎn)品交叉銷售分析百分比分析渠道偏好分析營(yíng)銷活動(dòng)規(guī)劃營(yíng)銷活動(dòng)定義營(yíng)銷活動(dòng)執(zhí)行營(yíng)銷活動(dòng)蘋(píng)果渠道接口與集成流程自動(dòng)化流動(dòng)性報(bào)表利率敏感性報(bào)表資本充足率報(bào)表……市場(chǎng)風(fēng)險(xiǎn)暴露值流動(dòng)性管理、利率管理信用風(fēng)險(xiǎn)暴露值計(jì)算信用風(fēng)險(xiǎn)控制（貸前控制、貸中監(jiān)控、貸后分析）異常交易預(yù)警后督差錯(cuò)檢查……定義欺詐交易模型可能性欺詐交易預(yù)警欺詐交易分布分析客戶經(jīng)理工作量評(píng)估客戶經(jīng)理服務(wù)客戶收益評(píng)估供應(yīng)鏈金融業(yè)務(wù)人人貸業(yè)務(wù)保理業(yè)務(wù)基金業(yè)務(wù)其它中間業(yè)務(wù)……資產(chǎn)負(fù)債表分析損益表分析現(xiàn)金流量表分析財(cái)務(wù)指標(biāo)分析機(jī)構(gòu)貢獻(xiàn)度產(chǎn)品貢獻(xiàn)度客戶細(xì)分貢獻(xiàn)度渠道績(jī)效主要指標(biāo)報(bào)告，如：凈利息收入、凈收入、凈現(xiàn)值、市場(chǎng)價(jià)值等頭寸報(bào)告現(xiàn)金流報(bào)告風(fēng)險(xiǎn)價(jià)值（VaR）計(jì)算財(cái)務(wù)預(yù)算財(cái)務(wù)計(jì)劃執(zhí)行監(jiān)控執(zhí)行過(guò)程分析年末財(cái)務(wù)計(jì)劃執(zhí)行分析業(yè)務(wù)規(guī)模預(yù)測(cè)收益預(yù)測(cè)企業(yè)數(shù)字化底座與數(shù)字化總體架構(gòu)——數(shù)據(jù)訪問(wèn)層多種展現(xiàn)形式滿足各層級(jí)用戶及應(yīng)用系統(tǒng)使用需求即席查詢即席查詢靜態(tài)報(bào)表多維分析儀表盤(pán)問(wèn)題發(fā)現(xiàn)Office集成Web服務(wù)挖掘預(yù)測(cè)l儀表盤(pán)：通過(guò)儀表盤(pán)及其它展現(xiàn)方式對(duì)集團(tuán)關(guān)鍵績(jī)效指標(biāo)進(jìn)行展示，為領(lǐng)導(dǎo)層決策提供直觀的數(shù)據(jù)支持l靜態(tài)報(bào)表：按照預(yù)先定義格式，批處理報(bào)表，在線查詢報(bào)表等業(yè)務(wù)系統(tǒng)lOffice集成：將分析應(yīng)用嵌入到Office界面中，利用Office的方便、易用特性，降低用戶使用難度業(yè)務(wù)系統(tǒng)l即席查詢：通過(guò)即席查詢工具或手工書(shū)寫(xiě)SQL語(yǔ)句，完成業(yè)務(wù)信息的即席查看l多維分析：從多個(gè)維度靈活組合對(duì)目標(biāo)值進(jìn)行分析，常見(jiàn)功能包括上下鉆取、透明鉆取、旋轉(zhuǎn)、分頁(yè)、層鉆、跨維鉆取等業(yè)務(wù)人員業(yè)務(wù)人員l主動(dòng)問(wèn)題發(fā)現(xiàn)：通過(guò)事件觸發(fā)、規(guī)則匹配等方式發(fā)現(xiàn)集團(tuán)運(yùn)營(yíng)中的問(wèn)題，通過(guò)手機(jī)、郵件等方式報(bào)警l挖掘預(yù)測(cè)：使用專業(yè)的軟件工具，通過(guò)數(shù)理統(tǒng)計(jì)等高級(jí)統(tǒng)計(jì)分析算法，分析結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，通過(guò)數(shù)據(jù)模型去挖掘隱藏在數(shù)據(jù)中的價(jià)值數(shù)據(jù)科學(xué)家lWeb服務(wù)：將分析應(yīng)用的功能發(fā)布為Web服務(wù)，注冊(cè)在集團(tuán)服務(wù)總線上，供其它業(yè)務(wù)系統(tǒng)或分析應(yīng)用調(diào)用，獲取分析結(jié)果企業(yè)數(shù)字化底座與數(shù)字化總體架構(gòu)——數(shù)據(jù)管控層金融數(shù)據(jù)管控體系涵蓋組織架構(gòu)、評(píng)價(jià)與考核、管控流程、管控平臺(tái)四個(gè)域。組織建立/維護(hù)組織建立/維護(hù)標(biāo)準(zhǔn)建立/維護(hù)考核指標(biāo)建立/維護(hù)流程評(píng)價(jià)與考核流程數(shù)據(jù)與信息標(biāo)準(zhǔn)化委員會(huì)數(shù)據(jù)管理人數(shù)據(jù)所有人數(shù)據(jù)生產(chǎn)人數(shù)據(jù)使用人IT支持團(tuán)隊(duì)考核指標(biāo)責(zé)任評(píng)價(jià)標(biāo)準(zhǔn)執(zhí)行評(píng)價(jià)政策執(zhí)行評(píng)價(jià)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量元數(shù)據(jù)數(shù)據(jù)安全技術(shù)元數(shù)據(jù)評(píng)價(jià)標(biāo)準(zhǔn)數(shù)據(jù)認(rèn)責(zé)數(shù)據(jù)創(chuàng)建數(shù)據(jù)存儲(chǔ)數(shù)據(jù)移動(dòng)數(shù)據(jù)共享數(shù)據(jù)停用真實(shí)性定義及時(shí)性定義完整性定義一致性定義數(shù)據(jù)類型數(shù)據(jù)格式業(yè)務(wù)分類業(yè)務(wù)含義與業(yè)務(wù)元數(shù)據(jù)管理元數(shù)據(jù)數(shù)據(jù)全生命周期權(quán)限定義保留策略安全等級(jí)數(shù)據(jù)標(biāo)準(zhǔn)管理元數(shù)據(jù)管理數(shù)據(jù)安全管理數(shù)據(jù)質(zhì)量管理工作流管理企業(yè)數(shù)字化底座與數(shù)字化總體架構(gòu)——數(shù)據(jù)管控體系內(nèi)部運(yùn)轉(zhuǎn)機(jī)制管控組織管控流程o數(shù)據(jù)產(chǎn)生者o數(shù)據(jù)使用者o數(shù)據(jù)接入流程o數(shù)據(jù)變更流程o數(shù)據(jù)授權(quán)流程o數(shù)據(jù)退役流程o標(biāo)準(zhǔn)/政策制定流程o評(píng)價(jià)考核流程o……o遵守標(biāo)準(zhǔn)所需要的政策o政策與標(biāo)準(zhǔn)遵從考評(píng)定義o數(shù)據(jù)管控委員會(huì)o數(shù)據(jù)所有人o數(shù)據(jù)認(rèn)責(zé)人管控組織管控流程o數(shù)據(jù)產(chǎn)生者o數(shù)據(jù)使用者o數(shù)據(jù)接入流程o數(shù)據(jù)變更流程o數(shù)據(jù)授權(quán)流程o數(shù)據(jù)退役流程o標(biāo)準(zhǔn)/政策制定流程o評(píng)價(jià)考核流程o……o遵守標(biāo)準(zhǔn)所需要的政策o政策與標(biāo)準(zhǔn)遵從考評(píng)定義o數(shù)據(jù)管控委員會(huì)o數(shù)據(jù)所有人o數(shù)據(jù)認(rèn)責(zé)人流程支撐評(píng)價(jià)與考核o標(biāo)準(zhǔn)（數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量要求、安全要求）o管控平臺(tái)元數(shù)據(jù)管理o業(yè)務(wù)元數(shù)據(jù)管理o技術(shù)元數(shù)據(jù)管理o管理元數(shù)據(jù)分析管控綜合管理o標(biāo)準(zhǔn)/規(guī)范管理o流程管理o考核儀表盤(pán)數(shù)據(jù)質(zhì)量管理o稽核規(guī)則管理o數(shù)據(jù)稽核o質(zhì)量報(bào)告流程支撐管控過(guò)程中的組織結(jié)構(gòu)、角色、職責(zé)等。管控組織除了要負(fù)責(zé)制定數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量、安全等要求外，還需要負(fù)責(zé)制定管控的相關(guān)流程和評(píng)價(jià)考核指標(biāo)等內(nèi)容。規(guī)范了數(shù)各個(gè)環(huán)節(jié)日常任務(wù)處理的運(yùn)作模式，例如數(shù)據(jù)定義如何變更、數(shù)據(jù)沖采用專門(mén)的技術(shù)平臺(tái)支撐管控流程的自動(dòng)化，發(fā)布管控組織制定的一些相關(guān)標(biāo)準(zhǔn)和規(guī)范，及時(shí)反映管控過(guò)程中存在的一些問(wèn)題等。通過(guò)建立一些定性或定量的數(shù)據(jù)管控評(píng)價(jià)考核指標(biāo)，去評(píng)估及考核數(shù)據(jù)相關(guān)責(zé)任人職責(zé)履行情況、數(shù)據(jù)管控標(biāo)準(zhǔn)及數(shù)據(jù)政策的執(zhí)行情況等。企業(yè)數(shù)字化底座與數(shù)字化總體架構(gòu)——數(shù)據(jù)管控組織數(shù)據(jù)主管業(yè)務(wù)人數(shù)據(jù)主管業(yè)務(wù)人運(yùn)維組織實(shí)施項(xiàng)目組數(shù)據(jù)主管業(yè)務(wù)人員員員據(jù)管理員員員員數(shù)據(jù)管控經(jīng)理企業(yè)數(shù)字化底座與數(shù)字化總體架構(gòu)——數(shù)據(jù)標(biāo)準(zhǔn)管理定性考評(píng)數(shù)據(jù)標(biāo)準(zhǔn)分析報(bào)告定量考評(píng)數(shù)據(jù)標(biāo)準(zhǔn)理念推廣定性考評(píng)數(shù)據(jù)標(biāo)準(zhǔn)分析報(bào)告定量考評(píng)數(shù)據(jù)標(biāo)準(zhǔn)理念推廣數(shù)據(jù)分類數(shù)據(jù)結(jié)構(gòu)關(guān)鍵業(yè)務(wù)對(duì)象關(guān)鍵代碼數(shù)據(jù)維度代碼映射數(shù)據(jù)標(biāo)準(zhǔn)客戶類數(shù)據(jù)標(biāo)準(zhǔn)產(chǎn)品類數(shù)據(jù)標(biāo)準(zhǔn)企業(yè)數(shù)字化底座與數(shù)字化總體架構(gòu)——數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量要求確認(rèn)，根據(jù)業(yè)務(wù)要求制定和明確數(shù)據(jù)質(zhì)量要求，同時(shí)也需要符合數(shù)據(jù)標(biāo)準(zhǔn)的要求；數(shù)據(jù)質(zhì)量考評(píng)，對(duì)數(shù)據(jù)質(zhì)量的量化評(píng)價(jià)制定數(shù)據(jù)質(zhì)量問(wèn)題解決方案，根據(jù)數(shù)據(jù)質(zhì)量考評(píng)和日常工作中發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問(wèn)題，實(shí)施相應(yīng)的措施業(yè)務(wù)規(guī)則數(shù)據(jù)一致性要求數(shù)據(jù)完整性要求數(shù)據(jù)唯一性要求數(shù)據(jù)準(zhǔn)確性要求數(shù)據(jù)及時(shí)性要求不定期數(shù)據(jù)質(zhì)量檢查數(shù)據(jù)質(zhì)量驗(yàn)證規(guī)則數(shù)據(jù)質(zhì)量考核指標(biāo)數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量分析報(bào)告數(shù)據(jù)質(zhì)量監(jiān)控手工修正數(shù)據(jù)補(bǔ)錄企業(yè)數(shù)字化底座與數(shù)字化總體架構(gòu)——元數(shù)據(jù)管理l業(yè)務(wù)元數(shù)據(jù)：面向業(yè)務(wù)人員，從業(yè)務(wù)術(shù)語(yǔ)、業(yè)務(wù)描述、業(yè)務(wù)指標(biāo)和業(yè)務(wù)規(guī)則等幾個(gè)方面對(duì)企業(yè)數(shù)字化底座與數(shù)字化總體架構(gòu)——數(shù)據(jù)安全管理數(shù)據(jù)安全分級(jí)：根據(jù)業(yè)務(wù)要求，制定一系列的數(shù)據(jù)安全分級(jí)標(biāo)準(zhǔn)和政策，為數(shù)據(jù)應(yīng)用以及數(shù)據(jù)管理中實(shí)施數(shù)據(jù)安全保護(hù)和訪問(wèn)提供數(shù)據(jù)安全控制的基礎(chǔ)。數(shù)據(jù)訪問(wèn)授權(quán)：數(shù)據(jù)訪問(wèn)授權(quán)的主要工作是根據(jù)數(shù)據(jù)安全分級(jí)標(biāo)準(zhǔn)，定義數(shù)據(jù)訪問(wèn)的授權(quán)方法及流程，建立基于數(shù)據(jù)安全分級(jí)的數(shù)據(jù)使用授權(quán)機(jī)制，實(shí)現(xiàn)數(shù)據(jù)訪問(wèn)和信息披露的安全。數(shù)據(jù)敏感度數(shù)據(jù)安全等級(jí)定義數(shù)據(jù)重要性數(shù)據(jù)使用需求數(shù)據(jù)訪問(wèn)授權(quán)規(guī)則數(shù)據(jù)使用者權(quán)責(zé)數(shù)據(jù)敏感度數(shù)據(jù)安全等級(jí)定義數(shù)據(jù)重要性數(shù)據(jù)使用需求數(shù)據(jù)訪問(wèn)授權(quán)規(guī)則數(shù)據(jù)使用者權(quán)責(zé)企業(yè)數(shù)字化底座與數(shù)字化總體架構(gòu)——高階工作流程l業(yè)務(wù)數(shù)據(jù)規(guī)劃管理高階流程數(shù)據(jù)認(rèn)責(zé)流程數(shù)據(jù)認(rèn)責(zé)流程數(shù)據(jù)治理考核流程數(shù)據(jù)治理考核指標(biāo)體系l數(shù)據(jù)標(biāo)準(zhǔn)管理管理高階流程l數(shù)據(jù)質(zhì)量管理管理高階流程l元數(shù)據(jù)管理高階流程數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量、元數(shù)據(jù)、安全管理流程數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量、元數(shù)據(jù)、安全管理流程l數(shù)據(jù)安全管理管理高階流程企業(yè)數(shù)字化底座與數(shù)字化總體架構(gòu)——數(shù)據(jù)管控平臺(tái)數(shù)據(jù)管控平臺(tái)統(tǒng)一用戶集成界面數(shù)據(jù)管控平臺(tái)統(tǒng)一用戶集成界面………………數(shù)據(jù)管控平臺(tái)知識(shí)庫(kù)數(shù)據(jù)標(biāo)準(zhǔn)知識(shí)庫(kù)元數(shù)據(jù)知識(shí)庫(kù)質(zhì)量稽核庫(kù)數(shù)據(jù)管控平臺(tái)知識(shí)庫(kù)數(shù)據(jù)標(biāo)準(zhǔn)知識(shí)庫(kù)元數(shù)據(jù)知識(shí)庫(kù)質(zhì)量稽核庫(kù)企業(yè)數(shù)字化底座與數(shù)字化總體產(chǎn)品框架增值產(chǎn)品平臺(tái)D歷史歸檔查詢平臺(tái)（Hadoop集群+Hive）p實(shí)時(shí)分析平臺(tái)實(shí)時(shí)分析平臺(tái)（內(nèi)存數(shù)據(jù)庫(kù)）流程調(diào)度平臺(tái)管理分析平臺(tái)流程調(diào)度平臺(tái)管理分析平臺(tái)沙盤(pán)演練平臺(tái)數(shù)據(jù)管控平臺(tái)基礎(chǔ)計(jì)算平臺(tái)（貼源數(shù)據(jù)區(qū)+主題數(shù)據(jù)區(qū)+大數(shù)據(jù)區(qū)）數(shù)據(jù)管控平臺(tái)基礎(chǔ)計(jì)算平臺(tái)（貼源數(shù)據(jù)區(qū)+主題數(shù)據(jù)區(qū)+大數(shù)據(jù)區(qū)）Copyfromloal數(shù)據(jù)交換平臺(tái)云數(shù)據(jù)推送平臺(tái)SFTP/HTTP/API云數(shù)據(jù)推送平臺(tái)業(yè)務(wù)系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化半結(jié)構(gòu)化數(shù)據(jù)業(yè)務(wù)系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化半結(jié)構(gòu)化數(shù)據(jù)議程企業(yè)數(shù)字化底座與數(shù)字化綜述企業(yè)數(shù)字化底座與數(shù)字化總體架構(gòu)44企業(yè)數(shù)字化底座與數(shù)字化建設(shè)運(yùn)營(yíng)企業(yè)數(shù)字化底座與數(shù)字化未來(lái)展望對(duì)集團(tuán)價(jià)值的創(chuàng)造企業(yè)數(shù)字化底座與數(shù)字化規(guī)劃設(shè)計(jì)對(duì)集團(tuán)價(jià)值的創(chuàng)造持續(xù)優(yōu)化提升階段持續(xù)優(yōu)化提升階段搭建大數(shù)據(jù)處理平臺(tái)和實(shí)時(shí)分析平臺(tái)，應(yīng)用方面開(kāi)展實(shí)時(shí)分析和數(shù)據(jù)產(chǎn)品封裝以基礎(chǔ)平臺(tái)搭建為主，配合集團(tuán)數(shù)據(jù)產(chǎn)品封裝初期業(yè)務(wù)開(kāi)展，應(yīng)用建設(shè)從客戶信息管理、風(fēng)險(xiǎn)管理和運(yùn)營(yíng)管理深化分析體系，形成深度智能化業(yè)務(wù)分析初期業(yè)務(wù)開(kāi)展，應(yīng)用建設(shè)從客戶信息管理、風(fēng)險(xiǎn)管理和運(yùn)營(yíng)管理性能持續(xù)優(yōu)化、數(shù)據(jù)平臺(tái)持續(xù)完善、持續(xù)深化數(shù)據(jù)管控體系，形成集團(tuán)集團(tuán)級(jí)的數(shù)據(jù)管控體系開(kāi)展客戶信息管理、信用風(fēng)險(xiǎn)評(píng)級(jí)和業(yè)務(wù)統(tǒng)計(jì)分析三類應(yīng)用建設(shè)性能持續(xù)優(yōu)化、數(shù)據(jù)平臺(tái)持續(xù)完善、持續(xù)深化數(shù)據(jù)管控體系，形成集團(tuán)集團(tuán)級(jí)的數(shù)據(jù)管控體系開(kāi)展客戶信息管理、信用風(fēng)險(xiǎn)評(píng)級(jí)和業(yè)務(wù)統(tǒng)計(jì)分析三類應(yīng)用建設(shè)開(kāi)展貼源數(shù)據(jù)整合，初步建立集團(tuán)級(jí)數(shù)據(jù)視圖，實(shí)現(xiàn)對(duì)管理分析類應(yīng)用和實(shí)時(shí)分析類應(yīng)用的支撐規(guī)劃數(shù)據(jù)管控藍(lán)圖，初步實(shí)施數(shù)據(jù)質(zhì)量和技術(shù)元數(shù)據(jù)管理應(yīng)業(yè)務(wù)分析框架技基礎(chǔ)數(shù)據(jù)平臺(tái)管數(shù)據(jù)管控體系全面開(kāi)展內(nèi)部管理分析、實(shí)時(shí)分析和沙盤(pán)演練應(yīng)用建設(shè)，初步展開(kāi)增值數(shù)據(jù)產(chǎn)品開(kāi)發(fā)工作全面開(kāi)展企業(yè)數(shù)字化底座與數(shù)字化建設(shè)，引入更多數(shù)據(jù)源，豐富并完善平臺(tái)數(shù)據(jù)區(qū)建設(shè)隨著應(yīng)用體系的搭建，完善數(shù)據(jù)質(zhì)量和元數(shù)據(jù)建設(shè)，開(kāi)展數(shù)據(jù)標(biāo)準(zhǔn)化工作第一階段第一階段第二階段第三階段2013年2013年2014年——2015年2015年以后企業(yè)數(shù)字化底座與數(shù)字化演進(jìn)說(shuō)明——基礎(chǔ)數(shù)據(jù)平臺(tái)企業(yè)數(shù)字化底座與數(shù)字化演進(jìn)說(shuō)明——數(shù)據(jù)管控企業(yè)數(shù)字化底座與數(shù)字化演進(jìn)說(shuō)明——應(yīng)用體系議程企業(yè)數(shù)字化底座與數(shù)字化綜述企業(yè)數(shù)字化底座與數(shù)字化總體架構(gòu)33企業(yè)數(shù)字化底座與數(shù)字化規(guī)劃設(shè)計(jì)企業(yè)數(shù)字化底座與數(shù)字化未來(lái)展望金融企業(yè)數(shù)字化底座與數(shù)字化一期架構(gòu)l基礎(chǔ)計(jì)算平臺(tái)：基于Hadoop集群構(gòu)建，按照業(yè)務(wù)條線、以貼源數(shù)據(jù)模型存儲(chǔ)了業(yè)務(wù)系統(tǒng)明細(xì)數(shù)據(jù)l數(shù)據(jù)交換平臺(tái)：NAS集群實(shí)現(xiàn)了進(jìn)出數(shù)據(jù)平臺(tái)數(shù)據(jù)的暫存，業(yè)務(wù)數(shù)據(jù)交換組件實(shí)現(xiàn)了業(yè)務(wù)系統(tǒng)每日增量數(shù)據(jù)加載，數(shù)據(jù)區(qū)數(shù)據(jù)交換組件實(shí)現(xiàn)了基礎(chǔ)計(jì)算平臺(tái)與管理分析平臺(tái)間的數(shù)據(jù)交換l流程調(diào)度平臺(tái)：自主開(kāi)發(fā)的流程調(diào)度引擎實(shí)現(xiàn)整個(gè)數(shù)據(jù)平臺(tái)的數(shù)據(jù)處理任務(wù)調(diào)度和運(yùn)行l(wèi)管理分析平臺(tái)：由X86分析型數(shù)據(jù)庫(kù)集群、BI軟件1J2EE應(yīng)用構(gòu)成，實(shí)現(xiàn)了面向應(yīng)用的數(shù)據(jù)加工、管理、分析服務(wù)l實(shí)時(shí)分析平臺(tái)：由高檔X86服務(wù)器組成的集群，實(shí)現(xiàn)高時(shí)效、高并發(fā)的實(shí)時(shí)、準(zhǔn)實(shí)時(shí)類管理分析需求數(shù)據(jù)交換平臺(tái)—平臺(tái)邏輯架構(gòu)金融企業(yè)數(shù)字化底座與數(shù)字化金融企業(yè)數(shù)字化底座與數(shù)字化加載服務(wù)器加載服務(wù)器文件歸檔文件加載文件級(jí)檢核文件歸檔文件加載文件級(jí)檢核l數(shù)據(jù)交換平臺(tái)由FTP服務(wù)器、加載服務(wù)器和NAS存儲(chǔ)組成，完成業(yè)務(wù)系統(tǒng)數(shù)據(jù)的獲取、加載和歸檔加載服務(wù)器加載服務(wù)器文件歸檔文件加載文件級(jí)檢核文件歸檔文件加載文件級(jí)檢核文件到達(dá)事件監(jiān)控文件到達(dá)事件監(jiān)控lFTP服務(wù)器：利用LVS構(gòu)成的FTP集群，接收云數(shù)據(jù)推送平臺(tái)處理后的數(shù)據(jù)，存儲(chǔ)在NAS集群的指定目錄文件到達(dá)事件監(jiān)控文件到達(dá)事件監(jiān)控l加載服務(wù)器：部署ETL任務(wù)，實(shí)現(xiàn)指定目錄的文件到達(dá)監(jiān)控、文件級(jí)檢核、數(shù)據(jù)加載（HiveLoad）到臨時(shí)數(shù)據(jù)區(qū)，同時(shí)歸檔(copyfromlocal）歷史數(shù)據(jù)區(qū)LVS集群：負(fù)載均衡服務(wù)器lNAS集群：按照日期和源系統(tǒng)劃分目錄，緩LVS集群：負(fù)載均衡服務(wù)器l云數(shù)據(jù)推送平臺(tái)實(shí)現(xiàn)源系統(tǒng)數(shù)據(jù)一次獲取獲、按需分發(fā)。l平臺(tái)采用GoldenGate、JBUS、l云數(shù)據(jù)推送平臺(tái)實(shí)現(xiàn)源系統(tǒng)數(shù)據(jù)一次獲取獲、按需分發(fā)。l平臺(tái)采用GoldenGate、JBUS、Flume等技術(shù)獲取增量數(shù)據(jù)，存儲(chǔ)在MySQL集群通過(guò)FTP傳輸?shù)絅AS指定目錄數(shù)據(jù)交換平臺(tái)—參與方責(zé)任劃分?jǐn)?shù)據(jù)交換平臺(tái)—業(yè)務(wù)系統(tǒng)數(shù)據(jù)抽取實(shí)現(xiàn)方式云數(shù)據(jù)推送平臺(tái)通常按照T+1頻率為集團(tuán)提供數(shù)據(jù)，具體頻4.金融企業(yè)數(shù)字化底座與數(shù)字化部署在不同加）；數(shù)據(jù)交換平臺(tái)—平臺(tái)部署架構(gòu)l數(shù)據(jù)交換平臺(tái)由8臺(tái)X86服務(wù)器和一個(gè)X86服務(wù)器按照功能分為2組，一組實(shí)現(xiàn)數(shù)據(jù)獲取，一NAS集群作為公共數(shù)據(jù)區(qū)，由8臺(tái)服務(wù)器共享訪問(wèn)（加載服務(wù)器1加載服務(wù)器4LVS服務(wù)器4LVS服務(wù)器1加載服務(wù)器1加載服務(wù)器4LVS服務(wù)器4LVS服務(wù)器1FTPPythonJSSModulePythonFTPPythonJSSModulePythonruntimeRedhatLinux加載任務(wù)HiveHDFSClientRedhatLinux加載任務(wù)HiveHDFSClientRedhatLinuxPythonJSSModulePythonruntimeRedhatLinux據(jù)文件加載和據(jù)文件加載和責(zé)多個(gè)源系統(tǒng)減少服務(wù)器LVS1負(fù)載均衡其它LVS服務(wù)器負(fù)責(zé)接收接口文件，寫(xiě)入NAS集群目錄l支持按需擴(kuò)展/減少服務(wù)器lNAS集群NAS集群l按日期和源系統(tǒng)建立數(shù)據(jù)目錄，緩存每日接口l按日期和源系統(tǒng)建立數(shù)據(jù)目錄，緩存每日接口文件，供交換平臺(tái)訪問(wèn)l流程調(diào)度平臺(tái)—平臺(tái)邏輯架構(gòu)理流程調(diào)度平臺(tái)—流程調(diào)度元數(shù)據(jù)lTaskAutomation的元數(shù)據(jù)統(tǒng)一存儲(chǔ)在MySQL數(shù)據(jù)庫(kù)中任務(wù)定義，包括任務(wù)名稱、描述、運(yùn)行服務(wù)器、運(yùn)行狀態(tài)、運(yùn)流程調(diào)度平臺(tái)—任務(wù)調(diào)度引擎定時(shí)觸發(fā)，按照預(yù)先定義的時(shí)間周期，如每日、每周、每月，或任何有規(guī)律的時(shí)間間隔執(zhí)行任務(wù)。目前可明確的任務(wù)主要是每月執(zhí)行的基礎(chǔ)計(jì)算平臺(tái)、管理分析平臺(tái)數(shù)據(jù)歸檔。事件觸發(fā)，按照特定的事件觸發(fā)、執(zhí)行任務(wù)。如：數(shù)據(jù)文件到達(dá)指定目錄，會(huì)觸發(fā)數(shù)據(jù)加載任務(wù)。同樣，流程失敗也會(huì)觸發(fā)新的job，如錯(cuò)誤處理、例外處理等。手動(dòng)觸發(fā)系統(tǒng)管理員可以使用TaskAutomation提供的界面或命令接口執(zhí)行一些job。這些job的功能通常包括對(duì)特定范圍的數(shù)據(jù)進(jìn)行審計(jì)與驗(yàn)證、對(duì)特定范圍的數(shù)據(jù)進(jìn)行針對(duì)性很強(qiáng)的數(shù)據(jù)清洗、或者是對(duì)某流程失敗后的修復(fù)。流程調(diào)度平臺(tái)—集群可靠性和可擴(kuò)展性流程調(diào)度所需的元數(shù)據(jù)信息統(tǒng)一保存在MySQL數(shù)據(jù)庫(kù)中，集群中任何服務(wù)器發(fā)生故障不會(huì)破壞元數(shù)據(jù)完整性。服務(wù)器定其他服務(wù)器執(zhí)行任務(wù)即可，故障不會(huì)影響任務(wù)依賴關(guān)系、任務(wù)組關(guān)系。流程調(diào)度集群由多臺(tái)服務(wù)器構(gòu)成，按工作負(fù)載劃分不同角色，分別實(shí)現(xiàn)ETL處理過(guò)程中不同類型任務(wù)的調(diào)度。當(dāng)某類調(diào)度工作負(fù)載較大時(shí)，可通過(guò)增加服務(wù)器的方式，實(shí)現(xiàn)集群的橫向擴(kuò)展流程調(diào)度平臺(tái)—平臺(tái)部署架構(gòu)l按數(shù)據(jù)區(qū)劃分工作流l按數(shù)據(jù)區(qū)劃分工作流作流部署在數(shù)據(jù)交換換平臺(tái)的加載服務(wù)器l貼園區(qū)和匯總區(qū)工作流分別部署獨(dú)立的服臨時(shí)/歸檔區(qū)調(diào)度服務(wù)器4臨時(shí)/歸檔區(qū)調(diào)度服務(wù)器1貼源區(qū)調(diào)度服務(wù)器匯總區(qū)調(diào)度服務(wù)器TaskAutomationTaskTaskAutomationTaskAutomationTaskAutomationTaskAutomationHadoopHiveHadoopHadoopHiveHadoopHiveHadoopHiveHadoopHivePerlRuntimePerlPerlRuntimePerlRuntimePerlRuntimePerlRuntimeMySQLClientMySQLMySQLClientMySQLClientMySQLClientMySQLClientRedhatLinuxRedhatRedhatLinuxRedhatLinuxRedhatLinuxRedhatLinuxMasterNodeMasterNodeMySQL從服務(wù)器MySQL主服務(wù)器lMySQL主-從集群，存儲(chǔ)臨時(shí)區(qū)、歸檔區(qū)、貼源區(qū)和匯總區(qū)數(shù)據(jù)處理任務(wù)定義，任務(wù)依賴關(guān)系MasterNodeMasterNodeMySQL從服務(wù)器MySQL主服務(wù)器基礎(chǔ)計(jì)算平臺(tái)—平臺(tái)邏輯架構(gòu)基礎(chǔ)計(jì)算平臺(tái)—臨時(shí)數(shù)據(jù)區(qū)包含內(nèi)容源系統(tǒng)抽取過(guò)來(lái)的增量/全量企業(yè)數(shù)字化底座與數(shù)字化要整務(wù)審計(jì)、財(cái)務(wù)研發(fā)、大物流、據(jù)部和移動(dòng)客戶端等研發(fā)體系的各業(yè)務(wù)系統(tǒng)?；A(chǔ)計(jì)算平臺(tái)—貼源數(shù)據(jù)區(qū)包含內(nèi)容作為整個(gè)數(shù)據(jù)平臺(tái)的基礎(chǔ)數(shù)據(jù)作為整個(gè)數(shù)據(jù)平臺(tái)的基礎(chǔ)數(shù)據(jù)市層等數(shù)據(jù)區(qū)提供數(shù)據(jù)支撐。財(cái)務(wù)研發(fā)、大物流、供應(yīng)鏈、動(dòng)客戶端等研發(fā)體系的各業(yè)務(wù)基礎(chǔ)計(jì)算平臺(tái)—匯總數(shù)據(jù)區(qū)包含內(nèi)容針對(duì)客戶管理、風(fēng)險(xiǎn)評(píng)級(jí)和業(yè)務(wù)量統(tǒng)計(jì)設(shè)計(jì)明細(xì)數(shù)據(jù)進(jìn)行預(yù)匯總、預(yù)連接和預(yù)加工后的結(jié)果數(shù)據(jù)。對(duì)明細(xì)數(shù)據(jù)對(duì)明細(xì)數(shù)據(jù)進(jìn)行預(yù)匯總、預(yù)連基礎(chǔ)計(jì)算平臺(tái)—平臺(tái)部署架構(gòu)lNN負(fù)責(zé)HDFS元數(shù)據(jù)管理，元數(shù)據(jù)信息存儲(chǔ)在NAS集群指定目錄l通過(guò)硬件冗余、RAID0+1、SlaveNN等技術(shù)實(shí)現(xiàn)高可用性NameNodeNameNodelSecondaryNN負(fù)責(zé)HDFS元數(shù)據(jù)備份管理，lSecondaryJobTracker負(fù)責(zé)MR計(jì)算集群JobTracker高可用性Name&JobTrackerName&JobTrackerlJobTrackerNode負(fù)責(zé)MR任務(wù)分配l通過(guò)心跳信號(hào)檢測(cè)TaskTracker活JobTrackerNodeJobTrackerNodeDataNodeTaskTrackerNode服務(wù)器70l70臺(tái)服務(wù)器是DataNodeTaskTrackerNode服務(wù)器70l70臺(tái)服務(wù)器是HDFS數(shù)據(jù)節(jié)點(diǎn)，臨時(shí)數(shù)據(jù)區(qū)和貼源整合區(qū)作為獨(dú)立的數(shù)據(jù)庫(kù)部署在此服務(wù)器上，并按照3份冗余l(xiāng)70臺(tái)服務(wù)器是MR提交的SQL語(yǔ)句,轉(zhuǎn)化成MR任務(wù)分配到每臺(tái)服務(wù)器上執(zhí)行DataNodeTaskTrackerNode服務(wù)器1基礎(chǔ)計(jì)算平臺(tái)—平臺(tái)網(wǎng)絡(luò)拓?fù)洹芾矸治銎脚_(tái)—平臺(tái)邏輯架構(gòu)l客戶信息管理，采用J2EE框架自主開(kāi)發(fā)，數(shù)據(jù)集市構(gòu)建于分析型數(shù)據(jù)庫(kù)集群l運(yùn)營(yíng)績(jī)效管理，采用MicroStrategy開(kāi)發(fā)，數(shù)據(jù)集市構(gòu)建于分析型數(shù)據(jù)庫(kù)集群管理分析平臺(tái)—安全管理授權(quán)管理認(rèn)證管理授權(quán)管理授權(quán)管理賬戶管理身份管理審計(jì)管理授權(quán)管理賬戶管理身份管理審計(jì)管理平臺(tái)安全管理信息庫(kù)賬戶信息賬戶信息權(quán)限信息日志信息企業(yè)數(shù)字化底座與數(shù)字化物理架構(gòu)l平臺(tái)所有服務(wù)器均采用標(biāo)準(zhǔn)X86PC服務(wù)器l系統(tǒng)劃分為三個(gè)子網(wǎng)WEB服務(wù)子網(wǎng)，兩臺(tái)服務(wù)器構(gòu)成的Tomcat集群應(yīng)用服務(wù)子網(wǎng)，兩臺(tái)服務(wù)器構(gòu)成的MicroStrategy數(shù)據(jù)服務(wù)子網(wǎng)基礎(chǔ)計(jì)算平臺(tái)，73臺(tái)服務(wù)器構(gòu)成的Hadoop集群數(shù)據(jù)集市平臺(tái)，30臺(tái)服務(wù)器構(gòu)成的？集群流程調(diào)度平臺(tái)，7臺(tái)服務(wù)器構(gòu)成的TaskAutomation集群數(shù)據(jù)交換平臺(tái)，5臺(tái)服務(wù)器與云數(shù)據(jù)推送平臺(tái)接口，分別實(shí)現(xiàn)不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)獲取企業(yè)數(shù)字化底座與數(shù)字化一期硬件配置服務(wù)器類型服務(wù)器功能數(shù)量CPU操作系統(tǒng)333企業(yè)數(shù)字化底座與數(shù)字化一期硬件配置（續(xù)）服務(wù)器類型服務(wù)器功能數(shù)量CPU操作系統(tǒng)57器2臺(tái)4器422企業(yè)數(shù)字化底座與數(shù)字化一期硬件配置（續(xù)）企業(yè)數(shù)字化底座與數(shù)字化一期軟件清單類型軟件清單類型軟件清單基礎(chǔ)計(jì)算平臺(tái)管理分析平臺(tái)數(shù)據(jù)集市服務(wù)器?歷史歸檔查詢平臺(tái)Centos6.3實(shí)時(shí)分析平臺(tái)內(nèi)存數(shù)據(jù)庫(kù)服務(wù)器Centos6.3管理分析&實(shí)時(shí)分析平臺(tái)BI應(yīng)用服務(wù)器MicroStrategy9.3數(shù)據(jù)交換平臺(tái)流程調(diào)度&ETL平臺(tái)管理分析&實(shí)時(shí)分析Tomcat7.0平臺(tái)WEB服務(wù)器Centos6.3議程企業(yè)數(shù)字化底座與數(shù)字化綜述企業(yè)數(shù)字化底座與數(shù)字化總體架構(gòu)33企業(yè)數(shù)字化底座與數(shù)字化規(guī)劃設(shè)計(jì)44企業(yè)數(shù)字化底座與數(shù)字化建設(shè)運(yùn)營(yíng)數(shù)據(jù)質(zhì)量管理平臺(tái)技術(shù)架構(gòu)數(shù)據(jù)質(zhì)量檢查規(guī)則配置模塊作為Java數(shù)據(jù)質(zhì)量檢查規(guī)則配置模塊作為JavaWeb應(yīng)用部署在金融數(shù)據(jù)平臺(tái)Tomcat集群上，數(shù)據(jù)質(zhì)量管理員通過(guò)統(tǒng)一的Web服務(wù)訪問(wèn)，實(shí)現(xiàn)檢查規(guī)則的維護(hù)數(shù)據(jù)質(zhì)量管理系統(tǒng)元模型包含檢查規(guī)則、檢查執(zhí)行結(jié)果、分析報(bào)告，模型作為一個(gè)獨(dú)立的Schema部署在決策分析報(bào)表平臺(tái)的數(shù)據(jù)庫(kù)數(shù)據(jù)質(zhì)量分析報(bào)告展現(xiàn)模塊作為JavaWeb應(yīng)用部署在金融數(shù)據(jù)平臺(tái)Tomcat實(shí)現(xiàn)日?qǐng)?bào)、月報(bào)的瀏覽、下載等功能數(shù)據(jù)質(zhì)量檢查規(guī)則執(zhí)行模塊作為多個(gè)ETL任務(wù)部署在金融數(shù)據(jù)平臺(tái)ETL服務(wù)器上，由Automation工作流調(diào)度服務(wù)統(tǒng)一調(diào)度運(yùn)行，實(shí)現(xiàn)各個(gè)數(shù)據(jù)區(qū)技術(shù)和業(yè)務(wù)數(shù)據(jù)質(zhì)量檢查數(shù)據(jù)質(zhì)量分析報(bào)告生成模塊作為一個(gè)ETL任數(shù)據(jù)質(zhì)量分析報(bào)告展現(xiàn)模塊作為JavaWeb應(yīng)用部署在金融數(shù)據(jù)平臺(tái)Tomcat實(shí)現(xiàn)日?qǐng)?bào)、月報(bào)的瀏覽、下載等功能數(shù)據(jù)質(zhì)量檢查規(guī)則執(zhí)行模塊作為多個(gè)ETL任務(wù)部署在金融數(shù)據(jù)平臺(tái)ETL服務(wù)器上，由Automation工作流調(diào)度服務(wù)統(tǒng)一調(diào)度運(yùn)行，實(shí)現(xiàn)各個(gè)數(shù)據(jù)區(qū)技術(shù)和業(yè)務(wù)數(shù)據(jù)質(zhì)量檢查數(shù)據(jù)質(zhì)量分析報(bào)告生成模塊作為一個(gè)ETL任務(wù)部署在決策分析報(bào)表平臺(tái)ETL服務(wù)器上，由Automation工作流調(diào)度服務(wù)統(tǒng)一調(diào)度運(yùn)行，按照每日、每月生成各數(shù)據(jù)區(qū)數(shù)據(jù)質(zhì)量檢查報(bào)告數(shù)據(jù)質(zhì)量檢查執(zhí)行服務(wù)檢查規(guī)則執(zhí)行服務(wù)檢查點(diǎn)1云數(shù)據(jù)推送平臺(tái)接口文件級(jí)規(guī)范性檢查任務(wù)說(shuō)明任務(wù)類型ETL任務(wù)——技術(shù)型檢查ETL階段云數(shù)據(jù)推送平臺(tái)->金融數(shù)據(jù)交換平臺(tái)NAS存儲(chǔ)指定目錄執(zhí)行頻率每日?qǐng)?zhí)行執(zhí)行方式由TaskAutomation工作流引擎根據(jù)工作流定義統(tǒng)一調(diào)度，在ETL服務(wù)器上執(zhí)行檢查對(duì)象云數(shù)據(jù)推送平臺(tái)按照接口規(guī)范導(dǎo)出的業(yè)務(wù)系統(tǒng)每日增量數(shù)據(jù)文件和控制文件檢查內(nèi)容接口文件是否存在，接口文件名稱是否正確，接口文件是否通過(guò)MD5校驗(yàn)實(shí)現(xiàn)技術(shù)Linux腳本語(yǔ)言，Perl或Python成功閾值所有規(guī)則通過(guò)檢查依賴任務(wù)N/A觸發(fā)任務(wù)數(shù)據(jù)加載檢查規(guī)則執(zhí)行服務(wù)檢查點(diǎn)2臨時(shí)區(qū)數(shù)據(jù)技術(shù)性檢查任務(wù)說(shuō)明任務(wù)類型ETL任務(wù)——技術(shù)型檢查ETL階段臨時(shí)數(shù)據(jù)區(qū)->貼源整合數(shù)據(jù)區(qū)執(zhí)行頻率每日?qǐng)?zhí)行執(zhí)行方式由TaskAutomation工作流引擎根據(jù)工作流定義統(tǒng)一調(diào)度，在Hadoop集群上執(zhí)行檢查對(duì)象云數(shù)據(jù)推送平臺(tái)按照接口規(guī)范導(dǎo)出的業(yè)務(wù)系統(tǒng)每日增量數(shù)據(jù)檢查內(nèi)容日期、時(shí)間格式檢查；主鍵唯一型檢查；外鍵參照完整型檢查；關(guān)鍵字段取值完整性檢查實(shí)現(xiàn)技術(shù)成功閾值90%記錄通過(guò)檢查異常處理未通過(guò)檢查的記錄存入指定錯(cuò)誤明細(xì)表依賴任務(wù)接口文件級(jí)規(guī)范性檢查任務(wù)觸發(fā)任務(wù)貼源數(shù)據(jù)整合任務(wù)檢查規(guī)則執(zhí)行服務(wù)檢查點(diǎn)3匯總區(qū)業(yè)務(wù)性檢查任務(wù)內(nèi)容說(shuō)明任務(wù)類型ETL任務(wù)——業(yè)務(wù)型檢查ETL階段貼源整合數(shù)據(jù)區(qū)->匯總數(shù)據(jù)區(qū)執(zhí)行頻率每日/月/季執(zhí)行執(zhí)行方式由TaskAutomation工作流引擎根據(jù)工作流定義統(tǒng)一調(diào)度，在Hadoop集群上執(zhí)行檢查對(duì)象匯總數(shù)據(jù)區(qū)的數(shù)據(jù)檢查內(nèi)容業(yè)務(wù)邏輯檢查：通過(guò)對(duì)若干個(gè)匯總值/指標(biāo)值的運(yùn)算，來(lái)檢驗(yàn)各個(gè)匯總值/指標(biāo)間潛在的平衡或其他比較關(guān)系實(shí)現(xiàn)技術(shù)HiveSQL成功閾值90%記錄通過(guò)檢查異常處理未通過(guò)檢查的記錄存入指定錯(cuò)誤明細(xì)表依賴任務(wù)貼源整合數(shù)據(jù)區(qū)數(shù)據(jù)處理完成觸發(fā)任務(wù)集市數(shù)據(jù)區(qū)應(yīng)用數(shù)據(jù)生成檢查規(guī)則執(zhí)行服務(wù)檢查點(diǎn)4.1應(yīng)用集市區(qū)技術(shù)性檢查任務(wù)內(nèi)容說(shuō)明任務(wù)類型ETL任務(wù)——業(yè)務(wù)型檢查ETL階段匯總數(shù)據(jù)區(qū)->應(yīng)用集市數(shù)據(jù)區(qū)執(zhí)行頻率每日/月/季執(zhí)行執(zhí)行方式由TaskAutomation工作流引擎根據(jù)工作流定義統(tǒng)一調(diào)度，在應(yīng)用集市數(shù)據(jù)庫(kù)集群上執(zhí)行檢查對(duì)象應(yīng)用集市數(shù)據(jù)區(qū)的數(shù)據(jù)檢查內(nèi)容主鍵唯一型檢查；外鍵參照完整型檢查；關(guān)鍵字段取值完整性檢查實(shí)現(xiàn)技術(shù)成功閾值90%記錄通過(guò)檢查異常處理未通過(guò)檢查的記錄存入指定錯(cuò)誤明細(xì)表依賴任務(wù)匯總數(shù)據(jù)區(qū)數(shù)據(jù)處理完成觸發(fā)任務(wù)N/A檢查規(guī)則執(zhí)行服務(wù)檢查點(diǎn)4.2應(yīng)用集市區(qū)業(yè)務(wù)性檢查任務(wù)內(nèi)容說(shuō)明任務(wù)類型ETL任務(wù)——業(yè)務(wù)型檢查ETL階段匯總數(shù)據(jù)區(qū)->應(yīng)用集市數(shù)據(jù)區(qū)執(zhí)行頻率每日/月/季執(zhí)行執(zhí)行方式由TaskAutomation工作流引擎根據(jù)工作流定義統(tǒng)一調(diào)度，在應(yīng)用集市數(shù)據(jù)庫(kù)集群上執(zhí)行檢查對(duì)象應(yīng)用集市數(shù)據(jù)區(qū)的數(shù)據(jù)檢查內(nèi)容業(yè)務(wù)邏輯檢查：通過(guò)對(duì)若干個(gè)指標(biāo)值的運(yùn)算，來(lái)檢驗(yàn)各個(gè)指標(biāo)間潛在的平衡或其他比較關(guān)系數(shù)值檢查：主要是通過(guò)對(duì)單個(gè)指標(biāo)值的監(jiān)控來(lái)發(fā)現(xiàn)數(shù)據(jù)的異常、突變等情況波動(dòng)檢查：通過(guò)對(duì)單個(gè)指標(biāo)值一段時(shí)間內(nèi)的數(shù)值變化情況來(lái)檢查數(shù)據(jù)的波動(dòng)、變化情況一致性檢查：通過(guò)對(duì)兩個(gè)指標(biāo)按某幾個(gè)維度展開(kāi)后的增減幅度來(lái)發(fā)現(xiàn)數(shù)據(jù)的波動(dòng)、變化情況實(shí)現(xiàn)技術(shù)成功閾值90%記錄通過(guò)檢查異常處理未通過(guò)檢查的記錄存入指定錯(cuò)誤明細(xì)表依賴任務(wù)匯總數(shù)據(jù)區(qū)數(shù)據(jù)處理完成觸發(fā)任務(wù)N/A數(shù)據(jù)質(zhì)量管理分析報(bào)告生成服務(wù)器上的ETL任務(wù)，按照任務(wù)流程被TaskAutomation統(tǒng)一調(diào)度執(zhí)平均值數(shù)據(jù)質(zhì)量管理分析報(bào)告指標(biāo)定義指標(biāo)分類指標(biāo)名稱指標(biāo)說(shuō)明對(duì)應(yīng)報(bào)告（XX系統(tǒng)）》（XX系統(tǒng)）》（XX系統(tǒng)）》），（XX系統(tǒng)）》分析報(bào)告生成服務(wù)：源系統(tǒng)數(shù)據(jù)交換質(zhì)量日?qǐng)?bào)明細(xì)報(bào)告生成任務(wù)內(nèi)容說(shuō)明任務(wù)類型ETL階段分析報(bào)告生成階段執(zhí)行頻率每日?qǐng)?zhí)行方式由TaskAutomation工作流引擎根據(jù)工作流定義統(tǒng)一調(diào)度，在數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)庫(kù)上執(zhí)行評(píng)價(jià)對(duì)象數(shù)據(jù)質(zhì)量檢查點(diǎn)1、2對(duì)應(yīng)的檢查任務(wù)執(zhí)行結(jié)果評(píng)價(jià)指標(biāo)接口傳輸及時(shí)率、接口傳輸完整率、接口準(zhǔn)確率實(shí)現(xiàn)技術(shù)MySQLSQL命令依賴任務(wù)ETL處理完成觸發(fā)任務(wù)數(shù)據(jù)質(zhì)量匯總?cè)請(qǐng)?bào)生成任務(wù)分析報(bào)告生成服務(wù)：數(shù)據(jù)質(zhì)量匯總?cè)請(qǐng)?bào)數(shù)據(jù)質(zhì)量匯總?cè)請(qǐng)?bào)生成任務(wù)內(nèi)容說(shuō)明任務(wù)類型ETL任務(wù)——匯總?cè)請(qǐng)?bào)生成ETL階段分析報(bào)告生成階段執(zhí)行頻率每日?qǐng)?zhí)行方式由TaskAutomation工作流引擎根據(jù)工作流定義統(tǒng)一調(diào)度，在數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)庫(kù)上執(zhí)行評(píng)價(jià)對(duì)象數(shù)據(jù)質(zhì)量檢查點(diǎn)2、3、4對(duì)應(yīng)的檢查任務(wù)執(zhí)行結(jié)果評(píng)價(jià)指標(biāo)記錄正確率實(shí)現(xiàn)技術(shù)MySQLSQL命令依賴任務(wù)源系統(tǒng)數(shù)據(jù)交換質(zhì)量日?qǐng)?bào)生成觸發(fā)任務(wù)數(shù)據(jù)質(zhì)量匯總月報(bào)生成任務(wù)分析報(bào)告生成服務(wù)：數(shù)據(jù)質(zhì)量匯總月報(bào)任務(wù)內(nèi)容說(shuō)明任務(wù)類型ETL任務(wù)——匯總月報(bào)生成ETL階段分析報(bào)告生成階段執(zhí)行頻率每月月初執(zhí)行方式由TaskAutomation工作流引擎根據(jù)工作流定義統(tǒng)一調(diào)度，在數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)庫(kù)上執(zhí)行評(píng)價(jià)對(duì)象當(dāng)月所有數(shù)據(jù)質(zhì)量檢查點(diǎn)對(duì)應(yīng)的檢查任務(wù)執(zhí)行結(jié)果評(píng)價(jià)指標(biāo)記錄正確率實(shí)現(xiàn)技術(shù)MySQLSQL命令依賴任務(wù)數(shù)據(jù)質(zhì)量匯總?cè)請(qǐng)?bào)生成任務(wù)觸發(fā)任務(wù)數(shù)據(jù)質(zhì)量管理元信息庫(kù)采用MySQL數(shù)據(jù)庫(kù)，存儲(chǔ)數(shù)據(jù)質(zhì)量檢查規(guī)則、數(shù)據(jù)質(zhì)量檢查結(jié)果、數(shù)據(jù)質(zhì)量檢查報(bào)告源系統(tǒng)數(shù)據(jù)交換質(zhì)量日?qǐng)?bào)源系統(tǒng)數(shù)據(jù)交換質(zhì)量日?qǐng)?bào)標(biāo)識(shí)源系統(tǒng)數(shù)據(jù)交換質(zhì)量日?qǐng)?bào)日期源系統(tǒng)數(shù)據(jù)交換質(zhì)量日?qǐng)?bào)源系統(tǒng)數(shù)據(jù)交換質(zhì)量日?qǐng)?bào)標(biāo)識(shí)源系統(tǒng)數(shù)據(jù)交換質(zhì)量日?qǐng)?bào)日期源系統(tǒng)名稱接口名稱傳輸及時(shí)標(biāo)志傳輸完整標(biāo)志數(shù)據(jù)日期準(zhǔn)確標(biāo)志名稱規(guī)范標(biāo)志記錄數(shù)準(zhǔn)確標(biāo)志數(shù)據(jù)格式出錯(cuò)的記錄數(shù)違反數(shù)據(jù)值域的記錄數(shù)違反主鍵唯一性的記錄數(shù)違反參照完整性的記錄數(shù)出錯(cuò)記錄數(shù)記錄準(zhǔn)確率IntegerVariablecharacters(32)Variablecharacters(32)Variablecharacters(32)ShortintegerShortintegerShortintegerShortintegerShortintegerIntegerIntegerIntegerIntegerIntegerDecimal(18,2)Identifier_1<pi>檢查結(jié)果檢查規(guī)則執(zhí)行ID檢查規(guī)則唯一號(hào)執(zhí)行日期開(kāi)始執(zhí)行時(shí)間結(jié)束執(zhí)行時(shí)間結(jié)果編碼結(jié)果描述結(jié)果值<pi>IntegerCharacters(8)檢查結(jié)果檢查規(guī)則執(zhí)行ID檢查規(guī)則唯一號(hào)執(zhí)行日期開(kāi)始執(zhí)行時(shí)間結(jié)束執(zhí)行時(shí)間結(jié)果編碼結(jié)果描述結(jié)果值<pi>IntegerCharacters(8)DateTimestampTimestampCharacters(4)Variablecharacters(4096)Integer<M><M>Identifier_1<pi> Re(lt)ionship_2檢查規(guī)則檢查規(guī)則唯一號(hào)檢查規(guī)則簡(jiǎn)單描述檢查規(guī)則類型檢查對(duì)象標(biāo)識(shí)檢查規(guī)則生效標(biāo)志檢查規(guī)則是否保存結(jié)果標(biāo)志檢查頻度ETL任務(wù)Identifier_1<pi><pi>Characters(8)Variablecharacters(2048)Characters(2)IntegerCharacters(1)Characters(1)Characters(2)Variablecharacters(32)<M> o(D)。Inheritance_1