京東金融大數(shù)據(jù)平臺總體架構(gòu)v

金融集團(tuán)大數(shù)據(jù)分析平臺總體架構(gòu)議程大數(shù)據(jù)分析平臺綜述1大數(shù)據(jù)分析平臺總體架構(gòu)2大數(shù)據(jù)分析平臺演進(jìn)路線3大數(shù)據(jù)分析平臺一期實(shí)施重點(diǎn)4附錄：數(shù)據(jù)質(zhì)量管理平臺5金融集團(tuán)管理分析類應(yīng)用建設(shè)現(xiàn)狀基本分析關(guān)注的內(nèi)容存在的問題基本的現(xiàn)狀商城數(shù)據(jù)倉庫累積數(shù)據(jù)沒有充分利用缺乏面向整個(gè)金融集團(tuán)的統(tǒng)一、完整的數(shù)據(jù)視圖；缺乏支撐金融集團(tuán)日常業(yè)務(wù)運(yùn)轉(zhuǎn)的風(fēng)險(xiǎn)評估體系；缺乏金融集團(tuán)客戶360度視圖，客戶行為分析和預(yù)測無法實(shí)現(xiàn)；缺乏面向金融業(yè)務(wù)運(yùn)營管理的關(guān)鍵績效指標(biāo)體系；……商城已建立面向整個(gè)零售業(yè)務(wù)的數(shù)據(jù)倉庫，整合了前臺業(yè)務(wù)運(yùn)營數(shù)據(jù)和后臺管理數(shù)據(jù)，建立了面向零售的管理分析應(yīng)用；金融集團(tuán)已開展供應(yīng)鏈金融、人人貸和保理等多種業(yè)務(wù)，積累了一定量的業(yè)務(wù)數(shù)據(jù)，同時(shí)業(yè)務(wù)人員也從客戶管理、風(fēng)險(xiǎn)評級和經(jīng)營規(guī)模預(yù)測等方面，提出了大量分析預(yù)測需求；……數(shù)據(jù)平臺、數(shù)據(jù)應(yīng)用、數(shù)據(jù)管控……基礎(chǔ)數(shù)據(jù)平臺和BI應(yīng)用建設(shè)是未來一段時(shí)間的重點(diǎn)！數(shù)據(jù)平臺整體架構(gòu)；數(shù)據(jù)平臺各層建設(shè)的標(biāo)準(zhǔn)；較成熟的金融業(yè)數(shù)據(jù)模型；數(shù)據(jù)質(zhì)量治理；元數(shù)據(jù)管理；

數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)數(shù)據(jù)整合；

數(shù)據(jù)應(yīng)用建設(shè)；數(shù)據(jù)平臺的軟硬環(huán)境……大數(shù)據(jù)分析平臺建設(shè)目標(biāo)外部非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一制定目標(biāo)和分析模型統(tǒng)一劃分分析主題統(tǒng)一設(shè)計(jì)數(shù)據(jù)模式統(tǒng)一規(guī)劃分析方法統(tǒng)一部署技術(shù)基礎(chǔ)統(tǒng)一定義BI應(yīng)用自定義報(bào)表工具行＋列的簡單定義方式多種格式報(bào)表集團(tuán)決策層集團(tuán)職能管控層各級業(yè)務(wù)操作層關(guān)注集團(tuán)主要經(jīng)營指標(biāo)業(yè)務(wù)人員使用BI應(yīng)用實(shí)現(xiàn)業(yè)務(wù)協(xié)作和創(chuàng)新BI分析工具供應(yīng)鏈金融系統(tǒng)POP系統(tǒng)其他業(yè)務(wù)系統(tǒng)云數(shù)據(jù)推送平臺已實(shí)現(xiàn)了主要零售及金融業(yè)務(wù)系統(tǒng)數(shù)據(jù)清洗、整合，為未來金融集團(tuán)數(shù)據(jù)平臺提供了豐富的數(shù)據(jù)源。通過數(shù)據(jù)平臺和BI應(yīng)用建設(shè)，金融集團(tuán)將搭建統(tǒng)一的大數(shù)據(jù)共享和分析平臺，對各類業(yè)務(wù)進(jìn)行前瞻性預(yù)測及分析，為集團(tuán)各層次用戶提供統(tǒng)一的決策分析支持，提升數(shù)據(jù)共享與流轉(zhuǎn)能力采購管理系統(tǒng)查看職能部門的業(yè)務(wù)經(jīng)營情況大數(shù)據(jù)分析平臺建設(shè)預(yù)期收益2.加強(qiáng)業(yè)務(wù)協(xié)作實(shí)現(xiàn)分散在供應(yīng)鏈金融、人人貸、保理等各個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)在數(shù)據(jù)平臺中的集中和整合，建立單一的產(chǎn)品、客戶等數(shù)據(jù)的企業(yè)級視圖，有效促進(jìn)業(yè)務(wù)的集成和協(xié)作，并為企業(yè)級分析、交叉銷售提供基礎(chǔ)3.促進(jìn)業(yè)務(wù)創(chuàng)新金融集團(tuán)業(yè)務(wù)人員可以基于明細(xì)、可信的數(shù)據(jù)，進(jìn)行多維分析和數(shù)據(jù)挖掘，為金融業(yè)務(wù)創(chuàng)新（客戶服務(wù)創(chuàng)新、產(chǎn)品創(chuàng)新等）創(chuàng)造了有利條件4.提升建設(shè)效率通過數(shù)據(jù)平臺對數(shù)據(jù)進(jìn)行集中，為管理分析、挖掘預(yù)測類等系統(tǒng)提供一致的數(shù)據(jù)基礎(chǔ)，改變現(xiàn)有系統(tǒng)數(shù)據(jù)來源多、數(shù)據(jù)處理復(fù)雜的現(xiàn)狀，實(shí)現(xiàn)應(yīng)用系統(tǒng)建設(shè)模式的轉(zhuǎn)變，提升相關(guān)IT系統(tǒng)的建設(shè)和運(yùn)行效率5.改善數(shù)據(jù)質(zhì)量從中長期看，數(shù)據(jù)倉庫對金融集團(tuán)分散在各個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)整合、清洗，有助于企業(yè)整體數(shù)據(jù)質(zhì)量的改善，提高的數(shù)據(jù)的實(shí)用性通過數(shù)據(jù)平臺實(shí)現(xiàn)數(shù)據(jù)集中，確保金融集團(tuán)各級部門均可在保證數(shù)據(jù)隱私和安全的前提下使用數(shù)據(jù)，充分發(fā)揮數(shù)據(jù)作為企業(yè)重要資產(chǎn)的業(yè)務(wù)價(jià)值1.實(shí)現(xiàn)數(shù)據(jù)共享議程大數(shù)據(jù)分析平臺綜述1大數(shù)據(jù)分析平臺總體架構(gòu)2大數(shù)據(jù)分析平臺演進(jìn)路線3大數(shù)據(jù)分析平臺一期實(shí)施重點(diǎn)4附錄：數(shù)據(jù)質(zhì)量管理平臺5大數(shù)據(jù)分析平臺總體架構(gòu)歷史數(shù)據(jù)查詢數(shù)據(jù)交換平臺應(yīng)用集市數(shù)據(jù)區(qū)商城零售供應(yīng)鏈金融人人貸系統(tǒng)基金系統(tǒng)……系統(tǒng)企業(yè)內(nèi)外部半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)大數(shù)據(jù)交換組件數(shù)據(jù)庫數(shù)據(jù)交換組件數(shù)據(jù)區(qū)數(shù)據(jù)交換組件數(shù)據(jù)計(jì)算層大數(shù)據(jù)區(qū)沙盤演練數(shù)據(jù)區(qū)數(shù)據(jù)應(yīng)用層實(shí)時(shí)數(shù)據(jù)區(qū)客戶主題協(xié)議主題產(chǎn)品主題業(yè)務(wù)沙盤演練數(shù)據(jù)增值產(chǎn)品零售數(shù)據(jù)供應(yīng)鏈數(shù)據(jù)增值產(chǎn)品數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)……用戶訪問層客戶匯總賬戶匯總機(jī)構(gòu)匯總……社交媒體移動(dòng)互聯(lián)用戶評價(jià)訪問日志處理后大數(shù)據(jù)待處理大數(shù)據(jù)流程調(diào)度監(jiān)控告警數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量元數(shù)據(jù)數(shù)據(jù)安全流程調(diào)度平臺……數(shù)據(jù)管控平臺流程調(diào)度層數(shù)據(jù)管控層數(shù)據(jù)產(chǎn)生層數(shù)據(jù)交換層實(shí)時(shí)數(shù)據(jù)查詢客戶管理財(cái)務(wù)管理……外部用戶貼源數(shù)據(jù)區(qū)……內(nèi)部管理分析內(nèi)部用戶歷史歸檔數(shù)據(jù)區(qū)IT人員風(fēng)險(xiǎn)管理大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)產(chǎn)生層內(nèi)部業(yè)務(wù)系統(tǒng)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)商城日常零售業(yè)務(wù)處理過程中產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，存儲在關(guān)系型數(shù)據(jù)庫中，如：供應(yīng)商信息、采購信息、商品信息、銷售流水……金融集團(tuán)日常業(yè)務(wù)處理過程中產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，存儲在關(guān)系型數(shù)據(jù)庫中，如：客戶信息、賬戶信息、金融產(chǎn)品信息、交易流水……企業(yè)內(nèi)部非結(jié)構(gòu)化數(shù)據(jù)日常業(yè)務(wù)處理過程中產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)，存儲形式多樣，主要包括用戶訪問日志、用戶投訴、用戶點(diǎn)評……企業(yè)外部數(shù)據(jù)企業(yè)外部數(shù)據(jù)以非結(jié)構(gòu)化為主，主要包括國家政策法規(guī)、論壇等互聯(lián)網(wǎng)信息、地理位置等移動(dòng)信息、微博等社交媒體信息……

源數(shù)據(jù)內(nèi)容在本次項(xiàng)目實(shí)施中將采用以增量為主、全量為輔結(jié)合的方式獲取源數(shù)據(jù)商城和金融集團(tuán)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)增量數(shù)據(jù)識別、獲取由云數(shù)據(jù)推送平臺負(fù)責(zé)，云數(shù)據(jù)推送平臺采用分析、對比源系統(tǒng)日志方式實(shí)現(xiàn)對于無法通過上述方式獲取增量的源系統(tǒng)數(shù)據(jù)，則采用某一個(gè)時(shí)間范圍內(nèi)的全部數(shù)據(jù)作為增量初始數(shù)據(jù)加載均采用全量模式源數(shù)據(jù)增量大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)交換層數(shù)據(jù)交換層設(shè)計(jì)目標(biāo)傳輸組件是根據(jù)數(shù)據(jù)源存儲的不同分類而設(shè)計(jì)的，本質(zhì)是通過分析數(shù)據(jù)存儲結(jié)構(gòu)和數(shù)據(jù)存儲庫的特點(diǎn)來針對性的設(shè)計(jì)工具，以追求卓越的性能保證數(shù)據(jù)在平臺內(nèi)高速流轉(zhuǎn)保證數(shù)據(jù)交換過程中不失真保證數(shù)據(jù)交換過程中不丟失保證數(shù)據(jù)交換過程安全可靠數(shù)據(jù)區(qū)數(shù)據(jù)交換組件數(shù)據(jù)庫數(shù)據(jù)交換組件大數(shù)據(jù)交換組件金融集團(tuán)系統(tǒng)數(shù)據(jù)服務(wù)層外部大數(shù)據(jù)商城系統(tǒng)Hadoop元數(shù)據(jù)云數(shù)據(jù)推送平臺數(shù)據(jù)平臺導(dǎo)入臨時(shí)區(qū)數(shù)據(jù)平臺導(dǎo)出臨時(shí)區(qū)NAS存儲ETL程序區(qū)大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)交換層NAS存儲Hadoop集群元數(shù)據(jù)區(qū)數(shù)據(jù)平臺ETL數(shù)據(jù)處理程序區(qū)數(shù)據(jù)平臺臨時(shí)數(shù)據(jù)區(qū)存儲數(shù)據(jù)平臺各個(gè)Hadoop集群的元數(shù)據(jù)信息，如：HDFS文件系統(tǒng)元數(shù)據(jù)集團(tuán)數(shù)據(jù)交換平臺每日獲取運(yùn)輸局推送平臺提供的業(yè)務(wù)系統(tǒng)變化數(shù)據(jù)，暫存在NAS臨時(shí)數(shù)據(jù)區(qū)金融數(shù)據(jù)平臺加工計(jì)算結(jié)果返回給業(yè)務(wù)系統(tǒng)，暫存在NAS臨時(shí)數(shù)據(jù)區(qū)數(shù)據(jù)平臺ETL加工處理程序（數(shù)據(jù)壓縮、數(shù)據(jù)加載、各數(shù)據(jù)數(shù)據(jù)處理等）統(tǒng)一存儲在NAS集群指定目錄，各接口服務(wù)器通過文件系統(tǒng)Link建立映射大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)交換層大數(shù)據(jù)交換組件企業(yè)內(nèi)部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，如：音頻、視頻、郵件、Office文檔、抵押品掃描件等企業(yè)外部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，如：微博、貼吧、論壇、用戶點(diǎn)擊流、用戶移動(dòng)位置等批量采集：大數(shù)據(jù)源以SFTP協(xié)議批量傳輸數(shù)據(jù)文件在線訪問：開發(fā)Java或C應(yīng)用，調(diào)用大據(jù)源API，或以網(wǎng)絡(luò)平臺爬蟲方式抓取源系統(tǒng)非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)組件以實(shí)時(shí)和批量兩種模式實(shí)現(xiàn)下列功能：數(shù)據(jù)采集數(shù)據(jù)傳輸?shù)綌?shù)據(jù)交換平臺（接口服務(wù)器）NAS指定目錄存儲數(shù)據(jù)到數(shù)據(jù)平臺大數(shù)據(jù)區(qū)指定HDFS目錄定時(shí)抽取用戶訪問日志，加載到數(shù)據(jù)平臺大數(shù)據(jù)區(qū)HDFS指定目錄，MR程序加工處理開發(fā)網(wǎng)絡(luò)爬蟲程序，掃描用戶微博，抓取用戶微博內(nèi)容，社交圈信息，存入大數(shù)據(jù)區(qū)處理對象實(shí)現(xiàn)技術(shù)實(shí)現(xiàn)功能應(yīng)用場景大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)交換層數(shù)據(jù)庫數(shù)據(jù)交換組件企業(yè)內(nèi)部業(yè)務(wù)系統(tǒng)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，包括兩大來源：商城零售業(yè)務(wù)數(shù)據(jù)，數(shù)據(jù)存儲在Oracle、SQLServer、MySQL和MongoDB四類數(shù)據(jù)庫金融集團(tuán)互聯(lián)網(wǎng)金融業(yè)務(wù)數(shù)據(jù)，數(shù)據(jù)存儲在MySQL數(shù)據(jù)庫Perl程序數(shù)據(jù)采集，調(diào)用Perl文件模塊相關(guān)函數(shù)，輪詢指定目錄，獲取數(shù)據(jù)文件數(shù)據(jù)核查，Perl執(zhí)行文件級數(shù)據(jù)質(zhì)量檢查數(shù)據(jù)加載，調(diào)用HiveLoad數(shù)據(jù)命令，加載到數(shù)據(jù)平臺臨時(shí)數(shù)據(jù)區(qū)的HiveTable組件以實(shí)時(shí)和批量模式實(shí)現(xiàn)下列功能：數(shù)據(jù)采集，輪詢NAS集群指定目錄，獲取數(shù)據(jù)文件（LZO壓縮）數(shù)據(jù)核查，對數(shù)據(jù)文件進(jìn)行質(zhì)量校驗(yàn)數(shù)據(jù)加載，加載數(shù)據(jù)到臨時(shí)數(shù)據(jù)區(qū)云數(shù)據(jù)推送平臺連接供應(yīng)鏈金融系統(tǒng)數(shù)據(jù)庫，分析供應(yīng)鏈金融MySQL數(shù)據(jù)庫日志，識別增量數(shù)據(jù)，存儲到金融平臺NAS存儲的指定目錄，金融平臺加載數(shù)據(jù)文件到數(shù)據(jù)平臺臨時(shí)區(qū)Hive表處理對象實(shí)現(xiàn)技術(shù)實(shí)現(xiàn)功能應(yīng)用場景大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)交換層數(shù)據(jù)區(qū)數(shù)據(jù)交換組件數(shù)據(jù)平臺計(jì)算層各數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)集市數(shù)據(jù)區(qū)沙盤數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū)歸檔數(shù)據(jù)區(qū)Sqoop實(shí)現(xiàn)集市數(shù)據(jù)區(qū)與數(shù)據(jù)平臺其他Hadoop數(shù)據(jù)區(qū)的數(shù)據(jù)交換Hadoop命令、Hive外部表、MR程序?qū)崿F(xiàn)數(shù)據(jù)平臺Hadoop數(shù)據(jù)區(qū)間的數(shù)據(jù)交換組件以批量方式實(shí)現(xiàn)下列數(shù)據(jù)交換功能：貼源數(shù)據(jù)區(qū)和主題數(shù)據(jù)區(qū)到集市數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū)到主題數(shù)據(jù)區(qū)和集市數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)、貼源數(shù)據(jù)區(qū)、集市數(shù)據(jù)區(qū)到沙盤數(shù)據(jù)區(qū)各個(gè)數(shù)據(jù)區(qū)數(shù)據(jù)歸檔數(shù)據(jù)集市的數(shù)據(jù)按照據(jù)生命周期規(guī)劃，統(tǒng)一將過期數(shù)據(jù)歸檔到歷史數(shù)據(jù)歸檔區(qū)處理對象實(shí)現(xiàn)技術(shù)實(shí)現(xiàn)功能應(yīng)用場景大數(shù)據(jù)分析平臺總體架構(gòu)——流程調(diào)度層批量處理流程批量數(shù)據(jù)處理由流程調(diào)度層部署的自定義開發(fā)WorkFlow組件調(diào)度運(yùn)行整個(gè)流程主要完成如下工作：獲取業(yè)務(wù)系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)，存入臨時(shí)數(shù)據(jù)區(qū)獲取企業(yè)內(nèi)外部非結(jié)構(gòu)化數(shù)據(jù)，并進(jìn)行結(jié)構(gòu)化處理，存入主題或集市數(shù)據(jù)區(qū)按照貼源數(shù)據(jù)模型整合數(shù)據(jù)（標(biāo)準(zhǔn)化、數(shù)據(jù)更新/追加）按照主題數(shù)據(jù)模型整合數(shù)據(jù)并生成匯總數(shù)據(jù)加工計(jì)算后，結(jié)果交付到數(shù)據(jù)集市，支持分析類應(yīng)用大數(shù)據(jù)分析平臺總體架構(gòu)——流程調(diào)度層實(shí)時(shí)數(shù)據(jù)處理流程實(shí)時(shí)數(shù)據(jù)處理強(qiáng)調(diào)的是實(shí)時(shí)或準(zhǔn)實(shí)時(shí)獲取并處理數(shù)據(jù)，通常采取消息隊(duì)列等技術(shù)構(gòu)建“數(shù)據(jù)流”整個(gè)處理流程由流程調(diào)度層部署的自定義開發(fā)WorkFlow組件調(diào)度運(yùn)行整個(gè)流程主要完成如下工作：通過數(shù)據(jù)庫數(shù)據(jù)交換組件獲取增量數(shù)據(jù)，加載到實(shí)時(shí)數(shù)據(jù)區(qū)通過大數(shù)據(jù)交換組件獲取非結(jié)構(gòu)化數(shù)據(jù)，并利用Storm處理數(shù)據(jù)，加載到實(shí)時(shí)數(shù)據(jù)區(qū)針對實(shí)時(shí)數(shù)據(jù)區(qū)數(shù)據(jù)執(zhí)行標(biāo)準(zhǔn)化處理和貼源整合大數(shù)據(jù)分析平臺總體架構(gòu)——流程調(diào)度層歸檔數(shù)據(jù)處理流程數(shù)據(jù)歸檔的對象包括業(yè)務(wù)系統(tǒng)數(shù)據(jù)文件、貼源數(shù)據(jù)區(qū)數(shù)據(jù)、主題數(shù)據(jù)區(qū)數(shù)據(jù)、大數(shù)據(jù)區(qū)數(shù)據(jù)和集市數(shù)據(jù)區(qū)數(shù)據(jù)數(shù)據(jù)按照生命周期規(guī)劃存儲到歸檔區(qū)Hadoop集群，歸檔后原數(shù)據(jù)區(qū)刪除此數(shù)據(jù)整個(gè)處理流程由流程調(diào)度層部署的自定義開發(fā)WorkFlow組件調(diào)度運(yùn)行整個(gè)流程主要完成如下工作：數(shù)據(jù)文件通過HDFS命令行copyfromlocal進(jìn)行歸檔貼源、主題和大數(shù)據(jù)區(qū)通過HDFS命令行distcp或自定義開發(fā)的MR程序執(zhí)行歸檔集市數(shù)據(jù)區(qū)通過Sqoop或數(shù)據(jù)庫提供的Hadoop集成技術(shù)（如：外部表）執(zhí)行歸檔大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)存儲層業(yè)務(wù)系統(tǒng)前日增量數(shù)據(jù)緩存數(shù)據(jù)，支持后續(xù)ELT數(shù)據(jù)處理數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶

訪問模式工作負(fù)載平臺要求貼源數(shù)據(jù)模型保存最近7天數(shù)據(jù)貼源數(shù)據(jù)區(qū)和主題數(shù)據(jù)區(qū)批量作業(yè)訪問無最終用戶訪問I/O敏感，連續(xù)小批量的數(shù)據(jù)抽取和加載少量量數(shù)據(jù)使用Hive的Load命令，大量數(shù)據(jù)使用MR程序與主題區(qū)/貼源區(qū)/集市區(qū)構(gòu)成一個(gè)Hadoop集群（Hive）無單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)主題數(shù)據(jù)區(qū)、集市數(shù)據(jù)區(qū)和沙盤演練數(shù)據(jù)區(qū)批量作業(yè)訪問無最終用戶訪問I/O敏感，日終批量ETL以ELT形式通過HiveSQL執(zhí)行與主題區(qū)/貼源區(qū)/集市區(qū)構(gòu)成一個(gè)Hadoop集群（Hive）無單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)貼源數(shù)據(jù)模型不保存歷史業(yè)務(wù)系統(tǒng)前日快照數(shù)據(jù)和一段時(shí)間的流水?dāng)?shù)據(jù)數(shù)據(jù)標(biāo)準(zhǔn)化，為后續(xù)主題模型、集市和沙盤演練提供數(shù)據(jù)臨時(shí)數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)存儲層（續(xù)）企業(yè)內(nèi)外部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)采集并存儲數(shù)據(jù)，進(jìn)行結(jié)構(gòu)化處理，最終得到結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶

訪問模式工作負(fù)載平臺要求數(shù)據(jù)按照HDFS文件存儲建議保留1年集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/主題區(qū)/歸檔區(qū)批量作業(yè)訪問少量高級業(yè)務(wù)人員進(jìn)行大數(shù)據(jù)分析MapReduce分布式計(jì)算，半/非結(jié)構(gòu)化數(shù)據(jù)的結(jié)構(gòu)化處理（包括文本檢索、語義分詞、圖像識別、音頻識別等）與主題區(qū)/貼源區(qū)構(gòu)成一個(gè)Hadoop集群（HDFS）無單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/主題區(qū)/高時(shí)效區(qū)批量作業(yè)訪問業(yè)務(wù)人員執(zhí)行歷史數(shù)據(jù)查詢MapReduce分布式計(jì)算，HDFS命令實(shí)現(xiàn)Hadoop集群內(nèi)歸檔，Sqoop實(shí)現(xiàn)數(shù)據(jù)庫歸檔，通過Hive提供歷史查詢獨(dú)立的Hadoop集群（HDFS+Hive）無單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)數(shù)據(jù)按照HDFS文件存儲數(shù)據(jù)文件按照數(shù)據(jù)區(qū)劃分目錄，建議保留7年其他各數(shù)據(jù)區(qū)歷史數(shù)據(jù)按數(shù)據(jù)生命周期規(guī)劃歸檔平臺過期數(shù)據(jù)，支撐歷史數(shù)據(jù)查詢大數(shù)據(jù)區(qū)歷史歸檔數(shù)據(jù)區(qū)大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)存儲層（續(xù)）業(yè)務(wù)系統(tǒng)歷史明細(xì)數(shù)據(jù)打破業(yè)務(wù)條線整合數(shù)據(jù)數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶

訪問模式工作負(fù)載可用性要求第三范式模型保留長期歷史，需要根據(jù)主題細(xì)化主題區(qū)/集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/歸檔區(qū)批量作業(yè)訪問少量高級業(yè)務(wù)人員進(jìn)行靈活查詢、挖掘預(yù)測I/O敏感，日終批量ETL（合并、拉鏈、關(guān)聯(lián)、匯總等等）以ELT形式通過HiveSQL執(zhí)行，復(fù)雜處理使用MR定制UDF與大數(shù)據(jù)區(qū)/貼源區(qū)構(gòu)成一個(gè)Hadoop集群（Hive）無單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/歸檔區(qū)批量作業(yè)訪問少量高級業(yè)務(wù)人員進(jìn)行靈活查詢、挖掘預(yù)測I/O敏感，日終批量ETL（連接、聚合、匯總等等）以ELT形式通過HiveSQL執(zhí)行，復(fù)雜處理使用MR定制UDF與大數(shù)據(jù)區(qū)/貼源區(qū)構(gòu)成一個(gè)Hadoop集群（Hive）無單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)逆范式寬表依賴于集市數(shù)據(jù)需求對主題數(shù)據(jù)預(yù)加工后的結(jié)果數(shù)據(jù)針對應(yīng)用需求進(jìn)行數(shù)據(jù)預(yù)連接、預(yù)匯總，為集市提供數(shù)據(jù)主題數(shù)據(jù)區(qū)—明細(xì)主題數(shù)據(jù)區(qū)—匯總大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)存儲層（續(xù)）按沙盤演練需求，準(zhǔn)備的明細(xì)或匯總業(yè)務(wù)數(shù)據(jù)為數(shù)據(jù)科學(xué)家的挖掘預(yù)測操作提供數(shù)據(jù)服務(wù)數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶

訪問模式工作負(fù)載可用性要求模型依賴于沙盤演練需求在整個(gè)沙盤演練周期內(nèi)保留集市區(qū)/沙盤區(qū)/歸檔區(qū)批量作業(yè)訪問少量高級業(yè)務(wù)人員進(jìn)行靈活查詢、挖掘預(yù)測I/O敏感，終批量ETL（合并、拉鏈、關(guān)聯(lián)、匯總等等）以ELT形式通過HiveSQL執(zhí)行，復(fù)雜處理使用MR定制UDF獨(dú)立的Hadoop集群（HDFS）無單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)沙盤區(qū)/歸檔區(qū)批量作業(yè)訪問決策人員、管理人員、業(yè)務(wù)人員訪問I/O敏感型，BI工具提交的報(bào)表、查詢、分析SQL命令和日終批量ETL（匯總、聚集等操作，以ELT形式通過SQL執(zhí)行）基于開放平臺的完全無共享

MPP數(shù)據(jù)庫集群+內(nèi)存數(shù)據(jù)庫無單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)維度數(shù)據(jù)模型依賴業(yè)務(wù)需求面向企業(yè)內(nèi)部管理分析類應(yīng)用需求的匯總數(shù)據(jù)為客戶、運(yùn)營等管理分析主題和數(shù)據(jù)增值產(chǎn)品提供數(shù)據(jù)服務(wù)沙盤演練數(shù)據(jù)區(qū)應(yīng)用集市數(shù)據(jù)區(qū)大數(shù)據(jù)軟分析平腦臺總體架構(gòu)——數(shù)據(jù)存儲送層（續(xù)）根據(jù)外祝部用戶估的數(shù)據(jù)料使用需豪求數(shù)據(jù)逐平臺加活工計(jì)算見的結(jié)果何數(shù)據(jù)為部署在數(shù)攔據(jù)平臺上去的企業(yè)內(nèi)腔外部增值張產(chǎn)品提供俗數(shù)據(jù)支持?jǐn)?shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶訪問模享式工作負(fù)宅載可用性要州求應(yīng)用模等型，依醋賴于用瓜戶業(yè)務(wù)滔需求依賴于用戶業(yè)務(wù)需求企業(yè)外摟部人員昏，如：欠京東客絲式戶通過自己萍部署在Paas平臺上清的應(yīng)用拐訪問I/O敏感型歇，BI工具提交綠的報(bào)表、哀查詢、分僵析SQL命令和日超終批量ETL（匯總、終聚集等操飽作，以ELT形式通過SQL執(zhí)行）獨(dú)立的Paas平臺，乖部署Hado艷op集群無單點(diǎn)故障，7×24小時(shí)+非工作百日有限例停機(jī)企業(yè)業(yè)工務(wù)人員高時(shí)效、高并發(fā)、壤高可靠竿性的聯(lián)徑機(jī)交易桐類查詢CPU敏感，BI工具或業(yè)階務(wù)系統(tǒng)高他并發(fā)、高蹲時(shí)效查詢屢，以及準(zhǔn)憶實(shí)時(shí)連續(xù)ETL處理+SQ爽L批量處攪?yán)愍?dú)立的訓(xùn)內(nèi)存數(shù)套據(jù)庫集支群無單點(diǎn)故障，365×部24小時(shí)不停碧機(jī)貼源數(shù)郵據(jù)模型依賴用戶浮業(yè)務(wù)需求面向應(yīng)用縫的業(yè)務(wù)系潛統(tǒng)快照數(shù)證據(jù)和一段艦時(shí)間的交堪易流水為實(shí)時(shí)相獲準(zhǔn)實(shí)焰時(shí)分析羊應(yīng)用提蚊供數(shù)據(jù)盈服務(wù)增值產(chǎn)品符數(shù)據(jù)區(qū)實(shí)時(shí)數(shù)黑據(jù)區(qū)大數(shù)據(jù)分乳析平臺總淹體架構(gòu)——數(shù)據(jù)存家儲層數(shù)據(jù)流數(shù)據(jù)集成抗層操作型聚眼合數(shù)據(jù)臨時(shí)數(shù)擱據(jù)區(qū)實(shí)時(shí)數(shù)拖據(jù)區(qū)公共匯學(xué)總數(shù)據(jù)主題明杠細(xì)數(shù)據(jù)結(jié)構(gòu)化數(shù)繳據(jù)非結(jié)構(gòu)化&半結(jié)構(gòu)化跡數(shù)據(jù)沙盤演練施數(shù)據(jù)區(qū)實(shí)驗(yàn)室澆數(shù)據(jù)集市數(shù)駝?chuàng)^(qū)POP自營數(shù)迷據(jù)貼源數(shù)據(jù)韻區(qū)金融業(yè)較務(wù)數(shù)據(jù)主題數(shù)紗據(jù)區(qū)客戶管理寫集市財(cái)務(wù)管扔理集市運(yùn)營管理叔集市風(fēng)險(xiǎn)管擴(kuò)理集市……集市大物流系擦統(tǒng)數(shù)據(jù)供應(yīng)鏈容系統(tǒng)數(shù)尖據(jù)財(cái)務(wù)審漸計(jì)數(shù)據(jù)財(cái)務(wù)研召發(fā)數(shù)據(jù)操作型明墻細(xì)據(jù)歸檔數(shù)薄據(jù)區(qū)大數(shù)據(jù)區(qū)源系統(tǒng)數(shù)據(jù)文件貼源數(shù)據(jù)主題數(shù)據(jù)集市數(shù)診據(jù)高時(shí)效數(shù)據(jù)大數(shù)據(jù)增值產(chǎn)培品數(shù)據(jù)爭區(qū)大數(shù)據(jù)分藝析平臺總消體架構(gòu)——數(shù)據(jù)應(yīng)用仔層大數(shù)據(jù)平臺應(yīng)用針對公逗檢法查狐詢需求慌、內(nèi)外丑部審計(jì)瓶需求和補(bǔ)最終用顏戶的歷方史交易壞查詢需關(guān)求，以宴貼源存炒儲的歸怕檔數(shù)據(jù)當(dāng)為基礎(chǔ)備，實(shí)現(xiàn)帳的查詢景類應(yīng)用歷史查園詢類應(yīng)棕用通常斤使用BI工具或自催主開發(fā)實(shí)不現(xiàn)客戶經(jīng)理至等最終業(yè)預(yù)務(wù)人員針協(xié)對當(dāng)前業(yè)戴務(wù)的發(fā)生弊（如：用剝戶交易、鴉用戶訪問厲日志），踢進(jìn)行實(shí)時(shí)查插詢、分析虧的應(yīng)用管理分析皇類應(yīng)用主毀要實(shí)現(xiàn)了徒集團(tuán)客戶脾管理、運(yùn)度營管理、覽財(cái)務(wù)管理漿、風(fēng)險(xiǎn)管投理、監(jiān)管恩信息披露盾五大分析豬體系功能管理分析襖類應(yīng)用通摸常采用套趴裝軟件和BI工具（Micr豆oStr刷ateg饒y等）實(shí)現(xiàn)業(yè)務(wù)人員呀根據(jù)業(yè)務(wù)躁需求或自哭己對業(yè)務(wù)唱的理解，辛設(shè)計(jì)計(jì)算滅模型，準(zhǔn)漁備各類明蟲細(xì)或匯總晚數(shù)據(jù)，導(dǎo)霞入模型運(yùn)角算，驗(yàn)證桂業(yè)務(wù)結(jié)果沙盤演忍練類應(yīng)駐用通常塌使用R語言在Hado刺op分布式體賞系下實(shí)現(xiàn)金融集團(tuán)挖數(shù)據(jù)科學(xué)澤家根據(jù)自潤己對業(yè)務(wù)矮需求的理伐解或者對猜市場的判邪斷，設(shè)計(jì)能并運(yùn)行模戰(zhàn)型，發(fā)掘歉數(shù)據(jù)價(jià)值跪，并封裝普成商業(yè)產(chǎn)羊品數(shù)據(jù)增碼值產(chǎn)品帆通常采狐用R語言和BI工具實(shí)泛現(xiàn)，面節(jié)向企業(yè)晶內(nèi)外部疤用戶管理分蛋析類應(yīng)嫁用1沙盤演旱練類應(yīng)容用3歷史查守詢類應(yīng)的用4高時(shí)效類分析應(yīng)棵用5數(shù)據(jù)增午值類產(chǎn)擴(kuò)品2實(shí)時(shí)分析糾類應(yīng)用通艇常使用CEP、ESB等技術(shù)實(shí)詢現(xiàn)大數(shù)據(jù)額分析平秒臺總體緊架構(gòu)——平臺發(fā)展不同階段輩對應(yīng)應(yīng)用工作負(fù)著載復(fù)雜仿度大數(shù)據(jù)平繭臺發(fā)展階監(jiān)段劃分操作為主卷階段什么正在煮發(fā)生？動(dòng)態(tài)數(shù)據(jù)駱倉庫階段讓正確組的事情救發(fā)生！分析為主隨階段為什么份會發(fā)生報(bào)表為寨主階段發(fā)生了扯什么預(yù)測為主惱階段將會發(fā)鎮(zhèn)生什么錦？批量隨機(jī)查詢數(shù)據(jù)分析持續(xù)更新前加載/短查詢基于事紅件的動(dòng)拳態(tài)觸發(fā)數(shù)據(jù)量增流長用戶數(shù)壘增長查詢復(fù)雜度刃增長ETL處理復(fù)雜象度增長管理分析類應(yīng)用歷史查豎詢類應(yīng)貪用實(shí)時(shí)分土析類應(yīng)價(jià)用沙盤演練類應(yīng)用數(shù)據(jù)增值類產(chǎn)品大數(shù)據(jù)分死析平臺總輩體架構(gòu)——管理分妄析類應(yīng)錫用總賬分析資產(chǎn)負(fù)債踩表分析損益表分久析現(xiàn)金流序量表分狼析財(cái)務(wù)指溉標(biāo)分析盈利分舞析機(jī)構(gòu)貢獻(xiàn)耍度產(chǎn)品貢獻(xiàn)霧度客戶細(xì)殲分貢獻(xiàn)腎度渠道績褲效資產(chǎn)負(fù)社債分析主要指容標(biāo)報(bào)告，如：凈利息收第入、凈泥收入、凈現(xiàn)值、市惰場價(jià)值等頭寸報(bào)皮告現(xiàn)金流報(bào)告風(fēng)險(xiǎn)價(jià)值豈（VaR）計(jì)算財(cái)務(wù)預(yù)算與春計(jì)劃財(cái)務(wù)預(yù)算財(cái)務(wù)計(jì)露劃執(zhí)行舍監(jiān)控執(zhí)行過程丸分析年末財(cái)務(wù)菠計(jì)劃執(zhí)行乳分析預(yù)測與場俱景分析業(yè)務(wù)規(guī)模運(yùn)預(yù)測收益預(yù)櫻測……領(lǐng)導(dǎo)管墻理駕駛貓艙機(jī)構(gòu)績效考嘴核客戶經(jīng)理考餓核客戶經(jīng)理蘭工作量評各估客戶經(jīng)槍理服務(wù)客戶收益未評估產(chǎn)品績效瓣考核業(yè)務(wù)量考核供應(yīng)鏈金融業(yè)付務(wù)人人貸業(yè)務(wù)保理業(yè)抖務(wù)基金業(yè)務(wù)其它中密間業(yè)務(wù)……渠道成本個(gè)與收益……風(fēng)險(xiǎn)監(jiān)勝控報(bào)表/信息披露流動(dòng)性投報(bào)表利率敏感性報(bào)煌表資本充蟲足率報(bào)創(chuàng)表……市場風(fēng)險(xiǎn)市場風(fēng)險(xiǎn)暑暴露值流動(dòng)性背管理、蹄利率管赤理信用風(fēng)險(xiǎn)信用風(fēng)險(xiǎn)贈暴露值計(jì)在算信用風(fēng)擋險(xiǎn)控制（貸前爽控制、將貸中監(jiān)親控、貸專后分析目）操作風(fēng)險(xiǎn)異常交易丘預(yù)警后督差垮錯(cuò)檢查……防欺詐/反洗錢定義欺詐交細(xì)易模型可能性欺詐交易預(yù)警欺詐交易分布分唱析全面風(fēng)它險(xiǎn)管理……目前監(jiān)貍管機(jī)構(gòu)系沒有明辱確要求客戶單答一視圖公司客戶牽信息管理個(gè)人客攤戶信息旅管理同業(yè)客戶僑信息管理目標(biāo)客愉戶搜索重點(diǎn)客戶關(guān)懷客戶風(fēng)險(xiǎn)客戶異動(dòng)客戶客戶細(xì)分個(gè)人客戶細(xì)分公司客戶細(xì)薦分客戶行為違分析客戶輪廓嚴(yán)分析產(chǎn)品交叉冷銷售分析百分比分具析渠道偏叼好分析營銷活動(dòng)辨管理營銷活混動(dòng)規(guī)劃營銷活動(dòng)潛定義營銷活治動(dòng)執(zhí)行營銷活蛛動(dòng)蘋果營銷活份動(dòng)自動(dòng)完化渠道接口規(guī)與集成流程自動(dòng)脆化……客戶管益理運(yùn)營管理財(cái)務(wù)管理風(fēng)險(xiǎn)管理監(jiān)管披露示例大數(shù)據(jù)分枯析平臺總攀體架構(gòu)——數(shù)據(jù)訪問猛層即席查詢匆：通過即席槐查詢工具或手工書枝寫SQL語句，完成業(yè)務(wù)銅信息的即齊席查看多維分險(xiǎn)析：從多個(gè)維唱度靈活組壺合對目標(biāo)華值進(jìn)行分妄析，常見擠功能包括委上下鉆取型、透明鉆撞取、旋轉(zhuǎn)首、分頁、基層鉆、跨挨維鉆取等主動(dòng)問題沖發(fā)現(xiàn)：通過事件鵲觸發(fā)、規(guī)倘則匹配等臉方式發(fā)現(xiàn)摧企業(yè)運(yùn)營會中的問題川，通過手液機(jī)、郵件紗等方式報(bào)珍警決策層管理層業(yè)務(wù)人員即席查姜詢靜態(tài)報(bào)混表多維分析儀表盤挖掘預(yù)沸測儀表盤：通過儀辮表盤及涂其它展店現(xiàn)方式漆對企業(yè)畏關(guān)鍵績別效指標(biāo)禁進(jìn)行展抵示，為昂領(lǐng)導(dǎo)層拒決策提終供直觀牌的數(shù)據(jù)音支持靜態(tài)報(bào)表：按照預(yù)先游定義格式指，批處理錫報(bào)表，在脖線查詢報(bào)傲表等Off劍ice集成：將分析應(yīng)偶用嵌入到Off止ice界面中，秒利用Offi近c(diǎn)e的方便兔、易用鍛特性，期降低用戰(zhàn)戶使用足難度問題發(fā)現(xiàn)Off舍ice集成Web服務(wù)挖掘預(yù)測：使用專鞭業(yè)的軟綿件工具鐵，通過數(shù)理織統(tǒng)計(jì)等高希級統(tǒng)計(jì)分午析算法，分析結(jié)忍構(gòu)化、殲非結(jié)構(gòu)員化數(shù)據(jù)扒，通過數(shù)熔據(jù)模型技去挖掘粗隱藏在前數(shù)據(jù)中厭的價(jià)值數(shù)據(jù)科稿學(xué)家業(yè)務(wù)系顏統(tǒng)Web服務(wù)：將分析逗應(yīng)用的吼功能發(fā)街布為Web服務(wù)，預(yù)注冊在珠企業(yè)服灣務(wù)總線仆上，供慚其它業(yè)剪務(wù)系統(tǒng)黃或分析緣瑞應(yīng)用調(diào)隱用，獲拘取分析魂結(jié)果多種展矩現(xiàn)形式貨滿足各腔層級用杏戶及應(yīng)浙用系統(tǒng)時(shí)使用需釣求大數(shù)據(jù)擁分析平稱臺總體架構(gòu)——數(shù)據(jù)管控愿層金融數(shù)古據(jù)管控體系俊涵蓋組織架構(gòu)傘、評價(jià)與考核、管控流程、管控平臺四個(gè)域。數(shù)據(jù)標(biāo)駐準(zhǔn)管理數(shù)據(jù)質(zhì)量廊管理元數(shù)據(jù)管因理工作流率管理……組織數(shù)據(jù)與信叔息標(biāo)準(zhǔn)化抹委員會數(shù)據(jù)管釋理人數(shù)據(jù)所有乞人數(shù)據(jù)生產(chǎn)人數(shù)據(jù)使用人IT支持團(tuán)隊(duì)考核指框標(biāo)責(zé)任評熟價(jià)標(biāo)準(zhǔn)執(zhí)翻行評價(jià)政策執(zhí)行習(xí)評價(jià)評價(jià)標(biāo)變準(zhǔn)數(shù)據(jù)類型數(shù)據(jù)格民式業(yè)務(wù)分矮類真實(shí)性都定義及時(shí)性市定義完整性護(hù)定義技術(shù)元輸數(shù)據(jù)流程評價(jià)與考猛核流程考核指標(biāo)建立/維護(hù)流程標(biāo)準(zhǔn)建立/維護(hù)流程組織建立/維護(hù)流利程評價(jià)與考核業(yè)務(wù)含義一致性恭定義數(shù)據(jù)認(rèn)責(zé)平臺安全等級權(quán)限定義數(shù)據(jù)停用數(shù)據(jù)共享數(shù)據(jù)移動(dòng)數(shù)據(jù)存儲數(shù)據(jù)創(chuàng)建業(yè)務(wù)元數(shù)寫據(jù)管理元數(shù)養(yǎng)據(jù)數(shù)據(jù)全生社命周期數(shù)據(jù)安全管理數(shù)據(jù)標(biāo)溉準(zhǔn)數(shù)據(jù)質(zhì)量元數(shù)據(jù)數(shù)據(jù)安全…………審計(jì)定周義保留策炎略……大數(shù)據(jù)蹤蝶分析平化臺總體架構(gòu)——數(shù)據(jù)管控體系押內(nèi)部運(yùn)轉(zhuǎn)傍機(jī)制管控組雄織數(shù)據(jù)管控塑委員會數(shù)據(jù)所有人數(shù)據(jù)認(rèn)責(zé)人IT支持……管控流程數(shù)據(jù)接入流程數(shù)據(jù)變當(dāng)更流程數(shù)據(jù)授壩權(quán)流程數(shù)據(jù)退當(dāng)役流程標(biāo)準(zhǔn)/政策制定流神程評價(jià)考害核流程……評價(jià)與考名核標(biāo)準(zhǔn)（數(shù)求據(jù)標(biāo)準(zhǔn)、冶質(zhì)量要求敗、安全要存求）遵守標(biāo)準(zhǔn)勻所需要的鏟政策政策與丘標(biāo)準(zhǔn)遵寨從考評拜定義……數(shù)據(jù)產(chǎn)生患者數(shù)據(jù)使用徒者………流程支呼撐流程支更撐制定管控平臺工具支撐明確了攻數(shù)據(jù)管異控過程辮中的組居織結(jié)構(gòu)饞、角色吉、職責(zé)領(lǐng)等。管娃控組織靜除了要恩負(fù)責(zé)制裂定數(shù)據(jù)效標(biāo)準(zhǔn)、彈質(zhì)量、獨(dú)安全等脫要求外怪，還需王要負(fù)責(zé)宣制定管晌控的相蜜關(guān)流程玩和評價(jià)寫考核指鎖標(biāo)等內(nèi)和容?？荚u制定通過建立陵一些定性塊或定量的添數(shù)據(jù)管控忍評價(jià)考核嘗指標(biāo)，去催評估及考倡核數(shù)據(jù)相收關(guān)責(zé)任人蹈職責(zé)履行羞情況、數(shù)身據(jù)管控標(biāo)運(yùn)準(zhǔn)及數(shù)據(jù)同政策的執(zhí)膜行情況等蔥。規(guī)范了秧數(shù)據(jù)管戴控過程艱中，各抵個(gè)環(huán)節(jié)差日常任判務(wù)處理祝的運(yùn)作向模式，懸例如數(shù)本據(jù)定義光如何變敵更、數(shù)祥據(jù)沖突么如何協(xié)耐調(diào)等。采用專捕門的技?xì)W術(shù)平臺荷支撐管羞控流程哲的自動(dòng)鍵化，發(fā)娃布管控脫組織制楊定的一銅些相關(guān)聯(lián)標(biāo)準(zhǔn)和挎規(guī)范，薄及時(shí)反稀映管控堤過程中騾存在的氣一些問市題等。管控綜合管理標(biāo)準(zhǔn)/規(guī)范管毯理流程管涉理考核儀表享盤……元數(shù)據(jù)移管理業(yè)務(wù)元姐數(shù)據(jù)管立理技術(shù)元數(shù)消據(jù)管理管理元宵數(shù)據(jù)分稼析……數(shù)據(jù)質(zhì)蓮量管理稽核規(guī)識則管理數(shù)據(jù)稽核質(zhì)量報(bào)告……工具支撐組織架寸構(gòu)、評攝價(jià)與考壓核、管譽(yù)控流程弄、管控弄工具這四個(gè)域晨相互作用弓、相互支撞撐，提供峰對各信息撿系統(tǒng)數(shù)據(jù)脊的管控。大數(shù)據(jù)抵分析平田臺總體延架構(gòu)——數(shù)據(jù)管控組織數(shù)據(jù)管渣控組織若是數(shù)據(jù)塔管控體暖系中最疏重要的滔因素，樂它負(fù)責(zé)雷定義和蹈管理業(yè)說務(wù)數(shù)據(jù)為相關(guān)標(biāo)另準(zhǔn)，制顫定遵尋傍標(biāo)準(zhǔn)所點(diǎn)必須的械政策，不監(jiān)測正逐在進(jìn)行視的數(shù)據(jù)畝管控行胡動(dòng)。數(shù)據(jù)管控拳組織是否傘有完整與娃合理的角拴色定義、幅是否有高質(zhì)層領(lǐng)導(dǎo)的扯參與，是滴整個(gè)數(shù)據(jù)慎管控的成纖敗的關(guān)鍵渴。典型的數(shù)緣瑞據(jù)管控組腸織如下所很示：數(shù)據(jù)管控綱負(fù)責(zé)部門崗位角色數(shù)據(jù)管始控主導(dǎo)虎方信息管框理委員誘會數(shù)據(jù)標(biāo)準(zhǔn)管理員數(shù)據(jù)質(zhì)量管理員數(shù)據(jù)產(chǎn)生獵部門數(shù)據(jù)管莊控參與擋方業(yè)務(wù)協(xié)調(diào)人數(shù)據(jù)分析員數(shù)據(jù)主棗管數(shù)據(jù)使用部門業(yè)務(wù)協(xié)調(diào)人數(shù)據(jù)分析員數(shù)據(jù)主城管數(shù)據(jù)擁有部門業(yè)務(wù)協(xié)調(diào)人數(shù)據(jù)分析員數(shù)據(jù)主管數(shù)據(jù)管理部門運(yùn)維組織實(shí)施項(xiàng)紋目組數(shù)據(jù)安全管理員數(shù)據(jù)管控泡經(jīng)理元數(shù)據(jù)管理員大數(shù)據(jù)分掛析平臺總逼體架構(gòu)——數(shù)據(jù)標(biāo)站準(zhǔn)管理消除一衡數(shù)多義則，提升尿數(shù)據(jù)的村唯一性滅、一致攻性，將伏逐步形庫成的數(shù)匆據(jù)標(biāo)準(zhǔn)唇納入一馳個(gè)規(guī)范寸的管理鼻流程中翁，進(jìn)行衫數(shù)據(jù)標(biāo)做準(zhǔn)的更驅(qū)新、發(fā)寨布、使隆用監(jiān)督關(guān)等工作。數(shù)據(jù)標(biāo)準(zhǔn)管理抬工作可以擴(kuò)分為以下寨幾個(gè)部分貢：數(shù)據(jù)標(biāo)蔬準(zhǔn)建立和環(huán)維護(hù)、數(shù)受據(jù)標(biāo)準(zhǔn)執(zhí)變行、數(shù)據(jù)散標(biāo)準(zhǔn)管理劫的考評。數(shù)據(jù)標(biāo)暑準(zhǔn)建立蓄和維護(hù)數(shù)據(jù)分類數(shù)據(jù)結(jié)構(gòu)關(guān)鍵業(yè)務(wù)辱對象關(guān)鍵代稻碼數(shù)據(jù)維度代碼映傲射客戶類數(shù)據(jù)標(biāo)準(zhǔn)產(chǎn)品類數(shù)據(jù)標(biāo)準(zhǔn)。。。類數(shù)據(jù)標(biāo)浸準(zhǔn)數(shù)據(jù)標(biāo)麥準(zhǔn)執(zhí)行數(shù)據(jù)標(biāo)準(zhǔn)留管理的考坐評定性考腔評定量考?xì)庠u數(shù)據(jù)標(biāo)尾準(zhǔn)分析報(bào)告數(shù)據(jù)標(biāo)厘準(zhǔn)理念捕推廣歸檔系癥統(tǒng)……ODS大數(shù)據(jù)分僚析平臺總歉體架構(gòu)——數(shù)據(jù)質(zhì)殺量管理數(shù)據(jù)質(zhì)量蔬管理框架削藍(lán)圖如下士，其中數(shù)詞據(jù)質(zhì)量提線升是改進(jìn)鹽數(shù)據(jù)質(zhì)量黃的手段和質(zhì)量考評的忘目的：數(shù)據(jù)質(zhì)薦量要求土確認(rèn)，刑根據(jù)業(yè)瘦務(wù)要求楚制定和陽明確數(shù)閑據(jù)質(zhì)量科要求，同時(shí)也需要愛符合數(shù)簡據(jù)標(biāo)準(zhǔn)雷的要求腰；數(shù)據(jù)質(zhì)廟量考評狹，對數(shù)況據(jù)質(zhì)量始的量化參評價(jià)制定數(shù)據(jù)棋質(zhì)量問題鄉(xiāng)豐解決方案文，根據(jù)數(shù)鵝據(jù)質(zhì)量考商評和日常換工作中發(fā)秩現(xiàn)的數(shù)據(jù)雁質(zhì)量問題講，實(shí)施相獎(jiǎng)應(yīng)的措施鞭，提升數(shù)坡?lián)|(zhì)量數(shù)據(jù)質(zhì)量要求業(yè)務(wù)規(guī)則數(shù)據(jù)一致性要求數(shù)據(jù)完整性要求數(shù)據(jù)唯一性要求數(shù)據(jù)準(zhǔn)確性要求數(shù)據(jù)及時(shí)性要求數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量驗(yàn)證規(guī)則數(shù)據(jù)質(zhì)量考核指標(biāo)數(shù)據(jù)質(zhì)量提升數(shù)據(jù)補(bǔ)錄手工修正自動(dòng)修正數(shù)據(jù)質(zhì)量考評數(shù)據(jù)質(zhì)量監(jiān)控不定期數(shù)據(jù)質(zhì)量檢查數(shù)據(jù)質(zhì)量分析報(bào)告大數(shù)據(jù)分憤析平臺總聾體架構(gòu)——元數(shù)據(jù)管蒙理業(yè)務(wù)元乓數(shù)據(jù)：需面向業(yè)鐮務(wù)人員冷，從業(yè)歡務(wù)術(shù)語努、業(yè)務(wù)千描述、叉業(yè)務(wù)指淋標(biāo)和業(yè)打務(wù)規(guī)則斧等幾個(gè)少方面對傘數(shù)據(jù)進(jìn)蒸行描述管理元數(shù)您據(jù)：面向慢數(shù)據(jù)管理潤人員，從純運(yùn)維管理悶的角度描駝述數(shù)據(jù)處抵理、數(shù)據(jù)始質(zhì)量和數(shù)則據(jù)安全的塘狀態(tài)信息技術(shù)元挪數(shù)據(jù)：吹面向技羊術(shù)人員銜，從數(shù)攤據(jù)結(jié)構(gòu)鄉(xiāng)豐和數(shù)據(jù)物處理細(xì)盲節(jié)方面裹對數(shù)據(jù)幻玉進(jìn)行技笛術(shù)化描打述大數(shù)據(jù)分徐析平臺總油體架構(gòu)——數(shù)據(jù)安臉全管理數(shù)據(jù)安棚全管理償可分為窩數(shù)據(jù)安融全分級工管理和疲數(shù)據(jù)訪罰問授權(quán)精管理兩償個(gè)部分爭：數(shù)據(jù)安舉全分級烤：根據(jù)屯業(yè)務(wù)要藏求，制缺定一系綱列的數(shù)匪據(jù)安全餡分級標(biāo)幸準(zhǔn)和政緞策，為條數(shù)據(jù)應(yīng)芝用以及社數(shù)據(jù)管待理中實(shí)碗施數(shù)據(jù)獸安全保喊護(hù)和訪濾問提供先數(shù)據(jù)安鐘全控制扶的基礎(chǔ)獲。數(shù)據(jù)訪問溝授權(quán)：數(shù)搭據(jù)訪問授飛權(quán)的主要撐工作是根及據(jù)數(shù)據(jù)安決全分級標(biāo)搶準(zhǔn)，定義音數(shù)據(jù)訪問幅的授權(quán)方錯(cuò)法及流程逮，建立基列于數(shù)據(jù)安藏全分級的詠數(shù)據(jù)使用畝授權(quán)機(jī)制架，實(shí)現(xiàn)數(shù)塘據(jù)訪問和絕信息披露獲的安全。數(shù)據(jù)安全丹分級數(shù)據(jù)敏感度數(shù)據(jù)安全等級定義數(shù)據(jù)訪炸問授權(quán)數(shù)據(jù)重要性數(shù)據(jù)使用需求數(shù)據(jù)使投用者權(quán)責(zé)數(shù)據(jù)訪攤問授權(quán)規(guī)串則安全技術(shù)大數(shù)據(jù)宅分析平廚臺總體撐架構(gòu)——高階工作流程業(yè)務(wù)數(shù)據(jù)剪規(guī)劃管理絨高階流程數(shù)據(jù)認(rèn)責(zé)職流程數(shù)據(jù)治理艱考核體系數(shù)據(jù)治避理考核沈流程數(shù)據(jù)治臥理考核航指標(biāo)體經(jīng)系數(shù)據(jù)標(biāo)準(zhǔn)辮管理管理遭高階流程數(shù)據(jù)標(biāo)鬧準(zhǔn)建立我流程數(shù)據(jù)標(biāo)慈準(zhǔn)維護(hù)隸流程數(shù)據(jù)質(zhì)橡量管理督管理高割階流程數(shù)據(jù)質(zhì)量望要求確定忘流程元數(shù)據(jù)幟管理高罩階流程元數(shù)據(jù)變州更流程數(shù)據(jù)安細(xì)全管理墻管理高上階流程數(shù)據(jù)安全緞審批流程數(shù)據(jù)認(rèn)責(zé)侵流程數(shù)據(jù)標(biāo)準(zhǔn)僑、質(zhì)量、元數(shù)據(jù)扁、安全管理流釣程協(xié)調(diào)會議考核流程大數(shù)據(jù)真分析平濟(jì)臺總體寫架構(gòu)——數(shù)據(jù)管控涌平臺數(shù)據(jù)管控平沃臺從總游體上來故說分為算數(shù)據(jù)層預(yù)、應(yīng)用狠層、展課現(xiàn)層三讓個(gè)主要秀層面，端以數(shù)據(jù)透層的數(shù)毫據(jù)庫及球相關(guān)基舉礎(chǔ)系統(tǒng)澆為主要擁信息來攤源，通撤過應(yīng)用扒層的運(yùn)旅算處理羅，以不牽同的形幣式，不隙同的功攜能在展素現(xiàn)層提切供用戶劇接口首頁標(biāo)準(zhǔn)管理主菜單指標(biāo)速遞待辦事項(xiàng)信息地圖標(biāo)準(zhǔn)瀏覽標(biāo)準(zhǔn)維護(hù)工作管理流程管理績效指標(biāo)系統(tǒng)管理用戶管理權(quán)限管理規(guī)范管理數(shù)據(jù)管控平臺統(tǒng)一用戶集成界面數(shù)據(jù)標(biāo)準(zhǔn)知識庫數(shù)據(jù)管控平臺知識庫……元數(shù)據(jù)管理元數(shù)據(jù)采集……元數(shù)據(jù)知識庫質(zhì)量管理規(guī)則配置……質(zhì)量稽核庫數(shù)據(jù)層應(yīng)用層展現(xiàn)層大數(shù)據(jù)分遠(yuǎn)析平臺總體產(chǎn)品舌框架非結(jié)構(gòu)化/半結(jié)構(gòu)化凱數(shù)據(jù)管理分映析平臺（X86粥MPP集群）京東業(yè)務(wù)葛系統(tǒng)結(jié)構(gòu)慈化數(shù)據(jù)基礎(chǔ)計(jì)扯算平臺征（貼源罷數(shù)據(jù)區(qū)+主題數(shù)據(jù)狹區(qū)+大數(shù)據(jù)半?yún)^(qū)）（Had渴oop集群+Hi突ve）數(shù)據(jù)交碗換平臺（自主開發(fā)交換考組件+NA或S存儲）實(shí)時(shí)分粥析平臺（內(nèi)存數(shù)御據(jù)庫）沙盤演數(shù)練平臺（Hado甩op集群）數(shù)據(jù)管屢控平臺FTPSFTP癢/HTT什P/AP攜ICop甜yfr按oml找oalQue兩ue京東云數(shù)據(jù)推送賭平臺增值產(chǎn)蜂品平臺（Had謹(jǐn)oop集群）歷史歸檔茂查詢平臺（Had延oop集群+Hi嚷ve）Load（Hive）Dis蝴tcpHQL以+Lo刪adDis祝tcpDist味cpHQL+阿LoadDis艇tcpHQL+座LoadSqo襲opSqo奏opSqoo斯pMR流程調(diào)度細(xì)平臺議程大數(shù)據(jù)刻分析平貸臺綜述1大數(shù)據(jù)分柔析平臺總營體架構(gòu)2大數(shù)據(jù)分鵝析平臺演止進(jìn)路線3大數(shù)據(jù)分束析平臺一辟期實(shí)施重構(gòu)點(diǎn)4附錄：憑數(shù)據(jù)質(zhì)貨量管理乞平臺5大數(shù)據(jù)分蒜析平臺演梅進(jìn)路線以基礎(chǔ)蝴平臺搭估建為主換，配合們金融集梢團(tuán)初期茄業(yè)務(wù)開聯(lián)展，應(yīng)全用建設(shè)弓從客戶鏟信息管沖理、風(fēng)辣險(xiǎn)管理斤和運(yùn)營擁管理三覆方面開易展搭建大數(shù)荷據(jù)處理平叫臺和實(shí)時(shí)揮分析平臺馳，應(yīng)用方踐面開展實(shí)使時(shí)分析和論數(shù)據(jù)產(chǎn)品卵封裝開展客戶予信息管理慰、信用風(fēng)舅險(xiǎn)評級和娛業(yè)務(wù)統(tǒng)計(jì)飽分析三類耽應(yīng)用建設(shè)開展貼源狀數(shù)據(jù)整合耗，初步建據(jù)立企業(yè)級雜數(shù)據(jù)視圖塊，實(shí)現(xiàn)對鏡管理分析犯類應(yīng)用和疲實(shí)時(shí)分析趣類應(yīng)用的番支撐規(guī)劃數(shù)據(jù)管廁控藍(lán)圖號，初步瘋實(shí)施數(shù)趙據(jù)質(zhì)量置和技術(shù)屈元數(shù)據(jù)泛管理2013年201昏4年——2展015年201綁5年以后對企業(yè)價(jià)撇值的創(chuàng)造應(yīng)管技業(yè)務(wù)分析框架基礎(chǔ)數(shù)據(jù)平臺數(shù)據(jù)管控體系應(yīng)技管全面開圣展內(nèi)部貓管理分逮析、實(shí)猜時(shí)分析樓和沙盤籍演練應(yīng)童用建設(shè)執(zhí)，初步豈展開增禍值數(shù)據(jù)產(chǎn)品開發(fā)工絲式作全面開展炸大數(shù)據(jù)分將析平臺建苦設(shè)，引入網(wǎng)更多數(shù)據(jù)嚼源，豐富帖并完善平忠臺數(shù)據(jù)區(qū)毀建設(shè)隨著應(yīng)旋用體系頓的搭建聯(lián)，完善曲數(shù)據(jù)質(zhì)派量和元炎數(shù)據(jù)建瀉設(shè)，開說展數(shù)據(jù)贈標(biāo)準(zhǔn)化兇工作應(yīng)技管深化分盡析體系塔，形成瓣深度智測能化業(yè)泉?jiǎng)?wù)分析性能持虧續(xù)優(yōu)化溜、數(shù)據(jù)平臺持續(xù)完俯善、持續(xù)深化污數(shù)據(jù)管控堂體系，形牙成金融集償團(tuán)企業(yè)級脊的數(shù)據(jù)管科控體系應(yīng)技管一期201鏟3.1史0當(dāng)前位乓置未來持續(xù)優(yōu)毀化提升肌階段第一階段第二階段第三階段大數(shù)據(jù)分歇析平臺演去進(jìn)說明——基礎(chǔ)數(shù)彎據(jù)平臺階段劃分建設(shè)內(nèi)容預(yù)期效果第一階段搭建數(shù)據(jù)交換平臺，部署NAS存儲集群，設(shè)計(jì)并實(shí)施數(shù)據(jù)庫交換組件和數(shù)據(jù)區(qū)交換組件搭建基礎(chǔ)計(jì)算平臺，設(shè)計(jì)并實(shí)施貼源數(shù)據(jù)區(qū)，以T+1頻率整合商城和金融業(yè)務(wù)數(shù)據(jù)搭建歷史歸檔查詢平臺，歸檔商城和金融業(yè)務(wù)數(shù)據(jù)文件搭建內(nèi)部管理分析應(yīng)用平臺，部署MPP集群和BI分析應(yīng)用環(huán)境搭建實(shí)時(shí)分析平臺，部署內(nèi)存數(shù)據(jù)庫和實(shí)時(shí)BI分析環(huán)境實(shí)現(xiàn)了數(shù)據(jù)平臺內(nèi)部個(gè)數(shù)據(jù)區(qū)之間、數(shù)據(jù)平臺與外部系統(tǒng)間的雙向數(shù)據(jù)傳輸實(shí)現(xiàn)了業(yè)務(wù)數(shù)據(jù)按照貼源數(shù)據(jù)模整合實(shí)現(xiàn)了數(shù)據(jù)按照生命周期的歸檔管理實(shí)現(xiàn)了內(nèi)部管理分析環(huán)境搭建實(shí)現(xiàn)實(shí)時(shí)分析環(huán)境搭建第二階段數(shù)據(jù)交換平臺增強(qiáng)和優(yōu)化，包括：大數(shù)據(jù)交換組件設(shè)計(jì)實(shí)施基礎(chǔ)計(jì)算平臺增強(qiáng)，包括：引入更多的數(shù)據(jù)源，增強(qiáng)貼源數(shù)據(jù)區(qū)；設(shè)計(jì)并實(shí)施主題數(shù)據(jù)區(qū)，打破業(yè)務(wù)條線整合數(shù)據(jù)；設(shè)計(jì)并實(shí)施大數(shù)據(jù)區(qū)，實(shí)現(xiàn)企業(yè)內(nèi)外部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)加工、處理搭建沙盤演練平臺實(shí)時(shí)分析平臺增強(qiáng)和優(yōu)化，包括：引入更多應(yīng)用及相關(guān)數(shù)據(jù)源實(shí)現(xiàn)了基礎(chǔ)數(shù)據(jù)一次存儲、一次計(jì)算、多次使用建立了數(shù)據(jù)分析人員的實(shí)驗(yàn)環(huán)境，實(shí)現(xiàn)了用戶自主用數(shù)為實(shí)時(shí)、準(zhǔn)實(shí)時(shí)類分析用提供平臺為封裝、銷售數(shù)據(jù)類產(chǎn)品提供了平臺第三階段基礎(chǔ)計(jì)算平臺持續(xù)增強(qiáng)和優(yōu)化，引入更多的數(shù)據(jù)源、優(yōu)化模型和ETL處理搭建增值產(chǎn)品平臺，設(shè)計(jì)并實(shí)施增值產(chǎn)品數(shù)據(jù)區(qū)數(shù)據(jù)交換平臺、沙盤演練平臺、實(shí)時(shí)分析平臺進(jìn)一步增強(qiáng)和優(yōu)化數(shù)據(jù)平臺納入盡可能多的企業(yè)內(nèi)外部數(shù)據(jù)數(shù)據(jù)平臺以最優(yōu)的性能支持各類數(shù)據(jù)應(yīng)用大數(shù)據(jù)塔分析平些臺演進(jìn)池說明——數(shù)據(jù)管控階段劃分建設(shè)內(nèi)容預(yù)期效果第一階段分析和梳理當(dāng)前數(shù)據(jù)管理方面的成果和現(xiàn)狀，數(shù)據(jù)管控藍(lán)圖和路線圖設(shè)計(jì)，數(shù)據(jù)管控工作的組織、技術(shù)和流程高階設(shè)計(jì)梳理金融集團(tuán)大數(shù)據(jù)平臺ETL流程各環(huán)節(jié)的數(shù)據(jù)質(zhì)量要求，指定數(shù)據(jù)質(zhì)量檢查規(guī)則、評價(jià)指標(biāo)、管控流程，并落地實(shí)施數(shù)據(jù)質(zhì)量管理系統(tǒng)梳理金融集團(tuán)大數(shù)據(jù)平臺包含的技術(shù)元數(shù)據(jù)，如：數(shù)據(jù)字典、ETL任務(wù)、ETL流程、BI語義層等，制定相應(yīng)的管控流程并落地實(shí)施元數(shù)據(jù)管理系統(tǒng)同步大數(shù)據(jù)分析平臺ETL建設(shè)，實(shí)現(xiàn)了數(shù)據(jù)質(zhì)量管理系統(tǒng)收集并整合了金融集團(tuán)所有技術(shù)元數(shù)據(jù)，實(shí)現(xiàn)了數(shù)據(jù)生命周管理、血緣分析和影響分析等功能第二階段隨著更多數(shù)據(jù)源的引入，進(jìn)一步增強(qiáng)數(shù)據(jù)質(zhì)量管理系統(tǒng)隨著更多數(shù)據(jù)源的引入、更多平臺的建立，梳理并整合更多技術(shù)元數(shù)據(jù)梳理金融集團(tuán)大數(shù)據(jù)平臺包含的業(yè)務(wù)和管理類元數(shù)據(jù)，如業(yè)務(wù)術(shù)語、業(yè)務(wù)指標(biāo)、業(yè)務(wù)定義等，制定相應(yīng)的管控流程并落地實(shí)施元數(shù)據(jù)管理系統(tǒng)開展基礎(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)，基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)、管控流程、評價(jià)指標(biāo)、落地策略完善了數(shù)據(jù)質(zhì)量管理體系，實(shí)現(xiàn)了問題及時(shí)發(fā)現(xiàn)、及時(shí)解決實(shí)現(xiàn)了金融集團(tuán)全方位的元數(shù)據(jù)管理，打通了業(yè)務(wù)和技術(shù)元數(shù)據(jù)關(guān)聯(lián)關(guān)系為金融集團(tuán)數(shù)據(jù)平臺建設(shè)提供了基礎(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn)第三階段數(shù)據(jù)質(zhì)量管理持續(xù)優(yōu)化并增強(qiáng)元數(shù)據(jù)管理持續(xù)優(yōu)化并增強(qiáng)基礎(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn)逐步落地實(shí)施開展指標(biāo)類數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)、管控流程、評價(jià)指標(biāo)、落地策略通過完善的數(shù)據(jù)管控體系，提升數(shù)據(jù)質(zhì)量、避免數(shù)據(jù)二義性、建立數(shù)據(jù)間的血緣關(guān)系，使得業(yè)務(wù)人員可以方便、有效的使用數(shù)據(jù)，提高數(shù)據(jù)實(shí)用性大數(shù)據(jù)分獅析平臺演厘進(jìn)說明——應(yīng)用體系階段劃分建設(shè)內(nèi)容預(yù)期效果第一階段開展客戶信息管理建設(shè)，設(shè)計(jì)并實(shí)施個(gè)人客戶和供應(yīng)商360°視圖、客戶目標(biāo)搜索、客戶細(xì)分等功能開展風(fēng)險(xiǎn)管理建設(shè)，設(shè)計(jì)并實(shí)施供應(yīng)商和個(gè)人客戶風(fēng)險(xiǎn)評級模型開展運(yùn)營管理建設(shè)，設(shè)計(jì)并實(shí)施供應(yīng)鏈金融、人人貸等業(yè)務(wù)條線業(yè)務(wù)量統(tǒng)計(jì)分析初步梳理實(shí)時(shí)、準(zhǔn)實(shí)時(shí)分析需求，進(jìn)行高時(shí)效分析應(yīng)用試點(diǎn)可以方便的對個(gè)人客戶和供應(yīng)商進(jìn)行分群，以及全方位信息查詢和展示供應(yīng)商和個(gè)人客戶風(fēng)險(xiǎn)等級評定針對目前開展的業(yè)務(wù)進(jìn)行經(jīng)營情況統(tǒng)計(jì)分析搭建并驗(yàn)證高時(shí)效應(yīng)用體系第二階段隨著金融集團(tuán)業(yè)務(wù)的展開，逐步開展內(nèi)部管理分析體系的建設(shè)，本階段重點(diǎn)為客戶關(guān)系管理、運(yùn)營管理等高級業(yè)務(wù)人員利用沙盤演練平臺進(jìn)行數(shù)據(jù)挖掘、預(yù)測和科學(xué)試驗(yàn)進(jìn)一步樹立實(shí)時(shí)、準(zhǔn)實(shí)時(shí)分析需求，深化開展高時(shí)效分析應(yīng)用開始梳理市場上的數(shù)據(jù)應(yīng)用需求，嘗試封裝增值數(shù)據(jù)產(chǎn)品通過內(nèi)部管理分析體系的建設(shè)、滿足了金融集團(tuán)日常經(jīng)營管理、決策分析和進(jìn)一步提高價(jià)值創(chuàng)造力的需要實(shí)現(xiàn)了業(yè)務(wù)人員自主用數(shù)實(shí)現(xiàn)了高時(shí)效分析，與業(yè)務(wù)流程的整合實(shí)現(xiàn)了數(shù)據(jù)產(chǎn)品的封裝，提升了數(shù)據(jù)價(jià)值第三階段隨著金融集團(tuán)業(yè)務(wù)的展開，進(jìn)一步完善內(nèi)部管理分析體系的建設(shè)，包括：市場風(fēng)險(xiǎn)管理、操作風(fēng)險(xiǎn)管理、財(cái)務(wù)管理等收集實(shí)時(shí)分析需求，進(jìn)一步增強(qiáng)并優(yōu)化實(shí)時(shí)分析應(yīng)用體系增值數(shù)據(jù)產(chǎn)品設(shè)計(jì)逐漸成為重點(diǎn)，數(shù)據(jù)分析師收集企業(yè)內(nèi)外部數(shù)據(jù)需求，設(shè)計(jì)更完善的增值數(shù)據(jù)產(chǎn)品通過內(nèi)部管理分析應(yīng)用體系建設(shè)進(jìn)一步實(shí)現(xiàn)數(shù)據(jù)共享、業(yè)務(wù)協(xié)作與創(chuàng)新通過實(shí)時(shí)分析應(yīng)用體系建設(shè)，實(shí)現(xiàn)大數(shù)據(jù)平臺業(yè)務(wù)系統(tǒng)的交互，與業(yè)務(wù)流程的融合增值數(shù)據(jù)產(chǎn)品的開發(fā)進(jìn)一步發(fā)揮的數(shù)據(jù)平臺的數(shù)據(jù)價(jià)值議程大數(shù)據(jù)分著析平臺綜規(guī)述1大數(shù)據(jù)布分析平壩臺總體掀架構(gòu)2大數(shù)據(jù)辣分析平種臺演進(jìn)庸路線3大數(shù)據(jù)仆分析平虧臺一期地實(shí)施重款點(diǎn)4附錄：刺數(shù)據(jù)質(zhì)撕量管理項(xiàng)平臺5金融大數(shù)舞據(jù)分析平程臺一期架滔構(gòu)基礎(chǔ)計(jì)阻算平臺能：基于Hado敞op集群構(gòu)建紹，按照業(yè)鄰務(wù)條線、桿以貼源數(shù)磁據(jù)模型存痛儲了業(yè)務(wù)勺系統(tǒng)明細(xì)旗數(shù)據(jù)數(shù)據(jù)交換平臺：NAS集群實(shí)談現(xiàn)了進(jìn)奪出數(shù)據(jù)滾平臺數(shù)榜據(jù)的暫去存，業(yè)住務(wù)數(shù)據(jù)細(xì)交換組艙件實(shí)現(xiàn)沿了業(yè)務(wù)知系統(tǒng)每沫日增量訪數(shù)據(jù)加坡載，數(shù)涂據(jù)區(qū)數(shù)諷據(jù)交換船組件實(shí)墓現(xiàn)了基礎(chǔ)計(jì)算平臺與管考理分析平棗臺間的數(shù)崗據(jù)交換流程調(diào)度耳平臺：自主開發(fā)的流癢程調(diào)度引狼擎實(shí)現(xiàn)整謊個(gè)數(shù)據(jù)平統(tǒng)臺的數(shù)據(jù)處槐理任務(wù)盒調(diào)度和腫運(yùn)行管理分痛析平臺依：由X86分析型犧數(shù)據(jù)庫廣集群、BI軟件1J2沸EE應(yīng)用構(gòu)似成，實(shí)趣現(xiàn)了面鵝向應(yīng)用巴的數(shù)據(jù)蔽加工、都管理、先分析服懶務(wù)實(shí)時(shí)分側(cè)析平臺：由高檔X86服務(wù)器組蔑成的集群靈，實(shí)現(xiàn)高該時(shí)效、高絡(luò)并發(fā)的實(shí)舊時(shí)、準(zhǔn)實(shí)效時(shí)類管理慶分析需求數(shù)據(jù)交換任平臺—平臺邏輯飯架構(gòu)POP金融大數(shù)辰據(jù)分析平小臺NAS集群物流財(cái)務(wù)供應(yīng)鏈人人貸……云數(shù)據(jù)外推送平臺云數(shù)據(jù)推濟(jì)送平臺實(shí)樹現(xiàn)源系統(tǒng)斤數(shù)據(jù)一次瓶獲取獲、頭按需分發(fā)帆。平臺采菌用Gol魔den挽Gat揪e、JBUS、Flu滾me等技術(shù)覆獲取增符量數(shù)據(jù)畫，存儲雖在MyS織QL集群平臺按考照接口堵規(guī)范生伯成文件孔，LZO壓縮后，虧通過FTP傳輸?shù)絅AS指定目疊錄數(shù)據(jù)交蠟換平臺品由FTP服務(wù)器、遇加載服務(wù)湖器和NAS存儲組成，壯完成業(yè)繁務(wù)系統(tǒng)輛數(shù)據(jù)的悲獲取、幻玉加載和逮歸檔FTP服務(wù)器婚：利用LVS構(gòu)成的FTP集群，接傲收云數(shù)據(jù)刺推送平臺奧處理后的階數(shù)據(jù)，存銳儲在NAS集群的指坐定目錄加載服務(wù)器嫁：部署ETL任務(wù)，嚼實(shí)現(xiàn)指定目錄揀的文件到瘦達(dá)監(jiān)控、役文件級檢焰核、數(shù)據(jù)貢加載（Hive貫Loa勢d）到臨擺時(shí)數(shù)據(jù)緣瑞區(qū)，同靜時(shí)歸檔失（cop鑄yfr結(jié)oml玻oca鏈l）歷史廚數(shù)據(jù)區(qū)NAS集群：按彎照日期和船源系統(tǒng)劃乘分目錄，被緩存數(shù)據(jù)精，支持日馳常數(shù)據(jù)交洽換和ETL…………LVS集群：FTP服務(wù)器#3加載服務(wù)濫器#1文件加載文件歸檔文件到達(dá)事件監(jiān)控文件級檢核加載服象務(wù)器#4文件加載文件歸檔文件到達(dá)事件監(jiān)控文件級檢核LVS集群：FTP服務(wù)器#1LVS集群：負(fù)沈載均衡服周務(wù)器…………數(shù)據(jù)交換誤平臺—參與方累責(zé)任劃肆分設(shè)計(jì)并洲實(shí)施云數(shù)據(jù)推溪送平臺；按照金融性集團(tuán)接口挎定義，抽客取業(yè)務(wù)系奔統(tǒng)數(shù)據(jù)；按照金融恥集團(tuán)接口哀規(guī)范要求金，按時(shí)生成數(shù)據(jù)文件承、控制文殼件和DDL文件，并都通過FTP傳輸?shù)絅AS指定目錄羽；若源系川統(tǒng)有變壇更，則漲要求在芬變更前緣瑞提供變模更內(nèi)容揀說明，升級平酷臺版本，根據(jù)金融珍集團(tuán)更新接市口規(guī)范管提供數(shù)松據(jù)；應(yīng)及時(shí)解天決接口數(shù)各據(jù)提供過臟程中出現(xiàn)六的問題；對于未量盡事宜炊，應(yīng)同金融異集團(tuán)協(xié)強(qiáng)商解決默。云計(jì)算安裝部署分金融集團(tuán)竟大數(shù)據(jù)分芳析平臺物劣理環(huán)境、答應(yīng)用軟件犬，并進(jìn)行南基礎(chǔ)設(shè)施肉運(yùn)維；在業(yè)務(wù)系衛(wèi)統(tǒng)數(shù)據(jù)庫這服務(wù)器安微裝并部署原云數(shù)據(jù)推枯送平臺客磨戶端，并池提供數(shù)據(jù)問庫訪問。運(yùn)維部斬門制定接賺口規(guī)范帽，并提甩交給云泄數(shù)據(jù)推欣送項(xiàng)目指組；梳理業(yè)務(wù)任系統(tǒng)數(shù)據(jù)游字典，制嘗定接口定辯義，并提澡交給云數(shù)敵據(jù)推送項(xiàng)遣目組；開發(fā)數(shù)據(jù)交換組件，懷從NAS獲取數(shù)夢據(jù)并處遺理；對接收的產(chǎn)數(shù)據(jù)提供點(diǎn)驗(yàn)證功能，并墳返回驗(yàn)證結(jié)果到界云數(shù)據(jù)房誠推送平蜘臺；根據(jù)云脆數(shù)據(jù)推屬送平臺提交黃的變更通路知修改接鄙口定義和弄數(shù)據(jù)交換給組件；對于未姥盡事宜撇，應(yīng)同云計(jì)區(qū)算方協(xié)商解決。金融集長團(tuán)針對金鼻融集團(tuán)宏需求，指定亞接口人拐、提供認(rèn)文檔；業(yè)務(wù)系呀統(tǒng)因版倦本升級側(cè)等原因過導(dǎo)致數(shù)求據(jù)模型該發(fā)生變養(yǎng)化，及供時(shí)通知云數(shù)據(jù)推居送平臺接口責(zé)任繪人。研發(fā)部芹門數(shù)據(jù)交晶換平臺—業(yè)務(wù)系都統(tǒng)數(shù)據(jù)占抽取實(shí)詢現(xiàn)方式每張?jiān)袋S系統(tǒng)表棚都對應(yīng)磁一個(gè)獨(dú)薦立的數(shù)纖據(jù)接口數(shù)據(jù)接尊口由數(shù)釣據(jù)文件猛和控制緣瑞文件構(gòu)飾成（文線件命名幟和具體未內(nèi)容參頃見接口劑規(guī)范）文件統(tǒng)一替采用UTF-產(chǎn)8編碼，革統(tǒng)一存砌在在JSS指定目芹錄（參件見接口窯規(guī)范）如果在害抽取周矮期內(nèi)沒約有數(shù)據(jù)悲變更，云數(shù)據(jù)棒推送平醉臺應(yīng)該生成劫空的數(shù)據(jù)接口傳輸方毀式FTP傳輸，利想用LVS技術(shù)構(gòu)意建FTP集群，接差收數(shù)據(jù)傳輸頻率云數(shù)據(jù)閱推送平愚臺通常按照T+1頻率為金傅融集團(tuán)提兄供數(shù)據(jù)，竊具體頻率勞要求參見襯接口定義接口處理模式云數(shù)據(jù)推送嘆平臺根據(jù)堆不同接口單元定義臥，準(zhǔn)備數(shù)據(jù)熔、生成接遼口數(shù)據(jù)文片件；云數(shù)據(jù)推送平臺根倆據(jù)接口根規(guī)范生葬成相應(yīng)浙的接口玩控制文蝦件；云數(shù)據(jù)暖推送平臺壓鋪縮數(shù)據(jù)曬（LZO），并通過FTP將數(shù)據(jù)妙接口存冶入NAS指定目噴錄；金融大數(shù)據(jù)分析饅平臺部署柔在不同加撐載服務(wù)器俯上的數(shù)據(jù)交換組件完艙成：定時(shí)輪牲詢NAS指定目朗錄，獲混取接口孕（包括歇數(shù)據(jù)文墳件、控吸制文件存和DDL文件）滔；執(zhí)行文件繼級檢核；通過檢戶核后，將數(shù)據(jù)文誘件和控岔制文件移動(dòng)陪到NAS集群指定目錄，觸發(fā)后續(xù)ETL處理；在Tas若kA斑uto梯mat腎ion調(diào)度下詞執(zhí)行數(shù)壟據(jù)加載羨和數(shù)據(jù)歸檔任務(wù)。數(shù)據(jù)交羽換平臺—平臺部署機(jī)架構(gòu)數(shù)據(jù)交換癢平臺由8臺X86服務(wù)器緊和一個(gè)NAS集群構(gòu)成X86服務(wù)器按功照功能分誓為2組，一縮慧組實(shí)現(xiàn)鑼數(shù)據(jù)獲艦取，一均組實(shí)現(xiàn)口數(shù)據(jù)加谷載和歸嫁檔NAS集群作為腥公共數(shù)據(jù)餅區(qū)，由8臺服務(wù)爛器共享踏訪問（端讀寫）PythonruntimePythonJSSModuleFTPRedhatLinuxLVS服務(wù)器4HDFSClientHive加載任務(wù)歸檔任務(wù)RedhatLinux加載服務(wù)器1HDFSClientHive加載任務(wù)歸檔任務(wù)RedhatLinux加載服務(wù)器4LANPythonruntimePythonJSSModuleLVSRedhatLinuxLVS服務(wù)器1…………NAS集群負(fù)責(zé)源背系統(tǒng)數(shù)階據(jù)文件匯加載和凈歸檔每臺服務(wù)器負(fù)職責(zé)多個(gè)源膠系統(tǒng)支持按需擴(kuò)展/減少服務(wù)挺器LVS泥1負(fù)載均衡其它LVS服務(wù)器輸負(fù)責(zé)接車收接口盜文件，唉寫入NAS集群目長錄支持按需擴(kuò)展/減少服務(wù)歉器部署數(shù)據(jù)巷交換平臺殘和流程調(diào)府度平臺程闖序，各服蔬務(wù)器通過演文件鏈接菜使用按日期絮和源系孤統(tǒng)建立尿數(shù)據(jù)目襖錄，緩撈存每日虜接口文居件，供休交換平謀臺訪問流程調(diào)度裁平臺—平臺邏摩輯架構(gòu)Task賊Aut仁omat圓ion驅(qū)動(dòng)各個(gè)午平臺、實(shí)陡現(xiàn)從數(shù)據(jù)移存入NAS平臺到數(shù)桶據(jù)集市生樸成整個(gè)處吹理過程的兆工作流管輛理數(shù)據(jù)交睛換平臺負(fù)析責(zé)數(shù)據(jù)狂抽取、習(xí)文件級扁質(zhì)量檢籌核、調(diào)盡用Hiv釀eL扇oad加載數(shù)據(jù)基礎(chǔ)計(jì)算手平臺使用Hiv采eS報(bào)QL實(shí)現(xiàn)貼輝源數(shù)據(jù)整合、瓦公共匯宇總數(shù)據(jù)攻處理管理分析平臺使用捕關(guān)系型數(shù)酷據(jù)庫的SQL實(shí)現(xiàn)集市音數(shù)據(jù)的處揪理歷史歸檔畫查詢平臺穩(wěn)負(fù)責(zé)數(shù)據(jù)蔽文件和Had留oop集群數(shù)據(jù)生歸檔流程調(diào)伯度平臺—流程調(diào)度魄元數(shù)據(jù)Task亦Aut影omat設(shè)ion的元數(shù)和據(jù)統(tǒng)一鍛存儲在MySQ教L數(shù)據(jù)庫間中任務(wù)定化義，包具括任務(wù)朱名稱、覆描述、仍運(yùn)行服豬務(wù)器、運(yùn)行狀態(tài)、喇運(yùn)行時(shí)僚間、相捧關(guān)數(shù)據(jù)半源等屬咳性任務(wù)依司賴，任者務(wù)的執(zhí)鈴行依賴列與其他亡上游任翼務(wù)任務(wù)觸發(fā)，羽任務(wù)成海功執(zhí)行踐后觸發(fā)籃的下游緊任務(wù)任務(wù)組，一組徑有相互關(guān)而系的任務(wù)保，全部完裙成后會觸下發(fā)頭任務(wù)調(diào)運(yùn)行……元數(shù)據(jù)由希所有流程杯調(diào)度服務(wù)慌器共享流程調(diào)仍度平臺—任務(wù)調(diào)枯度引擎通過偵測板器偵測事餐件，按照嘉任務(wù)定義去和任務(wù)依罷賴關(guān)系觸于發(fā)任務(wù)運(yùn)植行，觸發(fā)簽方式把主聞要包括自動(dòng)觸莊發(fā)定時(shí)觸藥發(fā)，按爺照預(yù)先定義甜的時(shí)間周斯期，如每塌日、每周映、每月，殃或任何有谷規(guī)律的時(shí)咸間間隔執(zhí)行任務(wù)躍。目前可梅明確的任感務(wù)主要是踩每月執(zhí)行久的基礎(chǔ)計(jì)獅算平臺、化管理分析射平臺數(shù)據(jù)舉歸檔。事件觸發(fā)，漁按照特誼定的事梳件觸發(fā)時(shí)、執(zhí)行銜任務(wù)。始如：數(shù)凡據(jù)文件叮到達(dá)指砌定目錄究，會觸貞發(fā)數(shù)據(jù)肢加載任鴿務(wù)。同插樣，流程賄失敗也耳會觸發(fā)替新的job，如錯(cuò)院誤處理雀、例外礎(chǔ)處理等。手動(dòng)觸發(fā)系統(tǒng)管理員陵可以使終用Tas據(jù)kA洽uto睬mat研ion提供的界合面或命令敏接口執(zhí)行一些job。這些job的功能通佩常包括對渠特定范圍咳的數(shù)據(jù)進(jìn)百行審計(jì)與梅驗(yàn)證、對壁特定范圍彼的數(shù)據(jù)進(jìn)饒行針對性產(chǎn)很強(qiáng)的數(shù)歪據(jù)清洗、駝或者是對悔某流程失按敗后的修復(fù)。每個(gè)要欄執(zhí)行的薪任務(wù)均溫由任務(wù)讀執(zhí)行代理啟埋動(dòng)運(yùn)行流程調(diào)度鋸平臺—集群可哈靠性和饅可擴(kuò)展怕性高可用悼性流程調(diào)煤度所需宅的元數(shù)喝據(jù)信息尿統(tǒng)一保遲存在MySQ揮L數(shù)據(jù)庫中松，集群中頃任何服務(wù)鍬器發(fā)生故之障不會破蛾壞元數(shù)據(jù)完整性。面服務(wù)器故悼障時(shí)，只需要修禍改ETL任務(wù)屬性括，指定其茫他服務(wù)器執(zhí)行任務(wù)即可，終故障不內(nèi)會影響位任務(wù)依酸賴關(guān)系翁、任務(wù)嫌組關(guān)系剩。擴(kuò)展能縣力流程調(diào)已度集群慣由多臺堪服務(wù)器愈構(gòu)成，譯按工作菌負(fù)載劃嘩分不同羽角色，悶分別實(shí)持現(xiàn)ETL處理過悼程中不汪同類型慎任務(wù)的榨調(diào)度。命當(dāng)某類下調(diào)度工搞作負(fù)載錦較大時(shí)覺，可通婚過增加凝服務(wù)器昨的方式葛，實(shí)現(xiàn)昨集群的僵橫向擴(kuò)狐展流程調(diào)醒度平臺—平臺部署架構(gòu)流程調(diào)度平臺留由八臺X86服務(wù)器構(gòu)軍成，服務(wù)譽(yù)器按照功柔能分為兩紹類兩臺X86服務(wù)器只部署MyS適QL數(shù)據(jù)庫集林群，存儲變流程調(diào)度峽元數(shù)據(jù)六臺X86服務(wù)器走部署流北程調(diào)度季引擎，羽負(fù)責(zé)各癢數(shù)據(jù)區(qū)口數(shù)據(jù)處朱理流程毯調(diào)度與項(xiàng)運(yùn)行TaskAutomationPerlRuntimeHadoopHiveRedhatLinuxMySQLClient臨時(shí)/歸檔區(qū)調(diào)度服務(wù)器1TaskAutomationPerlRuntimeHadoopHiveRedhatLinuxMySQLClient貼源區(qū)調(diào)度服務(wù)器TaskAutomationPerlRuntimeHadoopHiveRedhatLinuxMySQLClient匯總區(qū)調(diào)度服務(wù)器TaskAutomationPerlRuntimeHadoopHiveRedhatLinuxMySQLClient臨時(shí)/歸檔區(qū)調(diào)度服務(wù)器4Mast動(dòng)erN固odeMyS禍Q(jìng)L主服務(wù)元器Mast而erN軍odeMySQ津L從服務(wù)器……LANMySQ富L主-從集群排，存儲扛臨時(shí)區(qū)屯、歸檔認(rèn)區(qū)、貼嬌源區(qū)和襪匯總區(qū)沙數(shù)據(jù)處并理任務(wù)冶定義，哥任務(wù)依貿(mào)賴關(guān)系按數(shù)據(jù)區(qū)透劃分工作糊流，工作籌流不跨數(shù)膀據(jù)區(qū)臨時(shí)區(qū)數(shù)據(jù)處點(diǎn)理的工作位流部署在渣數(shù)據(jù)交換崖?lián)Q平臺的攏加載服務(wù)擋器貼園區(qū)和盡匯總區(qū)厲工作流倦分別部懇署獨(dú)立脫的服務(wù)寧器基礎(chǔ)計(jì)會算平臺—平臺邏歲輯架構(gòu)VMVMVMVMVMVMVMVMVMVMVMVMVMVMVM節(jié)點(diǎn)VMVMVMVMVM節(jié)點(diǎn)VMVMVMVMVM節(jié)點(diǎn)節(jié)點(diǎn)節(jié)點(diǎn)節(jié)點(diǎn)節(jié)點(diǎn)節(jié)點(diǎn)Hadoop臨時(shí)數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)匯總數(shù)據(jù)區(qū)基礎(chǔ)計(jì)腎算平臺禾基于Hado勤op集群搭建集群采用然標(biāo)準(zhǔn)的X86服務(wù)器集群彈性震架構(gòu)，按揉需分配計(jì)唇算資源，燭支持添加X86服務(wù)器惜的方式透實(shí)現(xiàn)橫領(lǐng)向擴(kuò)展集群中的線數(shù)據(jù)保留底三份，保幕證任何節(jié)稿點(diǎn)故障，糖不影響集馬群對外提歐供服務(wù)基礎(chǔ)計(jì)斃算平臺蜂有三個(gè)睡數(shù)據(jù)區(qū)奔構(gòu)成臨時(shí)數(shù)據(jù)區(qū)伴，緩存抽當(dāng)日源叮系統(tǒng)變塑化（新忘增、修棋改、刪碗除）數(shù)多據(jù)，支笛持后續(xù)ELT數(shù)據(jù)處刷理貼源數(shù)據(jù)區(qū)，按照粗源系統(tǒng)數(shù)部據(jù)模型整原合的明細(xì)歷顛史數(shù)據(jù)，作輔為基礎(chǔ)數(shù)決據(jù)層實(shí)現(xiàn)銷數(shù)據(jù)一次枝整合、多謝次使用匯總數(shù)據(jù)區(qū)，眠根據(jù)應(yīng)用州需求，對脆貼源數(shù)據(jù)癥區(qū)明細(xì)數(shù)攜據(jù)進(jìn)行預(yù)夕連接、預(yù)競聚合、預(yù)炮匯總處理梯的數(shù)據(jù)，得實(shí)現(xiàn)了數(shù)村據(jù)的一次蹤蝶計(jì)算、多萌次使用基礎(chǔ)計(jì)喝算平臺—臨時(shí)數(shù)灶據(jù)區(qū)包含內(nèi)容主要用途大數(shù)據(jù)攻分析平跪臺要整刃合的源摸系統(tǒng)，駕包括：POP、財(cái)務(wù)審悼計(jì)、財(cái)務(wù)塵研發(fā)、大睡物流、供餃應(yīng)鏈、金運(yùn)融、網(wǎng)站交易、數(shù)某據(jù)部和移受動(dòng)客戶端弟等研發(fā)體丙系的各業(yè)品務(wù)系統(tǒng)。建立數(shù)據(jù)凡緩沖區(qū)，匹臨時(shí)存放刻從源系統(tǒng)棕抽取過來策的增量/全量數(shù)據(jù)，支波撐后續(xù)ELT處理。設(shè)計(jì)原浙則數(shù)據(jù)庫設(shè)計(jì)原則臨時(shí)數(shù)據(jù)數(shù)區(qū)對應(yīng)獨(dú)申立的Hive數(shù)據(jù)庫不對外普提供訪狂問，ETL用戶對數(shù)戴據(jù)庫有增饞、刪、查烤、改權(quán)限模型設(shè)計(jì)原則邏輯模型象參考源系伶統(tǒng)和接口溜規(guī)范定義嚴(yán)，為每個(gè)貼接口單元謠設(shè)計(jì)實(shí)體旱、屬性物理模臭型與邏爽輯模型安保持一致，每聰個(gè)實(shí)體對野應(yīng)一張Hive表，表采抓用LZO壓縮存翁儲物理模型些設(shè)計(jì)不建礙議考慮索愉引、物化鄰視圖等技吹術(shù)特性以天為單位培，按業(yè)務(wù)昨日期建立蓬分區(qū)歷史保留原門則緩存當(dāng)轎日業(yè)務(wù)品數(shù)據(jù)、為數(shù)據(jù)重銹跑方便可保留7天歷史過期數(shù)佳據(jù)直接遲刪除對鼓應(yīng)分區(qū)端，不需下要?dú)w檔基礎(chǔ)計(jì)算綁平臺—貼源數(shù)糞據(jù)區(qū)包含內(nèi)容主要用途與緩沖語層相對菠應(yīng)，貼源整路合層主要包放括：POP、財(cái)務(wù)名審計(jì)、偽財(cái)務(wù)研揮發(fā)、大撫物流、項(xiàng)供應(yīng)鏈跨、金融夏、網(wǎng)站交易、鍬數(shù)據(jù)部跟和移動(dòng)脫客戶端滅等研發(fā)鑼體系的予各業(yè)務(wù)械系統(tǒng)，所有數(shù)善據(jù)保留順歷史。作為整個(gè)數(shù)據(jù)歸平臺的基礎(chǔ)數(shù)青據(jù)層，累計(jì)刊歷史，值為主題詳層、集尾市層等妻數(shù)據(jù)區(qū)舍提供數(shù)鏈據(jù)支撐。設(shè)計(jì)原飯則數(shù)據(jù)庫設(shè)計(jì)原則貼源數(shù)據(jù)區(qū)押對應(yīng)獨(dú)旱立的Hiv毫e數(shù)據(jù)庫不對外提米供訪問，ETL用戶對數(shù)夏據(jù)庫有增著、刪、查紛、改權(quán)限模型設(shè)計(jì)原則針對不需洞要記錄變化的實(shí)真體，其邏屑輯模型參考緩沖層，堪按照貼源嫌設(shè)計(jì)針對需架要記錄邁變化的佩數(shù)據(jù)，脊需要增加時(shí)間彎字段，設(shè)計(jì)拉戒鏈數(shù)據(jù)模辭型，記錄檢歷史物理模友型考慮介分區(qū)，流水表按業(yè)務(wù)日期伸建立分區(qū)，促拉鏈表其按終止路日期建儀立分區(qū)歷史保留原則拉鏈表蛇數(shù)據(jù)保望留最近37個(gè)月的振歷史快照表除數(shù)據(jù)永純久保留交易流水夫表數(shù)據(jù)保峰留最近25個(gè)月的歷蹈史過期數(shù)膜據(jù)歸檔稻到歷史觀歸檔區(qū)兔，需要浩時(shí)回遷基礎(chǔ)計(jì)算棋平臺—匯總數(shù)據(jù)區(qū)包含內(nèi)病容主要用途針對客戶嗚管理、風(fēng)殺險(xiǎn)評級和胃業(yè)務(wù)量統(tǒng)枕計(jì)設(shè)計(jì)明格細(xì)數(shù)據(jù)進(jìn)釋行預(yù)匯總抓、預(yù)連接竹和預(yù)加工滔后的結(jié)果腳數(shù)據(jù)。對明細(xì)歉數(shù)據(jù)進(jìn)行預(yù)匯鐮總、預(yù)連挨接和預(yù)加工酸，為應(yīng)絲式用數(shù)據(jù)蛋集市準(zhǔn)霜備數(shù)據(jù)。設(shè)計(jì)原做則數(shù)據(jù)庫設(shè)計(jì)原則匯總數(shù)據(jù)次區(qū)對應(yīng)獨(dú)凡立的Hiv緞e數(shù)據(jù)庫不對外御提供訪夏問，ETL用戶對數(shù)庭據(jù)庫有增育、刪、查古、改權(quán)限模型設(shè)予計(jì)原則匯總層采銳用了逆范鞋式寬表設(shè)織計(jì)，某種禁程度上采駐用維度建帖模的方法模型設(shè)茫計(jì)首先需要根鞭據(jù)業(yè)務(wù)脆和應(yīng)用虧的需要喪盡量包臨含更多雀的屬性和指標(biāo)，同時(shí)兼爹顧空間匯總層努需要針收對維度詢數(shù)據(jù)執(zhí)炮行標(biāo)準(zhǔn)倦化處理匯總層膏模型增吧加數(shù)據(jù)役日期記城錄歷史胸，建議姑根據(jù)數(shù)遲據(jù)日期新建立分齒區(qū)歷史保留原則不同實(shí)芹體采取不同的歷緩史保留策略建議以活支持應(yīng)廣用為輸姜入，避仿免永久歐保留過期數(shù)感據(jù)