大數(shù)據(jù)分析平臺(tái)總體架構(gòu)方案

1、 議程 大數(shù)據(jù)分析平臺(tái)總體架構(gòu) 大數(shù)據(jù)分析平臺(tái)演進(jìn)路線 大數(shù)據(jù)分析平臺(tái)一期實(shí)施重點(diǎn) 附錄：數(shù)據(jù)質(zhì)量管理平臺(tái) 金融集團(tuán)管理分析類應(yīng)用建設(shè)現(xiàn)狀基本分析 l商城數(shù)據(jù)倉(cāng)庫(kù)累積數(shù)據(jù)沒(méi)有充分利用商城數(shù)據(jù)倉(cāng)庫(kù)累積數(shù)據(jù)沒(méi)有充分利用 l缺乏面向整個(gè)金融集團(tuán)的統(tǒng)一、完整缺乏面向整個(gè)金融集團(tuán)的統(tǒng)一、完整 的數(shù)據(jù)視圖；的數(shù)據(jù)視圖； l缺乏支撐金融集團(tuán)日常業(yè)務(wù)運(yùn)轉(zhuǎn)的風(fēng)缺乏支撐金融集團(tuán)日常業(yè)務(wù)運(yùn)轉(zhuǎn)的風(fēng) 險(xiǎn)評(píng)估體系；險(xiǎn)評(píng)估體系； l缺乏金融集團(tuán)客戶缺乏金融集團(tuán)客戶360360度視圖，客戶度視圖，客戶 行為分析和預(yù)測(cè)無(wú)法實(shí)現(xiàn)；行為分析和預(yù)測(cè)無(wú)法實(shí)現(xiàn)； l缺乏面向金融業(yè)務(wù)運(yùn)營(yíng)管理的關(guān)鍵績(jī)?nèi)狈γ嫦蚪鹑跇I(yè)務(wù)運(yùn)營(yíng)管理的關(guān)鍵績(jī) 效指標(biāo)

2、體系；效指標(biāo)體系； l l商城已建立面向整個(gè)零售業(yè)務(wù)的數(shù)據(jù)商城已建立面向整個(gè)零售業(yè)務(wù)的數(shù)據(jù) 倉(cāng)庫(kù)，整合了前臺(tái)業(yè)務(wù)運(yùn)營(yíng)數(shù)據(jù)和后倉(cāng)庫(kù)，整合了前臺(tái)業(yè)務(wù)運(yùn)營(yíng)數(shù)據(jù)和后 臺(tái)管理數(shù)據(jù)，建立了面向零售的管理臺(tái)管理數(shù)據(jù)，建立了面向零售的管理 分析應(yīng)用；分析應(yīng)用； l金融集團(tuán)已開(kāi)展供應(yīng)鏈金融、人人貸金融集團(tuán)已開(kāi)展供應(yīng)鏈金融、人人貸 和保理等多種業(yè)務(wù)，積累了一定量的和保理等多種業(yè)務(wù)，積累了一定量的 業(yè)務(wù)數(shù)據(jù)，同時(shí)業(yè)務(wù)人員也從客戶管業(yè)務(wù)數(shù)據(jù)，同時(shí)業(yè)務(wù)人員也從客戶管 理、風(fēng)險(xiǎn)評(píng)級(jí)和經(jīng)營(yíng)規(guī)模預(yù)測(cè)等方面理、風(fēng)險(xiǎn)評(píng)級(jí)和經(jīng)營(yíng)規(guī)模預(yù)測(cè)等方面 ，提出了大量分析預(yù)測(cè)需求；，提出了大量分析預(yù)測(cè)需求； l l數(shù)據(jù)平臺(tái)整體架構(gòu)；數(shù)據(jù)平臺(tái)整

3、體架構(gòu)； l 數(shù)據(jù)平臺(tái)各層建設(shè)的標(biāo)準(zhǔn)；數(shù)據(jù)平臺(tái)各層建設(shè)的標(biāo)準(zhǔn)； l 較成熟的金融業(yè)數(shù)據(jù)模型；較成熟的金融業(yè)數(shù)據(jù)模型； l 數(shù)據(jù)質(zhì)量治理；數(shù)據(jù)質(zhì)量治理； l 元數(shù)據(jù)管理；元數(shù)據(jù)管理； l 數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)數(shù)據(jù)標(biāo)準(zhǔn)建設(shè) l 數(shù)據(jù)整合；數(shù)據(jù)整合； l 數(shù)據(jù)應(yīng)用建設(shè)；數(shù)據(jù)應(yīng)用建設(shè)； l 數(shù)據(jù)平臺(tái)的軟硬環(huán)境數(shù)據(jù)平臺(tái)的軟硬環(huán)境 l 大數(shù)據(jù)分析平臺(tái)建設(shè)目標(biāo) 外部非結(jié)構(gòu)化數(shù)據(jù) 統(tǒng)一制定目標(biāo)和分 析模型 統(tǒng)一劃分分析主題 統(tǒng)一設(shè)計(jì)數(shù)據(jù)模式 統(tǒng)一規(guī)劃分析方法 統(tǒng)一部署技術(shù)基礎(chǔ) 統(tǒng)一定義BI 應(yīng)用 自定義報(bào)表工具 行列的簡(jiǎn)單定義方式 多種格式報(bào)表 集團(tuán)決策層 集團(tuán)職能管控層 各級(jí)業(yè)務(wù)操作層 關(guān)注集團(tuán)主 要經(jīng)營(yíng)指標(biāo) 業(yè)務(wù)

4、人員使用BI應(yīng)用 實(shí)現(xiàn)業(yè)務(wù)協(xié)作和創(chuàng)新 BI 分析工具 供應(yīng)鏈金融系統(tǒng) POP系統(tǒng)其他業(yè)務(wù)系統(tǒng) 云數(shù)據(jù)推送平臺(tái)已實(shí)現(xiàn)了 主要零售及金融業(yè)務(wù)系統(tǒng) 數(shù)據(jù)清洗、整合，為未來(lái) 金融集團(tuán)數(shù)據(jù)平臺(tái)提供了 豐富的數(shù)據(jù)源。 通過(guò)數(shù)據(jù)平臺(tái)和BI應(yīng)用建設(shè)，金融集團(tuán)將搭建統(tǒng)一的大數(shù)據(jù)共享和分析平臺(tái)，對(duì)各類業(yè)務(wù)進(jìn)行 前瞻性預(yù)測(cè)及分析，為集團(tuán)各層次用戶提供統(tǒng)一的決策分析支持，提升數(shù)據(jù)共享與流轉(zhuǎn)能力 采購(gòu)管理系統(tǒng) 查看職能部門(mén)的 業(yè)務(wù)經(jīng)營(yíng)情況 大數(shù)據(jù)分析平臺(tái)建設(shè)預(yù)期收益 2.2.加強(qiáng)業(yè)務(wù)協(xié)作加強(qiáng)業(yè)務(wù)協(xié)作 實(shí)現(xiàn)分散在供應(yīng)鏈金融、人人貸、保理等各個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)在數(shù)據(jù)平臺(tái)中的集 中和整合，建立單一的產(chǎn)品、客戶等數(shù)據(jù)的企業(yè)級(jí)視

5、圖，有效促進(jìn)業(yè)務(wù)的集成和協(xié) 作，并為企業(yè)級(jí)分析、交叉銷售提供基礎(chǔ) 3.3.促進(jìn)業(yè)務(wù)創(chuàng)新促進(jìn)業(yè)務(wù)創(chuàng)新 金融集團(tuán)業(yè)務(wù)人員可以基于明細(xì)、可信的數(shù)據(jù)，進(jìn)行多維分析和數(shù)據(jù)挖掘，為金融 業(yè)務(wù)創(chuàng)新（客戶服務(wù)創(chuàng)新、產(chǎn)品創(chuàng)新等）創(chuàng)造了有利條件 4.4.提升建設(shè)效率提升建設(shè)效率 通過(guò)數(shù)據(jù)平臺(tái)對(duì)數(shù)據(jù)進(jìn)行集中，為管理分析、挖掘預(yù)測(cè)類等系統(tǒng)提供一致的數(shù)據(jù)基 礎(chǔ)，改變現(xiàn)有系統(tǒng)數(shù)據(jù)來(lái)源多、數(shù)據(jù)處理復(fù)雜的現(xiàn)狀，實(shí)現(xiàn)應(yīng)用系統(tǒng)建設(shè)模式的轉(zhuǎn) 變，提升相關(guān)IT系統(tǒng)的建設(shè)和運(yùn)行效率 5.5.改善改善數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量 從中長(zhǎng)期看，數(shù)據(jù)倉(cāng)庫(kù)對(duì)金融集團(tuán)分散在各個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)整合、清洗，有助 于企業(yè)整體數(shù)據(jù)質(zhì)量的改善，提高的數(shù)據(jù)的實(shí)用性

6、通過(guò)數(shù)據(jù)平臺(tái)實(shí)現(xiàn)數(shù)據(jù)集中，確保金融集團(tuán)各級(jí)部門(mén)均可在保證數(shù)據(jù)隱私和安全的 前提下使用數(shù)據(jù)，充分發(fā)揮數(shù)據(jù)作為企業(yè)重要資產(chǎn)的業(yè)務(wù)價(jià)值 1.1.實(shí)現(xiàn)數(shù)據(jù)共享實(shí)現(xiàn)數(shù)據(jù)共享 議程 大數(shù)據(jù)分析平臺(tái)綜述 大數(shù)據(jù)分析平臺(tái)演進(jìn)路線 大數(shù)據(jù)分析平臺(tái)一期實(shí)施重點(diǎn) 附錄：數(shù)據(jù)質(zhì)量管理平臺(tái) 大數(shù)據(jù)分析平臺(tái)總體架構(gòu) 歷史數(shù)歷史數(shù) 據(jù)查詢據(jù)查詢 數(shù)據(jù)交換平臺(tái)數(shù)據(jù)交換平臺(tái) 應(yīng)用集市數(shù)據(jù)區(qū)應(yīng)用集市數(shù)據(jù)區(qū) 商城零售供應(yīng)鏈金融人人貸系統(tǒng)基金系統(tǒng)系統(tǒng)企業(yè)內(nèi)外部半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù) 大數(shù)據(jù)交換組件數(shù)據(jù)庫(kù)數(shù)據(jù)交換組件數(shù)據(jù)區(qū)數(shù)據(jù)交換組件 數(shù)據(jù)計(jì)數(shù)據(jù)計(jì) 算層算層 大數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū) 沙盤(pán)演練數(shù)據(jù)區(qū)沙盤(pán)演練數(shù)據(jù)區(qū) 數(shù)據(jù)應(yīng)數(shù)據(jù)應(yīng) 用層用層 實(shí)時(shí)

7、數(shù)據(jù)區(qū)實(shí)時(shí)數(shù)據(jù)區(qū) 客戶主題協(xié)議主題產(chǎn)品主題 業(yè)務(wù)沙盤(pán)演練業(yè)務(wù)沙盤(pán)演練 數(shù)據(jù)增數(shù)據(jù)增 值產(chǎn)品值產(chǎn)品 零售數(shù)據(jù)供應(yīng)鏈數(shù)據(jù) 增值產(chǎn)增值產(chǎn) 品數(shù)據(jù)區(qū)品數(shù)據(jù)區(qū) 主主 題題 數(shù)數(shù) 據(jù)據(jù) 區(qū)區(qū) 用戶訪用戶訪 問(wèn)層問(wèn)層 客戶匯總賬戶匯總機(jī)構(gòu)匯總 社交媒體 移動(dòng)互聯(lián) 用戶評(píng)價(jià) 訪問(wèn)日志 處理后大數(shù)據(jù) 待處理大數(shù)據(jù) 流程調(diào)度監(jiān)控告警 數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量元數(shù)據(jù)數(shù)據(jù)安全 流程流程 調(diào)度調(diào)度 平臺(tái)平臺(tái) 數(shù)據(jù)數(shù)據(jù) 管控管控 平臺(tái)平臺(tái) 流程調(diào)度層流程調(diào)度層 數(shù)數(shù) 據(jù)據(jù) 管管 控控 層層 數(shù)據(jù)數(shù)據(jù) 產(chǎn)生層產(chǎn)生層 數(shù)據(jù)交數(shù)據(jù)交 換層換層 實(shí)時(shí)數(shù)實(shí)時(shí)數(shù) 據(jù)查詢據(jù)查詢 客戶管理財(cái)務(wù)管理 外部用戶 貼源數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū) 內(nèi)部管理分析內(nèi)

8、部管理分析 內(nèi)部用戶 歷史歸檔數(shù)據(jù)區(qū)歷史歸檔數(shù)據(jù)區(qū) IT人員 風(fēng)險(xiǎn)管理 大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)產(chǎn)生層 l內(nèi)部業(yè)務(wù)系統(tǒng)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)內(nèi)部業(yè)務(wù)系統(tǒng)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù) v商城日常零售業(yè)務(wù)處理過(guò)程中產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)中，如：供應(yīng)商信息、采購(gòu)信息、商品信息、銷售流水商城日常零售業(yè)務(wù)處理過(guò)程中產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)中，如：供應(yīng)商信息、采購(gòu)信息、商品信息、銷售流水 v金融集團(tuán)日常業(yè)務(wù)處理過(guò)程中產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)中，如：客戶信息、賬戶信息、金融產(chǎn)品信息、交易流水金融集團(tuán)日常業(yè)務(wù)處理過(guò)程中產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)中，如：客戶信息、賬戶信息、金融產(chǎn)

9、品信息、交易流水 l企業(yè)內(nèi)部非結(jié)構(gòu)化數(shù)據(jù)企業(yè)內(nèi)部非結(jié)構(gòu)化數(shù)據(jù) v日常業(yè)務(wù)處理過(guò)程中產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)，存儲(chǔ)形式多樣，主要包括用戶訪問(wèn)日志、用戶投訴、用戶點(diǎn)評(píng)日常業(yè)務(wù)處理過(guò)程中產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)，存儲(chǔ)形式多樣，主要包括用戶訪問(wèn)日志、用戶投訴、用戶點(diǎn)評(píng) l企業(yè)外部數(shù)據(jù)企業(yè)外部數(shù)據(jù) v企業(yè)外部數(shù)據(jù)以非結(jié)構(gòu)化為主，主要包括國(guó)家政策法規(guī)、論壇等互聯(lián)網(wǎng)信息、地理位置等移動(dòng)信息、微博等社交媒體信息企業(yè)外部數(shù)據(jù)以非結(jié)構(gòu)化為主，主要包括國(guó)家政策法規(guī)、論壇等互聯(lián)網(wǎng)信息、地理位置等移動(dòng)信息、微博等社交媒體信息 源數(shù)據(jù)內(nèi)容源數(shù)據(jù)內(nèi)容 l在本次項(xiàng)目實(shí)施中將采用以增量為主、全量為輔結(jié)合的方式獲取源數(shù)據(jù)在本次項(xiàng)目實(shí)施中將采

10、用以增量為主、全量為輔結(jié)合的方式獲取源數(shù)據(jù) l商城和金融集團(tuán)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)商城和金融集團(tuán)業(yè)務(wù)系統(tǒng)的數(shù)據(jù) v增量數(shù)據(jù)識(shí)別、獲取由云數(shù)據(jù)推送平臺(tái)負(fù)責(zé)，云數(shù)據(jù)推送平臺(tái)采用分析、對(duì)比源系統(tǒng)日志方式實(shí)現(xiàn)增量數(shù)據(jù)識(shí)別、獲取由云數(shù)據(jù)推送平臺(tái)負(fù)責(zé)，云數(shù)據(jù)推送平臺(tái)采用分析、對(duì)比源系統(tǒng)日志方式實(shí)現(xiàn) v對(duì)于無(wú)法通過(guò)上述方式獲取增量的源系統(tǒng)數(shù)據(jù)，則采用某一個(gè)時(shí)間范圍內(nèi)的全部數(shù)據(jù)作為增量對(duì)于無(wú)法通過(guò)上述方式獲取增量的源系統(tǒng)數(shù)據(jù)，則采用某一個(gè)時(shí)間范圍內(nèi)的全部數(shù)據(jù)作為增量 v初始數(shù)據(jù)加載均采用全量模式初始數(shù)據(jù)加載均采用全量模式 源數(shù)據(jù)增量源數(shù)據(jù)增量 大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)交換層 數(shù)據(jù)交換層設(shè)計(jì)目標(biāo)數(shù)據(jù)交換層設(shè)計(jì)目標(biāo) 傳

11、輸組件是根據(jù)數(shù)據(jù)源存儲(chǔ)的不同分類而設(shè)計(jì)的，本質(zhì)是通過(guò)分析數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)和數(shù)據(jù)存儲(chǔ) 庫(kù)的特點(diǎn)來(lái)針對(duì)性的設(shè)計(jì)工具，以追求卓越的性能 保證數(shù)據(jù)在平臺(tái)內(nèi)高速流轉(zhuǎn)高速流轉(zhuǎn) 保證數(shù)據(jù)交換過(guò)程中不失真不失真 保證數(shù)據(jù)交換過(guò)程中不丟失不丟失 保證數(shù)據(jù)交換過(guò)程安全可靠安全可靠 數(shù)據(jù)區(qū)數(shù)據(jù)交 換組件 數(shù)據(jù)庫(kù)數(shù)據(jù)交 換組件 大數(shù)據(jù)交換組 件 金融集團(tuán)系統(tǒng)金融集團(tuán)系統(tǒng) 數(shù)據(jù)服務(wù)層 外部外部 大數(shù)大數(shù) 據(jù)據(jù) 商城系統(tǒng)商城系統(tǒng) Hadoop 元數(shù)據(jù) 云數(shù)據(jù)推送平臺(tái)云數(shù)據(jù)推送平臺(tái) 數(shù)據(jù)平臺(tái)導(dǎo)入 臨時(shí)區(qū) 數(shù)據(jù)平臺(tái)導(dǎo)出 臨時(shí)區(qū) NAS 存儲(chǔ) ETL程 序區(qū) 大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)交換層NAS存儲(chǔ) 存儲(chǔ)數(shù)據(jù)平臺(tái)各個(gè)Hadoop

12、集群的元數(shù)據(jù)信息，如：HDFS文件系統(tǒng) 元數(shù)據(jù) 集團(tuán)數(shù)據(jù)交換平臺(tái)每日獲取運(yùn)輸局推送平臺(tái)提供的業(yè)務(wù)系統(tǒng)變 化數(shù)據(jù)，暫存在NAS臨時(shí)數(shù)據(jù)區(qū) 金融數(shù)據(jù)平臺(tái)加工計(jì)算結(jié)果返回給業(yè)務(wù)系統(tǒng)，暫存在NAS臨時(shí)數(shù) 據(jù)區(qū) 數(shù)據(jù)平臺(tái)ETL加工處理程序（數(shù)據(jù)壓縮、數(shù)據(jù)加載、各數(shù)據(jù)數(shù)據(jù) 處理等）統(tǒng)一存儲(chǔ)在NAS集群指定目錄，各接口服務(wù)器通過(guò)文件 系統(tǒng)Link建立映射 大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)交換層大數(shù)據(jù)交換組件 l企業(yè)內(nèi)部非結(jié)構(gòu)化企業(yè)內(nèi)部非結(jié)構(gòu)化 、半結(jié)構(gòu)化數(shù)據(jù)，、半結(jié)構(gòu)化數(shù)據(jù)， 如：音頻、視頻、如：音頻、視頻、 郵件、郵件、OfficeOffice文檔文檔 、抵押品掃描件等、抵押品掃描件等 l企業(yè)外部非結(jié)構(gòu)化企業(yè)外

13、部非結(jié)構(gòu)化 、半結(jié)構(gòu)化數(shù)據(jù)，、半結(jié)構(gòu)化數(shù)據(jù)， 如：微博、貼吧、如：微博、貼吧、 論壇、用戶點(diǎn)擊流論壇、用戶點(diǎn)擊流 、用戶移動(dòng)位置等、用戶移動(dòng)位置等 l批量采集：大數(shù)據(jù)批量采集：大數(shù)據(jù) 源以源以SFTPSFTP協(xié)議批量協(xié)議批量 傳輸數(shù)據(jù)文件傳輸數(shù)據(jù)文件 l在線訪問(wèn)：開(kāi)發(fā)在線訪問(wèn)：開(kāi)發(fā) JavaJava或或C C應(yīng)用，調(diào)用應(yīng)用，調(diào)用 大據(jù)源大據(jù)源APIAPI，或以網(wǎng)，或以網(wǎng) 絡(luò)平臺(tái)爬蟲(chóng)方式抓絡(luò)平臺(tái)爬蟲(chóng)方式抓 取源系統(tǒng)非結(jié)構(gòu)化取源系統(tǒng)非結(jié)構(gòu)化 、半結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù) l組件以實(shí)時(shí)和批量組件以實(shí)時(shí)和批量 兩種模式實(shí)現(xiàn)下列兩種模式實(shí)現(xiàn)下列 功能：功能： v數(shù)據(jù)采集數(shù)據(jù)采集 v數(shù)據(jù)傳輸?shù)綌?shù)據(jù)交數(shù)據(jù)傳

14、輸?shù)綌?shù)據(jù)交 換平臺(tái)（接口服務(wù)換平臺(tái)（接口服務(wù) 器）器）NASNAS指定目錄指定目錄 v存儲(chǔ)數(shù)據(jù)到數(shù)據(jù)平存儲(chǔ)數(shù)據(jù)到數(shù)據(jù)平 臺(tái)大數(shù)據(jù)區(qū)指定臺(tái)大數(shù)據(jù)區(qū)指定 HDFSHDFS目錄目錄 l定時(shí)抽取用戶訪問(wèn)定時(shí)抽取用戶訪問(wèn) 日志，加載到數(shù)據(jù)日志，加載到數(shù)據(jù) 平臺(tái)大數(shù)據(jù)區(qū)平臺(tái)大數(shù)據(jù)區(qū)HDFSHDFS 指定目錄，指定目錄，MRMR程序程序 加工處理加工處理 l開(kāi)發(fā)網(wǎng)絡(luò)爬蟲(chóng)程序開(kāi)發(fā)網(wǎng)絡(luò)爬蟲(chóng)程序 ，掃描用戶微博，掃描用戶微博， 抓取用戶微博內(nèi)容抓取用戶微博內(nèi)容 ，社交圈信息，存，社交圈信息，存 入大數(shù)據(jù)區(qū)入大數(shù)據(jù)區(qū) 處理對(duì)象處理對(duì)象實(shí)現(xiàn)技術(shù)實(shí)現(xiàn)技術(shù)實(shí)現(xiàn)功能實(shí)現(xiàn)功能應(yīng)用場(chǎng)景應(yīng)用場(chǎng)景 大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)交換層

15、數(shù)據(jù)庫(kù)數(shù)據(jù)交換組件 l企業(yè)內(nèi)部業(yè)務(wù)系統(tǒng)產(chǎn)企業(yè)內(nèi)部業(yè)務(wù)系統(tǒng)產(chǎn) 生的結(jié)構(gòu)化數(shù)據(jù)，包生的結(jié)構(gòu)化數(shù)據(jù)，包 括兩大來(lái)源：括兩大來(lái)源： v商城零售業(yè)務(wù)數(shù)據(jù)，商城零售業(yè)務(wù)數(shù)據(jù)， 數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)存儲(chǔ)在OracleOracle、 SQLServerSQLServer、MySQLMySQL和和 MongoDBMongoDB四類數(shù)據(jù)庫(kù)四類數(shù)據(jù)庫(kù) v金融集團(tuán)互聯(lián)網(wǎng)金融金融集團(tuán)互聯(lián)網(wǎng)金融 業(yè)務(wù)數(shù)據(jù)，數(shù)據(jù)存儲(chǔ)業(yè)務(wù)數(shù)據(jù)，數(shù)據(jù)存儲(chǔ) 在在MySQLMySQL數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù) lPerlPerl程序程序 v數(shù)據(jù)采集，數(shù)據(jù)采集，調(diào)用調(diào)用 PerlPerl文件模塊相關(guān)函文件模塊相關(guān)函 數(shù)，輪詢指定目錄，數(shù)，輪詢指定目錄， 獲取數(shù)據(jù)文件獲

16、取數(shù)據(jù)文件 v數(shù)據(jù)核查，數(shù)據(jù)核查，PerlPerl執(zhí)行執(zhí)行 文件級(jí)數(shù)據(jù)質(zhì)量檢查文件級(jí)數(shù)據(jù)質(zhì)量檢查 v數(shù)據(jù)加載，調(diào)用數(shù)據(jù)加載，調(diào)用Hive Hive LoadLoad數(shù)據(jù)命令，加載數(shù)據(jù)命令，加載 到數(shù)據(jù)平臺(tái)臨時(shí)數(shù)據(jù)到數(shù)據(jù)平臺(tái)臨時(shí)數(shù)據(jù) 區(qū)的區(qū)的Hive TableHive Table l組件以實(shí)時(shí)和批量模組件以實(shí)時(shí)和批量模 式實(shí)現(xiàn)下列功能：式實(shí)現(xiàn)下列功能： v數(shù)據(jù)采集，輪詢數(shù)據(jù)采集，輪詢NASNAS集集 群指定目錄，獲取數(shù)據(jù)群指定目錄，獲取數(shù)據(jù) 文件（文件（LZOLZO壓縮）壓縮） v數(shù)據(jù)核查，對(duì)數(shù)據(jù)文件數(shù)據(jù)核查，對(duì)數(shù)據(jù)文件 進(jìn)行質(zhì)量校驗(yàn)進(jìn)行質(zhì)量校驗(yàn) v數(shù)據(jù)加載，加載數(shù)據(jù)到數(shù)據(jù)加載，加載數(shù)據(jù)到 臨

17、時(shí)數(shù)據(jù)區(qū)臨時(shí)數(shù)據(jù)區(qū) l云數(shù)據(jù)推送平臺(tái)連接云數(shù)據(jù)推送平臺(tái)連接 供應(yīng)鏈金融系統(tǒng)數(shù)據(jù)供應(yīng)鏈金融系統(tǒng)數(shù)據(jù) 庫(kù)，分析供應(yīng)鏈金融庫(kù)，分析供應(yīng)鏈金融 MySQLMySQL數(shù)據(jù)庫(kù)日志，識(shí)數(shù)據(jù)庫(kù)日志，識(shí) 別增量數(shù)據(jù)，存儲(chǔ)到別增量數(shù)據(jù)，存儲(chǔ)到 金融平臺(tái)金融平臺(tái)NASNAS存儲(chǔ)的指存儲(chǔ)的指 定目錄，金融平臺(tái)加定目錄，金融平臺(tái)加 載數(shù)據(jù)文件到數(shù)據(jù)平載數(shù)據(jù)文件到數(shù)據(jù)平 臺(tái)臨時(shí)區(qū)臺(tái)臨時(shí)區(qū)HiveHive表表 處理對(duì)象處理對(duì)象實(shí)現(xiàn)技術(shù)實(shí)現(xiàn)技術(shù)實(shí)現(xiàn)功能實(shí)現(xiàn)功能應(yīng)用場(chǎng)景應(yīng)用場(chǎng)景 大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)交換層數(shù)據(jù)區(qū)數(shù)據(jù)交換組件 l數(shù)據(jù)平臺(tái)計(jì)算層各數(shù)據(jù)平臺(tái)計(jì)算層各 數(shù)據(jù)區(qū)數(shù)據(jù)區(qū) v貼源數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū) v主題數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)

18、v集市數(shù)據(jù)區(qū)集市數(shù)據(jù)區(qū) v沙盤(pán)數(shù)據(jù)區(qū)沙盤(pán)數(shù)據(jù)區(qū) v大數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū) v歸檔數(shù)據(jù)區(qū)歸檔數(shù)據(jù)區(qū) lSqoopSqoop實(shí)現(xiàn)集市數(shù)據(jù)實(shí)現(xiàn)集市數(shù)據(jù) 區(qū)與數(shù)據(jù)平臺(tái)其他區(qū)與數(shù)據(jù)平臺(tái)其他 HadoopHadoop數(shù)據(jù)區(qū)的數(shù)數(shù)據(jù)區(qū)的數(shù) 據(jù)交換據(jù)交換 lHadoop Hadoop 命令、命令、HiveHive 外部表、外部表、MRMR程序?qū)嵆绦驅(qū)?現(xiàn)數(shù)據(jù)平臺(tái)現(xiàn)數(shù)據(jù)平臺(tái)HadoopHadoop 數(shù)據(jù)區(qū)間的數(shù)據(jù)交數(shù)據(jù)區(qū)間的數(shù)據(jù)交 換換 l組件以批量方式實(shí)組件以批量方式實(shí) 現(xiàn)下列數(shù)據(jù)交換功現(xiàn)下列數(shù)據(jù)交換功 能：能： v貼源數(shù)據(jù)區(qū)和主題數(shù)貼源數(shù)據(jù)區(qū)和主題數(shù) 據(jù)區(qū)到集市數(shù)據(jù)區(qū)據(jù)區(qū)到集市數(shù)據(jù)區(qū) v大數(shù)據(jù)區(qū)到主題數(shù)據(jù)大數(shù)據(jù)區(qū)

19、到主題數(shù)據(jù) 區(qū)和集市數(shù)據(jù)區(qū)區(qū)和集市數(shù)據(jù)區(qū) v主題數(shù)據(jù)區(qū)、貼源數(shù)主題數(shù)據(jù)區(qū)、貼源數(shù) 據(jù)區(qū)、集市數(shù)據(jù)區(qū)到據(jù)區(qū)、集市數(shù)據(jù)區(qū)到 沙盤(pán)數(shù)據(jù)區(qū)沙盤(pán)數(shù)據(jù)區(qū) v各個(gè)數(shù)據(jù)區(qū)數(shù)據(jù)歸檔各個(gè)數(shù)據(jù)區(qū)數(shù)據(jù)歸檔 l數(shù)據(jù)集市的數(shù)據(jù)按數(shù)據(jù)集市的數(shù)據(jù)按 照據(jù)生命周期規(guī)劃照據(jù)生命周期規(guī)劃 ，統(tǒng)一將過(guò)期數(shù)據(jù)，統(tǒng)一將過(guò)期數(shù)據(jù) 歸檔到歷史數(shù)據(jù)歸歸檔到歷史數(shù)據(jù)歸 檔區(qū)檔區(qū) 處理對(duì)象處理對(duì)象實(shí)現(xiàn)技術(shù)實(shí)現(xiàn)技術(shù)實(shí)現(xiàn)功能實(shí)現(xiàn)功能應(yīng)用場(chǎng)景應(yīng)用場(chǎng)景 大數(shù)據(jù)分析平臺(tái)總體架構(gòu)流程調(diào)度層批量處理流程 l 批量數(shù)據(jù)處理由流程調(diào)度層部署的批量數(shù)據(jù)處理由流程調(diào)度層部署的 自定義開(kāi)發(fā)自定義開(kāi)發(fā)WorkFlowWorkFlow組件調(diào)度運(yùn)行組件調(diào)度運(yùn)行 l 整個(gè)流程主

20、要完成如下工作：整個(gè)流程主要完成如下工作： 1.1. 獲取業(yè)務(wù)系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)，存獲取業(yè)務(wù)系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)，存 入臨時(shí)數(shù)據(jù)區(qū)入臨時(shí)數(shù)據(jù)區(qū) 2.2. 獲取企業(yè)內(nèi)外部非結(jié)構(gòu)化數(shù)據(jù)獲取企業(yè)內(nèi)外部非結(jié)構(gòu)化數(shù)據(jù) ，并進(jìn)行結(jié)構(gòu)化處理，存入主，并進(jìn)行結(jié)構(gòu)化處理，存入主 題或集市數(shù)據(jù)區(qū)題或集市數(shù)據(jù)區(qū) 3.3. 按照貼源數(shù)據(jù)模型整合數(shù)據(jù)（按照貼源數(shù)據(jù)模型整合數(shù)據(jù)（ 標(biāo)準(zhǔn)化、數(shù)據(jù)更新標(biāo)準(zhǔn)化、數(shù)據(jù)更新/ /追加）追加） 4.4. 按照主題數(shù)據(jù)模型整合數(shù)據(jù)并按照主題數(shù)據(jù)模型整合數(shù)據(jù)并 生成匯總生成匯總 5.5. 數(shù)據(jù)加工計(jì)算后，結(jié)果交付到數(shù)據(jù)加工計(jì)算后，結(jié)果交付到 數(shù)據(jù)集市，支持分析類應(yīng)用數(shù)據(jù)集市，支持分析類應(yīng)用 大數(shù)據(jù)

21、分析平臺(tái)總體架構(gòu)流程調(diào)度層實(shí)時(shí)數(shù)據(jù)處理流程 l 實(shí)時(shí)數(shù)據(jù)處理強(qiáng)調(diào)的是實(shí)時(shí)或準(zhǔn)實(shí)時(shí)獲實(shí)時(shí)數(shù)據(jù)處理強(qiáng)調(diào)的是實(shí)時(shí)或準(zhǔn)實(shí)時(shí)獲 取并處理數(shù)據(jù)，通常采取消息隊(duì)列等技取并處理數(shù)據(jù)，通常采取消息隊(duì)列等技 術(shù)構(gòu)建術(shù)構(gòu)建“數(shù)據(jù)流數(shù)據(jù)流” l 整個(gè)處理流程由流程調(diào)度層部署的自定整個(gè)處理流程由流程調(diào)度層部署的自定 義開(kāi)發(fā)義開(kāi)發(fā)WorkFlowWorkFlow組件調(diào)度運(yùn)行組件調(diào)度運(yùn)行 l 整個(gè)流程主要完成如下工作：整個(gè)流程主要完成如下工作： 1.1. 通過(guò)數(shù)據(jù)庫(kù)數(shù)據(jù)交換組件獲取增量通過(guò)數(shù)據(jù)庫(kù)數(shù)據(jù)交換組件獲取增量 數(shù)據(jù)，加載到實(shí)時(shí)數(shù)據(jù)區(qū)數(shù)據(jù)，加載到實(shí)時(shí)數(shù)據(jù)區(qū) 2.2. 通過(guò)大數(shù)據(jù)交換組件獲取非結(jié)構(gòu)化通過(guò)大數(shù)據(jù)交換組件獲取

22、非結(jié)構(gòu)化 數(shù)據(jù)，并利用數(shù)據(jù)，并利用StormStorm處理數(shù)據(jù)，加處理數(shù)據(jù)，加 載到實(shí)時(shí)數(shù)據(jù)區(qū)載到實(shí)時(shí)數(shù)據(jù)區(qū) 3.3. 針對(duì)實(shí)時(shí)數(shù)據(jù)區(qū)數(shù)據(jù)執(zhí)行標(biāo)準(zhǔn)化處針對(duì)實(shí)時(shí)數(shù)據(jù)區(qū)數(shù)據(jù)執(zhí)行標(biāo)準(zhǔn)化處 理和貼源整合理和貼源整合 大數(shù)據(jù)分析平臺(tái)總體架構(gòu)流程調(diào)度層歸檔數(shù)據(jù)處理流程 l 數(shù)據(jù)歸檔的對(duì)象包括業(yè)務(wù)系統(tǒng)數(shù)據(jù)文件、貼源數(shù)數(shù)據(jù)歸檔的對(duì)象包括業(yè)務(wù)系統(tǒng)數(shù)據(jù)文件、貼源數(shù) 據(jù)區(qū)數(shù)據(jù)、主題數(shù)據(jù)區(qū)數(shù)據(jù)、大數(shù)據(jù)區(qū)數(shù)據(jù)和集據(jù)區(qū)數(shù)據(jù)、主題數(shù)據(jù)區(qū)數(shù)據(jù)、大數(shù)據(jù)區(qū)數(shù)據(jù)和集 市數(shù)據(jù)區(qū)數(shù)據(jù)市數(shù)據(jù)區(qū)數(shù)據(jù) l 數(shù)據(jù)按照生命周期規(guī)劃存儲(chǔ)到歸檔區(qū)數(shù)據(jù)按照生命周期規(guī)劃存儲(chǔ)到歸檔區(qū)HadoopHadoop集群集群 ，歸檔后原數(shù)據(jù)區(qū)刪除此數(shù)據(jù)，歸檔后原數(shù)

23、據(jù)區(qū)刪除此數(shù)據(jù) l 整個(gè)處理流程由流程調(diào)度層部署的自定義開(kāi)發(fā)整個(gè)處理流程由流程調(diào)度層部署的自定義開(kāi)發(fā) WorkFlowWorkFlow組件調(diào)度運(yùn)行組件調(diào)度運(yùn)行 l 整個(gè)流程主要完成如下工作：整個(gè)流程主要完成如下工作： 1.1. 數(shù)據(jù)文件通過(guò)數(shù)據(jù)文件通過(guò)HDFSHDFS命令行命令行copyfromlocalcopyfromlocal進(jìn)進(jìn) 行歸檔行歸檔 2.2. 貼源、主題和大數(shù)據(jù)區(qū)通過(guò)貼源、主題和大數(shù)據(jù)區(qū)通過(guò)HDFSHDFS命令行命令行 distcpdistcp或自定義開(kāi)發(fā)的或自定義開(kāi)發(fā)的MRMR程序執(zhí)行歸檔程序執(zhí)行歸檔 3.3. 集市數(shù)據(jù)區(qū)通過(guò)集市數(shù)據(jù)區(qū)通過(guò)SqoopSqoop或數(shù)據(jù)庫(kù)提供的或

24、數(shù)據(jù)庫(kù)提供的 HadoopHadoop集成技術(shù)（如：外部表）執(zhí)行歸檔集成技術(shù)（如：外部表）執(zhí)行歸檔 大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)存儲(chǔ)層 l業(yè)務(wù)系統(tǒng)前日增量數(shù)據(jù)業(yè)務(wù)系統(tǒng)前日增量數(shù)據(jù) l緩存數(shù)據(jù)，支持后續(xù)緩存數(shù)據(jù)，支持后續(xù)ELTELT數(shù)據(jù)處理數(shù)據(jù)處理 數(shù)據(jù)內(nèi)容 主要用途 數(shù)據(jù)模型 保留周期 用戶 訪問(wèn)模式 工作負(fù)載 平臺(tái)要求 l貼源數(shù)據(jù)模型貼源數(shù)據(jù)模型 l保存最近保存最近7 7天數(shù)據(jù)天數(shù)據(jù) l貼源數(shù)據(jù)區(qū)和主題數(shù)據(jù)區(qū)批量作業(yè)訪問(wèn)貼源數(shù)據(jù)區(qū)和主題數(shù)據(jù)區(qū)批量作業(yè)訪問(wèn) l無(wú)最終用戶訪問(wèn)無(wú)最終用戶訪問(wèn) lI/OI/O敏感，連續(xù)小批量的數(shù)據(jù)抽取和加載敏感，連續(xù)小批量的數(shù)據(jù)抽取和加載 l少量量數(shù)據(jù)使用少量量數(shù)據(jù)使

25、用HiveHive的的LoadLoad命令，大量數(shù)據(jù)使用命令，大量數(shù)據(jù)使用MRMR程序程序 l與主題區(qū)與主題區(qū)/ /貼源區(qū)貼源區(qū)/ /集市區(qū)構(gòu)成一個(gè)集市區(qū)構(gòu)成一個(gè)HadoopHadoop集群（集群（HiveHive） l無(wú)單點(diǎn)故障，無(wú)單點(diǎn)故障，7 72424小時(shí)小時(shí)+ +非工作日有限停機(jī)非工作日有限停機(jī) l主題數(shù)據(jù)區(qū)、集市數(shù)據(jù)區(qū)和沙盤(pán)演練數(shù)據(jù)區(qū)批量作業(yè)訪問(wèn)主題數(shù)據(jù)區(qū)、集市數(shù)據(jù)區(qū)和沙盤(pán)演練數(shù)據(jù)區(qū)批量作業(yè)訪問(wèn) l無(wú)最終用戶訪問(wèn)無(wú)最終用戶訪問(wèn) lI/OI/O敏感，日終批量敏感，日終批量ETLETL l以以ELTELT形式通過(guò)形式通過(guò)Hive SQLHive SQL執(zhí)行執(zhí)行 l與主題區(qū)與主題區(qū)/ /貼

26、源區(qū)貼源區(qū)/ /集市區(qū)構(gòu)成一個(gè)集市區(qū)構(gòu)成一個(gè)HadoopHadoop集群（集群（HiveHive） l無(wú)單點(diǎn)故障，無(wú)單點(diǎn)故障，7 72424小時(shí)小時(shí)+ +非工作日有限停機(jī)非工作日有限停機(jī) l貼源數(shù)據(jù)模型貼源數(shù)據(jù)模型 l不保存歷史不保存歷史 l業(yè)務(wù)系統(tǒng)前日快照數(shù)據(jù)和一段時(shí)間的流水?dāng)?shù)據(jù)業(yè)務(wù)系統(tǒng)前日快照數(shù)據(jù)和一段時(shí)間的流水?dāng)?shù)據(jù) l數(shù)據(jù)標(biāo)準(zhǔn)化，為后續(xù)主題模型、集市和沙盤(pán)演練提供數(shù)據(jù)數(shù)據(jù)標(biāo)準(zhǔn)化，為后續(xù)主題模型、集市和沙盤(pán)演練提供數(shù)據(jù) 臨時(shí)數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū) 大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)存儲(chǔ)層（續(xù)） l企業(yè)內(nèi)外部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)企業(yè)內(nèi)外部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù) l采集并存儲(chǔ)數(shù)據(jù)，進(jìn)行結(jié)構(gòu)化處理，最終得到

27、結(jié)構(gòu)化數(shù)據(jù)采集并存儲(chǔ)數(shù)據(jù)，進(jìn)行結(jié)構(gòu)化處理，最終得到結(jié)構(gòu)化數(shù)據(jù) 數(shù)據(jù)內(nèi)容 主要用途 數(shù)據(jù)模型 保留周期 用戶 訪問(wèn)模式 工作負(fù)載 平臺(tái)要求 l數(shù)據(jù)按照數(shù)據(jù)按照HDFSHDFS文件存儲(chǔ)文件存儲(chǔ) l建議保留建議保留1 1年年 l集市區(qū)集市區(qū)/ /沙盤(pán)區(qū)沙盤(pán)區(qū)/ /增值產(chǎn)品區(qū)增值產(chǎn)品區(qū)/ /主題區(qū)主題區(qū)/ /歸檔區(qū)批量作業(yè)訪問(wèn)歸檔區(qū)批量作業(yè)訪問(wèn) l少量高級(jí)業(yè)務(wù)人員進(jìn)行大數(shù)據(jù)分析少量高級(jí)業(yè)務(wù)人員進(jìn)行大數(shù)據(jù)分析 lMapReduce MapReduce 分布式計(jì)算，半分布式計(jì)算，半/ /非結(jié)構(gòu)化數(shù)據(jù)的結(jié)構(gòu)化處理（非結(jié)構(gòu)化數(shù)據(jù)的結(jié)構(gòu)化處理（ 包括文本檢索、語(yǔ)義分詞、圖像識(shí)別、音頻識(shí)別等）包括文本檢索、語(yǔ)義分

28、詞、圖像識(shí)別、音頻識(shí)別等） l與主題區(qū)與主題區(qū)/ /貼源區(qū)構(gòu)成一個(gè)貼源區(qū)構(gòu)成一個(gè)HadoopHadoop集群（集群（HDFSHDFS） l無(wú)單點(diǎn)故障，無(wú)單點(diǎn)故障，7 72424小時(shí)小時(shí)+ +非工作日有限停機(jī)非工作日有限停機(jī) l集市區(qū)集市區(qū)/ /沙盤(pán)區(qū)沙盤(pán)區(qū)/ /增值產(chǎn)品區(qū)增值產(chǎn)品區(qū)/ /主題區(qū)主題區(qū)/ /高時(shí)效區(qū)批量作業(yè)訪問(wèn)高時(shí)效區(qū)批量作業(yè)訪問(wèn) l業(yè)務(wù)人員執(zhí)行歷史數(shù)據(jù)查詢業(yè)務(wù)人員執(zhí)行歷史數(shù)據(jù)查詢 lMapReduceMapReduce分布式計(jì)算，分布式計(jì)算，HDFSHDFS命令實(shí)現(xiàn)命令實(shí)現(xiàn)HadoopHadoop集群內(nèi)歸檔，集群內(nèi)歸檔， SqoopSqoop實(shí)現(xiàn)數(shù)據(jù)庫(kù)歸檔，通過(guò)實(shí)現(xiàn)數(shù)據(jù)庫(kù)歸檔，

29、通過(guò)HiveHive提供歷史查詢提供歷史查詢 l獨(dú)立的獨(dú)立的HadoopHadoop集群（集群（HDFS+HiveHDFS+Hive） l無(wú)單點(diǎn)故障，無(wú)單點(diǎn)故障，7 72424小時(shí)小時(shí)+ +非工作日有限停機(jī)非工作日有限停機(jī) l數(shù)據(jù)按照數(shù)據(jù)按照HDFSHDFS文件存儲(chǔ)文件存儲(chǔ) l數(shù)據(jù)文件按照數(shù)據(jù)區(qū)劃分目錄，建議保留數(shù)據(jù)文件按照數(shù)據(jù)區(qū)劃分目錄，建議保留7 7年年 l其他各數(shù)據(jù)區(qū)歷史數(shù)據(jù)其他各數(shù)據(jù)區(qū)歷史數(shù)據(jù) l按數(shù)據(jù)生命周期規(guī)劃歸檔平臺(tái)過(guò)期數(shù)據(jù)，支撐歷史數(shù)據(jù)查詢按數(shù)據(jù)生命周期規(guī)劃歸檔平臺(tái)過(guò)期數(shù)據(jù)，支撐歷史數(shù)據(jù)查詢 大數(shù)據(jù)區(qū)歷史歸檔數(shù)據(jù)區(qū) 大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)存儲(chǔ)層（續(xù)） l業(yè)務(wù)系統(tǒng)歷史明細(xì)數(shù)據(jù)

30、業(yè)務(wù)系統(tǒng)歷史明細(xì)數(shù)據(jù) l打破業(yè)務(wù)條線整合數(shù)據(jù)打破業(yè)務(wù)條線整合數(shù)據(jù) 數(shù)據(jù)內(nèi)容 主要用途 數(shù)據(jù)模型 保留周期 用戶 訪問(wèn)模式 工作負(fù)載 可用性要求 l第三范式模型第三范式模型 l保留長(zhǎng)期歷史，需要根據(jù)主題細(xì)化保留長(zhǎng)期歷史，需要根據(jù)主題細(xì)化 l主題區(qū)主題區(qū)/ /集市區(qū)集市區(qū)/ /沙盤(pán)區(qū)沙盤(pán)區(qū)/ /增值產(chǎn)品區(qū)增值產(chǎn)品區(qū)/ /歸檔區(qū)批量作業(yè)訪問(wèn)歸檔區(qū)批量作業(yè)訪問(wèn) l少量高級(jí)業(yè)務(wù)人員進(jìn)行靈活查詢、挖掘預(yù)測(cè)少量高級(jí)業(yè)務(wù)人員進(jìn)行靈活查詢、挖掘預(yù)測(cè) lI/OI/O敏感，日終批量敏感，日終批量ETL ETL （合并、拉鏈、關(guān)聯(lián)、匯總等等）（合并、拉鏈、關(guān)聯(lián)、匯總等等） l以以ELTELT形式通過(guò)形式通過(guò)Hive

31、SQLHive SQL執(zhí)行，復(fù)雜處理使用執(zhí)行，復(fù)雜處理使用MRMR定制定制UDFUDF l與大數(shù)據(jù)區(qū)與大數(shù)據(jù)區(qū)/ /貼源區(qū)構(gòu)成一個(gè)貼源區(qū)構(gòu)成一個(gè)HadoopHadoop集群（集群（HiveHive） l無(wú)單點(diǎn)故障，無(wú)單點(diǎn)故障， 7 72424小時(shí)小時(shí)+ +非工作日有限停機(jī)非工作日有限停機(jī) l集市區(qū)集市區(qū)/ /沙盤(pán)區(qū)沙盤(pán)區(qū)/ /增值產(chǎn)品區(qū)增值產(chǎn)品區(qū)/ /歸檔區(qū)批量作業(yè)訪問(wèn)歸檔區(qū)批量作業(yè)訪問(wèn) l少量高級(jí)業(yè)務(wù)人員進(jìn)行靈活查詢、挖掘預(yù)測(cè)少量高級(jí)業(yè)務(wù)人員進(jìn)行靈活查詢、挖掘預(yù)測(cè) lI/OI/O敏感，日終批量敏感，日終批量ETL ETL （連接、聚合、匯總等等）（連接、聚合、匯總等等） l以以ELTELT形

32、式通過(guò)形式通過(guò)Hive SQLHive SQL執(zhí)行，復(fù)雜處理使用執(zhí)行，復(fù)雜處理使用MRMR定制定制UDFUDF l與大數(shù)據(jù)區(qū)與大數(shù)據(jù)區(qū)/ /貼源區(qū)構(gòu)成一個(gè)貼源區(qū)構(gòu)成一個(gè)HadoopHadoop集群（集群（HiveHive） l無(wú)單點(diǎn)故障，無(wú)單點(diǎn)故障，7 72424小時(shí)小時(shí)+ +非工作日有限停機(jī)非工作日有限停機(jī) l逆范式寬表逆范式寬表 l依賴于集市數(shù)據(jù)需求依賴于集市數(shù)據(jù)需求 l對(duì)主題數(shù)據(jù)預(yù)加工后的結(jié)果數(shù)據(jù)對(duì)主題數(shù)據(jù)預(yù)加工后的結(jié)果數(shù)據(jù) l針對(duì)應(yīng)用需求進(jìn)行數(shù)據(jù)預(yù)連接、預(yù)匯總，為集市提供數(shù)據(jù)針對(duì)應(yīng)用需求進(jìn)行數(shù)據(jù)預(yù)連接、預(yù)匯總，為集市提供數(shù)據(jù) 主題數(shù)據(jù)區(qū)明細(xì)主題數(shù)據(jù)區(qū)匯總 大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)存儲(chǔ)

33、層（續(xù)） l按沙盤(pán)演練需求，準(zhǔn)備的明細(xì)或匯總業(yè)務(wù)數(shù)據(jù)按沙盤(pán)演練需求，準(zhǔn)備的明細(xì)或匯總業(yè)務(wù)數(shù)據(jù) l為數(shù)據(jù)科學(xué)家的挖掘預(yù)測(cè)操作提供數(shù)據(jù)服務(wù)為數(shù)據(jù)科學(xué)家的挖掘預(yù)測(cè)操作提供數(shù)據(jù)服務(wù) 數(shù)據(jù)內(nèi)容 主要用途 數(shù)據(jù)模型 保留周期 用戶 訪問(wèn)模式 工作負(fù)載 可用性要求 l模型依賴于沙盤(pán)演練需求模型依賴于沙盤(pán)演練需求 l在整個(gè)沙盤(pán)演練周期內(nèi)保留在整個(gè)沙盤(pán)演練周期內(nèi)保留 l集市區(qū)集市區(qū)/ /沙盤(pán)區(qū)沙盤(pán)區(qū)/ /歸檔區(qū)批量作業(yè)訪問(wèn)歸檔區(qū)批量作業(yè)訪問(wèn) l少量高級(jí)業(yè)務(wù)人員進(jìn)行靈活查詢、挖掘預(yù)測(cè)少量高級(jí)業(yè)務(wù)人員進(jìn)行靈活查詢、挖掘預(yù)測(cè) lI/OI/O敏感，終批量敏感，終批量ETL ETL （合并、拉鏈、關(guān)聯(lián)、匯總等等）（合并、

34、拉鏈、關(guān)聯(lián)、匯總等等） l以以ELTELT形式通過(guò)形式通過(guò)Hive SQLHive SQL執(zhí)行，復(fù)雜處理使用執(zhí)行，復(fù)雜處理使用MRMR定制定制UDFUDF l獨(dú)立的獨(dú)立的HadoopHadoop集群（集群（HDFSHDFS） l無(wú)單點(diǎn)故障，無(wú)單點(diǎn)故障，7 72424小時(shí)小時(shí)+ +非工作日有限停機(jī)非工作日有限停機(jī) l沙盤(pán)區(qū)沙盤(pán)區(qū)/ /歸檔區(qū)批量作業(yè)訪問(wèn)歸檔區(qū)批量作業(yè)訪問(wèn) l決策人員、管理人員、業(yè)務(wù)人員訪問(wèn)決策人員、管理人員、業(yè)務(wù)人員訪問(wèn) lI/OI/O敏感型，敏感型，BIBI工具提交的報(bào)表、查詢、分析工具提交的報(bào)表、查詢、分析SQLSQL命令和日終命令和日終 批量批量ETLETL（匯總、聚集等操

35、作，以（匯總、聚集等操作，以ELTELT形式通過(guò)形式通過(guò)SQLSQL執(zhí)行）執(zhí)行） l基于開(kāi)放平臺(tái)的完全無(wú)共享基于開(kāi)放平臺(tái)的完全無(wú)共享 MPP MPP 數(shù)據(jù)庫(kù)集群數(shù)據(jù)庫(kù)集群+ +內(nèi)存數(shù)據(jù)庫(kù)內(nèi)存數(shù)據(jù)庫(kù) l無(wú)單點(diǎn)故障，無(wú)單點(diǎn)故障，7 72424小時(shí)小時(shí)+ +非工作日有限停機(jī)非工作日有限停機(jī) l維度數(shù)據(jù)模型維度數(shù)據(jù)模型 l依賴業(yè)務(wù)需求依賴業(yè)務(wù)需求 l面向企業(yè)內(nèi)部管理分析類應(yīng)用需求的匯總數(shù)據(jù)面向企業(yè)內(nèi)部管理分析類應(yīng)用需求的匯總數(shù)據(jù) l為客戶、運(yùn)營(yíng)等管理分析主題和數(shù)據(jù)增值產(chǎn)品提供數(shù)據(jù)服務(wù)為客戶、運(yùn)營(yíng)等管理分析主題和數(shù)據(jù)增值產(chǎn)品提供數(shù)據(jù)服務(wù) 沙盤(pán)演練數(shù)據(jù)區(qū)應(yīng)用集市數(shù)據(jù)區(qū) 大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)存儲(chǔ)層（續(xù)

36、） l根據(jù)外部用戶的數(shù)據(jù)使用需求數(shù)據(jù)平臺(tái)加工計(jì)算的結(jié)果數(shù)據(jù)根據(jù)外部用戶的數(shù)據(jù)使用需求數(shù)據(jù)平臺(tái)加工計(jì)算的結(jié)果數(shù)據(jù) l為部署在數(shù)據(jù)平臺(tái)上的企業(yè)內(nèi)外部增值產(chǎn)品提供數(shù)據(jù)支持為部署在數(shù)據(jù)平臺(tái)上的企業(yè)內(nèi)外部增值產(chǎn)品提供數(shù)據(jù)支持 數(shù)據(jù)內(nèi)容 主要用途 數(shù)據(jù)模型 保留周期 用戶 訪問(wèn)模式 工作負(fù)載 可用性要求 l應(yīng)用模型，依賴于用戶業(yè)務(wù)需求應(yīng)用模型，依賴于用戶業(yè)務(wù)需求 l依賴于用戶業(yè)務(wù)需求依賴于用戶業(yè)務(wù)需求 l企業(yè)外部人員，如：京東客戶企業(yè)外部人員，如：京東客戶 l通過(guò)自己部署在通過(guò)自己部署在PaasPaas平臺(tái)上的應(yīng)用訪問(wèn)平臺(tái)上的應(yīng)用訪問(wèn) lI/OI/O敏感型，敏感型，BIBI工具提交的報(bào)表、查詢、分析工具提

37、交的報(bào)表、查詢、分析SQLSQL命令和日終命令和日終 批量批量ETLETL（匯總、聚集等操作，以（匯總、聚集等操作，以ELTELT形式通過(guò)形式通過(guò)SQLSQL執(zhí)行）執(zhí)行） l獨(dú)立的獨(dú)立的PaasPaas平臺(tái)，部署平臺(tái)，部署HadoopHadoop集群集群 l無(wú)單點(diǎn)故障，無(wú)單點(diǎn)故障，7 72424小時(shí)小時(shí)+ +非工作日有限停機(jī)非工作日有限停機(jī) l企業(yè)業(yè)務(wù)人員企業(yè)業(yè)務(wù)人員 l高時(shí)效、高并發(fā)、高可靠性的聯(lián)機(jī)交易類查詢高時(shí)效、高并發(fā)、高可靠性的聯(lián)機(jī)交易類查詢 lCPUCPU敏感，敏感，BIBI工具或業(yè)務(wù)系統(tǒng)高并發(fā)、高時(shí)效查詢，以及準(zhǔn)工具或業(yè)務(wù)系統(tǒng)高并發(fā)、高時(shí)效查詢，以及準(zhǔn) 實(shí)時(shí)連續(xù)實(shí)時(shí)連續(xù)ETLETL

38、處理處理+SQL+SQL批量處理批量處理 l獨(dú)立的內(nèi)存數(shù)據(jù)庫(kù)集群獨(dú)立的內(nèi)存數(shù)據(jù)庫(kù)集群 l無(wú)單點(diǎn)故障，無(wú)單點(diǎn)故障，3653652424小時(shí)不停機(jī)小時(shí)不停機(jī) l貼源數(shù)據(jù)模型貼源數(shù)據(jù)模型 l依賴用戶業(yè)務(wù)需求依賴用戶業(yè)務(wù)需求 l面向應(yīng)用的業(yè)務(wù)系統(tǒng)快照數(shù)據(jù)和一段時(shí)間的交易流水面向應(yīng)用的業(yè)務(wù)系統(tǒng)快照數(shù)據(jù)和一段時(shí)間的交易流水 l為實(shí)時(shí)獲準(zhǔn)實(shí)時(shí)分析應(yīng)用提供數(shù)據(jù)服務(wù)為實(shí)時(shí)獲準(zhǔn)實(shí)時(shí)分析應(yīng)用提供數(shù)據(jù)服務(wù) 增值產(chǎn)品數(shù)據(jù)區(qū)實(shí)時(shí)數(shù)據(jù)區(qū) 大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)存儲(chǔ)層數(shù)據(jù)流 數(shù)據(jù)集成層數(shù)據(jù)集成層 操作型聚合數(shù)據(jù) 臨 時(shí) 數(shù) 據(jù) 區(qū) 實(shí)時(shí)數(shù)據(jù)區(qū)實(shí)時(shí)數(shù)據(jù)區(qū) 公 共 匯 總 數(shù) 據(jù) 主 題 明 細(xì) 數(shù) 據(jù) 結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化&

39、半結(jié)構(gòu)化數(shù)據(jù) 沙盤(pán)演練數(shù)據(jù)區(qū)沙盤(pán)演練數(shù)據(jù)區(qū)實(shí)驗(yàn)室數(shù)據(jù) 集市數(shù)據(jù)區(qū)集市數(shù)據(jù)區(qū) POP自營(yíng)數(shù)據(jù) 貼源數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū) 金融業(yè)務(wù)數(shù)據(jù) 主題數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū) 客戶管理集市 財(cái)務(wù)管理集市 運(yùn)營(yíng)管理集市 風(fēng)險(xiǎn)管理集市 集市 大物流系統(tǒng)數(shù)據(jù) 供應(yīng)鏈系統(tǒng)數(shù)據(jù) 財(cái)務(wù)審計(jì)數(shù)據(jù) 財(cái)務(wù)研發(fā)數(shù)據(jù) 操作型明細(xì)據(jù) 歸檔數(shù)據(jù)區(qū)歸檔數(shù)據(jù)區(qū) 大數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū) 源系統(tǒng) 數(shù)據(jù)文件 貼源數(shù)據(jù) 主題數(shù)據(jù) 集市數(shù)據(jù) 高時(shí)效 數(shù)據(jù) 大數(shù)據(jù) 增值產(chǎn)品數(shù)據(jù)區(qū)增值產(chǎn)品數(shù)據(jù)區(qū) 大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)應(yīng)用層 l針對(duì)公檢法查詢需求、內(nèi)外部審針對(duì)公檢法查詢需求、內(nèi)外部審 計(jì)需求和最終用戶的歷史交易查計(jì)需求和最終用戶的歷史交易查 詢需求，以貼源存儲(chǔ)的歸

40、檔數(shù)據(jù)詢需求，以貼源存儲(chǔ)的歸檔數(shù)據(jù) 為基礎(chǔ)，實(shí)現(xiàn)的查詢類應(yīng)用為基礎(chǔ)，實(shí)現(xiàn)的查詢類應(yīng)用 l歷史查詢類應(yīng)用通常使用歷史查詢類應(yīng)用通常使用BI BI 工具工具 或自主開(kāi)發(fā)實(shí)現(xiàn)或自主開(kāi)發(fā)實(shí)現(xiàn) l客戶經(jīng)理等最終業(yè)務(wù)人員針對(duì)當(dāng)客戶經(jīng)理等最終業(yè)務(wù)人員針對(duì)當(dāng) 前業(yè)務(wù)的發(fā)生（如：用戶交易、前業(yè)務(wù)的發(fā)生（如：用戶交易、 用戶訪問(wèn)日志），進(jìn)行實(shí)時(shí)查詢用戶訪問(wèn)日志），進(jìn)行實(shí)時(shí)查詢 、分析的應(yīng)用、分析的應(yīng)用 l管理分析類應(yīng)用主要實(shí)現(xiàn)了集團(tuán)管理分析類應(yīng)用主要實(shí)現(xiàn)了集團(tuán) 客戶管理、運(yùn)營(yíng)管理、財(cái)務(wù)管理客戶管理、運(yùn)營(yíng)管理、財(cái)務(wù)管理 、風(fēng)險(xiǎn)管理、監(jiān)管信息披露五大、風(fēng)險(xiǎn)管理、監(jiān)管信息披露五大 分析體系功能分析體系功能 l管理分析類

41、應(yīng)用通常采用套裝軟管理分析類應(yīng)用通常采用套裝軟 件和件和BIBI工具（工具（MicroStrategyMicroStrategy等等 ）實(shí)現(xiàn)）實(shí)現(xiàn) l業(yè)務(wù)人員根據(jù)業(yè)務(wù)需求或自己對(duì)業(yè)務(wù)人員根據(jù)業(yè)務(wù)需求或自己對(duì) 業(yè)務(wù)的理解，設(shè)計(jì)計(jì)算模型，準(zhǔn)業(yè)務(wù)的理解，設(shè)計(jì)計(jì)算模型，準(zhǔn) 備各類明細(xì)或匯總數(shù)據(jù)，導(dǎo)入模備各類明細(xì)或匯總數(shù)據(jù)，導(dǎo)入模 型運(yùn)算，驗(yàn)證業(yè)務(wù)結(jié)果型運(yùn)算，驗(yàn)證業(yè)務(wù)結(jié)果 l沙盤(pán)演練類應(yīng)用通常使用沙盤(pán)演練類應(yīng)用通常使用R R語(yǔ)言在語(yǔ)言在 HadoopHadoop分布式體系下實(shí)現(xiàn)分布式體系下實(shí)現(xiàn) l金融集團(tuán)數(shù)據(jù)科學(xué)家根據(jù)自己對(duì)金融集團(tuán)數(shù)據(jù)科學(xué)家根據(jù)自己對(duì) 業(yè)務(wù)需求的理解或者對(duì)市場(chǎng)的判業(yè)務(wù)需求的理解或者對(duì)市

42、場(chǎng)的判 斷，設(shè)計(jì)并運(yùn)行模型，發(fā)掘數(shù)據(jù)斷，設(shè)計(jì)并運(yùn)行模型，發(fā)掘數(shù)據(jù) 價(jià)值，并封裝成商業(yè)產(chǎn)品價(jià)值，并封裝成商業(yè)產(chǎn)品 l數(shù)據(jù)增值產(chǎn)品通常采用數(shù)據(jù)增值產(chǎn)品通常采用R R語(yǔ)言和語(yǔ)言和BIBI 工具實(shí)現(xiàn)，面向企業(yè)內(nèi)外部用戶工具實(shí)現(xiàn)，面向企業(yè)內(nèi)外部用戶 管理分析類應(yīng)用管理分析類應(yīng)用1 沙盤(pán)演練類應(yīng)用沙盤(pán)演練類應(yīng)用3 歷史查詢類應(yīng)用歷史查詢類應(yīng)用4 高時(shí)效類分析應(yīng)用高時(shí)效類分析應(yīng)用 5 數(shù)據(jù)增值類產(chǎn)品數(shù)據(jù)增值類產(chǎn)品2 l實(shí)時(shí)分析類應(yīng)用通常使用實(shí)時(shí)分析類應(yīng)用通常使用CEPCEP 、ESBESB等技術(shù)實(shí)現(xiàn)等技術(shù)實(shí)現(xiàn) 大數(shù)據(jù)分析平臺(tái)總體架構(gòu)平臺(tái)發(fā)展不同階段對(duì)應(yīng)應(yīng)用 工作負(fù)載復(fù)雜度 大數(shù)據(jù)平臺(tái)發(fā)展階段劃分 操作為主階

43、段 什么正在發(fā)生？ 動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)階段 讓正確的事情發(fā)生！ 分析為主階段 為什么會(huì)發(fā)生 報(bào)表為主階段 發(fā)生了什么 預(yù)測(cè)為主階段 將會(huì)發(fā)生什么？ 批量 隨機(jī)查詢 數(shù)據(jù)分析 持續(xù)更新加載/短查詢 基于事件的動(dòng)態(tài)觸發(fā) 數(shù)據(jù)量增長(zhǎng) 用戶數(shù)增長(zhǎng) 查詢復(fù)雜度增長(zhǎng) ETL處理復(fù)雜度增長(zhǎng) 大數(shù)據(jù)分析平臺(tái)總體架構(gòu)管理分析類應(yīng)用 r 總賬分析 * 資產(chǎn)負(fù)債表分析 * 損益表分析 * 現(xiàn)金流量表分析 * 財(cái)務(wù)指標(biāo)分析 r 盈利分析 * 機(jī)構(gòu)貢獻(xiàn)度 * 產(chǎn)品貢獻(xiàn)度 * 客戶細(xì)分貢獻(xiàn)度 * 渠道績(jī)效 r 資產(chǎn)負(fù)債分析 * 主要指標(biāo)報(bào)告，如： 凈利息收入、凈收入 、 凈現(xiàn)值、市場(chǎng)價(jià)值等 * 頭寸報(bào)告 * 現(xiàn)金流報(bào)告 * 風(fēng)

44、險(xiǎn)價(jià)值（VaR）計(jì)算 r 財(cái)務(wù)預(yù)算與計(jì)劃 * 財(cái)務(wù)預(yù)算 * 財(cái)務(wù)計(jì)劃執(zhí)行監(jiān)控 * 執(zhí)行過(guò)程分析 * 年末財(cái)務(wù)計(jì)劃執(zhí)行分 析 r 預(yù)測(cè)與場(chǎng)景分析 * 業(yè)務(wù)規(guī)模預(yù)測(cè) * 收益預(yù)測(cè) r r 領(lǐng)導(dǎo)管理駕駛艙 r 機(jī)構(gòu)績(jī)效考核 r 客戶經(jīng)理考核 * 客戶經(jīng)理工作量評(píng)估 * 客戶經(jīng)理服務(wù)客戶收 益評(píng)估 r 產(chǎn)品績(jī)效考核 r 業(yè)務(wù)量考核 * 供應(yīng)鏈金融業(yè)務(wù) * 人人貸業(yè)務(wù) * 保理業(yè)務(wù) * 基金業(yè)務(wù) * 其它中間業(yè)務(wù) * r 渠道成本與收益 r r 風(fēng)險(xiǎn)監(jiān)控報(bào)表/信息披露 * 流動(dòng)性報(bào)表 * 利率敏感性報(bào)表 * 資本充足率報(bào)表 * r 市場(chǎng)風(fēng)險(xiǎn) * 市場(chǎng)風(fēng)險(xiǎn)暴露值 * 流動(dòng)性管理、利率管 理 r 信用風(fēng)險(xiǎn)

45、* 信用風(fēng)險(xiǎn)暴露值計(jì)算 * 信用風(fēng)險(xiǎn)控制 （貸前控制、貸中監(jiān)控 、貸后分析） r 操作風(fēng)險(xiǎn) * 異常交易預(yù)警 * 后督差錯(cuò)檢查 * r 防欺詐/反洗錢(qián) * 定義欺詐交易模型 * 可能性欺詐交易預(yù)警 * 欺詐交易分布分析 r 全面風(fēng)險(xiǎn)管理 r r 目前監(jiān)管機(jī)構(gòu)沒(méi)有明確要 求 r 客戶單一視圖 * 公司客戶信息管理 * 個(gè)人客戶信息管理 * 同業(yè)客戶信息管理 r 目標(biāo)客戶搜索 * 重點(diǎn)客戶 * 關(guān)懷客戶 * 風(fēng)險(xiǎn)客戶 * 異動(dòng)客戶 r 客戶細(xì)分 * 個(gè)人客戶細(xì)分 * 公司客戶細(xì)分 r 客戶行為分析 * 客戶輪廓分析 * 產(chǎn)品交叉銷售分析 * 百分比分析 * 渠道偏好分析 r 營(yíng)銷活動(dòng)管理 * 營(yíng)銷

46、活動(dòng)規(guī)劃 * 營(yíng)銷活動(dòng)定義 * 營(yíng)銷活動(dòng)執(zhí)行 * 營(yíng)銷活動(dòng)蘋(píng)果 r 營(yíng)銷活動(dòng)自動(dòng)化 * 渠道接口與集成 * 流程自動(dòng)化 r 客戶管理運(yùn)營(yíng)管理財(cái)務(wù)管理風(fēng)險(xiǎn)管理監(jiān)管披露 示例 大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)訪問(wèn)層 l即席查詢：即席查詢：通過(guò)即席查詢工具或手工書(shū)寫(xiě)SQL語(yǔ)句，完成業(yè)務(wù)信息的即席查看 l多維分析：多維分析：從多個(gè)維度靈活組合對(duì)目標(biāo)值進(jìn)行分析，常見(jiàn)功能包括上下鉆取、透明鉆取 、旋轉(zhuǎn)、分頁(yè)、層鉆、跨維鉆取等 l主動(dòng)問(wèn)題發(fā)現(xiàn)：主動(dòng)問(wèn)題發(fā)現(xiàn)：通過(guò)事件觸發(fā)、規(guī)則匹配等方式發(fā)現(xiàn)企業(yè)運(yùn)營(yíng)中的問(wèn)題，通過(guò)手機(jī)、郵 件等方式報(bào)警 決策層 管理層 業(yè)務(wù)人員 即席查詢即席查詢靜態(tài)報(bào)表靜態(tài)報(bào)表多維分析多維分析儀表盤(pán)

47、儀表盤(pán)挖掘預(yù)測(cè)挖掘預(yù)測(cè) l儀表盤(pán)儀表盤(pán)：通過(guò)儀表盤(pán)及其它展現(xiàn)方式對(duì)企業(yè)關(guān)鍵績(jī)效指標(biāo)進(jìn)行展示，為領(lǐng)導(dǎo)層決策提供 直觀的數(shù)據(jù)支持 l靜態(tài)靜態(tài)報(bào)表：報(bào)表：按照預(yù)先定義格式，批處理報(bào)表，在線查詢報(bào)表等 lOfficeOffice集成集成：將分析應(yīng)用嵌入到Office界面中，利用Office的方便、易用特性，降低用 戶使用難度 問(wèn)題發(fā)現(xiàn)問(wèn)題發(fā)現(xiàn)Office Office 集成集成WebWeb服務(wù)服務(wù) l挖掘挖掘預(yù)測(cè)預(yù)測(cè)：使用專業(yè)的軟件工具，通過(guò)數(shù)理統(tǒng)計(jì)等高級(jí)統(tǒng)計(jì)分析算法，分析結(jié)構(gòu)化、非 結(jié)構(gòu)化數(shù)據(jù)，通過(guò)數(shù)據(jù)模型去挖掘隱藏在數(shù)據(jù)中的價(jià)值 數(shù)據(jù)科學(xué)家 業(yè)務(wù)系統(tǒng) lWeb Web 服務(wù)服務(wù)：將分析應(yīng)用的功能發(fā)

48、布為Web服務(wù)，注冊(cè)在企業(yè)服務(wù)總線上，供其它業(yè)務(wù)系 統(tǒng)或分析應(yīng)用調(diào)用，獲取分析結(jié)果 多種展現(xiàn)形式滿足各層級(jí)用戶及應(yīng)用系統(tǒng)使用需求 大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)管控層 金融數(shù)據(jù)管控體系涵蓋組織架構(gòu)、評(píng)價(jià)與考核、管控流程、管控平臺(tái)組織架構(gòu)、評(píng)價(jià)與考核、管控流程、管控平臺(tái)四個(gè)域。 數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)管理工作流管理 組織 數(shù)據(jù)與信息標(biāo)準(zhǔn)化委員會(huì) 數(shù)據(jù)管理人數(shù)據(jù)所有人數(shù)據(jù)生產(chǎn)人數(shù)據(jù)使用人IT 支持團(tuán)隊(duì) 考核指標(biāo)責(zé)任評(píng)價(jià)標(biāo)準(zhǔn)執(zhí)行評(píng)價(jià)政策執(zhí)行評(píng)價(jià) 評(píng)價(jià)標(biāo)準(zhǔn) 數(shù)據(jù)類型 數(shù)據(jù)格式 業(yè)務(wù)分類 真實(shí)性定義 及時(shí)性定義 完整性定義 技術(shù)元數(shù)據(jù) 流程 評(píng)價(jià)與考核流程 考核指標(biāo) 建立/維護(hù)流程 標(biāo)準(zhǔn)建立/維護(hù)

49、流程 組織建立/維護(hù) 流程 評(píng)價(jià) 與 考核 業(yè)務(wù)含義一致性定義 數(shù)據(jù)認(rèn)責(zé) 平臺(tái) 安全等級(jí) 權(quán)限定義 數(shù)據(jù)停用數(shù)據(jù)共享數(shù)據(jù)移動(dòng)數(shù)據(jù)存儲(chǔ)數(shù)據(jù)創(chuàng)建 業(yè)務(wù)元數(shù)據(jù) 管理元數(shù)據(jù) 數(shù)據(jù)全生命周期 數(shù)據(jù)安全管理 數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量元數(shù)據(jù)數(shù)據(jù)安全 審計(jì)定義 保留策略 大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)管控體系內(nèi)部運(yùn)轉(zhuǎn)機(jī)制 管控組織 q數(shù)據(jù)管控委員會(huì) q數(shù)據(jù)所有人 q數(shù)據(jù)認(rèn)責(zé)人 qIT支持 q 管控流程 q數(shù)據(jù)接入流程 q數(shù)據(jù)變更流程 q數(shù)據(jù)授權(quán)流程 q數(shù)據(jù)退役流程 q標(biāo)準(zhǔn)/政策制定流程 q評(píng)價(jià)考核流程 q 評(píng)價(jià)與考核 q標(biāo)準(zhǔn)（數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量要求、安全要求） q遵守標(biāo)準(zhǔn)所需要的政策 q政策與標(biāo)準(zhǔn)遵從考評(píng)定義 q q數(shù)據(jù)產(chǎn)生

50、者 q數(shù)據(jù)使用者 q 流程支撐 流程支撐 制 定 管控平臺(tái) 工具 支撐 明確了數(shù)據(jù) 管控過(guò)程中的組 織結(jié)構(gòu)、角色、 職責(zé)等。管控組 織除了要負(fù)責(zé)制 定數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì) 量、安全等要求 外，還需要負(fù)責(zé) 制定管控的相關(guān) 流程和評(píng)價(jià)考核 指標(biāo)等內(nèi)容。 考 評(píng) 制定 通過(guò)建立一 些定性或定量的 數(shù)據(jù)管控評(píng)價(jià)考 核指標(biāo)，去評(píng)估 及考核數(shù)據(jù)相關(guān) 責(zé)任人職責(zé)履行 情況、數(shù)據(jù)管控 標(biāo)準(zhǔn)及數(shù)據(jù)政策 的執(zhí)行情況等。 規(guī)范了數(shù) 據(jù)管控過(guò)程中， 各個(gè)環(huán)節(jié)日常 任務(wù)處理的運(yùn) 作模式，例如 數(shù)據(jù)定義如何 變更、數(shù)據(jù)沖 突如何協(xié)調(diào)等。 采用專門(mén) 的技術(shù)平臺(tái)支 撐管控流程的 自動(dòng)化，發(fā)布 管控組織制定 的一些相關(guān)標(biāo) 準(zhǔn)和規(guī)范，及

51、 時(shí)反映管控過(guò) 程中存在的一 些問(wèn)題等。 管控綜合管理 q標(biāo)準(zhǔn)/規(guī)范管理 q流程管理 q考核儀表盤(pán) q 元數(shù)據(jù)管理 q業(yè)務(wù)元數(shù)據(jù)管理 q技術(shù)元數(shù)據(jù)管理 q管理元數(shù)據(jù)分析 q 數(shù)據(jù)質(zhì)量管理 q稽核規(guī)則管理 q數(shù)據(jù)稽核 q質(zhì)量報(bào)告 q 工具 支撐 組織架構(gòu)、評(píng)價(jià)與考核、管控流程、管控工具組織架構(gòu)、評(píng)價(jià)與考核、管控流程、管控工具這四個(gè)域相互作用、相互支撐，提供對(duì)各信息系 統(tǒng)數(shù)據(jù)的管控。 大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)管控組織 l數(shù)據(jù)管控組織是數(shù)據(jù)管控體系中最重要的因素，它負(fù)責(zé)定義和管理業(yè)務(wù)數(shù)據(jù)相關(guān)標(biāo)準(zhǔn)，制定遵數(shù)據(jù)管控組織是數(shù)據(jù)管控體系中最重要的因素，它負(fù)責(zé)定義和管理業(yè)務(wù)數(shù)據(jù)相關(guān)標(biāo)準(zhǔn)，制定遵 尋標(biāo)準(zhǔn)所必須

52、的政策，監(jiān)測(cè)正在進(jìn)行的數(shù)據(jù)管控行動(dòng)。尋標(biāo)準(zhǔn)所必須的政策，監(jiān)測(cè)正在進(jìn)行的數(shù)據(jù)管控行動(dòng)。 l數(shù)據(jù)管控組織是否有完整與合理的角色定義、是否有高層領(lǐng)導(dǎo)的參與，是整個(gè)數(shù)據(jù)管控的成敗數(shù)據(jù)管控組織是否有完整與合理的角色定義、是否有高層領(lǐng)導(dǎo)的參與，是整個(gè)數(shù)據(jù)管控的成敗 的關(guān)鍵。的關(guān)鍵。 l典型的數(shù)據(jù)管控組織如下所示：典型的數(shù)據(jù)管控組織如下所示： 數(shù)據(jù)管控負(fù)責(zé)部門(mén) 崗位角色 數(shù)據(jù)管控主導(dǎo)方 信息管理委員會(huì)信息管理委員會(huì) 數(shù)據(jù) 標(biāo)準(zhǔn) 管理 員 數(shù)據(jù) 質(zhì)量 管理 員 數(shù)據(jù)產(chǎn)生部門(mén) 數(shù)據(jù)管控參與方 業(yè)務(wù) 協(xié)調(diào) 人 數(shù)據(jù) 分析 員 數(shù)據(jù)主管 數(shù)據(jù)使用部門(mén) 業(yè)務(wù) 協(xié)調(diào) 人 數(shù)據(jù) 分析 員 數(shù)據(jù)主管 數(shù)據(jù)擁有部門(mén) 業(yè)務(wù) 協(xié)

53、調(diào) 人 數(shù)據(jù) 分析 員 數(shù)據(jù)主管 數(shù)據(jù)管理部門(mén) 運(yùn)維組織 實(shí)施項(xiàng)目組 數(shù)據(jù) 安全 管理 員 數(shù)據(jù)管控經(jīng)理 元數(shù) 據(jù)管 理員 大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)標(biāo)準(zhǔn)管理 l消除一數(shù)多義，提升數(shù)據(jù)的唯一性、一致性，將逐步形成的數(shù)據(jù)標(biāo)準(zhǔn)納入一個(gè)規(guī)范的管消除一數(shù)多義，提升數(shù)據(jù)的唯一性、一致性，將逐步形成的數(shù)據(jù)標(biāo)準(zhǔn)納入一個(gè)規(guī)范的管 理流程中，進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)的更新、發(fā)布、使用監(jiān)督等工作。理流程中，進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)的更新、發(fā)布、使用監(jiān)督等工作。 l數(shù)據(jù)標(biāo)準(zhǔn)管理工作可以分為以下幾個(gè)部分：數(shù)據(jù)標(biāo)準(zhǔn)建立和維護(hù)、數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行、數(shù)據(jù)數(shù)據(jù)標(biāo)準(zhǔn)管理工作可以分為以下幾個(gè)部分：數(shù)據(jù)標(biāo)準(zhǔn)建立和維護(hù)、數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行、數(shù)據(jù) 標(biāo)準(zhǔn)管理的考評(píng)。標(biāo)準(zhǔn)管

54、理的考評(píng)。 數(shù)據(jù)標(biāo)準(zhǔn)建立和維護(hù) 數(shù)據(jù)分類 數(shù)據(jù)結(jié)構(gòu) 關(guān)鍵業(yè)務(wù)對(duì)象 關(guān)鍵代碼 數(shù)據(jù)維度 代碼映射 客戶類 數(shù)據(jù)標(biāo)準(zhǔn) 產(chǎn)品類 數(shù)據(jù)標(biāo)準(zhǔn) 。類 數(shù)據(jù)標(biāo)準(zhǔn) 數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行 數(shù)據(jù)標(biāo)準(zhǔn)管理的考評(píng) 定性考評(píng) 定量考評(píng) 數(shù)據(jù)標(biāo)準(zhǔn) 分析報(bào)告 數(shù)據(jù)標(biāo)準(zhǔn)理念推廣 歸檔系統(tǒng)ODS 大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)質(zhì)量管理 l數(shù)據(jù)質(zhì)量管理框架藍(lán)圖如下，其中數(shù)據(jù)質(zhì)量提升是改進(jìn)數(shù)據(jù)質(zhì)量的手段和質(zhì)量考評(píng)的目的：數(shù)據(jù)質(zhì)量管理框架藍(lán)圖如下，其中數(shù)據(jù)質(zhì)量提升是改進(jìn)數(shù)據(jù)質(zhì)量的手段和質(zhì)量考評(píng)的目的： v數(shù)據(jù)質(zhì)量要求確認(rèn)，根據(jù)業(yè)務(wù)要求制定和明確數(shù)據(jù)質(zhì)量要求，同時(shí)也需要符合數(shù)據(jù)標(biāo)準(zhǔn)的要求；數(shù)據(jù)質(zhì)量要求確認(rèn)，根據(jù)業(yè)務(wù)要求制定和明確數(shù)據(jù)質(zhì)量要求，同時(shí)

55、也需要符合數(shù)據(jù)標(biāo)準(zhǔn)的要求； v數(shù)據(jù)質(zhì)量考評(píng)，對(duì)數(shù)據(jù)質(zhì)量的量化評(píng)價(jià)數(shù)據(jù)質(zhì)量考評(píng)，對(duì)數(shù)據(jù)質(zhì)量的量化評(píng)價(jià) v制定數(shù)據(jù)質(zhì)量問(wèn)題解決方案，根據(jù)數(shù)據(jù)質(zhì)量考評(píng)和日常工作中發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問(wèn)題，實(shí)施相應(yīng)的措施制定數(shù)據(jù)質(zhì)量問(wèn)題解決方案，根據(jù)數(shù)據(jù)質(zhì)量考評(píng)和日常工作中發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問(wèn)題，實(shí)施相應(yīng)的措施 ，提升數(shù)據(jù)質(zhì)量，提升數(shù)據(jù)質(zhì)量 數(shù)據(jù)質(zhì)量要求 業(yè)務(wù)規(guī)則 數(shù)據(jù)一致性要求 數(shù)據(jù)完整性要求 數(shù)據(jù)唯一性要求 數(shù)據(jù)準(zhǔn)確性要求 數(shù)據(jù)及時(shí)性要求 數(shù)據(jù)質(zhì)量 標(biāo)準(zhǔn) 數(shù)據(jù)質(zhì)量 驗(yàn)證規(guī)則 數(shù)據(jù)質(zhì)量 考核指標(biāo) 數(shù)據(jù)質(zhì)量提升 數(shù)據(jù)補(bǔ)錄手工修正自動(dòng)修正 數(shù)據(jù)質(zhì)量考評(píng) 數(shù)據(jù)質(zhì)量監(jiān)控 不定期數(shù)據(jù)質(zhì)量檢查 數(shù)據(jù)質(zhì)量 分析報(bào)告 大數(shù)據(jù)分析平臺(tái)總體架構(gòu)

56、元數(shù)據(jù)管理 l業(yè)務(wù)元數(shù)據(jù)：面向業(yè)務(wù)人員，從業(yè)務(wù)術(shù)語(yǔ)、業(yè)務(wù)描述、業(yè)務(wù)指標(biāo)和業(yè)務(wù)規(guī)則等幾個(gè)方面對(duì)數(shù)業(yè)務(wù)元數(shù)據(jù)：面向業(yè)務(wù)人員，從業(yè)務(wù)術(shù)語(yǔ)、業(yè)務(wù)描述、業(yè)務(wù)指標(biāo)和業(yè)務(wù)規(guī)則等幾個(gè)方面對(duì)數(shù) 據(jù)進(jìn)行描述據(jù)進(jìn)行描述 l管理元數(shù)據(jù)：面向數(shù)據(jù)管理人員，從運(yùn)維管理的角度描述數(shù)據(jù)處理、數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全的管理元數(shù)據(jù)：面向數(shù)據(jù)管理人員，從運(yùn)維管理的角度描述數(shù)據(jù)處理、數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全的 狀態(tài)信息狀態(tài)信息 l技術(shù)元數(shù)據(jù)：面向技術(shù)人員，從數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)處理細(xì)節(jié)方面對(duì)數(shù)據(jù)進(jìn)行技術(shù)化描述技術(shù)元數(shù)據(jù)：面向技術(shù)人員，從數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)處理細(xì)節(jié)方面對(duì)數(shù)據(jù)進(jìn)行技術(shù)化描述 大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)安全管理 l數(shù)據(jù)安全管理可分為數(shù)據(jù)安全分級(jí)

57、管理和數(shù)據(jù)訪問(wèn)授權(quán)管理兩個(gè)部分：數(shù)據(jù)安全管理可分為數(shù)據(jù)安全分級(jí)管理和數(shù)據(jù)訪問(wèn)授權(quán)管理兩個(gè)部分： v數(shù)據(jù)安全分級(jí)：根據(jù)業(yè)務(wù)要求，制定一系列的數(shù)據(jù)安全分級(jí)標(biāo)準(zhǔn)和政策，為數(shù)據(jù)應(yīng)用以及數(shù)據(jù)管理數(shù)據(jù)安全分級(jí)：根據(jù)業(yè)務(wù)要求，制定一系列的數(shù)據(jù)安全分級(jí)標(biāo)準(zhǔn)和政策，為數(shù)據(jù)應(yīng)用以及數(shù)據(jù)管理 中實(shí)施數(shù)據(jù)安全保護(hù)和訪問(wèn)提供數(shù)據(jù)安全控制的基礎(chǔ)。中實(shí)施數(shù)據(jù)安全保護(hù)和訪問(wèn)提供數(shù)據(jù)安全控制的基礎(chǔ)。 v數(shù)據(jù)訪問(wèn)授權(quán)：數(shù)據(jù)訪問(wèn)授權(quán)的主要工作是根據(jù)數(shù)據(jù)安全分級(jí)標(biāo)準(zhǔn)，定義數(shù)據(jù)訪問(wèn)的授權(quán)方法及流數(shù)據(jù)訪問(wèn)授權(quán)：數(shù)據(jù)訪問(wèn)授權(quán)的主要工作是根據(jù)數(shù)據(jù)安全分級(jí)標(biāo)準(zhǔn)，定義數(shù)據(jù)訪問(wèn)的授權(quán)方法及流 程，建立基于數(shù)據(jù)安全分級(jí)的數(shù)據(jù)使用授權(quán)機(jī)制，實(shí)現(xiàn)數(shù)據(jù)訪

58、問(wèn)和信息披露的安全。程，建立基于數(shù)據(jù)安全分級(jí)的數(shù)據(jù)使用授權(quán)機(jī)制，實(shí)現(xiàn)數(shù)據(jù)訪問(wèn)和信息披露的安全。 數(shù)據(jù)安全分級(jí) 數(shù)據(jù)敏感度 數(shù)據(jù)安全 等級(jí)定義 數(shù)據(jù)訪問(wèn)授權(quán) 數(shù)據(jù)重要性 數(shù)據(jù)使用需求 數(shù)據(jù)使用者權(quán)責(zé) 數(shù)據(jù)訪問(wèn) 授權(quán)規(guī)則 安全技術(shù) 大數(shù)據(jù)分析平臺(tái)總體架構(gòu)高階工作流程 l業(yè)務(wù)數(shù)據(jù)規(guī)劃管理高階流程業(yè)務(wù)數(shù)據(jù)規(guī)劃管理高階流程 v數(shù)據(jù)認(rèn)責(zé)流程數(shù)據(jù)認(rèn)責(zé)流程 v數(shù)據(jù)治理考核體系數(shù)據(jù)治理考核體系 數(shù)據(jù)治理考核流程數(shù)據(jù)治理考核流程 數(shù)據(jù)治理考核指標(biāo)體系數(shù)據(jù)治理考核指標(biāo)體系 l數(shù)據(jù)標(biāo)準(zhǔn)管理管理高階流程數(shù)據(jù)標(biāo)準(zhǔn)管理管理高階流程 v數(shù)據(jù)標(biāo)準(zhǔn)建立流程數(shù)據(jù)標(biāo)準(zhǔn)建立流程 v數(shù)據(jù)標(biāo)準(zhǔn)維護(hù)流程數(shù)據(jù)標(biāo)準(zhǔn)維護(hù)流程 l數(shù)據(jù)質(zhì)量管理管理高

59、階流程數(shù)據(jù)質(zhì)量管理管理高階流程 數(shù)據(jù)質(zhì)量要求確定流程數(shù)據(jù)質(zhì)量要求確定流程 l元數(shù)據(jù)管理高階流程元數(shù)據(jù)管理高階流程 v元數(shù)據(jù)變更流程元數(shù)據(jù)變更流程 l數(shù)據(jù)安全管理管理高階流程數(shù)據(jù)安全管理管理高階流程 v數(shù)據(jù)安全審批流程數(shù)據(jù)安全審批流程 數(shù)據(jù)認(rèn)責(zé)流程數(shù)據(jù)認(rèn)責(zé)流程 數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量、元數(shù)據(jù)、安全管理流程數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量、元數(shù)據(jù)、安全管理流程 協(xié)調(diào)會(huì)議協(xié)調(diào)會(huì)議 考核流程考核流程 大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)管控平臺(tái) l數(shù)據(jù)數(shù)據(jù)管控平臺(tái)從總體上來(lái)說(shuō)分為數(shù)據(jù)層、應(yīng)用層、展現(xiàn)層三個(gè)主要層面，以數(shù)據(jù)層的數(shù)據(jù)管控平臺(tái)從總體上來(lái)說(shuō)分為數(shù)據(jù)層、應(yīng)用層、展現(xiàn)層三個(gè)主要層面，以數(shù)據(jù)層的數(shù)據(jù) 庫(kù)及相關(guān)基礎(chǔ)系統(tǒng)為主要信息來(lái)源，通

60、過(guò)應(yīng)用層的運(yùn)算處理，以不同的形式，不同的功能庫(kù)及相關(guān)基礎(chǔ)系統(tǒng)為主要信息來(lái)源，通過(guò)應(yīng)用層的運(yùn)算處理，以不同的形式，不同的功能 在展現(xiàn)層提供用戶接口在展現(xiàn)層提供用戶接口 首頁(yè)標(biāo)準(zhǔn)管理 主 菜 單 指 標(biāo) 速 遞 待 辦 事 項(xiàng) 信 息 地 圖 標(biāo) 準(zhǔn) 瀏 覽 標(biāo) 準(zhǔn) 維 護(hù) 工作管理 流 程 管 理 績(jī) 效 指 標(biāo) 系統(tǒng)管理 用 戶 管 理 權(quán) 限 管 理 規(guī) 范 管 理 數(shù)據(jù)管控平臺(tái)統(tǒng)一用戶集成界面數(shù)據(jù)管控平臺(tái)統(tǒng)一用戶集成界面 數(shù)據(jù)標(biāo)準(zhǔn)知識(shí)庫(kù)數(shù)據(jù)標(biāo)準(zhǔn)知識(shí)庫(kù)數(shù)據(jù)管控平臺(tái)知識(shí)庫(kù)數(shù)據(jù)管控平臺(tái)知識(shí)庫(kù) 元數(shù)據(jù)管理 元 數(shù) 據(jù) 采 集 元數(shù)據(jù)知識(shí)庫(kù)元數(shù)據(jù)知識(shí)庫(kù) 質(zhì)量管理 規(guī) 則 配 置 質(zhì)量稽核庫(kù)質(zhì)量稽核庫(kù)