數(shù)據(jù)質(zhì)量中心的設(shè)計(jì)與實(shí)現(xiàn)課件

大數(shù)據(jù)時(shí)代的數(shù)據(jù)質(zhì)量保障--數(shù)據(jù)質(zhì)量中心的設(shè)計(jì)與實(shí)現(xiàn)yuwen.xm@阿里巴巴-CDO數(shù)據(jù)平臺(tái)事業(yè)部雨玟大數(shù)據(jù)時(shí)代的數(shù)據(jù)質(zhì)量保障yuwen.xm@taobao.co主要內(nèi)容大數(shù)據(jù)時(shí)代的質(zhì)量難題數(shù)據(jù)質(zhì)量中心架構(gòu)設(shè)計(jì)數(shù)據(jù)質(zhì)量中心的實(shí)踐主要內(nèi)容大數(shù)據(jù)時(shí)代的質(zhì)量難題

阿里的數(shù)據(jù)中心CDO 阿里的數(shù)據(jù)中心CDO數(shù)據(jù)質(zhì)量中心的設(shè)計(jì)與實(shí)現(xiàn)課件

大數(shù)據(jù)時(shí)代的質(zhì)量難題 大數(shù)據(jù)時(shí)代的質(zhì)量難題質(zhì)量難題在數(shù)據(jù)處理流程中在那一部分?jǐn)?shù)據(jù)出問(wèn)題，不知道？不同系統(tǒng)間數(shù)據(jù)流通，是否有損失？表記錄數(shù)據(jù)波動(dòng)，與上期同比波動(dòng)或與固定數(shù)據(jù)一致性比較是否正常？字段平均值字段最大值字段最小值字段匯總值字段空值個(gè)數(shù)字段重復(fù)值個(gè)數(shù)離散值帶業(yè)務(wù)過(guò)濾條件的數(shù)據(jù)波動(dòng)，精確監(jiān)控難數(shù)據(jù)校驗(yàn)方法多樣性難，平均值？方差？周期性？固定值？字段的唯一值個(gè)數(shù)質(zhì)量難題在數(shù)據(jù)處理流程中在那一部分?jǐn)?shù)據(jù)出問(wèn)題，不知道？不同質(zhì)量保證歷程質(zhì)量保證歷程

數(shù)據(jù)質(zhì)量中心架構(gòu)設(shè)計(jì) 數(shù)據(jù)質(zhì)量中心架構(gòu)設(shè)計(jì)數(shù)據(jù)質(zhì)量中心--DataQualityCenter（DQC）產(chǎn)品介紹數(shù)據(jù)質(zhì)量中心--DataQualityCenter（DQ整體設(shè)計(jì)—核心內(nèi)容數(shù)據(jù)監(jiān)控?cái)?shù)據(jù)清洗數(shù)據(jù)度量整體設(shè)計(jì)—核心內(nèi)容數(shù)據(jù)監(jiān)控?cái)?shù)據(jù)清洗數(shù)據(jù)度量交互產(chǎn)品DQC離線計(jì)算平臺(tái)元數(shù)據(jù)云調(diào)度告警數(shù)據(jù)通道交互產(chǎn)品DQC離線計(jì)算平臺(tái)元數(shù)據(jù)云調(diào)度告警數(shù)據(jù)數(shù)據(jù)質(zhì)量DBGATEWAYS… 數(shù)據(jù)傳輸通道/離線處理

平臺(tái)

DQCHOOK DQCEXECUTOR 數(shù)據(jù)質(zhì)量WEB服務(wù)

數(shù)據(jù)質(zhì)量服務(wù)DQCENGINE DQC規(guī)則中心DQC質(zhì)量校驗(yàn)中心DQC任務(wù)POOL DQC報(bào)警模塊

多級(jí)容錯(cuò)機(jī)制DQC規(guī)則同步工具DQC樣本對(duì)比工具DQC告警對(duì)比工具DQC規(guī)則/模板配置DQC項(xiàng)目級(jí)管理DQC報(bào)告展現(xiàn)任務(wù)及質(zhì)量展現(xiàn)離線處理調(diào)度系統(tǒng)

整體設(shè)計(jì)—架構(gòu)示圖數(shù)據(jù)質(zhì)量DBGATEWAYS… 數(shù)據(jù)傳輸通道/離線處整體設(shè)計(jì)—報(bào)警分級(jí)紅色報(bào)警Red橙色報(bào)警Orange整體設(shè)計(jì)—報(bào)警分級(jí)紅色報(bào)警Red橙色報(bào)警Orange整體設(shè)計(jì)—規(guī)則分級(jí)blockRulecheckalertweak……整體設(shè)計(jì)—規(guī)則分級(jí)blockRulecheckalertwe整體設(shè)計(jì)—阻塞邏輯Redblock下游任務(wù)阻塞整體設(shè)計(jì)—阻塞邏輯Redblock下游任務(wù)阻塞HiveHDFS其他離線處理平臺(tái)多種數(shù)據(jù)傳輸通道多種數(shù)據(jù)庫(kù)存儲(chǔ)ShellMR應(yīng)用之前HiveHDFS其他離線處理平臺(tái)多種數(shù)據(jù)庫(kù)存儲(chǔ)ShellMRHiveHDFSShellMRDQC應(yīng)用之后其他離線處理平臺(tái)多種數(shù)據(jù)傳輸通道多種數(shù)據(jù)庫(kù)存儲(chǔ)HiveHDFSShellMRDQC應(yīng)用之后其他離線處理平臺(tái)

DQC在數(shù)據(jù)生態(tài)鏈中的位置 DQC在數(shù)據(jù)生態(tài)鏈中的位置整體設(shè)計(jì)—Y軸DB1DB2DB3S1DWS2OLAPOLAPS3report數(shù)據(jù)傳輸實(shí)時(shí)傳輸businessbusinessS4數(shù)據(jù)傳輸整體設(shè)計(jì)—Y軸DB1DB2DB3S1DWS2OLAPOLAP整體設(shè)計(jì)—X軸DW數(shù)據(jù)傳輸DB1時(shí)間維度DT：數(shù)據(jù)傳輸通道整體設(shè)計(jì)—X軸DW數(shù)據(jù)傳輸DB1時(shí)間DT：數(shù)據(jù)傳輸通道

數(shù)據(jù)質(zhì)量中心的實(shí)踐 數(shù)據(jù)質(zhì)量中心的實(shí)踐示例舉例1某應(yīng)用源數(shù)據(jù)s*表，發(fā)現(xiàn)“當(dāng)日旺旺在線時(shí)長(zhǎng)”有>24小時(shí)的情況On_line_time>24hRULEDataRunGetODPSDataDataResultsCheck示例舉例1某應(yīng)用源數(shù)據(jù)s*表，發(fā)現(xiàn)“當(dāng)日旺旺在線時(shí)長(zhǎng)”有>2示例舉例2某應(yīng)用訂單交易明細(xì)表的訂單總金額相比昨天波動(dòng)-98.6%Sum(amount)RULEDataRunGetODPSDataDataResultsCheckHistoricalsamples示例舉例2某應(yīng)用訂單交易明細(xì)表的訂單總金額相比昨天波動(dòng)-98示例舉例3某日志統(tǒng)計(jì)r*表，發(fā)現(xiàn)存在pv=0而uv>0的數(shù)據(jù)Count(*)>0pv=0uv>0RULEDataRunDataResultsCheck方法1：如舉例1圖方法2：如舉例3圖示例舉例3某日志統(tǒng)計(jì)r*表，發(fā)現(xiàn)存在pv=0而uv>0DQC淘寶天貓一淘支付寶ICBU阿里金融阿里云CBUCDO聚劃算應(yīng)用情況DQC淘寶天貓一淘支付寶ICBU阿里阿里云CBUCDO聚劃算應(yīng)用情況應(yīng)用情況應(yīng)用優(yōu)點(diǎn)智能閾值算法體系多級(jí)容錯(cuò)、緩存校驗(yàn)規(guī)則與生產(chǎn)任務(wù)異步模板規(guī)則靈活，可擴(kuò)展校驗(yàn)，預(yù)警分級(jí)別ODPS緊密結(jié)合的數(shù)據(jù)采集器獨(dú)立計(jì)算，不耗生產(chǎn)slots應(yīng)用優(yōu)點(diǎn)智能閾值算法體系多級(jí)容錯(cuò)、緩存校驗(yàn)規(guī)則與生產(chǎn)任務(wù)異步DQC后續(xù)發(fā)展支付寶ICBU淘寶天貓一淘阿里金融阿里云CBUCDO聚劃算DQC后續(xù)發(fā)展支付寶ICBU淘寶天貓一淘阿里阿里云CBUCDHiveHDFSShellMRDQC后續(xù)發(fā)展其他離線處理平臺(tái)多種數(shù)據(jù)傳輸通道多種數(shù)據(jù)庫(kù)存儲(chǔ)HiveHDFSS