數(shù)據(jù)治理那些事

數(shù)據(jù)治理那些事(9)-—數(shù)據(jù)質(zhì)量6上節(jié)主要講了HADOOP平臺(tái)的數(shù)據(jù)質(zhì)量管理平臺(tái)的規(guī)則配置，本節(jié)繼續(xù)講數(shù)據(jù)質(zhì)量檢管理平臺(tái)的工作流程.數(shù)據(jù)質(zhì)量評(píng)估信息數(shù)據(jù)質(zhì)量評(píng)估信息是數(shù)據(jù)質(zhì)量管理平臺(tái)不定期數(shù)據(jù)質(zhì)量評(píng)估活動(dòng)中所涉及的明細(xì)業(yè)務(wù)數(shù)據(jù)信息、編碼信息、評(píng)估元數(shù)據(jù)信息及評(píng)估指標(biāo)選擇信息等。參見錯(cuò)誤!未找到引用源。節(jié)。數(shù)據(jù)質(zhì)量問題處理信息數(shù)據(jù)質(zhì)量問題處理信息是數(shù)據(jù)質(zhì)量告警被確認(rèn)后轉(zhuǎn)入問題處理流程的相關(guān)處理信息及數(shù)據(jù)質(zhì)量評(píng)估發(fā)現(xiàn)的問題信息。數(shù)據(jù)質(zhì)量存儲(chǔ)方式數(shù)據(jù)質(zhì)量存儲(chǔ)庫(kù)使用關(guān)系數(shù)據(jù)庫(kù)或文件存儲(chǔ)數(shù)據(jù)質(zhì)量規(guī)則、數(shù)據(jù)質(zhì)量信息和數(shù)據(jù)質(zhì)量知識(shí);對(duì)于問題總結(jié)過程和數(shù)據(jù)質(zhì)量評(píng)估過程中輸出的文檔可以以Text、PDF、Excel或Word等文件格式存儲(chǔ)。數(shù)據(jù)質(zhì)量功能層按照數(shù)據(jù)質(zhì)量管理流程，即質(zhì)量定義、度量、分析和改進(jìn)，質(zhì)量管理子系統(tǒng)主要功能包括:開數(shù)據(jù)質(zhì)量滿意度反饋、Hadoop結(jié)構(gòu)化數(shù)據(jù)稽核、新數(shù)據(jù)源質(zhì)量稽核、規(guī)則配置管理、數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)質(zhì)量問題處理、數(shù)據(jù)質(zhì)量評(píng)估、數(shù)據(jù)質(zhì)量報(bào)告和數(shù)據(jù)質(zhì)量對(duì)外服務(wù)等。基礎(chǔ)功能規(guī)則配置管理規(guī)則管理功能結(jié)構(gòu)如錯(cuò)誤!未找到引用源。所示：規(guī)則配置管理建查點(diǎn)1槍遷點(diǎn)n節(jié)瞽祝則規(guī)閶設(shè)壽規(guī)則配置管理建查點(diǎn)1槍遷點(diǎn)n節(jié)瞽祝則規(guī)閶設(shè)壽規(guī)削堆護(hù)規(guī)則tit化〔時(shí)間觸澄?、事件仙而質(zhì)坦成1頑斗規(guī)則定義數(shù)據(jù)質(zhì)量規(guī)則是以被操作對(duì)象為中心，展開的一系列質(zhì)量管理活動(dòng)的判斷準(zhǔn)則。一個(gè)規(guī)則通常包括規(guī)則ID、規(guī)則名稱、規(guī)則算法、規(guī)則閾值和被監(jiān)控對(duì)象等要素。數(shù)據(jù)質(zhì)量規(guī)則可分為采集規(guī)則、監(jiān)控規(guī)則、告警規(guī)則和審計(jì)規(guī)則四類。采集規(guī)則是獲取被監(jiān)控對(duì)象的具體數(shù)值的方法，包括采集代理規(guī)則和采集程序規(guī)則；監(jiān)控規(guī)則是對(duì)采集到的監(jiān)控對(duì)象數(shù)據(jù)進(jìn)行質(zhì)量校驗(yàn)的校驗(yàn)規(guī)則；告警規(guī)則是監(jiān)控規(guī)則執(zhí)行后，出現(xiàn)違反規(guī)則允許范圍的異常時(shí)，發(fā)送告警信息的方式方法，包括告警方式規(guī)則和告警訂閱規(guī)則；審計(jì)規(guī)則是進(jìn)行兩級(jí)聯(lián)動(dòng)對(duì)象數(shù)據(jù)質(zhì)量審計(jì)的算法依據(jù)，包括及時(shí)性審計(jì)規(guī)則和準(zhǔn)確性審計(jì)規(guī)則。下面根據(jù)規(guī)范實(shí)施重點(diǎn)，詳述監(jiān)控規(guī)則的規(guī)則結(jié)構(gòu)，并簡(jiǎn)述采集、告警和審計(jì)等其他規(guī)則的內(nèi)容。規(guī)則設(shè)置數(shù)據(jù)質(zhì)量管理平臺(tái)需要對(duì)大量的監(jiān)控點(diǎn)進(jìn)行質(zhì)量監(jiān)控。規(guī)則動(dòng)態(tài)設(shè)置，即是在規(guī)則統(tǒng)一結(jié)構(gòu)和存儲(chǔ)的基礎(chǔ)上，根據(jù)監(jiān)控對(duì)象的類型、屬性及歷史數(shù)據(jù)，動(dòng)態(tài)提供與其相應(yīng)的監(jiān)控規(guī)則、初始閾值及數(shù)據(jù)維度信息等，實(shí)現(xiàn)規(guī)則的類型及閾值等與被監(jiān)控對(duì)象快速匹配，支持對(duì)新增監(jiān)控點(diǎn)的動(dòng)態(tài)配置和快速部署。主要包括以下幾點(diǎn)：規(guī)則類型支持根據(jù)監(jiān)控對(duì)象類型做匹配，如對(duì)接口文件提供及時(shí)性檢查規(guī)則、對(duì)關(guān)鍵指標(biāo)提供波動(dòng)檢查規(guī)則。規(guī)則閾值支持參照歷史數(shù)據(jù)波動(dòng)情況或同類型監(jiān)控對(duì)象的規(guī)則閾值做匹配。支持根據(jù)相同監(jiān)控對(duì)象的不同維度（如客戶到達(dá)數(shù)的城市、品牌等維度）進(jìn)行規(guī)則配置。規(guī)則運(yùn)行配置：規(guī)則配置完成后，支持立即運(yùn)行規(guī)則或重跑。支持一個(gè)指標(biāo)多個(gè)規(guī)則配置，能夠一個(gè)指標(biāo)監(jiān)控使用多個(gè)監(jiān)控規(guī)則。如快報(bào)應(yīng)用，同一指標(biāo)在10點(diǎn)鐘與同期對(duì)比波動(dòng)范圍為±30%，在20點(diǎn)鐘與同期對(duì)比波動(dòng)范圍為±20%。規(guī)則維護(hù)規(guī)則維護(hù)即是規(guī)則建立后對(duì)規(guī)則各種屬性的日常管理，包括規(guī)則的界面維護(hù)即后臺(tái)維護(hù)兩部分。規(guī)則的界面維護(hù)即是對(duì)規(guī)則相關(guān)的規(guī)則類型、規(guī)則算法、規(guī)則閾值及數(shù)據(jù)維度等進(jìn)行管理，包括如下幾部分：規(guī)則修改：修改規(guī)則的相關(guān)屬性信息。規(guī)則刪除：刪除一條規(guī)則。規(guī)則查詢：提供按照規(guī)則的ID、名稱、屬性等精確匹配及模糊查詢。后臺(tái)維護(hù)規(guī)則的后臺(tái)維護(hù)包括對(duì)當(dāng)前規(guī)則、規(guī)則變更和歷史規(guī)則信的存儲(chǔ)維護(hù)等，分別說(shuō)明如下：當(dāng)前規(guī)則信息：記錄所有當(dāng)前可有效使用的最新規(guī)則信息，由規(guī)則的基本結(jié)構(gòu)信息，包括規(guī)則定義、規(guī)則類型、規(guī)則對(duì)象以及規(guī)則閾值等組成；規(guī)則變更信息：記錄規(guī)則發(fā)生修改時(shí)的變更信息，包括變更編碼（每次變更的唯一識(shí)別碼）、規(guī)則編碼、變更類型（閾值、對(duì)象維度等）、變更值（變更后的值）以及變更人和變更時(shí)間等；歷史規(guī)則信息：記錄一次規(guī)則變更發(fā)生前的規(guī)則信息。規(guī)則調(diào)度數(shù)據(jù)質(zhì)量規(guī)則調(diào)度是面向規(guī)則對(duì)象的檢查任務(wù)，按照時(shí)間觸發(fā)和事件請(qǐng)求方式觸發(fā)規(guī)則調(diào)用，具體說(shuō)明如下。時(shí)間觸發(fā)方式定時(shí)觸發(fā)即根據(jù)設(shè)定的時(shí)間：年、月、日、小時(shí)、分鐘及秒等進(jìn)行規(guī)則調(diào)度；循環(huán)觸發(fā)即指定時(shí)間段進(jìn)行規(guī)則的循環(huán)調(diào)度；間隔觸發(fā)即指定兩個(gè)規(guī)則調(diào)度的間隔時(shí)間；事件請(qǐng)求方式前置依賴調(diào)度即某規(guī)則是否執(zhí)行調(diào)度需要判斷它的前置條件是否滿足。女0錯(cuò)誤!未找到引用源。所示，根據(jù)元數(shù)據(jù)血統(tǒng)圖建立了指標(biāo)1和指標(biāo)2的相關(guān)監(jiān)控點(diǎn)。前置依賴即鏈路上每個(gè)監(jiān)控點(diǎn)是否進(jìn)行規(guī)則調(diào)度，都要依賴于前一個(gè)監(jiān)控點(diǎn)執(zhí)行的結(jié)果，如果前一個(gè)監(jiān)控點(diǎn)出現(xiàn)告警，則該監(jiān)控點(diǎn)即無(wú)需調(diào)度。如接口1的及時(shí)性檢查出現(xiàn)告警（即接口1未按時(shí)到達(dá)），則ETL1和ETL1之后的節(jié)點(diǎn)則無(wú)需調(diào)度。實(shí)現(xiàn)該調(diào)度方式可以減少大量的關(guān)聯(lián)告警產(chǎn)生。女［錯(cuò)誤!未找到引用源。所示。后置觸發(fā)調(diào)度后置觸發(fā)調(diào)度即某規(guī)則執(zhí)行之后，根據(jù)其執(zhí)行的結(jié)果，來(lái)決定另一個(gè)節(jié)點(diǎn)是否執(zhí)行。該調(diào)度方式可支持在出現(xiàn)質(zhì)量問題時(shí)，進(jìn)行進(jìn)一步的質(zhì)量探查分析。本節(jié)講的數(shù)據(jù)質(zhì)量管理平臺(tái)的數(shù)據(jù)規(guī)則的功能和配置，通過數(shù)據(jù)檢核規(guī)則的配置和調(diào)度進(jìn)行數(shù)據(jù)檢核的