數(shù)據(jù)質(zhì)量管理

1、數(shù)據(jù)質(zhì)量管理定義：是指對數(shù)據(jù)從計(jì)劃、獲取、存儲、共享、維護(hù)、應(yīng)用、消亡生命周期的每個階段里可 能引發(fā)的各類數(shù)據(jù)質(zhì)量問題，進(jìn)行識別、度量、監(jiān)控、預(yù)警等一系列管理活動，并通過改 善和提高組織的管理水平使得數(shù)據(jù)質(zhì)量獲得進(jìn)一步提高。目錄1234數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量管理是循環(huán)管理過程，其終極目標(biāo)是通過可靠的數(shù)據(jù)提升數(shù)據(jù)在使用中的價 值，并最終為企業(yè)贏得經(jīng)濟(jì)效益。數(shù)據(jù)質(zhì)量管理評估維度由于數(shù)據(jù)清洗(DataCleaning)工具通常簡單地被稱為數(shù)據(jù)質(zhì)量(Data Quality)工具,因此很多人認(rèn)為數(shù)據(jù)質(zhì)量管理，就是修改數(shù)據(jù)中的錯誤、是對錯誤數(shù)據(jù)和垃圾數(shù)據(jù)進(jìn)行清理。 這個理解是片面的，其實(shí)數(shù)據(jù)清洗只是數(shù)據(jù)質(zhì)

2、量管理中的一步。數(shù)據(jù)質(zhì)量管理(DQM)，不僅包含了對數(shù)據(jù)質(zhì)量的改善，同時還包含了對組織的改善。針對數(shù)據(jù)的改善和管理，主要包括數(shù)據(jù)分析、數(shù)據(jù)評估、數(shù)據(jù)清洗、數(shù)據(jù)監(jiān)控、錯誤預(yù)警等內(nèi)容；針對組織的改善和管理， 主要包括確立組織數(shù)據(jù)目標(biāo)、評估、制定組織流程改善計(jì)劃、制定組織監(jiān)督審核機(jī)制、實(shí)施改進(jìn)、評估改善效果等多個環(huán)節(jié)。任何改善都是建立在的基礎(chǔ)上，知道問題在哪才能實(shí)施改進(jìn)。通常數(shù)據(jù)質(zhì)量和管理評估 需通過以下幾個維度衡量。1數(shù)據(jù)質(zhì)量評估維度完整性Completeness:完整性用于度量哪些數(shù)據(jù)丟失了或者哪些數(shù)據(jù)不可用。 規(guī)范性Conformity:規(guī)范性用于度量哪些數(shù)據(jù)未按統(tǒng)一格式存儲。一致性Consi

3、stency: 致性用于度量哪些數(shù)據(jù)的值在信息含義上是沖突的。準(zhǔn)確性Accuracy:準(zhǔn)確性用于哪些數(shù)據(jù)和信息是不正確的，或者數(shù)據(jù)是超期的。唯一性Uniqueness:唯一性用于度量哪些數(shù)據(jù)是重復(fù)數(shù)據(jù)或者數(shù)據(jù)的哪些屬性是重復(fù) 的。關(guān)聯(lián)性Integration:關(guān)聯(lián)性用于哪些關(guān)聯(lián)的數(shù)據(jù)缺失或者未建立索引。2管理質(zhì)量評估維度配置管理Config Ma nageme nt:此維度用于數(shù)據(jù)在其生命周期內(nèi)的一切資源是否得到 了控制和規(guī)范，即數(shù)據(jù)的計(jì)劃、產(chǎn)生、變更直至消亡的過程中，與數(shù)據(jù)相關(guān)的計(jì)劃、規(guī)范、 描述是否收到控制。 評估指標(biāo)包括：評估配置項(xiàng)的細(xì)化粒度、評估基線準(zhǔn)確度和頻度以及變更是否合理完善等。

4、Training:此維度用于度量數(shù)據(jù)的生產(chǎn)和使用者在數(shù)據(jù)生命周期內(nèi)的一切活動中是否經(jīng) 過了知識和技能的培訓(xùn)、 是否滿足崗位需要；受訓(xùn)的知識和技能是否經(jīng)過審核和確認(rèn)，受訓(xùn)的內(nèi)容是否與和價值觀一致；培訓(xùn)是否合理完善等；驗(yàn)證和確認(rèn)Verify & Validati on:此維度用于數(shù)據(jù)在其生命周期內(nèi)是否得到驗(yàn)證和確 認(rèn)。評估內(nèi)容包括是否通過驗(yàn)證確保工作產(chǎn)品（數(shù)據(jù)）滿足指定的要求、是否通過確認(rèn)”保證工作產(chǎn)品（數(shù)據(jù)）在的環(huán)境中滿足使用的要求；驗(yàn)證”和確認(rèn)”的流程是否完善；監(jiān)督和監(jiān)控Monitoring:此維度用于度量產(chǎn)生和使用數(shù)據(jù)的流程在數(shù)據(jù)的整個生命周 期內(nèi)是否真正受控。脫離監(jiān)控的信息、技術(shù)、

5、流程、制度，會導(dǎo)致數(shù)據(jù)質(zhì)量低下。監(jiān)督和 監(jiān)控的是否完善。三分析影響數(shù)據(jù)質(zhì)量的因素影響數(shù)據(jù)質(zhì)量的因素主要來源于四方面：信息因素、技術(shù)因素、因素和管理因素信息因素：產(chǎn)生這部分?jǐn)?shù)據(jù)質(zhì)量問題的原因主要有：數(shù)據(jù)描述及理解錯誤、數(shù)據(jù)的各種性質(zhì)（如：數(shù)據(jù)源規(guī)格不統(tǒng)一）得不到保證和變化頻度不恰當(dāng)?shù)取＜夹g(shù)因素：主要是指由于具體數(shù)據(jù)處理的各技術(shù)環(huán)節(jié)的異常造成的數(shù)據(jù)質(zhì)量問題。數(shù)據(jù)質(zhì)量問題的產(chǎn)生環(huán)節(jié)主要包括數(shù)據(jù)創(chuàng)建、數(shù)據(jù)獲取、數(shù)據(jù)傳輸、數(shù)據(jù)裝載、數(shù)據(jù)使用、數(shù)據(jù) 維護(hù)等方面的內(nèi)容。流程因素：是指由于系統(tǒng)作業(yè)流程和人工操作流程設(shè)置不當(dāng)造成的數(shù)據(jù)質(zhì)量問題，主要來源于系統(tǒng)數(shù)據(jù)的創(chuàng)建流程、傳遞流程、裝載流程、使用流程、維護(hù)流程

6、和流程等各環(huán)節(jié)。管理因素：是指由于人員素質(zhì)及方面的原因造成的數(shù)據(jù)質(zhì)量問題。如人員、培訓(xùn)或者獎懲措施不當(dāng)導(dǎo)致的管理缺失或者管理缺陷。四 MTC-DQM數(shù)據(jù)質(zhì)量管理的方法與步驟熟悉的人應(yīng)該知道，六西格瑪強(qiáng)調(diào)以事實(shí)驅(qū)動管理。 但事實(shí)是用數(shù)據(jù)說話。 映射到方法，MTC-DQM推薦采用十步數(shù)據(jù)質(zhì)量管理方法。1.定義和商定問題、時機(jī)和目標(biāo)，以指導(dǎo)整個數(shù)據(jù)質(zhì)量管理的工作。2收集、匯總、分析有關(guān)形式和信息環(huán)境。設(shè)計(jì)設(shè)計(jì)捕獲和評估的方案。3.按照數(shù)據(jù)質(zhì)量維度對數(shù)據(jù)質(zhì)量進(jìn)行。4.使用各種技術(shù)評估劣質(zhì)數(shù)據(jù)對產(chǎn)生的影響。5.確定影響數(shù)據(jù)質(zhì)量的真實(shí)原因，并區(qū)分這些原因的影響的數(shù)據(jù)質(zhì)量的級別。6.最終確定行動的建議，為數(shù)據(jù)質(zhì)量改善制定方案，包括數(shù)據(jù)級和組織級的。7.建立數(shù)據(jù)錯誤預(yù)防方案，并改正當(dāng)前數(shù)據(jù)問題。8.