數據質量管理完整版

數據質量管理數據質量管理是指對數據從計劃、獲取、存儲、共享、維護、應用、消亡生命周期的每個階段里可能引發(fā)的各類數據質量問題，進行識別、度量、監(jiān)控、預警等一系列管理活動，并通過改善和提高組織的管理水平使得數據質量獲得進一步提高。1234數數據質量管理是循環(huán)管理過程，其終極目標是通過可靠的數據提升數據在使用中的價值，并最終為企業(yè)贏得經濟效益。量管理評估維度由于數據清洗(由于數據清洗(DataCleaning)工具通常簡單地被稱為數據質量(DataQuality)工具，因此很多人認為數據質量管理，就是修改數據中的錯誤、是對錯誤數據和垃圾數據進行清理。這個理解是片面的，其實數據清洗只是數據質量管理中的一步。數據質量管理(DQM)，不僅包分析、數據評估、數據清洗、數據監(jiān)控、錯誤預警等內容；針對組織的改善和管理，主要包括改善效果等多個環(huán)節(jié)。任何改善都是建立在的基礎上，知道問題在哪才能實施改進。通常數據質量和管理評估需通過以下幾個維度衡量。1數據質量評估維度完整性Completeness：完整性用于度量哪些數據丟失了或者哪些數據不可用。規(guī)范性Conformity：規(guī)范性用于度量哪些數據未按統(tǒng)一格式存儲。一致性Consistency：一致性用于度量哪些數據的值在信息含義上是沖突的。準確性Accuracy：準確性用于哪些數據和信息是不正確的，或者數據是超期的。唯一性Uniqueness：唯一性用于度量哪些數據是重復數據或者數據的哪些屬性是重復的。關聯性Integration：關聯性用于哪些關聯的數據缺失或者未建立索引。2管理質量評估維度配置管配置管理ConfigManagement：此維度用于數據在其生命周期內的一切資源是否得到了控制和規(guī)范，即數據的計劃、產生、變更直至消亡的過程中，與數據相關的計劃、規(guī)范、描述是否收到控制。評估指標包括：評估配置項的細化粒度、評估基線準確度和頻度以及變更是否合Training：此維度用于度量數據的生產和使用者在數據生命周期內的一切活動中是否經過了知識和技能的培訓、是否滿足崗位需要；受訓的知識和技能是否經過審核和確認，受訓的內容是否與和價值觀一致；培訓是否合理完善等；驗證和確認Verify&Validation：此維度用于數據在其生命周期內是否得到驗證和確認。評估內容包括是否通過驗證確保工作產品(數據)滿足指定的要求、是否通過“確認”保確認”的流程是否完善；監(jiān)督和監(jiān)控Monitoring：此維度用于度量產生和使用數據的流程在數據的整個生命周期內三分析影響數據質量的因素影響數據質量的因素主要來源于四方面：信息因素、技術因素、因素和管理因素信息因素：產生這部分數據質量問題的原因主要有：數據描述及理解錯誤、數據的各種性質(如：數據源規(guī)格不統(tǒng)一)得不到保證和變化頻度不恰當等。技術因素：主要是指由于具體數據處理的各技術環(huán)節(jié)的異常造成的數據質量問題。數據質量問題的產生環(huán)節(jié)主要包括數據創(chuàng)建、數據獲取、數據傳輸、數據裝載、數據使用、數據維護等方面的內容。流程因素：是指由于系統(tǒng)作業(yè)流程和人工操作流程設置不當造成的數據質量問題，主要來。管理因素：是指由于人員素質及方面的原因造成的數據質量問題。如人員、、培訓或者獎懲措施不當導致的管理缺失或者管理缺陷。熟悉的人應該知道，六西格瑪強調以事實驅動管理。但事實是用數據說話。映射到方法熟悉的人應該知道，六西格瑪強調以事實驅動管理。但事實是用數據說話。映射到方法，1.定義和商定問題、時機和目標，以指導整個數據質量管理的工作。2.收集、匯總、分析有關形式和信息環(huán)境。設計設計捕獲和評估的方案。3.按照數據質量維度對數據質量進行。4.使用各種技術評估劣質數據對產生的影響。5.確定影響數據質量的真實原因，并區(qū)分這些原因的影響的數據質量的級別。6.最終確定行動的建議，為數據質量改善制定方案，包括數據級和組織級的。7.建立數據錯誤預防方案，并改正當前數據問題。8.通過改進組織管理流程，最