數(shù)據(jù)質(zhì)量管理5要素數(shù)據(jù)質(zhì)量報告

數(shù)據(jù)質(zhì)量管理是一個長期的過程，除了選擇合適的軟件以外，制訂數(shù)據(jù)標準、規(guī)范流程同樣重要。建立數(shù)據(jù)的標準，明確數(shù)據(jù)的定義。通常，獨立的應(yīng)用系統(tǒng)會有一個比較模糊的、有時也會有比較清晰的數(shù)據(jù)標準和數(shù)據(jù)定義。為了保證系統(tǒng)的正常運行，這些系統(tǒng)的用戶必須在數(shù)據(jù)的標準和數(shù)據(jù)的定義上達成一致。不過，這些標準和定義大多數(shù)時候與企業(yè)中其他系統(tǒng)中的數(shù)據(jù)標準和定義并不一致。因此，需要從整個企業(yè)的角度出發(fā)，建立統(tǒng)一的數(shù)據(jù)標準和數(shù)據(jù)定義，同時，整個企業(yè)必須就這個數(shù)據(jù)標準和數(shù)據(jù)定義達成共識。這一句話說起來容易做起來難。因為人通常本能地會拒絕改變，改變數(shù)據(jù)標準和定義并不是輕而易舉的。為此，強烈建立在企業(yè)中除了設(shè)立一個高管級別的數(shù)據(jù)質(zhì)量管理委員會外，還需要選定一個執(zhí)行能力強的項目負責人，需要他推動相關(guān)人員接受新的數(shù)據(jù)標準和定義。在具體建立新的數(shù)據(jù)標準和數(shù)據(jù)定義時，需要仔細權(quán)衡，哪些定義和標準是出于企業(yè)內(nèi)部的原因（比如出于方便、習慣等）制訂的，哪些定義和標準是因為要有效反映外部的真實世界而制訂的。相對而言，前者更容易執(zhí)行一些。建立一個可重復的數(shù)據(jù)收集、數(shù)據(jù)修改和數(shù)據(jù)維護流程。數(shù)據(jù)管理面臨的兩個主要挑戰(zhàn)是企業(yè)本身的復雜性和身份信息不斷變化。這兩個客觀原因的存在意味著企業(yè)的數(shù)據(jù)質(zhì)量保證行動永遠沒有結(jié)束之日，因此，企業(yè)在制訂數(shù)據(jù)質(zhì)量的保證措施和數(shù)據(jù)質(zhì)量指標時，必須保證這些措施和指標能夠不斷重復。在數(shù)據(jù)轉(zhuǎn)化流程中設(shè)立多個性能監(jiān)控點。數(shù)據(jù)的質(zhì)量高低可以根據(jù)最終用戶的需求來評價，也可以通過與同類數(shù)據(jù)源的比較來評價，還可以通過與前一階段的數(shù)據(jù)質(zhì)量進行比較來評價。但在制訂數(shù)據(jù)質(zhì)量的戰(zhàn)略時比較理想的辦法還是根據(jù)最終用戶的需求來進行。不過這里存在一個問題是，等到最終用戶拿到數(shù)據(jù)時再針對數(shù)據(jù)的問題進行修正已經(jīng)太遲了。一個有效的數(shù)據(jù)質(zhì)量保證辦法是在每當數(shù)據(jù)發(fā)生轉(zhuǎn)換后就與前一時期進行比較，從而對數(shù)據(jù)質(zhì)量進行評估。如果此前所采用的數(shù)據(jù)質(zhì)量改進方法有助于提高最終用戶的滿意度，那么，這些中間指標的達標也預示著項目的最終成功。對流程不斷進行改善和優(yōu)化。我們常常聽到有人說，他們制訂了很多辦法來迅速而且大幅度提升數(shù)據(jù)的質(zhì)量，但很少聽說最后他們能真正得到滿意的結(jié)果（:數(shù)據(jù)質(zhì)量管理5要素數(shù)據(jù)質(zhì)量報告）。其原因就在于數(shù)據(jù)的質(zhì)量改進絕非一朝一夕的事情，而是一個持續(xù)的過程。正確的辦法是通過一個不斷改進的流程，持續(xù)不斷地排除錯誤、對數(shù)據(jù)進行整合和標準化最后達到流程的自動化，從而降低數(shù)據(jù)質(zhì)量保證計劃的總體開銷。實際上排除錯誤、數(shù)據(jù)整合和數(shù)據(jù)標準化從來就不是一件容易的事情。數(shù)據(jù)質(zhì)量管理計劃的負責人將配合公司高管組成的數(shù)據(jù)質(zhì)量管理委員會來保證這個流程的順利執(zhí)行。要注意的是，作為該項目的負責人，不能墨守成規(guī)，僅僅因為自己以前一向采用某種方法，就要求別人也必須采用這一方法，特別是當發(fā)現(xiàn)這些方法成本高昂的時候，就應(yīng)該考慮換一種方式了。把責任落實到人。通常，我們認為那些與數(shù)據(jù)的產(chǎn)生、維護相關(guān)的人員是負責任的，但是，很有可能，他們有很多其他的工作要做，因此作為數(shù)據(jù)質(zhì)量的負責人光有善良的想法是難以提高數(shù)據(jù)的質(zhì)量，很有可能一輩子也達不到目標。對于那些負責數(shù)據(jù)的產(chǎn)生、數(shù)據(jù)的合理化以及對數(shù)據(jù)進行清理和維護的人，應(yīng)該給他們的活動制訂明確的指標，這樣他們才能真正理解人們到底希望他們達到什么目標。更重要的，他們還需要針對這些指標細化對他們自己的要求，當然，他們會因為達到或者超過這些指標而得到獎勵。其中，一個執(zhí)行力強的負責人的價值體現(xiàn)出來，他會針對具體情況適時調(diào)整數(shù)據(jù)質(zhì)量的目標。最后，再次強調(diào)考慮與數(shù)據(jù)管理和數(shù)據(jù)質(zhì)量的改進項目有關(guān)的人的因素，他們的行為是非常重要的。從某種程度上說，要比具體選擇什么軟件要重要得多。上述5點有助于幫助組織規(guī)范數(shù)據(jù)質(zhì)量管理中與人有關(guān)的流程。提高數(shù)據(jù)質(zhì)量的三個步驟由于大多數(shù)系統(tǒng)和應(yīng)用程序會持續(xù)不斷接收到新數(shù)據(jù)，數(shù)據(jù)量也在不斷增加，因此確保數(shù)據(jù)質(zhì)量并不是一次就能完成的。所有企業(yè)都應(yīng)該使用一種反復進行的階段性過程來管理數(shù)據(jù)質(zhì)量，此過程包括數(shù)據(jù)質(zhì)量評估、規(guī)劃以及策略的選擇和實施。第一步對數(shù)據(jù)質(zhì)量進行評估。評估當前的數(shù)據(jù)質(zhì)量狀態(tài)是第一步。對數(shù)據(jù)質(zhì)量進行評估能幫助企業(yè)準確地了解數(shù)據(jù)的內(nèi)容、質(zhì)量和結(jié)構(gòu)。主管人員參與數(shù)據(jù)質(zhì)量評估以及分析在數(shù)據(jù)檢查過程中發(fā)現(xiàn)的問題對于數(shù)據(jù)質(zhì)量評估來說都很重要。在最有效的數(shù)據(jù)質(zhì)量評估中，所有問題都將按照對業(yè)務(wù)影響從大到小的順序列出，這將幫助IT機構(gòu)節(jié)省項目成本。第二步，制訂數(shù)據(jù)質(zhì)量計劃。徹底了解企業(yè)數(shù)據(jù)的內(nèi)容和質(zhì)量后，接下來的步驟是制訂一個計劃，來修改當前的錯誤并避免未來錯誤的發(fā)生。有效的計劃不但可以提高企業(yè)當前所有應(yīng)用程序中數(shù)據(jù)的質(zhì)量，還將制定一些方式以確保新應(yīng)用程序從一開始就遵循數(shù)據(jù)質(zhì)量規(guī)則。第三步，選擇和實施數(shù)據(jù)質(zhì)量策略。選擇改善企業(yè)數(shù)據(jù)質(zhì)量的策略，要求決策者權(quán)衡每個數(shù)據(jù)質(zhì)量計劃的成本以及該策略產(chǎn)生的影響。目前的策略類型有兩種:在企業(yè)輸入數(shù)據(jù)時提高數(shù)據(jù)質(zhì)量的方法稱為“上游”方法，而從運營系統(tǒng)提取數(shù)據(jù)的應(yīng)用程序（如數(shù)據(jù)倉庫）中改善數(shù)據(jù)質(zhì)量的方法是“下游”方法。上游策略研究當前應(yīng)用程序的邏輯、數(shù)據(jù)和流程，解決檢查過程中發(fā)現(xiàn)的異常情況。此策略可能涉及到更改應(yīng)用程序邏輯、添加更好的表驗證改善與數(shù)據(jù)輸入相關(guān)的流程，它致力于企業(yè)數(shù)據(jù)的高準確性。另外，此策略還要求使用應(yīng)用程序本身附帶的數(shù)據(jù)質(zhì)量功能。下游策略解決目標應(yīng)用程序或數(shù)據(jù)倉庫（而非數(shù)據(jù)源）中的數(shù)據(jù)質(zhì)量問題。由于數(shù)據(jù)可以根據(jù)需要隨時進行修改，所以企業(yè)能夠在流程（尤其是數(shù)據(jù)轉(zhuǎn)換、名稱和地址清洗以及查找驗證）中改善數(shù)據(jù)質(zhì)量。下游策略僅為目標應(yīng)用程序或數(shù)據(jù)倉庫改善數(shù)據(jù)質(zhì)量，但與上游策略相比，它的實施過程更簡單，成本更低。一個戰(zhàn)略性和系統(tǒng)性的方法能幫助企業(yè)正確研究企業(yè)的數(shù)據(jù)質(zhì)量項目業(yè)務(wù)部門與IT部門的相關(guān)人員將各自具有明確角色和責任，配備正確的技術(shù)和工具，以應(yīng)對數(shù)據(jù)質(zhì)量控制的挑戰(zhàn)。數(shù)據(jù)質(zhì)量反映的是數(shù)據(jù)的“適用性（fitnessforuse）”，即數(shù)據(jù)滿足使用需要的合適程度。數(shù)據(jù)質(zhì)量通過完整性、一致性、準確性、及時性合法性等多類維度對數(shù)據(jù)進行度量。數(shù)據(jù)質(zhì)量管理的目的是為企業(yè)提供潔凈、結(jié)構(gòu)清晰的數(shù)據(jù)，是企業(yè)開發(fā)業(yè)務(wù)系統(tǒng)、提供數(shù)據(jù)服務(wù)、發(fā)揮數(shù)據(jù)價值的必要前提，是企業(yè)數(shù)據(jù)資產(chǎn)管理的前提。數(shù)據(jù)質(zhì)量問題的影響因素1、數(shù)據(jù)質(zhì)量方面原因——數(shù)據(jù)不一致企業(yè)早期沒有進行統(tǒng)一規(guī)劃設(shè)計，大部分信息系統(tǒng)是逐步迭代建設(shè)的系統(tǒng)建設(shè)時間長短各異，各系統(tǒng)數(shù)據(jù)標準也不同。企業(yè)業(yè)務(wù)系統(tǒng)更關(guān)注業(yè)務(wù)層面，各個業(yè)務(wù)系統(tǒng)均有不同的側(cè)重點，各類數(shù)據(jù)的屬性信息設(shè)置和要求不統(tǒng)一。另外，由于各系統(tǒng)的相互獨立使用，無法及時同步更新相關(guān)信息等各種原因造成各系統(tǒng)間的數(shù)據(jù)不一致，嚴重影響了各系統(tǒng)間的數(shù)據(jù)交互和統(tǒng)一識別，基礎(chǔ)數(shù)據(jù)難以共享利用，數(shù)據(jù)的深層價值也難以體現(xiàn)。2、數(shù)據(jù)質(zhì)量方面原因——數(shù)據(jù)不完整由于企業(yè)信息系統(tǒng)的孤立使用，各個業(yè)務(wù)系統(tǒng)或模塊按照各自的需要錄入數(shù)據(jù)，沒有統(tǒng)一的錄入工具和數(shù)據(jù)出口，業(yè)務(wù)系統(tǒng)不需要的信息就不錄，造成同樣的數(shù)據(jù)在不同的系統(tǒng)有不同的屬性信息，數(shù)據(jù)完整性無法得到保障（:數(shù)據(jù)質(zhì)量管理5要素數(shù)據(jù)質(zhì)量報告）。3、數(shù)據(jù)質(zhì)量方面原因——數(shù)據(jù)不合規(guī)沒有統(tǒng)一的數(shù)據(jù)管理平臺和數(shù)據(jù)源頭，數(shù)據(jù)全生命周期管理不完整，同時企業(yè)各信息系統(tǒng)的數(shù)據(jù)錄入環(huán)節(jié)過于簡單且手工參與較多，就數(shù)據(jù)本身而言，缺少是否重復、合法、對錯等校驗環(huán)節(jié)，導致各個信息系統(tǒng)的數(shù)據(jù)不夠準確，格式混亂，各類數(shù)據(jù)難以集成和統(tǒng)一，沒有質(zhì)量控制導致海量數(shù)據(jù)因質(zhì)量過低而難以被利用，且沒有相應(yīng)的數(shù)據(jù)管理流程。4、數(shù)據(jù)質(zhì)量方面原因——數(shù)據(jù)不可控海量數(shù)據(jù)多頭管理，缺少專門對數(shù)據(jù)管理進行監(jiān)督和控制的組織。企業(yè)各單位和部門關(guān)注數(shù)據(jù)的角度不一樣，缺少一個組織從全局的視角對數(shù)據(jù)進行管理，導致無法建立統(tǒng)一的數(shù)據(jù)管理標準、流程等，相應(yīng)的數(shù)據(jù)管理制度、辦法等無法得到落實。同時，企業(yè)基礎(chǔ)數(shù)據(jù)質(zhì)量核體系也尚未建立，無法保障一系列數(shù)據(jù)標準、規(guī)范、制度、流程得到長效執(zhí)行。5、數(shù)據(jù)質(zhì)量方面原因——數(shù)據(jù)冗余各個信息系統(tǒng)針對數(shù)據(jù)的標準規(guī)范不一、編碼規(guī)則不一、校驗標準不一，且部分業(yè)務(wù)系統(tǒng)針對數(shù)據(jù)的驗證標準嚴重缺失，造成了企業(yè)頂層視角的數(shù)據(jù)出現(xiàn)“一物多碼”、“一碼多物”等現(xiàn)象。數(shù)據(jù)治理中影響數(shù)據(jù)質(zhì)量的5個因素.中琛魔方大數(shù)據(jù)平臺表示數(shù)據(jù)將是產(chǎn)生業(yè)務(wù)價值和實現(xiàn)業(yè)務(wù)目標的基石，數(shù)據(jù)質(zhì)量將成為此類項目的一個極為重要的因素，一些項目在早期沒有考慮數(shù)據(jù)質(zhì)量因素，導致項目實施的后期階段，因為數(shù)據(jù)質(zhì)量問題造成項目失敗的風險，所以在項目的各個方面都應(yīng)注意數(shù)據(jù)質(zhì)量的管理。常見的數(shù)據(jù)質(zhì)量問題包括數(shù)據(jù)無法匹配數(shù)據(jù)不可識別數(shù)據(jù)不一致數(shù)據(jù)沉余重復實效性不強精度不夠通過數(shù)據(jù)分析、數(shù)據(jù)評估、數(shù)據(jù)清洗、數(shù)據(jù)監(jiān)控、錯誤預警等內(nèi)容，解決數(shù)據(jù)質(zhì)量問題，使數(shù)據(jù)的質(zhì)量得以改善，使其滿足數(shù)據(jù)需求方對數(shù)據(jù)質(zhì)量的規(guī)則要求。數(shù)據(jù)質(zhì)量評估包括但不止以下6個方面規(guī)范性Conformity：度量哪些數(shù)據(jù)未按統(tǒng)一格式存儲。一致性Consistency：度量哪些數(shù)據(jù)的值在信息含義上是沖突的。準確性Accuracy:度量哪些數(shù)據(jù)和信息是不正確的，或者數(shù)據(jù)是超期的。唯一性Uniqueness:度量哪些數(shù)據(jù)是重復數(shù)據(jù)或者數(shù)據(jù)的哪些屬性是重復的。關(guān)聯(lián)性Integration：度量哪些關(guān)聯(lián)的數(shù)據(jù)缺失或者未建立索引。數(shù)據(jù)質(zhì)量評估模型要素分別為:基礎(chǔ)模型、數(shù)據(jù)質(zhì)量定義模型、數(shù)據(jù)質(zhì)量控制模型、數(shù)據(jù)質(zhì)量評價模型、數(shù)據(jù)質(zhì)量輔助模型。基礎(chǔ)模型。其他模型必須以基礎(chǔ)模型中的計劃和標準為依據(jù)?；A(chǔ)模型主要是映射、定義數(shù)據(jù)采集標準,上載分單位的采集計劃,同時納入了約束規(guī)則定義規(guī)范、控制規(guī)則定義規(guī)范、模板定義規(guī)范。數(shù)據(jù)標準:分兩部分,一部分是直接映射應(yīng)用中的標準，例如源數(shù)據(jù)庫標準;另一部分是針對新增應(yīng)用庫和項目庫標準的定義規(guī)范,包括代碼定義標準、數(shù)據(jù)項定義標準（例如是取英文還是漢語拼音,取幾個字符）、值域定義標準等等新增表準的建立規(guī)范；采集計劃:采集單位的每月上載的日度、月度、年度的采集計劃;約束規(guī)則定義規(guī)范:主要描述質(zhì)量定義模型中的語法構(gòu)成；控制規(guī)則定義規(guī)范:針對服務(wù)器負載和采集表的及時性，要求建立的后臺執(zhí)行過程的控制方式的使用說明;數(shù)據(jù)質(zhì)量定義模型。以基礎(chǔ)模型為前提對數(shù)據(jù)質(zhì)量的統(tǒng)一規(guī)范的定義,是數(shù)據(jù)質(zhì)量分析評價的依據(jù)和基礎(chǔ)。數(shù)據(jù)質(zhì)量定義模型可以使用質(zhì)量特性描述。數(shù)據(jù)質(zhì)量特性歸納為數(shù)據(jù)的一致性、數(shù)據(jù)的準確性、數(shù)據(jù)的完整性、數(shù)據(jù)的及時性4個關(guān)鍵特性。(1一致性的量化評價指標:字段一致率、表間字段一致率、表間記錄一致率。(2準確性的量化評價指標：準確率、差錯率a、問題字段個數(shù)、問題記錄覆蓋率及時性的量化評價指標:采集項目及時率;單位入庫及時率完整性的量化評價指標：字段缺失數(shù)、缺失記錄覆蓋率、計劃完成率。數(shù)據(jù)質(zhì)量控制模型。數(shù)據(jù)質(zhì)量控制模型以數(shù)據(jù)質(zhì)量定義模型為基礎(chǔ)，按照定義的檢查范圍和時間以自動或手工方式完成對數(shù)據(jù)質(zhì)量的檢查工作。在質(zhì)量控制過程中違反了數(shù)據(jù)質(zhì)量定義的，視為數(shù)據(jù)質(zhì)量問題，數(shù)據(jù)質(zhì)量問題直接通過數(shù)據(jù)質(zhì)量的關(guān)鍵特性和指標反映出來。數(shù)據(jù)質(zhì)量控制模型的控制內(nèi)容表現(xiàn)在:對數(shù)據(jù)檢查對象、數(shù)據(jù)檢查頻度、數(shù)據(jù)檢查時間、數(shù)據(jù)檢查方式等方面進行控制。數(shù)據(jù)檢查對象:是指根據(jù)采集計劃設(shè)定需要檢查的用戶、專業(yè)數(shù)據(jù)表、數(shù)據(jù)庫實體。數(shù)據(jù)檢查頻度;是指根據(jù)數(shù)據(jù)表的采集計劃和實際發(fā)生的頻度，設(shè)定存儲過程的檢查執(zhí)行頻率。數(shù)據(jù)檢查時間:是指根據(jù)每日生產(chǎn)應(yīng)用的密集時間以及數(shù)據(jù)發(fā)生到采集入庫的密集時間,綜合設(shè)定一個檢查開始執(zhí)行的時刻。數(shù)據(jù)檢查方式:是指執(zhí)行檢查過程的方式可以由后臺過程自動控制每間隔2小時自動檢查一次;也可以由人工干預手動檢查，任意時刻都可以執(zhí)行檢查(當然盡量選擇數(shù)據(jù)庫流量比較低的時候)。數(shù)據(jù)質(zhì)量評價模型。數(shù)據(jù)質(zhì)量評價模型，是以數(shù)據(jù)質(zhì)量定義模型為依據(jù)，由數(shù)據(jù)質(zhì)量控制模型操控執(zhí)行，根據(jù)反饋的質(zhì)量檢查結(jié)果表，評議出數(shù)據(jù)質(zhì)量的關(guān)鍵指標實現(xiàn)對數(shù)據(jù)質(zhì)量的量化診斷和評價。數(shù)據(jù)質(zhì)量分析評價模型功能核心是,通過對基礎(chǔ)模型中的