數(shù)據(jù)治理系列淺談數(shù)據(jù)質量管理

數(shù)據(jù)治理系列5：淺談數(shù)據(jù)質量管理“數(shù)據(jù)質量管理是對數(shù)據(jù)從計劃、獲取、存儲、共享、維護、應用、消亡生命周期的每個階段里可能引發(fā)的數(shù)據(jù)質量問題，進行識別、度量、監(jiān)控、預警等一系列管理活動，并通過改善和提高組織的管理水平使得數(shù)據(jù)質量獲得進一步提高。數(shù)據(jù)質量管理的終極目的是通過可靠的數(shù)據(jù)提高數(shù)據(jù)在使用中的價值，并最后為公司贏得經(jīng)濟效益?！薄陨蟽热菡园俣劝倏?。筆者觀點：“數(shù)據(jù)質量管理不單純是一種概念，也不單純是一項技術、也不單純是一種系統(tǒng)，更不單純是一套管理流程，數(shù)據(jù)質量管理是一種集辦法論、技術、業(yè)務和管理為一體的解決方案。通過有效的數(shù)據(jù)質量控制手段，進行數(shù)據(jù)的管理和控制，消除數(shù)據(jù)質量問題進而提高公司數(shù)據(jù)變現(xiàn)的能力。在數(shù)據(jù)治理過程中，一切業(yè)務、技術和管理活動都圍繞這個目的和開展”。一、數(shù)據(jù)質量問題盤點接下來我們盤點下公司普通都會碰到哪些數(shù)據(jù)質量問題：數(shù)據(jù)真實性：數(shù)據(jù)必須真實精確的反映客觀的實體存在或真實的業(yè)務，真實可靠的原始統(tǒng)計數(shù)據(jù)是公司統(tǒng)計工作的靈魂，是一切管理工作的基礎，是經(jīng)營者進行對的經(jīng)營決策必不可少的第一手資料。數(shù)據(jù)精確性：精確性也叫可靠性，是用于分析和識別哪些是不精確的或無效的數(shù)據(jù)，不可靠的數(shù)據(jù)可能會造成嚴重的問題，會造成有缺點的辦法和糟糕的決策。數(shù)據(jù)唯一性：用于識別和度量重復數(shù)據(jù)、冗余數(shù)據(jù)。重復數(shù)據(jù)是造成業(yè)務無法協(xié)同、流程無法追溯的重要因素，也是數(shù)據(jù)治理需要解決的最基本的數(shù)據(jù)問題。數(shù)據(jù)完整性：數(shù)據(jù)完整性問題涉及：模型設計不完整，例如：唯一性約束不完整、參考不完整；數(shù)據(jù)條目不完整，例如：數(shù)據(jù)統(tǒng)計丟失或不可用；數(shù)據(jù)屬性不完整，例如：數(shù)據(jù)屬性空值。不完整的數(shù)據(jù)所能借鑒的價值就會大大減少，也是數(shù)據(jù)質量問題最為基礎和常見的一類問題。數(shù)據(jù)一致性：多源數(shù)據(jù)的數(shù)據(jù)模型不一致，例如：命名不一致、數(shù)據(jù)構造不一致、約束規(guī)則不一致。數(shù)據(jù)實體不一致，例如：數(shù)據(jù)編碼不一致、命名及含義不一致、分類層次不一致、生命周期不一致……。相似的數(shù)據(jù)有多個副本的狀況下的數(shù)據(jù)不一致、數(shù)據(jù)內容沖突的問題。數(shù)據(jù)關聯(lián)性：數(shù)據(jù)關聯(lián)性問題是指存在數(shù)據(jù)關聯(lián)的數(shù)據(jù)關系缺失或錯誤，例如：函數(shù)關系、有關系數(shù)、主外鍵關系、索引關系等。存在數(shù)據(jù)關聯(lián)性問題，會直接影響數(shù)據(jù)分析的成果，進而影響管理決策。數(shù)據(jù)及時性：數(shù)據(jù)的及時性(In-time)是指能否在需要的時候獲到數(shù)據(jù)，數(shù)據(jù)的及時性與公司的數(shù)據(jù)解決速度及效率有直接的關系，是影響業(yè)務解決和管理效率的核心指標。二、數(shù)據(jù)質量問題根因分析說到數(shù)據(jù)質量問題的因素，做過BI或數(shù)倉項目的小伙伴必定都懂得，這是一種業(yè)務和技術經(jīng)常扯來扯去、互相推諉的問題。在諸多狀況下，公司都會把數(shù)據(jù)質量問題推給技術部門，讓技術部門去查找和解決。但是公司的數(shù)據(jù)質量問題真的都是技術引發(fā)的嗎，技術部門人一定會說：“這個鍋我不背！”其實，影響數(shù)據(jù)質量的因素重要就技術、業(yè)務、管理三個方面，下面我們就來從這三方面分析下產(chǎn)生數(shù)據(jù)質量問題都有哪些因素。1、技術方面數(shù)據(jù)模型設計的質量問題，例如：數(shù)據(jù)庫表構造、數(shù)據(jù)庫約束條件、數(shù)據(jù)校驗規(guī)則的設計開發(fā)不合理，造成數(shù)據(jù)錄入無法校驗或校驗不當，引發(fā)數(shù)據(jù)重復、不完整、不精確。數(shù)據(jù)源存在數(shù)據(jù)質量問題，例如：有些數(shù)據(jù)是從生產(chǎn)系統(tǒng)采集過來的，在生產(chǎn)系統(tǒng)中這些數(shù)據(jù)就存在重復、不完整、不精確等問題，而采集過程有無對這些問題做清洗解決，這種狀況也比較常見。數(shù)據(jù)采集過程質量問題，例如：采集點、采集頻率、采集內容、映射關系等采集參數(shù)和流程設立的不對的，數(shù)據(jù)采集接口效率低，造成的數(shù)據(jù)采集失敗、數(shù)據(jù)丟失、數(shù)據(jù)映射和轉換失敗。數(shù)據(jù)傳輸過程的問題，例如：數(shù)據(jù)接口本身存在問題、數(shù)據(jù)接口參數(shù)配備錯誤、網(wǎng)絡不可靠等都會造成數(shù)據(jù)傳輸過程中的發(fā)生數(shù)據(jù)質量問題。數(shù)據(jù)裝載過程的問題，例如：數(shù)據(jù)清洗規(guī)則、數(shù)據(jù)轉換規(guī)則、數(shù)據(jù)裝載規(guī)則配備有問題。數(shù)據(jù)存儲的質量問題，例如：數(shù)據(jù)存儲設計不合理，數(shù)據(jù)的存儲能力有限，人為后臺調節(jié)數(shù)據(jù)，引發(fā)的數(shù)據(jù)丟失、數(shù)據(jù)無效、數(shù)據(jù)失真、統(tǒng)計重復。業(yè)務系統(tǒng)各自為政，煙囪式建設，系統(tǒng)之間的數(shù)據(jù)不一致問題嚴重。2、業(yè)務方面業(yè)務需求不清晰，例如：數(shù)據(jù)的業(yè)務描述、業(yè)務規(guī)則不清晰，造成技術無法構建出合理、對的的數(shù)據(jù)模型。業(yè)務需求的變更，這個問題其實是對數(shù)據(jù)質量影響非常大的，需求一變，數(shù)據(jù)模型設計、數(shù)據(jù)錄入、數(shù)據(jù)采集、數(shù)據(jù)傳輸、數(shù)據(jù)裝載、數(shù)據(jù)存儲等環(huán)節(jié)都會受到影響，稍有不慎就會造成數(shù)據(jù)質量問題的發(fā)生。業(yè)務端數(shù)據(jù)輸入不規(guī)范，常見的數(shù)據(jù)錄入問題，如：大小寫、全半角、特殊字符等一不小心就會錄錯。人工錄入的數(shù)據(jù)質量與錄數(shù)據(jù)的業(yè)務人員親密有關，錄數(shù)據(jù)的人工作嚴謹、認真，數(shù)據(jù)質量就相對較好，反之就較差。數(shù)據(jù)作假，對，你沒看錯，就是數(shù)據(jù)作假！操作人員為了提高或減少考核指標，對某些數(shù)據(jù)進行解決，使得數(shù)據(jù)真實性無法確保。3、管理方面認知問題。公司管理缺少數(shù)據(jù)思維，沒有認識到數(shù)據(jù)質量的重要性，重系統(tǒng)而輕數(shù)據(jù)，認為系統(tǒng)是萬能的，數(shù)據(jù)質量差些也沒關系。沒有明確數(shù)據(jù)歸口管理部門或崗位，缺少數(shù)據(jù)認責機制，出現(xiàn)數(shù)據(jù)質量問題找不到負責人。缺少數(shù)據(jù)規(guī)劃，沒有明確的數(shù)據(jù)質量目的，沒有制訂數(shù)據(jù)質量有關的政策和制度。數(shù)據(jù)輸入規(guī)范不統(tǒng)一，不同的業(yè)務部門、不同的時間、甚至在解決相似業(yè)務的時候，由于數(shù)據(jù)輸入規(guī)范不同，造成數(shù)據(jù)沖突或矛盾。缺少有效的數(shù)據(jù)質量問題解決機制，數(shù)據(jù)質量問題從發(fā)現(xiàn)、指派、解決、優(yōu)化沒有一種統(tǒng)一的流程和制度支撐，數(shù)據(jù)質量問題無法閉環(huán)。缺少有效的數(shù)據(jù)管控機制，對歷史數(shù)據(jù)質量檢查、新增數(shù)據(jù)質量校驗沒有明確和有效的控制方法，出現(xiàn)數(shù)據(jù)質量問題無法考核。小結：影響數(shù)據(jù)質量的因素，能夠總結為兩類，客觀因素和主觀因素?？陀^因素：在數(shù)據(jù)各環(huán)節(jié)流轉中，由于系統(tǒng)異常和流程設立不當?shù)纫蛩?，從而引發(fā)的數(shù)據(jù)質量問題。主觀因素：在數(shù)據(jù)各環(huán)節(jié)解決中，由于人員素質低和管理缺點等因素，從而操作不當而引發(fā)的數(shù)據(jù)質量問題。三、數(shù)據(jù)質量管理的辦法論在數(shù)據(jù)治理方面，不管是國際的還是國內的，我們能找到諸多數(shù)據(jù)治理成熟度評定模型這樣的理論框架，作為公司實施的指導。而說到數(shù)據(jù)質量管理的辦法論，其實業(yè)內還沒有一套科學、完整的數(shù)據(jù)質量管理的體系。諸多公司對數(shù)據(jù)質量的重視程度還不夠，即使部分公司在朝著這個方向努力，也是摸著石頭過河。數(shù)據(jù)是數(shù)字化時代公司的重要資產(chǎn)，數(shù)據(jù)能夠以產(chǎn)品或服務的形態(tài)為公司發(fā)明價值。既然數(shù)據(jù)能夠是產(chǎn)品、能夠是服務，那問題就簡樸了。即使數(shù)據(jù)質量管理沒有成熟辦法論支撐，但是產(chǎn)品和服務的質量管理體系卻已非常的成熟了，何不嘗試用產(chǎn)品和服務的質量管理體系來管理數(shù)據(jù)質量？！那國際上最權威的質量管理體系IOS9001與否也合用于公司的數(shù)據(jù)質量管理呢？下圖是ISO9001基于PDCA的質量管理核心思想，其重點強調以客戶為關注焦點、領導作用、全員參加、過程辦法、持續(xù)改善、循證決策和關系管理。注：圖中的數(shù)字代表的是本原則在ISO9001的有關章節(jié)，無業(yè)務含義。下列內容是根據(jù)筆者對質量體系有關資料的查閱和粗淺理解，給出數(shù)據(jù)質量管理的辦法論，不免有所偏誤，歡迎拍磚和指正。根據(jù)ISO9001以及公司在數(shù)據(jù)治理方面的有關經(jīng)驗，筆者認為公司數(shù)據(jù)質量管理應從下列幾個方面著手：1、組織環(huán)境我們在數(shù)據(jù)治理框架、主數(shù)據(jù)管理、數(shù)據(jù)原則管理等章節(jié)，都提到了組織機構的設立，這里再次強調一種強有力的數(shù)據(jù)管理組織的建設是數(shù)據(jù)治理項目成功的最根本的確保。其作業(yè)是兩個層面：一是在制度層面，制訂公司數(shù)據(jù)治理的有關制度和流程，并在公司內推廣，融入公司文化。二是在執(zhí)行層面，為各項業(yè)務應用提供高可靠的數(shù)據(jù)。2、數(shù)據(jù)質量管理方針為了改善和提高數(shù)據(jù)質量，必須從產(chǎn)生數(shù)據(jù)的源頭開始抓起，從管理入手，對數(shù)據(jù)運行的全過程進行監(jiān)控，強化全方面數(shù)據(jù)質量管理的思想觀念，把這一觀念滲入到數(shù)據(jù)生命周期的全過程。數(shù)據(jù)質量問題是影響系統(tǒng)運行、業(yè)務效率、決策能力的重要因素，在數(shù)字化時代，數(shù)據(jù)質量問題影響的不僅僅是信息化建設的成敗，更是影響公司降本增效、業(yè)務創(chuàng)新的核心要素，對于數(shù)據(jù)質量問題的管理，深度執(zhí)行的總體方略“垃圾進，垃圾出（garbagein，garbageout）”，采用事前防止控制、事中過程控制、事后監(jiān)督控制的方式進行數(shù)據(jù)質量問題的管理和控制，持續(xù)提高公司數(shù)據(jù)質量水平。3、數(shù)據(jù)質量問題分析有關質量問題的分析，筆者推薦采用典型的六西格瑪（縮寫：6σ或6Sigma），六西格瑪是一種改善公司質量流程管理的技術，以“零缺點”的完美商業(yè)追求，以客戶為導向，以業(yè)界最佳為目的，以數(shù)據(jù)為基礎，以事實為根據(jù)，以流程績效和財務評價為成果，持續(xù)改善公司經(jīng)營管理的思想辦法、實踐活動和文化理念。六西格瑪重點強調質量的持續(xù)改善，對于數(shù)據(jù)質量問題的分析和管理，該辦法仍然合用。根據(jù)六西格瑪?shù)腄MAIC模型，我們能夠將數(shù)據(jù)質量分析定義為六個階段：（1）定義階段（D階段）。界定數(shù)據(jù)質量治理的范疇，并將數(shù)據(jù)質量改善的方向和內容界定在合理的范疇內。通過使用主數(shù)據(jù)識別法、專家小組法、問卷調查法、漏斗法等辦法，定義出數(shù)據(jù)治理的對象和范疇。公司數(shù)據(jù)質量治理對象普通重要涉及兩類數(shù)據(jù)：一類是操作型數(shù)據(jù)，例如：主數(shù)據(jù)、參考數(shù)據(jù)和交易數(shù)據(jù)。另一類是分析型數(shù)據(jù)，例如：主題數(shù)據(jù)、指標數(shù)據(jù)等。注：根據(jù)筆者經(jīng)驗以及80/20法則，公司的數(shù)據(jù)責問題80%是由于管理不當或業(yè)務操作不規(guī)范引發(fā)的，參考：《主數(shù)據(jù)的3大特點、4個超越和三個80/20原則》。（2）測量階段（M階段）。在定義出數(shù)據(jù)治理對象和內容后，需要選用下列若干個指標來作為數(shù)據(jù)質量評價指標，建立數(shù)據(jù)質量評定模型，對公司的數(shù)據(jù)進行評定和測量。慣用的數(shù)據(jù)質量評價指標就是我們上述提到的：數(shù)據(jù)唯一性、數(shù)據(jù)完整性、數(shù)據(jù)精確性、數(shù)據(jù)一致性、數(shù)據(jù)關聯(lián)性、數(shù)據(jù)及時性等。（3）分析階段（A階段）?；跀?shù)據(jù)質量評定模型，執(zhí)行數(shù)據(jù)質量分析任務，通過數(shù)據(jù)分析，找到發(fā)生數(shù)據(jù)質量問題的重災區(qū)，擬定出影響數(shù)據(jù)質量的核心因素。數(shù)據(jù)治理和大數(shù)據(jù)分析是密不可分的，數(shù)據(jù)治理的目的是提高數(shù)據(jù)質量從而提高數(shù)據(jù)分析的精確性，而大數(shù)據(jù)分析技術也可反向作用于數(shù)據(jù)治理，通過大數(shù)據(jù)分析算法和大數(shù)據(jù)可視化技術，能夠更精確、更直觀的定位到發(fā)生數(shù)據(jù)質量問題的癥結所在。該階段能夠用的大數(shù)據(jù)技術涉及：回歸分析、因子分析、魚骨圖分析、帕累托分析、矩陣數(shù)據(jù)分析等。（4）改善階段（I階段）。通過制訂改善管理和業(yè)務流程、優(yōu)化數(shù)據(jù)質量的方案，消除數(shù)據(jù)質量問題或將數(shù)據(jù)質量問題帶來的影響減少到最小程度。我們始終在強調數(shù)據(jù)質量的優(yōu)化和提高，絕不單單是技術問題，應從管理和業(yè)務入手，找出數(shù)據(jù)質量問題發(fā)生的根因，再對癥下藥。同時，數(shù)據(jù)質量管理是一種持續(xù)優(yōu)化的過程，需要公司全員參加，并逐步培養(yǎng)起全員的數(shù)據(jù)質量意識和數(shù)據(jù)思維。該過程重要用到辦法：流程再造、績效激勵等。（5）控制階段(C階段）。固化數(shù)據(jù)原則，優(yōu)化數(shù)據(jù)管理流程，并通過數(shù)據(jù)管理和監(jiān)控手段，確保流程改善成果，提高數(shù)據(jù)質量。重要辦法有：原則化、程序化、制度化等。4、數(shù)據(jù)質量監(jiān)控數(shù)據(jù)質量監(jiān)控能夠分為數(shù)據(jù)質量的事前防止控制、事中過程控制和事后監(jiān)督控制：事前防止控制建立數(shù)據(jù)原則化模型，對每個數(shù)據(jù)元素的業(yè)務描述、數(shù)據(jù)構造、業(yè)務規(guī)則、質量規(guī)則、管理規(guī)則、采集規(guī)則進行清晰的定義，以上的數(shù)據(jù)質量的校驗規(guī)則、采集規(guī)則本身也是一種數(shù)據(jù)，在元數(shù)據(jù)中定義。面對龐大的數(shù)據(jù)種類和構造，如果沒有元數(shù)據(jù)來描述這些數(shù)據(jù)，使用者無法精確地獲取所需信息。正是通過元數(shù)據(jù)，使得數(shù)據(jù)才能夠被理解、使用，才會產(chǎn)生價值。構建數(shù)據(jù)分類和編碼體系，形成公司數(shù)據(jù)資源目錄，讓顧客能夠輕松地查找和定位到有關的數(shù)據(jù)。實踐告訴我們做好元數(shù)據(jù)管理，是防止數(shù)據(jù)質量問題的基礎。數(shù)據(jù)質量問題的防止控制最有效的辦法就是找出發(fā)生數(shù)據(jù)質量問題的根本因素并采用有關的方略進行解決。1）擬定根本因素：擬定引發(fā)數(shù)據(jù)質量問題的有關因素，并分辨它們的優(yōu)先次序，以及為解決這些問題形成具體的建議。2）制訂和實施改善方案：最后擬定有關行動的具體建議和方法，基于這些建議制訂并且執(zhí)行提高方案，防止將來數(shù)據(jù)質量問題的發(fā)生。事中過程控制事中數(shù)據(jù)質量的控制，即在數(shù)據(jù)的維護和使用過程中去監(jiān)控和解決數(shù)據(jù)質量。通過建立數(shù)據(jù)質量的流程化控制體系，對數(shù)據(jù)的新建、變更、采集、加工、裝載、應用等各個環(huán)節(jié)進行流程化控制。數(shù)據(jù)質量的過程控制，要做好兩個強化：（1）強化數(shù)據(jù)的原則化生產(chǎn)，從數(shù)據(jù)的源頭控制好數(shù)據(jù)質量，該過程能夠采用系統(tǒng)自動化校驗和人工干預審核相結合的方式進行管理，數(shù)據(jù)的新增和變更首先通過系統(tǒng)進行數(shù)據(jù)校驗，對于不符合質量規(guī)則的數(shù)據(jù)不允許保持，另首先采集流程驅動的數(shù)據(jù)管理模式，數(shù)據(jù)的新增和變更操作都需要人工進行審核，只有審核通過才干生效。（2）強化數(shù)據(jù)質量預警機制，對于數(shù)據(jù)質量邊界含糊的數(shù)據(jù)采用數(shù)據(jù)質量預警機制。數(shù)據(jù)預警機制是對數(shù)據(jù)相似性和數(shù)據(jù)關聯(lián)性指標的重要控制辦法。針看待管理的數(shù)據(jù)元素，配備數(shù)據(jù)相似性算法或數(shù)據(jù)關聯(lián)性算法，在數(shù)據(jù)新增、變更、解決、應用等環(huán)節(jié)調用預置的數(shù)據(jù)質量算法，進行相識度或關聯(lián)性分析，并給出數(shù)據(jù)分析的成果。數(shù)據(jù)預警機制慣用在業(yè)務活動的交易風險控制等場景。事后監(jiān)督控制是不是我們最佳了事前防止控制和事中過程控制，就不會再有數(shù)據(jù)質量問題的發(fā)生了？答案顯然與否認的。而事實上，不管我們做了多少防止方法、多嚴格的過程控制，總是尚有數(shù)據(jù)質量問題的“漏網(wǎng)之魚”，你會發(fā)現(xiàn)只要是人為干預的過程，總會存在數(shù)據(jù)質量的問題。數(shù)據(jù)質量問題一旦產(chǎn)生就已經(jīng)是“木已成舟”，為了避免或減低其對業(yè)務的影響，我們需要及時的發(fā)現(xiàn)它。這里，數(shù)據(jù)質量的事后監(jiān)督控制就尤為重要了。定時開展數(shù)據(jù)質量的檢查和清洗工作應作為公司數(shù)據(jù)質量治理的常態(tài)工作來抓。1）設立數(shù)據(jù)質量規(guī)則?；跀?shù)據(jù)的元模型配備數(shù)據(jù)質量規(guī)則，即針對不同的數(shù)據(jù)對象，配備對應的數(shù)據(jù)質量指標，不限于：數(shù)據(jù)唯一性、數(shù)據(jù)精確性、數(shù)據(jù)完整性、數(shù)據(jù)一致性、數(shù)據(jù)關聯(lián)性、數(shù)據(jù)及時性等。2）設立數(shù)據(jù)檢查任務。設立成手動執(zhí)行或定時自動執(zhí)行的系統(tǒng)任務，通過執(zhí)行檢查任務對存量數(shù)據(jù)進行檢查，形成數(shù)據(jù)質量問題清單。3）出具數(shù)據(jù)質量問題報告。根據(jù)數(shù)據(jù)質量問題清單匯總形成數(shù)據(jù)質量報告，數(shù)據(jù)質量報告支持查詢、下載等操作。4）制訂和實施數(shù)據(jù)質量改善方案，進行數(shù)據(jù)質量問題的解決。5）評定與考核。通過定時對系統(tǒng)開展全方面的數(shù)據(jù)質量狀況評定，從問題率、解決率、解決時效等方面建立評價指標進行整治評定，根據(jù)整治優(yōu)化成果，進行適宜的績效考核。筆者觀點：數(shù)據(jù)治理的“常態(tài)化”才是數(shù)據(jù)質量問題的最佳解決方式，而要實現(xiàn)常態(tài)化治理就需要變化原來的公司組織形式、管理流程、轉變觀念，以適應這種變化。數(shù)據(jù)治理的“常態(tài)化”要經(jīng)得起折騰，因此千萬不能老做些重新發(fā)明輪子的亊情！5、數(shù)據(jù)全周期管理數(shù)據(jù)的生命周期從數(shù)據(jù)規(guī)劃開始，中間是一種涉及設計、創(chuàng)立、解決、布署、應用、監(jiān)控、存檔、銷毀這幾個階段并不停循環(huán)的過程。公司的數(shù)據(jù)質量管理應貫穿數(shù)據(jù)生命周期的全過程，覆蓋數(shù)據(jù)原則的規(guī)劃設計、數(shù)據(jù)的建模、數(shù)據(jù)質量的監(jiān)控、數(shù)據(jù)問題診療、數(shù)據(jù)清洗、優(yōu)化完善等方面。（1）數(shù)據(jù)規(guī)劃。從公司戰(zhàn)略的角度