數(shù)據(jù)質(zhì)量管理淺談

1、數(shù)據(jù)質(zhì)量管理淺談引言數(shù)據(jù)和信息是21世紀的經(jīng)濟命脈。在信息時代，數(shù)據(jù)被認為是一項重要的企業(yè)資產(chǎn)。那么有了數(shù)據(jù)是不是就可以直接轉(zhuǎn)換成價值了呢？答案是否定的。企業(yè)需要對數(shù)據(jù)進行提煉和加工，最終形成需要的信息，才能用于支持日常的經(jīng)營與決策。數(shù)據(jù)經(jīng)過加工形成的信息是否客觀地反映了企業(yè)的真實情況，這又取決于另外一項東西一一數(shù)據(jù)質(zhì)量。金融企業(yè)具有與傳統(tǒng)企業(yè)不一樣的特征。它需要每日，甚至每時每刻對各類經(jīng)營指標進行監(jiān)控和計算，這就需要有更高的數(shù)據(jù)準確性和及時性進行支撐。因此它對數(shù)據(jù)質(zhì)量的敏感度、依賴度比傳統(tǒng)企業(yè)更高。證券行業(yè)作為金融行業(yè)的重要組成部分，數(shù)據(jù)質(zhì)量的重要性不言而喻。那么證券公司應(yīng)該如何應(yīng)對數(shù)據(jù)質(zhì)量

2、問題？本文將簡要介紹什么是數(shù)據(jù)、什么是數(shù)據(jù)質(zhì)量、常見的數(shù)據(jù)質(zhì)量評估維度、證券公司如何應(yīng)對數(shù)據(jù)質(zhì)量問題等內(nèi)容。什么是數(shù)據(jù)數(shù)據(jù)是指對客觀事件進行記錄并可以鑒別的符號，是對客觀事物的性質(zhì)、狀態(tài)以及相互關(guān)系等進行記載的物理符號或這些物理符號的組合。它是可識別的、抽象的符號。它不僅指狹義上的數(shù)字，還可以是具有一定意義的文字、字母、數(shù)字符號的組合、圖形、圖像、視頻、音頻等，也是客觀事物的屬性、數(shù)量、位置及其相互關(guān)系的抽象表示。例如，“0、1、2、”、“陰、雨、下降、氣溫”“學(xué)生的檔案記錄、貨物的運輸情況”等都是數(shù)據(jù)。數(shù)據(jù)經(jīng)過加工后就成為。本文所談的數(shù)據(jù)主要指存在于IT系統(tǒng)中的，以計算機存儲設(shè)備為載體的信息

3、集合。什么是數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量是描述數(shù)據(jù)價值含量的指標。就像鐵礦石的質(zhì)量，礦石的質(zhì)量高，則煉出來的鋼材就會多；反之，礦石的質(zhì)量低，不但練出來的鋼材少了，同時也增加了提煉的成本。常見的數(shù)據(jù)質(zhì)量評估維度1 .完整性用來描述信息的完整程度。例如：某公司的人力資源系統(tǒng)中有100名員工信息，其中有50個員工中沒有記載聯(lián)系電話，這說明該公司人力資源系統(tǒng)的客戶聯(lián)系電話信息存在完整性問題。2 .準確性用來描述數(shù)據(jù)是否與其對應(yīng)的客觀實體的特征相一致（需要一個確定的和可訪問的權(quán)威參考源）。例如：某公司的人力資源系統(tǒng)中記錄了員工A的聯(lián)系方式為12345,然而該員工真實的聯(lián)系方式是56789,這說明系統(tǒng)中記載的員工A的

4、聯(lián)系方式是不準確的，存在準確性問題。3 .唯一性用來描述數(shù)據(jù)是否存在重復(fù)記錄，沒有實體多余出現(xiàn)一次。例如：全國公安聯(lián)網(wǎng)核查系統(tǒng)中，有兩個公民的身份證號碼完全一樣，這就說明該系統(tǒng)的身份證號碼信息存在唯一性問題。4 .有效性用來描述數(shù)據(jù)是否滿足用戶定義的條件。通常從命名、數(shù)據(jù)類型、長度、值域、取值范圍、內(nèi)容規(guī)范等方面進行約束。例如：某銀行的核心系統(tǒng)中，客戶A的借記卡余額為-100元，這種現(xiàn)象違反了銀行的業(yè)務(wù)規(guī)則，這說明該銀行的核心系統(tǒng)中存在數(shù)據(jù)有效性問。5 .一致性用來描述同一信息主體在不同的數(shù)據(jù)集中信息屬性是否相同，各實體、屬性是否符合一致性約束關(guān)系。例如：某銀行在核心系統(tǒng)中記錄的客戶A的性別是

5、“男”，而在信貸系統(tǒng)中客戶A的性別卻是“女”，這說明該銀行的這兩個系統(tǒng)存在數(shù)據(jù)一致性問題。6 .及時性用來描述從業(yè)務(wù)發(fā)生到對應(yīng)數(shù)據(jù)正確存儲并可正常查看的時間間隔程度，也叫數(shù)據(jù)的延時時長，數(shù)據(jù)在及時性上應(yīng)能盡可能貼合業(yè)務(wù)實際發(fā)生時點。例如：某證券公司于T日購買了1億國債A，但直到T+10日才看到財務(wù)系統(tǒng)中的持倉變化，這說明該證券公司的財務(wù)數(shù)據(jù)存在及時性問題。證券行業(yè)協(xié)會對數(shù)據(jù)質(zhì)量的要求2016年9月13日，中國證券業(yè)協(xié)會下發(fā)了“關(guān)于就證券公司全面風(fēng)險管理規(guī)范等四項自律規(guī)則修訂稿征求意見的通知。在證券公司全面風(fēng)險管理規(guī)范核心修訂內(nèi)容中明確強調(diào)了對數(shù)據(jù)質(zhì)量的要求。由此可見，監(jiān)管機構(gòu)和行業(yè)自律性組織已

6、逐漸意識到數(shù)據(jù)質(zhì)量問題已不是個別券商或機構(gòu)的問題，而是一個普遍性的行業(yè)問題，急待解決。證券公司如何應(yīng)對數(shù)據(jù)質(zhì)量問題首先，要提升數(shù)據(jù)質(zhì)量意識，這需要確保公司各部門中配備合適的人員了解數(shù)據(jù)質(zhì)量問題的存在。數(shù)據(jù)質(zhì)量意識包括能夠?qū)?shù)據(jù)質(zhì)量問題與其實質(zhì)影響聯(lián)系起來，同時傳達一種“數(shù)據(jù)質(zhì)量問題不能僅僅依靠技術(shù)手段解決”的理念。在初始階段，可以提供一些數(shù)據(jù)質(zhì)量核心概念的培訓(xùn)。其次，為數(shù)據(jù)質(zhì)量建立數(shù)據(jù)治理框架。數(shù)據(jù)治理是為數(shù)據(jù)管理的各方面貫徹責(zé)任制度的一系列流程和程序。由于數(shù)據(jù)質(zhì)量低下會導(dǎo)致不正確的信息。數(shù)據(jù)清洗也許可以帶來短期的、有一定代價的改善，但并不解決數(shù)據(jù)缺陷的根本問題。如果考慮為提升數(shù)據(jù)質(zhì)量提供較為

7、經(jīng)濟的解決方案，實施更加嚴格的數(shù)據(jù)質(zhì)量項目是必要的。在實際項目中，問題不僅僅包含校正數(shù)據(jù)，同時還包括管理數(shù)據(jù)創(chuàng)建、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)傳輸?shù)日麄€數(shù)據(jù)生命周期，從而確保生成的信息滿足風(fēng)險數(shù)據(jù)消費者的需求。將數(shù)據(jù)質(zhì)量管理和質(zhì)量提升等流程制度化，取決于識別風(fēng)險管理工作對高質(zhì)量數(shù)據(jù)的需求和確定如何度量、監(jiān)控和報告數(shù)據(jù)質(zhì)量的最佳方式。在發(fā)現(xiàn)數(shù)據(jù)處理過程中的問題之后，需要通知相應(yīng)的數(shù)據(jù)管理專員采取校正措施以便解決緊急問題，同時，需要采取措施消除問題的根源。數(shù)據(jù)質(zhì)量管理是一個持續(xù)的過程，為滿足風(fēng)險管理需求的數(shù)據(jù)質(zhì)量標準指定規(guī)格參數(shù)，并且保障數(shù)據(jù)質(zhì)量能夠滿足這些標準。數(shù)據(jù)質(zhì)量管理包括數(shù)據(jù)質(zhì)量分析、識別數(shù)據(jù)異常和定義

8、風(fēng)險數(shù)據(jù)質(zhì)量需求，還包括在必要的時候?qū)σ讯x的數(shù)據(jù)質(zhì)量規(guī)則進行合規(guī)性檢查和監(jiān)控的流程，以及數(shù)據(jù)解析、標準化、清洗和整合。最后，數(shù)據(jù)質(zhì)量管理還包括問題追蹤，從而對已定義的數(shù)據(jù)質(zhì)量服務(wù)水平協(xié)議的合規(guī)性進行監(jiān)控。數(shù)據(jù)質(zhì)量管理的一種通用方法是戴明質(zhì)量環(huán)，戴明(Deming,)是對質(zhì)量管理的發(fā)展產(chǎn)生巨大影響的大師之一，他提出了被大家所知的“計劃-實施-檢查-行動”用于解決問題的模型，該模型對數(shù)據(jù)質(zhì)量管理同樣有效，它包括：指定數(shù)據(jù)質(zhì)量現(xiàn)狀評估計劃和識別數(shù)據(jù)質(zhì)量度量關(guān)鍵指標。實施度量和提升數(shù)據(jù)質(zhì)量的流程。監(jiān)控和度量根據(jù)業(yè)務(wù)預(yù)期定義的數(shù)據(jù)質(zhì)量水平。執(zhí)行解決數(shù)據(jù)質(zhì)量問題的行動方案，以提升數(shù)據(jù)質(zhì)量從而更好的滿足業(yè)

9、務(wù)預(yù)期。一個數(shù)據(jù)質(zhì)量管理周期的開始包括識別數(shù)據(jù)質(zhì)量問題，這些問題是達成業(yè)務(wù)目標的關(guān)鍵問題，包括定義數(shù)據(jù)質(zhì)量的業(yè)務(wù)需求、識別數(shù)據(jù)質(zhì)量關(guān)鍵維度以及定義保障高水平數(shù)據(jù)質(zhì)量的關(guān)鍵業(yè)務(wù)規(guī)則。在計劃階段，數(shù)據(jù)質(zhì)量團隊評估已知的數(shù)據(jù)問題，包括確定問題的代價和影響以及評估處理該問題的可選方案。在實施階段，剖析數(shù)據(jù)并執(zhí)行檢查和監(jiān)控，識別出現(xiàn)的數(shù)據(jù)質(zhì)量問題。在此階段，數(shù)據(jù)質(zhì)量團隊可以修復(fù)引致錯誤的流程中存在的缺陷，或者作為一種應(yīng)急辦法對下游錯誤進行校正。如果不能在錯誤的源頭進行校正，那么就在數(shù)據(jù)流中盡早校正該錯誤(如：可在風(fēng)險數(shù)據(jù)集市中進行校正)。在監(jiān)控階段，根據(jù)已定義的業(yè)務(wù)規(guī)則對數(shù)據(jù)質(zhì)量水平進行動態(tài)監(jiān)控。只要數(shù)

10、據(jù)質(zhì)量滿足可接受度閾值，流程就是受控的，數(shù)據(jù)質(zhì)量水平就可以滿足業(yè)務(wù)需求。然而，如果數(shù)據(jù)質(zhì)量下降到可接受度閾值之下，需要通知數(shù)據(jù)管理專員以便他們在下一階段采取行動。在行動階段，主要是處理并解決出現(xiàn)的數(shù)據(jù)質(zhì)量問題。當(dāng)出現(xiàn)新的數(shù)據(jù)集或?qū)σ延械臄?shù)據(jù)集提出新的數(shù)據(jù)質(zhì)量需求時，一個新的數(shù)據(jù)質(zhì)量管理周期便開始了。最后，作為金融企業(yè)，應(yīng)當(dāng)建立數(shù)據(jù)質(zhì)量管理委員會或數(shù)據(jù)治理委員會，與各級數(shù)據(jù)治理角色建立匯報層級關(guān)系。數(shù)據(jù)管理專員負責(zé)與業(yè)務(wù)用戶、業(yè)務(wù)條線甚至特定應(yīng)用建立聯(lián)席，他們持續(xù)地提倡數(shù)據(jù)質(zhì)量意識并監(jiān)控其所負責(zé)的數(shù)據(jù)資產(chǎn)。結(jié)語數(shù)據(jù)質(zhì)量管理是循環(huán)管理過程，其終極目標是通過可靠的數(shù)據(jù)提升數(shù)據(jù)在使用中的價值，免除了員工日常處理數(shù)據(jù)問題的附加工作量，提高了工作效率，更重要