大數(shù)據(jù)治理概述

1、 大數(shù)據(jù)治理概述 引言：股份制改革對我國銀行業(yè)來說只是一個開始，企業(yè)在風險管理、創(chuàng)造價值等方面還有很長的路要走。風險管理要求提供精準的數(shù)據(jù)模型、創(chuàng)造價值要求充分銀行數(shù)據(jù)資產，這是數(shù)據(jù)治理的外部推動因素。此外，隨著第三次工業(yè)革命的到來，銀行業(yè)也需要進入定制化時代，以更低的成本，生產多樣化的金融產品，從而滿足不同顧客的不同需求。對數(shù)據(jù)本身而言，業(yè)務發(fā)展加快了數(shù)據(jù)膨脹的速度，也帶來了數(shù)據(jù)不一致等問題，業(yè)務部門的頻繁增加和剝離同樣會對數(shù)據(jù)治理提出挑戰(zhàn)。這些日益復雜的內外因決定了我國銀行業(yè)對數(shù)據(jù)治理的超高標準要求，而目前對應的經(jīng)驗能力卻稍顯薄弱。數(shù)據(jù)治理不僅需要完善的保障機制，還需要理解具體的治理內容，

2、比如我們的數(shù)據(jù)該怎么進行規(guī)范，元數(shù)據(jù)又該怎么來管理，每個過程需要哪些系統(tǒng)或者工具來進行配合呢？這些問題都是數(shù)據(jù)治理過程中最實際的問題，也是最復雜的問題，今天我們將從數(shù)據(jù)治理的各個核心領域來解答這些問題。銀行數(shù)據(jù)治理核心領域每個數(shù)據(jù)治理的領域都可作為一個獨立方向進行研究治理，目前總結的數(shù)據(jù)治理領域包括但不限于一下內容：數(shù)據(jù)標準、元數(shù)據(jù)、數(shù)據(jù)模型、數(shù)據(jù)分布、數(shù)據(jù)存儲、數(shù)據(jù)交換、數(shù)據(jù)生命周期管理、數(shù)據(jù)質量、數(shù)據(jù)安全以及數(shù)據(jù)共享服務。同時各領域之間需要有機結合，如數(shù)據(jù)標準、元數(shù)據(jù)、數(shù)據(jù)質量等幾個領域相互協(xié)同和依賴。通過數(shù)據(jù)標準的管理，可以提升數(shù)據(jù)合法性、合規(guī)性，進一步提升數(shù)據(jù)質量，減少數(shù)據(jù)生產問題；在

3、元數(shù)據(jù)管理的基礎上，可進行數(shù)據(jù)生命周期管理，有效控制在線數(shù)據(jù)規(guī)模，提高生產數(shù)據(jù)訪問效率，減少系統(tǒng)資源浪費；通過元數(shù)據(jù)和數(shù)據(jù)模型管理，將表、文件等數(shù)據(jù)資源按主題進行分類，可明確當事人、產品、協(xié)議等相關數(shù)據(jù)的主數(shù)據(jù)源歸屬、數(shù)據(jù)分布情況，有效實施數(shù)據(jù)分布的規(guī)劃和治理。數(shù)據(jù)治理領域是隨著銀行業(yè)務發(fā)展而不斷變化的，領域之間的關系也需要不斷深入挖掘和分布，最終形成一個相互協(xié)同與驗證的領域網(wǎng)，全方位的提升數(shù)據(jù)治理成效。數(shù)據(jù)治理核心領域1.數(shù)據(jù)模型數(shù)據(jù)模型是數(shù)據(jù)治理中的重要部分，合適、合理、合規(guī)的數(shù)據(jù)模型，能夠有效提高數(shù)據(jù)的合理分布和使用，它包括概念模型、邏輯數(shù)據(jù)模型和物理數(shù)據(jù)模型，是數(shù)據(jù)治理的關鍵、重點。數(shù)

4、據(jù)模型包含三個部分，數(shù)據(jù)結構、數(shù)據(jù)操作、數(shù)據(jù)約束。數(shù)據(jù)結構。數(shù)據(jù)模型中的數(shù)據(jù)結構主要用來描述數(shù)據(jù)的類型、內容、性質以及數(shù)據(jù)間的聯(lián)系等。數(shù)據(jù)結構是數(shù)據(jù)模型的基礎，數(shù)據(jù)操作和數(shù)據(jù)約束都基本是建立在數(shù)據(jù)結構的之上的。不同的數(shù)據(jù)結構有不同的操作和約束。數(shù)據(jù)操作。數(shù)據(jù)模型中的數(shù)據(jù)操作主要用來描述在相應的數(shù)據(jù)結構上的操作類型和操作方式。數(shù)據(jù)約束。數(shù)據(jù)模型中的數(shù)據(jù)約束主要用來描述數(shù)據(jù)結構內數(shù)據(jù)間的語法、詞義聯(lián)系、他們之間的制約和依存關系，以及數(shù)據(jù)動態(tài)變化的規(guī)則，以保證數(shù)據(jù)的正確、有效和相容。2.元數(shù)據(jù)管理元數(shù)據(jù)分為業(yè)務元數(shù)據(jù)、技術元數(shù)據(jù)和操作元數(shù)據(jù)，三者之間關系緊密。業(yè)務元數(shù)據(jù)指導技術元數(shù)據(jù)，技術元數(shù)據(jù)以業(yè)

5、務元數(shù)據(jù)為參考進行設計，操作元數(shù)據(jù)為兩者的管理提供支撐。業(yè)務元數(shù)據(jù)。業(yè)務元數(shù)據(jù)是定義和業(yè)務相關數(shù)據(jù)的信息，用于輔助定位、理解及訪問義烏信息。業(yè)務元數(shù)據(jù)的范圍主要包括：業(yè)務指標、業(yè)務規(guī)則、數(shù)據(jù)質量規(guī)則、專業(yè)術語、數(shù)據(jù)標準、概念數(shù)據(jù)模型、實體/屬性、邏輯數(shù)據(jù)模型等。技術元數(shù)據(jù)。它可以分成結構性技術元數(shù)據(jù)和關聯(lián)性技術元數(shù)據(jù)。結構性技術元數(shù)據(jù)提供了在信息技術的基礎架構中對數(shù)據(jù)的說明，如數(shù)據(jù)的存放位置、數(shù)據(jù)的存儲類型、數(shù)據(jù)的血緣關系等。關聯(lián)性技術元數(shù)據(jù)描述了數(shù)據(jù)之間的關聯(lián)和數(shù)據(jù)在信息技術環(huán)境之中的流轉情況。技術元數(shù)據(jù)的范圍主要包括：技術規(guī)則（計算/統(tǒng)計/轉換/匯總）、數(shù)據(jù)質量規(guī)則技術描述、字段、衍生字段

6、、事實/維度、統(tǒng)計指標、表/視圖/文件/接口、報表/多維分析、數(shù)據(jù)庫/視圖組/文件組/接口組、源代碼/程序、系統(tǒng)、軟件、硬件等。技術元數(shù)據(jù)一般以已有的業(yè)務元數(shù)據(jù)作為參考設計的。操作元數(shù)據(jù)。操作元數(shù)據(jù)主要指與元數(shù)據(jù)管理相關的組織、崗位、職責、流程，以及系統(tǒng)日常運行產生的操作數(shù)據(jù)。操作元數(shù)據(jù)管理的內容主要包括：與元數(shù)據(jù)管理相關的組織、崗位、職責、流程、項目、版本，以及系統(tǒng)生產運行中的操作記錄，如運行記錄、應用程序、運行作業(yè)。很多初學者，對大數(shù)據(jù)的概念都是模糊不清的，大數(shù)據(jù)是什么，能做什么，學的時候，該按照什么線路去學習，學完往哪方面發(fā)展，想深入了解，想學習的同學歡迎加入大數(shù)據(jù)學習扣裙：805+12

7、7+855，有大量干貨（零基礎以及進階的經(jīng)典實戰(zhàn)）分享給大家，并且有清華大學畢業(yè)的資深大數(shù)據(jù)講師給大家免費授課，給大家分享目前國內最完整的大數(shù)據(jù)高端實戰(zhàn)實用學習流程體系3.數(shù)據(jù)標準數(shù)據(jù)標準是銀行建立的一套符合自身實際，涵蓋定義、操作、應用多層次數(shù)據(jù)的標準化體系。它包括基礎標準和指標標準（或稱應用標準）。與數(shù)據(jù)治理其他核心領域具有一定的交叉，比如元數(shù)據(jù)標準、數(shù)據(jù)交換和傳輸標準、數(shù)據(jù)質量標準等。商業(yè)銀行的數(shù)據(jù)標準一般以業(yè)界的標準為基礎，如國家標準、監(jiān)管機構（如國家統(tǒng)計局、中國人民銀行、工信部）制定的標準，結合商業(yè)銀行本身的實際情況對數(shù)據(jù)進行規(guī)范化，一般會包括格式、編碼規(guī)則、字典值等內容。良好的數(shù)據(jù)

8、標準體系有助于商業(yè)銀行數(shù)據(jù)的共享、交互和應用，可以減少不同系統(tǒng)間數(shù)據(jù)轉換的工作。數(shù)據(jù)標準的主要由業(yè)務定義、技術定義和管理信息三部分構成。數(shù)據(jù)標準的主體構成業(yè)務定義。業(yè)務定義主要是明確標準所屬的業(yè)務主題以及標準的業(yè)務概念，包括業(yè)務使用上的規(guī)則以及標準的相關來源等。對于代碼類標準，還會進一步明確編碼規(guī)則以及相關的代碼內容，以達到定義統(tǒng)一、口徑統(tǒng)一、名稱統(tǒng)一、參照統(tǒng)一以及來源統(tǒng)一的目的，進而形成一套一致、規(guī)范、開放和共享的業(yè)務標準數(shù)據(jù)。技術定義。技術定義是指描述數(shù)據(jù)類型、數(shù)據(jù)格式、數(shù)據(jù)長度以及來源系統(tǒng)等技術屬性，從而能夠對信息系統(tǒng)的建設和使用提供指導和約束。管理信息。管理信息是指明確標準的所有者、管

9、理人員、使用部門等內容，從而使數(shù)據(jù)標準的管理和維護工作有明確的責任主體，以保障數(shù)據(jù)標準能夠持續(xù)的進行更新和改進。4.數(shù)據(jù)質量管理數(shù)據(jù)質量管理已經(jīng)成為銀行數(shù)據(jù)治理的有機組成部分。高質量的數(shù)據(jù)是商業(yè)銀行進行分析決策、業(yè)務發(fā)展規(guī)劃的重要基礎，只有建立完整的數(shù)據(jù)質量體系，才能有效提升銀行數(shù)據(jù)整體質量，從而更好的為客戶服務，提供更為精準的決策分析數(shù)據(jù)。制度和規(guī)范。從技術層面上，應該完整全面的定義數(shù)據(jù)質量的評估維度，包括完整性、時效性等，按照已定義的維度，在系統(tǒng)建設的各個階段都應該根據(jù)標準進行數(shù)據(jù)質量檢測和規(guī)范，及時進行治理，避免事后的清洗工作。數(shù)據(jù)質量評價維度明確相應的管理流程。數(shù)據(jù)質量問題會發(fā)生在各個

10、階段，因此需要明確各個階段的數(shù)據(jù)質量管理流程。例如，在需求和設計階段就需要明確數(shù)據(jù)質量的規(guī)則定義，從而指導數(shù)據(jù)結構和程序邏輯的設計；在開發(fā)和測試階段則需要對前面提到的規(guī)則進行驗證，確保相應的規(guī)則能夠生效；最后在投產后要有相應的檢查，從而將數(shù)據(jù)質量問題盡可能消滅在萌芽狀態(tài)。數(shù)據(jù)質量管理措施，宜采用控制增量、消滅存量的策略，有效控制增量，不斷消除存量。商業(yè)銀行數(shù)據(jù)質量管理流程5.數(shù)據(jù)生命周期管理任何事物都具有一定的生命周期，數(shù)據(jù)也不例外。從數(shù)據(jù)的產生、加工、使用乃至消亡都應該有一個科學的管理辦法，將極少或者不再使用的數(shù)據(jù)從系統(tǒng)中剝離出來，并通過核實的存儲設備進行保留，不僅能夠提高系統(tǒng)的運行效率，更

11、好的服務客戶，還能大幅度減少因為數(shù)據(jù)長期保存帶來的儲存成本。數(shù)據(jù)生命周期一般包含在線階段、歸檔階段（有時還會進一步劃分為在線歸檔階段和離線歸檔階段）、銷毀階段三大階段，管理內容包括建立合理的數(shù)據(jù)類別，針對不同類別的數(shù)據(jù)制定各個階段的保留時間、存儲介質、清理規(guī)則和方式、注意事項等。數(shù)據(jù)生命周期中各參數(shù)間的關系從上圖數(shù)據(jù)生命周期中各參數(shù)間的關系中我們可以了解到，數(shù)據(jù)生命周期管理可以使得高價值數(shù)據(jù)的查詢效率大幅提升，而且高價格的存儲介質的采購量也可以減少很多；但是隨著數(shù)據(jù)的使用程度的下降，數(shù)據(jù)被逐漸歸檔，查詢時間也慢慢的變長；最后隨著數(shù)據(jù)的使用頻率和價值基本沒有了之后，就可以逐漸銷毀了。6. 數(shù)據(jù)分

12、布和存儲數(shù)據(jù)分布和存儲主要涵蓋了數(shù)據(jù)如何劃分和存儲，總行系統(tǒng)以及總分行數(shù)據(jù)如何分布，主數(shù)據(jù)及參考數(shù)據(jù)（也稱為副本數(shù)據(jù)或者輔數(shù)據(jù)）如何管理。只有對數(shù)據(jù)進行合理的分布和存儲，才能有效的提高數(shù)據(jù)的共享程度，才能盡可能的減少數(shù)據(jù)冗余帶來的存儲成本。通常情況下，綜合數(shù)據(jù)規(guī)模、使用頻率、使用特性、服務時效等因素，從存儲體系角度，可以將商業(yè)銀行的數(shù)據(jù)存儲劃分為四類存儲區(qū)域，即交易型數(shù)據(jù)區(qū)、集成型數(shù)據(jù)區(qū)、分析型數(shù)據(jù)區(qū)、歷史型數(shù)據(jù)區(qū)。1、交易型數(shù)據(jù)區(qū)。交易型數(shù)據(jù)區(qū)包括渠道接入、交互控制、業(yè)務處理、決策支持與管理等各類聯(lián)機應用數(shù)據(jù)；存儲客戶自助或與銀行操作人員在業(yè)務交互辦理過過程中產生的原始數(shù)據(jù)的存儲，包括業(yè)務處

13、理數(shù)據(jù)，內部管理數(shù)據(jù)和一些外部數(shù)據(jù)，其存儲的是當前狀態(tài)數(shù)據(jù)。2、集成型數(shù)據(jù)區(qū)。集成型數(shù)據(jù)區(qū)包括操作型數(shù)據(jù)（OLTP）和數(shù)據(jù)倉庫型數(shù)據(jù)（OLAP）。3、分析型數(shù)據(jù)區(qū)。分析型數(shù)據(jù)主要是用于決策支持與管理的各類集市應用的數(shù)據(jù)。為了對業(yè)務執(zhí)行情況進行深入分析，需要對原始數(shù)據(jù)進行進一步匯總統(tǒng)計分析，統(tǒng)計分析結果用于最終的決策展示，因此分析型數(shù)據(jù)區(qū)存儲了這些統(tǒng)計、分析模型結構的指標數(shù)據(jù)。4、歷史數(shù)據(jù)區(qū)。這里存儲了所有近線應用、歸檔應用、外部審計數(shù)據(jù)平臺應用等的數(shù)據(jù)，主要滿足各種歷史數(shù)據(jù)歸檔后的數(shù)據(jù)保管和數(shù)據(jù)查詢服務。數(shù)據(jù)存儲布局7.數(shù)據(jù)交換數(shù)據(jù)交換是銀行進行數(shù)據(jù)交互和共享的基礎，合理的數(shù)據(jù)交換體系有助于銀

14、行提高數(shù)據(jù)共享程度和數(shù)據(jù)流轉時效。一般商業(yè)銀行會對系統(tǒng)間數(shù)據(jù)的交換規(guī)則制定一些原則，比如對接口、文件的命名、內容進行明確，規(guī)范系統(tǒng)間、銀行系統(tǒng)與外部機構間的數(shù)據(jù)交換規(guī)則，指導數(shù)據(jù)交換工作有序進行。建立統(tǒng)一的數(shù)據(jù)交換系統(tǒng)，一方面可以提高數(shù)據(jù)共享的時效性，另一方面也可以精確掌握數(shù)據(jù)的流向。8.數(shù)據(jù)安全商業(yè)銀行的重要且敏感數(shù)據(jù)大部分集中在應用系統(tǒng)中，例如客戶的聯(lián)絡信息、資產信息等，如果不慎泄露，不僅給客戶帶來損失，也會給商業(yè)銀行帶來不利的聲譽影響，因此數(shù)據(jù)安全在數(shù)據(jù)管理和治理過程中是相當重要的。數(shù)據(jù)存儲安全。包括物理安全、系統(tǒng)安全存儲數(shù)據(jù)的安全，主要通過安全硬件的采購來保障數(shù)據(jù)存儲安全。數(shù)據(jù)傳輸安全

15、。包括數(shù)據(jù)的加密和數(shù)據(jù)網(wǎng)絡安全控制，主要通過專業(yè)加密軟件廠商進行規(guī)范設計和安裝。數(shù)據(jù)使用安全。需要加強從業(yè)務系統(tǒng)層面進行控制，防范非授權訪問和下載打印客戶數(shù)據(jù)信息；部署客戶端安全控制工具，建立完善的客戶端信息防泄漏機制，防范將客戶端上存儲的個人客戶信息非授權傳播；建立完善的數(shù)據(jù)安全管理體系，建立數(shù)據(jù)安全規(guī)范制度體系，組建數(shù)據(jù)安全管理組織機構，建立有效的數(shù)據(jù)安全審查機制；對于生產及研發(fā)測試過程中使用的各類敏感數(shù)據(jù)進行嚴密管理；嚴格與外單位合作中的個人客戶信息安全管理等。9.數(shù)據(jù)服務數(shù)據(jù)的管理和治理是為了更好的利用數(shù)據(jù)，是數(shù)據(jù)應用的基礎。銀行應該以數(shù)據(jù)為根本，以業(yè)務為導向，通過對大數(shù)據(jù)的集中、整合

16、、挖掘和共享，實現(xiàn)對多樣化、海量數(shù)據(jù)的快速處理及價值挖掘，利用大數(shù)據(jù)技術支持產品快速創(chuàng)新，提升以客戶為中心的精準營銷和差異化客戶服務能力，增強風險防控實時性、前瞻性和系統(tǒng)性，推動業(yè)務管理向信息化、精細化轉型，全面支持信息化銀行的建設。建立結構化數(shù)據(jù)處理分析平臺。數(shù)據(jù)倉庫建設能夠實現(xiàn)企業(yè)異構數(shù)據(jù)的集成，企業(yè)按照分析主題重組數(shù)據(jù)，建立面向全行的一致的信息視圖。下圖是一個典型的銀行數(shù)據(jù)倉庫服務體系：銀行典型的數(shù)據(jù)倉庫服務體系數(shù)據(jù)資產視圖。在建立了數(shù)據(jù)倉庫之后，需要建立統(tǒng)一的分析和可視化平臺，解決數(shù)據(jù)在哪里，數(shù)據(jù)怎么用的問題。一個典型的應用是建立全行統(tǒng)一客戶視圖，包含客戶信息統(tǒng)一視圖、客戶信息風險視圖

17、和網(wǎng)點業(yè)績視圖。數(shù)據(jù)資產視圖示例數(shù)據(jù)治理的展望數(shù)據(jù)治理不是一個臨時性的運動，從銀行業(yè)務發(fā)展、數(shù)據(jù)治理意識形成、數(shù)據(jù)治理體系運行的角度，需要一個長效機制來進行保證。在大數(shù)據(jù)時代，經(jīng)過數(shù)據(jù)治理的銀行數(shù)據(jù)可以發(fā)揮更大的作用。1利用大數(shù)據(jù)挖掘技術分析各類海量信息，發(fā)現(xiàn)市場熱點與需求，實現(xiàn)產品創(chuàng)新服務可以將大數(shù)據(jù)應用到產品生命周期，深入挖掘客戶需求，把握客戶痛點，推動產品創(chuàng)新。利用大數(shù)據(jù)技術對社交網(wǎng)絡信息、在線客戶評論、博客、呼叫中心服務工單、用戶體驗反饋等信息進行深度挖掘和分析，充分洞察客戶，分析客戶的情緒，了解客戶對產品的想法，獲知客戶需求的變化趨勢，從而對現(xiàn)有產品進行及時的調整和創(chuàng)新，事情貼近客戶

18、的生活場景和使用習慣?；诖髷?shù)據(jù)創(chuàng)新產品評價方法，為產品創(chuàng)新提供數(shù)據(jù)支撐。通過大數(shù)據(jù)分析，改變目前以規(guī)模、總量為主的業(yè)務評價方式，建立一整套完整的以質量、結構為主的全新的評價方式，以引導全行真正追求有質量、有效益的發(fā)展。2加強內外部信息聯(lián)動，重點利用外部信息提升銀行風險防控能力進一步加強與稅務、海關、法院、電力部門、水務部門、房產交易登記中心、環(huán)保部門以及第三方合作機構的數(shù)據(jù)互聯(lián)共享，有效拓寬信息來源渠道，深度挖掘整合系統(tǒng)內外客戶信息、關聯(lián)關系、交易行為、交易習慣、上下游交易對手、資金周轉頻率等數(shù)據(jù)信息，利用大數(shù)據(jù)技術查找與分析不同數(shù)據(jù)變量間的關聯(lián)關系，并建立相應的決策模型，提升銀行風險防控能力。在信用風險方面，可以結合外部數(shù)據(jù)，完善信用風險防范體系，基于可視化分析有效防控信用風險的傳導。引入大數(shù)據(jù)理念和技術，統(tǒng)一信用風險模型管理，構建覆蓋信用風險訓練、模型管理、日常預警、評分評級、客戶信用視圖以及業(yè)務聯(lián)動控制的信貸大數(shù)據(jù)平臺，建立多維度、全方位的縫隙愛你預警體系。在市場風險方面，基于市場信息有效預測市場變動，基于大數(shù)據(jù)處理技術提升海量金融數(shù)據(jù)交易的定價能力，構建定價估值引擎批量網(wǎng)