數(shù)據(jù)生命周期管理

1、建構(gòu)數(shù)據(jù)生命周期管理理論和實踐、2012.9、目錄、一、工行數(shù)據(jù)管理總體情況二、數(shù)據(jù)生命周期管理理論和方法三、工行數(shù)據(jù)生命周期管理實踐、工行數(shù)據(jù)管理指導(dǎo)思想、合理的數(shù)據(jù)管理組織架構(gòu)和數(shù)據(jù)結(jié)構(gòu)體系，進行數(shù)據(jù)管理，促進各應(yīng)用系統(tǒng)信息的高度共享， 為一盞茶的經(jīng)營決策提供科學(xué)依據(jù)進行信息標(biāo)準(zhǔn)化管理，提高數(shù)據(jù)的有效性、整合性和規(guī)范性進行數(shù)據(jù)質(zhì)量管理，確保數(shù)據(jù)的精準(zhǔn)性進行數(shù)據(jù)生命周期管理，實現(xiàn)數(shù)據(jù)從發(fā)生到廢棄的全過程規(guī)范化管理，進行信息安全管理， 確保信息不泄漏的指標(biāo)模型層、管理操作層、交易信息、顧客信息、管理信息、外部信息、數(shù)據(jù)倉庫、風(fēng)險、數(shù)據(jù)指標(biāo)、性能等工商管理系統(tǒng)、營銷學(xué)等業(yè)務(wù)管理系統(tǒng)、信息獲取、信

2、息集成、信息加工、信息提示高度分析用戶(數(shù)據(jù)挖掘)、 模型、用戶統(tǒng)一操作界面、資本管理、操作風(fēng)險管理等風(fēng)險管理體系、靈活查詢、一、工業(yè)行數(shù)據(jù)管理的整體狀況、數(shù)據(jù)收集層收集的數(shù)據(jù)主要選擇包括顧客信息、交易信息、管理信息和外部信息。 客戶信息、交易信息主要從客戶和自營業(yè)務(wù)系統(tǒng)收集，包括存款結(jié)算基本業(yè)務(wù)、銀行卡業(yè)務(wù)、代理和投資業(yè)務(wù)、金融市場業(yè)務(wù)、信用管理和單證業(yè)務(wù)、管理業(yè)務(wù)、投資業(yè)務(wù)等系統(tǒng)。 管理信息主要收集自內(nèi)部管理系統(tǒng)，包括信息平臺、制度園地、人員管理、分公司管理、辦公室管理等系統(tǒng)。 外部信息主要包括從監(jiān)管機構(gòu)提供的信息(例如，特征信息、風(fēng)險呈現(xiàn)信息等)、行業(yè)信息、外部估計信息等。 一、工業(yè)行數(shù)

3、據(jù)管理的總體情況、數(shù)據(jù)基礎(chǔ)層(制作數(shù)據(jù)倉庫和數(shù)據(jù)集市)為了科學(xué)地分析和預(yù)測客戶的行為和業(yè)務(wù)管理，需要制作收集各種業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)倉庫，針對各種主題進行數(shù)據(jù)整合和挖掘分析，營銷學(xué)和工商銀行在2002年完成數(shù)據(jù)的大集中后認(rèn)識到數(shù)據(jù)在銀行工商管理中發(fā)揮著重要的作用，在姜建清會長等的引導(dǎo)者的關(guān)注下，著手?jǐn)?shù)據(jù)倉庫的建設(shè)。 十年來，工商銀行數(shù)據(jù)倉庫建設(shè)穩(wěn)定，成為集中存儲各類業(yè)務(wù)數(shù)據(jù)的重要載體和重要基礎(chǔ)平臺。 一、工行數(shù)據(jù)管理總體情況、指標(biāo)模型層指標(biāo)模型層主要包括指標(biāo)和模型兩個指標(biāo)部分，目前主要建立了面向績效的全行指標(biāo)庫，包括總銀行、分理處的指標(biāo)需求，分理處自行客制化特色指標(biāo)。 一、工業(yè)行數(shù)據(jù)管理的整體情況、

4、指標(biāo)模型層(模型部分)模型是實現(xiàn)各類共同指標(biāo)成熟的核算方法，主要規(guī)范統(tǒng)一各類指標(biāo)的核算，達到方法共享和提高數(shù)據(jù)完整性的目的。 當(dāng)前實現(xiàn)的模型包括客戶評估模型產(chǎn)品定價模型績效評價模型風(fēng)險度量模型財務(wù)預(yù)算模型。 的雙曲馀弦值。 的雙曲馀弦值。工業(yè)行數(shù)據(jù)管理總體情況、管理操作層主要面向顧客服務(wù)和內(nèi)部工商管理，包括客戶營銷學(xué)、資本管理、資產(chǎn)和負債管理、信用風(fēng)險管理、操作風(fēng)險管理、市場風(fēng)險管理、業(yè)績評價管理、內(nèi)部審計和合規(guī)管理等。 管理操作層的基礎(chǔ)數(shù)據(jù)主要來自各業(yè)務(wù)系統(tǒng)，一些統(tǒng)一的修訂指標(biāo)類數(shù)據(jù)由數(shù)據(jù)倉庫加工提供。 為滿足日常工商管理，我們提供了一個以固定報表通訊端口為中心的綜合報表通訊端口集成平臺。

5、提供基于數(shù)據(jù)倉庫的靈活查詢功能，以便于對突發(fā)和臨時查詢的需求。為規(guī)范對外數(shù)據(jù)提交，建立了統(tǒng)一的對外數(shù)據(jù)提交平臺。 一、工行數(shù)據(jù)管理的總體情況，一、工行數(shù)據(jù)管理的總體情況，信息標(biāo)準(zhǔn)化管理工行信息標(biāo)準(zhǔn)化工程工行從2010年開始星空衛(wèi)視工行信息標(biāo)準(zhǔn)化工程，確立“定義統(tǒng)一、口徑統(tǒng)一、名稱統(tǒng)一、出處統(tǒng)一、參照統(tǒng)一”的工行信息標(biāo)準(zhǔn)，制定各應(yīng)用系統(tǒng)的內(nèi)部以及系統(tǒng)，目前700多個基礎(chǔ)信息標(biāo)準(zhǔn)，包括、工行數(shù)據(jù)管理總體情況、信息標(biāo)準(zhǔn)化建設(shè)總體目標(biāo)、總體目標(biāo)：通過統(tǒng)一信息標(biāo)準(zhǔn)制定、公布使用、制度約束、系統(tǒng)控制等手段，實現(xiàn)工行信息的完全性、有效性、完整性、規(guī)律性、開放性和共性管理，提高工行信息化水平。 4、對于來源統(tǒng)

6、一、標(biāo)準(zhǔn)化的數(shù)據(jù)，其來源只有一個，2，對于有口徑統(tǒng)一、數(shù)量表現(xiàn)的信息標(biāo)準(zhǔn)，修正計算口徑統(tǒng)一、3，名稱統(tǒng)一，各信息項目應(yīng)采用統(tǒng)一規(guī)范的命名、統(tǒng)一，同一信息項目的業(yè)務(wù)意義的工行標(biāo)準(zhǔn)與行外各種標(biāo)準(zhǔn)之間的聯(lián)系不能建立明確的對應(yīng)關(guān)系一、工行數(shù)據(jù)管理總體情況、信息標(biāo)準(zhǔn)化建設(shè)原則信息標(biāo)準(zhǔn)化是“統(tǒng)一語言、統(tǒng)一修改量”的過程，遵循“五統(tǒng)一”原則、一、工行數(shù)據(jù)管理總體情況、數(shù)據(jù)質(zhì)量管理、三、規(guī)范管理完善制度，二、促進問題管理引入檢測規(guī)則，實行問題數(shù)據(jù)的發(fā)現(xiàn)、發(fā)布、管理、監(jiān)督、評價的閉環(huán)管理1、從源頭管理到數(shù)據(jù)錄入，從內(nèi)部處理開始，把好的數(shù)據(jù)質(zhì)量做“入口”。 一、工業(yè)行數(shù)據(jù)管理的總體情況、數(shù)據(jù)質(zhì)量管理流程、數(shù)據(jù)安全

7、管理為了加強數(shù)據(jù)安全管理，工業(yè)行制定了數(shù)據(jù)管理方法和數(shù)據(jù)管理方法的實施細則，明確了各個環(huán)節(jié)的數(shù)據(jù)安全管理要求，采用了幾種技術(shù)手段進行了硬件控制。 數(shù)據(jù)保密工作的主要管理要求：使用生產(chǎn)數(shù)據(jù)需要申請和批準(zhǔn)，在開發(fā)測試環(huán)境中使用生產(chǎn)數(shù)據(jù)需要數(shù)據(jù)變形。 傳輸敏感信息的生產(chǎn)數(shù)據(jù)需要加密法處理、專用郵箱和使用專用FTP服務(wù)的傳輸。 嚴(yán)格授權(quán)生產(chǎn)用戶，并防止生產(chǎn)數(shù)據(jù)非授權(quán)訪問。 建立和實施嚴(yán)格的生產(chǎn)數(shù)據(jù)應(yīng)用備份反應(yīng)歷程。 對數(shù)據(jù)保存媒體進行分類登記，及時進行清理和保存。一、工行數(shù)據(jù)管理總體情況、目錄、一、工行數(shù)據(jù)管理總體情況二、數(shù)據(jù)生命周期管理理論與方法三、工行數(shù)據(jù)生命周期管理實踐二、數(shù)據(jù)生命周期管理理論與

8、方法、背景情況早期銀行的金融產(chǎn)品相對較少，主要以存款庫存為主，數(shù)據(jù)省(市)， 由于沒有數(shù)據(jù)集中分析挖掘的需求，日常的處理對象主要是短期的數(shù)據(jù)，時間幅度小，處理的數(shù)據(jù)規(guī)模相對可以控制。 隨著各銀行實施數(shù)據(jù)集中，集中保管和處理的數(shù)據(jù)量急劇增加，如工業(yè)銀行現(xiàn)在核心銀行的數(shù)據(jù)達到150T，數(shù)據(jù)倉庫中保管的數(shù)據(jù)達到185T。 在云同步，隨著各種業(yè)務(wù)的迅速發(fā)展，銀行需要每天生成大量的數(shù)據(jù)，分析挖掘這些個的數(shù)據(jù)，系統(tǒng)資源的開銷和運行效率面臨著越來越大的壓力。 為了控制上線了數(shù)據(jù)的規(guī)模并確保應(yīng)用程序系統(tǒng)的健康高效運行，從對數(shù)數(shù)據(jù)創(chuàng)建到最終處置的生命周期管理越來越緊迫。 數(shù)據(jù)生命周期管理的目標(biāo)是通過規(guī)范數(shù)據(jù)的生

9、命周期管理來提高數(shù)據(jù)的總體管理層次。 優(yōu)化數(shù)據(jù)存儲結(jié)構(gòu)，有效控制上線了數(shù)據(jù)的規(guī)模，提高生產(chǎn)數(shù)據(jù)的網(wǎng)站數(shù)據(jù)庫效率。提高系統(tǒng)資源的使用效率，確保系統(tǒng)的安全、穩(wěn)定、高效的運用。 進行歷史數(shù)據(jù)管理，為顧客服務(wù)和經(jīng)營分析提供數(shù)據(jù)薩通訊端口。 二、數(shù)據(jù)生命周期管理理論和方法、二、數(shù)據(jù)生命周期管理理論和方法、數(shù)據(jù)生命周期的基本原理利用數(shù)據(jù)網(wǎng)站數(shù)據(jù)庫頻率和數(shù)據(jù)量的變化隨時間呈反比，時間的經(jīng)過和數(shù)據(jù)網(wǎng)站數(shù)據(jù)庫頻率的變化和數(shù)據(jù)量的累積變化成反比的客觀規(guī)律， 數(shù)據(jù)生命周期管理的總體原則是根據(jù)數(shù)據(jù)的網(wǎng)站數(shù)據(jù)庫頻率進行數(shù)據(jù)價值評估，并采用大量低成本的數(shù)據(jù)存儲手段，在數(shù)據(jù)的整個生命周期中，數(shù)據(jù)的性能、可用性、存儲等要求因

10、階段而異。 在其生命周期的初始階段，數(shù)據(jù)的使用頻率通常很高，需要使用高速存儲來確保數(shù)據(jù)的高可用性。 隨著時間的推移，數(shù)據(jù)的重要性逐漸下降，使用頻率也逐漸下降，因此，為了降低管理成本和資源開銷，必須在不同級別存儲數(shù)據(jù)，并提供適當(dāng)?shù)目捎眯院痛鎯臻g。 最終，大多數(shù)數(shù)據(jù)將不再被使用，并且可以在清理數(shù)據(jù)之后對其進行檔案化定和存儲，以便在臨時需要時使用。 二、數(shù)據(jù)生命周期管理理論和方法、數(shù)據(jù)生命周期管理過程、二、數(shù)據(jù)生命周期管理理論和方法、說明：上線了檔案化階段(也稱為近線階段):將網(wǎng)站數(shù)據(jù)庫頻率低、應(yīng)用程序需求不高的數(shù)據(jù)從應(yīng)用程序中分離出來，保存在不同的磁盤上， 離線檔案化階段，提供相應(yīng)的詢問法將非活

11、動、應(yīng)用程序要求低的數(shù)據(jù)與應(yīng)用程序隔離，并存儲在錄音帶、光盤和低端磁盤上。 離線檔案化之后，不提供信息上線了網(wǎng)站數(shù)據(jù)庫接口。 如有相應(yīng)的詢問法要求，需要將特定的詢問法工具或檔案化數(shù)據(jù)導(dǎo)入到相應(yīng)的系統(tǒng)中。 制定了數(shù)據(jù)生命周期管理過程數(shù)據(jù)各生命周期的管理戰(zhàn)略、二、數(shù)據(jù)生命周期管理理論和方法完全統(tǒng)一的數(shù)據(jù)生命周期管理技術(shù)規(guī)范，發(fā)布了一系列數(shù)據(jù)清理工具，并根據(jù)規(guī)范化學(xué)基進行定期清理，將清理后的數(shù)據(jù)檔案化到歷史數(shù)據(jù)管理應(yīng)用程序中。 三、工行數(shù)據(jù)生命周期管理實踐三、工行數(shù)據(jù)生命周期管理實踐、數(shù)據(jù)生命周期管理技術(shù)規(guī)范整體情況規(guī)范對統(tǒng)一的所有數(shù)據(jù)有效期管理建立具體的標(biāo)準(zhǔn)、方案、指導(dǎo)和制度，提高數(shù)據(jù)管理業(yè)務(wù)的統(tǒng)

12、一性、體系性、全面性和科學(xué)性規(guī)范， 改變了依賴于傳統(tǒng)的磁盤容量和技術(shù)人員經(jīng)驗的情況，使整行具有科學(xué)統(tǒng)一的數(shù)據(jù)管理標(biāo)準(zhǔn)，降低了數(shù)據(jù)保留時間不當(dāng)導(dǎo)致的應(yīng)用風(fēng)險，使中國工業(yè)行的各種業(yè)務(wù)系統(tǒng)更好，更穩(wěn)定地為廣大客戶提供優(yōu)良的服務(wù)。 三、工行數(shù)據(jù)生命周期管理實踐、規(guī)范的主要內(nèi)容以國際先進數(shù)據(jù)模型為參考，提取和分類工行各應(yīng)用系統(tǒng)數(shù)據(jù)，在數(shù)據(jù)生命周期各階段制定有效的管理策略。按生產(chǎn)線(修訂20種)對工行的應(yīng)用系統(tǒng)進行分類，并據(jù)此對各生產(chǎn)線的數(shù)據(jù)類別進行了確認(rèn)，規(guī)定了各生產(chǎn)線各種數(shù)據(jù)的數(shù)據(jù)有效期，確立了完整的數(shù)據(jù)有效期管理工作規(guī)范體系，確立了指導(dǎo)工行各種數(shù)據(jù)的基本管理原則和應(yīng)具體執(zhí)行的各種方法， 規(guī)范主要內(nèi)容

13、數(shù)據(jù)整理原則業(yè)務(wù)處理層的網(wǎng)上交易數(shù)據(jù)直接使不得物理刪除操作物理刪除用統(tǒng)一的策略清理按照本規(guī)范創(chuàng)建的數(shù)據(jù)生命周期。 清理數(shù)據(jù)時，每個應(yīng)用程序都必須記錄有關(guān)清理的信息，包括清理表名稱、清理時間和清理數(shù)據(jù)量。 在清理數(shù)據(jù)時，必須考慮目錄索引的重新建構(gòu)、重組等相關(guān)事項，并考慮清理數(shù)據(jù)對系統(tǒng)的影響。 三、工行數(shù)據(jù)生命周期管理實踐、規(guī)范主要內(nèi)容數(shù)據(jù)清理周期是進行一次性清理的數(shù)據(jù)，以一定周期進行清理的儲存期間是1月以內(nèi)的數(shù)據(jù)，清理周期不要超過1月，如果儲存期間是2年以內(nèi)的數(shù)據(jù)， 清理周期不得超過儲存期間的1/2如果儲存期間為2年以上的數(shù)據(jù)，則清理周期不得超過1年。 三、工行數(shù)據(jù)生命周期管理實踐、數(shù)據(jù)生命周期

14、規(guī)范的執(zhí)行工行應(yīng)用系統(tǒng)的建設(shè)從需求編制著眼于數(shù)據(jù)生命周期的管理，在系統(tǒng)設(shè)置修訂、開發(fā)、測試、運輸維的各個方面始終遵循規(guī)范的要求，有效貫徹數(shù)據(jù)整理工作的精神。 制定主要數(shù)據(jù)表的生命周期管理策略，對所有新數(shù)據(jù)表的數(shù)據(jù)生命周期管理策略進行分級和修改，創(chuàng)建管理工具和計程儀方案，實施和測試策略，執(zhí)行數(shù)據(jù)整理工作，收集和顯示管理信息，、設(shè)置修訂者，設(shè)置修訂，技術(shù)管理員，三、 工行數(shù)據(jù)生命周期管理實踐、數(shù)據(jù)生命周期規(guī)范的執(zhí)行(續(xù))整理工作的確認(rèn)和檢查工行定期檢查、確認(rèn)數(shù)據(jù)生命周期管理相關(guān)工作。 對于數(shù)據(jù)生命周期管理策略，按季度提取設(shè)置修訂情況、數(shù)據(jù)生命周期管理策略填寫情況，確保策略的精準(zhǔn)性每月在清理新數(shù)據(jù)表

15、時，查看相關(guān)表的生命周期管理策略，確保數(shù)據(jù)清理的準(zhǔn)確、合理。 三、工行數(shù)據(jù)生命周期管理實踐、系統(tǒng)工具工行開發(fā)了相關(guān)系統(tǒng)和工具，確保了可以按照規(guī)范化學(xué)基制定的數(shù)據(jù)生命周期管理策略統(tǒng)一執(zhí)行的工業(yè)行在各個環(huán)節(jié)重視數(shù)據(jù)的生命周期管理，不斷優(yōu)化工具和系統(tǒng)， 提高數(shù)據(jù)整理工作的效果將清理后的數(shù)據(jù)一個接一個地編入系統(tǒng)，實現(xiàn)清理后的數(shù)據(jù)的上線了檔案化，提供高效的查詢。 工行擬建構(gòu)整理集約化管理平臺，實現(xiàn)整理信息的有效采集，提供分析與整合修訂。 數(shù)據(jù)庫元數(shù)據(jù)和軟件資源管理系統(tǒng)(SEAS) SEAS實現(xiàn)了填寫的數(shù)據(jù)生命周期管理，在提交前自動進行策略驗證，針對不合邏輯的策略修正警報SEAS實現(xiàn)了添加數(shù)據(jù)表時的各信息

16、的承認(rèn)功能，除了系統(tǒng)控制之外還添加了人工確認(rèn)，提高了信息的精準(zhǔn)性三、工業(yè)執(zhí)行數(shù)據(jù)生命周期管理實踐、電子影像和文件服務(wù)平臺以及綜合檔案管理電子影像和文件服務(wù)平臺是工業(yè)執(zhí)行各種事件、事后類業(yè)務(wù)系統(tǒng)電子影像文件的統(tǒng)一存儲平臺，集中為各種業(yè)務(wù)生成的各種非結(jié)構(gòu)化數(shù)據(jù)(主要是影像資料、word、excel )綜合文件管理系統(tǒng)存儲的結(jié)構(gòu)化數(shù)據(jù)主要是非結(jié)構(gòu)化數(shù)據(jù)的查詢索引服務(wù)，與電子圖像和文檔服務(wù)平臺合作，完成非結(jié)構(gòu)化數(shù)據(jù)的檔案化、存儲、查詢、閱覽等功能，集成檔案化服務(wù)有非結(jié)構(gòu)化數(shù)據(jù)的業(yè)務(wù)處理系統(tǒng)及其相應(yīng)的業(yè)務(wù)部門，實現(xiàn)了業(yè)務(wù)處理的非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一管理三、工行數(shù)據(jù)生命周期管理實踐、數(shù)據(jù)清理工具和清理集約化管理平臺數(shù)據(jù)清理工具從企業(yè)數(shù)據(jù)的角度出發(fā)，對各平臺(男公關(guān)和開放平臺)的各種數(shù)據(jù)庫(DB2、ORACLE、SAS、TERADATA 對數(shù)據(jù)進行統(tǒng)一的數(shù)據(jù)生命周期管理，制作定徑套的數(shù)據(jù)清理工具采用殘奧圈套控制，通過在殘奧儀表上設(shè)定清理條件、清理日期等，實現(xiàn)數(shù)據(jù)下載