數(shù)據(jù)產(chǎn)品規(guī)格說明書

1、數(shù)據(jù)產(chǎn)品規(guī)格說明書數(shù)據(jù)管控產(chǎn)品規(guī)格說明書第5頁數(shù)據(jù)產(chǎn)品規(guī)則說明書第一章 引言1.1 編寫目的本文檔作為數(shù)據(jù)管控產(chǎn)品體系(元數(shù)據(jù)和數(shù)據(jù)質(zhì)量管理)的產(chǎn)品方案說明書，介紹元數(shù)據(jù)和數(shù)據(jù)質(zhì)量的解決方案。1.2 項目背景經(jīng)過多年建設(shè)，企業(yè)一般已經(jīng)初步建成了各類管理信息系統(tǒng)，雖然在運用和分析數(shù)據(jù)支持經(jīng)營決策方面已初見成效，但是對比戰(zhàn)略發(fā)展要求和國內(nèi)外最佳實踐經(jīng)驗，還是存在數(shù)據(jù)管控水平不高，以及配套體系建設(shè)相對滯后的問題。為解決這些問題，企業(yè)會做種種努力，但由于未采用系統(tǒng)性的管控治理，數(shù)據(jù)問題并未能從根本上解決，阻礙了企業(yè)管理精細(xì)化的進(jìn)程。參考國內(nèi)外同業(yè)先進(jìn)理念、做法，一般會從數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)模型、數(shù)

2、據(jù)分布、數(shù)據(jù)安全、數(shù)據(jù)生命周期管理等6個方面，采用全面規(guī)劃、分步實施的策略，分階段有序推進(jìn)數(shù)據(jù)管控項目建設(shè)， 包括構(gòu)建統(tǒng)一的數(shù)據(jù)管控制度體系、優(yōu)化數(shù)據(jù)管控流程、實施有針對性的數(shù)據(jù)管控配套系統(tǒng)建設(shè) ，實現(xiàn)對數(shù)據(jù)資產(chǎn)的全面管理和深度利用，進(jìn)而提升數(shù)據(jù)資產(chǎn)管理水平和信息服務(wù)水平，形成差異化的競爭優(yōu)勢和核心競爭力。第二章 方案概述2.1 方案目標(biāo)本方案主要完成以下工作： 完成元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)的引進(jìn)、集成部署和客戶化定制； 完成風(fēng)險相關(guān)數(shù)據(jù)標(biāo)準(zhǔn)在元數(shù)據(jù)管理系統(tǒng)的落地； 完成風(fēng)險相關(guān)數(shù)據(jù)質(zhì)量的評估及數(shù)據(jù)質(zhì)量評估分析模型的開發(fā)。 完成其他業(yè)務(wù)需求中明確的試點系統(tǒng)的數(shù)據(jù)標(biāo)準(zhǔn)發(fā)布和質(zhì)量評估落

3、地工作。2.2 項目范圍2.2.1 實施內(nèi)容1) 元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)相關(guān)基礎(chǔ)性工作根據(jù)業(yè)務(wù)需求，結(jié)合企業(yè)現(xiàn)有系統(tǒng)的情況，制定具體項目實施方案，確保能完成相關(guān)咨詢成果在系統(tǒng)內(nèi)的部署和設(shè)置。完成系統(tǒng)接口設(shè)計、系統(tǒng)架構(gòu)設(shè)計和形成實施所需的需求規(guī)格化文檔等工作。完成產(chǎn)品的集成安裝和初步調(diào)試工作。若提供的軟硬件配置建議書不能完全滿足企業(yè)軟硬件選型需要的，需要協(xié)助事先完成必要的產(chǎn)品測試工作，確定最終的系統(tǒng)軟硬件配置清單。2) 元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)的客制化開發(fā)實施根據(jù)企業(yè)的業(yè)務(wù)需求，對產(chǎn)品或應(yīng)用進(jìn)行客制化實施。根據(jù)對業(yè)務(wù)、技術(shù)元數(shù)據(jù)進(jìn)行抽取和加載，在系統(tǒng)中建立元數(shù)據(jù)之間的映

4、射關(guān)系。根據(jù)評分模型對評分卡進(jìn)行客制化開發(fā)，并能將評分結(jié)果數(shù)據(jù)在第三方報表平臺上展現(xiàn)。本階段需要完成系統(tǒng)的概要設(shè)計、詳細(xì)設(shè)計；完成數(shù)據(jù)接口設(shè)計和數(shù)據(jù)ETL工作；完成產(chǎn)品的配置，應(yīng)用和報表的客制化開發(fā)等。產(chǎn)品客戶化過程中，出現(xiàn)在場人員無法解決的技術(shù)或產(chǎn)品問題時，投標(biāo)人應(yīng)及時組織國內(nèi)國外資源，快速解決問題，不能因此對項目進(jìn)度造成影響。3) 元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)的測試完成元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)的各類測試工作，包括：單元測試、集成測試、壓力測試和協(xié)助用戶測試，測試工作需要符合企業(yè)測試規(guī)范要求。單元測試和集成測試的主要工作是：制定測試策略和計劃、準(zhǔn)備測試案例和數(shù)據(jù)、執(zhí)行各類

5、測試案例(含功能測試、接口測試、報表測試、系統(tǒng)管理和非功能性需求測試等)、分析測試結(jié)果、針對測試問題進(jìn)行回歸測試。壓力測試的主要工作是：制定測試策略和計劃、準(zhǔn)備測試案例和數(shù)據(jù)、執(zhí)行性能測試案例、分析測試結(jié)果、針對測試問題進(jìn)行回歸測試，完成系統(tǒng)調(diào)優(yōu)工作。用戶測試的主要內(nèi)容是：做好測試數(shù)據(jù)準(zhǔn)備工作，并協(xié)助完成測試。4) 元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)的上線和試運行完成元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)的上線和試運行工作。元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)上線的相關(guān)事宜，主要包括：確定系統(tǒng)軟硬件、完成系統(tǒng)整體部署(含集成部署)、調(diào)試和調(diào)優(yōu)、完成系統(tǒng)的初始化工作。完成符合企業(yè)規(guī)范的上線和移交

6、文檔。編寫用戶操作手冊、業(yè)務(wù)手冊、系統(tǒng)操作手冊等。元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)試運行相關(guān)工作，主要包括：試運行實施規(guī)劃、試運行過程中的問題整理和處理、試運行結(jié)果分析等。維護(hù)系統(tǒng)、明確系統(tǒng)應(yīng)急處理機制并演練等。2.3 方案概述數(shù)據(jù)管控系統(tǒng)建設(shè)方案元數(shù)據(jù)產(chǎn)品MetaOne系統(tǒng)和數(shù)據(jù)質(zhì)量系統(tǒng)QualityOne，并結(jié)合專業(yè)的業(yè)務(wù)和技術(shù)團(tuán)隊，旨在建立一套符合企業(yè)數(shù)據(jù)管控體系建設(shè)需求的數(shù)據(jù)管控體系系統(tǒng)。 數(shù)據(jù)管控體系建設(shè)項目依托元數(shù)據(jù)和數(shù)據(jù)質(zhì)量管理體系，旨在建立一套符合企業(yè)特色的數(shù)據(jù)管控體系系統(tǒng)，本項目實施主要完成數(shù)據(jù)管控系統(tǒng)咨詢成果落地工作，通過數(shù)據(jù)標(biāo)準(zhǔn)配置；指標(biāo)標(biāo)準(zhǔn)管理及分析預(yù)警；元數(shù)據(jù)獲取

7、和調(diào)度；數(shù)據(jù)質(zhì)量分析和預(yù)警展示和數(shù)據(jù)探查分析和預(yù)警等模塊，全方位全角度展示企業(yè)系統(tǒng)平臺技術(shù)和業(yè)務(wù)元數(shù)據(jù)分析，最終，實現(xiàn)數(shù)據(jù)質(zhì)量監(jiān)控預(yù)警。第三章 總體方案3.1 系統(tǒng)架構(gòu)3.1.1 總體系統(tǒng)架構(gòu)數(shù)據(jù)管控體系建設(shè)平臺實施方案采用雙模式進(jìn)行調(diào)度配置，為保證第一時間有效監(jiān)控業(yè)務(wù)風(fēng)險相關(guān)業(yè)務(wù)指標(biāo)監(jiān)控情況，因此，總體方案中，首先采用企業(yè)數(shù)據(jù)倉庫平臺調(diào)度平臺優(yōu)先監(jiān)控風(fēng)險相關(guān)業(yè)務(wù)指標(biāo)信息,其次元數(shù)據(jù)管理產(chǎn)品內(nèi)部調(diào)度機制，加載相關(guān)平臺，關(guān)系數(shù)據(jù)庫(應(yīng)用業(yè)務(wù)數(shù)據(jù)和技術(shù)業(yè)務(wù)數(shù)據(jù))和數(shù)據(jù)模型等元數(shù)據(jù)信息。信息交付層：主要展示元數(shù)據(jù)和數(shù)據(jù)質(zhì)量成果信息，展示方式主要通過都必須通過AD域驗證(統(tǒng)一認(rèn)證平臺)，信息訪問通過報

8、表平臺BIEE和元數(shù)據(jù)系統(tǒng)內(nèi)部展示平臺展示元數(shù)據(jù)和數(shù)據(jù)質(zhì)量分析預(yù)警信息。應(yīng)用層：主要提供企業(yè)BIEE報表系統(tǒng)展示的數(shù)據(jù)接口，展示業(yè)務(wù)客戶需要的業(yè)務(wù)元數(shù)據(jù)信息。系統(tǒng)管理層：主要描述MetaOne和QualityOne為用戶提供基本功能完善的元數(shù)據(jù)倉儲管理平臺，并支持基于平臺的應(yīng)用服務(wù)定制。豐富的調(diào)用接口和強大的二次開發(fā)指南，保障產(chǎn)品良好的適用性。系統(tǒng)整體在功能上，劃分為存儲層、基本功能層、接口層、應(yīng)用層。數(shù)據(jù)獲取層：主要描述系統(tǒng)獲取元數(shù)據(jù)方式有兩種觸發(fā)方式，為實現(xiàn)監(jiān)控風(fēng)險相關(guān)業(yè)務(wù)指標(biāo)，系統(tǒng)將采用部分任務(wù)配置在調(diào)度平臺調(diào)度；其他數(shù)據(jù)獲取方式將采用MetaOne定時觸發(fā)和依賴滿足觸發(fā)任務(wù)，將所需的業(yè)

9、務(wù)指標(biāo)數(shù)據(jù)和平臺技術(shù)數(shù)據(jù)安裝規(guī)范加載至平臺內(nèi)部。源數(shù)據(jù)層：主要描述數(shù)據(jù)管控體系的數(shù)據(jù)源信息，包括標(biāo)準(zhǔn)格的業(yè)務(wù)元數(shù)據(jù)；鏡像業(yè)務(wù)系統(tǒng)關(guān)系數(shù)據(jù)庫；ETL系統(tǒng)標(biāo)準(zhǔn)元數(shù)據(jù)信息；平臺相關(guān)技術(shù)元數(shù)據(jù)信息；模型設(shè)計文件元數(shù)據(jù)和咨詢涉及的其他標(biāo)準(zhǔn)元數(shù)據(jù)文件成果。3.1.2 物理系統(tǒng)架構(gòu) 數(shù)據(jù)管控體系系統(tǒng)物理架構(gòu)采用應(yīng)用服務(wù)和數(shù)據(jù)庫服務(wù)器獨立方式設(shè)計，同時，兩臺服務(wù)器具體內(nèi)部互補自動切換功能，有效防止由其他因素導(dǎo)致的系統(tǒng)癱瘓。 3.2 系統(tǒng)數(shù)據(jù)流程下面展示元數(shù)據(jù)和數(shù)據(jù)質(zhì)量系統(tǒng)數(shù)據(jù)流程圖示如下：3.3 網(wǎng)絡(luò)和安全MetaOne元數(shù)據(jù)系統(tǒng)部署于企業(yè)的業(yè)務(wù)網(wǎng)段，通過代理將應(yīng)用服務(wù)器地址反向映射辦公網(wǎng)段，僅開通WEB服務(wù)

10、端口，向位于辦公網(wǎng)段的業(yè)務(wù)管理用戶提供服務(wù)；其他業(yè)務(wù)系統(tǒng)的接入均在企業(yè)的業(yè)務(wù)網(wǎng)段內(nèi)，與外部環(huán)境隔離。3.3.1 開放的Internet標(biāo)準(zhǔn) 系統(tǒng)建立在開放的Internet標(biāo)準(zhǔn)之上，例如：SSL，HTTP，XML，TCP/IP，SOAP，支持多層次的客戶機/服務(wù)器體系結(jié)構(gòu)，其通過TCI組件支持多種報文的傳輸、組包、解包；利用web service實現(xiàn)與異構(gòu)系統(tǒng)之間的數(shù)據(jù)交換。可以成功運行在支持Java虛擬機的各種操作系統(tǒng)及相應(yīng)的各種硬件平臺上，符合信息技術(shù)的發(fā)展方向，具備廣泛的應(yīng)用前景。3.3.2 系統(tǒng)層安全系統(tǒng)層安全主要針對系統(tǒng)的操作系統(tǒng)和數(shù)據(jù)庫等軟件平臺進(jìn)行安全防護(hù)，其主要采用的措施如下：

11、 安裝系統(tǒng)的安全補?。≒atch）。 關(guān)閉不需要的進(jìn)程服務(wù)和端口。 使用漏洞掃描產(chǎn)品，定期進(jìn)行安全掃描及時發(fā)現(xiàn)問題并采取補救措施。 定期審核系統(tǒng)配置，避免因配置不當(dāng)造成的權(quán)限管理混亂。3.3.3 業(yè)務(wù)安全控制通過安全代理前置設(shè)備、防火墻等系統(tǒng)來保證系統(tǒng)的安全性，以及通過負(fù)載均衡來保證系統(tǒng)的高可用性，這只是從網(wǎng)絡(luò)環(huán)境和系統(tǒng)結(jié)構(gòu)的角度保證系統(tǒng)的安全，整個系統(tǒng)的安全性應(yīng)該是一個多層次的概念。主要考慮一下幾個方面： 關(guān)鍵操作有詳細(xì)的操作記錄可查。 登錄系統(tǒng)日志的安全審計 多維的交易權(quán)限管理機制，關(guān)鍵操作提供多重授權(quán)功能。對于管理端的關(guān)鍵數(shù)據(jù)設(shè)置提供嚴(yán)格的復(fù)核機制，以保證數(shù)據(jù)的正確性、合法性。 會話管理

12、（Session）：與應(yīng)用服務(wù)器的會話管理結(jié)合，實現(xiàn)多種會話的建立和管理，讓不同的會話采用統(tǒng)一的管理機制。同時實現(xiàn)會話的超時管理，有效防范避免操作人員使用已經(jīng)失效的會話進(jìn)行誤操作，同時防止垃圾會話數(shù)據(jù)占用內(nèi)存，影響系統(tǒng)性能甚至使系統(tǒng)無法工作。3.3.4 統(tǒng)一身份認(rèn)證針對統(tǒng)一身份認(rèn)證系統(tǒng)的要求，系統(tǒng)采取一種適用（針對）于WebLogic Server的、簡潔的、有效可行的統(tǒng)一認(rèn)證即單點登陸(SSO)解決方案。這個方案以集中統(tǒng)一的用戶信息為基礎(chǔ)，但不包括上節(jié)說明的權(quán)限管理，而僅僅提供一個身份驗證的服務(wù)。實現(xiàn)SSO的本義。在SSO幫助用戶完成身份驗證后，由系統(tǒng)本身的權(quán)限管理進(jìn)行用戶行為的進(jìn)一步控制。

13、這樣不僅完成了用戶帳號的集中管理，又不失原有系統(tǒng)靈活的權(quán)限控制。而且方案簡單可行，不需要對原有應(yīng)用做較大更改，適合快速解決Single Sign-On問題，符合行內(nèi)系統(tǒng)的要求。其主要采用SAML Browser Post Profile方案，通過推模式獲取SAML Token，由Identity Provider推Assertion到Service Provider.而后驗證Assertion將用戶重新定向到目標(biāo)URL。3.4 系統(tǒng)災(zāi)備 為了保障對數(shù)據(jù)處理的高可靠性和高可用性，系統(tǒng)需要具有較好的實時備份和災(zāi)難恢復(fù)能力。系統(tǒng)采用SQL SERVER 2008數(shù)據(jù)庫服務(wù)器支持的雙機熱備容錯方案來實

14、現(xiàn)系統(tǒng)的備份策略，由兩臺機器共享一個磁盤陣列（共享磁盤組），當(dāng)其中一臺機器發(fā)生故障時，另外一臺機器接管整個磁盤陣列，從而實現(xiàn)雙機容錯。如下圖：第四章 方案細(xì)化4.1 產(chǎn)品功能4.1.1 元數(shù)據(jù) 元數(shù)據(jù)產(chǎn)品MetaOne采用高內(nèi)聚、低耦合的組件式產(chǎn)品架構(gòu)，豐富功能組件，為客戶搭建功能強大的元數(shù)據(jù)管理平臺。向用戶全面開放元數(shù)據(jù)功能調(diào)用接口，并提供整套實施方法論。使用戶在完成元數(shù)據(jù)管理、維護(hù)等基礎(chǔ)功能的同時，方便實現(xiàn)二次開發(fā)，滿足行業(yè)應(yīng)用的針對性需求。 l 基本管理平臺（MetaOne Platform）由元數(shù)據(jù)倉儲、Web應(yīng)用程序、元數(shù)據(jù)接口層、統(tǒng)一數(shù)據(jù)源管理客戶端、元模型操控臺以及元數(shù)據(jù)基本維護(hù)

15、管理功能組成的組件集合，是MetaOne產(chǎn)品的基本功能集。l 元數(shù)據(jù)存儲庫（MetaData Repository）基于關(guān)系數(shù)據(jù)庫的元數(shù)據(jù)存儲庫，用于實現(xiàn)元數(shù)據(jù)的物理存儲。l 元數(shù)據(jù)基本維護(hù)界面（MetaOne WebAPP）B/S結(jié)構(gòu)的Web管理程序，實現(xiàn)用戶對元數(shù)據(jù)的一般管理、維護(hù)操作。l 對外服務(wù)接口（MetaOne Interface（MOI）一組基于Java RMI的API集合，內(nèi)容包括對元數(shù)據(jù)、元模型的所有基本操作，配套提供使用方法論，使用戶方便調(diào)用，實現(xiàn)二次應(yīng)用開發(fā)。l 元數(shù)據(jù)獲取器（MetaData Integration Bridge（MIB）數(shù)據(jù)源管理平臺，對所有連接系統(tǒng)的

16、數(shù)據(jù)源進(jìn)行統(tǒng)一管理，實現(xiàn)數(shù)據(jù)源元數(shù)據(jù)的抽取和元數(shù)據(jù)向MetaData Repository的導(dǎo)入。l 元模型管理控制操作臺（MetaOne Console）元模型操控臺，用戶通過操控臺實現(xiàn)元模型建模。l 基礎(chǔ)應(yīng)用分析元數(shù)據(jù)的基本維護(hù)管理功能l 高級應(yīng)用分析通過元數(shù)據(jù)接口，調(diào)用元數(shù)據(jù)及相應(yīng)功能，針對行業(yè)需求開發(fā)的應(yīng)用。 功能特性MetaOne的產(chǎn)品理念，是為用戶提供基本功能完善的元數(shù)據(jù)倉儲管理平臺，并支持基于平臺的應(yīng)用服務(wù)定制。豐富的調(diào)用接口和強大的二次開發(fā)指南，保障產(chǎn)品良好的適用性。系統(tǒng)整體在功能上，劃分為存儲層、基本功能層、接口層、應(yīng)用層。l 元數(shù)據(jù)存儲層包含元數(shù)據(jù)存儲庫，負(fù)責(zé)

17、承載不同領(lǐng)域的元模型以及相關(guān)的元數(shù)據(jù)。l 元數(shù)據(jù)基本功能層實現(xiàn)系統(tǒng)對元數(shù)據(jù)的基本功能，針對元數(shù)據(jù)自身的維護(hù)和管理。包括元數(shù)據(jù)的維護(hù)管理、元模型維護(hù)管理，影響分析、血統(tǒng)分析、差異分析等圖形展現(xiàn)功能，元數(shù)據(jù)版本管理、權(quán)限管理、日志管理、質(zhì)量管理等。l 接口層MOI為MetaOne提供的元數(shù)據(jù)接口集合，供二次開發(fā)對系統(tǒng)各類數(shù)據(jù)、功能的調(diào)用。l 應(yīng)用層通過MOI接口層與元數(shù)據(jù)存儲層實現(xiàn)連接的部分屬于應(yīng)用層。包含兩個方面，Metaone提供的功能組件MO Console和MIB，以及針對不用同的具體需求開發(fā)的應(yīng)用功能。 數(shù)據(jù)流程MetaOne元數(shù)據(jù)管理系統(tǒng)將涵蓋系統(tǒng)數(shù)據(jù)處理流程各個環(huán)節(jié)的

18、數(shù)據(jù)結(jié)構(gòu)等信息讀取進(jìn)來，包括源系統(tǒng)信息、ETL過程、數(shù)據(jù)庫結(jié)構(gòu)、數(shù)據(jù)模型、業(yè)務(wù)應(yīng)用、前端展示和門戶管理等，并加入業(yè)務(wù)規(guī)則的描述和業(yè)務(wù)量值的內(nèi)涵，下面圖示詳細(xì)介紹數(shù)據(jù)獲取流程信息： 數(shù)據(jù)獲取MetaOne元數(shù)據(jù)管理系統(tǒng)的元數(shù)據(jù)管理范圍，涵蓋系統(tǒng)數(shù)據(jù)處理流程各個環(huán)節(jié)，各個環(huán)節(jié)中數(shù)據(jù)源所能提供的數(shù)據(jù)類型、結(jié)構(gòu)都需要相對應(yīng)的元數(shù)據(jù)獲取方法。MetaOne元數(shù)據(jù)管理系統(tǒng)提供統(tǒng)一的數(shù)據(jù)源管理平臺，平臺中集成了針對不同數(shù)據(jù)類型的元數(shù)據(jù)獲取功能插件，可以將包括源系統(tǒng)信息、ETL過程、數(shù)據(jù)庫結(jié)構(gòu)、數(shù)據(jù)模型、業(yè)務(wù)應(yīng)用、前端展示和門戶管理等數(shù)據(jù)源進(jìn)行統(tǒng)一管理，實現(xiàn)元數(shù)據(jù)的自動獲取。MetaOne提供元

19、數(shù)據(jù)整合獲取平臺元數(shù)據(jù)集成橋（Metadata Integration Bridge，元數(shù)據(jù)集成橋），提供自動獲取、手工獲取兩種元數(shù)據(jù)獲取功能，自動獲取主流BI工具的元數(shù)據(jù)或手工獲取XMI/Excel文件中的元數(shù)據(jù)。MIB具備強大的管理能力和可擴展性，能夠?qū)ψ詣荧@取的數(shù)據(jù)源進(jìn)行管理，能夠提供自動獲取的框架，在此框架可以擴展自動獲取的適配器；對元數(shù)據(jù)的自動獲取提供持續(xù)穩(wěn)定的調(diào)度支持，能夠按預(yù)設(shè)的調(diào)度策略觸發(fā)相應(yīng)的元數(shù)據(jù)自動獲取過程，同時支持對自動獲取過程的日志記錄。MIB體系架構(gòu)如下圖所示：l MIB數(shù)據(jù)接口元數(shù)據(jù)集成橋能夠自動獲取主流BI工具的元數(shù)據(jù)，并支持通過對SQL腳本、TCL腳本的詞法、

20、語法和語義分析，生成滿足CWM規(guī)范要求的數(shù)據(jù)處理元數(shù)據(jù)，存儲到MetaOne中進(jìn)行統(tǒng)一管理。通過MIB，MetaOne可自動獲取系統(tǒng)項目的相關(guān)工具所涉及的元數(shù)據(jù)，確保元數(shù)據(jù)及時更新與業(yè)務(wù)系統(tǒng)同步，減少人為的手工梳理過程。l MIB技術(shù)特點元數(shù)據(jù)集成橋通過把不同數(shù)據(jù)源的元數(shù)據(jù)抽取、轉(zhuǎn)換到統(tǒng)一的元數(shù)據(jù)系統(tǒng)中，能夠?qū)崿F(xiàn)企業(yè)級的元數(shù)據(jù)整合、集中和統(tǒng)一，提升系統(tǒng)的元數(shù)據(jù)管理水平，其技術(shù)特點如下：1. 跨平臺：服務(wù)器支持Windows、Unix、Linux(Windows 20002003，Linux，IBM AIX，SUN Solaris)，RCP Client支持Windows、Linux、Mac O

21、S X系統(tǒng)；2. 兼容性：數(shù)據(jù)存儲于主流關(guān)系型數(shù)據(jù)庫系統(tǒng)，支持Oracle，DB2，SQL Server等；3. 靈活及易用性：元數(shù)據(jù)集成橋提供了友好的圖形界面，用戶只需要配置相應(yīng)的參數(shù)就可以完成本次導(dǎo)入。用戶可以選擇需要導(dǎo)入的對象列表，設(shè)置過濾規(guī)則，選擇元數(shù)據(jù)的根節(jié)點，無需要編程就能夠完成各省的特性化需要。4. 主流開放性：100%JAVA、按J2EE模式構(gòu)建、基于RCP Client的客戶端架構(gòu)，采用XML RPC 和 JSON RPC通信方式，支持各類編程語言開發(fā)的分布式應(yīng)用程序間的通信，如C、JAVA、Perl、PHP、.N等；5. 全中文化和國際化：界面操作全部顯示中文。可以根據(jù)需要

22、按照區(qū)域化的配置顯示客戶熟悉的語言。6. 后臺自動調(diào)度： 通過后臺調(diào)度自動定期執(zhí)行導(dǎo)入作業(yè)。7. 支持增量導(dǎo)入和自動關(guān)系維護(hù)：同一個數(shù)據(jù)源多次導(dǎo)入時，可以支持以增量方式進(jìn)行導(dǎo)入。減少數(shù)據(jù)處理量，提高效率。8. 自動關(guān)系維護(hù)：通過元數(shù)據(jù)的屬性或者解析SQL的方式，能夠自動的建立元數(shù)據(jù)之間的關(guān)系。9. 支持大數(shù)據(jù)量： 為了能夠支持超大數(shù)據(jù)量（200M）的元數(shù)據(jù)導(dǎo)入，系統(tǒng)優(yōu)化了XML解析和數(shù)據(jù)比較，并且支持多個Java虛擬機（JVM）的數(shù)據(jù)導(dǎo)入，最大限度的利用了硬件系統(tǒng)的資源。 數(shù)據(jù)模型元數(shù)據(jù)管理系統(tǒng)具有獨立的元模型管理控制平臺，實現(xiàn)元模型的建立、關(guān)系的維護(hù)等功能。元模型架構(gòu)支持國際C

23、WM規(guī)范、提供行業(yè)預(yù)定義元模型、支持用戶按需完全定制，從而保障用戶隨著時間推移對更多種類元數(shù)據(jù)的管理需要，以及完善現(xiàn)有元數(shù)據(jù)定義的需要，能滿足企業(yè)中長期發(fā)展的需求，提高投資回報率。元模型管理功能包括： 提供圖形化元模型管理控制臺（Console） 支持元模型的增加、刪除、修改等基本操作 支持標(biāo)準(zhǔn)的CWM元模型 支持元模型擴展和自定義 支持繼承、關(guān)聯(lián)、依賴等基本關(guān)系類型 支持關(guān)系類型擴展 支持多業(yè)務(wù)領(lǐng)域（Domain） 支持跨業(yè)務(wù)領(lǐng)域的元模型差異分析 以XML格式對元模型進(jìn)行導(dǎo)入導(dǎo)出 4.1.2 數(shù)據(jù)質(zhì)量 數(shù)據(jù)質(zhì)量評估體系數(shù)據(jù)質(zhì)量評估體系主要由兩部分組成：數(shù)據(jù)質(zhì)量評估維度和數(shù)據(jù)質(zhì)量

24、加權(quán)計分卡：l 數(shù)據(jù)質(zhì)量基礎(chǔ)評估維度是指對數(shù)據(jù)質(zhì)量進(jìn)行定量或定性評估時所采用的描述數(shù)據(jù)質(zhì)量不同方面特性的評價標(biāo)準(zhǔn)。l 數(shù)據(jù)質(zhì)量加權(quán)計分卡是在數(shù)據(jù)質(zhì)量評估維度的基礎(chǔ)上，根據(jù)業(yè)務(wù)關(guān)鍵性對各類維度進(jìn)行權(quán)重設(shè)定并計算形成數(shù)據(jù)質(zhì)量評分。數(shù)據(jù)質(zhì)量基礎(chǔ)評估維度根據(jù)數(shù)據(jù)用戶對數(shù)據(jù)質(zhì)量的關(guān)注點不同，數(shù)據(jù)質(zhì)量特征可分為兩類：數(shù)據(jù)內(nèi)容質(zhì)量和數(shù)據(jù)展示質(zhì)量。兩類數(shù)據(jù)質(zhì)量特征分別具有一套數(shù)據(jù)質(zhì)量的基礎(chǔ)評估維度。1. 數(shù)據(jù)內(nèi)容質(zhì)量評估維度：2. 數(shù)據(jù)展示質(zhì)量評估維度： 數(shù)據(jù)質(zhì)量加權(quán)計分卡數(shù)據(jù)質(zhì)量加權(quán)評估計分是根據(jù)數(shù)據(jù)質(zhì)量評估維度、被評估數(shù)據(jù)的技術(shù)特性和業(yè)務(wù)特性等等要素對數(shù)據(jù)進(jìn)行分類，對不同類型進(jìn)行權(quán)重值設(shè)置，對根據(jù)各類數(shù)據(jù)

25、質(zhì)量評估維度得出的基礎(chǔ)評估量化值進(jìn)行加權(quán)計算并最終得到數(shù)據(jù)質(zhì)量綜合水平計分的過程。具體分類方式如下：l 數(shù)據(jù)質(zhì)量評估維度分類：將上述的基礎(chǔ)評估維度進(jìn)行進(jìn)一步分類，可得到數(shù)據(jù)質(zhì)量六個方面的特性，即：合理性、一致性、及時性、完整性、唯一性和準(zhǔn)確性。l 數(shù)據(jù)技術(shù)特性分類：根據(jù)數(shù)據(jù)的來源不同，可以分為基礎(chǔ)數(shù)據(jù)、數(shù)據(jù)倉庫匯總數(shù)據(jù)、應(yīng)用層數(shù)據(jù)等。l 數(shù)據(jù)業(yè)務(wù)特性分類：可以根據(jù)業(yè)務(wù)條線對數(shù)據(jù)進(jìn)行分類，如市場風(fēng)險數(shù)據(jù)、信貸風(fēng)險數(shù)據(jù)、操作風(fēng)險數(shù)據(jù)等。對不同分類設(shè)置權(quán)值后，即可進(jìn)行數(shù)據(jù)質(zhì)量水平的加權(quán)計算。數(shù)據(jù)質(zhì)量加權(quán)計分卡的總體設(shè)計思路示意圖如下所示：數(shù)據(jù)質(zhì)量加權(quán)計分卡 功能框架數(shù)據(jù)質(zhì)量組件包含兩

26、塊內(nèi)容：規(guī)則制定，質(zhì)量評估。規(guī)則制定是基于咨詢數(shù)據(jù)標(biāo)準(zhǔn)的導(dǎo)入，也包含企業(yè)后續(xù)對數(shù)據(jù)質(zhì)量規(guī)則的制定（數(shù)據(jù)標(biāo)準(zhǔn)，數(shù)據(jù)接口，元數(shù)據(jù)規(guī)則等）；質(zhì)量評估則是對規(guī)則結(jié)果的調(diào)整，通過數(shù)據(jù)評估，制定一整套數(shù)據(jù)質(zhì)量管理流程，便于對數(shù)據(jù)進(jìn)行修正，對業(yè)務(wù)規(guī)則進(jìn)行合并，清理，更好得服務(wù)決策和分析。 質(zhì)量管理數(shù)據(jù)質(zhì)量管理系統(tǒng)通過對KPI指標(biāo)信息進(jìn)行采集，對監(jiān)控規(guī)則進(jìn)行設(shè)置，對異常信息進(jìn)行告警，出具數(shù)據(jù)質(zhì)量報告等功能，可以滿足企業(yè)對高管系統(tǒng)KPI指標(biāo)進(jìn)行監(jiān)控的需求。對于數(shù)據(jù)質(zhì)量管理來說，對規(guī)則的靈活設(shè)置，對任務(wù)的及時反饋，對結(jié)果的評估，以及和第三方工具緊密集合是一個產(chǎn)品成敗的關(guān)鍵。對于數(shù)據(jù)質(zhì)量流程，一般框架

27、如下：l 存儲管理數(shù)據(jù)質(zhì)量管理系統(tǒng)定義了支撐數(shù)據(jù)質(zhì)量監(jiān)控功能并符合CWM標(biāo)準(zhǔn)的元模型結(jié)構(gòu)，包括監(jiān)控對象、采集項、采集規(guī)則以及監(jiān)控規(guī)則等。其中所涉及的元數(shù)據(jù)信息如監(jiān)控對象信息，需要從元數(shù)據(jù)管理系統(tǒng)獲取。質(zhì)量管理人員也可以創(chuàng)建新的元數(shù)據(jù)，來滿足質(zhì)量監(jiān)控的需要。相關(guān)的質(zhì)量信息存儲在數(shù)據(jù)質(zhì)量關(guān)系數(shù)據(jù)庫中。l 采集管理數(shù)據(jù)質(zhì)量采集模塊由采集服務(wù)器和采集代理組成，采集代理支持分布式部署，采集服務(wù)器對采集代理進(jìn)行集中管理，支持的功能如下所示： 代理啟動時向服務(wù)器注冊請求，注冊信息包含代理的IP地址、通訊端口、進(jìn)程ID，啟動時間；代理每個一段時間要向服務(wù)器發(fā)送心跳檢測信號，心跳間隔時間可配置；代理在允許結(jié)束時

28、向服務(wù)器發(fā)送注銷請求；代理可以支持服務(wù)器對代理運行狀態(tài)的查詢；代理在與服務(wù)器中斷連接后可以保留已運行完畢檢查報告和未運行完的任務(wù)狀態(tài)；代理負(fù)責(zé)采集數(shù)據(jù)，將采集的格式化成質(zhì)量平臺的數(shù)據(jù)格式，關(guān)聯(lián)相應(yīng)的監(jiān)控對象；服務(wù)器集中保管所有的采集配置數(shù)據(jù)，代理自動從服務(wù)器獲取相關(guān)的采集信息。l 規(guī)則監(jiān)控管理數(shù)據(jù)質(zhì)量管理系統(tǒng)的規(guī)則包括數(shù)據(jù)采集規(guī)則、監(jiān)控規(guī)則以及告警規(guī)則等，因采集規(guī)則和告警規(guī)則相對較簡單。監(jiān)控規(guī)則存儲在數(shù)據(jù)質(zhì)量關(guān)系數(shù)據(jù)庫中，包括規(guī)則當(dāng)前信息、歷史信息以及變更信息等， 具體規(guī)則可以通過Quality One選擇，也可以通過前端二次開發(fā)，獲取更多的詳細(xì)分析。為了實現(xiàn)監(jiān)控規(guī)則的靈活調(diào)度及與業(yè)務(wù)分析過程

29、相結(jié)合，規(guī)則調(diào)度部分支持時間觸發(fā)調(diào)度和規(guī)則依賴調(diào)度兩種方式，具體說明如下。時間觸發(fā)方式，即按照定時觸發(fā)、循環(huán)觸發(fā)及間隔觸發(fā)的方式對規(guī)則進(jìn)行調(diào)度。如下圖所示。規(guī)則依賴調(diào)度，即某規(guī)則是否執(zhí)行調(diào)度需要判斷它的前置條件是否滿足，或某規(guī)則執(zhí)行之后，根據(jù)其執(zhí)行的結(jié)果，來決定另一個節(jié)點是否執(zhí)行。此調(diào)度方式可支持?jǐn)?shù)據(jù)質(zhì)量問題的逐步探查式分析。l 告警管理數(shù)據(jù)質(zhì)量采集和檢查過程中發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題時，系統(tǒng)會提示某些數(shù)據(jù)或者規(guī)則超過了指定閥值，系統(tǒng)就對這些數(shù)據(jù)做告警處理。告警流程，可以通過數(shù)據(jù)接口的方式，嵌入到數(shù)據(jù)質(zhì)量管理流程中，便于后續(xù)做進(jìn)一步的處理。在告警時，客戶需分析查明告警原因，需要具體的明細(xì)數(shù)據(jù)，系統(tǒng)提供

30、界面查詢的接口，也提供后端文件的接口，便于后續(xù)的檢查，也可以用于外部前端接口更深入的分析，或者檢查歷史趨勢。l 質(zhì)量報告數(shù)據(jù)管理系統(tǒng)提供數(shù)據(jù)質(zhì)量日常管理各種報告，包括數(shù)據(jù)質(zhì)量問題相關(guān)的各種明細(xì)及匯總報告。質(zhì)量報告模塊集成了內(nèi)置的圖形引擎，支持多種圖形的動態(tài)展示，如柱狀圖、餅圖、折線圖等，可輸出數(shù)據(jù)表格與圖形動態(tài)聯(lián)動的各種數(shù)據(jù)質(zhì)量式樣， 也可通過提供外部數(shù)據(jù)接口的方式，輸出復(fù)雜的質(zhì)量報告。 質(zhì)量評估數(shù)據(jù)質(zhì)量評估是指依據(jù)數(shù)據(jù)質(zhì)量評估任務(wù)要求，結(jié)合數(shù)據(jù)質(zhì)量探查的結(jié)果，按照一定規(guī)則，對探查結(jié)果進(jìn)行統(tǒng)計分析，并形成綜合評估分析結(jié)果的活動，該活動需求包括任務(wù)管理、評估規(guī)則設(shè)置、評估結(jié)果分析等

31、。數(shù)據(jù)質(zhì)量評估師對指定規(guī)則設(shè)置后的處理流程，如下圖所示（一圖為審計流程，二圖為評估處理流程） 圖一圖二 質(zhì)量探查 數(shù)據(jù)剖析功能l 內(nèi)置豐富的分析評估模型內(nèi)置針對指標(biāo)日常和節(jié)假日波動的閾值分析和優(yōu)化模型、針對指標(biāo)業(yè)務(wù)相關(guān)性的關(guān)聯(lián)波動分析模型、針對問題分布的監(jiān)控覆蓋和規(guī)則優(yōu)化分析模型等常用分析評估模型，并且可以根據(jù)業(yè)務(wù)需要進(jìn)行擴充。1. 列分析，對數(shù)據(jù)源表中的字段的值進(jìn)行統(tǒng)計。比如：最大值，最小值，唯一值個數(shù)，NULL 值的比例，字段類型，長度，字段格式以及數(shù)值分布比例等；2. 連接分析，對兩個表之間的連接列和匹配程度進(jìn)行分析；3. 鍵值分析，分析和檢查表的中某1列或多列是否符合唯一

32、性約束 高級分析功能規(guī)則管理：支持對數(shù)據(jù)源表中的字段設(shè)置評分權(quán)重，以及配置校驗規(guī)則；規(guī)則分類：質(zhì)量監(jiān)控信息進(jìn)行規(guī)則校驗、觸發(fā)質(zhì)量告警的計算準(zhǔn)則，是判斷是否為數(shù)據(jù)質(zhì)量問題的標(biāo)準(zhǔn)，主要包括如下幾類：l 均差探查l 一致性校驗規(guī)則l 自定義檢查規(guī)則l 關(guān)聯(lián)性分析檢查 支持度分析數(shù)據(jù)質(zhì)量產(chǎn)品功能需求MetaOne支持度說明系統(tǒng)操作功能100%系統(tǒng)服務(wù)功能100%變更和升級100%基本功能要求數(shù)據(jù)探查列分析100%連接分析100%鍵值分析100%復(fù)雜規(guī)則分析100%數(shù)據(jù)準(zhǔn)確性分析100%數(shù)據(jù)一致性分析100%數(shù)據(jù)完整性分析100%數(shù)據(jù)規(guī)范性分析100%數(shù)據(jù)參照完整性分析100%其他分析1

33、00%質(zhì)量評估定義評估任務(wù)100%跟蹤評估結(jié)果100%評估規(guī)則設(shè)定100%權(quán)重設(shè)置100%評估計算手工或者自動100%支持第三方100%通過接口方式，需要ETL工作統(tǒng)計報表需求100%用戶權(quán)限管理需求100%安全審計需求100%性能說明100%其他要求100%視情況而定，可以客制化4.2 系統(tǒng)調(diào)度數(shù)據(jù)管控體系內(nèi)部任務(wù)調(diào)度機制采用雙模型進(jìn)行，整體系統(tǒng)調(diào)度集合企業(yè)數(shù)據(jù)倉庫的統(tǒng)一調(diào)度平臺觸發(fā)平臺內(nèi)部調(diào)度機制。系統(tǒng)調(diào)度設(shè)計遵循企業(yè)Automation調(diào)度機制，主要是幫助有效監(jiān)控數(shù)據(jù)管控體系項目中的關(guān)注風(fēng)險系統(tǒng)指標(biāo)規(guī)則。4.3 系統(tǒng)集成MetaOne系統(tǒng)根據(jù)需要靈活地為其他系統(tǒng)、應(yīng)用或平臺所嵌套集成，以滿足業(yè)務(wù)用戶能夠就近訪問操作的需要；MetaOne系統(tǒng)具備該能力，是由于MetaOne采用平臺架構(gòu)，提供強大的API接口，MOI（MetaOne Interface）是MetaOne根據(jù)多年元數(shù)據(jù)建設(shè)經(jīng)驗，結(jié)合國內(nèi)元數(shù)據(jù)應(yīng)用的實際情況，推出的一套元數(shù)據(jù)調(diào)用接口（API）