數(shù)據(jù)產(chǎn)品規(guī)格說明書.doc

數(shù)據(jù)產(chǎn)品規(guī)格說明書數(shù)據(jù)管控產(chǎn)品規(guī)格說明書第5頁數(shù)據(jù)產(chǎn)品規(guī)則說明書第一章 引言1.1 編寫目的本文檔作為數(shù)據(jù)管控產(chǎn)品體系(元數(shù)據(jù)和數(shù)據(jù)質(zhì)量管理)的產(chǎn)品方案說明書，介紹元數(shù)據(jù)和數(shù)據(jù)質(zhì)量的解決方案。1.2 項目背景經(jīng)過多年建設，企業(yè)一般已經(jīng)初步建成了各類管理信息系統(tǒng)，雖然在運用和分析數(shù)據(jù)支持經(jīng)營決策方面已初見成效，但是對比戰(zhàn)略發(fā)展要求和國內(nèi)外最佳實踐經(jīng)驗，還是存在數(shù)據(jù)管控水平不高，以及配套體系建設相對滯后的問題。為解決這些問題，企業(yè)會做種種努力，但由于未采用系統(tǒng)性的管控治理，數(shù)據(jù)問題并未能從根本上解決，阻礙了企業(yè)管理精細化的進程。參考國內(nèi)外同業(yè)先進理念、做法，一般會從數(shù)據(jù)標準、數(shù)據(jù)質(zhì)量、數(shù)據(jù)模型、數(shù)據(jù)分布、數(shù)據(jù)安全、數(shù)據(jù)生命周期管理等6個方面，采用全面規(guī)劃、分步實施的策略，分階段有序推進數(shù)據(jù)管控項目建設， 包括構(gòu)建統(tǒng)一的數(shù)據(jù)管控制度體系、優(yōu)化數(shù)據(jù)管控流程、實施有針對性的數(shù)據(jù)管控配套系統(tǒng)建設 ，實現(xiàn)對數(shù)據(jù)資產(chǎn)的全面管理和深度利用，進而提升數(shù)據(jù)資產(chǎn)管理水平和信息服務水平，形成差異化的競爭優(yōu)勢和核心競爭力。第二章 方案概述2.1 方案目標本方案主要完成以下工作： 完成元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)的引進、集成部署和客戶化定制； 完成風險相關(guān)數(shù)據(jù)標準在元數(shù)據(jù)管理系統(tǒng)的落地； 完成風險相關(guān)數(shù)據(jù)質(zhì)量的評估及數(shù)據(jù)質(zhì)量評估分析模型的開發(fā)。 完成其他業(yè)務需求中明確的試點系統(tǒng)的數(shù)據(jù)標準發(fā)布和質(zhì)量評估落地工作。2.2 項目范圍2.2.1 實施內(nèi)容1) 元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)相關(guān)基礎性工作根據(jù)業(yè)務需求，結(jié)合企業(yè)現(xiàn)有系統(tǒng)的情況，制定具體項目實施方案，確保能完成相關(guān)咨詢成果在系統(tǒng)內(nèi)的部署和設置。完成系統(tǒng)接口設計、系統(tǒng)架構(gòu)設計和形成實施所需的需求規(guī)格化文檔等工作。完成產(chǎn)品的集成安裝和初步調(diào)試工作。若提供的軟硬件配置建議書不能完全滿足企業(yè)軟硬件選型需要的，需要協(xié)助事先完成必要的產(chǎn)品測試工作，確定最終的系統(tǒng)軟硬件配置清單。2) 元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)的客制化開發(fā)實施根據(jù)企業(yè)的業(yè)務需求，對產(chǎn)品或應用進行客制化實施。根據(jù)對業(yè)務、技術(shù)元數(shù)據(jù)進行抽取和加載，在系統(tǒng)中建立元數(shù)據(jù)之間的映射關(guān)系。根據(jù)評分模型對評分卡進行客制化開發(fā)，并能將評分結(jié)果數(shù)據(jù)在第三方報表平臺上展現(xiàn)。本階段需要完成系統(tǒng)的概要設計、詳細設計；完成數(shù)據(jù)接口設計和數(shù)據(jù)ETL工作；完成產(chǎn)品的配置，應用和報表的客制化開發(fā)等。產(chǎn)品客戶化過程中，出現(xiàn)在場人員無法解決的技術(shù)或產(chǎn)品問題時，投標人應及時組織國內(nèi)國外資源，快速解決問題，不能因此對項目進度造成影響。3) 元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)的測試完成元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)的各類測試工作，包括：單元測試、集成測試、壓力測試和協(xié)助用戶測試，測試工作需要符合企業(yè)測試規(guī)范要求。單元測試和集成測試的主要工作是：制定測試策略和計劃、準備測試案例和數(shù)據(jù)、執(zhí)行各類測試案例(含功能測試、接口測試、報表測試、系統(tǒng)管理和非功能性需求測試等)、分析測試結(jié)果、針對測試問題進行回歸測試。壓力測試的主要工作是：制定測試策略和計劃、準備測試案例和數(shù)據(jù)、執(zhí)行性能測試案例、分析測試結(jié)果、針對測試問題進行回歸測試，完成系統(tǒng)調(diào)優(yōu)工作。用戶測試的主要內(nèi)容是：做好測試數(shù)據(jù)準備工作，并協(xié)助完成測試。4) 元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)的上線和試運行完成元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)的上線和試運行工作。元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)上線的相關(guān)事宜，主要包括：確定系統(tǒng)軟硬件、完成系統(tǒng)整體部署(含集成部署)、調(diào)試和調(diào)優(yōu)、完成系統(tǒng)的初始化工作。完成符合企業(yè)規(guī)范的上線和移交文檔。編寫用戶操作手冊、業(yè)務手冊、系統(tǒng)操作手冊等。元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)試運行相關(guān)工作，主要包括：試運行實施規(guī)劃、試運行過程中的問題整理和處理、試運行結(jié)果分析等。維護系統(tǒng)、明確系統(tǒng)應急處理機制并演練等。2.3 方案概述數(shù)據(jù)管控系統(tǒng)建設方案元數(shù)據(jù)產(chǎn)品MetaOne系統(tǒng)和數(shù)據(jù)質(zhì)量系統(tǒng)QualityOne，并結(jié)合專業(yè)的業(yè)務和技術(shù)團隊，旨在建立一套符合企業(yè)數(shù)據(jù)管控體系建設需求的數(shù)據(jù)管控體系系統(tǒng)。 數(shù)據(jù)管控體系建設項目依托元數(shù)據(jù)和數(shù)據(jù)質(zhì)量管理體系，旨在建立一套符合企業(yè)特色的數(shù)據(jù)管控體系系統(tǒng)，本項目實施主要完成數(shù)據(jù)管控系統(tǒng)咨詢成果落地工作，通過數(shù)據(jù)標準配置；指標標準管理及分析預警；元數(shù)據(jù)獲取和調(diào)度；數(shù)據(jù)質(zhì)量分析和預警展示和數(shù)據(jù)探查分析和預警等模塊，全方位全角度展示企業(yè)系統(tǒng)平臺技術(shù)和業(yè)務元數(shù)據(jù)分析，最終，實現(xiàn)數(shù)據(jù)質(zhì)量監(jiān)控預警。第三章 總體方案3.1 系統(tǒng)架構(gòu)3.1.1 總體系統(tǒng)架構(gòu)數(shù)據(jù)管控體系建設平臺實施方案采用雙模式進行調(diào)度配置，為保證第一時間有效監(jiān)控業(yè)務風險相關(guān)業(yè)務指標監(jiān)控情況，因此，總體方案中，首先采用企業(yè)數(shù)據(jù)倉庫平臺調(diào)度平臺優(yōu)先監(jiān)控風險相關(guān)業(yè)務指標信息,其次元數(shù)據(jù)管理產(chǎn)品內(nèi)部調(diào)度機制，加載相關(guān)平臺，關(guān)系數(shù)據(jù)庫(應用業(yè)務數(shù)據(jù)和技術(shù)業(yè)務數(shù)據(jù))和數(shù)據(jù)模型等元數(shù)據(jù)信息。信息交付層：主要展示元數(shù)據(jù)和數(shù)據(jù)質(zhì)量成果信息，展示方式主要通過都必須通過AD域驗證(統(tǒng)一認證平臺)，信息訪問通過報表平臺BIEE和元數(shù)據(jù)系統(tǒng)內(nèi)部展示平臺展示元數(shù)據(jù)和數(shù)據(jù)質(zhì)量分析預警信息。應用層：主要提供企業(yè)BIEE報表系統(tǒng)展示的數(shù)據(jù)接口，展示業(yè)務客戶需要的業(yè)務元數(shù)據(jù)信息。系統(tǒng)管理層：主要描述MetaOne和QualityOne為用戶提供基本功能完善的元數(shù)據(jù)倉儲管理平臺，并支持基于平臺的應用服務定制。豐富的調(diào)用接口和強大的二次開發(fā)指南，保障產(chǎn)品良好的適用性。系統(tǒng)整體在功能上，劃分為存儲層、基本功能層、接口層、應用層。數(shù)據(jù)獲取層：主要描述系統(tǒng)獲取元數(shù)據(jù)方式有兩種觸發(fā)方式，為實現(xiàn)監(jiān)控風險相關(guān)業(yè)務指標，系統(tǒng)將采用部分任務配置在調(diào)度平臺調(diào)度；其他數(shù)據(jù)獲取方式將采用MetaOne定時觸發(fā)和依賴滿足觸發(fā)任務，將所需的業(yè)務指標數(shù)據(jù)和平臺技術(shù)數(shù)據(jù)安裝規(guī)范加載至平臺內(nèi)部。源數(shù)據(jù)層：主要描述數(shù)據(jù)管控體系的數(shù)據(jù)源信息，包括標準格的業(yè)務元數(shù)據(jù)；鏡像業(yè)務系統(tǒng)關(guān)系數(shù)據(jù)庫；ETL系統(tǒng)標準元數(shù)據(jù)信息；平臺相關(guān)技術(shù)元數(shù)據(jù)信息；模型設計文件元數(shù)據(jù)和咨詢涉及的其他標準元數(shù)據(jù)文件成果。3.1.2 物理系統(tǒng)架構(gòu) 數(shù)據(jù)管控體系系統(tǒng)物理架構(gòu)采用應用服務和數(shù)據(jù)庫服務器獨立方式設計，同時，兩臺服務器具體內(nèi)部互補自動切換功能，有效防止由其他因素導致的系統(tǒng)癱瘓。 3.2 系統(tǒng)數(shù)據(jù)流程下面展示元數(shù)據(jù)和數(shù)據(jù)質(zhì)量系統(tǒng)數(shù)據(jù)流程圖示如下：3.3 網(wǎng)絡和安全MetaOne元數(shù)據(jù)系統(tǒng)部署于企業(yè)的業(yè)務網(wǎng)段，通過代理將應用服務器地址反向映射辦公網(wǎng)段，僅開通WEB服務端口，向位于辦公網(wǎng)段的業(yè)務管理用戶提供服務；其他業(yè)務系統(tǒng)的接入均在企業(yè)的業(yè)務網(wǎng)段內(nèi)，與外部環(huán)境隔離。3.3.1 開放的Internet標準 系統(tǒng)建立在開放的Internet標準之上，例如：SSL，HTTP，XML，TCP/IP，SOAP，支持多層次的客戶機/服務器體系結(jié)構(gòu)，其通過TCI組件支持多種報文的傳輸、組包、解包；利用web service實現(xiàn)與異構(gòu)系統(tǒng)之間的數(shù)據(jù)交換?？梢猿晒\行在支持Java虛擬機的各種操作系統(tǒng)及相應的各種硬件平臺上，符合信息技術(shù)的發(fā)展方向，具備廣泛的應用前景。3.3.2 系統(tǒng)層安全系統(tǒng)層安全主要針對系統(tǒng)的操作系統(tǒng)和數(shù)據(jù)庫等軟件平臺進行安全防護，其主要采用的措施如下： 安裝系統(tǒng)的安全補?。≒atch）。 關(guān)閉不需要的進程服務和端口。 使用漏洞掃描產(chǎn)品，定期進行安全掃描及時發(fā)現(xiàn)問題并采取補救措施。 定期審核系統(tǒng)配置，避免因配置不當造成的權(quán)限管理混亂。3.3.3 業(yè)務安全控制通過安全代理前置設備、防火墻等系統(tǒng)來保證系統(tǒng)的安全性，以及通過負載均衡來保證系統(tǒng)的高可用性，這只是從網(wǎng)絡環(huán)境和系統(tǒng)結(jié)構(gòu)的角度保證系統(tǒng)的安全，整個系統(tǒng)的安全性應該是一個多層次的概念。主要考慮一下幾個方面： 關(guān)鍵操作有詳細的操作記錄可查。 登錄系統(tǒng)日志的安全審計 多維的交易權(quán)限管理機制，關(guān)鍵操作提供多重授權(quán)功能。對于管理端的關(guān)鍵數(shù)據(jù)設置提供嚴格的復核機制，以保證數(shù)據(jù)的正確性、合法性。 會話管理（Session）：與應用服務器的會話管理結(jié)合，實現(xiàn)多種會話的建立和管理，讓不同的會話采用統(tǒng)一的管理機制。同時實現(xiàn)會話的超時管理，有效防范避免操作人員使用已經(jīng)失效的會話進行誤操作，同時防止垃圾會話數(shù)據(jù)占用內(nèi)存，影響系統(tǒng)性能甚至使系統(tǒng)無法工作。3.3.4 統(tǒng)一身份認證針對統(tǒng)一身份認證系統(tǒng)的要求，系統(tǒng)采取一種適用（針對）于WebLogic Server的、簡潔的、有效可行的統(tǒng)一認證即單點登陸(SSO)解決方案。這個方案以集中統(tǒng)一的用戶信息為基礎，但不包括上節(jié)說明的權(quán)限管理，而僅僅提供一個身份驗證的服務。實現(xiàn)SSO的本義。在SSO幫助用戶完成身份驗證后，由系統(tǒng)本身的權(quán)限管理進行用戶行為的進一步控制。這樣不僅完成了用戶帳號的集中管理，又不失原有系統(tǒng)靈活的權(quán)限控制。而且方案簡單可行，不需要對原有應用做較大更改，適合快速解決Single Sign-On問題，符合行內(nèi)系統(tǒng)的要求。其主要采用SAML Browser Post Profile方案，通過推模式獲取SAML Token，由Identity Provider推Assertion到Service Provider.而后驗證Assertion將用戶重新定向到目標URL。3.4 系統(tǒng)災備 為了保障對數(shù)據(jù)處理的高可靠性和高可用性，系統(tǒng)需要具有較好的實時備份和災難恢復能力。系統(tǒng)采用SQL SERVER 2008數(shù)據(jù)庫服務器支持的雙機熱備容錯方案來實現(xiàn)系統(tǒng)的備份策略，由兩臺機器共享一個磁盤陣列（共享磁盤組），當其中一臺機器發(fā)生故障時，另外一臺機器接管整個磁盤陣列，從而實現(xiàn)雙機容錯。如下圖：第四章 方案細化4.1 產(chǎn)品功能4.1.1 元數(shù)據(jù) 元數(shù)據(jù)產(chǎn)品MetaOne采用高內(nèi)聚、低耦合的組件式產(chǎn)品架構(gòu)，豐富功能組件，為客戶搭建功能強大的元數(shù)據(jù)管理平臺。向用戶全面開放元數(shù)據(jù)功能調(diào)用接口，并提供整套實施方法論。使用戶在完成元數(shù)據(jù)管理、維護等基礎功能的同時，方便實現(xiàn)二次開發(fā)，滿足行業(yè)應用的針對性需求。 l 基本管理平臺（MetaOne Platform）由元數(shù)據(jù)倉儲、Web應用程序、元數(shù)據(jù)接口層、統(tǒng)一數(shù)據(jù)源管理客戶端、元模型操控臺以及元數(shù)據(jù)基本維護管理功能組成的組件集合，是MetaOne產(chǎn)品的基本功能集。l 元數(shù)據(jù)存儲庫（MetaData Repository）基于關(guān)系數(shù)據(jù)庫的元數(shù)據(jù)存儲庫，用于實現(xiàn)元數(shù)據(jù)的物理存儲。l 元數(shù)據(jù)基本維護界面（MetaOne WebAPP）B/S結(jié)構(gòu)的Web管理程序，實現(xiàn)用戶對元數(shù)據(jù)的一般管理、維護操作。l 對外服務接口（MetaOne Interface（MOI）一組基于Java RMI的API集合，內(nèi)容包括對元數(shù)據(jù)、元模型的所有基本操作，配套提供使用方法論，使用戶方便調(diào)用，實現(xiàn)二次應用開發(fā)。l 元數(shù)據(jù)獲取器（MetaData Integration Bridge（MIB）數(shù)據(jù)源管理平臺，對所有連接系統(tǒng)的數(shù)據(jù)源進行統(tǒng)一管理，實現(xiàn)數(shù)據(jù)源元數(shù)據(jù)的抽取和元數(shù)據(jù)向MetaData Repository的導入。l 元模型管理控制操作臺（MetaOne Console）元模型操控臺，用戶通過操控臺實現(xiàn)元模型建模。l 基礎應用分析元數(shù)據(jù)的基本維護管理功能l 高級應用分析通過元數(shù)據(jù)接口，調(diào)用元數(shù)據(jù)及相應功能，針對行業(yè)需求開發(fā)的應用。 功能特性MetaOne的產(chǎn)品理念，是為用戶提供基本功能完善的元數(shù)據(jù)倉儲管理平臺，并支持基于平臺的應用服務定制。豐富的調(diào)用接口和強大的二次開發(fā)指南，保障產(chǎn)品良好的適用性。系統(tǒng)整體在功能上，劃分為存儲層、基本功能層、接口層、應用層。l 元數(shù)據(jù)存儲層包含元數(shù)據(jù)存儲庫，負責承載不同領域的元模型以及相關(guān)的元數(shù)據(jù)。l 元數(shù)據(jù)基本功能層實現(xiàn)系統(tǒng)對元數(shù)據(jù)的基本功能，針對元數(shù)據(jù)自身的維護和管理。包括元數(shù)據(jù)的維護管理、元模型維護管理，影響分析、血統(tǒng)分析、差異分析等圖形展現(xiàn)功能，元數(shù)據(jù)版本管理、權(quán)限管理、日志管理、質(zhì)量管理等。l 接口層MOI為MetaOne提供的元數(shù)據(jù)接口集合，供二次開發(fā)對系統(tǒng)各類數(shù)據(jù)、功能的調(diào)用。l 應用層通過MOI接口層與元數(shù)據(jù)存儲層實現(xiàn)連接的部分屬于應用層。包含兩個方面，Metaone提供的功能組件MO Console和MIB，以及針對不用同的具體需求開發(fā)的應用功能。 數(shù)據(jù)流程MetaOne元數(shù)據(jù)管理系統(tǒng)將涵蓋系統(tǒng)數(shù)據(jù)處理流程各個環(huán)節(jié)的數(shù)據(jù)結(jié)構(gòu)等信息讀取進來，包括源系統(tǒng)信息、ETL過程、數(shù)據(jù)庫結(jié)構(gòu)、數(shù)據(jù)模型、業(yè)務應用、前端展示和門戶管理等，并加入業(yè)務規(guī)則的描述和業(yè)務量值的內(nèi)涵，下面圖示詳細介紹數(shù)據(jù)獲取流程信息： 數(shù)據(jù)獲取MetaOne元數(shù)據(jù)管理系統(tǒng)的元數(shù)據(jù)管理范圍，涵蓋系統(tǒng)數(shù)據(jù)處理流程各個環(huán)節(jié)，各個環(huán)節(jié)中數(shù)據(jù)源所能提供的數(shù)據(jù)類型、結(jié)構(gòu)都需要相對應的元數(shù)據(jù)獲取方法。MetaOne元數(shù)據(jù)管理系統(tǒng)提供統(tǒng)一的數(shù)據(jù)源管理平臺，平臺中集成了針對不同數(shù)據(jù)類型的元數(shù)據(jù)獲取功能插件，可以將包括源系統(tǒng)信息、ETL過程、數(shù)據(jù)庫結(jié)構(gòu)、數(shù)據(jù)模型、業(yè)務應用、前端展示和門戶管理等數(shù)據(jù)源進行統(tǒng)一管理，實現(xiàn)元數(shù)據(jù)的自動獲取。MetaOne提供元數(shù)據(jù)整合獲取平臺元數(shù)據(jù)集成橋（Metadata Integration Bridge，元數(shù)據(jù)集成橋），提供自動獲取、手工獲取兩種元數(shù)據(jù)獲取功能，自動獲取主流BI工具的元數(shù)據(jù)或手工獲取XMI/Excel文件中的元數(shù)據(jù)。MIB具備強大的管理能力和可擴展性，能夠?qū)ψ詣荧@取的數(shù)據(jù)源進行管理，能夠提供自動獲取的框架，在此框架可以擴展自動獲取的適配器；對元數(shù)據(jù)的自動獲取提供持續(xù)穩(wěn)定的調(diào)度支持，能夠按預設的調(diào)度策略觸發(fā)相應的元數(shù)據(jù)自動獲取過程，同時支持對自動獲取過程的日志記錄。MIB體系架構(gòu)如下圖所示：l MIB數(shù)據(jù)接口元數(shù)據(jù)集成橋能夠自動獲取主流BI工具的元數(shù)據(jù)，并支持通過對SQL腳本、TCL腳本的詞法、語法和語義分析，生成滿足CWM規(guī)范要求的數(shù)據(jù)處理元數(shù)據(jù)，存儲到MetaOne中進行統(tǒng)一管理。通過MIB，MetaOne可自動獲取系統(tǒng)項目的相關(guān)工具所涉及的元數(shù)據(jù)，確保元數(shù)據(jù)及時更新與業(yè)務系統(tǒng)同步，減少人為的手工梳理過程。l MIB技術(shù)特點元數(shù)據(jù)集成橋通過把不同數(shù)據(jù)源的元數(shù)據(jù)抽取、轉(zhuǎn)換到統(tǒng)一的元數(shù)據(jù)系統(tǒng)中，能夠?qū)崿F(xiàn)企業(yè)級的元數(shù)據(jù)整合、集中和統(tǒng)一，提升系統(tǒng)的元數(shù)據(jù)管理水平，其技術(shù)特點如下：1. 跨平臺：服務器支持Windows、Unix、Linux(Windows 20002003，Linux，IBM AIX，SUN Solaris)，RCP Client支持Windows、Linux、Mac OS X系統(tǒng)；2. 兼容性：數(shù)據(jù)存儲于主流關(guān)系型數(shù)據(jù)庫系統(tǒng)，支持Oracle，DB2，SQL Server等；3. 靈活及易用性：元數(shù)據(jù)集成橋提供了友好的圖形界面，用戶只需要配置相應的參數(shù)就可以完成本次導入。用戶可以選擇需要導入的對象列表，設置過濾規(guī)則，選擇元數(shù)據(jù)的根節(jié)點，無需要編程就能夠完成各省的特性化需要。4. 主流開放性：100%JAVA、按J2EE模式構(gòu)建、基于RCP Client的客戶端架構(gòu)，采用XML RPC 和 JSON RPC通信方式，支持各類編程語言開發(fā)的分布式應用程序間的通信，如C、JAVA、Perl、PHP、.N等；5. 全中文化和國際化：界面操作全部顯示中文。可以根據(jù)需要按照區(qū)域化的配置顯示客戶熟悉的語言。6. 后臺自動調(diào)度： 通過后臺調(diào)度自動定期執(zhí)行導入作業(yè)。7. 支持增量導入和自動關(guān)系維護：同一個數(shù)據(jù)源多次導入時，可以支持以增量方式進行導入。減少數(shù)據(jù)處理量，提高效率。8. 自動關(guān)系維護：通過元數(shù)據(jù)的屬性或者解析SQL的方式，能夠自動的建立元數(shù)據(jù)之間的關(guān)系。9. 支持大數(shù)據(jù)量： 為了能夠支持超大數(shù)據(jù)量（200M）的元數(shù)據(jù)導入，系統(tǒng)優(yōu)化了XML解析和數(shù)據(jù)比較，并且支持多個Java虛擬機（JVM）的數(shù)據(jù)導入，最大限度的利用了硬件系統(tǒng)的資源。 數(shù)據(jù)模型元數(shù)據(jù)管理系統(tǒng)具有獨立的元模型管理控制平臺，實現(xiàn)元模型的建立、關(guān)系的維護等功能。元模型架構(gòu)支持國際CWM規(guī)范、提供行業(yè)預定義元模型、支持用戶按需完全定制，從而保障用戶隨著時間推移對更多種類元數(shù)據(jù)的管理需要，以及完善現(xiàn)有元數(shù)據(jù)定義的需要，能滿足企業(yè)中長期發(fā)展的需求，提高投資回報率。元模型管理功能包括： 提供圖形化元模型管理控制臺（Console） 支持元模型的增加、刪除、修改等基本操作 支持標準的CWM元模型 支持元模型擴展和自定義 支持繼承、關(guān)聯(lián)、依賴等基本關(guān)系類型 支持關(guān)系類型擴展 支持多業(yè)務領域（Domain） 支持跨業(yè)務領域的元模型差異分析 以XML格式對元模型進行導入導出 4.1.2 數(shù)據(jù)質(zhì)量 數(shù)據(jù)質(zhì)量評估體系數(shù)據(jù)質(zhì)量評估體系主要由兩部分組成：數(shù)據(jù)質(zhì)量評估維度和數(shù)據(jù)質(zhì)量加權(quán)計分卡：l 數(shù)據(jù)質(zhì)量基礎評估維度是指對數(shù)據(jù)質(zhì)量進行定量或定性評估時所采用的描述數(shù)據(jù)質(zhì)量不同方面特性的評價標準。l 數(shù)據(jù)質(zhì)量加權(quán)計分卡是在數(shù)據(jù)質(zhì)量評估維度的基礎上，根據(jù)業(yè)務關(guān)鍵性對各類維度進行權(quán)重設定并計算形成數(shù)據(jù)質(zhì)量評分。數(shù)據(jù)質(zhì)量基礎評估維度根據(jù)數(shù)據(jù)用戶對數(shù)據(jù)質(zhì)量的關(guān)注點不同，數(shù)據(jù)質(zhì)量特征可分為兩類：數(shù)據(jù)內(nèi)容質(zhì)量和數(shù)據(jù)展示質(zhì)量。兩類數(shù)據(jù)質(zhì)量特征分別具有一套數(shù)據(jù)質(zhì)量的基礎評估維度。1. 數(shù)據(jù)內(nèi)容質(zhì)量評估維度：2. 數(shù)據(jù)展示質(zhì)量評估維度： 數(shù)據(jù)質(zhì)量加權(quán)計分卡數(shù)據(jù)質(zhì)量加權(quán)評估計分是根據(jù)數(shù)據(jù)質(zhì)量評估維度、被評估數(shù)據(jù)的技術(shù)特性和業(yè)務特性等等要素對數(shù)據(jù)進行分類，對不同類型進行權(quán)重值設置，對根據(jù)各類數(shù)據(jù)質(zhì)量評估維度得出的基礎評估量化值進行加權(quán)計算并最終得到數(shù)據(jù)質(zhì)量綜合水平計分的過程。具體分類方式如下：l 數(shù)據(jù)質(zhì)量評估維度分類：將上述的基礎評估維度進行進一步分類，可得到數(shù)據(jù)質(zhì)量六個方面的特性，即：合理性、一致性、及時性、完整性、唯一性和準確性。l 數(shù)據(jù)技術(shù)特性分類：根據(jù)數(shù)據(jù)的來源不同，可以分為基礎數(shù)據(jù)、數(shù)據(jù)倉庫匯總數(shù)據(jù)、應用層數(shù)據(jù)等。l 數(shù)據(jù)業(yè)務特性分類：可以根據(jù)業(yè)務條線對數(shù)據(jù)進行分類，如市場風險數(shù)據(jù)、信貸風險數(shù)據(jù)、操作風險數(shù)據(jù)等。對不同分類設置權(quán)值后，即可進行數(shù)據(jù)質(zhì)量水平的加權(quán)計算。數(shù)據(jù)質(zhì)量加權(quán)計分卡的總體設計思路示意圖如下所示：數(shù)據(jù)質(zhì)量加權(quán)計分卡 功能框架數(shù)據(jù)質(zhì)量組件包含兩塊內(nèi)容：規(guī)則制定，質(zhì)量評估。規(guī)則制定是基于咨詢數(shù)據(jù)標準的導入，也包含企業(yè)后續(xù)對數(shù)據(jù)質(zhì)量規(guī)則的制定（數(shù)據(jù)標準，數(shù)據(jù)接口，元數(shù)據(jù)規(guī)則等）；質(zhì)量評估則是對規(guī)則結(jié)果的調(diào)整，通過數(shù)據(jù)評估，制定一整套數(shù)據(jù)質(zhì)量管理流程，便于對數(shù)據(jù)進行修正，對業(yè)務規(guī)則進行合并，清理，更好得服務決策和分析。 質(zhì)量管理數(shù)據(jù)質(zhì)量管理系統(tǒng)通過對KPI指標信息進行采集，對監(jiān)控規(guī)則進行設置，對異常信息進行告警，出具數(shù)據(jù)質(zhì)量報告等功能，可以滿足企業(yè)對高管系統(tǒng)KPI指標進行監(jiān)控的需求。對于數(shù)據(jù)質(zhì)量管理來說，對規(guī)則的靈活設置，對任務的及時反饋，對結(jié)果的評估，以及和第三方工具緊密集合是一個產(chǎn)品成敗的關(guān)鍵。對于數(shù)據(jù)質(zhì)量流程，一般框架如下：l 存儲管理數(shù)據(jù)質(zhì)量管理系統(tǒng)定義了支撐數(shù)據(jù)質(zhì)量監(jiān)控功能并符合CWM標準的元模型結(jié)構(gòu)，包括監(jiān)控對象、采集項、采集規(guī)則以及監(jiān)控規(guī)則等。其中所涉及的元數(shù)據(jù)信息如監(jiān)控對象信息，需要從元數(shù)據(jù)管理系統(tǒng)獲取。質(zhì)量管理人員也可以創(chuàng)建新的元數(shù)據(jù)，來滿足質(zhì)量監(jiān)控的需要。相關(guān)的質(zhì)量信息存儲在數(shù)據(jù)質(zhì)量關(guān)系數(shù)據(jù)庫中。l 采集管理數(shù)據(jù)質(zhì)量采集模塊由采集服務器和采集代理組成，采集代理支持分布式部署，采集服務器對采集代理進行集中管理，支持的功能如下所示： 代理啟動時向服務器注冊請求，注冊信息包含代理的IP地址、通訊端口、進程ID，啟動時間；代理每個一段時間要向服務器發(fā)送心跳檢測信號，心跳間隔時間可配置；代理在允許結(jié)束時向服務器發(fā)送注銷請求；代理可以支持服務器對代理運行狀態(tài)的查詢；代理在與服務器中斷連接后可以保留已運行完畢檢查報告和未運行完的任務狀態(tài)；代理負責采集數(shù)據(jù)，將采集的格式化成質(zhì)量平臺的數(shù)據(jù)格式，關(guān)聯(lián)相應的監(jiān)控對象；服務器集中保管所有的采集配置數(shù)據(jù)，代理自動從服務器獲取相關(guān)的采集信息。l 規(guī)則監(jiān)控管理數(shù)據(jù)質(zhì)量管理系統(tǒng)的規(guī)則包括數(shù)據(jù)采集規(guī)則、監(jiān)控規(guī)則以及告警規(guī)則等，因采集規(guī)則和告警規(guī)則相對較簡單。監(jiān)控規(guī)則存儲在數(shù)據(jù)質(zhì)量關(guān)系數(shù)據(jù)庫中，包括規(guī)則當前信息、歷史信息以及變更信息等， 具體規(guī)則可以通過Quality One選擇，也可以通過前端二次開發(fā)，獲取更多的詳細分析。為了實現(xiàn)監(jiān)控規(guī)則的靈活調(diào)度及與業(yè)務分析過程相結(jié)合，規(guī)則調(diào)度部分支持時間觸發(fā)調(diào)度和規(guī)則依賴調(diào)度兩種方式，具體說明如下。時間觸發(fā)方式，即按照定時觸發(fā)、循環(huán)觸發(fā)及間隔觸發(fā)的方式對規(guī)則進行調(diào)度。如下圖所示。規(guī)則依賴調(diào)度，即某規(guī)則是否執(zhí)行調(diào)度需要判斷它的前置條件是否滿足，或某規(guī)則執(zhí)行之后，根據(jù)其執(zhí)行的結(jié)果，來決定另一個節(jié)點是否執(zhí)行。此調(diào)度方式可支持數(shù)據(jù)質(zhì)量問題的逐步探查式分析。l 告警管理數(shù)據(jù)質(zhì)量采集和檢查過程中發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題時，系統(tǒng)會提示某些數(shù)據(jù)或者規(guī)則超過了指定閥值，系統(tǒng)就對這些數(shù)據(jù)做告警處理。告警流程，可以通過數(shù)據(jù)接口的方式，嵌入到數(shù)據(jù)質(zhì)量管理流程中，便于后續(xù)做進一步的處理。在告警時，客戶需分析查明告警原因，需要具體的明細數(shù)據(jù)，系統(tǒng)提供界面查詢的接口，也提供后端文件的接口，便于后續(xù)的檢查，也可以用于外部前端接口更深入的分析，或者檢查歷史趨勢。l 質(zhì)量報告數(shù)據(jù)管理系統(tǒng)提供數(shù)據(jù)質(zhì)量日常管理各種報告，包括數(shù)據(jù)質(zhì)量問題相關(guān)的各種明細及匯總報告。質(zhì)量報告模塊集成了內(nèi)置的圖形引擎，支持多種圖形的動態(tài)展示，如柱狀圖、餅圖、折線圖等，可輸出數(shù)據(jù)表格與圖形動態(tài)聯(lián)動的各種數(shù)據(jù)質(zhì)量式樣， 也可通過提供外部數(shù)據(jù)接口的方式，輸出復雜的質(zhì)量報告。 質(zhì)量評估數(shù)據(jù)質(zhì)量評估是指依據(jù)數(shù)據(jù)質(zhì)量評估任務要求，結(jié)合數(shù)據(jù)質(zhì)量探查的結(jié)果，按照一定規(guī)則，對探查結(jié)果進行統(tǒng)計分析，并形成綜合評估分析結(jié)果的活動，該活動需求包括任務管理、評估規(guī)則設置、評估結(jié)果分析等。數(shù)據(jù)質(zhì)量評估師對指定規(guī)則設置后的處理流程，如下圖所示（一圖為審計流程，二圖為評估處理流程） 圖一圖二 質(zhì)量探查 數(shù)據(jù)剖析功能l 內(nèi)置豐富的分析評估模型內(nèi)置針對指標日常和節(jié)假日波動的閾值分析和優(yōu)化模型、針對指標業(yè)務相關(guān)性的關(guān)聯(lián)波動分析模型、針對問題分布的監(jiān)控覆蓋和規(guī)則優(yōu)化分析模型等常用分析評估模型，并且可以根據(jù)業(yè)務需要進行擴充。1. 列分析，對數(shù)據(jù)源表中的字段的值進行統(tǒng)計。比如：最大值，最小值，唯一值個數(shù)，NULL 值的比例，字段類型，長度，字段格式以及數(shù)值分布比例等；2. 連接分析，對兩個表之間的連接列和匹配程度進行分析；3. 鍵值分析，分析和檢查表的中某1列或多列是否符合唯一性約束 高級分析功能規(guī)則管理：支持對數(shù)據(jù)源表中的字段設置評分權(quán)重，以及配置校驗規(guī)則；規(guī)則分類：質(zhì)量監(jiān)控信息進行規(guī)則校驗、觸發(fā)質(zhì)量告警的計算準則，是判斷是否為數(shù)據(jù)質(zhì)量問題的標準，主要包括如下幾類：l 均差探查l 一致性校驗規(guī)則l 自定義檢查規(guī)則l 關(guān)聯(lián)性分析檢查 支持度分析數(shù)據(jù)質(zhì)量產(chǎn)品功能需求MetaOne支持度說明系統(tǒng)操作功能100%系統(tǒng)服務功能100%變更和升級100%基本功能要求數(shù)據(jù)探查列分析100%連接分析100%鍵值分析100%復雜規(guī)則分析100%數(shù)據(jù)準確性分析100%數(shù)據(jù)一致性分析100%數(shù)據(jù)完整性分析100%數(shù)據(jù)規(guī)范性分析100%數(shù)據(jù)參照完整性分析100%其他分析100%質(zhì)量評估定義評估任務100%跟蹤評估結(jié)果100%評估規(guī)則設定100%權(quán)重設置100%評估計算手工或者自動100%支持第三方100%通過接口方式，需要ETL工作統(tǒng)計報表需求100%用戶權(quán)限管理需求100%安全審計需求100%性能說明100%其他要求100%視情況而定，可以客制化4.2 系統(tǒng)調(diào)度數(shù)據(jù)管控體系內(nèi)部任務調(diào)度機制采用雙模型進行，整體系統(tǒng)調(diào)度集合企業(yè)數(shù)據(jù)倉庫的統(tǒng)一調(diào)度平臺觸發(fā)平臺內(nèi)部調(diào)度機制。系統(tǒng)調(diào)度設計遵循企業(yè)Automation調(diào)度機制，主要是幫助有效監(jiān)控數(shù)據(jù)管控體系項目中的關(guān)注風險系統(tǒng)指標規(guī)則。4.3 系統(tǒng)集成MetaOne系統(tǒng)根據(jù)需要靈活地為其他系統(tǒng)、應用或平臺所嵌套集成，以滿足業(yè)務用戶能夠就近訪問操作的需要；MetaOne系統(tǒng)具備該能力，是由于MetaOne采用平臺架構(gòu)，提供強大的API接口，MOI（MetaOne Interface）是MetaOne根據(jù)多年元數(shù)據(jù)建設經(jīng)驗，結(jié)合國內(nèi)元數(shù)據(jù)應用的實際情況，推出的一套元數(shù)據(jù)調(diào)用接口（API）