數(shù)據質量平臺V200產品規(guī)劃.ppt

1、數(shù)據質量管理平臺 V2.0.0產品規(guī)劃（版本V0.8）,2010年08月,目錄,核心概念分析 產品目標 產品定位 業(yè)務架構 數(shù)據架構 應用架構 集成架構 演進思路 工作量估算 技術架構 基礎平臺要求,核心概念分析,核心概念分析,目錄,核心概念分析 產品目標 產品定位 業(yè)務架構 數(shù)據架構 應用架構 集成架構 演進思路 工作量估算 技術架構 基礎平臺要求,產品目標,遠 景 目 標,業(yè)務目標： 在數(shù)據質量監(jiān)控界面上集成元數(shù)據信息，實現(xiàn)拓撲呈現(xiàn)功能，提供經營分析系統(tǒng)數(shù)據處理狀態(tài)和質量狀況的全局視圖； 進一步完善數(shù)據質量管理知識庫，可由數(shù)據質量知識庫自動產生檢查規(guī)則的優(yōu)化建議、自動產生數(shù)據質量問題的處理

2、建議； 進一步完善數(shù)據質量評估的應用，結合元數(shù)據信息，實現(xiàn)數(shù)據質量評分體系； 進一步完善數(shù)據質量對外服務功能，實現(xiàn)數(shù)據質量管理子系統(tǒng)對經營分析系統(tǒng)的全面技術支撐。,技術目標： 云計算特性實現(xiàn)：分布式、動態(tài)負載、云部署和監(jiān)控； 數(shù)據質量知識庫關聯(lián)案例搜索，模糊查詢與知識挖掘技術應用。,產品目標,近 期 目 標,業(yè)務目標： 在經營分析系統(tǒng)數(shù)據處理主要階段設置數(shù)據質量檢測點，支持對經營分析數(shù)據質量的全程監(jiān)控，建立有效的數(shù)據質量監(jiān)控機制，提供全面及時的數(shù)據質量報告，預防和控制錯誤范圍的擴大； 完善數(shù)據質量管理知識庫，積累數(shù)據質量問題及其處理過程的相關知識，為相同或相近問題的處理提供參考； 初步建立數(shù)據

3、質量評估的應用，通過評估發(fā)現(xiàn)數(shù)據質量潛在的問題和規(guī)律； 建立數(shù)據質量問題處理機制，有效協(xié)助處理經分域數(shù)據質量問題； 開發(fā)數(shù)據質量對外服務功能，提高數(shù)據質量管理子系統(tǒng)對經營分析系統(tǒng)的技術支撐力度。,技術目標： 模塊化與組件化改造； 任務調度與業(yè)務過程解藕，復用統(tǒng)一的調度構件; 采集程序分布式部署。 配置數(shù)據庫與數(shù)據倉庫分離，采用文件數(shù)據庫。,目錄,核心概念分析 產品目標 產品定位 業(yè)務架構 數(shù)據架構 應用架構 集成架構 演進思路 工作量估算 技術架構 基礎平臺要求,在公司產品規(guī)劃中定位,目錄,核心概念分析 產品目標 產品定位 業(yè)務架構 數(shù)據架構 應用架構 集成架構 演進思路 工作量估算 技術架構

4、 基礎平臺要求,業(yè)務過程列表,實體列表,上下文圖,0級DFD圖,1級DFD-P1規(guī)則配置,1級DFD-P2信息采集,1級DFD-P3檢查稽核,1級DFD-P4監(jiān)控告警,1級DFD-P5問題處理,1級DFD-P6知識庫,1級DFD-P7質量評估,1級DFD-P9對外服務,2級DFD-P1.1采集規(guī)則配置,2級DFD-P1.2稽核規(guī)則配置,2級DFD-P1.3告警規(guī)則配置,2級DFD-P3.1實體稽核,2級DFD-P3.2業(yè)務源數(shù)據稽核,2級DFD-P3.3處理過程檢查,2級DFD-P3.5指標稽核,2級DFD-P4.6告警管理,2級DFD-P7.2數(shù)據質量問題狀態(tài)評估,2級DFD-P7.3數(shù)據源

5、接口質量評估,目錄,核心概念分析 產品目標 產品定位 業(yè)務架構 數(shù)據架構 概念模型 邏輯模型 應用架構 集成架構 演進思路 工作量估算 技術架構 基礎平臺要求,概念模型設計：0級E-R,概念模型設計：1級E-R,概念模型設計：2級E-R,邏輯模型圖,功能數(shù)據控制關系,數(shù)據庫應用分布關系,目錄,核心概念分析 產品目標 產品定位 業(yè)務架構 數(shù)據架構 應用架構 集成架構 演進思路 工作量估算 技術架構 基礎平臺要求,數(shù)據質量管理功能結構圖,數(shù)據質量管理功能層次,核心業(yè)務功能描述,規(guī)則配置：數(shù)據采集，數(shù)據稽核和告警監(jiān)控,質量評估會根據預先用戶配置的規(guī)則進行相應的采集、稽核、告警和相應的評估。規(guī)則定制分

6、為采集規(guī)則配置，稽核規(guī)則配置、告警規(guī)則配置，評估規(guī)則配置。 采集規(guī)則配置：采集規(guī)則配置作為采集程序執(zhí)行的依據。指定采集的數(shù)據庫，采集方式等，分為指標采集規(guī)則，實體采集規(guī)則，業(yè)務源數(shù)據采集規(guī)則，處理過程采集規(guī)則,核心業(yè)務功能描述,稽核規(guī)則配置：依據數(shù)據倉庫、數(shù)據集市等系統(tǒng)的模型約束、實體屬性、實體關系和實體業(yè)務特征等角度來制定相應稽核規(guī)則。作為數(shù)據稽核的依據，分為指標稽核規(guī)則，實體稽核規(guī)則，業(yè)務源數(shù)據稽核，處理過程稽核規(guī)則 告警規(guī)則配置：據數(shù)據倉庫模型約束以及關系、具體業(yè)務約束指定相應的告警規(guī)則。依據告警規(guī)則發(fā)出相應的告警。分為指標告警規(guī)則，實體告警規(guī)則，業(yè)務源數(shù)據告警規(guī)則，處理過程告警規(guī)則,核

7、心業(yè)務功能描述,評估規(guī)則配置：數(shù)據質量問題狀況評估是對數(shù)據質量問題及其處理情況的階段性匯總與總結，評估過程中生成相應的數(shù)據質量問題狀況評估報告供經營分析系統(tǒng)管理人員和維護人員分析與使用，數(shù)據質量人員根據數(shù)據質量問題狀況和業(yè)務經驗指定相應的評估規(guī)則，作為相應的指導。 信息采集：數(shù)據質量采集到的信息作為后續(xù)數(shù)據質量檢查環(huán)節(jié)的輸入，是數(shù)據質量監(jiān)控的基礎。信息采集分為指標信息采集，實體信息采集，業(yè)務信息采集,核心業(yè)務功能描述,指標信息采集：根據指標采集規(guī)則采集相應的指標值，這個指標含有指標賬期，業(yè)務庫等相關信息，數(shù)據稽核會根據采集結果是否滿足稽核規(guī)則來報告異常。 實體信息采集： 根據實體信息采集規(guī)則采

8、集需要稽核的實體信息和屬性信息，稽核會對實體進行主鍵檢查，外鍵檢查，值域檢查，完整性檢查，合法性檢查這些操作。 業(yè)務過程信息采集：根據業(yè)務信息采集規(guī)則采集相應業(yè)務信息，從而檢查分析系統(tǒng)各數(shù)據處理環(huán)節(jié)處理的完成情況，處理情況等信息。,核心業(yè)務功能描述,檢查稽核：檢查稽核部分根據預先配置的規(guī)則、算法和質量檢查度量，對數(shù)據的正確性、合理性等多個角度進行檢查，及時發(fā)現(xiàn)數(shù)據質量問題。主要包含以下內容：實體稽核、指標稽核、業(yè)務源數(shù)據稽核和處理過程檢查。 監(jiān)控告警：數(shù)據質量稽核完成后，數(shù)據稽核結果信息根據告警規(guī)則進行數(shù)據質量的告警，并產生相應的工單信息，對數(shù)據質量問題進行處理。,核心管理功能描述,知識庫：用

9、來收集和積累有關數(shù)據及過程問題的處理經驗總結，這些知識可作為今后數(shù)據質量問題解決方法和問題分析的參考。 問題處理：數(shù)據質量稽核發(fā)現(xiàn)問題時，能夠對問題處理，生成相應的問題工單進行處理，同時能夠將相關信息進行對外提供。 數(shù)據質量評估：數(shù)據質量評估是對數(shù)據質量日常管理中階段性累積的各種信息進行匯總、梳理、統(tǒng)計和分析，并輸出評估報告的過程。通過數(shù)據質量評估可以發(fā)現(xiàn)一些潛在的數(shù)據質量問題和變化規(guī)律，如指標關聯(lián)波動規(guī)律和同類問題的發(fā)生規(guī)律等。數(shù)據質量評估也可能會觸發(fā)相關的后續(xù)處理，例如監(jiān)控規(guī)則優(yōu)化和問題處理等。,目錄,核心概念分析 產品目標 產品定位 業(yè)務架構 數(shù)據架構 應用架構 集成架構 演進思路 工作

10、量估算 技術架構 基礎平臺要求,集成關系圖,集成列表,目錄,核心概念分析 產品目標 產品定位 業(yè)務架構 數(shù)據架構 應用架構 集成架構 演進思路 工作量估算 技術架構 基礎平臺要求,演進思路,目錄,核心概念分析 產品目標 產品定位 業(yè)務架構 數(shù)據架構 應用架構 集成架構 演進思路 工作量估算 技術架構 基礎平臺要求,工作量估算-總結,需求分析： 1 人月 系統(tǒng)設計： 1.8 人月 開發(fā)實現(xiàn)： 5 人月 測 試： 2 人月 部署實施： 0.1 人月 合 計： 8.9 人月,工作量估算需求分析,工作量估算系統(tǒng)設計,工作量估算開發(fā)實現(xiàn),工作量估算測試,工作量估算部署實施,目錄,核心概念分析 產品目標

11、產品定位 業(yè)務架構 數(shù)據架構 應用架構 集成架構 演進思路 工作量估算 技術架構 基礎平臺要求,技術中立架構,外部 系統(tǒng),展現(xiàn)層,應用層,數(shù)據層,信息采集,檢查稽核,監(jiān)控告警,任務調度,持久化工具,規(guī)則信息,采集信息,稽核信息,告警信息,評估信息,問題處理信息,知識庫信息,日志信息,規(guī)則配置,質量問題處理,質量知識庫,采集結果查詢,稽核結果查詢,質量評估報告,數(shù)據質量咨詢,數(shù)據質量交互,經分門戶,元數(shù)據平臺,數(shù)據集成 平臺,數(shù)據倉庫,業(yè)務源系統(tǒng),界面 集成,數(shù)據 集成,JVM,Web Server,JVM,技術特定架構,外部 系統(tǒng),展現(xiàn)層,應用層,數(shù)據層,信息采集,檢查稽核,監(jiān)控告警,任務調度

12、,Hibernate、iBatis,規(guī)則信息,采集信息,稽核信息,告警信息,評估信息,問題處理信息,知識庫信息,日志信息,規(guī)則配置,質量問題處理,質量知識庫,采集結果查詢,稽核結果查詢,質量評估報告,數(shù)據質量查詢,數(shù)據質量交互,經分門戶,元數(shù)據平臺,數(shù)據集成 平臺,數(shù)據倉庫,業(yè)務源系統(tǒng),界面 集成,數(shù)據 集成,JVM,WebLogic/Tomcat,JVM,Html、jQuery、Struts、Osgi、SpringDM,Osgi、SpringDM,平臺架構圖,數(shù)據層,邏輯層,接入層,主配置庫,Web容器,規(guī)則配置,采集、檢查、告警結果展示,問題處理,數(shù)據質量案例庫管理,質量評估,JVM,數(shù)據

13、采集,監(jiān)控告警,檢查稽核,對外服務,數(shù)據采集,數(shù)據采集,詳細信息存儲庫 （可選）,技術要求,支持常用主流數(shù)據庫(至少包括oracle、DB2、Teradata)的數(shù)據實體屬性的采集。 支持組件化的開發(fā)與部署。 采集程序支持分布式部署。 支持采集以下多種類型的數(shù)據：文件日志、系統(tǒng)日志、數(shù)據庫庫表、通過執(zhí)行腳本或系統(tǒng)命令獲取的數(shù)據（如CPU信息和內存信息）。 問題總結過程和數(shù)據質量評估過程中輸出的文檔支持Text、CVS、PPT、Excel或Word等格式。 界面風格要求一致（如用統(tǒng)一的CSS）、界面直觀易懂、易操作和人性化。,目錄,核心概念分析 產品目標 產品定位 業(yè)務架構 數(shù)據架構 應用架構 集成架構 演進思路 工作量估算 技術架構 基礎平臺要