DreamBI大數(shù)據(jù)分析平臺-技術(shù)白皮書

1、 DreamBI大數(shù)據(jù)分析平臺 技術(shù)白皮書 目錄 TOC o 1-3 h z u HYPERLINK l _Toc429650084 第一章 產(chǎn)品簡介 PAGEREF _Toc429650084 h 3 HYPERLINK l _Toc429650085 一、產(chǎn)品說明 PAGEREF _Toc429650085 h 3 HYPERLINK l _Toc429650086 二、產(chǎn)品特點 PAGEREF _Toc429650086 h 3 HYPERLINK l _Toc429650087 三、系統(tǒng)架構(gòu) PAGEREF _Toc429650087 h 3 HYPERLINK l _Toc42965

2、0088 四、基礎(chǔ)架構(gòu) PAGEREF _Toc429650088 h 6 HYPERLINK l _Toc429650089 五、平臺架構(gòu) PAGEREF _Toc429650089 h 6 HYPERLINK l _Toc429650090 第二章 功能介紹 PAGEREF _Toc429650090 h 6 HYPERLINK l _Toc429650093 2.1.元數(shù)據(jù)管理平臺 PAGEREF _Toc429650093 h 6 HYPERLINK l _Toc429650094 2.1.1.業(yè)務(wù)元數(shù)據(jù)管理 PAGEREF _Toc429650094 h 7 HYPERLINK l

3、_Toc429650095 2.1.2.指標元數(shù)據(jù)管理 PAGEREF _Toc429650095 h 9 HYPERLINK l _Toc429650096 2.1.3.技術(shù)元數(shù)據(jù)管理 PAGEREF _Toc429650096 h 13 HYPERLINK l _Toc429650097 2.1.4.血統(tǒng)管理 PAGEREF _Toc429650097 h 14 HYPERLINK l _Toc429650098 2.1.5.分析與擴展應(yīng)用 PAGEREF _Toc429650098 h 15 HYPERLINK l _Toc429650099 2.2.信息報送平臺 PAGEREF _To

4、c429650099 h 16 HYPERLINK l _Toc429650100 2.2.1.填報制度管理 PAGEREF _Toc429650100 h 16 HYPERLINK l _Toc429650101 2.2.2.填報業(yè)務(wù)管理 PAGEREF _Toc429650101 h 32 HYPERLINK l _Toc429650102 2.3.數(shù)據(jù)交換平臺 PAGEREF _Toc429650102 h 53 HYPERLINK l _Toc429650103 2.3.1.ETL概述 PAGEREF _Toc429650103 h 54 HYPERLINK l _Toc4296501

5、04 2.3.2.數(shù)據(jù)抽取 PAGEREF _Toc429650104 h 55 HYPERLINK l _Toc429650105 2.3.3.數(shù)據(jù)轉(zhuǎn)換 PAGEREF _Toc429650105 h 55 HYPERLINK l _Toc429650106 2.3.4.數(shù)據(jù)裝載 PAGEREF _Toc429650106 h 56 HYPERLINK l _Toc429650107 2.3.5.規(guī)則維護 PAGEREF _Toc429650107 h 57 HYPERLINK l _Toc429650108 2.3.6.數(shù)據(jù)梳理和加載 PAGEREF _Toc429650108 h 64

6、HYPERLINK l _Toc429650109 2.4.統(tǒng)計分析平臺 PAGEREF _Toc429650109 h 66 HYPERLINK l _Toc429650110 2.4.1.多維在線分析 PAGEREF _Toc429650110 h 66 HYPERLINK l _Toc429650111 2.4.2.即席查詢 PAGEREF _Toc429650111 h 67 HYPERLINK l _Toc429650112 2.4.3.智能報表 PAGEREF _Toc429650112 h 69 HYPERLINK l _Toc429650113 2.4.4.駕駛艙 PAGERE

7、F _Toc429650113 h 73 HYPERLINK l _Toc429650114 2.4.5.圖表分析與監(jiān)測預(yù)警 PAGEREF _Toc429650114 h 74 HYPERLINK l _Toc429650115 2.4.6.決策分析 PAGEREF _Toc429650115 h 78 HYPERLINK l _Toc429650116 2.5.智能搜索平臺 PAGEREF _Toc429650116 h 82 HYPERLINK l _Toc429650117 2.5.1.實現(xiàn)方式 PAGEREF _Toc429650117 h 83 HYPERLINK l _Toc42

8、9650118 2.5.2.SolrCloud PAGEREF _Toc429650118 h 84 HYPERLINK l _Toc429650119 2.6.應(yīng)用支撐平臺 PAGEREF _Toc429650119 h 86 HYPERLINK l _Toc429650120 2.6.1.用戶及權(quán)限管理 PAGEREF _Toc429650120 h 86 HYPERLINK l _Toc429650121 2.6.2.統(tǒng)一工作門戶 PAGEREF _Toc429650121 h 93 HYPERLINK l _Toc429650122 2.6.3.統(tǒng)一消息管理 PAGEREF _Toc4

9、29650122 h 99 HYPERLINK l _Toc429650123 2.6.4.統(tǒng)一日志管理 PAGEREF _Toc429650123 h 102 HYPERLINK l _Toc429650124 第三章 典型用戶 PAGEREF _Toc429650124 h 105 HYPERLINK l _Toc429650125 第四章 案例介紹 PAGEREF _Toc429650125 h 107 HYPERLINK l _Toc429650126 一、高速公路大數(shù)據(jù)與公路貨運統(tǒng)計 PAGEREF _Toc429650126 h 107 HYPERLINK l _Toc429650

10、127 二、工信部-數(shù)據(jù)決策支撐系統(tǒng) PAGEREF _Toc429650127 h 109 HYPERLINK l _Toc429650128 三、企業(yè)誠信指數(shù)分析 PAGEREF _Toc429650128 h 110 HYPERLINK l _Toc429650129 四、風(fēng)險定價分析平臺 PAGEREF _Toc429650129 h 111 HYPERLINK l _Toc429650130 五、基于斯諾模型的增長率測算 PAGEREF _Toc429650130 h 112 HYPERLINK l _Toc429650131 六、上交所-歷史數(shù)據(jù)回放引擎 PAGEREF _Toc4

11、29650131 h 113 HYPERLINK l _Toc429650132 七、浦東新區(qū)能耗監(jiān)控 PAGEREF _Toc429650132 h 114產(chǎn)品簡介產(chǎn)品說明DreamBI摒棄了原有數(shù)據(jù)采集及開發(fā)應(yīng)用系統(tǒng)建設(shè)時間長、花費高的傳統(tǒng)建設(shè)模式，提供了一套方便易用的元數(shù)據(jù)管理平臺，并以此為基礎(chǔ)，采用獨有的拖拽式可視化操作，為用戶提供了一整套簡單快捷的數(shù)據(jù)采集、查詢統(tǒng)計、在線分析、資料制作、信息發(fā)布等功能模塊。產(chǎn)品特點讓每個人都會用的可視化展現(xiàn)及分析系統(tǒng)拖拽即成，人人會用跨平臺、跨設(shè)備輕松展現(xiàn)全程元數(shù)據(jù)管理完美中國式報表，符合國情OLAP分析、即席查詢、交互式圖表分析、數(shù)據(jù)挖掘四項項全能

12、系統(tǒng)架構(gòu)總體架構(gòu)設(shè)計采用云服務(wù)的架構(gòu)模式系統(tǒng)建設(shè)總體架構(gòu)圖如下：如上圖所示，項目功能整體設(shè)計以服務(wù)為理念，自下而上分別提供：一、Iaas（設(shè)備即服務(wù)）層這一層，利用服務(wù)器、存儲設(shè)備、網(wǎng)絡(luò)設(shè)備等硬件設(shè)施，同時配合操作系統(tǒng)、虛擬化管理軟件、數(shù)據(jù)庫、網(wǎng)絡(luò)管理系統(tǒng)為整個項目的部署、運行提供高效可控的硬件設(shè)施服務(wù)。 二、Daas（數(shù)據(jù)即服務(wù)）層數(shù)據(jù)層，作為整個系統(tǒng)的信息存儲層，這里主要存儲信息包括：元數(shù)據(jù)、企業(yè)名錄庫、共享數(shù)據(jù)、私有數(shù)據(jù)以及應(yīng)用信息庫（用戶權(quán)限信息、系統(tǒng)配置信息、日志信息等）。三、Paas（平臺即服務(wù)）層作為開放、可擴展、成熟的應(yīng)用系統(tǒng)，大部分的應(yīng)用模塊都應(yīng)該是通過完善可靠的應(yīng)用開發(fā)平臺

13、，結(jié)合實際的業(yè)務(wù)需要，通過二次開發(fā)或配置完成，配合本期項目的實際需要以及未來可擴展性的考慮，我們將提供元數(shù)據(jù)管理平臺、智能搜索平臺、信息交換平臺、信息報送平臺、統(tǒng)計分析平臺、應(yīng)用支撐平臺這六大基礎(chǔ)服務(wù)平臺，大部分的功能模塊將通過這六大平臺二次開發(fā)或配置完成，同時保證業(yè)務(wù)模塊的快速調(diào)整或功能擴展。四、Saas（軟件即服務(wù)）層軟件既服務(wù)這一層，將根據(jù)用戶實際的業(yè)務(wù)需求，結(jié)合基礎(chǔ)服務(wù)平臺，提供具體的功能模塊，包括：（一）、信息報送子系統(tǒng)任務(wù)發(fā)布信息報送數(shù)據(jù)審核信息歸檔任務(wù)監(jiān)控報送情況統(tǒng)計（二）、數(shù)據(jù)處理子系統(tǒng)企業(yè)名錄庫數(shù)據(jù)加載查詢、統(tǒng)計、計算、報表設(shè)計、圖表設(shè)計信息發(fā)布批處理腳本（三）、信息共享門戶

14、信息發(fā)布審核共享目錄智能檢索統(tǒng)計出版物專題分析分析報告數(shù)據(jù)解讀（四）、微信服務(wù)號及移動應(yīng)用用戶綁定智能應(yīng)答信息推送報送審核輔助功能管理功能基礎(chǔ)架構(gòu)平臺架構(gòu)功能介紹元數(shù)據(jù)管理平臺數(shù)據(jù)共享平臺，作為一個以資源信息庫為核心的建設(shè)項目，數(shù)據(jù)標準的制定和管理是這個項目是否成功的主要因素，所以，元數(shù)據(jù)管理平臺是支撐數(shù)據(jù)共享平臺的主要組成部分。通過該平臺來規(guī)范管理全系統(tǒng)數(shù)據(jù)資源的規(guī)范定義、命名、分類等。同時，元數(shù)據(jù)管理平臺也將幫助我們從技術(shù)的角度梳理所有的信息系統(tǒng)，了解所有數(shù)據(jù)資源的生產(chǎn)、存儲、轉(zhuǎn)換和同步等所有相關(guān)活動，從而建立數(shù)據(jù)元的血統(tǒng)世系，幫助我們理解每一個數(shù)據(jù)的來龍去脈。元數(shù)據(jù)管理系統(tǒng)將提供如下一些

15、主要的功能：業(yè)務(wù)元數(shù)據(jù)管理根據(jù)全系統(tǒng)信息資源規(guī)劃的結(jié)果和行業(yè)信息資源標準體系，從業(yè)務(wù)的視野出發(fā)，建立的關(guān)鍵數(shù)據(jù)元、指標等的分類、規(guī)范定義體系。具體功能如下：元模型定義元模型定義用于定義元模型結(jié)構(gòu)，一般包括編號、名稱、說明、同義詞、語境、標注字段命名、值域、備注等要素。為建立與行業(yè)標準的對照，建議元模型應(yīng)包含與行業(yè)標準的對照項。一個推薦的業(yè)務(wù)數(shù)據(jù)元元模型如下（最后一欄為國標行政區(qū)劃的案例）：序號項目案例（行政區(qū)劃）1編號SDT00012名稱行政區(qū)劃3說明設(shè)有國家政權(quán)機關(guān)的各級地區(qū)的名稱，按層級順序表示：?。ㄗ灾螀^(qū)、直轄市、特別行政區(qū)）、市（地區(qū)、自治州、盟）、縣（自治縣、市、市轄區(qū)、旗、自治旗）

16、。4數(shù)據(jù)表示C.405計量單位6同義詞7標準字段名DIV_NAME8值域采用GB/T 2260 中華人民共和國行政區(qū)劃代碼中的名稱9語境通用10國標對照編號111011備注數(shù)據(jù)元編號建議采用特征組合編碼方式進行編碼，一個建議的編號模式如下：元數(shù)據(jù)維護根據(jù)業(yè)務(wù)需求，制定統(tǒng)一的技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)標準，覆蓋多種來源統(tǒng)計數(shù)據(jù)采集、加工、清洗、加載、多維生成、分析利用、發(fā)布、歸檔等各個環(huán)節(jié)，建立相應(yīng)的管理維護機制，梳理并加載各種元數(shù)據(jù)。根據(jù)統(tǒng)計業(yè)務(wù)特點，制定元數(shù)據(jù)標準，要滿足統(tǒng)計元數(shù)據(jù)在口徑、分類等方面的歷史變化。支持對派生元數(shù)據(jù)的管理，如派生指標、代碼重新組合等，對元數(shù)據(jù)管理實行權(quán)限控制。統(tǒng)一管理

17、和利用通過元數(shù)據(jù)，實現(xiàn)對各類數(shù)據(jù)的統(tǒng)一管理和利用，包括：填報數(shù)據(jù)：與各級業(yè)務(wù)數(shù)據(jù)系統(tǒng)的無縫集成?；A(chǔ)數(shù)據(jù)管理：建立各類基礎(chǔ)數(shù)據(jù)與元數(shù)據(jù)的映射關(guān)系，實現(xiàn)統(tǒng)一的數(shù)據(jù)查詢、處理、報表管理。ETL：通過元數(shù)據(jù)獲取ETL規(guī)則的描述信息，包括字段映射、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)清洗、數(shù)據(jù)加載規(guī)則以及錯誤處理等。數(shù)據(jù)庫：利用元數(shù)據(jù)實現(xiàn)對數(shù)據(jù)庫結(jié)構(gòu)的描述，包括倉庫模式、視圖、維、層次結(jié)構(gòu)維度描述、多維查詢的描述、立方體（CUBE）的結(jié)構(gòu)等。版本控制及追溯對于元數(shù)據(jù)的維護版本進行控制和追溯。指標元數(shù)據(jù)管理作為一項特殊的業(yè)務(wù)元數(shù)據(jù)，指標元數(shù)據(jù)在業(yè)務(wù)應(yīng)用中具有非常重要的地位，在元數(shù)據(jù)管理系統(tǒng)的基礎(chǔ)上，實現(xiàn)對信息資源的

18、指標元數(shù)據(jù)的管理與維護功能：對指標元數(shù)據(jù)的分類管理 基本信息維護 使用情況監(jiān)管 存儲信息監(jiān)管 元數(shù)據(jù)歸并管理 派生指標的管理 操作日志 版本控制與追溯 技術(shù)元數(shù)據(jù)管理技術(shù)元數(shù)據(jù)原理用于管理物理上生產(chǎn)、存儲、傳遞業(yè)務(wù)元數(shù)據(jù)的信息資產(chǎn)，包括應(yīng)用軟件、程序組件（服務(wù)）、數(shù)據(jù)庫、表、字段等各種對象，并描述這些錯綜復(fù)雜的對象之間的相互關(guān)系，以及與業(yè)務(wù)元數(shù)據(jù)的對應(yīng)關(guān)系。具體的功能如下：技術(shù)元數(shù)據(jù)模型定義模型在遵照CWM規(guī)范的基礎(chǔ)上做到可擴展，能根據(jù)管理的需要擴展該模型，一個示例的納入技術(shù)元數(shù)據(jù)管理框架的主體及內(nèi)容如下：序號主體模型關(guān)鍵內(nèi)容1應(yīng)用系統(tǒng)編號、標識、名稱、說明、位置、備注等2程序組件(服務(wù))編號

19、、標識、名稱、說明、應(yīng)用系統(tǒng)、備注等3數(shù)據(jù)庫編號、標識、數(shù)據(jù)庫名、說明、位置、類型、備注等4表（視圖）編號、標識、名稱、數(shù)據(jù)庫、說明、備注等5字段.6ER圖技術(shù)元數(shù)據(jù)導(dǎo)入系統(tǒng)提供與主流數(shù)據(jù)庫產(chǎn)品，如DB2、ORACLE、SQLSERVER，主流ETL產(chǎn)品的接口，可直接導(dǎo)入相關(guān)元數(shù)據(jù)到系統(tǒng)中系統(tǒng)提供導(dǎo)出功能，可導(dǎo)出元數(shù)據(jù)到EXCEL表中，手工修改維護后導(dǎo)入系統(tǒng)。技術(shù)元數(shù)據(jù)維護手工增加、修改、刪除(作廢)、生效元數(shù)據(jù)，對字段級元數(shù)據(jù)，可建立與業(yè)務(wù)元數(shù)據(jù)的對照關(guān)系。血統(tǒng)管理血統(tǒng)管理用于管理元數(shù)據(jù)的相關(guān)關(guān)系。這種關(guān)系可幫助我們更好的理解數(shù)據(jù)，追蹤出現(xiàn)的問題等。部分血統(tǒng)數(shù)據(jù)可直接從主流ETL工具中直接導(dǎo)

20、入，也可手工維護數(shù)據(jù)血統(tǒng)。一個示例的數(shù)據(jù)血統(tǒng)示意圖如下：分析與擴展應(yīng)用數(shù)據(jù)元查詢根據(jù)各種查詢條件，模糊查詢系統(tǒng)相關(guān)數(shù)據(jù)元信息血統(tǒng)分析分析某數(shù)據(jù)元對象的血統(tǒng)，從而幫助我們更好的理解數(shù)據(jù)影響分析分析某數(shù)據(jù)元變化對其他信息資源的影響。對外服務(wù)通過web服務(wù)方式對外提供數(shù)據(jù)元服務(wù)，外部應(yīng)用系統(tǒng)可通過調(diào)用專用服務(wù)了解某指標的定義，數(shù)據(jù)血統(tǒng)等要素。信息報送平臺填報制度管理填報制度的管理是數(shù)據(jù)采集、存儲、查詢、分析等一切應(yīng)用的基礎(chǔ)，如何提供方便完善的統(tǒng)計制度管理功能，是數(shù)據(jù)庫建設(shè)成功與否的重要基石。具體要求如下：支持制度方便的復(fù)制、備份、調(diào)整，并支持對統(tǒng)計制度的版本管控。提供指標的增刪改操作，以及對應(yīng)的存儲

21、設(shè)計與字段的映射關(guān)系管理，并提供完整的指標生命周期管控，指標統(tǒng)計口徑調(diào)整過程和追溯功能。支持派生指標的設(shè)置與維護，滿足前后計算的兩種統(tǒng)計模式。支持指標審核關(guān)系的自由設(shè)置，同時提供常規(guī)的審核公式函數(shù)庫。提供圖形化的報表表樣配置工具，要求做到設(shè)計報表表樣的所見即所得。提供維度（統(tǒng)計分類標準）管理， 支持維度層級管理，唯獨項基本信息描述，包括：唯一標識、名稱、顯示名稱、排序?qū)傩缘取９δ軐崿F(xiàn)包括：存儲設(shè)計數(shù)據(jù)庫連接管理提供oracle、sqlserver、mysql、db2、sybase等大型關(guān)系型數(shù)據(jù)庫的連接管理功能；支持多數(shù)據(jù)庫同時連接功能，允許一個系統(tǒng)中同時管理多個異構(gòu)數(shù)據(jù)庫的連接；表關(guān)系管理實

22、現(xiàn)功能包括：提供從當前連接的數(shù)據(jù)庫中獲取全部表及字段功能；提供可視化的表關(guān)系設(shè)置功能，通過拖拽相關(guān)表的相關(guān)字段，可以定義表之間的1：1，1：N，M:N關(guān)系；提供表的數(shù)據(jù)字典維護管理功能；并為后面的數(shù)據(jù)源管理、報表管理、報表查詢統(tǒng)計等使用；提供向?qū)浇ū砉δ?；通過定義通用的數(shù)據(jù)類型，系統(tǒng)可自動根據(jù)當前連接數(shù)據(jù)庫的類型（oracle、mysql、sqlserver），自動建表。提供表的版本管理，可以追溯至某個版本的變化，并導(dǎo)出相應(yīng)的DDL語句；支持上下文管理；以上所有操作均需要在瀏覽器模式下完成。具體實現(xiàn)如下：表結(jié)構(gòu)管理存儲表管理提供表的增刪改操作。字段維護提供表字段的增刪改操作，同時支持數(shù)據(jù)字典

23、的維護。字段類型支持：數(shù)字、文本、大文本、對象、日期提交操作點擊完成，系統(tǒng)會根據(jù)當前數(shù)據(jù)庫的類型及版本，自動生成相應(yīng)的建表語句，并提交數(shù)據(jù)庫完成建表操作。表關(guān)系管理通過E-R圖這種直觀的方式，完成表關(guān)系的管理與設(shè)置，如下圖所示：用戶可以選擇已有表或新建表，然后通過拖拽字段，完成表之間關(guān)系的設(shè)置。支持表關(guān)系高級設(shè)置支持復(fù)雜的表關(guān)系條件設(shè)置支持內(nèi)、外鏈接的設(shè)置支持N:N的描述支持上下文管理采用上下文的方式，描述表關(guān)系的最小單位，以避免在應(yīng)用的過程中，選擇最小的相關(guān)表進行操作處理，避免多余的表關(guān)系導(dǎo)致系統(tǒng)性能下降。支持關(guān)系表的屬性設(shè)置包括：別名設(shè)置只讀屬性設(shè)置主鍵設(shè)置表內(nèi)條件設(shè)置數(shù)據(jù)源管理提供可視化

24、拖拽式的指標選擇、條件選擇、排序項選擇等功能，同時要求：條件選擇支持and、or以及括號條件支持參數(shù)生成的數(shù)據(jù)源具有跨數(shù)據(jù)庫的特性，能夠自動匹配后臺數(shù)據(jù)庫，當后臺連接的數(shù)據(jù)庫發(fā)生變化（如oracle變?yōu)閙ysql時），系統(tǒng)任何改變（無須重新定義也無須重新生成）。以上所有操作均需要在瀏覽器模式下完成。指標維護基于元數(shù)據(jù)管理平臺中的指標元數(shù)據(jù)管理模塊，實現(xiàn)針對專業(yè)制度的元數(shù)據(jù)管理。以專業(yè)報表作為指標目錄的分類標準專業(yè)指標描述指標血統(tǒng)分析存儲描述維度管理維度描述通過向?qū)У牟僮鞣绞?，引?dǎo)用戶實現(xiàn)維度設(shè)置與定義，用以作為日后基礎(chǔ)數(shù)據(jù)查詢、分類統(tǒng)計以及建設(shè)數(shù)據(jù)庫的依據(jù)。新建維度，維護維度名稱及備注選擇維度

25、層級對應(yīng)的表和字段進一步設(shè)計維度層級名稱，排序項，顯示名稱等屬性分類標準維護有維度維護權(quán)限的用戶，可以維護分類標準數(shù)據(jù)：維護基礎(chǔ)分類數(shù)據(jù)：審核關(guān)系管理數(shù)據(jù)從原始形態(tài)采集到系統(tǒng)之后，最重要的工作就是如何檢查、保證數(shù)據(jù)質(zhì)量，審核關(guān)系管理顯得尤其重要，功能主要包括：前后臺支持：審核公式既要支持前臺的javascript語言，也支持后臺的java或c#語言。公式表達式：系統(tǒng)提供的審核邏輯關(guān)系必須支持公式表達式，系統(tǒng)本身提供豐富的函數(shù)供表達式中引用，也允許用戶自定義函數(shù)供使用。錯誤信息顯示：每條邏輯關(guān)系必須包含錯誤提示信息，當審核結(jié)果發(fā)現(xiàn)錯誤時顯示給用戶便于閱讀。功能實現(xiàn)如下：支持審核關(guān)系的級別管理支持

26、對審核公式的預(yù)驗證支持提示信息的編輯表單維護采集報表提供所見即所得的可視化拖拽操作設(shè)計，具體要求如下：提供指標和控件兩種支持：1、設(shè)計報表時可以直接拖入指標，系統(tǒng)會自動根據(jù)指標的數(shù)據(jù)類型設(shè)定相應(yīng)的控件（如文本型、數(shù)字型等），并將數(shù)據(jù)庫字段綁定相應(yīng)的控件；2、設(shè)計報表時也可以直接拖入控件，并制定數(shù)據(jù)庫字段進行綁定；提供dom對象的各種事件響應(yīng)機制，如：onclick；onfocus；onblur等。提供初始值、數(shù)據(jù)校驗等方法，支持常量、前臺公式、前臺腳本、后臺類等。提供簡單的自動布局模式，用戶只需要選擇需要布局的字段，設(shè)定每行的個數(shù)（既可以全部設(shè)置，也可以逐行設(shè)置），系統(tǒng)可以自動提供美觀齊整的采

27、集報表?？梢园淹獠抗ぞ咧谱鞯谋砀瘢纾篸reamweaver、frontpage、word、excel等制作的表格導(dǎo)入到系統(tǒng)中生成表樣 。提供整個采集報表的復(fù)制、粘貼功能。支持word、pdf、jpg等多種文件格式的采集，提供支持多文件上傳控件；控件的屬性采用xml定義，支持用戶任意擴展用戶可根據(jù)相關(guān)的規(guī)則，自行開發(fā)擴展控件并注冊后即可使用支持表、子表的設(shè)計管理；子表支持循環(huán)節(jié)、多行控件等主要功能實現(xiàn)方式：創(chuàng)建報表通過向?qū)?chuàng)建報表，同時支持報表表樣的導(dǎo)入。支持HTML格式系統(tǒng)支持標準的HTML格式，同時可以將生成好的報表導(dǎo)出HTML格式，然后通過常用的網(wǎng)頁制作工具進行調(diào)整?？丶耐献Э梢酝ㄟ^拖

28、拽的方式，將控件拖放到表單上。控件屬性設(shè)置可以對拖放到表單上的控件設(shè)置屬性。如有效性驗證，控件大小，寬度，位置等。數(shù)據(jù)綁定可以將控件綁定到實現(xiàn)維護好的指標上。支持對HTML元素的屬性控制報表發(fā)布報表制定好后，可以直接發(fā)布到采集系統(tǒng)中。填報業(yè)務(wù)管理在線填報在線填報數(shù)據(jù)采集的主要手段，填報用戶登錄數(shù)據(jù)采集平臺利用任務(wù)發(fā)布產(chǎn)生的填報表單進行數(shù)據(jù)的填寫，并將填寫完成的數(shù)據(jù)保存到原始填報信息的數(shù)據(jù)庫中，等待系統(tǒng)管理員對數(shù)據(jù)的審核。系統(tǒng)中建立了任務(wù)報表與原始數(shù)據(jù)庫之間的映射關(guān)系，這樣在原始數(shù)據(jù)庫中數(shù)據(jù)的存儲基本上是一個報表對應(yīng)一個庫表，數(shù)據(jù)儲存的定義有報表發(fā)布時自動生成，這樣不但降低數(shù)據(jù)存儲時的負載，而且

29、提高了系統(tǒng)編程的靈活性和擴展性，提高系統(tǒng)的性能。用戶選擇了要填報或修改的任務(wù)后，將在一個新打開的頁面中顯示任務(wù)的報表，然后由用戶進行數(shù)據(jù)的填報或修改。用戶填報數(shù)據(jù)時，系統(tǒng)主要的工作流程如下圖所示：在本部分中，系統(tǒng)與用戶主要交互的信息包括：（1）、填報說明：顯示當前打開的填報報表的填報說明，包括報表說明、上報周期、審核關(guān)系等，指標解釋不在這里說明；（2）、指標解釋：當鼠標移動到一個指標所在單元格時，頁面上將以工具提示（ToolTips）的方式提示該指標的說明信息，主要包括指標的解釋、數(shù)據(jù)范圍、該指標數(shù)據(jù)的填報規(guī)范等；（3）、相關(guān)數(shù)據(jù)：與當前填報的任務(wù)報表相關(guān)的一些數(shù)據(jù)，比如上月數(shù)、上年數(shù)、累加數(shù)

30、等。這些相關(guān)數(shù)據(jù)僅作為用戶填報當前的數(shù)據(jù)時的參考，和指標中的上月數(shù)、上年數(shù)等的意義不同，前者為系統(tǒng)所提供的功能，后者為指標；前者的數(shù)據(jù)為從數(shù)據(jù)庫中讀出的用戶實際填寫的歷史數(shù)據(jù)，而后者的數(shù)據(jù)為需要用戶去填寫的數(shù)據(jù)；（4）、指標標題的視覺效果：指每一個單元格中指標的文字部分，這些文字將以不同的視覺效果（顏色、粗細）來反映該指標的狀態(tài)。指標的狀態(tài)區(qū)分為下列幾種情況：正常（未填報）：指用戶尚未填報的數(shù)據(jù)；正常（已填報）：對于新填報的報表，指用戶已經(jīng)填報了該指標的數(shù)據(jù)，并且通過了客戶端的數(shù)據(jù)校驗；對于修改未通過審核的報表，指通過了客戶端的數(shù)據(jù)校驗和數(shù)據(jù)審核的指標。錯誤：對于新填報的報表，指用戶已經(jīng)填報了

31、該指標的數(shù)據(jù)，但是沒有通過了客戶端的數(shù)據(jù)校驗；對于修改未通過審核的報表，指數(shù)據(jù)審核未通過的指標。禁止填寫：指用戶無需填寫的指標。可能由下列原因產(chǎn)生無需填寫的指標：該指標被禁止使用，但是暫時未從報表中刪除；在填報項設(shè)計時指定的由系統(tǒng)自動填寫的指標，比如單位名稱、當前時間等；在填報單設(shè)計時指定的由系統(tǒng)自動計算的指標，比如一些累加值。數(shù)據(jù)填報部分主要的功能包括：數(shù)據(jù)輸入設(shè)計用戶使用鍵盤或鼠標將光標定位到要填寫數(shù)據(jù)的指標所在的單元格上，然后輸入數(shù)據(jù)。用戶在輸入數(shù)據(jù)時，系統(tǒng)會根據(jù)當前指標數(shù)據(jù)類型和數(shù)據(jù)長度的不同，屏蔽一些鍵盤的響應(yīng)，具體如下：字符型：允許包括漢字、英文字母、數(shù)字、標點符號和特殊符號在內(nèi)的

32、所有字符的輸入。超出數(shù)據(jù)長度限制部分的字符無法輸入；編碼字符型：僅能輸入由指標的設(shè)計者所指定的一些字符。超出數(shù)據(jù)長度限制部分的字符無法輸入；整數(shù)型：僅允許10個阿拉伯數(shù)字和正負號的輸入，并且正負號只能在第一位。在輸入時不受數(shù)據(jù)長度的限制，輸入結(jié)束時會進行數(shù)據(jù)范圍的檢查；數(shù)字型：即既可輸入浮點數(shù)、也可輸入整數(shù)，僅允許10個阿拉伯數(shù)字、正負號和小數(shù)點的輸入，并且正負號只能在第一位、而且只能有一個小數(shù)點或者沒有小數(shù)點。在輸入時不受數(shù)據(jù)長度的限制，輸入結(jié)束時會進行數(shù)據(jù)范圍的檢查；日期型：分為年、月、日三個輸入框輸入，并且都是只能輸入10個阿拉伯數(shù)字，其中年的數(shù)值范圍為19802079、月的數(shù)值范圍為1

33、12、日的輸入范圍為131。在輸入時不受數(shù)據(jù)長度的限制，輸入結(jié)束時會進行數(shù)據(jù)范圍的檢查，并且會根據(jù)年月的數(shù)值動態(tài)調(diào)整日的輸入范圍；時間型：分為時、分兩個輸入框輸入，并且都只能輸入10個阿拉伯數(shù)字，其中時的數(shù)值范圍為023，分的數(shù)值范圍為059。在輸入時不受數(shù)據(jù)長度的限制，輸入結(jié)束時會進行數(shù)據(jù)范圍的檢查；選擇型：不能輸入，只能由指定的列表或下拉框中選擇。關(guān)聯(lián)數(shù)據(jù)設(shè)計在用戶輸入數(shù)據(jù)之前，有些指標的數(shù)據(jù)是由系統(tǒng)自動生成的，這些數(shù)據(jù)按照用戶是否可修改分為兩大類：可修改：這類數(shù)據(jù)一般為輔助性的數(shù)據(jù)，比如“上月數(shù)”一類的指標，會首先根據(jù)用戶在上個月的填報中已經(jīng)報送的數(shù)據(jù)顯示，但因為一些具體情況的不同（比如

34、上個月用戶填報時輸入的不是實際值，而是預(yù)計值），這些數(shù)據(jù)只是對用戶輸入的一個提示，用戶可以去更改這些數(shù)據(jù)。不可修改：這類數(shù)據(jù)大多數(shù)是一些固定的信息，比如單位名稱。這些信息不允許輸入者隨意的改變，必須通過相關(guān)的入口（比如單位名稱需要從用戶管理的維護中去修改）進行修改。另外一些不可修改的數(shù)據(jù)還包括如自動求和之類的計算結(jié)果。數(shù)據(jù)校驗設(shè)計數(shù)據(jù)輸入完成：當光標從當前所在指標的單元格上離開時，系統(tǒng)會首先對用戶剛剛輸入的數(shù)據(jù)進行校驗，以確保數(shù)據(jù)范圍的正確。根據(jù)數(shù)據(jù)類型的不同，需要進行的校驗也不同：字符型：不再做任何校驗；編碼字符型：不再做任何校驗；整數(shù)型：根據(jù)指標設(shè)計者所限定的數(shù)值范圍進行校驗；數(shù)字型：根據(jù)

35、指標設(shè)計者所限定的數(shù)值范圍進行校驗；日期型：按照年的數(shù)值范圍為19802079、月的數(shù)值范圍為112、日的輸入范圍為131進行校驗，并且會根據(jù)年月的數(shù)值動態(tài)調(diào)整日的輸入范圍；時間型：按照時的數(shù)值范圍為023、分的數(shù)值范圍為059進行校驗；選擇型：不再做任何校驗。注：并不是任何時候都需要進行校驗，在下列情況下，系統(tǒng)不會進行校驗：報表只讀時不需要校驗。即當前所打開的報表不是用來報送數(shù)據(jù)或修改數(shù)據(jù)，而是僅僅查看數(shù)據(jù)的時候，不需要校驗；用戶未填入數(shù)據(jù)時，即單元格為空的時候不需要校驗；當前指標為不允許修改的指標時，比如一些自動計算的指標或單位名稱等，這些數(shù)據(jù)的校驗在整個報表的數(shù)據(jù)提交時進行校驗。數(shù)據(jù)校驗

36、的結(jié)果僅分為正確或不正確，對于數(shù)據(jù)校驗正確的指標的標題，系統(tǒng)會保留原先視覺效果；對于校驗不正確的，系統(tǒng)不會彈出任何對話框來干擾用戶的輸入，而是通過改變該指標的指標標題的視覺效果（變色、加粗等），來提醒用戶。判定用戶將光標從當前單元格上離開的條件包括：按下了“Tab”鍵（制表鍵），這時光標會自動移到下一個可以輸入的指標所在的單元格，如果在下一個可以輸入的指標和當前指標之間有其他無需輸入的單元格，則會自動跳過這些單元格；按下了回車鍵，這時光標會自動移到下一個可以輸入的指標所在的單元格，如果在下一個可以輸入的指標和當前指標之間有其他無需輸入的單元格，則會自動跳過這些單元格；直接使用鼠標點擊。清空報表

37、數(shù)據(jù)設(shè)計清空當前報表中所有需要由用戶手工輸入的數(shù)據(jù)，不包括那些為了提示用戶輸入而自動顯示的數(shù)據(jù)。提交報表數(shù)據(jù)設(shè)計當用戶輸入完所有所需填寫的數(shù)據(jù)之后，可以點擊“提交報表”按鈕提交數(shù)據(jù)。此時，系統(tǒng)首先會在客戶端對所有的數(shù)據(jù)重新進行一遍數(shù)據(jù)校驗，而原先不會被校驗的數(shù)據(jù)（比如自動計算的累加值），這時也會被校驗，然后系統(tǒng)會提示校驗結(jié)果，如果校驗結(jié)果為未通過，則會將未通過校驗的指標標題已改變視覺效果的形式提醒用戶注意；校驗通過則將數(shù)據(jù)提交到審核服務(wù)器，并開始在系統(tǒng)的后臺排隊等待系統(tǒng)的自動審核。撤回設(shè)計僅在當前打開的任務(wù)狀態(tài)為“等待審核”時，本功能才可用。對于任務(wù)狀態(tài)為“等待審核”的任務(wù)，執(zhí)行了本操作之后，

38、會將所提交的數(shù)據(jù)從審核服務(wù)器的審核隊列中刪除，同時更改本任務(wù)的當前狀態(tài)為“已撤回”。撤回的操作可能會根據(jù)具體的情況而失敗。歷史數(shù)據(jù)對照顯示設(shè)計當任務(wù)的當前狀態(tài)為除了“禁止”以外的任務(wù)時，缺省情況下，為減輕數(shù)據(jù)庫服務(wù)器和網(wǎng)絡(luò)通信的負荷，客戶端只顯示本周期下的報表和數(shù)據(jù)（如果有用戶已經(jīng)填報的數(shù)據(jù)的話），并不顯示用戶下本報表的歷史數(shù)據(jù)，但是如果需要的話，用戶可以通過點擊“顯示歷史數(shù)據(jù)”按鈕，可以要求當前頁面同時顯示這些歷史數(shù)據(jù)。當用戶點擊了“顯示歷史數(shù)據(jù)”之后，客戶端會首先彈出一個頁面來確定要顯示的歷史數(shù)據(jù)的范圍和內(nèi)容，一般情況下包括上月數(shù)、連續(xù)n個月數(shù)（n由用戶確定）、去年同期數(shù)等。確定了要顯示的

39、歷史數(shù)據(jù)后，系統(tǒng)會已標簽（Tab）頁的形式顯示用戶所選擇的歷史數(shù)據(jù)和當前數(shù)據(jù)，用戶這時可以自由的在這些標簽（Tab）頁之間切換。指標解釋、規(guī)則提示當用戶的鼠標移動到一個指標的標題或者輸入用的單元格上時，系統(tǒng)會自動以工具提示（ToolTips）的形式提示相關(guān)的信息，主要包括指標的解釋、數(shù)據(jù)范圍、該指標數(shù)據(jù)的填報規(guī)范等。報表打印將當前正在填報的任務(wù)的報表打印出來。打印前可以由用戶選擇需要打印的其他可選內(nèi)容，主要包括數(shù)據(jù)、報表說明、指標解釋、審核公式等。數(shù)學(xué)計算器為方便用戶的計算，當用戶點擊“數(shù)學(xué)計算器”之后，系統(tǒng)會顯示一個浮動在任務(wù)表格的上方、并且允許用戶繼續(xù)在表格上輸入的簡單的數(shù)學(xué)計算器，以方便

40、用戶的一些計算。數(shù)學(xué)計算器所能提供的計算和功能包括：四則運算；求平方和平方根、求對數(shù)和指數(shù)、求倒數(shù)；常用的數(shù)學(xué)函數(shù)；百分比轉(zhuǎn)換；Memory功能，即普通計算器上的M+、M-等功能；數(shù)據(jù)流圖一個在線填報處理的簡化數(shù)據(jù)流圖如下所示。用戶在客戶端選擇需要填報的報表表種，在服務(wù)器端從制度庫中讀取相應(yīng)的報表表樣定義信息（XML），然后通過XSL進行轉(zhuǎn)化，轉(zhuǎn)化為實際填報用的HTML格式并送回客戶端，用戶在此HTML文件基礎(chǔ)上進行數(shù)據(jù)填報，最后將填報數(shù)據(jù)提交給服務(wù)器端存儲到數(shù)據(jù)庫。離線填報離線填報的目的是方便一些上網(wǎng)條件不好的基層單位用戶、或在Internet連接不穩(wěn)定的區(qū)域進行網(wǎng)上數(shù)據(jù)的報送。進行離線填報

41、時，用戶首先和在線填報一樣，需要登錄到系統(tǒng)中，然后選擇要離線填報的報表、下載，然后可以斷開Internet連接進行數(shù)據(jù)填報。等到所有的報表填報完成之后，用戶可以連接上Internet，然后一次將所有報表上傳到服務(wù)器端，由服務(wù)器端的數(shù)據(jù)報表處理服務(wù)對提交的報表數(shù)據(jù)進行處理，數(shù)據(jù)報表處理服務(wù)對報表數(shù)據(jù)的格式進行解析，并將解析的數(shù)據(jù)保存到原始數(shù)據(jù)庫中，由系統(tǒng)管理員進行統(tǒng)一審核處理。數(shù)據(jù)報表處理服務(wù)在服務(wù)器端以守護進程的形式存在。服務(wù)器端數(shù)據(jù)報表的處理流程如下：離線填報系統(tǒng)的入口是和在線填報系統(tǒng)在一起，即用戶也需要首先登錄到在線填報系統(tǒng)，然后通過在線填報系統(tǒng)上的連接進入離線填報系統(tǒng)。用戶進行離線填報時

42、的總體功能流程如下：選擇離線任務(wù)進行離線填報的第一步，首先是選擇要填報的報表。用戶每次進行離線填報不一定非要下載所有的報表，可以由用戶自己決定是下載全部還是部分報表。歷史數(shù)據(jù)下載設(shè)置因為離線填報時無法立刻從服務(wù)器端獲得數(shù)據(jù)，所以為了讓用戶在離線填報數(shù)據(jù)時依然可以與歷史數(shù)據(jù)進行對照，離線填報系統(tǒng)需要事先確定用戶所需的歷史數(shù)據(jù)。設(shè)置了要下載的歷史數(shù)據(jù)會加大離線填報從服務(wù)器端所下載的數(shù)據(jù)，所以缺省狀態(tài)下是不下載任何歷史數(shù)據(jù)。任務(wù)下載選擇完要離線填報的任務(wù)和設(shè)置完要下載的歷史數(shù)據(jù)以后，系統(tǒng)會開始將所有的數(shù)據(jù)下載到本地，然后用戶即可以斷開Internet連接并開始離線填報。用戶選擇報表并下載的流程圖如下

43、圖所示：填報報表選擇當用戶進入數(shù)據(jù)填報前，首先要選擇要填報的離線任務(wù)，本功能是以樹狀結(jié)構(gòu)列出用戶可以填報的任務(wù)列表。報送數(shù)據(jù)輸入用戶選擇了要填報或修改的離線任務(wù)后，將在一個新打開的頁面中顯示任務(wù)的報表，然后由用戶進行數(shù)據(jù)的填報或修改。系統(tǒng)在離線填報時的操作和在線填報時有所區(qū)別，具體的流程如下圖所示：本地數(shù)據(jù)上傳設(shè)計當用戶將所有需要離線填報的數(shù)據(jù)填寫完成之后，可以連接上Internet，然后將所有數(shù)據(jù)一次性的提交至服務(wù)器端。此時的數(shù)據(jù)提交和在線填報時的提交數(shù)據(jù)的唯一區(qū)別就是數(shù)據(jù)量的多少：離線填報可以一次提交一個或多個任務(wù)的數(shù)據(jù)，而在線填報則是一個一個任務(wù)的填報、提交。數(shù)據(jù)上傳中需要考慮的一個問題

44、是當上傳的數(shù)據(jù)與系統(tǒng)既存的數(shù)據(jù)發(fā)生沖突的時候的處理方法，例如上傳的數(shù)據(jù)已經(jīng)驗收。為此系統(tǒng)將向客戶端返回針對每一報表的數(shù)據(jù)的處理結(jié)果，需要用戶選擇對相應(yīng)數(shù)據(jù)指定采取覆蓋或者放棄的操作。數(shù)據(jù)上傳與接收的流程圖如下所示：自動更新設(shè)計離線填報系統(tǒng)為一運行于客戶本地的單獨的應(yīng)用程序，而這一程序的版本更新將成為將來系統(tǒng)維護的一個主要工作，為此，特為離線填報系統(tǒng)設(shè)計了自動更新功能以減少系統(tǒng)維護的工作量。自動更新程序比較各模塊的客戶本地版本與服務(wù)器端版本的異同，并自動從服務(wù)器下載最新模塊覆蓋本地的版本。自動更新功能的數(shù)據(jù)流圖如下所示：批量采集（輔助填報）催報信息提醒設(shè)計當輔助填報人員登錄批量采集（輔助填報）系

45、統(tǒng)之后，首先會以彈出頁面的形式向輔助填報人員反饋所有的的催報和執(zhí)法的信息。與在線填報系統(tǒng)的“催報與執(zhí)法信息提醒”功能不同的是，在線填報系統(tǒng)的此功能僅顯示與登錄的用戶有關(guān)的催報和執(zhí)法信息，而這里的“催報與執(zhí)法信息提醒”所顯示的是所有的與輔助填報人員所在統(tǒng)一區(qū)域下的催報和執(zhí)法信息。送數(shù)據(jù)批量采集（輔助填報）針對某一個要求輔助填報的企業(yè)，由輔助錄入人員進行報表數(shù)據(jù)的輔助填報，整個批量采集（輔助填報）的操作流程如下圖所示：其中數(shù)據(jù)錄入部分的詳細流程如下圖所示：數(shù)據(jù)報送對于數(shù)據(jù)采集，數(shù)據(jù)上報的流程、上報的權(quán)限都可以按照不同的采集任務(wù)預(yù)先進行設(shè)置。在系統(tǒng)中，所有的報送數(shù)據(jù)都是集中管理的，因此在數(shù)據(jù)錄入時即

46、可控制錄入范圍，避免重復(fù)報送或超出報送范圍的用戶進行報送。但對于輔助填報系統(tǒng)，或兩種系統(tǒng)聯(lián)合使用的情況，在數(shù)據(jù)集中到原始數(shù)據(jù)庫之前，是彼此分割獨立的，因此各不同的采集點有可能出現(xiàn)重復(fù)填報、多次報送（重報或追加新數(shù)據(jù)）、錯誤報送（報送數(shù)據(jù)的格式不符合規(guī)范）等情況，在數(shù)據(jù)接收時就需要進行更多的校驗工作。數(shù)據(jù)報送設(shè)計對于網(wǎng)上直報系統(tǒng)，數(shù)據(jù)的報送和接收是同一過程，下級用戶完成數(shù)據(jù)上報的同時，上級部門也同時完成了數(shù)據(jù)接收。在上級部門完成數(shù)據(jù)驗收前，下級用戶還可以取消上報。對于輔助填報系統(tǒng)，數(shù)據(jù)的報送和接收是分開進行的，用戶可通過數(shù)據(jù)報送功能選擇要報送的數(shù)據(jù)，生成數(shù)據(jù)報送包；該數(shù)據(jù)報送包可以通過郵件等方式

47、進行傳遞，由另一輔助填報系統(tǒng)接收，也可直接登錄網(wǎng)上直報系統(tǒng)，進行上傳。報送流程如圖：數(shù)據(jù)接收設(shè)計輔助采集系統(tǒng)和網(wǎng)上直報系統(tǒng)的數(shù)據(jù)接收模塊中都包含以下功能：接收規(guī)則設(shè)置，可預(yù)先設(shè)置接收規(guī)則數(shù)據(jù)校驗，數(shù)據(jù)校驗內(nèi)容包括：校驗數(shù)據(jù)包格式是否正確校驗數(shù)據(jù)包中數(shù)據(jù)是否完整校驗接收數(shù)據(jù)中是否存在重復(fù)記錄校驗接收數(shù)據(jù)是否超出報送范圍黑名單功能，可以剔除明確設(shè)置不予接受的報表。重碼校驗功能，可以自動標識重復(fù)報送的報表記錄，與系統(tǒng)中已存在的重碼報表記錄進行比較和處理。對于處理剔除的記錄可自動轉(zhuǎn)入黑名單，避免再次上報。接收清單察看，可列表顯示接收數(shù)據(jù)中有哪些屬于系統(tǒng)中已有數(shù)據(jù)，哪些屬于新增數(shù)據(jù)，哪些屬于超出系統(tǒng)預(yù)設(shè)

48、報送范圍的數(shù)據(jù)，并針對這些數(shù)據(jù)允許用戶選擇“僅追加新數(shù)據(jù)”、“僅覆蓋原有數(shù)據(jù)”、“覆蓋原有數(shù)據(jù)并追加新數(shù)據(jù)”等接收方式（默認采用系統(tǒng)預(yù)設(shè)的接收方式）。重新報送，可以選定一定統(tǒng)計級別范圍，將該級別下原有報送數(shù)據(jù)全部清除，重新接受新的報送數(shù)據(jù)。接收日志察看，可察看并導(dǎo)出歷次接收對數(shù)據(jù)的操作情況。數(shù)據(jù)驗收設(shè)計數(shù)據(jù)驗收的流程、驗收的權(quán)限也是按照不同的調(diào)查任務(wù)預(yù)先進行設(shè)置的。在數(shù)據(jù)驗收時，可按照審核公式的設(shè)置，調(diào)用本級別相應(yīng)的審核關(guān)系對數(shù)據(jù)進行審核驗收。用戶可以對下級部門或填報單位報送的數(shù)據(jù)進行審核驗收，在上報上級部門之前，用戶還可以取消驗收。異常數(shù)據(jù)警示系統(tǒng)會根據(jù)預(yù)設(shè)的警示控制值，對所填數(shù)據(jù)即時預(yù)警，

49、如本期填報值與上期填報值得浮動超過一定范圍等。報送審核數(shù)據(jù)漏報提示功能。填報人員上報數(shù)據(jù)時，由于填報數(shù)據(jù)較多，存在缺報漏報某條數(shù)據(jù)的可能，對此，系統(tǒng)會自動審核數(shù)據(jù)完整性，發(fā)現(xiàn)信息不全會自動要求用戶繼續(xù)填報或填寫備注說明情況；審核人員也可以通過審核上報數(shù)據(jù)，對所有異常數(shù)據(jù)進行著重排查，核對異常數(shù)據(jù)的情況說明，發(fā)現(xiàn)問題及時通過電話聯(lián)系核實情況或退回并要求填報人員重新上報，確保數(shù)據(jù)的準確性、完整性。審核公式設(shè)置設(shè)計在進行人工審核時，用戶可以根據(jù)原有的審核公式重新設(shè)計，以便按照更嚴格的審核關(guān)系重新審核這些數(shù)據(jù)。在進行審核公式設(shè)置時的操作步驟主要是：在原先的審核公式的基礎(chǔ)上進行修改，或者設(shè)計新的審核公式

50、；用修改或新設(shè)計的審核公式進行審核；查看未通過審核的企業(yè)數(shù)據(jù)；對這些未通過的企業(yè)數(shù)據(jù)進行確認或者要求退回重填。前臺審核設(shè)計數(shù)據(jù)的前臺審核主要是利用本報表內(nèi)的數(shù)據(jù)審核關(guān)系進行數(shù)據(jù)的審核，同時包含簡單的數(shù)據(jù)類型、數(shù)據(jù)長度的基本檢查。前臺的審核關(guān)系在系統(tǒng)數(shù)據(jù)報表設(shè)計時進行定義，發(fā)布時自動發(fā)布到數(shù)據(jù)采集表單中。后臺審核設(shè)計數(shù)據(jù)后臺審核服務(wù)屬于接口性的服務(wù)，所接收的數(shù)據(jù)采用系統(tǒng)內(nèi)的標準格式來定義，外部應(yīng)用或其他系統(tǒng)需要調(diào)用后臺審核服務(wù)，必須提供符合要求的數(shù)據(jù)。后臺審核服務(wù)的流程如下所示：需要特別說明的是，本系統(tǒng)中的審核服務(wù)將采用流行的分布式計算技術(shù)（Servlet、WebService等）實現(xiàn)，可以根據(jù)

51、實際需要單獨配置在一臺服務(wù)器上，甚至可以配置于一個獨立的集群。這樣一來，開始可以將審核服務(wù)與采集服務(wù)配置在一臺服務(wù)器上，隨著采集、審核任務(wù)量的逐年日益繁重，系統(tǒng)可以方便地向上擴充，將采集服務(wù)和審核任務(wù)分離，分別根據(jù)需要作適當?shù)挠布渲?。使用審核系統(tǒng)后臺服務(wù)的數(shù)據(jù)由兩部分構(gòu)成：審核關(guān)系：由各種計算公式、條件表達式和說明信息構(gòu)成，公式中牽涉到的數(shù)據(jù)由填報信息關(guān)聯(lián)獲得。審核關(guān)系可以由多組計算公式和條件表達式構(gòu)成，審核服務(wù)會依次計算每一組公式和表達式，然后返回結(jié)果。填報信息：本審核公式所對應(yīng)的企業(yè)填報信息，主要起到定位具體的待審核計算的數(shù)據(jù)的目的。審核服務(wù)流程中的各個步驟說明如下：加入審核隊列這一步的

52、目的是快速的將審核請求保存到審核隊列當中，以便審核系統(tǒng)安排審核任務(wù)。接收了審核請求并保存了審核數(shù)據(jù)包之后，系統(tǒng)會立刻向請求者發(fā)出一條正在審核的信息，以便允許請求者去做其他操作。解釋對審核數(shù)據(jù)包中的各種信息進行解釋和確認，包括公式、數(shù)據(jù)的完整性等進行確認。這時審核服務(wù)并不真正去檢索原始數(shù)據(jù)庫或基礎(chǔ)價格數(shù)據(jù)庫來獲得要審核的具體數(shù)據(jù)，而僅僅是根據(jù)審核公式去檢查填報信息中提供定位要審核的具體數(shù)據(jù)的信息是否足夠。如果在本步驟發(fā)現(xiàn)錯誤（一般不會），則審核服務(wù)會從隊列中刪除本條審核任務(wù)，同時向調(diào)用者返回一條出錯信息。隊列優(yōu)化針對隊列中現(xiàn)有的各條審核任務(wù)，對隊列進行重排，隊列重排的目的是針對對原始庫、基礎(chǔ)價格

53、數(shù)據(jù)庫檢索時的優(yōu)化，以減小原始庫、基礎(chǔ)價格數(shù)據(jù)庫等大數(shù)據(jù)量數(shù)據(jù)庫的負荷。服務(wù)器調(diào)度在多臺審核服務(wù)器之間進行負載均衡的優(yōu)化，將同一類任務(wù)提交給一臺服務(wù)器，將任務(wù)在多服務(wù)器之間平均化。審核計算根據(jù)填報信息和審核公式，從相應(yīng)的數(shù)據(jù)庫中提取數(shù)據(jù)，并對審核公式進行計算，以得到審核的結(jié)果。在對數(shù)據(jù)庫訪問時，因為前面已經(jīng)對任務(wù)隊列進行優(yōu)化，所以這時可以針對多條同類的審核任務(wù)同時對數(shù)據(jù)庫進行訪問，然后在根據(jù)公式逐條計算。結(jié)果反饋將審核的結(jié)果保存到相應(yīng)的數(shù)據(jù)庫當中，同時，如果需要的話對調(diào)用者返回一定的信息。人工審核設(shè)計人工審核是對自動審核的補充，是由用戶手工的對進入到基礎(chǔ)價格數(shù)據(jù)庫中的數(shù)據(jù)進行再次的審核。人工審

54、核報系統(tǒng)包括以下幾方面內(nèi)容：數(shù)據(jù)檢索按照一定的條件從基礎(chǔ)價格數(shù)據(jù)庫中檢索出可能有錯誤的數(shù)據(jù)。本項功能主要目的是減小人工審核時的數(shù)據(jù)范圍。審核按照審核公式重新審核這些數(shù)據(jù)。數(shù)據(jù)在經(jīng)過后臺審核服務(wù)的時候，因為有些審核關(guān)系不是硬性的關(guān)系，所以這一步主要是針對這些數(shù)據(jù)進行人工的判斷。審核公式再設(shè)計根據(jù)原有的審核公式重新設(shè)計，允許用戶按照更嚴格的審核關(guān)系重新審核這些數(shù)據(jù)。審核人員可以在就的審核關(guān)系的基礎(chǔ)上修改，也可以設(shè)計新的審核公式。為通過數(shù)據(jù)列表用戶可以將沒有通過審核的數(shù)據(jù)（以填報單位分類）先統(tǒng)一放到這個列表當中，以便進一步的判斷或處理。通知以各種可行的手段通知沒有通過人工審核的填報單位。通知的手段包

55、括通過網(wǎng)站的通知（自動）、電子郵件（自動）、電話通知（手動），其他可能的手段還有自動的通過手機短信或傳真等途徑通知填報單位。在通知的同時，這些未通過審核的數(shù)據(jù)所在的報表將從基礎(chǔ)價格數(shù)據(jù)庫中刪除，以允許填報單位再次填報，同時對于這些填報單位，這些沒有通過審核的報表也將自動設(shè)置為催報的狀態(tài)。通過審核當所有的數(shù)據(jù)都驗證無誤之后，審核人員必須執(zhí)行一個通過審核的操作，只有被執(zhí)行過該操作的數(shù)據(jù)，才可以被進行處理。通過審核的操作會記錄到系統(tǒng)的日志當中。數(shù)據(jù)交換平臺結(jié)合元數(shù)據(jù)管理模塊并完成二次開發(fā)，構(gòu)建統(tǒng)一的數(shù)據(jù)交換平臺。實現(xiàn)業(yè)務(wù)數(shù)據(jù)從各級應(yīng)用系統(tǒng)，通過數(shù)據(jù)抽取、清洗和轉(zhuǎn)換（ETL）等操作，最終加載到數(shù)據(jù)共享

56、平臺數(shù)據(jù)庫中，完成整個數(shù)據(jù)交換過程的配置、管理和監(jiān)控功能。具體要求包括：支持多種數(shù)據(jù)格式的數(shù)據(jù)交換，如關(guān)系型數(shù)據(jù)庫：MS-SQLServer、MYSQL、Oracle、DB2等；文件格式：DBF、Excel、Txt、Cvs等。支持數(shù)據(jù)交換規(guī)則的描述，包括字段映射、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)清洗、數(shù)據(jù)加載規(guī)則以及錯誤處理等。支持數(shù)據(jù)交換任務(wù)的發(fā)布與執(zhí)行監(jiān)控，如任務(wù)的執(zhí)行計劃制定、定期執(zhí)行、人工執(zhí)行、結(jié)果反饋、異常監(jiān)控。支持增量抽取的處理方式，增量加載的處理方式；支持元數(shù)據(jù)的管理，能提供動態(tài)的影響分析，能與前端報表系統(tǒng)結(jié)合，分析報表到業(yè)務(wù)系統(tǒng)的血緣分析關(guān)系；具有靈活的可編程性、模塊化的設(shè)計能力，數(shù)據(jù)

57、處理流程，客戶自定義腳本和函數(shù)等具備可重用性；支持斷點續(xù)傳及異常數(shù)據(jù)審核、回滾等交換機制。提供數(shù)據(jù)交換日志審計功能。ETL概述ETL指的是數(shù)據(jù)提取(Extraction), 變換(Transformation)和加載(Loading)全過程。ETL系統(tǒng)按照預(yù)先定義的任務(wù)定時調(diào)度表，定期自動把各個業(yè)務(wù)系統(tǒng)的新增數(shù)據(jù)經(jīng)過轉(zhuǎn)換后，加載到數(shù)據(jù)資源中心。ETL功能是提供數(shù)據(jù)庫信息內(nèi)容的前期工作，它改造了來自數(shù)據(jù)源的相關(guān)數(shù)據(jù)，將它們變成有用的信息存儲在數(shù)據(jù)庫中。沒有這些功能，就沒有數(shù)據(jù)庫中的戰(zhàn)略信息。如果沒有對源數(shù)據(jù)進行正確的抽取、清洗和用正確的格式進行整合，作為數(shù)據(jù)庫中樞功能的查詢和分析處理就不能進行。

58、廣義說來，ETL系統(tǒng)將貫穿整個數(shù)據(jù)庫的全過程。但通常情況下，ETL指的是從抽取源數(shù)據(jù)到載入數(shù)據(jù)庫DW層這期間對數(shù)據(jù)的加工處理過程。ETL子系統(tǒng)中數(shù)據(jù)轉(zhuǎn)換規(guī)則和數(shù)據(jù)映射規(guī)則需通過分析數(shù)據(jù)庫中的數(shù)據(jù)結(jié)構(gòu)和源系統(tǒng)中的數(shù)據(jù)結(jié)構(gòu)設(shè)計得出，并把這些規(guī)則存儲在元數(shù)據(jù)庫中。ETL在整個數(shù)據(jù)庫中占有非常重要的地位。從分析質(zhì)量來看，及時可靠的分析數(shù)據(jù)影響著整個系統(tǒng)系統(tǒng)的準確程度。從工作量上來看，一旦數(shù)據(jù)庫系統(tǒng)建成，ETL工作時間最高可占全部數(shù)據(jù)庫系統(tǒng)的80%。ETL是企業(yè)數(shù)據(jù)質(zhì)量管理（DQM）的一個重要環(huán)節(jié)，ETL過程的質(zhì)量對數(shù)據(jù)庫的品質(zhì)有極大影響。但需要說明的是，本項目的ETL子系統(tǒng)處于企業(yè)企業(yè)數(shù)據(jù)質(zhì)量管理（D

59、QM）的較高層次，它不可能解決數(shù)據(jù)源端帶來的全部質(zhì)量問題，更不可能隨意補全缺失的數(shù)據(jù)。因此，要保證作為主要數(shù)據(jù)源的各業(yè)務(wù)系統(tǒng)和模塊是可用的和在用的，同時保證應(yīng)用力度和數(shù)據(jù)質(zhì)量是能滿足要求的。數(shù)據(jù)抽取在數(shù)據(jù)庫中，必須從不同的操作型數(shù)據(jù)庫系統(tǒng)以及其它形式外部數(shù)據(jù)源中有選擇地抽取數(shù)據(jù)，而不應(yīng)該將所有源數(shù)據(jù)全部塞入數(shù)據(jù)庫。在具體的抽取過程中，還必須根據(jù)是增量裝載工作還是初始完全裝載等不同情況的變化規(guī)劃抽取任務(wù)。有效的數(shù)據(jù)抽取對于數(shù)據(jù)庫的成功很關(guān)鍵，需要合理細致地制訂數(shù)據(jù)抽取策略。數(shù)據(jù)抽取的要點主要有：數(shù)據(jù)源確認：確認數(shù)據(jù)的源系統(tǒng)（或文件）和結(jié)構(gòu)；抽取方法：針對每個數(shù)據(jù)源，定義抽取過程是人工抽取還是基于

60、工具抽取；抽取頻率：對于每個數(shù)據(jù)源，確定數(shù)據(jù)抽取的頻率，每天、每星期、每季度，等等；時間窗口：對于每個數(shù)據(jù)源，表示出抽取過程進行的時間窗口；工作順序：決定抽取任務(wù)中某項工作是否必須等到前面的工作成功完成，才能開始；異常處理：決定如何處理無法抽取的輸入紀錄。數(shù)據(jù)轉(zhuǎn)換抽取得到的數(shù)據(jù)是沒有經(jīng)過加工的數(shù)據(jù)，不能直接應(yīng)用于數(shù)據(jù)庫。首先，所有抽取的數(shù)據(jù)必須轉(zhuǎn)換為數(shù)據(jù)庫可以使用的數(shù)據(jù)。擁有可以用來進行戰(zhàn)略決策的信息，是數(shù)據(jù)庫最根本的原則，而操作型系統(tǒng)的數(shù)據(jù)不能滿足這個要求；其次，抽取得到的數(shù)據(jù)其質(zhì)量可能還達不到數(shù)據(jù)庫的要求，所以必須在數(shù)據(jù)庫之前提高數(shù)據(jù)的質(zhì)量。所以在將抽取的數(shù)據(jù)載入數(shù)據(jù)庫之前，不可避免地要執(zhí)