數(shù)據(jù)庫(kù)系統(tǒng)總體設(shè)計(jì)原則

文檔編號(hào)產(chǎn)品版本密級(jí)

1.0

共87頁(yè)

數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)

總體設(shè)計(jì)

文檔作者：_______日期：2001/12/20

項(xiàng)目經(jīng)理：_______日期：2001/12/28

部門(mén)經(jīng)理：_____日期：2002/01/08

總工辦：_______日期：2002/01/08

目錄

I概述..............................................................7

1.1背景.........................................................7

1.1.1待開(kāi)發(fā)的軟件系統(tǒng)名稱(chēng)...........................................8

1.1.2系統(tǒng)的基本概念.................................................8

1.1.3項(xiàng)目組名稱(chēng).....................................................8

1.1.4項(xiàng)目代號(hào).......................................................8

1.2術(shù)語(yǔ)和縮寫(xiě)詞.................................................8

1.3設(shè)計(jì)目標(biāo).....................................................9

2系統(tǒng)設(shè)計(jì)..........................................................9

2.1設(shè)計(jì)原則.....................................................9

2.2系統(tǒng)結(jié)構(gòu)....................................................II

2.2.1子系統(tǒng)劃分....................................................II

2.3系統(tǒng)數(shù)據(jù)結(jié)構(gòu)................................................17

2.3.1邏輯結(jié)構(gòu)......................................................12

2.3.2層次結(jié)構(gòu)......................................................13

2.3.3網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)..................................................14

2.3.4網(wǎng)絡(luò)層次結(jié)構(gòu)..................................................16

2.4行業(yè)特殊需求................................................17

2.5底層數(shù)據(jù)庫(kù)（倉(cāng)庫(kù)）設(shè)計(jì)......................................19

2.5.1設(shè)計(jì)原則......................................................19

2.5.2數(shù)據(jù)現(xiàn)狀......................................................20

2.5.3數(shù)據(jù)存儲(chǔ)整體規(guī)劃..............................................21

2.6ETL系統(tǒng)....................................................24

2.6.1需求規(guī)定......................................................24

2.6.2運(yùn)行環(huán)境......................................................24

2.6.3設(shè)計(jì)思想......................................................24

2.6.4結(jié)構(gòu)說(shuō)明......................................................25

2.6.5處理流程......................................................26

2.7系統(tǒng)管理.................................................................................27

2.7.1需求規(guī)定.......................................................................................27

2.7.2運(yùn)行環(huán)境.......................................................................................28

2.7.3設(shè)計(jì)思想.......................................................................................28

2.7.4結(jié)構(gòu)說(shuō)明.......................................................................................28

2.7.5處理流程.......................................................................................29

2.8數(shù)據(jù)展現(xiàn).................................................................................30

2.8.1需求規(guī)定........................................................................................30

282運(yùn)行環(huán)境........................................................................................32

2.8.3設(shè)計(jì)思想....................................................................................32

2.8.4結(jié)構(gòu)說(shuō)明.......................................................................................32

2.8.5處理流程........................................................................................34

2.9界面設(shè)計(jì)...................................錯(cuò)誤!未定義書(shū)簽。

2.9.1需求規(guī)定......................................錯(cuò)誤!未定義書(shū)簽。

292主程序界面....................................錯(cuò)誤!未定義書(shū)簽。

2.9.3主要頁(yè)面設(shè)計(jì)..................................錯(cuò)誤!未定義書(shū)簽。

2.10接口設(shè)計(jì).................................................................................34

2.10.1外部接口........................................................................................34

2.10.2內(nèi)部接口......................................................35

2.11安全設(shè)計(jì)...................................................35

2.11.1網(wǎng)絡(luò)安全......................................................35

2.11.2數(shù)據(jù)庫(kù)安全...................................................38

2.12系統(tǒng)可靠性設(shè)計(jì).............................................39

2.12.1可靠性........................................................39

2.12.2可維護(hù)性.....................................................39

2.12.3可擴(kuò)展性.....................................................40

2.12.4健壯性........................................................40

2.12.5性能保證.....................................................40

2.12.6出錯(cuò)處理.....................................................41

2.12.7備份與恢復(fù)...................................................41

2.13運(yùn)行設(shè)計(jì)...................................................42

2.14相關(guān)工具選擇...............................................42

2.14.1數(shù)據(jù)庫(kù)選擇....................................................43

2.14.2WEB服務(wù)器和應(yīng)用服務(wù)器......................................43

2.14.3數(shù)據(jù)庫(kù)建模工具...............................................44

2.14.4分析型工具...................................................44

2.14.5OLAP工具介紹...............................................45

2.14.6ORACLE公司OLAP介紹......................................46

2.15開(kāi)發(fā)環(huán)境...................................................47

2.15.1硬件環(huán)境......................................................47

2.15.2操作系統(tǒng).....................................................48

2.15.3開(kāi)發(fā)語(yǔ)言.....................................................48

2.15.4數(shù)據(jù)庫(kù)系統(tǒng)...................................................48

2.15.5中間件系統(tǒng)...................................................48

2.15.6應(yīng)用系統(tǒng).....................................................49

3系統(tǒng)調(diào)試和測(cè)試..................................................49

3.1目的........................................................49

3.2基本要求....................................................50

3.2.1測(cè)試計(jì)戈ij............................................................................................................50

3.2.2測(cè)試說(shuō)明......................................................50

3.2.3測(cè)試環(huán)境建立..................................................50

3.2.4測(cè)試報(bào)告......................................................50

3.3應(yīng)遵循的原則................................................50

3.4測(cè)試方法....................................................51

3.5測(cè)試重點(diǎn)....................................................51

4項(xiàng)目進(jìn)度.........................................................52

4.1項(xiàng)目資源計(jì)劃................................................52

4.1.1項(xiàng)目組........................................................52

4.1.2數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)導(dǎo)小組辦公室........................................52

4.2項(xiàng)目工期計(jì)劃................................................52

4.3時(shí)間進(jìn)度計(jì)劃................................................52

4.3.1數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)需求調(diào)查與兩會(huì)系統(tǒng)................................53

4.4第一期開(kāi)發(fā)主題..............................................53

4.5第二期開(kāi)發(fā)主題..............................................53

4.6工作量分配計(jì)劃..............................................53

5小結(jié).............................................................54

6參考文獻(xiàn)..........................................................56

7附錄.............................................................57

7.1Oracle性能評(píng)估報(bào)告..........................................57

7.2主流WEB服務(wù)器比較........................................61

7.3IBM小型機(jī)性能評(píng)估報(bào)告.....................................72

7.4詳細(xì)網(wǎng)絡(luò)拓?fù)鋱D及設(shè)備清單...................................74

7.5在多層體系結(jié)構(gòu)下建立數(shù)據(jù)倉(cāng)庫(kù)...............................79

摘要

數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的建立可以解決傳統(tǒng)數(shù)據(jù)庫(kù)不能很好提供分析決策功能的問(wèn)

題，可以發(fā)掘歷史數(shù)據(jù)中隱含的大量有價(jià)值的信息，為國(guó)民經(jīng)濟(jì)的發(fā)展和宏觀決

策提供大量有效的參考信息。系統(tǒng)數(shù)據(jù)來(lái)源復(fù)雜，在數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)中不能采用常

規(guī)方法解決問(wèn)題；主題眾多且分析熱點(diǎn)會(huì)隨時(shí)間變化而變化，要求主題下所含的

信息在一定范圍可變；主題下指標(biāo)可能需要調(diào)整等實(shí)際情況，這和數(shù)據(jù)倉(cāng)庫(kù)的數(shù)

據(jù)的不可修改性有矛盾；等等。我們結(jié)合數(shù)據(jù)倉(cāng)庫(kù)的特點(diǎn)和系統(tǒng)實(shí)際情況，提供

了一套完整的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的解決方案。整個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)從數(shù)據(jù)采集到數(shù)據(jù)展

現(xiàn)共分為四部分：1、數(shù)據(jù)抽取、轉(zhuǎn)換、加載；2、系統(tǒng)管理（包括數(shù)據(jù)庫(kù)維護(hù)）；

3、數(shù)據(jù)展現(xiàn)；4、支撐整個(gè)系統(tǒng)的數(shù)據(jù)庫(kù)的設(shè)計(jì)（包括ETL中間數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)

庫(kù)）保證系統(tǒng)具有相當(dāng)?shù)撵`活性。各個(gè)部分獨(dú)立完成本部分功能，同時(shí)緊密協(xié)作

組成數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)。數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)管理與數(shù)據(jù)導(dǎo)入部分采用C/S模式有針對(duì)性的

開(kāi)發(fā)；數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的數(shù)據(jù)展現(xiàn)采用流行的B/S模式向用戶提供數(shù)據(jù)查詢、決策

分析。

關(guān)鍵詞：

指標(biāo)，主題，數(shù)據(jù)倉(cāng)庫(kù)，聯(lián)機(jī)分析，數(shù)據(jù)挖掘，決策支持。

1概述

1.1背景

經(jīng)過(guò)2個(gè)多月的需求分析調(diào)查，確定了數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)總體定位（省政府?dāng)?shù)據(jù)

倉(cāng)庫(kù)是以充分發(fā)揮信息的社會(huì)作用和經(jīng)濟(jì)效益為最終目的）和系統(tǒng)功能需求。現(xiàn)

根據(jù)需求分析規(guī)定和局具體情況，確定數(shù)據(jù)倉(cāng)庫(kù)整體方案，以指導(dǎo)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)

研究、開(kāi)發(fā)、實(shí)現(xiàn)。

省政府局?jǐn)?shù)據(jù)具有建立數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的基本條件：

?積累r大量歷史數(shù)據(jù)，這是數(shù)據(jù)倉(cāng)庫(kù)存在的必要條件；

?隨著市場(chǎng)經(jīng)濟(jì)的發(fā)展，社會(huì)各界（如金融投資等領(lǐng)域?yàn)榱艘?guī)避市場(chǎng)

風(fēng)險(xiǎn)，提高決策的準(zhǔn)確度，開(kāi)發(fā)新的市場(chǎng)和利潤(rùn)增長(zhǎng)點(diǎn)，挖掘市場(chǎng)

潛力）對(duì)數(shù)據(jù)的需求不斷增大，社會(huì)各界迫切需要利用數(shù)據(jù)進(jìn)行決

策分析，指導(dǎo)經(jīng)濟(jì)建設(shè)。

省政府?dāng)?shù)據(jù)倉(cāng)庫(kù)建設(shè)存在以下困難：

?當(dāng)前局各個(gè)處室沒(méi)有統(tǒng)一規(guī)劃的數(shù)據(jù)庫(kù)系統(tǒng)；

?只有少量數(shù)據(jù)以電子文件形式存在，大部分歷史數(shù)據(jù)保存在紙介

質(zhì)上，到目前為止，建國(guó)以來(lái)的數(shù)據(jù)有一般以上以紙介質(zhì)方式存

儲(chǔ)；

?由于我國(guó)制度在不斷發(fā)展完善，指標(biāo)在不同的歷史時(shí)期的口徑不

同，為了使同類(lèi)指標(biāo)具有可比性，要確定不同時(shí)期各個(gè)指標(biāo)的調(diào)

整規(guī)則，并對(duì)歷史數(shù)據(jù)按規(guī)則進(jìn)行調(diào)整，這種調(diào)整除了少數(shù)指標(biāo)

可以按統(tǒng)一的算法進(jìn)行以外，大部分調(diào)整工作需要人工參與；

因此，省政府?dāng)?shù)據(jù)倉(cāng)庫(kù)的建設(shè)中數(shù)據(jù)的整理加載工作量極大，ETL（Extract,

TransformCleaning、Load）工具開(kāi)發(fā)難度大；完善的、與數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)良好聯(lián)

接的、統(tǒng)一規(guī)劃的各個(gè)處室的數(shù)據(jù)庫(kù)系統(tǒng)是據(jù)倉(cāng)庫(kù)系統(tǒng)的具有長(zhǎng)久生命力的基本

保障，因此各處室數(shù)據(jù)庫(kù)的建設(shè)應(yīng)同步進(jìn)行。

1.1.1待開(kāi)發(fā)的軟件系統(tǒng)名稱(chēng)

省政府?dāng)?shù)據(jù)倉(cāng)庫(kù)系統(tǒng)

1.1.2系統(tǒng)的基本概念

指標(biāo)：系統(tǒng)的數(shù)據(jù)以指標(biāo)為載體，所有的數(shù)據(jù)都是指標(biāo)在不同時(shí)間，不同地

域上的取值，統(tǒng)一指標(biāo)可能有年度、月度、季度、半年、連續(xù)某幾個(gè)月等時(shí)間段

的數(shù)據(jù)，可能有國(guó)家、省、地、市、縣、鄉(xiāng)、村的數(shù)據(jù)，甚至有居民戶、具體企

業(yè)單位的明細(xì)數(shù)據(jù)，數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)就是這些數(shù)據(jù)的有機(jī)集合。

主題：數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)按主題組織，這是由數(shù)據(jù)倉(cāng)庫(kù)以分析決策為主要目

的決定的。主題是一個(gè)在較高層次上將數(shù)據(jù)歸類(lèi)的標(biāo)準(zhǔn)，每一個(gè)主題對(duì)應(yīng)一個(gè)宏

觀的分析領(lǐng)域。省政府?dāng)?shù)據(jù)倉(cāng)庫(kù)是將指標(biāo)數(shù)據(jù)按分析主題集成起來(lái)，供查詢、分

析、輔助決策。

1.1.3項(xiàng)目組名稱(chēng)

數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目組

1.1.4項(xiàng)目代號(hào)

XhnTJDW001-00l9

1.2術(shù)語(yǔ)和縮寫(xiě)詞

指標(biāo):StatisticalParameter

數(shù)據(jù)倉(cāng)庫(kù)：DW(DataWarehouse)

主題：Subject

數(shù)據(jù)集市：DataMart

元數(shù)據(jù)：MetaData

數(shù)據(jù)抽取、轉(zhuǎn)換、加載:ETL(ExtractTransformCleaning>Load)

聯(lián)機(jī)分析處理：OLAP(On-LineAnalyticalProcessing)

聯(lián)機(jī)事務(wù)處理：OLTP(On-LineTransactionProcessing)

決策支持系統(tǒng)：DSS(DecisionSupportSystem)

數(shù)據(jù)挖掘：DM(DataMining)

應(yīng)用服務(wù)器：AS(ApplicationServer)

Web服務(wù)器：Webserver

1.3設(shè)計(jì)目標(biāo)

省政府?dāng)?shù)據(jù)倉(cāng)庫(kù)系統(tǒng)是以充分發(fā)揮信息的社會(huì)效益和經(jīng)濟(jì)價(jià)值為最終目的。

將大量事務(wù)處理數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行清理、抽取和轉(zhuǎn)換，并按決策主題進(jìn)行

多維重組，在高效的網(wǎng)絡(luò)平臺(tái)上充分發(fā)揮系統(tǒng)作為社會(huì)“數(shù)據(jù)庫(kù)，信息庫(kù)，思想

庫(kù)，智囊?guī)臁钡淖饔?，直接向黨政領(lǐng)導(dǎo)、社會(huì)各界提供數(shù)據(jù)、信息服務(wù)，為信息

工程建設(shè)提供一個(gè)“決策數(shù)據(jù)管理與分析中心”的基本解決方案。

為省政府局建立一套面向黨政領(lǐng)導(dǎo)、專(zhuān)業(yè)分析人員、廣大社會(huì)群眾對(duì)外發(fā)布

信息的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)。整個(gè)系統(tǒng)集數(shù)據(jù)采集、管理、維護(hù)、展現(xiàn)于一體，旨在建

立數(shù)據(jù)倉(cāng)庫(kù)后既減輕局工作人員工作量，又能很好的為公眾服務(wù)。前端數(shù)據(jù)展現(xiàn)

要有通用性，采用瀏覽器瀏覽數(shù)據(jù)，是瘦客戶端。后端維護(hù)系統(tǒng)要具有高效性，

能及時(shí)、高效處理、管理數(shù)據(jù)，功能強(qiáng)大，是胖客戶端。

數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)重在建立一個(gè)適應(yīng)分析的系統(tǒng)環(huán)境，首期開(kāi)發(fā)“兩會(huì)”信息咨

詢，企業(yè)名錄、人口普查、字典、工業(yè)經(jīng)濟(jì)、農(nóng)業(yè)經(jīng)濟(jì)等主題。

2系統(tǒng)設(shè)計(jì)

2.1設(shè)計(jì)原則

從充分發(fā)揮系統(tǒng)作為社會(huì)“數(shù)據(jù)庫(kù)，信息庫(kù)，思想庫(kù)，智囊?guī)臁钡淖饔?，?/p>

接向黨政領(lǐng)導(dǎo)、社會(huì)各界提供“快、精、準(zhǔn)”的信息服務(wù)的需要出發(fā)，采用當(dāng)今

數(shù)據(jù)庫(kù)領(lǐng)域成熟穩(wěn)定的數(shù)據(jù)倉(cāng)庫(kù)、決策分析等技術(shù)，在高效的網(wǎng)絡(luò)平臺(tái)上為全省

信息工程建設(shè)提供一個(gè)“決策數(shù)據(jù)管理與分析中心”的基本解決方案。

1、系統(tǒng)采用多層體系結(jié)構(gòu)，建立一個(gè)良好開(kāi)放性的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)環(huán)境，適

應(yīng)不斷增加和變化的業(yè)務(wù)需求。多層體系結(jié)構(gòu)通過(guò)引入中間層組件，擴(kuò)

大了傳統(tǒng)的客戶/服務(wù)器和兩層計(jì)算模式。多層結(jié)構(gòu)可由以下三類(lèi)分層來(lái)

定義：前端的客戶層，負(fù)責(zé)提供可移植的表達(dá)邏輯；中間的應(yīng)用層，允

許用戶通過(guò)將其與實(shí)際應(yīng)用隔離而共享和控制'業(yè)務(wù)邏輯；后端的數(shù)據(jù)管

理與服務(wù)層，提供對(duì)專(zhuān)門(mén)服務(wù)（例如數(shù)據(jù)庫(kù)服務(wù)器）的訪問(wèn)。多層結(jié)構(gòu)

與傳統(tǒng)的客戶/服務(wù)器結(jié)構(gòu)的區(qū)別在于：在傳統(tǒng)的客戶/服務(wù)器兩層結(jié)構(gòu)

中，用戶將實(shí)際的業(yè)務(wù)邏輯放置到客戶端（作為對(duì)表達(dá)邏輯的增補(bǔ)）或放置

到后端數(shù)據(jù)庫(kù)（作為數(shù)據(jù)邏輯的一部分包含在存儲(chǔ)過(guò)程中）。而在多層結(jié)構(gòu)

中，用戶將業(yè)務(wù)邏輯放到中間層上。這種模塊化方法明確地劃分了表達(dá)

邏輯、業(yè)務(wù)邏輯和數(shù)據(jù)存儲(chǔ)。多層結(jié)構(gòu)通過(guò)將應(yīng)用邏輯集中到中間層，

開(kāi)發(fā)者可以迅速更新業(yè)務(wù)邏輯，而無(wú)需重新將應(yīng)用遞交到成千上萬(wàn)的桌

面系統(tǒng)上。提高數(shù)據(jù)庫(kù)的性能、改善系統(tǒng)的開(kāi)放性、可擴(kuò)展性和數(shù)據(jù)的

安全性，并降低管理的復(fù)雜性。

2、結(jié)構(gòu)化、層次化、模塊化。采用面向?qū)ο蠹夹g(shù)，使系統(tǒng)高度結(jié)構(gòu)化、模

塊化、層次化，整個(gè)系統(tǒng)由接口定義良好的多個(gè)模塊組成，每個(gè)模塊都

有詳細(xì)的功能說(shuō)明和設(shè)計(jì)文稿，每個(gè)模塊完成相對(duì)獨(dú)立的功能，模塊之

間的接口定義規(guī)范，使模塊功能的變化相對(duì)獨(dú)立，不影響整個(gè)系統(tǒng)的功

能和結(jié)構(gòu)，便于系統(tǒng)升級(jí)，維護(hù)。

3、具有良好的平臺(tái)移植性。選用支持多種操作平臺(tái)的數(shù)據(jù)庫(kù)服務(wù)器、應(yīng)用

服務(wù)器、WEB服務(wù)器等服務(wù)器軟件系統(tǒng)，選用具有良好平臺(tái)移植性的

B/S和C/S模式下的開(kāi)發(fā)語(yǔ)言開(kāi)發(fā)應(yīng)用程序和應(yīng)用中間件，提高應(yīng)用系統(tǒng)

的平臺(tái)移植性；

4、統(tǒng)一性和多樣性相結(jié)合。面向用戶的各個(gè)應(yīng)用系統(tǒng)，盡量保持統(tǒng)一風(fēng)格

以適應(yīng)用戶的操作習(xí)慣，但各個(gè)系統(tǒng)根據(jù)內(nèi)容具有各自的特色，整個(gè)系

統(tǒng)和諧統(tǒng)一，清新明了。

5、自主開(kāi)發(fā)和利用現(xiàn)有工具相結(jié)合。盡量利用各成熟的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)軟件

（工具）為數(shù)據(jù)倉(cāng)庫(kù)這個(gè)具有特殊性的項(xiàng)目服務(wù)，針對(duì)具有特殊性的需

求，開(kāi)發(fā)特定的系統(tǒng)軟件，縮短數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)周期，降低開(kāi)發(fā)成本，保

證系統(tǒng)正常開(kāi)發(fā)。

6、安全性的考慮。系統(tǒng)安全和數(shù)據(jù)安全是一個(gè)網(wǎng)絡(luò)應(yīng)用系統(tǒng)應(yīng)該首先考慮

的問(wèn)題，數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的設(shè)計(jì)要從網(wǎng)絡(luò)安全、系統(tǒng)安全、數(shù)據(jù)安全等各

個(gè)方面充分考慮，保障系統(tǒng)安全穩(wěn)定。

7、分散與集中相結(jié)合。數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)是一個(gè)非常龐大的系統(tǒng)，所有數(shù)據(jù)集

中存儲(chǔ)，但局各處室能分別維護(hù)本處室數(shù)據(jù)，數(shù)據(jù)倉(cāng)庫(kù)根據(jù)需要能對(duì)系

統(tǒng)管理分別設(shè)置權(quán)限，不同用戶維護(hù)不同數(shù)據(jù)。

8、穩(wěn)定優(yōu)先，注重效率。數(shù)據(jù)倉(cāng)庫(kù)的海量數(shù)據(jù)存儲(chǔ)和高效杳詢是一對(duì)矛盾,

在當(dāng)今硬件技術(shù)不斷發(fā)展和成本不斷降低的形式下，我們優(yōu)先考慮系統(tǒng)

效率，但是在系統(tǒng)穩(wěn)定性和效率不可兼顧時(shí)，以系統(tǒng)穩(wěn)定優(yōu)先。。例如在

數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)方面，我們通過(guò)逆規(guī)范化（引進(jìn)適當(dāng)冗余）來(lái)提高系統(tǒng)查

詢效率。

9、以最簡(jiǎn)單的方式實(shí)現(xiàn)復(fù)雜的功能。為提高系統(tǒng)的穩(wěn)定性和可讀性，可維

護(hù)性，盡量采用簡(jiǎn)潔易懂的方式實(shí)現(xiàn)系統(tǒng)功能，不追求復(fù)雜、深?yuàn)W的算

法。

2.2系統(tǒng)結(jié)構(gòu)

2.2.1子系統(tǒng)劃分

整個(gè)系統(tǒng)按功能分為四大系統(tǒng)，各系統(tǒng)分別為：

I.數(shù)據(jù)庫(kù)系統(tǒng)

＞中間數(shù)據(jù)庫(kù)

＞數(shù)據(jù)倉(cāng)庫(kù)

2.ETL系統(tǒng)

＞指標(biāo)數(shù)據(jù)抽取子系統(tǒng)

＞指標(biāo)數(shù)據(jù)加載子系統(tǒng)

3.系統(tǒng)管理系統(tǒng)

＞ETL管理管理子系統(tǒng)

＞數(shù)據(jù)倉(cāng)庫(kù)管理子系統(tǒng)

元數(shù)據(jù)管理子系統(tǒng)

4.數(shù)據(jù)展現(xiàn)系統(tǒng)

A應(yīng)用服務(wù)器子系統(tǒng)

>WEB服務(wù)器子系統(tǒng)

>OLAP多維分柝決策支持分析子系統(tǒng)

>數(shù)據(jù)挖掘子系統(tǒng)

帶格巍:符號(hào)和編號(hào)

A圖形展示子系統(tǒng)

A報(bào)表處理子系統(tǒng)

A數(shù)據(jù)導(dǎo)出子系統(tǒng)

2.2.2邏輯結(jié)構(gòu)

界I川

圖形展示于系統(tǒng)數(shù)甥導(dǎo)出了系統(tǒng)報(bào)表處理子系統(tǒng)

皿OLAP決策分析了系統(tǒng)數(shù)甥尼掘子系統(tǒng)

WEBJR務(wù)盟ilu

OLAP服務(wù)器

應(yīng)用服務(wù)耦

...................................

指

指

標(biāo)

標(biāo)

數(shù)

數(shù)

據(jù)

郡

加

孥

孥

系

秦

統(tǒng)

數(shù)據(jù)倉(cāng)庫(kù)饞理子系統(tǒng)

數(shù)據(jù)展現(xiàn)

圖形屣示子系統(tǒng)

報(bào)表處理子系統(tǒng)

據(jù)導(dǎo)出子系統(tǒng)

決策分析

數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)挖掘|服務(wù)稀

應(yīng)

用WEB服務(wù)拼

服

務(wù)

器ETLJJL

ETL數(shù)就4力11耳又了重豕

中間數(shù)據(jù)庫(kù)

ETL數(shù)據(jù)加載子系統(tǒng)

系統(tǒng)管理

理至素統(tǒng)

數(shù)據(jù)倉(cāng)庫(kù)管理子系統(tǒng)

2.2.3層次結(jié)構(gòu)

Brows

整個(gè)系統(tǒng)在邏輯上分為三層：原始數(shù)據(jù)層，中間邏輯層（業(yè)務(wù)邏輯層、WEB服

務(wù)層、安全服務(wù)層），應(yīng)用層。

原始數(shù)據(jù)層：以統(tǒng)一規(guī)范的方式存儲(chǔ)數(shù)據(jù);

中間邏輯層：解析應(yīng)用層的業(yè)務(wù)邏輯，使應(yīng)用層和原始數(shù)據(jù)相互獨(dú)立，提高應(yīng)用

層系統(tǒng)（程序）的可擴(kuò)展性、可移植性；

應(yīng)用層：面向最終用戶，提供友好、簡(jiǎn)潔、方便的用戶界面，具有良好的業(yè)務(wù)無(wú)

關(guān)性。

2.2.4網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

我們根據(jù)以下列出的幾點(diǎn)，確定硬件系統(tǒng)結(jié)構(gòu)：

1.系統(tǒng)已經(jīng)擁有比較完備的內(nèi)部網(wǎng)絡(luò)系統(tǒng)，此系統(tǒng)是全國(guó)系統(tǒng)的專(zhuān)用

網(wǎng)絡(luò)。

2.省政府?dāng)?shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的數(shù)據(jù)、信息既能夠在系統(tǒng)的網(wǎng)絡(luò)內(nèi)最大限度

的實(shí)現(xiàn)數(shù)據(jù)共享，又能將可以對(duì)公眾發(fā)布的信息分不同的級(jí)別向外

界發(fā)布。

3.盡可能在網(wǎng)絡(luò)設(shè)計(jì)上考慮防止黑客攻擊、病毒傳播等破壞數(shù)據(jù)的手

段和方式。

4.盡可能利用現(xiàn)有網(wǎng)絡(luò)系統(tǒng)，包括系統(tǒng)專(zhuān)有網(wǎng)，公共Internet網(wǎng)，政府

辦公局域網(wǎng)等。

我們?cè)O(shè)計(jì)了一個(gè)在物理上可以隨時(shí)隔離或連接、由兩大部分組成的網(wǎng)絡(luò)

系統(tǒng)結(jié)構(gòu)，如下圖所示：

工作站工作站工作站工作站

說(shuō)明：

1、出于網(wǎng)絡(luò)安全的原因，將整個(gè)網(wǎng)絡(luò)分為內(nèi)部網(wǎng)絡(luò)和外部網(wǎng)絡(luò)兩部分。

2、內(nèi)部網(wǎng)絡(luò)與外部網(wǎng)絡(luò)的系統(tǒng)機(jī)構(gòu)基本相同。外部網(wǎng)絡(luò)基本上用在對(duì)外發(fā)布，

不包括保密信息。

3、外部網(wǎng)絡(luò)需要的發(fā)布數(shù)據(jù)從內(nèi)部網(wǎng)絡(luò)中通過(guò)ETL工具獲得，存放在外部網(wǎng)

絡(luò)的數(shù)據(jù)倉(cāng)庫(kù)中。

4、外部網(wǎng)絡(luò)經(jīng)過(guò)防火墻、路由器與Internet相連。

5、為保證數(shù)據(jù)安全，只在外部網(wǎng)絡(luò)從內(nèi)部網(wǎng)絡(luò)抽取數(shù)據(jù)時(shí)，兩者才是連通的（且

要經(jīng)過(guò)防火墻），其余時(shí)間兩個(gè)網(wǎng)絡(luò)物理隔離。

6、工作站分別為各個(gè)處室的個(gè)人PC機(jī)，也可以是單獨(dú)的工作站，功能為向ETL

服務(wù)器提供倉(cāng)庫(kù)所需數(shù)據(jù)及通過(guò)瀏覽器訪問(wèn)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)信息。

7、ETL工具定期從各個(gè)處室的數(shù)據(jù)庫(kù)系統(tǒng)抽取數(shù)據(jù)，且ETL服務(wù)器兼中間數(shù)

據(jù)庫(kù)服務(wù)器，抽取的數(shù)據(jù)暫時(shí)保存在ETL服務(wù)器上，在導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)之前容

許修改。

8、考慮到數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)決策分析時(shí)需要大量數(shù)據(jù)信息，所以要求交換機(jī)容量應(yīng)

為1000M,

9、OLAP服務(wù)器和應(yīng)用服務(wù)器結(jié)合比較緊密，在實(shí)際的應(yīng)用中共享一臺(tái)設(shè)備。

10、入侵檢測(cè)系統(tǒng)是一臺(tái)單獨(dú)的設(shè)備，放在路由之后，起到防止非法入侵的作

用。

11、安全隱患掃描系統(tǒng)可以運(yùn)行在一臺(tái)高性能的PC機(jī)上，提供及時(shí)的安全掃

描，及早發(fā)現(xiàn)問(wèn)題。

詳細(xì)的硬件配置及全局網(wǎng)絡(luò)拓?fù)鋮⒁?jiàn)附件：詳細(xì)網(wǎng)絡(luò)拓?fù)鋱D及設(shè)備清單

2.2.5網(wǎng)絡(luò)層次結(jié)構(gòu)

系統(tǒng)內(nèi)核層：

數(shù)據(jù)倉(cāng)庫(kù)內(nèi)部系統(tǒng)

系統(tǒng)安全層：

網(wǎng)絡(luò)防護(hù)體系

公共網(wǎng)絡(luò)層：

Internet

外部應(yīng)用層：

PC瀏覽器（B/S）

其他客戶系統(tǒng)

整個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)由內(nèi)而外分為四層：

1、系統(tǒng)內(nèi)核層：

包括數(shù)據(jù)倉(cāng)庫(kù)服務(wù)系統(tǒng)及應(yīng)用系統(tǒng)。

2、系統(tǒng)安全層:

使用網(wǎng)絡(luò)安全產(chǎn)品，與局現(xiàn)有網(wǎng)絡(luò)系統(tǒng)兼容，保護(hù)內(nèi)部數(shù)據(jù)安全，網(wǎng)上

信息傳送安全、防止黑客破壞或惡意入侵。

3、公共網(wǎng)絡(luò)層：

基于TCP/IP的城域網(wǎng)和廣域網(wǎng)（省局目前開(kāi)通的幀中繼網(wǎng)），使用現(xiàn)在已

經(jīng)建成的公共網(wǎng)絡(luò)將數(shù)據(jù)、信息、知識(shí)發(fā)布出去。

4、外部應(yīng)用層:

各種數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的客戶應(yīng)用系統(tǒng)，通過(guò)外部應(yīng)用系統(tǒng)用戶可以獲得系

統(tǒng)提供的向外發(fā)布的各種信息。

2.3系統(tǒng)數(shù)據(jù)結(jié)構(gòu)

省四仁數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是基于多維建模理論的關(guān)系型數(shù)據(jù)存儲(chǔ)方式，采

用多星型結(jié)構(gòu)存儲(chǔ)維度和事實(shí)數(shù)據(jù)。

2.4行業(yè)特殊需求

＞主題的增加

系統(tǒng)的分析方向眾多，涉及社會(huì)各界，且熱點(diǎn)每年都會(huì)發(fā)生變化，分析主

題會(huì)隨著社會(huì)經(jīng)濟(jì)的發(fā)展不斷有所增加，我們采用自頂向下的設(shè)計(jì)方法來(lái)設(shè)計(jì)局

數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，采用自底向上的方式實(shí)施，這樣每增加一個(gè)主題就是建設(shè)一個(gè)新

的數(shù)據(jù)集市，每個(gè)數(shù)據(jù)集市都是整體數(shù)據(jù)倉(cāng)庫(kù)的有機(jī)組成部分，分步驟分階段建

成完整的數(shù)據(jù)倉(cāng)庫(kù)，在完整的數(shù)據(jù)倉(cāng)庫(kù)建立起來(lái)以后，就可以更快的建立更多的

數(shù)據(jù)集市，滿足系統(tǒng)不斷增加的主題需求。

＞主題所含指標(biāo)的修改

主題的內(nèi)容是由指標(biāo)來(lái)體現(xiàn)，主題的分析目標(biāo)可能在一定的范圍內(nèi)發(fā)生變

化，起其所包含的指標(biāo)就會(huì)有相應(yīng)的增加或減少，由于數(shù)據(jù)倉(cāng)庫(kù)采用的是多維方

式的數(shù)據(jù)存儲(chǔ)方式，某個(gè)主題下指標(biāo)的增加（減少），只需要在相應(yīng)的指標(biāo)維表、

事實(shí)表中增加（減少）新的數(shù)據(jù)即可；每個(gè)主題在數(shù)據(jù)庫(kù)對(duì)應(yīng)一個(gè)指標(biāo)代碼表，

具體解釋主題下所含指標(biāo)。每個(gè)主題相關(guān)數(shù)據(jù)組成一個(gè)事實(shí)表。這樣主題可以很

方便增加，且效率比較高，主題下指標(biāo)可以適當(dāng)調(diào)整。

＞指標(biāo)數(shù)據(jù)修改

數(shù)據(jù)倉(cāng)庫(kù)中一個(gè)非常重要的原則，數(shù)據(jù)具有不可修改性。然而制度在不斷地

專(zhuān)業(yè)事實(shí)表數(shù)據(jù)調(diào)整主題事實(shí)表

（原始數(shù)據(jù)）（用戶使用數(shù)據(jù)）

完善，指標(biāo)口徑會(huì)發(fā)生變化，為保持同一指標(biāo)不同歷史時(shí)期的數(shù)據(jù)具有可比性，

則要求數(shù)據(jù)在一定范圍內(nèi)可調(diào)整。為了解決這一矛盾.，我們?cè)跀?shù)據(jù)庫(kù)設(shè)計(jì)時(shí)把數(shù)

據(jù)分為原始專(zhuān)業(yè)數(shù)據(jù)和主題事實(shí)數(shù)據(jù)，的原始數(shù)據(jù)一旦進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)（專(zhuān)'業(yè)事實(shí)

表）將不容許發(fā)生變化，對(duì)指標(biāo)進(jìn)行調(diào)整都是基于原始專(zhuān)業(yè)數(shù)據(jù)進(jìn)行的，調(diào)整后

的數(shù)據(jù)放入主題數(shù)據(jù)表中，用戶查詢的是調(diào)整后具有可比性的數(shù)據(jù)。這種設(shè)計(jì)可

以容許對(duì)同一數(shù)據(jù)在不同歷史時(shí)期進(jìn)行不同的調(diào)整，同時(shí)又能保存最原始的歷史

數(shù)據(jù)不丟失，保持歷史的真實(shí)性。

＞數(shù)據(jù)更新權(quán)限

由于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)維護(hù)由分散的多個(gè)處室在不同的時(shí)間進(jìn)行，為了防止數(shù)

據(jù)的異步操作給系統(tǒng)的數(shù)據(jù)一致性問(wèn)題。我們通過(guò)數(shù)據(jù)庫(kù)操作權(quán)限的控制，保證

每個(gè)指標(biāo)數(shù)據(jù)只有唯一的用戶擁有更新（增加、刪除、修改）權(quán)限，但可以有多

個(gè)用戶有查詢權(quán)限。

＞定時(shí)報(bào)警

定時(shí)檢測(cè)各個(gè)處室的數(shù)據(jù)是否按設(shè)計(jì)要求及時(shí)導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)，否則以適當(dāng)方

式報(bào)警。

＞決策算法的擴(kuò)展

由系統(tǒng)結(jié)構(gòu)的高度模塊化實(shí)現(xiàn)。

＞跨主題指標(biāo)的查詢

通過(guò)調(diào)整主題指標(biāo)，減少跨主題指標(biāo)的查詢；

臨時(shí)性的跨主題指標(biāo)查詢，利用全局指標(biāo)庫(kù)，從不同的主題事實(shí)表中查詢。

＞本地文件讀寫(xiě)

基于C/S模式的應(yīng)用，將查詢分析結(jié)果保存在本地是一件很容易的事情，

但基于B/S模式的應(yīng)用，雖然基于安全角度上的考慮，IE限制了ActiveX.

JavaScript,、JavaApplet等對(duì)本地文件的讀寫(xiě)；但對(duì)于JavaScript,ActiveX,可以

通過(guò)配置IE的安全屬性，來(lái)讀寫(xiě)本地文件，當(dāng)然，這種配置也會(huì)帶來(lái)一些安全

隱患，為一些惡意代碼對(duì)本地文件系統(tǒng)造成破壞提供了機(jī)會(huì),就JavaApplet而言，

Java安全提供了API和工具集用于向應(yīng)用程序或JavaApplet“注入”安全。提供

細(xì)粒度(fine-grained)和可配置的訪問(wèn)控制的架構(gòu)被內(nèi)置到核心Java安全體系結(jié)構(gòu)

之中，這是通過(guò)使用Java2權(quán)限、策略文件、訪問(wèn)控制微功能和數(shù)字簽名實(shí)現(xiàn)的。

＞高頻指標(biāo)智能維護(hù)

系統(tǒng)實(shí)現(xiàn)高頻指標(biāo)自適應(yīng)功能：用戶每次查詢數(shù)據(jù)時(shí)，數(shù)據(jù)庫(kù)自動(dòng)指標(biāo)查詢

次數(shù)，系統(tǒng)定時(shí)刷新高頻指標(biāo)表，完成高頻指標(biāo)的自動(dòng)維護(hù)。

2.5底層數(shù)據(jù)庫(kù)(倉(cāng)庫(kù))設(shè)計(jì)

2.5.1設(shè)計(jì)原則

數(shù)據(jù)庫(kù)設(shè)計(jì)是整個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的核心，其設(shè)計(jì)的好壞關(guān)系著整個(gè)數(shù)據(jù)倉(cāng)

庫(kù)系統(tǒng)建設(shè)的成敗。根據(jù)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)需求及Oracle9i數(shù)據(jù)庫(kù)系統(tǒng)的特性，我

們對(duì)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的數(shù)據(jù)庫(kù)設(shè)計(jì)應(yīng)遵循如下設(shè)計(jì)原則：

1、規(guī)范化原則：數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)是一個(gè)數(shù)據(jù)量大，開(kāi)發(fā)周期長(zhǎng)，投入資金

大，涉及面廣的系統(tǒng)工程。為開(kāi)發(fā)和將來(lái)系統(tǒng)維護(hù)的方便我們對(duì)數(shù)據(jù)倉(cāng)

庫(kù)中的所有對(duì)象如表空間、數(shù)據(jù)文件、日志文件、表、視圖、索引、存

儲(chǔ)過(guò)程、歹“，都要求有嚴(yán)格的命名規(guī)范

2、簡(jiǎn)潔性原則：數(shù)據(jù)庫(kù)設(shè)計(jì)盡可能簡(jiǎn)潔和易理解，對(duì)常用的數(shù)據(jù)集可通

過(guò)自定義數(shù)據(jù)類(lèi)型來(lái)實(shí)現(xiàn)。

3、高效性原則：數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)達(dá)到TB級(jí)別，對(duì)查詢速度的提高是

我們考慮的重點(diǎn)，可通過(guò)建Index,Cluster,盡可能的用存儲(chǔ)過(guò)程，允

許適當(dāng)?shù)臄?shù)據(jù)冗余等技術(shù)來(lái)保證查詢效率。

4、靈活性原則：設(shè)計(jì)要充分考慮主題，指標(biāo)等的變化

5、合理性原則：數(shù)據(jù)應(yīng)在源頭輸入。數(shù)據(jù)庫(kù)的生成和維護(hù)應(yīng)盡量靠近信

息源和使用點(diǎn)，使信息按最短的路徑存取，以確保信息合理和快速流動(dòng)。

6、獨(dú)立性原則：數(shù)據(jù)庫(kù)與應(yīng)用程序嚴(yán)格的相互獨(dú)立，確保數(shù)據(jù)的存貯對(duì)

應(yīng)用程序的獨(dú)立性，它的改變不影響應(yīng)用程序。

7、安全性原則：由于局是國(guó)家?級(jí)保密單位，其信息對(duì)特定的用戶有特

定的保密要求，我們?cè)谠O(shè)計(jì)數(shù)據(jù)庫(kù)時(shí)要有必要的安全機(jī)制設(shè)計(jì)嚴(yán)格的數(shù)

據(jù)操作權(quán)限和級(jí)別控制，保證數(shù)據(jù)不被非法用戶訪問(wèn)，數(shù)據(jù)庫(kù)不被黑客

破壞，如在數(shù)據(jù)庫(kù)的主鍵中加入操作用戶的信息等等。

2.5.2數(shù)據(jù)現(xiàn)狀

1、數(shù)據(jù)格式多種多樣，一致性較差，并存在數(shù)據(jù)冗余

各個(gè)處室使用的數(shù)據(jù)格式均不相同，有Oracle,dbf.sarp.MITT,Excel,

Word,Text格式，且各個(gè)系統(tǒng)相對(duì)獨(dú)立。

2、數(shù)據(jù)來(lái)源多，但數(shù)據(jù)存放相對(duì)分散，缺乏統(tǒng)一管理

數(shù)據(jù)不僅來(lái)源于局內(nèi)部各個(gè)專(zhuān)業(yè)處室，而且大來(lái)源于直報(bào)企業(yè)和其他相

關(guān)部門(mén)或外部單位的報(bào)送。這些數(shù)據(jù)一般分散存放在各個(gè)專(zhuān)業(yè)科室的數(shù)據(jù)庫(kù)

中，缺乏集中存放和管理

3、數(shù)據(jù)量很大，但對(duì)數(shù)據(jù)資源的開(kāi)發(fā)利用不充分

業(yè)務(wù)涉及到各行各業(yè)和眾多企業(yè)，指標(biāo)很多，數(shù)據(jù)量很大，各級(jí)局只能

做到將這些數(shù)據(jù)匯總成為報(bào)表、年鑒、縣卡，還不能對(duì)專(zhuān)業(yè)數(shù)據(jù)進(jìn)行各種深

層次分析、綜合、提煉、挖掘。不便于分析、預(yù)測(cè)。

4、偏重于上報(bào)報(bào)表

在計(jì)劃經(jīng)濟(jì)時(shí)期，局的職能主要是為上級(jí)機(jī)關(guān)報(bào)送報(bào)表;在市場(chǎng)經(jīng)濟(jì)時(shí)期,

局不僅要為上級(jí)機(jī)關(guān)報(bào)送報(bào)表，而且還要更多地為輔助本級(jí)政府宏觀決策和

企業(yè)微觀決策及時(shí)提供各種信息和情報(bào)。新時(shí)期對(duì)信息的質(zhì)量提出了更高的

要求：

?為了對(duì)復(fù)雜的動(dòng)態(tài)環(huán)境做出及時(shí)響應(yīng)，現(xiàn)代管理要求在大量的數(shù)據(jù)中找

出有價(jià)值的信息和情報(bào)作為決策時(shí)參考的依據(jù)；

?在決策過(guò)程中，一旦需要，決策人員可以很快得到方方面面詳盡的信息

和情報(bào)支持，包括歷史的、當(dāng)前的、未來(lái)的各種信息和情報(bào)資源；

?支持對(duì)分布在不同地點(diǎn)的數(shù)據(jù)或信息進(jìn)行操作，包括內(nèi)部、外部或遠(yuǎn)程

的數(shù)據(jù)和信息；

?支持對(duì)不同類(lèi)型和格式的數(shù)據(jù)或信息進(jìn)行操作；

?信息要為更廣大的社會(huì)用戶尤其是企業(yè)的微觀決策提供支持；

?要求信息資源能實(shí)現(xiàn)充分共享與快速交流。

2.5.3數(shù)據(jù)存儲(chǔ)整體規(guī)劃

根據(jù)省局?jǐn)?shù)據(jù)的特點(diǎn)，數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)分為專(zhuān)業(yè)數(shù)據(jù)，主題數(shù)據(jù)和4ft拈

數(shù)據(jù)庫(kù)模型

專(zhuān)業(yè)數(shù)據(jù)是從局各處室的數(shù)據(jù)庫(kù)系統(tǒng)中抽取，轉(zhuǎn)換，清洗而來(lái)的數(shù)據(jù)；主題

數(shù)據(jù)是從專(zhuān)業(yè)數(shù)據(jù)通過(guò)增加一定的列或一定的數(shù)據(jù)運(yùn)算、修改等而得到的數(shù)據(jù)；

決策數(shù)據(jù)數(shù)據(jù)集市存放數(shù)據(jù)存儲(chǔ)層的數(shù)據(jù),供分析決策用。還有一類(lèi)很重要的對(duì)

數(shù)據(jù)倉(cāng)庫(kù)的描述數(shù)據(jù)即元數(shù)據(jù)，包括主題描述表，主題指標(biāo)描述表等。

專(zhuān)業(yè)數(shù)據(jù)層建立在相應(yīng)的子系統(tǒng)中，是為專(zhuān)業(yè)子系統(tǒng)服務(wù)的。其數(shù)據(jù)主要是

與某專(zhuān)業(yè)子系統(tǒng)直接相關(guān)的數(shù)據(jù)。一般與其他專(zhuān)業(yè)子系統(tǒng)不發(fā)生頻繁的數(shù)據(jù)共

享，它的物理位置可以設(shè)置在網(wǎng)絡(luò)服務(wù)器上，集中存儲(chǔ)，亦可設(shè)置在各專(zhuān)業(yè)子系

統(tǒng)的微機(jī)上，呈分布式存儲(chǔ)。

數(shù)據(jù)存儲(chǔ)層，其數(shù)據(jù)來(lái)源于專(zhuān)業(yè)數(shù)據(jù)層，但這些數(shù)據(jù)一般不限于某個(gè)專(zhuān)業(yè)子

系統(tǒng)調(diào)用，而往往被其他專(zhuān)業(yè)子系統(tǒng)頻繁地共享，為若干個(gè)子系統(tǒng)和領(lǐng)導(dǎo)層提供

信息服務(wù)。

數(shù)據(jù)集市中存放對(duì)整個(gè)行業(yè)來(lái)說(shuō)，帶全局性的計(jì)劃、技術(shù)經(jīng)濟(jì)指標(biāo)，各種和

實(shí)時(shí)數(shù)據(jù)分析，其數(shù)據(jù)除了來(lái)源于各主題數(shù)據(jù)庫(kù)以外，還有模型庫(kù)和方法庫(kù)給予

支持，作為領(lǐng)導(dǎo)提供預(yù)測(cè)和決策的支持。

單個(gè)主題的數(shù)據(jù)庫(kù)邏輯設(shè)計(jì)

指標(biāo)維表

時(shí)間雒表

-------?指標(biāo)編號(hào)

時(shí)間編號(hào)專(zhuān)業(yè)事實(shí)表

指標(biāo)名稱(chēng)

時(shí)間名稱(chēng)<----------指標(biāo)編號(hào)

???

—時(shí)間編號(hào)

地域維表地域編號(hào)

地域編號(hào)<----------數(shù)據(jù)

地域名稱(chēng)???

???

主題表主題所屬指標(biāo)

主題編碼■主題編號(hào)

---------

主題描述指標(biāo)編號(hào)

??????

指標(biāo)維表

時(shí)間維表

指標(biāo)編號(hào)

主題事實(shí)表-------?

時(shí)間編碼?~

指標(biāo)名稱(chēng)

指標(biāo)編碼—

時(shí)間名稱(chēng)

???

時(shí)間編碼

地域維表

地域編碼—

-------?地域編號(hào)

數(shù)據(jù)

地域名稱(chēng)

2.6ETL系統(tǒng)

2.6.1需求規(guī)定

＞采用自動(dòng)加手動(dòng)的方式導(dǎo)入數(shù)據(jù)。

＞數(shù)據(jù)導(dǎo)入以定期自動(dòng)導(dǎo)入為主，設(shè)立到期自動(dòng)報(bào)警功能。

＞各個(gè)處室可以在任何時(shí)候向ETL服務(wù)器導(dǎo)入數(shù)據(jù)，而只在確定的時(shí)間從

ETL服務(wù)器向數(shù)據(jù)倉(cāng)庫(kù)導(dǎo)入數(shù)據(jù)。

＞提供導(dǎo)入數(shù)據(jù)的接口，直接與各個(gè)處室的數(shù)據(jù)庫(kù)連接，盡可能利用現(xiàn)有

系統(tǒng)數(shù)據(jù)，減輕各處室工作量。

A能夠與通用的數(shù)據(jù)文件進(jìn)行連接，適應(yīng)各專(zhuān)業(yè)處室可能的數(shù)據(jù)庫(kù)平臺(tái)的

變更，能導(dǎo)入同種類(lèi)型的不同格式的數(shù)據(jù)。

2.6.2運(yùn)行環(huán)境

赧務(wù)端指你致抑;。邀子系統(tǒng)運(yùn)行于主流UNIX操作系統(tǒng)

客心端指和數(shù)據(jù)抽取子系統(tǒng)運(yùn)行在高性能PC上,Windows98以上版本操作系統(tǒng),

需要有Oracle客戶端支持。

2.6.3設(shè)計(jì)思想

指標(biāo)數(shù)據(jù)抽取子系統(tǒng)

1、建立靈活的數(shù)據(jù)導(dǎo)入方式，直接利用中間件ODBC訪問(wèn)各種數(shù)據(jù)庫(kù)系統(tǒng)。

2、建立統(tǒng)一的環(huán)境，各個(gè)處室在統(tǒng)一的環(huán)境下向中間數(shù)據(jù)庫(kù)導(dǎo)入數(shù)據(jù)。

3、通過(guò)用戶權(quán)限區(qū)別各個(gè)處室應(yīng)該導(dǎo)入的數(shù)據(jù)，讓不同用戶在導(dǎo)入數(shù)據(jù)時(shí)不會(huì)

發(fā)生混亂。

指標(biāo)數(shù)據(jù)加載子系統(tǒng)

I、程序自動(dòng)運(yùn)行的同時(shí)引進(jìn)人工干預(yù)，定時(shí)啟動(dòng)加載系統(tǒng)，自動(dòng)進(jìn)行中間數(shù)據(jù)

庫(kù)向數(shù)據(jù)倉(cāng)庫(kù)導(dǎo)入數(shù)據(jù)的工作。

2、建立一個(gè)數(shù)據(jù)導(dǎo)入的環(huán)境，各種數(shù)據(jù)操作按中間數(shù)據(jù)庫(kù)模型庫(kù)中的規(guī)定執(zhí)行。

2.6.4結(jié)構(gòu)說(shuō)明

局各種行業(yè)數(shù)據(jù)不是在統(tǒng)一的時(shí)間生成，數(shù)據(jù)在進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)之前需要經(jīng)過(guò)

大量的運(yùn)算，為了不影響原有系統(tǒng)的正常運(yùn)行和保證導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)的正確性

與有效性，設(shè)置中間數(shù)據(jù)庫(kù)。中間數(shù)據(jù)庫(kù)起所有數(shù)據(jù)從傳統(tǒng)數(shù)據(jù)庫(kù)導(dǎo)入到數(shù)據(jù)倉(cāng)

庫(kù)的過(guò)渡作用。處室數(shù)據(jù)存放在不同媒介中，提供手動(dòng)輸入界面、程序自動(dòng)導(dǎo)入

功能、半自動(dòng)導(dǎo)入等等。接收從局各個(gè)處室收集的指標(biāo)數(shù)據(jù)，經(jīng)過(guò)抽取、清洗,

存放在中間數(shù)據(jù)庫(kù)，在特定的時(shí)間檢查數(shù)據(jù)倉(cāng)庫(kù)需要的數(shù)據(jù)是否齊全，齊全后一

次性加載到數(shù)據(jù)倉(cāng)庫(kù)的專(zhuān)業(yè)事實(shí)表中。

數(shù)

各A

人工輸入

據(jù)

個(gè)

倉(cāng)

處T

中間數(shù)據(jù)庫(kù)

庫(kù)

室

自動(dòng)導(dǎo)入

數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、加載過(guò)程高度模塊化，ETL系統(tǒng)用數(shù)據(jù)抽取

模型從各處室抽取數(shù)據(jù)、用數(shù)據(jù)清洗模型清洗數(shù)據(jù)、用轉(zhuǎn)換模型轉(zhuǎn)換不同類(lèi)

型的數(shù)據(jù)、用加載模型加載數(shù)據(jù)到數(shù)據(jù)倉(cāng)庫(kù)。

ETL系統(tǒng)是一個(gè)體系環(huán)境，各種數(shù)據(jù)操作按中間數(shù)據(jù)庫(kù)模型庫(kù)中的規(guī)定

執(zhí)行。維護(hù)系統(tǒng)則通過(guò)維護(hù)中間數(shù)據(jù)庫(kù)的模型庫(kù)達(dá)到維護(hù)ETL服務(wù)器的目

的。

數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、加載有以下子系統(tǒng)：

1.指標(biāo)數(shù)據(jù)抽取子系統(tǒng)。

這個(gè)系統(tǒng)又可以稱(chēng)為數(shù)據(jù)導(dǎo)入。

功能：數(shù)據(jù)抽取、數(shù)據(jù)清洗。把各個(gè)處室不同格式的數(shù)據(jù)按指標(biāo)進(jìn)行抽

取、經(jīng)過(guò)清洗后存入中間數(shù)據(jù)庫(kù)，容許數(shù)據(jù)修改。

指標(biāo)數(shù)據(jù)抽取子系統(tǒng)能收集各種通用格式的數(shù)據(jù)，提供輸入界面手動(dòng)輸

入數(shù)據(jù)。

能轉(zhuǎn)換以下幾種數(shù)據(jù)格式：Sybase、Oracle、db2、dbf等可以通過(guò)odbc