數(shù)據(jù)倉庫技術(shù)在科服網(wǎng)統(tǒng)計監(jiān)測系統(tǒng)中的應(yīng)用

1、數(shù)據(jù)倉庫技術(shù)在科服網(wǎng)統(tǒng)計監(jiān)測系統(tǒng)中的應(yīng)用摘要：隨著科技型中小企業(yè)的發(fā)展壯大，天津市科技型中小企業(yè)服務(wù)網(wǎng)（下稱“科服網(wǎng)”）認定管理系統(tǒng)吸引了3萬余家企業(yè)，積累了上億條數(shù)據(jù)。數(shù)據(jù)資源的日益增加，難免造成系統(tǒng)響應(yīng)時間過長、服務(wù)效率偏低的現(xiàn)象。如何安全有效地管理數(shù)據(jù)并快速地統(tǒng)計數(shù)據(jù)以供政府部門實時監(jiān)測并作出合理決策，成為科服網(wǎng)統(tǒng)計監(jiān)測系統(tǒng)面臨的一個急待解決的問題。數(shù)據(jù)倉庫技術(shù)的應(yīng)用為此提供了有效的理論指導，通過對統(tǒng)計監(jiān)測系統(tǒng)各項統(tǒng)計指標和各類統(tǒng)計需求的研究，建立了科技型中小企業(yè)認定數(shù)據(jù)倉庫。通過實驗數(shù)據(jù)的對比分析驗證了數(shù)據(jù)倉庫技術(shù)的優(yōu)越性。關(guān)鍵詞：統(tǒng)計監(jiān)測；數(shù)據(jù)倉庫；概念模型；邏輯模型；物理模型0引言

2、科技型中小企業(yè)是引領(lǐng)和支撐高新技術(shù)產(chǎn)業(yè)發(fā)展的主體，加快科技型中小企業(yè)發(fā)展是我市發(fā)展工作的一項重大戰(zhàn)略舉措?？品W(wǎng)作為科技型中小企業(yè)的專業(yè)服務(wù)平臺，可以為企業(yè)提供認定、文獻、金融等服務(wù)。科服網(wǎng)統(tǒng)計監(jiān)測系統(tǒng)是企業(yè)各項指標的直接展示平臺，可以為政府部門提供數(shù)據(jù)實時監(jiān)測和統(tǒng)計分析，有利于定量描述和準確預測，是政府進行科學決策的寶貴數(shù)據(jù)資源。然而，企業(yè)數(shù)量突飛猛漲，數(shù)據(jù)規(guī)模日趨龐大，基于業(yè)務(wù)數(shù)據(jù)庫的統(tǒng)計監(jiān)測系統(tǒng)對用戶查詢需求的響應(yīng)時間過長，不能提供實時服務(wù)。為此，科服網(wǎng)統(tǒng)計監(jiān)測系統(tǒng)引入了數(shù)據(jù)倉庫技術(shù)，數(shù)據(jù)倉庫的建立并不是要取代數(shù)據(jù)庫，而是在一個較全面和完善的信息基礎(chǔ)上更好地支持高層分析決策。數(shù)據(jù)倉庫是將

3、分析決策所需要的大量數(shù)據(jù)從傳統(tǒng)的數(shù)據(jù)庫中抽取出來，通過統(tǒng)一轉(zhuǎn)換加載而成的、能夠?qū)崿F(xiàn)海量業(yè)務(wù)數(shù)據(jù)的存儲、管理和多維分析。研究表明，利用它為統(tǒng)計監(jiān)測系統(tǒng)開展分析與決策服務(wù)切實可行。1數(shù)據(jù)倉庫技術(shù)概述定義數(shù)據(jù)倉庫（DataWarehouse最初定義為面向主題的、集成的、相對穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合。數(shù)據(jù)倉庫是決策支持系統(tǒng)和聯(lián)機分析應(yīng)用數(shù)據(jù)源的結(jié)構(gòu)化數(shù)據(jù)環(huán)境，它主要研究和解決從其它數(shù)據(jù)庫中獲取數(shù)據(jù)信息的問題。面向主題業(yè)務(wù)數(shù)據(jù)庫是面向事務(wù)處理的，而數(shù)據(jù)倉庫中的數(shù)據(jù)一般是按照主題域劃分。主題是對業(yè)務(wù)數(shù)據(jù)的一種抽象，是從較高層次上對信息系統(tǒng)中的數(shù)據(jù)進行的歸納和整理。集成性業(yè)務(wù)數(shù)據(jù)庫是異構(gòu)、相互獨立的，

4、無法反映信息的本質(zhì)。而數(shù)據(jù)倉庫中的數(shù)據(jù)是經(jīng)過對數(shù)據(jù)源的抽取、清洗、轉(zhuǎn)換、加載得到的，在消除冗余數(shù)據(jù)的同時對數(shù)據(jù)源進行統(tǒng)一的編碼和必要的匯總。穩(wěn)定性業(yè)務(wù)數(shù)據(jù)庫存儲某一時刻的數(shù)據(jù)，而數(shù)據(jù)倉庫反映的是一段時期的數(shù)據(jù)內(nèi)容。數(shù)據(jù)倉庫中對數(shù)據(jù)的操作主要是查詢，并不進行任何更新操作。一旦某個數(shù)據(jù)進入數(shù)據(jù)倉庫，數(shù)據(jù)會被長期保留，當超過規(guī)定的期限才會被刪除。時變性隨著業(yè)務(wù)數(shù)據(jù)庫的不斷更新變化，數(shù)據(jù)倉庫需要定期從數(shù)據(jù)源獲得更新的數(shù)據(jù)，以形成分析和預測需要的歷史信息。數(shù)據(jù)倉庫的建設(shè)需要大量的業(yè)務(wù)數(shù)據(jù)作為積累，并將這些寶貴的歷史信息經(jīng)過加工、整理提供給決策分析人員。數(shù)據(jù)獲取數(shù)據(jù)獲取負責完成將數(shù)據(jù)從數(shù)據(jù)源向目標數(shù)據(jù)倉庫

5、的轉(zhuǎn)化，是構(gòu)建數(shù)據(jù)倉庫的核心和靈魂。數(shù)據(jù)獲取是對數(shù)據(jù)進行抽取、轉(zhuǎn)換、裝載處理，主要目標是去除冗余數(shù)據(jù)以提高數(shù)據(jù)倉庫中數(shù)據(jù)的質(zhì)量；將數(shù)據(jù)按主題組織以提高數(shù)據(jù)倉庫的可用性；定期對業(yè)務(wù)數(shù)據(jù)庫進行監(jiān)視以保持倉庫數(shù)據(jù)與業(yè)務(wù)數(shù)據(jù)的一致性。數(shù)據(jù)抽取數(shù)據(jù)抽取是指從數(shù)據(jù)源中抽取數(shù)據(jù)的過程。數(shù)據(jù)抽取技術(shù)分為全量抽取和增量抽取兩種，全量抽取類似于數(shù)據(jù)遷移或數(shù)據(jù)復制，將數(shù)據(jù)源中的數(shù)據(jù)表全部從業(yè)務(wù)數(shù)據(jù)庫中抽取出來。增量抽取是指在全量抽取完成后，抽取自源表中新增或被修改的數(shù)據(jù)。確定構(gòu)建數(shù)據(jù)倉庫的相關(guān)業(yè)務(wù)數(shù)據(jù)庫和數(shù)據(jù)表并選擇合適的抽取技術(shù)，以完成定期的數(shù)據(jù)抽取工作。數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換是將抽取的數(shù)據(jù)轉(zhuǎn)換成符合數(shù)據(jù)倉庫要求的數(shù)據(jù)

6、。從數(shù)據(jù)源中抽取的數(shù)據(jù)不一定滿足數(shù)據(jù)倉庫的要求，有必要對數(shù)據(jù)進行轉(zhuǎn)換、清洗、拆分、匯總等處理。數(shù)據(jù)轉(zhuǎn)換應(yīng)最大化地參照元數(shù)據(jù)，通過自定義的轉(zhuǎn)換腳本或其它計算方法解決數(shù)據(jù)格式不一致、數(shù)據(jù)輸入錯誤、數(shù)據(jù)不完整等問題。數(shù)據(jù)裝載數(shù)據(jù)裝載是將數(shù)據(jù)從臨時表或文件加載到數(shù)據(jù)倉庫的過程。根據(jù)數(shù)據(jù)裝載量的大小選擇最佳的裝載方式完成數(shù)據(jù)裝載任務(wù)。數(shù)據(jù)存儲事實表事實表是數(shù)據(jù)倉庫的中央表，描述業(yè)務(wù)內(nèi)特定事件的數(shù)據(jù)。事實表存儲主題的主干內(nèi)容，由用戶關(guān)心的度量值和相關(guān)維表的主鍵組成。事實表的設(shè)計以能夠正確記錄歷史信息為準則。維表維表是用戶分析數(shù)據(jù)的窗口，描述事實表中的數(shù)據(jù)。維表包含事實表中事實記錄的特性，有些特性提供描述性

7、信息，有些特性指定如何匯總事實表數(shù)據(jù)。維表中的屬性提供了獲取從高層次的匯總信息到低層次細節(jié)信息的能力。維表的設(shè)計以能夠合理聚合主題內(nèi)容為準則。元數(shù)據(jù)元數(shù)據(jù)是“關(guān)于數(shù)據(jù)的數(shù)據(jù)”或“關(guān)于數(shù)據(jù)的結(jié)構(gòu)化數(shù)據(jù)”，即關(guān)于數(shù)據(jù)的內(nèi)容、質(zhì)量、狀況和其它特性的信息，是數(shù)據(jù)倉庫的靈魂。元數(shù)據(jù)不僅定義了數(shù)據(jù)倉庫中數(shù)據(jù)的模式、來源、抽取、轉(zhuǎn)換規(guī)則、數(shù)據(jù)映射和訪問權(quán)限，而且是整個數(shù)據(jù)倉庫系統(tǒng)運行的基礎(chǔ)，元數(shù)據(jù)把數(shù)據(jù)倉庫系統(tǒng)中各個松散的組件聯(lián)系起來組成了一個有機的整體。粒度是指數(shù)據(jù)倉庫中數(shù)據(jù)單元保存數(shù)據(jù)的細節(jié)或綜合程度的級別。粒度是數(shù)據(jù)倉庫設(shè)計的重要問題，它直接影響數(shù)據(jù)倉庫中數(shù)據(jù)量的大小以及數(shù)據(jù)倉庫所能支持的查詢類型。非

8、常低的粒度會帶來大量數(shù)據(jù)，系統(tǒng)會因巨大的數(shù)據(jù)量而導致處理效率低下，非常高的粒度雖然處理起來高效，但卻不能進行細節(jié)數(shù)據(jù)的分析。因此，需要在數(shù)據(jù)量的大小與查詢的詳細程度之間做出權(quán)衡。2科服網(wǎng)科技型中小企業(yè)認定數(shù)據(jù)倉庫的總體結(jié)構(gòu)科服網(wǎng)科技型中小企業(yè)認定數(shù)據(jù)倉庫的管理用戶分為市級用戶和區(qū)縣級用戶兩類，主要對不同層面的多個統(tǒng)計指標進行統(tǒng)計監(jiān)測，掌握科技型中小企業(yè)的數(shù)據(jù)信息。數(shù)據(jù)獲取層主要負責從科技型中小企業(yè)認定管理數(shù)據(jù)庫獲取構(gòu)建數(shù)據(jù)倉庫的源數(shù)據(jù)。數(shù)據(jù)倉庫層主要依據(jù)各類用戶的需求建立多個主題域，從而對數(shù)據(jù)獲取層已獲取的數(shù)據(jù)按照設(shè)計好的多維數(shù)據(jù)模型進行抽取、清理、轉(zhuǎn)換等操作，形成符合系統(tǒng)要求的數(shù)據(jù)并裝載到數(shù)

9、據(jù)倉庫中，以便為各類用戶提供決策分析的數(shù)據(jù)環(huán)境。決策分析層系統(tǒng)用戶在瀏覽器端進行查詢訪問，Web服務(wù)器及時響應(yīng)處理各類用戶的查詢請求，將請求提交給聯(lián)機分析處理(OnLineAnalyticalProcessing，OLAP)服務(wù)器，從而完成對數(shù)據(jù)倉庫的查詢分析，返回的查詢結(jié)果以圖表的方式展現(xiàn)給用戶。3科服網(wǎng)科技型中小企業(yè)認定數(shù)據(jù)倉庫的數(shù)據(jù)模型概念模型數(shù)據(jù)倉庫的概念模型需要確定系統(tǒng)的范圍和涉及對象，即建設(shè)內(nèi)容和主題域。系統(tǒng)邊界根據(jù)科服網(wǎng)統(tǒng)計監(jiān)測系統(tǒng)用戶的統(tǒng)計需要，確定市級和區(qū)縣級兩類用戶。用戶的具體功能如下：市級用戶：能夠在全市、濱海新區(qū)、科技小巨人3個層面對多個主題域的多個統(tǒng)計指標進行數(shù)據(jù)的實

10、時查詢與分析，同時可以通過綜合統(tǒng)計查詢欄目選擇關(guān)注指標進行信息的檢索。區(qū)縣級用戶：僅能夠在全市范圍對多個主題域的多個統(tǒng)計指標進行數(shù)據(jù)的實時查詢與分析，同時可以通過綜合統(tǒng)計查詢欄目選擇關(guān)注指標進行信息的檢索。主題域根據(jù)科服網(wǎng)科技型中小企業(yè)認定管理數(shù)據(jù)庫中數(shù)據(jù)的涉及范圍和關(guān)系模式以及用戶的統(tǒng)計關(guān)注度，確定了企業(yè)數(shù)量主題、企業(yè)財務(wù)主題、科技人員主題、研發(fā)經(jīng)費主題、知識產(chǎn)權(quán)主題、幫扶情況主題等主題。企業(yè)數(shù)量主題：展示科技型中小企業(yè)在時間、區(qū)縣、領(lǐng)域、產(chǎn)業(yè)、階段等維度的分布和增長情況。突出企業(yè)集中分布的區(qū)縣、領(lǐng)域、產(chǎn)業(yè)等，為政府部門在宏觀上進行調(diào)控與配置提供數(shù)據(jù)支持，例如預測下一個統(tǒng)計月份企業(yè)分布及增長

11、情況、企業(yè)是否過于集中、對環(huán)境的影響如何等。企業(yè)財務(wù)主題：展示企業(yè)在時間、區(qū)縣、產(chǎn)業(yè)、階段等維度工業(yè)總產(chǎn)值、凈利潤、總收入、主營業(yè)務(wù)收入、總資產(chǎn)的分布情況。預測企業(yè)的盈利狀況并有針對性地進行指導和支持。科技人員主題：展示科技人員在時間、區(qū)縣、產(chǎn)業(yè)、階段等維度從業(yè)人數(shù)、科技人員數(shù)和科技人員占比率的情況。預測科技人員占比狀況，有利于企業(yè)加大對培訓學習的力度，提高員工的整體素質(zhì)。研發(fā)經(jīng)費主題：展示科技經(jīng)費在時間、區(qū)縣、產(chǎn)業(yè)、階段等維度的分布情況，主要包括科技活動經(jīng)費支出、科技項目數(shù)、科技項目經(jīng)費、國家財政撥款、市政財政撥款、區(qū)縣財政撥款、企業(yè)資金、金融機構(gòu)貸款、國外資金、其它資金來源的使用情況。了解

12、企業(yè)的研發(fā)能力以開展各項研究項目。知識產(chǎn)權(quán)主題：展示知識產(chǎn)權(quán)在時間、區(qū)縣、產(chǎn)業(yè)、階段等維度申請專利數(shù)、授權(quán)專利數(shù)、擁有企業(yè)標準數(shù)、擁有有效專利數(shù)、注冊商標數(shù)的分布情況。了解企業(yè)的創(chuàng)新能力以促進科技成果轉(zhuǎn)化。幫扶情況主題：展示企業(yè)在區(qū)縣、階段等維度干部總數(shù)、幫扶干部數(shù)、幫扶企業(yè)數(shù)、幫扶干部占比的分布情況。了解政府干部深入企業(yè)工作的成果狀況，有利于開展幫扶工作。邏輯模型數(shù)據(jù)倉庫的邏輯模型設(shè)計采用星型模型。維度是多維數(shù)據(jù)集的一種結(jié)構(gòu)特性，是描述事實表中數(shù)據(jù)類別的有組織的層次結(jié)構(gòu)，是創(chuàng)建多維數(shù)據(jù)集必需的條件。以全市統(tǒng)計監(jiān)測中企業(yè)數(shù)量主題所關(guān)注的問題為例，需從以下維度進行考查分析：時間維：是數(shù)據(jù)倉庫中常

13、用的維表，本系統(tǒng)對企業(yè)數(shù)據(jù)的分析與比較需要與時間關(guān)聯(lián)起來，在多個時間級別上進行觀察分析。時間維細化到日，存儲年、月、日、季度等信息。時間維應(yīng)用在多個主題域中，稱為共享維。區(qū)縣維：主要統(tǒng)計天津市的各個區(qū)縣，包括市內(nèi)六區(qū)、四郊五縣及濱海新區(qū)的企業(yè)數(shù)量信息，把握企業(yè)在各個區(qū)縣的分布和增長情況。產(chǎn)業(yè)維：主要統(tǒng)計各個產(chǎn)業(yè)的企業(yè)數(shù)量信息，把握企業(yè)在產(chǎn)業(yè)的分布和增長情況。產(chǎn)業(yè)維細化到一級分類，存儲農(nóng)業(yè)、工業(yè)、科技服務(wù)業(yè)等信息。領(lǐng)域維：主要統(tǒng)計各個領(lǐng)域的企業(yè)數(shù)量信息，把握企業(yè)在領(lǐng)域上的分布和增長情況。領(lǐng)域維細化到一級分類，包括電子信息、生物與醫(yī)藥、新材料、光機一體化等。階段維：主要統(tǒng)計各個階段的企業(yè)數(shù)量信息，

14、把握企業(yè)在企業(yè)成長的不同階段的分布和增長情況。階段維存儲初創(chuàng)期、成長期、壯大期3個階段的信息。企業(yè)數(shù)量事實表：包含用外鍵進行關(guān)聯(lián)的維度信息和相關(guān)統(tǒng)計指標的度量值。時間維、區(qū)縣維、產(chǎn)業(yè)維、領(lǐng)域維、階段維為共享維，可以在多個主題的數(shù)據(jù)集中使用以節(jié)省空間。數(shù)據(jù)倉庫的邏輯模型如圖1所示。物理模型數(shù)據(jù)倉庫的物理模型就是數(shù)據(jù)倉庫邏輯模型在物理系統(tǒng)中的具體實現(xiàn)模式，包括各種事實表的具體化，如表的數(shù)據(jù)結(jié)構(gòu)類型、索引策略、數(shù)據(jù)存放位置和數(shù)據(jù)存儲分配等。根據(jù)科技型中小企業(yè)認定數(shù)據(jù)倉庫的實際應(yīng)用情況，為滿足管理用戶對數(shù)據(jù)的多維查詢和統(tǒng)計監(jiān)測，需要存儲每日全市、濱海新區(qū)、科技小巨人三類企業(yè)的多個統(tǒng)計指標的累計數(shù)據(jù)。同

15、時需要存儲各個維度相關(guān)的維表數(shù)據(jù)。由于事實表包含的數(shù)據(jù)量巨大，會影響查詢和統(tǒng)計的速度，這時需要通過建立連接索引或物化視圖等方式來提高查詢的效率。物化視圖將查詢視圖預先計算并以表的形式存儲在數(shù)據(jù)倉庫中，當執(zhí)行OLAP查詢時，可以直接從物化視圖中獲取查詢結(jié)果，避免了對底層數(shù)據(jù)的復雜操作，從而提高查詢效率。但是當基表發(fā)生變化時，視圖可能需要進行刷新，存儲空間和維護開銷加大。物化視圖是一類特殊的視圖，在數(shù)據(jù)倉庫中不僅存儲了物化視圖的定義，還存儲了物化視圖所對應(yīng)的實際數(shù)據(jù)。物化視圖選擇的目標就是在空間限制下，選出一組恰當?shù)囊晥D物化，使得其對一組查詢的總查詢代價和其自身的維護代價之和最小。物化視圖技術(shù)是數(shù)

16、據(jù)倉庫系統(tǒng)中提高性能的關(guān)鍵技術(shù)之一，是將視圖所對應(yīng)數(shù)據(jù)加以實際物理存儲的技術(shù)，其目的是通過預計算來加快數(shù)據(jù)倉庫對用戶查詢的響應(yīng)速度。聚集表是為提高查詢速度，對常用的需求進行求和運算的查詢，預先對事實表中相應(yīng)的某些維在最小級別上進行向上的分組求和運算，形成新的具有更高粒度級別的事實數(shù)據(jù)表。在進行查詢操作時，系統(tǒng)首先查詢相應(yīng)聚集表，若有滿足條件的聚集表則可直接返回查詢結(jié)果；否則，繼續(xù)查詢對應(yīng)事實表，并作相應(yīng)運算。數(shù)據(jù)倉庫采用物化視圖和聚集表相結(jié)合的方式存儲事實表。4數(shù)據(jù)倉庫技術(shù)在科服網(wǎng)統(tǒng)計監(jiān)測系統(tǒng)中的應(yīng)用具體應(yīng)用天津市科技型中小企業(yè)服務(wù)網(wǎng)的統(tǒng)計監(jiān)測系統(tǒng)包括全市統(tǒng)計監(jiān)測、濱海新區(qū)統(tǒng)計監(jiān)測、科技小巨人

17、統(tǒng)計監(jiān)測和綜合統(tǒng)計查詢4個主題，每個主題又包含多個統(tǒng)計指標。以全市統(tǒng)計監(jiān)測中的企業(yè)數(shù)量為例，詳細講述數(shù)據(jù)倉庫的應(yīng)用。在充分了解科技型中小企業(yè)認定數(shù)據(jù)倉庫的內(nèi)部特征、存儲結(jié)構(gòu)、存取方法及邏輯結(jié)構(gòu)的基礎(chǔ)上，制訂了數(shù)據(jù)倉庫的物理結(jié)構(gòu)，即數(shù)據(jù)抽取時間，維表為每天的零點，事實表為每天的1點，并建立了自動執(zhí)行任務(wù)。物理結(jié)構(gòu)設(shè)計如圖2、圖3所示。企業(yè)數(shù)量按時間、區(qū)縣、領(lǐng)域、階段和行業(yè)5個維度進行分布，以企業(yè)數(shù)量、月增長趨勢、年增長趨勢作為統(tǒng)計指標，并對全市、濱海新區(qū)、科技小巨人企業(yè)3個層面進行匯總，生成相應(yīng)的柱形圖和統(tǒng)計報表，從宏觀上把握企業(yè)數(shù)量分布。如圖4所示。參考文獻：于紅蕾，華慶一，劉燕玲，等.數(shù)據(jù)倉庫在電信統(tǒng)計分析中的應(yīng)用J.計算