基于數(shù)據(jù)倉庫的高校數(shù)據(jù)統(tǒng)計服務(wù)平臺研究課件

1、基于數(shù)據(jù)倉庫的高校數(shù)據(jù)統(tǒng)計服務(wù)平臺研究提綱背景需求分析平臺設(shè)計平臺實現(xiàn)平臺部署背景 各高校建成的信息管理系統(tǒng)越來越多，海量數(shù)據(jù)背后隱藏著許多重要信息，是學(xué)校正常運轉(zhuǎn)的核心資源，以靈活便捷的方式對數(shù)據(jù)進行統(tǒng)計、分析，進而為高校管理與決策提供支持的需求日益強烈背景 商業(yè)智能(BI, business intelligence) Gartner Group, Howard Dresner, 1996：一類由數(shù)據(jù)倉庫(或數(shù)據(jù)集市)、查詢報表、數(shù)據(jù)分析、數(shù)據(jù)挖掘、數(shù)據(jù)備份和恢復(fù)等部分組成，以幫助企業(yè)決策為目的的技術(shù)及其應(yīng)用。背景 微軟的BI體系框架背景 IBM的BI體系框架背景 建立BI系統(tǒng)的基本步驟包

2、括： 確認(rèn)和解讀數(shù)據(jù)源； 進行數(shù)據(jù)采集和存儲管理； 構(gòu)建模型并在此基礎(chǔ)上分析數(shù)據(jù)背景 商業(yè)智能的基礎(chǔ)是數(shù)據(jù)倉庫(DW , Data Warehouse) 數(shù)據(jù)倉庫是一個面向主題的、集成的、相對穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合。 數(shù)據(jù)倉庫為有效地為BI系統(tǒng)提供了全局一致的數(shù)據(jù)環(huán)境，也為歷史數(shù)據(jù)綜合數(shù)據(jù)的處理提出了一種行之有效的解決方法。背景 國外:BI應(yīng)用已經(jīng)進入了數(shù)據(jù)分析階段，有些已經(jīng)積累了高端的數(shù)據(jù)挖掘經(jīng)驗； 國內(nèi):BI的應(yīng)用則還停留在數(shù)據(jù)整合的初級階段，應(yīng)用的主要領(lǐng)域集中在電信、保險、銷售等行業(yè)， 國內(nèi)高校的情況不容樂觀： 數(shù)據(jù)分散在不同的源系統(tǒng)中，數(shù)據(jù)的規(guī)范性和共享性還存在很大問題； 數(shù)據(jù)

3、統(tǒng)計和分析基本上是基于單個系統(tǒng)中的操作型數(shù)據(jù)進行的，既不能反映出不同系統(tǒng)之間的數(shù)據(jù)關(guān)聯(lián)，又缺乏對數(shù)據(jù)的全局把握；還會因為操作型數(shù)據(jù)的動態(tài)性和分散性影響統(tǒng)計結(jié)果的準(zhǔn)確性，也無法對歷史數(shù)據(jù)進行統(tǒng)計和分析。背景 要建立高校的BI應(yīng)用，滿足為高校管理與決策提供支持的需求，首先必須打破不同應(yīng)用系統(tǒng)之間的“藩籬”，建立全局一致的數(shù)據(jù)倉庫，將操作型數(shù)據(jù)轉(zhuǎn)換為靜態(tài)的、穩(wěn)定的、規(guī)范化的、能夠反映歷史的分析型數(shù)據(jù)，然后在此基礎(chǔ)上搭建統(tǒng)一的數(shù)據(jù)統(tǒng)計服務(wù)平臺。需求分析 數(shù)據(jù)統(tǒng)計需求按用途不同分為2類： 一是以年報表或者季度報表的形式上報上級部門的統(tǒng)計數(shù)據(jù)，有著固定的報表格式、復(fù)雜的報表內(nèi)容、專門的統(tǒng)計口徑，有的報表甚

4、至還有嚴(yán)格的填報流程； 二是部門日常所需要統(tǒng)計數(shù)據(jù)，往往和某種類型具體業(yè)務(wù)相關(guān)，和第一類需求相比，統(tǒng)計數(shù)據(jù)的格式和內(nèi)容比較簡單，沒有復(fù)雜的填報流程，但時間粒度要求更細(xì)，要以月報表、周報表乃至日報表的形式提供統(tǒng)計結(jié)果，并且要求提供數(shù)據(jù)鉆取的功能。需求分析 這些需要統(tǒng)計的數(shù)據(jù)涉及高校人事、學(xué)生、科研、教學(xué)等各個領(lǐng)域，每個領(lǐng)域下面又細(xì)分為了很多不同的細(xì)類，具體如圖1所示。平臺設(shè)計 總體架構(gòu) 數(shù)據(jù)倉庫建模 統(tǒng)計數(shù)據(jù)模型總體架構(gòu) 高校數(shù)據(jù)統(tǒng)計服務(wù)平臺由源系統(tǒng)、數(shù)據(jù)倉庫和統(tǒng)計平臺三部分組成?？傮w架構(gòu) 源系統(tǒng)：高校業(yè)務(wù)涉及的數(shù)據(jù)源比較廣泛，主要有人事系統(tǒng)、教務(wù)系統(tǒng)、研究生系統(tǒng)、科研系統(tǒng)等，再加上校園網(wǎng)之外的

5、一些其他外部數(shù)據(jù)源，構(gòu)成了數(shù)據(jù)統(tǒng)計服務(wù)平臺的數(shù)據(jù)基礎(chǔ)，由于系統(tǒng)業(yè)務(wù)職能和具體需求不同，在實現(xiàn)時會選用不同的數(shù)據(jù)庫，數(shù)據(jù)結(jié)構(gòu)也可能存在較大差異，從而導(dǎo)致數(shù)據(jù)間有較大的異構(gòu)性和不一致性?？傮w架構(gòu) 數(shù)據(jù)倉庫：數(shù)據(jù)倉庫全面接收源系統(tǒng)數(shù)據(jù)，ETL進程對數(shù)據(jù)進行規(guī)范化、驗證、清洗，并最終裝載進入數(shù)據(jù)集市，通過數(shù)據(jù)集市支持系統(tǒng)進行數(shù)據(jù)查詢、分析；整個數(shù)據(jù)倉庫包含四大層次： 復(fù)制層(SSA, system-of-records-staging-area) 原子層(SOR, system-of-record) 匯總層(SMA, summary-area) 集市層(DM, data mart)總體架構(gòu) 復(fù)制層(S

6、SA, system-of-records-staging-area)：直接復(fù)制源系統(tǒng)的數(shù)據(jù)，盡量保持業(yè)務(wù)數(shù)據(jù)的原貌；與源系統(tǒng)數(shù)據(jù)唯一不同的是，復(fù)制層中的數(shù)據(jù)在源系統(tǒng)數(shù)據(jù)的基礎(chǔ)上加入了時間戳的信息，形成了多個版本的歷史數(shù)據(jù)信息； 原子層(SOR, system-of-record)：基于模型開發(fā)的一套符合3NF范式規(guī)則的表結(jié)構(gòu)，它存儲了數(shù)據(jù)倉庫內(nèi)最細(xì)層次的數(shù)據(jù)，并按照不同的主題域?qū)?shù)據(jù)分類存儲；根據(jù)目前部分需求，將全校數(shù)據(jù)在原子層中按人事、學(xué)生、教學(xué)、科研四大主題存儲；原子層是整個數(shù)據(jù)倉庫的核心和基礎(chǔ)，在設(shè)計過程中應(yīng)具有足夠的靈活性，以能應(yīng)對添加更多的數(shù)據(jù)源、支持更多的分析需求，同時能夠支持進

7、一步的升級和更新；總體架構(gòu) 匯總層(SMA, summary-area)：匯總層是原子層和集市層的中間過渡，由于原子層的數(shù)據(jù)是高度規(guī)范化數(shù)據(jù)，因此要完成一個查詢需要大量的關(guān)聯(lián)工作，同時集市層中的數(shù)據(jù)粒度往往要比原子層高很多，對要生成集市層中的匯總數(shù)據(jù)需要進行大量的匯總工作，因此，匯總層根據(jù)需求把原子層數(shù)據(jù)進行適度的反范（例如，設(shè)計寬表結(jié)構(gòu)將人員信息、干部信息等多個表的數(shù)據(jù)合并起來）和匯總（例如，一些常用的人頭匯總、機構(gòu)匯總等）；從而提高數(shù)據(jù)倉庫查詢的性能。總體架構(gòu) 集市層(DM, data mart)：集市層保存的數(shù)據(jù)是供用戶直接訪問的；可以將集市層理解成最終用戶直接最終想要看的數(shù)據(jù)；集市層主

8、要是各類粒度的事實數(shù)據(jù)，通過提供不同粒度的數(shù)據(jù)，適應(yīng)不同的數(shù)據(jù)訪問需求；集市層中的數(shù)據(jù)以2種不同類型存儲：一類以星型模型建設(shè)，便于部門日常的靈活查詢和統(tǒng)計，另一類按寬表以及重新組織的適應(yīng)固定報表的表結(jié)構(gòu)存儲，便于高校的年統(tǒng)和季度統(tǒng)計工作。總體架構(gòu) 統(tǒng)計平臺：高校數(shù)據(jù)統(tǒng)計服務(wù)平臺采用B/S架構(gòu)的3層體系結(jié)構(gòu)，即：數(shù)據(jù)操作層、邏輯層、表示層。 數(shù)據(jù)操作層 邏輯層 表示層總體架構(gòu) 數(shù)據(jù)操作層：充分考慮系統(tǒng)的高可用性，數(shù)據(jù)統(tǒng)計服務(wù)平臺與數(shù)據(jù)倉庫所使用的數(shù)據(jù)庫互相獨立，由此保證數(shù)據(jù)統(tǒng)計服務(wù)平臺對數(shù)據(jù)進行加工處理時不會影響數(shù)據(jù)倉庫中的數(shù)據(jù)；數(shù)據(jù)存取模塊實現(xiàn)對數(shù)據(jù)統(tǒng)計服務(wù)平臺數(shù)據(jù)的訪問?？傮w架構(gòu) 邏輯層：分

9、為報表預(yù)定義、報表查詢、報表生成、報表填報、報表審核及報表匯總等模塊；每個模塊分別實現(xiàn)不同的功能；在統(tǒng)計平臺中，不同身份的用戶其功能權(quán)限和數(shù)據(jù)權(quán)限是不一樣的：報表預(yù)定義是給系統(tǒng)管理員用的；報表生成、報表填報是給院系管理人員使用的，只能查看和操作本院系的數(shù)據(jù)；報表審核、報表匯總是給學(xué)校相關(guān)部門的管理人員用的，可以操作全校數(shù)據(jù)；功能權(quán)限和數(shù)據(jù)權(quán)限通過公用層與身份認(rèn)證服務(wù)平臺對接，統(tǒng)一進行管理總體架構(gòu) 表示層：提供交互界面給用戶使用，此外還提供一些服務(wù)接口供其他系統(tǒng)調(diào)用數(shù)據(jù)倉庫建模 目前較為流行的數(shù)據(jù)倉庫的建模方法較多，常用的有Inmon所提倡的范式建模法和Kimball所提倡的維度建模法。數(shù)據(jù)倉庫

10、建模 維度建模法針對各個維做了大量的預(yù)處理，通過這些預(yù)處理能夠極大地提升數(shù)據(jù)倉庫的處理能力，相對于范式建模法來說，在性能上占據(jù)了明顯的優(yōu)勢；同時維度建模非常直觀，緊緊圍繞著業(yè)務(wù)模型，可以直觀地反映出業(yè)務(wù)模型中的業(yè)務(wù)問題。不需要經(jīng)過特別的抽象處理即可以完成維度建模。因此高校數(shù)據(jù)統(tǒng)計服務(wù)平臺的數(shù)據(jù)倉庫采取維度建模的方式構(gòu)建。 維度建模法采用事實表維表的方式來構(gòu)建數(shù)據(jù)倉庫，數(shù)據(jù)集市、事實表存儲實際的數(shù)據(jù)，維表存儲事實表中對象的屬性，事實表和維表的關(guān)聯(lián)關(guān)系常用的是“星型模型”。數(shù)據(jù)倉庫建模 維度建模的步驟 結(jié)合具體需求確定分析主題，結(jié)合高校主要業(yè)務(wù)定義了一個公共維度主題和人事、學(xué)生、教學(xué)、科研4個業(yè)務(wù)

11、主題：公共維度包含時間維、地理維、國標(biāo)及校標(biāo)，時間維和地理維在不同的應(yīng)用場景可以使用視圖形式轉(zhuǎn)換為具體的分析維度，國標(biāo)和校標(biāo)主要用來解決在數(shù)據(jù)集成過程中的一致性問題；人事主題核心內(nèi)容是教師的基本情況，具體分析主體有收入、崗位、職稱以及杰出人才等；學(xué)生主題核心內(nèi)容是在校生基本情況，具體分析主題有招生、成績、獎懲、異動、就業(yè)等；科研主題主要分析全校師生科研成果完成情況，根據(jù)實際業(yè)務(wù)可以納入所有科研成果，如項目、論文、著作、專利、學(xué)術(shù)活動等；教學(xué)主題以教學(xué)活動相關(guān)內(nèi)容為主，如課程計劃、教學(xué)任務(wù)、選課、教學(xué)工作量等。數(shù)據(jù)倉庫建模 確定分析粒度，通俗地說就是分析對象的詳細(xì)程度。為了滿足分析的可擴展性及需

12、求的多樣性，以最小粒度來設(shè)計數(shù)據(jù)模型總是能達(dá)到最好的分析效果，如：記錄每個學(xué)生的明細(xì)情況、記錄每項科研成果的詳細(xì)情況。數(shù)據(jù)倉庫建模 設(shè)計維表，維度是統(tǒng)計和分析數(shù)據(jù)的角度，與統(tǒng)計查詢的參數(shù)相對應(yīng)。在選取維度時應(yīng)該將實體作為一個對象，把與該對象相關(guān)的所有重要屬性都提取出來作為獨立維度。數(shù)據(jù)倉庫建模 設(shè)計事實表，為了跟蹤具有生命周期的活動數(shù)據(jù)的變化過程以保留歷史信息，設(shè)計事實表時使用緩慢變化維的方法以捕獲變化數(shù)據(jù)。事實表中的版本、開始時間和結(jié)束時間3個字段是實現(xiàn)緩慢變化的核心。版本表示同一事物歷史狀態(tài)的順序，開始時間和結(jié)束時間表示在該段時間內(nèi)該事物處于某一狀態(tài)，每一條數(shù)據(jù)的結(jié)束時間等于新數(shù)據(jù)的開始時

13、間，這樣該事物不同時間段的狀態(tài)就分布在一條時間軸上，從而可以得到任一時間點該事物的狀態(tài)信息數(shù)據(jù)倉庫建模統(tǒng)計數(shù)據(jù)模型 確定統(tǒng)計相關(guān)的星型模型，即數(shù)據(jù)統(tǒng)計針對的是事實表中間的那些事實，涉及到哪些統(tǒng)計指標(biāo)，統(tǒng)計的粒度如何。 確定報表中具體的每一行和每一列分別代表的統(tǒng)計指標(biāo)，統(tǒng)計指標(biāo)簡單地說即維度取值，每個統(tǒng)計指標(biāo)對應(yīng)到維表中是某個維度取某個值，也有可能是多個維度取值的累加。 確定單元格的統(tǒng)計方法，每個單元格的統(tǒng)計指標(biāo)應(yīng)該是其對應(yīng)的行、列所代表的維度取值的并集。 將維度轉(zhuǎn)化為可執(zhí)行查詢的語句，去事實表中查詢出相應(yīng)的統(tǒng)計數(shù)據(jù)和事實數(shù)據(jù)，為了方便，在數(shù)據(jù)統(tǒng)計服務(wù)平臺的報表數(shù)據(jù)庫中還可以將查詢到的統(tǒng)計結(jié)果固

14、化，以數(shù)據(jù)庫表的形式存儲下來。統(tǒng)計數(shù)據(jù)模型 將1張業(yè)務(wù)報表拆分為5張配置表，它們分別是指標(biāo)表、維表、維值表、行列表、指標(biāo)維度組合表；最后計算得到的結(jié)果存儲在指標(biāo)數(shù)據(jù)表中。平臺實現(xiàn) ETL處理 前臺展示ETL處理 ETL(extraction-transformation-loading)負(fù)責(zé)將分散的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)抽取到臨時中間層后進行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中。ETL是實施數(shù)據(jù)倉庫的核心和靈魂，ETL規(guī)則的設(shè)計和實施約占整個數(shù)據(jù)倉庫搭建工作量的60%80%。ETL處理 數(shù)據(jù)抽取 包括初始化數(shù)據(jù)裝載和數(shù)據(jù)刷新：初始化數(shù)據(jù)裝載主要關(guān)注的是如何建立維表、事實表，并把相應(yīng)的

15、數(shù)據(jù)放到這些數(shù)據(jù)表中，在數(shù)據(jù)倉庫建模小節(jié)中已經(jīng)做了詳細(xì)介紹；而數(shù)據(jù)刷新關(guān)注的是當(dāng)源數(shù)據(jù)發(fā)生變化時如何對數(shù)據(jù)倉庫中的相應(yīng)數(shù)據(jù)進行追加和更新等維護ETL處理 觸發(fā)器方式（又稱為快照式）來實現(xiàn)數(shù)據(jù)刷新，具體來說就是：在SSA層需要抽取數(shù)據(jù)的數(shù)據(jù)表上建立了插入、修改、刪除3個觸發(fā)器（trigger），每當(dāng)源數(shù)據(jù)庫中數(shù)據(jù)表中的數(shù)據(jù)發(fā)生變化時，復(fù)制到SSA的數(shù)據(jù)也會相應(yīng)發(fā)生改變，相應(yīng)的觸發(fā)器將變化的數(shù)據(jù)寫入一個臨時區(qū)（buffer）；在數(shù)據(jù)庫層定義了一系列的作業(yè)（job）和存儲過程（procedure）：作業(yè)規(guī)定了包括數(shù)據(jù)刷新頻率和數(shù)據(jù)刷新先后次序在內(nèi)的一系列任務(wù)調(diào)度策略，調(diào)用相應(yīng)的存儲過程從臨時表中抽取

16、需要刷新的數(shù)據(jù)，臨時表中抽取過的數(shù)據(jù)被標(biāo)記或刪除； 觸發(fā)器方式的好處是：數(shù)據(jù)抽取的性能高、規(guī)則簡單，對于編程人員來說易于上手，特別適合北京大學(xué)數(shù)據(jù)倉庫現(xiàn)有規(guī)模還較小的特點，是一種簡單易行的好辦法；但隨著以后數(shù)據(jù)倉庫規(guī)模的越來越大，數(shù)據(jù)表越來越多，需要編寫的觸發(fā)器、存儲過程和作業(yè)就越來越多，可能會不利于管理ETL處理 數(shù)據(jù)清洗 主要是針對源數(shù)據(jù)庫中出現(xiàn)的二義性、重復(fù)、不完整、違反業(yè)務(wù)或邏輯規(guī)則等問題的數(shù)據(jù)進行統(tǒng)一的處理，下表列出了北京大學(xué)在對業(yè)務(wù)系統(tǒng)進行數(shù)據(jù)清洗時發(fā)現(xiàn)的幾類最常見的問題及針對這些問題所采取的策略。ETL處理 數(shù)據(jù)轉(zhuǎn)換 主要是為了將數(shù)據(jù)清洗后的數(shù)據(jù)轉(zhuǎn)換成數(shù)據(jù)倉庫所需要的數(shù)據(jù)：來源于

17、不同源系統(tǒng)的同一數(shù)據(jù)字段的數(shù)據(jù)字典或者數(shù)據(jù)格式可能不一樣，在數(shù)據(jù)倉庫中需要給它們提供統(tǒng)一的數(shù)據(jù)字典和格式，對數(shù)據(jù)內(nèi)容進行歸一化；另一方面，數(shù)據(jù)倉庫所需要的某些字段的內(nèi)容可能是源系統(tǒng)所不具備的，而是需要根據(jù)源系統(tǒng)中多個字段的內(nèi)容共同確定； 例如，數(shù)據(jù)倉庫中的人員類型“事業(yè)單位專業(yè)技術(shù)人員”實際上是根據(jù)人事表中“編制類型=事業(yè)單位”、“崗位級別=985”并且“人員類別=在職職工”等多個字段的內(nèi)容共同得出的，像這樣字段的形成也依賴于數(shù)據(jù)轉(zhuǎn)換ETL處理 考察的工具 ColverETL:開源ETL工具，免費版本支持的連接組件太少（Pass） Kettle: 功能完善，組件齊全的處理平臺 Talend:

18、功能完善，組件齊全的處理平臺 Jitterbit: ETL工具，但是功能比較簡單，維護、日志、監(jiān)控等功能缺乏 Apatar: ETL工具，非服務(wù)器結(jié)構(gòu)，適合單機版本開發(fā)小的ETL程序 OpenDigger：ETL工具，非圖形化接口 Spring batch：主要用于實現(xiàn)調(diào)度平臺，配置方法和spring工具ETL處理ETL處理 Kettle優(yōu)勢LGPL License限制較為寬松免費的Repository使得版本管理和代碼遷移非常容易任務(wù)調(diào)度支持定時,時間和命令支持Job DuplicationETL處理 Talend優(yōu)勢 接口支持非常豐富，包括：各種數(shù)據(jù)庫，文件(Excel CSVJason

19、XML Mail等)，外圍系統(tǒng)(SAP,CRM,FTP,SCP,JMS等)，網(wǎng)絡(luò)(WS,Socket,RPC,RSS,SOAP等)，流(Buffer, Row) 有若干高性能組件如：外排序，批量插入(如SQLLoader) 結(jié)構(gòu)簡單，只發(fā)布jar包前臺展示 常見的數(shù)據(jù)倉庫的前端展示工具有BO、Cognos等，能基于Web 的直觀界面，能提供報表、圖表、儀表盤等多種展示方式。但都是商業(yè)產(chǎn)品，價格比較昂貴。 ExtJs是一款開源的創(chuàng)建前端用戶界面，是一個基本與后臺技術(shù)無關(guān)的前端ajax框架，具有功能強大、編程簡單的特點，數(shù)據(jù)統(tǒng)計服務(wù)平臺的用戶界面基于ExtJS開發(fā)。前臺展示界面平臺部署結(jié)束語 提出了基于數(shù)據(jù)倉庫技術(shù)的高校數(shù)據(jù)統(tǒng)計服務(wù)平臺，通過合理的架構(gòu)設(shè)計、科學(xué)的數(shù)據(jù)建模實現(xiàn)了對數(shù)據(jù)的集中存儲、加工，以及統(tǒng)計數(shù)據(jù)生成、統(tǒng)計數(shù)據(jù)查詢等功能。該系統(tǒng)能夠有效地滿足高校新形勢下的業(yè)務(wù)發(fā)展需求，對于促進高校數(shù)據(jù)集約化管理水平的提升、搭建數(shù)據(jù)統(tǒng)籌管理和決策支持服務(wù)的長效機制框架具有十分重要的意義2013/10/1647謝謝！嚴(yán)禁隱瞞、虛報生產(chǎn)安全事故。7月-227月