數(shù)據(jù)倉庫高校數(shù)據(jù)統(tǒng)計(jì)服務(wù)平臺研究教材

1、提綱背景需求分析背景 各高校建成的信息管理系統(tǒng)越來越多，海量數(shù)據(jù)背后隱藏著許多重要信息，是學(xué)校正常運(yùn)轉(zhuǎn)的核心資源，以靈活便捷的方式對數(shù)據(jù)進(jìn)行統(tǒng)計(jì)、分析，進(jìn)而為高校管理與決策提供支持的需求日益強(qiáng)烈背景 商業(yè)智能(BI, business intelligence) Gartner Group, Howard Dresner, 1996：一類由數(shù)據(jù)倉庫(或數(shù)據(jù)集市)、查詢報表、數(shù)據(jù)分析、數(shù)據(jù)挖掘、數(shù)據(jù)備份和恢復(fù)等局部組成，以幫助企業(yè)決策為目的的技術(shù)及其應(yīng)用。背景 微軟的BI體系框架背景 IBM的BI體系框架背景 建立BI系統(tǒng)的根本步驟包括： 確認(rèn)和解讀數(shù)據(jù)源； 進(jìn)行數(shù)據(jù)采集和存儲管理； 構(gòu)建模型并

2、在此根底上分析數(shù)據(jù)背景 商業(yè)智能的根底是數(shù)據(jù)倉庫(DW , Data Warehouse) 數(shù)據(jù)倉庫是一個面向主題的、集成的、相對穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合。 數(shù)據(jù)倉庫為有效地為BI系統(tǒng)提供了全局一致的數(shù)據(jù)環(huán)境，也為歷史數(shù)據(jù)綜合數(shù)據(jù)的處理提出了一種行之有效的解決方法。背景 國外:BI應(yīng)用已經(jīng)進(jìn)入了數(shù)據(jù)分析階段，有些已經(jīng)積累了高端的數(shù)據(jù)挖掘經(jīng)驗(yàn)； 國內(nèi):BI的應(yīng)用那么還停留在數(shù)據(jù)整合的初級階段，應(yīng)用的主要領(lǐng)域集中在電信、保險、銷售等行業(yè)， 國內(nèi)高校的情況不容樂觀： 數(shù)據(jù)分散在不同的源系統(tǒng)中，數(shù)據(jù)的標(biāo)準(zhǔn)性和共享性還存在很大問題； 數(shù)據(jù)統(tǒng)計(jì)和分析根本上是基于單個系統(tǒng)中的操作型數(shù)據(jù)進(jìn)行的，既不能反

3、映出不同系統(tǒng)之間的數(shù)據(jù)關(guān)聯(lián)，又缺乏對數(shù)據(jù)的全局把握；還會因?yàn)椴僮餍蛿?shù)據(jù)的動態(tài)性和分散性影響統(tǒng)計(jì)結(jié)果的準(zhǔn)確性，也無法對歷史數(shù)據(jù)進(jìn)行統(tǒng)計(jì)和分析。背景 要建立高校的BI應(yīng)用，滿足為高校管理與決策提供支持的需求，首先必須打破不同應(yīng)用系統(tǒng)之間的“藩籬，建立全局一致的數(shù)據(jù)倉庫，將操作型數(shù)據(jù)轉(zhuǎn)換為靜態(tài)的、穩(wěn)定的、標(biāo)準(zhǔn)化的、能夠反映歷史的分析型數(shù)據(jù)，然后在此根底上搭建統(tǒng)一的數(shù)據(jù)統(tǒng)計(jì)效勞平臺。需求分析 數(shù)據(jù)統(tǒng)計(jì)需求按用途不同分為2類： 一是以年報表或者季度報表的形式上報上級部門的統(tǒng)計(jì)數(shù)據(jù)，有著固定的報表格式、復(fù)雜的報表內(nèi)容、專門的統(tǒng)計(jì)口徑，有的報表甚至還有嚴(yán)格的填報流程； 二是部門日常所需要統(tǒng)計(jì)數(shù)據(jù)，往往和某種

4、類型具體業(yè)務(wù)相關(guān)，和第一類需求相比，統(tǒng)計(jì)數(shù)據(jù)的格式和內(nèi)容比較簡單，沒有復(fù)雜的填報流程，但時間粒度要求更細(xì)，要以月報表、周報表乃至日報表的形式提供統(tǒng)計(jì)結(jié)果，并且要求提供數(shù)據(jù)鉆取的功能。需求分析 這些需要統(tǒng)計(jì)的數(shù)據(jù)涉及高校人事、學(xué)生、科研、教學(xué)等各個領(lǐng)域，每個領(lǐng)域下面又細(xì)分為了很多不同的細(xì)類，具體如圖1所示。平臺設(shè)計(jì) 總體架構(gòu) 數(shù)據(jù)倉庫建模 統(tǒng)計(jì)數(shù)據(jù)模型總體架構(gòu) 高校數(shù)據(jù)統(tǒng)計(jì)效勞平臺由源系統(tǒng)、數(shù)據(jù)倉庫和統(tǒng)計(jì)平臺三部分組成?？傮w架構(gòu) 源系統(tǒng)：高校業(yè)務(wù)涉及的數(shù)據(jù)源比較廣泛，主要有人事系統(tǒng)、教務(wù)系統(tǒng)、研究生系統(tǒng)、科研系統(tǒng)等，再加上校園網(wǎng)之外的一些其他外部數(shù)據(jù)源，構(gòu)成了數(shù)據(jù)統(tǒng)計(jì)效勞平臺的數(shù)據(jù)根底，由于系統(tǒng)

5、業(yè)務(wù)職能和具體需求不同，在實(shí)現(xiàn)時會選用不同的數(shù)據(jù)庫，數(shù)據(jù)結(jié)構(gòu)也可能存在較大差異，從而導(dǎo)致數(shù)據(jù)間有較大的異構(gòu)性和不一致性。總體架構(gòu) 數(shù)據(jù)倉庫：數(shù)據(jù)倉庫全面接收源系統(tǒng)數(shù)據(jù)，ETL進(jìn)程對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化、驗(yàn)證、清洗，并最終裝載進(jìn)入數(shù)據(jù)集市，通過數(shù)據(jù)集市支持系統(tǒng)進(jìn)行數(shù)據(jù)查詢、分析；整個數(shù)據(jù)倉庫包含四大層次： 復(fù)制層(SSA, system-of-records-staging-area) 原子層(SOR, system-of-record) 匯總層(SMA, summary-area) 集市層(DM, data mart)總體架構(gòu) 復(fù)制層(SSA, system-of-records-staging-a

6、rea)：直接復(fù)制源系統(tǒng)的數(shù)據(jù)，盡量保持業(yè)務(wù)數(shù)據(jù)的原貌；與源系統(tǒng)數(shù)據(jù)唯一不同的是，復(fù)制層中的數(shù)據(jù)在源系統(tǒng)數(shù)據(jù)的根底上參加了時間戳的信息，形成了多個版本的歷史數(shù)據(jù)信息； 原子層(SOR, system-of-record)：基于模型開發(fā)的一套符合3NF范式規(guī)那么的表結(jié)構(gòu)，它存儲了數(shù)據(jù)倉庫內(nèi)最細(xì)層次的數(shù)據(jù)，并按照不同的主題域?qū)?shù)據(jù)分類存儲；根據(jù)目前局部需求，將全校數(shù)據(jù)在原子層中按人事、學(xué)生、教學(xué)、科研四大主題存儲；原子層是整個數(shù)據(jù)倉庫的核心和根底，在設(shè)計(jì)過程中應(yīng)具有足夠的靈活性，以能應(yīng)對添加更多的數(shù)據(jù)源、支持更多的分析需求，同時能夠支持進(jìn)一步的升級和更新；總體架構(gòu) 匯總層(SMA, summary

7、-area)：匯總層是原子層和集市層的中間過渡，由于原子層的數(shù)據(jù)是高度標(biāo)準(zhǔn)化數(shù)據(jù)，因此要完成一個查詢需要大量的關(guān)聯(lián)工作，同時集市層中的數(shù)據(jù)粒度往往要比原子層高很多，對要生成集市層中的匯總數(shù)據(jù)需要進(jìn)行大量的匯總工作，因此，匯總層根據(jù)需求把原子層數(shù)據(jù)進(jìn)行適度的反范例如，設(shè)計(jì)寬表結(jié)構(gòu)將人員信息、干部信息等多個表的數(shù)據(jù)合并起來和匯總例如，一些常用的人頭匯總、機(jī)構(gòu)匯總等；從而提高數(shù)據(jù)倉庫查詢的性能?？傮w架構(gòu) 集市層(DM, data mart)：集市層保存的數(shù)據(jù)是供用戶直接訪問的；可以將集市層理解成最終用戶直接最終想要看的數(shù)據(jù)；集市層主要是各類粒度的事實(shí)數(shù)據(jù)，通過提供不同粒度的數(shù)據(jù)，適應(yīng)不同的數(shù)據(jù)訪問需

8、求；集市層中的數(shù)據(jù)以2種不同類型存儲：一類以星型模型建設(shè)，便于部門日常的靈活查詢和統(tǒng)計(jì)，另一類按寬表以及重新組織的適應(yīng)固定報表的表結(jié)構(gòu)存儲，便于高校的年統(tǒng)和季度統(tǒng)計(jì)工作?？傮w架構(gòu) 統(tǒng)計(jì)平臺：高校數(shù)據(jù)統(tǒng)計(jì)效勞平臺采用B/S架構(gòu)的3層體系結(jié)構(gòu)，即：數(shù)據(jù)操作層、邏輯層、表示層。 數(shù)據(jù)操作層 邏輯層 表示層總體架構(gòu) 數(shù)據(jù)操作層：充分考慮系統(tǒng)的高可用性，數(shù)據(jù)統(tǒng)計(jì)效勞平臺與數(shù)據(jù)倉庫所使用的數(shù)據(jù)庫互相獨(dú)立，由此保證數(shù)據(jù)統(tǒng)計(jì)效勞平臺對數(shù)據(jù)進(jìn)行加工處理時不會影響數(shù)據(jù)倉庫中的數(shù)據(jù)；數(shù)據(jù)存取模塊實(shí)現(xiàn)對數(shù)據(jù)統(tǒng)計(jì)效勞平臺數(shù)據(jù)的訪問。總體架構(gòu) 邏輯層：分為報表預(yù)定義、報表查詢、報表生成、報表填報、報表審核及報表匯總等模塊

9、；每個模塊分別實(shí)現(xiàn)不同的功能；在統(tǒng)計(jì)平臺中，不同身份的用戶其功能權(quán)限和數(shù)據(jù)權(quán)限是不一樣的：報表預(yù)定義是給系統(tǒng)管理員用的；報表生成、報表填報是給院系管理人員使用的，只能查看和操作本院系的數(shù)據(jù)；報表審核、報表匯總是給學(xué)校相關(guān)部門的管理人員用的，可以操作全校數(shù)據(jù)；功能權(quán)限和數(shù)據(jù)權(quán)限通過公用層與身份認(rèn)證效勞平臺對接，統(tǒng)一進(jìn)行管理總體架構(gòu) 表示層：提供交互界面給用戶使用，此外還提供一些效勞接口供其他系統(tǒng)調(diào)用數(shù)據(jù)倉庫建模 目前較為流行的數(shù)據(jù)倉庫的建模方法較多，常用的有Inmon所提倡的范式建模法和Kimball所提倡的維度建模法。數(shù)據(jù)倉庫建模 維度建模法針對各個維做了大量的預(yù)處理，通過這些預(yù)處理能夠極大地

10、提升數(shù)據(jù)倉庫的處理能力，相對于范式建模法來說，在性能上占據(jù)了明顯的優(yōu)勢；同時維度建模非常直觀，緊緊圍繞著業(yè)務(wù)模型，可以直觀地反映出業(yè)務(wù)模型中的業(yè)務(wù)問題。不需要經(jīng)過特別的抽象處理即可以完成維度建模。因此高校數(shù)據(jù)統(tǒng)計(jì)效勞平臺的數(shù)據(jù)倉庫采取維度建模的方式構(gòu)建。 維度建模法采用事實(shí)表維表的方式來構(gòu)建數(shù)據(jù)倉庫，數(shù)據(jù)集市、事實(shí)表存儲實(shí)際的數(shù)據(jù)，維表存儲事實(shí)表中對象的屬性，事實(shí)表和維表的關(guān)聯(lián)關(guān)系常用的是“星型模型。數(shù)據(jù)倉庫建模 維度建模的步驟 結(jié)合具體需求確定分析主題，結(jié)合高校主要業(yè)務(wù)定義了一個公共維度主題和人事、學(xué)生、教學(xué)、科研4個業(yè)務(wù)主題：公共維度包含時間維、地理維、國標(biāo)及校標(biāo)，時間維和地理維在不同的應(yīng)

11、用場景可以使用視圖形式轉(zhuǎn)換為具體的分析維度，國標(biāo)和校標(biāo)主要用來解決在數(shù)據(jù)集成過程中的一致性問題；人事主題核心內(nèi)容是教師的根本情況，具體分析主體有收入、崗位、職稱以及杰出人才等；學(xué)生主題核心內(nèi)容是在校生根本情況，具體分析主題有招生、成績、獎懲、異動、就業(yè)等；科研主題主要分析全校師生科研成果完成情況，根據(jù)實(shí)際業(yè)務(wù)可以納入所有科研成果，如工程、論文、著作、專利、學(xué)術(shù)活動等；教學(xué)主題以教學(xué)活動相關(guān)內(nèi)容為主，如課程方案、教學(xué)任務(wù)、選課、教學(xué)工作量等。數(shù)據(jù)倉庫建模 確定分析粒度，通俗地說就是分析對象的詳細(xì)程度。為了滿足分析的可擴(kuò)展性及需求的多樣性，以最小粒度來設(shè)計(jì)數(shù)據(jù)模型總是能到達(dá)最好的分析效果，如：記錄

12、每個學(xué)生的明細(xì)情況、記錄每項(xiàng)科研成果的詳細(xì)情況。數(shù)據(jù)倉庫建模 設(shè)計(jì)維表，維度是統(tǒng)計(jì)和分析數(shù)據(jù)的角度，與統(tǒng)計(jì)查詢的參數(shù)相對應(yīng)。在選取維度時應(yīng)該將實(shí)體作為一個對象，把與該對象相關(guān)的所有重要屬性都提取出來作為獨(dú)立維度。數(shù)據(jù)倉庫建模 設(shè)計(jì)事實(shí)表，為了跟蹤具有生命周期的活動數(shù)據(jù)的變化過程以保存歷史信息，設(shè)計(jì)事實(shí)表時使用緩慢變化維的方法以捕獲變化數(shù)據(jù)。事實(shí)表中的版本、開始時間和結(jié)束時間3個字段是實(shí)現(xiàn)緩慢變化的核心。版本表示同一事物歷史狀態(tài)的順序，開始時間和結(jié)束時間表示在該段時間內(nèi)該事物處于某一狀態(tài)，每一條數(shù)據(jù)的結(jié)束時間等于新數(shù)據(jù)的開始時間，這樣該事物不同時間段的狀態(tài)就分布在一條時間軸上，從而可以得到任一時

13、間點(diǎn)該事物的狀態(tài)信息數(shù)據(jù)倉庫建模統(tǒng)計(jì)數(shù)據(jù)模型 確定統(tǒng)計(jì)相關(guān)的星型模型，即數(shù)據(jù)統(tǒng)計(jì)針對的是事實(shí)表中間的那些事實(shí)，涉及到哪些統(tǒng)計(jì)指標(biāo)，統(tǒng)計(jì)的粒度如何。 確定報表中具體的每一行和每一列分別代表的統(tǒng)計(jì)指標(biāo)，統(tǒng)計(jì)指標(biāo)簡單地說即維度取值，每個統(tǒng)計(jì)指標(biāo)對應(yīng)到維表中是某個維度取某個值，也有可能是多個維度取值的累加。 確定單元格的統(tǒng)計(jì)方法，每個單元格的統(tǒng)計(jì)指標(biāo)應(yīng)該是其對應(yīng)的行、列所代表的維度取值的并集。 將維度轉(zhuǎn)化為可執(zhí)行查詢的語句，去事實(shí)表中查詢出相應(yīng)的統(tǒng)計(jì)數(shù)據(jù)和事實(shí)數(shù)據(jù)，為了方便，在數(shù)據(jù)統(tǒng)計(jì)效勞平臺的報表數(shù)據(jù)庫中還可以將查詢到的統(tǒng)計(jì)結(jié)果固化，以數(shù)據(jù)庫表的形式存儲下來。統(tǒng)計(jì)數(shù)據(jù)模型 將1張業(yè)務(wù)報表拆分為5張配

14、置表，它們分別是指標(biāo)表、維表、維值表、行列表、指標(biāo)維度組合表；最后計(jì)算得到的結(jié)果存儲在指標(biāo)數(shù)據(jù)表中。平臺實(shí)現(xiàn) ETL處理 前臺展示ETL處理 ETL(extraction-transformation-loading)負(fù)責(zé)將分散的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)抽取到臨時中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中。ETL是實(shí)施數(shù)據(jù)倉庫的核心和靈魂，ETL規(guī)那么的設(shè)計(jì)和實(shí)施約占整個數(shù)據(jù)倉庫搭建工作量的60%80%。ETL處理 數(shù)據(jù)抽取 包括初始化數(shù)據(jù)裝載和數(shù)據(jù)刷新：初始化數(shù)據(jù)裝載主要關(guān)注的是如何建立維表、事實(shí)表，并把相應(yīng)的數(shù)據(jù)放到這些數(shù)據(jù)表中，在數(shù)據(jù)倉庫建模小節(jié)中已經(jīng)做了詳細(xì)介紹；而數(shù)據(jù)刷

15、新關(guān)注的是當(dāng)源數(shù)據(jù)發(fā)生變化時如何對數(shù)據(jù)倉庫中的相應(yīng)數(shù)據(jù)進(jìn)行追加和更新等維護(hù)ETL處理 觸發(fā)器方式又稱為快照式來實(shí)現(xiàn)數(shù)據(jù)刷新，具體來說就是：在SSA層需要抽取數(shù)據(jù)的數(shù)據(jù)表上建立了插入、修改、刪除3個觸發(fā)器trigger，每當(dāng)源數(shù)據(jù)庫中數(shù)據(jù)表中的數(shù)據(jù)發(fā)生變化時，復(fù)制到SSA的數(shù)據(jù)也會相應(yīng)發(fā)生改變，相應(yīng)的觸發(fā)器將變化的數(shù)據(jù)寫入一個臨時區(qū)buffer；在數(shù)據(jù)庫層定義了一系列的作業(yè)job和存儲過程procedure：作業(yè)規(guī)定了包括數(shù)據(jù)刷新頻率和數(shù)據(jù)刷新先后次序在內(nèi)的一系列任務(wù)調(diào)度策略，調(diào)用相應(yīng)的存儲過程從臨時表中抽取需要刷新的數(shù)據(jù)，臨時表中抽取過的數(shù)據(jù)被標(biāo)記或刪除； 觸發(fā)器方式的好處是：數(shù)據(jù)抽取的性能高

16、、規(guī)那么簡單，對于編程人員來說易于上手，特別適合北京大學(xué)數(shù)據(jù)倉庫現(xiàn)有規(guī)模還較小的特點(diǎn)，是一種簡單易行的好方法；但隨著以后數(shù)據(jù)倉庫規(guī)模的越來越大，數(shù)據(jù)表越來越多，需要編寫的觸發(fā)器、存儲過程和作業(yè)就越來越多，可能會不利于管理ETL處理 數(shù)據(jù)清洗 主要是針對源數(shù)據(jù)庫中出現(xiàn)的二義性、重復(fù)、不完整、違反業(yè)務(wù)或邏輯規(guī)那么等問題的數(shù)據(jù)進(jìn)行統(tǒng)一的處理，下表列出了北京大學(xué)在對業(yè)務(wù)系統(tǒng)進(jìn)行數(shù)據(jù)清洗時發(fā)現(xiàn)的幾類最常見的問題及針對這些問題所采取的策略。ETL處理 數(shù)據(jù)轉(zhuǎn)換 主要是為了將數(shù)據(jù)清洗后的數(shù)據(jù)轉(zhuǎn)換成數(shù)據(jù)倉庫所需要的數(shù)據(jù)：來源于不同源系統(tǒng)的同一數(shù)據(jù)字段的數(shù)據(jù)字典或者數(shù)據(jù)格式可能不一樣，在數(shù)據(jù)倉庫中需要給它們提供

17、統(tǒng)一的數(shù)據(jù)字典和格式，對數(shù)據(jù)內(nèi)容進(jìn)行歸一化；另一方面，數(shù)據(jù)倉庫所需要的某些字段的內(nèi)容可能是源系統(tǒng)所不具備的，而是需要根據(jù)源系統(tǒng)中多個字段的內(nèi)容共同確定； 例如，數(shù)據(jù)倉庫中的人員類型“事業(yè)單位專業(yè)技術(shù)人員實(shí)際上是根據(jù)人事表中“編制類型=事業(yè)單位、“崗位級別=985并且“人員類別=在職職工等多個字段的內(nèi)容共同得出的，像這樣字段的形成也依賴于數(shù)據(jù)轉(zhuǎn)換ETL處理 考察的工具 ColverETL:開源ETL工具，免費(fèi)版本支持的連接組件太少Pass Kettle: 功能完善，組件齊全的處理平臺 Talend: 功能完善，組件齊全的處理平臺 Jitterbit: ETL工具，但是功能比較簡單，維護(hù)、日志、監(jiān)

18、控等功能缺乏 Apatar: ETL工具，非效勞器結(jié)構(gòu)，適合單機(jī)版本開發(fā)小的ETL程序 OpenDigger：ETL工具，非圖形化接口 Spring batch：主要用于實(shí)現(xiàn)調(diào)度平臺，配置方法和spring工具ETL處理ETL處理 Kettle優(yōu)勢LGPL License限制較為寬松免費(fèi)的Repository使得版本管理和代碼遷移非常容易任務(wù)調(diào)度支持定時,時間和命令支持Job DuplicationETL處理 Talend優(yōu)勢 接口支持非常豐富，包括：各種數(shù)據(jù)庫，文件(Excel CSVJason XML Mail等)，外圍系統(tǒng)(SAP,CRM,FTP,SCP,JMS等)，網(wǎng)絡(luò)(WS,Socket,RPC,RSS,SOAP等)，流(Buffer, Row) 有假設(shè)干高性能組件如：外排序，批量插入(如SQLLoader) 結(jié)構(gòu)簡單，只發(fā)布jar包前臺展示 常見的數(shù)據(jù)倉庫的前端展示工具有BO、Cognos等，能基