數(shù)據(jù)倉庫多維數(shù)據(jù)庫模型

1、何謂數(shù)據(jù)倉庫？ 一種面向分析的環(huán)境； 一種把相關(guān)的各種數(shù)據(jù)轉(zhuǎn)換成有商業(yè)價值的信息的技術(shù)。,1、從數(shù)據(jù)庫到數(shù)據(jù)倉庫 數(shù)據(jù)庫系統(tǒng)能夠很好的用于事務(wù)處理，但它對分析處理的支持一直不能令人滿意。特別是當(dāng)以業(yè)務(wù)處理為主的聯(lián)機事務(wù)處理（OLTP） 應(yīng)用和以分析處理為主的DSS應(yīng)用共存于一個數(shù)據(jù)庫系統(tǒng)時，就會產(chǎn)生許多問題。 例如，事務(wù)處理應(yīng)用一般需要的是當(dāng)前數(shù)據(jù)，主要考慮較短的響應(yīng)時間；而分析處理應(yīng)用需要是歷史的、綜合的、集成的數(shù)據(jù)，它的分析處理過程可能持續(xù)幾個小時，從而消耗大量的系統(tǒng)資源。,人們逐漸認(rèn)識到直接用事務(wù)處理環(huán)境來支持DSS是行不通的。要提高分析和決策的有效性，分析型處理及其數(shù)據(jù)必須與操作型處理

2、及其數(shù)據(jù)分離。必須把分析型數(shù)據(jù)從事務(wù)處理環(huán)境中提取出來，按照DSS處理的需要進(jìn)行重新組織，建立單獨的分析處理環(huán)境。 數(shù)據(jù)倉庫技術(shù)正是為了構(gòu)建這種新的分析處理環(huán)境而出現(xiàn)的一種數(shù)據(jù)存儲和組織技術(shù)。,數(shù)據(jù)倉庫與決策支持系統(tǒng)（DSS） 用戶在進(jìn)行決策制定時需要得到企業(yè)各方面的信息，因此用戶一般首先根據(jù)各個業(yè)務(wù)部門數(shù)據(jù)庫中的數(shù)據(jù)，創(chuàng)建數(shù)據(jù)倉庫，存儲各種歷史信息和匯總信息。 對數(shù)據(jù)倉庫的進(jìn)一步應(yīng)用由功能強大的分析工具來實現(xiàn)?，F(xiàn)在主要有三類分析工具可用于決策支持。 第一類能夠支持涉及分組和聚集查詢，并能夠?qū)Ω鞣N復(fù)雜的布爾條件、統(tǒng)計函數(shù)和時間序列分析提供支持的系統(tǒng)。主要由上述查詢組成的應(yīng)用稱為聯(lián)機分析處理，即

3、OLAP。在支持OLAP查詢的系統(tǒng)中，數(shù)據(jù)最好看成是一個多維數(shù)組。,第二類系統(tǒng)仍為支持傳統(tǒng)SQL查詢的DBMS，但為了有效地執(zhí)行OLAP查詢而進(jìn)行了特殊的設(shè)計。這些系統(tǒng)可以看作是為決策支持應(yīng)用進(jìn)行了優(yōu)化的關(guān)系數(shù)據(jù)庫系統(tǒng)。許多關(guān)系數(shù)據(jù)庫廠商對他們的產(chǎn)品進(jìn)行了擴展，并且隨著時間的推移，專門的OLAP系統(tǒng)和支持決策支持的關(guān)系數(shù)據(jù)庫系統(tǒng)之間的差別將逐漸取消。,第三類的分析工具可用于在大量的數(shù)據(jù)集合中，找到有意義的數(shù)據(jù)趨勢或者模式，而不是上面提到的復(fù)雜數(shù)據(jù)查詢。在數(shù)據(jù)分析過程中，盡管分析者能夠判定得到的數(shù)據(jù)模式是否有意義，但是生成查詢來得到有意義的模式還是很困難的。例如，分析者查看信用卡使用記錄，希望從

4、中找出不正常的信用卡使用行為，以表明是被濫用的丟失的信用卡；商人希望通過查看客戶記錄找出潛在的客戶來提高收益。許多應(yīng)用涉及的數(shù)據(jù)量很大，很難用人工分析或者傳統(tǒng)的統(tǒng)計分析方法進(jìn)行分析，數(shù)據(jù)挖掘的目的就是對這種大量數(shù)據(jù)的分析提供支持。,2、數(shù)據(jù)倉庫的定義及特征 數(shù)據(jù)倉庫理論的創(chuàng)始人W.H.Inmon在其Building the Data Warehouse一書中，給出了數(shù)據(jù)倉庫的四個基本特征：面向主題，數(shù)據(jù)是集成的，數(shù)據(jù)是不可更新的，數(shù)據(jù)是隨時間不斷變化的。,采購子系統(tǒng): 訂單（訂單號，供應(yīng)商號，商品號，類別，單價。數(shù)量，總金額，日期， ） 供應(yīng)商（供應(yīng)商號，供應(yīng)商名，地址，電話，） 銷售子系統(tǒng)：

5、 客戶（客戶號，姓名，地址，電話， ） 銷售（客戶號，商品號，數(shù)量，單價，日期， ） 庫存子系統(tǒng)： 進(jìn)庫單（編號，商品號，數(shù)量，單價，日期， ） 出庫單（編號，商品號，數(shù)量，單價，日期， ） 庫存（商品號， 庫房號，類別，單價，庫存數(shù)量， 總金額，日期， ）,商品固有信息：商品號，類別，單價，顏色， 商品采購信息：商品號，類別，供應(yīng)商號，供應(yīng)日期，單價，數(shù)量， 商品銷售信息：商品號，客戶號，數(shù)量，單價，銷售日期， 商品庫存信息：商品號， 庫房號，庫存數(shù)量，日期， ）,商品主題域：,采購子系統(tǒng),銷售子系統(tǒng),庫存子系統(tǒng),3、數(shù)據(jù)倉庫中的數(shù)據(jù)組織 數(shù)據(jù)倉庫中的數(shù)據(jù)分為四個級別：早期細(xì)節(jié)級，當(dāng)前細(xì)節(jié)級

6、，輕度綜合級，高度綜合級。,19851998年 銷售明細(xì)表,19982003年 銷售明細(xì)表,19982003年 每月銷售表,19982003年 每季度銷售表,DW中還有一類重要的數(shù)據(jù)：元數(shù)據(jù)（metedata）。元數(shù)據(jù)是“關(guān)于數(shù)據(jù)的數(shù)據(jù)”（RDBMS中的數(shù)據(jù)字典就是一種元數(shù)據(jù)）。 數(shù)據(jù)倉庫中的元數(shù)據(jù)描述了數(shù)據(jù)的結(jié)構(gòu)、內(nèi)容、索引、碼、數(shù)據(jù)轉(zhuǎn)換規(guī)則、粒度定義等。,4、數(shù)據(jù)倉庫系統(tǒng)結(jié)構(gòu),RDBMS,數(shù)據(jù)文件,其他,綜合數(shù)據(jù),當(dāng)前數(shù)據(jù),歷史數(shù)據(jù),元數(shù)據(jù),抽取、轉(zhuǎn)換、裝載,數(shù)據(jù)倉庫,OLAP工具,DM工具,查詢工具,分析工具,二、數(shù)據(jù)倉庫設(shè)計 數(shù)據(jù)倉庫的設(shè)計分為如下三個階段：,數(shù)據(jù)倉庫建模 分析主題域

7、確定粒度層次 確定數(shù)據(jù)分割策略 構(gòu)建數(shù)據(jù)倉庫 數(shù)據(jù)的存儲結(jié)構(gòu)與存儲策略 DSS應(yīng)用編程,三、操作數(shù)據(jù)存儲（ODS ） 在許多情況下，DB-DW的兩層體系結(jié)構(gòu)并不適合企業(yè)的數(shù)據(jù)處理要求。因為，雖然可以粗略地把數(shù)據(jù)處理分成操作型和分析型，但這兩種處理處理并不是涇渭分明的。 ODS（Operational Data Store）作為一個中間層次，一方面，它包含企業(yè)全局一致的、細(xì)節(jié)的、當(dāng)前的或接近當(dāng)前的數(shù)據(jù)，另一方面，它又是一個面向主題、集成的數(shù)據(jù)環(huán)境，適合完成日常決策的分析處理。,四、數(shù)據(jù)倉庫的實現(xiàn) 數(shù)據(jù)倉庫的工具主要有：數(shù)據(jù)預(yù)處理工具，數(shù)據(jù)分析（ OLAP ）工具，數(shù)據(jù)挖掘工具，OLAP服務(wù)器。,

8、數(shù)據(jù)倉庫和OLAP工具基于多維數(shù)據(jù)模型（在數(shù)據(jù)倉庫中，通常以多維方式來存儲數(shù)據(jù)。 ）。 基本概念 維：人們觀察數(shù)據(jù)的特定角度。 維的層次：人們觀察數(shù)據(jù)的特定角度可能存在細(xì)節(jié)程度不同的多個描述方面，我們稱其為維的層次。 多維分析的基本動作 上卷:匯總數(shù)據(jù) 下鉆：明細(xì)數(shù)據(jù) 切片，旋轉(zhuǎn)，。,Sales volume as a function of product, month, and region,Product,Region,Month,Dimensions: Product, Location, Time Hierarchical summarization paths,Industry R

9、egion Year Category Country Quarter Product City Month Week Office Day,Total annual sales of TV in U.S.A.,Date,Product,Country,All, All, All,sum,sum,TV,VCR,PC,1Qtr,2Qtr,3Qtr,4Qtr,U.S.A,Canada,Mexico,sum,選定兩個維：產(chǎn)品維和地區(qū)維,時間維,數(shù)據(jù)切片,產(chǎn)品維,地區(qū)維,產(chǎn)品維,地區(qū)維,基于RDBMS的數(shù)據(jù)倉庫實現(xiàn) 關(guān)系數(shù)據(jù)庫將多維數(shù)據(jù)庫中的多維結(jié)構(gòu)分為兩類：一類是事實表，用來存儲事實的度量值以及各個

10、維的碼值；另一類是維表。 數(shù)據(jù)倉庫的設(shè)計模型有：星型模式，雪花模式，混合模式 數(shù)據(jù)倉庫的設(shè)計也可以理解為面向OLAP的數(shù)據(jù)庫設(shè)計。,在星型模式中，主要數(shù)據(jù)存儲在事實表中，沒有冗余，并符合3NF或BCNF。 維值信息存儲在維表中。維表一般不需要規(guī)范化。主要原因是維表是靜態(tài)的，是否會產(chǎn)生因更新而導(dǎo)致異常也就不重要了。,Products,Pid pname category price,Locations,Locid city state country,Pid timeid locid sales,Timeid date month quarter year holiday_flag,Times,

11、Sales,定單號 銷售員號 客戶號 產(chǎn)品號 日期標(biāo)識 地區(qū)名稱 數(shù)量 總價,定單號 定貨日期,客戶號 客戶名稱 客戶地址,銷售員號 姓名 城市,產(chǎn)品號 產(chǎn)品名稱 單價,日期標(biāo)識 日 月 年,地區(qū)名稱 省,事實表,星型模式,定單號 銷售員號 客戶號 產(chǎn)品號 日期標(biāo)識 地區(qū)名稱 數(shù)量 總價,定單號 定貨日期,客戶號 客戶名稱 客戶地址,銷售員號 姓名 城市,產(chǎn)品號 產(chǎn)品名稱 單價,日期標(biāo)識 日 月 年,地區(qū)名稱 省,事實表,雪花模式,產(chǎn)品號 公司代碼,公司代碼 公司名稱 地址,五、SQL Server 2000 數(shù)據(jù)倉庫工具 數(shù)據(jù)轉(zhuǎn)換服務(wù)(DTS) 用于向數(shù)據(jù)倉庫中加載數(shù)據(jù) 數(shù)據(jù)復(fù)制 用于分布式

12、數(shù)據(jù)倉庫分布和加載數(shù)據(jù) OLE DB 提供應(yīng)用程序與數(shù)據(jù)源的接口API Analysis Service 用于采集和分析數(shù)據(jù)倉庫中的數(shù)據(jù) English Query 提供使用英語語言查詢數(shù)據(jù)倉庫 Meta Data Service 瀏覽數(shù)據(jù)倉庫中的元數(shù)據(jù) PivotTable服務(wù) 用于定制操作多維數(shù)據(jù)的客戶端接口,在數(shù)據(jù)倉庫或者數(shù)據(jù)市場中的信息可以由聯(lián)機分析(OLAP)處理，OLAP可以有效地以由維度和度量組成的立方體方式查看數(shù)據(jù)。然而，存在著這種問題：雖然OLAP合計是在數(shù)據(jù)倉庫中可以達(dá)到的查詢性能的關(guān)鍵因素，但是存儲這些合計數(shù)據(jù)的成本是磁盤存儲量。事實上，合計數(shù)據(jù)量可以輕易地超過原有的數(shù)據(jù)

13、量。另外，當(dāng)維度和合計量提高時，所要求的OLAP數(shù)據(jù)存儲量也大大地提高。這種對存儲量的極大要求一般稱為數(shù)據(jù)爆炸。 OLAP描述的是一種多維數(shù)據(jù)服務(wù)，這種服務(wù)的設(shè)計目的是保證分析員、經(jīng)理和決策者針對特定的問題，通過快速、一致、交互式的實時數(shù)據(jù)訪問和分析，獲得有創(chuàng)意的發(fā)現(xiàn)。,在SQL Server 2000中，有3種用于存儲數(shù)據(jù)倉庫中維度數(shù)據(jù)的方法，每一種方法都隨其數(shù)據(jù)存儲要求和其數(shù)據(jù)檢索速度而變化。 (l) MOLAP：多維型OLAP在一個用于壓縮索引的永久數(shù)據(jù)存儲中存儲維度數(shù)據(jù)和事實數(shù)據(jù)。合計存儲用來加快數(shù)據(jù)訪問。MOLAP查詢引擎是專有的，并且優(yōu)化成由MOLAP數(shù)據(jù)存儲使用的存儲格式。MOLAP提供了比ROLAP更快的查詢處理速度，并且要求更少的存儲空間。然而，它不能較好地伸縮，并且要求使用單獨的數(shù)據(jù)庫來存儲。,(2) ROLAP：關(guān)系型OLAP在關(guān)系型數(shù)據(jù)表中存儲合計。ROLAP針對關(guān)系型數(shù)據(jù)庫的應(yīng)用允許其利用已有的數(shù)據(jù)庫