數(shù)據(jù)倉庫課件

E-CMOERCEINSTXTUDE

V::喜尸關(guān)奈管理：：

CUSTOMERRELATIONSHIPMANAGEMENT

第十章數(shù)據(jù)倉庫

10.1數(shù)據(jù)倉庫基本概念

10.2數(shù)據(jù)倉庫的基本原理

10.3多維數(shù)據(jù)庫與OLAP分析

10.4數(shù)據(jù)倉庫模型設(shè)計’」

10.5數(shù)據(jù)倉庫的應(yīng)用

10。小結(jié)

0200J東北射終大學(xué)電r向修學(xué)院AllXifhUServed

E-CMOERCEINSTXTUDE

V::喜尸關(guān)奈管理：：

CUSTOMERRELATIONSHIPMANAGEMENT

10.1數(shù)據(jù)倉庫基本概念

10.1.1數(shù)據(jù)倉庫的產(chǎn)生

10.1.2數(shù)據(jù)倉庫與數(shù)據(jù)庫的區(qū)別

10.1.3數(shù)據(jù)倉庫的定義

O200J東北射性大學(xué)電「向修學(xué)院AllRifhtfKeasrvetl

E-CMOERCEINSTXTUDE

V::喜尸關(guān)奈管理：：

CUSTOMERRELATIONSHIPMANAGEMENT

10.1.1數(shù)據(jù)倉庫的產(chǎn)生

?隨著數(shù)據(jù)庫技術(shù)的廣泛應(yīng)用，企業(yè)擁有了越來越

多的數(shù)據(jù)。

?傳統(tǒng)的關(guān)系型數(shù)據(jù)庫無法滿足分析數(shù)據(jù)、支持決

策的需求。

?傳統(tǒng)的關(guān)系數(shù)據(jù)庫處理企業(yè)的日常事務(wù)，數(shù)據(jù)倉

庫則用于分析數(shù)據(jù)中隱含的信息，以支持決策。

O200J東北射終大學(xué)電r向修學(xué)院AllXifhU但”，冢

E-CMOERCEINSTXTUDE［九**

:客戶關(guān)案道理：：CUSTOMERRELATIONSHIPMANAGEMENT

10」.2數(shù)據(jù)倉庫與數(shù)據(jù)庫的區(qū)別

?數(shù)據(jù)倉庫和數(shù)據(jù)庫的區(qū)別

特性數(shù)據(jù)庫數(shù)據(jù)倉庫

數(shù)據(jù)當(dāng)前數(shù)據(jù)歷史數(shù)據(jù)

面向業(yè)務(wù)操作數(shù)據(jù)分析

存取讀寫操作多為只讀

使用頻率同J較低

數(shù)據(jù)訪問量少多

要求的響應(yīng)時間較短可以很長

關(guān)注數(shù)據(jù)輸入信息輸出

表10-1數(shù)據(jù)倉庫和數(shù)據(jù)庫的區(qū)別

O200J東北射終大學(xué)電r向修學(xué)院AllXithuReserved

E-CMOERCEINSTXTUDEdll”九**

::客戶關(guān)票管理：：CUSTOMERRELATIONSHIPMANAGEMENT

10.1.3數(shù)據(jù)倉庫的定義

著名的數(shù)據(jù)倉庫專家W.HJnmon的定義是：

數(shù)據(jù)倉庫(DataWarehouse)是一個面向主題

的、集成的、非易失的、隨時間變化的數(shù)據(jù)集合,

用于支持管理決策。該定義指出了數(shù)據(jù)倉庫的四

個特性：

(1)面向主題的特性

(2)集成性

(3)非易失性

(4)時變性

0200J東北射終大學(xué)電r向修學(xué)院AllXifhU但”，冢

E-CMOERCEINSTXTUDEdll”九**

V::喜尸關(guān)奈管理：：

CUSTOMERRELATIONSHIPMANAGEMENT

10.2數(shù)據(jù)倉庫的基本原理

1021數(shù)據(jù)倉庫的體系結(jié)構(gòu)

1022數(shù)據(jù)倉庫的相關(guān)概念

1023數(shù)據(jù)集市(DataMart)

1024操作數(shù)據(jù)存儲

0200J東北射終大學(xué)電r向修學(xué)院AllXifhUServed

E-CMOERCEINSTXTUDE

V::喜尸關(guān)奈管理：：

CUSTOMERRELATIONSHIPMANAGEMENT

1021數(shù)據(jù)倉庫的體系結(jié)構(gòu)

?數(shù)據(jù)倉庫的體系結(jié)構(gòu)可以用圖10」來表示

數(shù)據(jù)倉庫存儲

□

企業(yè)外部數(shù)據(jù)

數(shù)指清洗年市提取倉庫

颯福黃國

業(yè)務(wù)操作型系統(tǒng)

圖10-1數(shù)據(jù)倉庫的體系結(jié)構(gòu)

O200J東北射終大學(xué)電r向修學(xué)院AllXifhUServed

E-CMOERCEINSTXTUDEdll”九**

V：：容產(chǎn)關(guān)奈管理：：

CUSTOMERRELATIONSHIPMANAGEMENT

1022數(shù)據(jù)倉庫的相關(guān)概念

(1)數(shù)據(jù)抽取

數(shù)據(jù)提取是指從外部數(shù)據(jù)源中收集數(shù)據(jù)。

(2)數(shù)據(jù)清理

將提取出來的數(shù)據(jù)進(jìn)行檢測，并修正數(shù)據(jù)中的錯誤的過程稱

為數(shù)據(jù)清理。

(3)數(shù)據(jù)轉(zhuǎn)化

將不同格式的數(shù)據(jù)轉(zhuǎn)換成相同格式過程稱為數(shù)據(jù)轉(zhuǎn)化。

(4)外部數(shù)據(jù)

外部數(shù)據(jù)是從系統(tǒng)外部獲得的與分析主題相關(guān)的數(shù)據(jù)。

O200J東北射終大學(xué)電r向修學(xué)院AllXifhU但”，冢

E-CMOERCEINSTXTUDEdh”九**

V::喜尸關(guān)奈管理：：

CUSTOMERRELATIONSHIPMANAGEMENT

1022數(shù)據(jù)倉庫的相關(guān)概念

(5)歷史數(shù)據(jù)

歷史數(shù)據(jù)是指組織在長期的信息處理過程中所積累

下來的數(shù)據(jù)。

(6)元數(shù)據(jù)

元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù)。它是數(shù)據(jù)倉庫中數(shù)據(jù)綜

合的一種類型。

(7)數(shù)據(jù)粒度

數(shù)據(jù)粒度有兩種形式。第一種形式的數(shù)據(jù)粒度是面

向OLAP,見表10-2o第二種形式的數(shù)據(jù)粒度

是面向數(shù)據(jù)挖掘的，它反映的是抽樣率。

e200J東北射終大學(xué)電r向修學(xué)院AUXifhUServed

E-CMOERCEINSTXTUDE［九**

V::喜尸關(guān)奈管理：：

CUSTOMERRELATIONSHIPMANAGEMENT

1022數(shù)據(jù)倉庫的相關(guān)概念

粒度級別綜合程度數(shù)據(jù)量數(shù)據(jù)細(xì)節(jié)

（詳細(xì)度:)

__i__.口

rm小低

口

低低大rnj

表10-2數(shù)據(jù)粒度的相關(guān)指標(biāo)

O200J東北射終大學(xué)電r向修學(xué)院AllXithuReserved

E-CMOERCEINSTXTUDEdll”九**

::客戶關(guān)票管理：：CUSTOMERRELATIONSHIPMANAGEMENT

1023數(shù)據(jù)集市(DataMart)

?數(shù)據(jù)集市也叫數(shù)據(jù)市場，是企業(yè)級數(shù)據(jù)倉庫中針

對某一主題的數(shù)據(jù)庫，它是企業(yè)數(shù)據(jù)庫的一個子

集。

(1)獨立的數(shù)據(jù)集市的數(shù)據(jù)直接來源于各信息系

統(tǒng)。

(2)依賴的數(shù)據(jù)集市的數(shù)據(jù)直接來源于中央數(shù)據(jù)

倉庫，也就是說它是在數(shù)據(jù)倉庫的基礎(chǔ)上建立起

來的。

0200J東北射終大學(xué)電r向修學(xué)院AllXifhU但”，冢

E-CMOERCEINSTXTUDE

V::喜尸關(guān)奈管理：：

CUSTOMERRELATIONSHIPMANAGEMENT

1024操作數(shù)據(jù)存儲(Operational

DataStoreQDS)

?ODS是用于支持企業(yè)日常的全局應(yīng)用的數(shù)據(jù)集合。

?ODS中的數(shù)據(jù)按照主題來組織，ODS只存放當(dāng)

前和近期數(shù)據(jù)。

?ODS的應(yīng)用一般體現(xiàn)在兩個方面：

(1)企業(yè)級的聯(lián)機事務(wù)處理(OLTP)應(yīng)用。

(2)近期的聯(lián)機分析處理(OLAP)o

0200J東北射終大學(xué)電r向修學(xué)院AllXifhU但”，冢

E-CMOERCEINSTXTUDEdll”九**

::客戶關(guān)票管理：：CUSTOMERRELATIONSHIPMANAGEMENT

10.3多維數(shù)據(jù)庫與OLAP分析

10.3.1多維數(shù)據(jù)庫的基本概念

10.3.2多維數(shù)據(jù)模型上的OLAP操作

10.3.3多維數(shù)據(jù)庫模式

10.3.4多維數(shù)據(jù)的數(shù)據(jù)存儲與可視化

1035多維數(shù)據(jù)庫與數(shù)據(jù)倉庫

O200J東北射終大學(xué)電r向修學(xué)院AllXifhU但”，冢

E-CMOERCEINSTXTUDEdll”九**

::客戶關(guān)票管理：：CUSTOMERRELATIONSHIPMANAGEMENT

1031多維數(shù)據(jù)庫的基本概念

(1)變量

變量是分析數(shù)據(jù)時要考察的屬性。

(2)維

用戶分析問題的角度或決策分析的出發(fā)點構(gòu)成了

數(shù)據(jù)倉庫布的維。

(3)維的層次性,

數(shù)據(jù)倉庫中的維是具有層次性的。用地理維度來

解釋維的層次性是最容易理解的。如圖10?2所

示

0200J東北射終大學(xué)電r向修學(xué)院AllXifhU但”，冢

E-CMOERCEINSTXTUDE［九**

::客戶關(guān)票管理：：CUSTOMERRELATIONSHIPMANAGEMENT

10.3.1多維數(shù)據(jù)庫的基本概念

圖10-2地理維的層次性

O200J東北射終大學(xué)電r向修學(xué)院AllXithuReserved

E-CMOERCEINSTXTUDEdh”九**

V::喜尸關(guān)奈管理：：

CUSTOMERRELATIONSHIPMANAGEMENT

10.3.1多維數(shù)據(jù)庫的基本概念

(4)維成員

維成員是維的一個取值，如果維分成了幾個層次,

那么維成員就是不同維層次取值的組合

(5)事實

每一個維都取一個維成員，則可得到唯一確定的

一個變量值。一

(6)多維數(shù)據(jù)立方體.

多維數(shù)據(jù)立方體對應(yīng)的是一個多維數(shù)組，。

e200J東北射終大學(xué)電r向修學(xué)院AUXifhUServed

E-CMOERCEINSTXTUDE［九**

V::喜尸關(guān)奈管理：：

CUSTOMERRELATIONSHIPMANAGEMENT

10.3.1多維數(shù)據(jù)庫的基本概念

圖10-3三維數(shù)據(jù)立方體

O200J東北射終大學(xué)電r向修學(xué)院AllXithuReserved

E-CMOERCEINSTXTUDEdll”九**

::客戶關(guān)票管理：：CUSTOMERRELATIONSHIPMANAGEMENT

1032多維數(shù)據(jù)模型上的OLAP操作

OLAP技術(shù)的核心是多維分析。下面我們具

體介紹OLAP的分析動作。

(1)切片

?對多維數(shù)據(jù)集(維1、維2……維i……維n、

變量)在維度i上選定一個維成員，得到一個n?

1維多維數(shù)據(jù)集，稱得到的這個n?1維多維數(shù)據(jù)

集為原數(shù)據(jù)集在第i維上的數(shù)據(jù)切片。圖10?4表

示了一個數(shù)據(jù)切片動作。

0200J東北射終大學(xué)電r向修學(xué)院AllXifhU但”，冢

E-CMOERCEINSTXTUDEdll”九**

::客戶關(guān)票管理：：CUSTOMERRELATIONSHIPMANAGEMENT

1032多維數(shù)據(jù)模型上的0LAP操作

?時

間

圖10-4數(shù)據(jù)切片

0200J東北射終大學(xué)電r向修學(xué)院AllXifhUServed

E-CMOERCEINSTXTUDEdll”九**FWH9R

V::喜尸關(guān)奈管理：：

CUSTOMERRELATIONSHIPMANAGEMENT

1032多維數(shù)據(jù)模型上的OLAP操作

(2)數(shù)據(jù)切塊

在多維數(shù)據(jù)立方體中，確定某些維度的取值范圍，得到

一個原立方體的子立方體的過程稱為數(shù)據(jù)切塊。

(3)數(shù)據(jù)鉆取

數(shù)據(jù)鉆取也叫數(shù)據(jù)下鉆，是由概括的數(shù)據(jù)到詳細(xì)的數(shù)據(jù)

的過程。數(shù)據(jù)鉆取的具體操作參見圖10?3中的數(shù)據(jù)鉆取

部分。

(4)數(shù)據(jù)聚集

數(shù)據(jù)聚集又叫數(shù)據(jù)上卷，它是數(shù)據(jù)鉆取的逆過程。

圖10-5顯示了一個數(shù)據(jù)立方體的鉆取和聚集的過程。

e200J東北射終大學(xué)電r向修學(xué)院AUXifhUServed

E-CMOERCEINSTXTUDEdll”九**

::客戶關(guān)票管理：：CUSTOMERRELATIONSHIPMANAGEMENT

1032多維數(shù)據(jù)模型上的OLAP操作

L

98,

□匚

99?

□□c

圖10?5數(shù)據(jù)鉆取和聚集

0200J東北射終大學(xué)電r向修學(xué)院AllXifhUServed

E-CMOERCEINSTXTUDE

V::喜尸關(guān)奈管理：：

CUSTOMERRELATIONSHIPMANAGEMENT

1032多維數(shù)據(jù)模型上的OLAP操作

(5)數(shù)據(jù)旋轉(zhuǎn)

數(shù)據(jù)旋轉(zhuǎn)即變換維度的位置，也就是轉(zhuǎn)動數(shù)據(jù)的

視角，給用戶提供一個從不同的角度觀察數(shù)據(jù)的

方法。具體方法如下圖所示。

0200J東北射終大學(xué)電r向修學(xué)院AllXifhUServed

E-CMOERCEINSTXTUDEdll”九**FWH9R

V::喜尸關(guān)奈管理：：

CUSTOMERRELATIONSHIPMANAGEMENT

1032多維數(shù)據(jù)模型上的OLAP操作

*1998*1999

*Al*200*230

*A2*456*478

*A3*100*120

*Al*A2?A3

*1998*200*456*100

*1999*230*478*120

圖10-6數(shù)據(jù)旋轉(zhuǎn)

0200J東北射終大學(xué)電r向修學(xué)院AllXifhUServed

E-CMOERCEINSTXTUDE

V::喜尸關(guān)奈管理：：

CUSTOMERRELATIONSHIPMANAGEMENT

1033多維數(shù)據(jù)庫模式

(1)星型模式

要了解星型模式首先要了解維表和事實表的概

念。將維度抽取出來定義主鍵，由維的主鍵和

維的取值構(gòu)成的表是維表。圖10-7是一個星型

模式的示例。

0200J東北射終大學(xué)電r向修學(xué)院AllXifhU但”，冢

E-CMOERCEINSTXTUDE

V::喜尸關(guān)奈管理：：

CUSTOMERRELATIONSHIPMANAGEMENT

1033多維數(shù)據(jù)庫模式

圖10-7星型模式

0200J東北射終大學(xué)電r向修學(xué)院AllXifhUServed

E-CMOERCEINSTXTUDEdll”九**

::客戶關(guān)票管理：：CUSTOMERRELATIONSHIPMANAGEMENT

1033多維數(shù)據(jù)庫模式

(2)雪花模式

雪花模式是星型模式的一種衍生。

圖10-8雪花模式

0200J東北射終大學(xué)電r向修學(xué)院AllXifhUServed

E-CMOERCEINSTXTUDEdll”九**

V::喜尸關(guān)奈管理：：

CUSTOMERRELATIONSHIPMANAGEMENT

1033多維數(shù)據(jù)庫模式

(3)星座模式

有時，在復(fù)雜的數(shù)據(jù)應(yīng)用時，多個事實表需要共

享維表。這種模式可以看成是星型模式的集合，

因此又叫星系模式。

?三種多維數(shù)據(jù)模式中，星型模式和雪花模式比較

適合對單個主題建模，而其中星型模式又更為流

行。在具體應(yīng)用時，要根據(jù)維表的復(fù)雜程度選擇

合適的模式。

e200J東北射終大學(xué)電r向修學(xué)院AUXifhUServed

E-CMOERCEINSTXTUDEdll”九**FWH9R

V::喜尸關(guān)奈管理：：

CUSTOMERRELATIONSHIPMANAGEMENT

1034多維數(shù)據(jù)的數(shù)據(jù)存儲與可視化

?多維數(shù)據(jù)庫中的變量值的數(shù)量為每個維度維成員

個數(shù)的乘積。多維數(shù)據(jù)庫常采用數(shù)據(jù)壓縮技術(shù)來

解決存儲空間的浪費這個問題。

?對于三維或三維以上的多維數(shù)據(jù)，由于無法在平

面上直接體現(xiàn)，只有將數(shù)據(jù)進(jìn)行切片轉(zhuǎn)化為一維

或二維數(shù)據(jù)，然后用相應(yīng)的平面圖或立體圖來表

示。對于維度很高的多維數(shù)據(jù)庫，要進(jìn)行多次數(shù)

據(jù)切片操作才能將維度降到可視化的程度。

O200J東北射終大學(xué)電r向修學(xué)院AllXifhU但”，冢

E-CMOERCEINSTXTUDEdll”九**FWH9R

V::喜尸關(guān)奈管理：：

CUSTOMERRELATIONSHIPMANAGEMENT

1035多維數(shù)據(jù)庫與數(shù)據(jù)倉庫

?多維數(shù)據(jù)庫與數(shù)據(jù)倉庫是有區(qū)別的。數(shù)據(jù)倉庫中

的細(xì)節(jié)數(shù)據(jù)為多維數(shù)據(jù)庫提供數(shù)據(jù)源。

?多維數(shù)據(jù)庫中的數(shù)據(jù)是從數(shù)據(jù)倉庫中導(dǎo)入的，因

此從存儲數(shù)據(jù)的數(shù)量上看，數(shù)據(jù)倉庫存儲的數(shù)據(jù)

量比多維數(shù)據(jù)庫中的數(shù)據(jù)量要大。多維數(shù)據(jù)庫實

際上是與OLAP的應(yīng)用共存的。由多維數(shù)據(jù)庫和

OLAP共同構(gòu)成了多維聯(lián)機分析處理MOLAPo

e200J東北射終大學(xué)電r向修學(xué)院AllXifhUServed

E-CMOERCEINSTXTUDEdll”九**

::客戶關(guān)票管理：：CUSTOMERRELATIONSHIPMANAGEMENT

10.4數(shù)據(jù)倉庫模型設(shè)計

1041企業(yè)模型設(shè)計

1042概念模型設(shè)計

10.4.3邏輯模型設(shè)計

10.4.4物理模型設(shè)計

0200J東北射終大學(xué)電r向修學(xué)院AllXifhUServed

E-CMOERCEINSTXTUDEdll”九**FWH9R

::客戶關(guān)票管理：：CUSTOMERRELATIONSHIPMANAGEMENT

1041企業(yè)模型設(shè)計

(1)ER模型

-ER圖是由實體和實體間關(guān)系構(gòu)成的。實體間的

關(guān)系分為一對一的關(guān)系、一對多的關(guān)系和多對多

的關(guān)系。圖10?9是一個ER圖示例。

圖10-9ER圖示例

0200J東北射終大學(xué)電r向修學(xué)院AllXifhUServed

E-CMOERCEINSTXTUDE

V::喜尸關(guān)奈管理：：

CUSTOMERRELATIONSHIPMANAGEMENT

1041企業(yè)模型設(shè)計

(2)對象模型

?對象模型采用的是面向?qū)ο蟮姆椒?。面向?qū)ο蟮?/p>

方法首先要確定模型中需要的類。

?企業(yè)模型的設(shè)計是數(shù)據(jù)倉庫模型設(shè)計的第一步。

它為數(shù)據(jù)倉庫的設(shè)計的提供一個全面、整體的認(rèn)

識。數(shù)據(jù)倉庫的設(shè)計是分階段逐步進(jìn)行的。

0200J東北射終大學(xué)電r向修學(xué)院AllXifhU但”，冢

E-CMOERCEINSTXTUDEdll”九**

V::喜尸關(guān)奈管理：：

CUSTOMERRELATIONSHIPMANAGEMENT

1042概念模型設(shè)計

?概念模型設(shè)計包括了兩個方面，一是確定主題及

主題所涉及的對象；二是進(jìn)行技術(shù)準(zhǔn)備工作。

?主題的選擇是由數(shù)據(jù)倉庫開發(fā)人員利企業(yè)用戶共

同完成的。

?技術(shù)準(zhǔn)備工作則是指估計數(shù)據(jù)倉庫中的數(shù)據(jù)量、

根據(jù)結(jié)果選擇適合的軟件和硬件等基礎(chǔ)的準(zhǔn)備工

作。

?在概念模型設(shè)計完成后，還要對模型進(jìn)行評審。

e200J東北射終大學(xué)電r向修學(xué)院AUXifhUServed

E-CMOERCEINSTXTUDEdll”九**

::客戶關(guān)票管理：：CUSTOMERRELATIONSHIPMANAGEMENT

1043邏輯模型設(shè)計

?數(shù)據(jù)倉庫的邏輯模型設(shè)計包括分析主題域、確定

粒度劃分層次、確定數(shù)據(jù)分割策略、定義關(guān)系模

式、定義數(shù)據(jù)抽取模型等過程。

(1)分析主題域

(2)劃分粒度層次

(3)確定數(shù)據(jù)分割策略

(4)定義關(guān)系模式

(5)定義數(shù)據(jù)抽取模型

O200J東北射終大學(xué)電r向修學(xué)院AllXifhU但”，冢

E-CMOERCEINSTXTUDEdll”九**

::客戶關(guān)票管理：：CUSTOMERRELATIONSHIPMANAGEMENT

1044物理模型設(shè)計

(1)確定數(shù)據(jù)結(jié)構(gòu)的類型

(2)確定索引策略

(3)確定數(shù)據(jù)存放位置

(4)優(yōu)化存儲分配

?最后一個過程是數(shù)據(jù)裝載接口設(shè)計。對于一個數(shù)

據(jù)倉庫，企業(yè)模型和概念模型設(shè)計只需要進(jìn)行一

次，而邏輯模型、物理模型和數(shù)據(jù)裝載接口設(shè)計

則是針對每一個主題都要進(jìn)行設(shè)計的重復(fù)循環(huán)過

程。

0200J東北射終大學(xué)電r向修學(xué)院AllXifhU但”，冢

E-CMOERCEINSTXTUDEdll”九**

::客戶關(guān)票管理：：CUSTOMERRELATIONSHIPMANAGEMENT

10.5數(shù)據(jù)倉庫的應(yīng)用

1051數(shù)據(jù)倉庫的分類

1052數(shù)據(jù)倉庫的用戶

1053數(shù)據(jù)倉庫的應(yīng)用

10.5.4客戶關(guān)系管理中的數(shù)據(jù)倉庫

1055數(shù)據(jù)倉庫應(yīng)用的效益分析

0200J東北射終大學(xué)電r向修學(xué)院AllXifhUServed

E-CMOERCEINSTXTUDE

V::喜尸關(guān)奈管理：：

CUSTOMERRELATIONSHIPMANAGEMEN