olap(在線分析處理)

1、1 在線分析處理 Online Analytical Processing 2 OLAP發(fā)展背景發(fā)展背景 60年代，關(guān)系數(shù)據(jù)庫(kù)之父年代，關(guān)系數(shù)據(jù)庫(kù)之父E.F.Codd提出了關(guān)系模型，促進(jìn)了提出了關(guān)系模型，促進(jìn)了 聯(lián)機(jī)事務(wù)處理(OLTP)的發(fā)展(數(shù)據(jù)以表格的形式而非文件方 式存儲(chǔ))。1993年，E.F.Codd提出了OLAP概念，認(rèn)為OLTP 已不能滿(mǎn)足終端用戶(hù)對(duì)數(shù)據(jù)庫(kù)查詢(xún)分析的需要，SQL對(duì)大型 數(shù)據(jù)庫(kù)進(jìn)行的簡(jiǎn)單查詢(xún)也不能滿(mǎn)足終端用戶(hù)分析的要求。用 戶(hù)的決策分析需要對(duì)關(guān)系數(shù)據(jù)庫(kù)進(jìn)行大量計(jì)算才能得到結(jié) 果，而查詢(xún)的結(jié)果并不能滿(mǎn)足決策者提出的需求。因此， E.F.Codd提出了多維數(shù)據(jù)庫(kù)和多維分析

2、的概念，即提出了多維數(shù)據(jù)庫(kù)和多維分析的概念，即OLAP。 OLAP是目前是目前RDBMS不可缺少的功能，可以作為一個(gè)獨(dú)立的不可缺少的功能，可以作為一個(gè)獨(dú)立的 OLAP服務(wù)器實(shí)現(xiàn)，也可以集成在服務(wù)器實(shí)現(xiàn)，也可以集成在RDBMS中。中。 3 什么是OLAP？ 定義1 ：OLAP(聯(lián)機(jī)分析處理)是針對(duì)特定問(wèn)題的聯(lián)機(jī)數(shù)據(jù)訪 問(wèn)和分析。通過(guò)對(duì)信息(維數(shù)據(jù))的多種可能的觀察形式進(jìn)行快 速、穩(wěn)定一致和交互性的存取，允許管理決策人員對(duì)數(shù)據(jù)進(jìn)行 深入觀察。 定義2 ：OLAP(聯(lián)機(jī)分析處理) 是使分析人員、管理人員或執(zhí) 行人員能夠從多種角度對(duì)從原始數(shù)據(jù)中轉(zhuǎn)化出來(lái)的、能夠真正 為用戶(hù)所理解的、并真實(shí)反映企業(yè)維特性

3、的信息進(jìn)行快速、一 致、交互地存取，從而獲得對(duì)數(shù)據(jù)的更深入了解的一類(lèi)軟件技 術(shù)。(OLAP委員會(huì)的定義) OLAP的目標(biāo)是滿(mǎn)足決策支持或多維環(huán)境特定的查詢(xún)和報(bào)表需的目標(biāo)是滿(mǎn)足決策支持或多維環(huán)境特定的查詢(xún)和報(bào)表需 求，它的技術(shù)核心是“維”這個(gè)概念，因此OLAP也可以說(shuō)是多 維數(shù)據(jù)分析工具的集合。 4 OLAP決策分析 OLAP分析屬于驗(yàn)證驅(qū)動(dòng)型發(fā)現(xiàn)：用戶(hù)首先提出 自己的假設(shè)，然后利用OLAP工具檢索查詢(xún)以驗(yàn) 證或否定假設(shè)。 5 口 OLAP基本概念 維：是人們觀察數(shù)據(jù)的特定角度，是 考慮問(wèn)題時(shí)的一類(lèi)屬性 (時(shí)間維、地 理維等)。 維的層次：人們觀察數(shù)據(jù)的某個(gè)特定 角度(即某個(gè)維)還可以存在細(xì)節(jié)程

4、度 不同的各個(gè)描述方面(時(shí)間維：日期、 月份、季度、年)。 卷煙銷(xiāo)售分析 維的成員：維的一個(gè)取值。是數(shù)據(jù)項(xiàng) 在某維中位置的描述。(“某年某月某 日”是在時(shí)間維上位置的描述) 產(chǎn)品時(shí)間財(cái)務(wù)指標(biāo) 多維數(shù)組：維和變量的組合表示。一 個(gè)多維數(shù)組可以表示為：(維1，維 2，維n，變量)。(時(shí)間，地區(qū)， 產(chǎn)品，銷(xiāo)售額) 數(shù)據(jù)單元(單元格)：多維數(shù)組的取 值 。 (2000 年 1 月 ， 上 海 ， 筆 記 本 電 腦，$100000) 國(guó)產(chǎn)煙進(jìn) 煙 Q1 Q2 Q3 Q4 收入開(kāi)銷(xiāo) 6 OLAP特性 快速性:用戶(hù)對(duì)OLAP的快速反應(yīng)能力有很高的要求。系統(tǒng)應(yīng)能在5 秒內(nèi)對(duì)用戶(hù)的大部分分析要求做出反應(yīng)?？蛻?hù)

5、/服務(wù)器體系結(jié)構(gòu) 兩層或三層C/S結(jié)構(gòu)。 可分析性:OLAP系統(tǒng)應(yīng)能處理與應(yīng)用有關(guān)的任何邏輯分析和統(tǒng)計(jì) 分析。 多維性:多維性是OLAP的關(guān)鍵屬性。系統(tǒng)必須提供對(duì)數(shù)據(jù)的多維 視圖和分析,包括對(duì)層次維和多重層次維的完全支持。 信息性:不論數(shù)據(jù)量有多大，也不管數(shù)據(jù)存儲(chǔ)在何處，OLAP系統(tǒng) 應(yīng)能及時(shí)獲得信息，并且管理大容量信息。 7 OLAP工具的分類(lèi)標(biāo)準(zhǔn) 多維數(shù)據(jù)庫(kù)工具（MOLAP）、關(guān)系型數(shù)據(jù)庫(kù)工具（ROLAP）和 桌面型數(shù)據(jù)庫(kù)工具。 支持多維數(shù)據(jù)庫(kù)工具的是多維數(shù)據(jù)庫(kù)，而不是傳統(tǒng)上的關(guān)系型數(shù) 據(jù)庫(kù)，數(shù)據(jù)存儲(chǔ)不采用傳統(tǒng)關(guān)系模型所使用的記錄及表等方式， 而采用矩陣（多維矩陣）方式來(lái)存儲(chǔ)數(shù)據(jù)。 與多維

6、數(shù)據(jù)庫(kù)工具相比，關(guān)系型OLAP工具在數(shù)據(jù)庫(kù)層次上有標(biāo)準(zhǔn) 的關(guān)系模型和標(biāo)準(zhǔn)的數(shù)據(jù)訪問(wèn)方式及其編程接口，工具與數(shù)據(jù)庫(kù) 的互聯(lián)性較好。 桌面型OLAP工具是指在微機(jī)環(huán)境下開(kāi)發(fā)的支持簡(jiǎn)單多維分 析的用戶(hù)工具，這些工具沒(méi)有自己的數(shù)據(jù)存儲(chǔ)，而把用戶(hù) 提交的查詢(xún)翻譯成對(duì)數(shù)據(jù)源的查詢(xún)，然后從數(shù)據(jù)源中提取 結(jié)果數(shù)據(jù)，并將這些結(jié)果數(shù)據(jù)合成最終的結(jié)果返回給客 戶(hù)。 8 OLAP操作操作 切片和切塊(Slice and Dice) 鉆取(Drill) 旋轉(zhuǎn)(Rotate)/旋轉(zhuǎn)(Pivot) 通過(guò)旋轉(zhuǎn)可以得到不同視角的數(shù)據(jù)。 輔之于各種圖形展示分析結(jié)果 9 OLAP操作操作 切片和切塊(Slice and Dice)

7、 鉆取(Drill) 旋轉(zhuǎn)(Rotate)/旋轉(zhuǎn)(Pivot) 通過(guò)旋轉(zhuǎn)可以得到不同視角的數(shù)據(jù)。 輔之于各種圖形展示分析結(jié)果 10 OLAP操作操作 切片和切塊(Slice and Dice) 鉆取(Drill) 旋轉(zhuǎn)(Rotate)/旋轉(zhuǎn)(Pivot) 通過(guò)旋轉(zhuǎn)可以得到不同視角的數(shù)據(jù)。 輔之于各種圖形展示分析結(jié)果 11 切片、切塊 12 Dicing Example Dicing: Filtering by AUS1+AUS2 and Wholesale 13 Slicing Example Slicing: Filtering by AUS2 14 Web數(shù)據(jù)的多維分析數(shù)據(jù)的多維分析 15

8、 OLAP操作操作 切片和切塊(Slice and Dice) 鉆取(Drill) 旋轉(zhuǎn)(Rotate)/旋轉(zhuǎn)(Pivot) 通過(guò)旋轉(zhuǎn)可以得到不同視角的數(shù)據(jù)。 輔之于各種圖形展示分析結(jié)果 16 OLAP操作操作 切片和切塊(Slice and Dice) 鉆取(Drill) 旋轉(zhuǎn)(Rotate)/旋轉(zhuǎn)(Pivot) 通過(guò)旋轉(zhuǎn)可以得到不同視角的數(shù)據(jù)。 輔之于各種圖形展示分析結(jié)果 17 鉆取 按 時(shí) 間 維 向 60上 鉆 取 按 時(shí) 間 維 向 下 鉆 取 數(shù)據(jù)聚集 18 財(cái) 務(wù) 指 標(biāo) 時(shí) 間 旋轉(zhuǎn) 產(chǎn) 品 時(shí) 間 產(chǎn) 品 財(cái)務(wù)指標(biāo) 19 pivot Drill-across: Distrib

9、ution first, Sales Org. second 20 國(guó)際體育用品公司的數(shù)據(jù)分析（1） 按城市的銷(xiāo)售數(shù)據(jù) IBM Visual Warehouse V3.1 Lotus Approach或或Microsoft Access Intelligent Miner for data/text 按產(chǎn)品的銷(xiāo)售數(shù)據(jù) 21 國(guó)際體育用品公司的數(shù)據(jù)分析（2） 按地區(qū)和國(guó)家劃分的頭盔銷(xiāo)售數(shù)據(jù) 按地區(qū)劃分的頭盔銷(xiāo)售數(shù)據(jù) 22 OLAP操作操作 切片和切塊(Slice and Dice) 鉆取(Drill) 旋轉(zhuǎn)(Rotate)/旋轉(zhuǎn)(Pivot) 通過(guò)旋轉(zhuǎn)可以得到不同視角的數(shù)據(jù)。 輔之于各種圖形展示

10、分析結(jié)果 23 OLAP操作操作 切片和切塊(Slice and Dice) 鉆取(Drill) 旋轉(zhuǎn)(Rotate)/旋轉(zhuǎn)(Pivot) 通過(guò)旋轉(zhuǎn)可以得到不同視角的數(shù)據(jù)。 輔之于各種圖形展示分析結(jié)果 24 OLAP分類(lèi) OLAP 按照存儲(chǔ)方式 ROLAP MOLAP HOLAP 按照處理地點(diǎn) Server OLAP Client OLAP Relational database Cube ROLAP Microsoft SQL Server HOLAP OLAP Service MOLAP 25 擎 基于關(guān)系數(shù)據(jù)庫(kù)的OLAPROLAP 用關(guān)系表達(dá)式描述多維概念大量的關(guān)系表。 用星型模型、雪花

11、模型構(gòu)造維模型。 DB DW 基礎(chǔ)數(shù)據(jù) 元數(shù)據(jù) 計(jì)算結(jié)果 RDBMS服務(wù)器服務(wù)器 SQL 多維綜合引 存取 關(guān)系型OLAP 服務(wù)器 多維 存取 客戶(hù) 多維 視圖 26 ROLAP的星型模式(Star Schema) Period Table Market Table Time_id Period_Desc Quarter Year Dimension Table Product Table Product_id Product_Desc Brand Size Dimension Table Sales Table Time_id Product_id Market_id Scenario Dollars Units Discount% Fact Table Market_id Market_Desc District Region Dimension Table Scenario Table Scenario Actual Profit Budget Dimension Table 27 MOLAP的多維立方體(Multicube) 基于多維數(shù)據(jù)庫(kù)(MDDB)的OLAPMOLAP OLAP服務(wù)器：存儲(chǔ)OLAP服務(wù)軟件和多維數(shù)據(jù)庫(kù) M