OLAP在線(xiàn)分析處理技術(shù)技術(shù)白皮書(shū)

1、OLAP （在線(xiàn)分析處理）技術(shù)發(fā)展背景60 年代， 關(guān)系數(shù)據(jù)庫(kù)之父 E.F.Cdd 提出了關(guān)系模型， 促進(jìn)了聯(lián)機(jī)事務(wù)處理 （OLTP）的發(fā)展（數(shù)據(jù)以表格的形式而非文件方式存儲(chǔ)）。1993 年，E.F.Cdd 提出了 OLAP（聯(lián)機(jī)分析處理）概念，認(rèn)為 OLTP 已不能滿(mǎn)足終端用戶(hù)對(duì)數(shù)據(jù)庫(kù)查詢(xún)分 析的需要，SQL對(duì)大型數(shù)據(jù)庫(kù)進(jìn)行的簡(jiǎn)單查詢(xún)也不能滿(mǎn)足終端用戶(hù)分析的要求。 用戶(hù)的決策分析需要對(duì)關(guān)系數(shù)據(jù)庫(kù)進(jìn)行大量計(jì)算才能得到結(jié)果，而查詢(xún)的結(jié)果并不能滿(mǎn)足決策者提出的需求。因此，E.F.Cdd 提出了多維數(shù)據(jù)庫(kù)和多維分析的概 念，即OLAP 技術(shù)概念。OLTP 與 OLAP 的不同點(diǎn)：OLTP 數(shù)據(jù)OLA

2、P 數(shù)據(jù)原始數(shù)據(jù)導(dǎo)出數(shù)據(jù)細(xì)節(jié)性數(shù)據(jù)綜合性和提煉性數(shù)據(jù)當(dāng)前值數(shù)據(jù)歷史數(shù)據(jù)可更新不可更新，但周期性刷新一次處理的數(shù)據(jù)量小一次處理的數(shù)據(jù)量大面向應(yīng)用，事務(wù)驅(qū)動(dòng)面向分析，分析驅(qū)動(dòng)面向操作人員，支持日常操作面向決策人員，支持管理需要關(guān)于OLAP定義OLAP（聯(lián)機(jī)分析處理）：是使分析人員、管理人員或執(zhí)行人員能夠從多種角 度對(duì)從原始數(shù)據(jù)中轉(zhuǎn)化出來(lái)的、能夠真正為用戶(hù)所理解的、并真實(shí)反映企業(yè)維特 性的信息進(jìn)行快速、一致、交互地存取，從而獲得對(duì)數(shù)據(jù)的更深入了解的一類(lèi)軟 件技術(shù)一一OLAP 委員會(huì)的定義（請(qǐng)?zhí)貏e注意，這是一類(lèi)技術(shù)，而非特指某軟件、 或管理方法）。OLAP 的目標(biāo)：是滿(mǎn)足決策支持或多維環(huán)境特定的查詢(xún)和

3、報(bào)表需求，它的技 術(shù)核心是“維”這個(gè)概念，因此 OLAP 也可以說(shuō)是多維數(shù)據(jù)分析工具的集合。OLAP 相關(guān)基本概念：1、維：是人們觀(guān)察數(shù)據(jù)的特定角度，是考慮問(wèn)題時(shí)的一類(lèi)屬性，屬性集合 構(gòu)成一個(gè)維 （時(shí)間維、地理維等 ）。2、維的層次：人們觀(guān)察數(shù)據(jù)的某個(gè)特定角度 （即某個(gè)維 ）還可以存在細(xì)節(jié)程 度不同的各個(gè)描述方面 （時(shí)間維：日期、月份、季度、年 ）。3、維的成員：維的一個(gè)取值。是數(shù)據(jù)項(xiàng)在某維中位置的描述。（ “某年某月某日”是在時(shí)間維上位置的描述 ）4、多維數(shù)組：維和變量的組合表示。一個(gè)多維數(shù)組可以表示為：（維 1，維2,，維 n,變量）。（時(shí)間，地區(qū)，產(chǎn)品，銷(xiāo)售額）5、數(shù)據(jù)單元（單元格） ：

4、多維數(shù)組的取值。 （2000 年 1 月，上海， 筆記本電腦， $100000）OLAP 的特性1、 快速性：用戶(hù)對(duì) OLAP 的快速反應(yīng)能力有很高的要求，主要是指計(jì)算機(jī) 的計(jì)算的反應(yīng)速度， 系統(tǒng)應(yīng)能在 5 秒內(nèi)對(duì)用戶(hù)的大部分分析要求做出反應(yīng)， 但對(duì) 業(yè)務(wù)數(shù)據(jù)的實(shí)時(shí)信息卻很難反應(yīng)。2、 可分析性： OLAP 系統(tǒng)應(yīng)能處理與應(yīng)用有關(guān)的任何邏輯分析和統(tǒng)計(jì)分析。3、 多維性：多維性是 OLAP 的關(guān)鍵屬性。系統(tǒng)必須提供對(duì)數(shù)據(jù)的多維視圖 和分析 ,包括對(duì)層次維和多重層次維的完全支持。 。4、 信息性：不論數(shù)據(jù)量有多大，也不管數(shù)據(jù)存儲(chǔ)在何處，OLAP 系統(tǒng)應(yīng)能 及時(shí)獲得信息，并且管理大容量信息。OLAP

5、 多維數(shù)據(jù)結(jié)構(gòu)1、 超立方結(jié)構(gòu)（Hypercube）： 超立方結(jié)構(gòu)指用三維或更多的維數(shù)來(lái)描述一個(gè) 對(duì)象,每個(gè)維彼此垂直。數(shù)據(jù)的測(cè)量值發(fā)生在維的交叉點(diǎn)上 ,數(shù)據(jù)空間的各個(gè)部分 都有相同的維屬性。 （收縮超立方結(jié)構(gòu)。這種結(jié)構(gòu)的數(shù)據(jù)密度更大 ,數(shù)據(jù)的維數(shù)更 少 ,并可加入額外的分析維 ）。2、 多立方結(jié)構(gòu)（Multicube）：即將超立方結(jié)構(gòu)變?yōu)樽恿⒎浇Y(jié)構(gòu)。面向某一特 定應(yīng)用對(duì)維進(jìn)行分割 , 它具有很強(qiáng)的靈活性 ,提高了數(shù)據(jù) （特別是稀疏數(shù)據(jù) ）的分 析效率。三、OLAP多維數(shù)據(jù)分析1、切片和切塊(Slice and Dice):在多維數(shù)據(jù)結(jié)構(gòu)中，按二維進(jìn)行切片，按三維進(jìn)行 切塊,可得到所需要的數(shù)據(jù)

6、。如在“城市、產(chǎn)品、時(shí)間”三維立方體中進(jìn)行切塊 和切片，可得到各城市、各產(chǎn)品的銷(xiāo)售情況。OLAP 分析示意圖：2、 鉆取(Drill):鉆取包含向下鉆取(Drill-down)和向上鉆取(Drill-up)/上卷(Roll-up) 操作，鉆取的深度與維所劃分的層次相對(duì)應(yīng)。3、旋轉(zhuǎn)(Rotate)/轉(zhuǎn)軸(Pivot):通過(guò)旋轉(zhuǎn)可以得到不同視角的數(shù)據(jù)。按時(shí)間維向T鉆MCJ2部門(mén) 3SD13M20203515部門(mén)2253151513XL51827時(shí)間錐1=1上鉆三維立方體切片、切疑示總朋*2(早任： 護(hù)晏丸1ft 3（單性：萬(wàn)昊元）i 快年ffIM3+ftiMl2M 1,ffirn20203515)

7、22025Hffifu255 1洛li121122015ItnIB20n25表4（單俚；萬(wàn)矣無(wú)）IM1M1995年996年1995年1996年15年1996年3995年1996年wm20122035251514H2葫2051S15231512部幣2018B201*172725四、OLAP分類(lèi)1、OLAP 分類(lèi)2、OLTP、ROLAP 與 MOLAP 模式3、ROLAP 的星型模式(Star Schema)Market Table事實(shí)表：用來(lái)存儲(chǔ)事實(shí)的度量值和各個(gè)維的碼值。維 表：用來(lái)存放維的元數(shù)據(jù)(維的層次、成員類(lèi)別等描述信息)4、MOLAP 的多維立方體(Multicube)5、數(shù)據(jù)組織形式

8、-RD 且數(shù)崔組駅-MDD 蟲(chóng)數(shù)據(jù)組織”黃希表中掠合敷垂的存敝6、ROLAP 與 MOLAP 的性能對(duì)比ROLAPMOLAP優(yōu)勢(shì)沒(méi)有大小限制現(xiàn)有的關(guān)系數(shù)據(jù)庫(kù)的技 術(shù)可以沿用可以通過(guò) SQL 實(shí)現(xiàn)詳細(xì) 數(shù)據(jù)與概要數(shù)據(jù)的存儲(chǔ) 現(xiàn)有關(guān)系型數(shù)據(jù)庫(kù)已經(jīng) 對(duì)OLAP做了很多優(yōu)化， 包括并行存儲(chǔ)、并行查 詢(xún)、并行數(shù)據(jù)管理、基于 成本的查詢(xún)優(yōu)化、位圖索 弓 1、SQL 的 OLAP 擴(kuò)展(cube,rollup)等大大提咼ROALP 的速度性能好、響應(yīng)速度快 專(zhuān)為OLAP 所設(shè)計(jì) 支持高性能的決策支持 計(jì)算復(fù)雜的跨維計(jì)算多用戶(hù)的讀寫(xiě)操作 n 行級(jí)的計(jì)算嚴(yán)品若拆地園東北50西北co畢北IQQ曙電茱北40黑電西北

9、70無(wú)電華北GO*贏(yíng)北90空調(diào)西北120華北140北西 北華殊500100彩 電 加70闕調(diào)9D14D東北西北Jfcfc總和冰箱5060100210彩_407080_ 190空調(diào)9012014035013Q250320750嚴(yán)呂若怖地産東北西北華北inn息和210Ktt40西北70華北鈾勞電恩和空囲東北如空卿西北120竿北M0皂和珈息和5dtISO西北25Q息和32Q愿和總和753-多絡(luò)數(shù)據(jù)薛中綠臺(tái)數(shù)據(jù)囪存較缺點(diǎn)一般比 MDD 響應(yīng)速度 慢不支持有關(guān)預(yù)計(jì)算的讀 寫(xiě)操作SQL 無(wú)法完成部分計(jì)算無(wú)法完成多行的計(jì)算 無(wú)法完成維之間的計(jì) 算增加系統(tǒng)復(fù)雜度，增加系 統(tǒng)培訓(xùn)與維護(hù)費(fèi)用 受操作系統(tǒng)平臺(tái)中文件

10、 大小的限制，難以達(dá)到 TB級(jí)(只能 1020G)需要進(jìn)行預(yù)計(jì)算，可能導(dǎo) 致數(shù)據(jù)爆炸無(wú)法支持維的動(dòng)態(tài)變化 缺乏數(shù)據(jù)模型和數(shù)據(jù)訪(fǎng) 問(wèn)的標(biāo)準(zhǔn)五、OLAP 體系結(jié)構(gòu)ROLAP ArchitectureROALP AntdectHFrMOLAP ArchitectureMQALP /nikiictunHOLAP ArchitectureDatabaree ServeSQL Query- - -Front vidVResult iet-Tool| |QLoadInfoB| | |MOLAPRfiquestiSQLServei口*il/11Kfsult*RDBMSRfisult SetSetHybrid

11、Architecture六、OLAP評(píng)價(jià)準(zhǔn)則OLAP 模型必須提供多維概念模型 透明性準(zhǔn)則 存取能力準(zhǔn)則 穩(wěn)定的報(bào)表性能 客戶(hù)/服務(wù)器體系結(jié)構(gòu) 維的等同性準(zhǔn)則 動(dòng)態(tài)稀疏矩陣處理準(zhǔn)則 多用戶(hù)支持能力準(zhǔn)則非受限的跨維操作 直觀(guān)的數(shù)據(jù)處理 靈活的報(bào)表生成 非受限的維與維的層次七、流行的OLAP工具介紹1、OLAP 產(chǎn)品Hyperion EssbaseOracle ExpressIBM DB2 OLAP ServerSybase Power dimensionInformix MetacubeCA OLAP SERVERMicrosoft analysis servicesCognosMicroStr

12、ategyBrioBusiness Object2、OLAP 工具性能對(duì)比Hyperion Essbase-以服務(wù)器為中心的分布式體系結(jié)構(gòu)-有超過(guò)100 個(gè)的應(yīng)用程序-有 300 多個(gè)用 Essbasd 乍為平臺(tái)的開(kāi)發(fā)商-具有幾百個(gè)計(jì)算公式，支持多種計(jì)算-用戶(hù)可以自己構(gòu)件復(fù)雜的查詢(xún)-快速的響應(yīng)時(shí)間，支持多用戶(hù)同時(shí)讀寫(xiě)-有 30 多個(gè)前端工具可供選擇-支持多種財(cái)務(wù)標(biāo)準(zhǔn)-能與 ERP 或其他數(shù)據(jù)源集成-全球用戶(hù)超過(guò) 1500 家Oracle 9i-Oracle DW 支持 GBTB 數(shù)量級(jí)-采用類(lèi)似數(shù)組的結(jié)構(gòu)，避免了連接操作，提高分析性能-提供一組存儲(chǔ)過(guò)程語(yǔ)言來(lái)支持對(duì)數(shù)據(jù)的抽取-用戶(hù)可通過(guò) Web

13、 和電子表格使用-靈活的數(shù)據(jù)組織方式，數(shù)據(jù)可以存放在-Express Server 內(nèi)，也可直接在 RDB 上使用-有內(nèi)建的分析函數(shù)和 4GL 用戶(hù)自己定制查詢(xún)IBM DB2 OLAP Server-把 Hyperion Essbase 的 OLAP 引擎和 DB2 的關(guān)系數(shù)據(jù)庫(kù)集成在一起。-與 Essbase API 完全兼容-數(shù)據(jù)用星型模型存放在關(guān)系數(shù)據(jù)庫(kù) DB2 中Informix Metacube-采用 metacube 技術(shù)，通過(guò) OLE 和 ODBC 對(duì)外開(kāi)放-采用中間表技術(shù)實(shí)現(xiàn)多維分析引擎，提高響應(yīng)時(shí)間和分析能力-開(kāi)放的體系結(jié)構(gòu)可以方便地與其他數(shù)據(jù)庫(kù)及前臺(tái)工具進(jìn)行集成Cognos

14、-提供整套的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用產(chǎn)品，包括ETL、多維立方存儲(chǔ)、前端展示工具。-強(qiáng)大的專(zhuān)業(yè)化的 OLAP 數(shù)據(jù)引擎（ OLAP 服務(wù)器），它能產(chǎn)生多維數(shù)據(jù)分析 的立方體（ Cubes）-采用集中方式、基于 LDAP 的安全管理機(jī)制-企業(yè)級(jí) OLAP 服務(wù)器，具有負(fù)載均衡、服務(wù)器容錯(cuò)，能支持大用戶(hù)數(shù)和大數(shù) 據(jù)量的訪(fǎng)問(wèn)MicroStrategy- 開(kāi)發(fā)的 API (包括 COM、XML 、Java)- 智能立方體( Intelligent CubesTM)- 支持大量用戶(hù)及大數(shù)據(jù)量訪(fǎng)問(wèn)，支持 TB 級(jí)數(shù)據(jù)-ROLAP，提供 OLAP Server,以及零客戶(hù)端的 web 前端展現(xiàn)工具- 適合二次開(kāi)發(fā)以及大

15、量復(fù)雜二次運(yùn)算Brio-優(yōu)秀的 OLAP 前端工具-ROLAP ，可以接駁主流 OLAP Server-支持負(fù)載平衡八、OLAP發(fā)展應(yīng)用領(lǐng)域-市場(chǎng)和銷(xiāo)售分析(Marketing and Sales analysis)-電子商務(wù)分析(Clickstream analysis)-基于歷史數(shù)據(jù)的營(yíng)銷(xiāo)(Database marketing)-預(yù)算(Budgeti ng)-財(cái)務(wù)報(bào)告與整合(Financial reporting and consolidation)-管理報(bào)告(Management reporting)-利益率分析(Profitability analysis)-質(zhì)量分析(Quality analysis)OLAP 標(biāo)準(zhǔn) APB-1(AQT-Analytical Query Time 作為統(tǒng)計(jì)指標(biāo) )-從聯(lián)機(jī)分析處理到聯(lián)機(jī)分析挖掘(OLAM/OLAP 挖掘)-將聯(lián)機(jī)分析處理與數(shù)據(jù)挖掘以及在多維數(shù)據(jù)庫(kù)中發(fā)現(xiàn)知識(shí)集成在一起。-聯(lián)機(jī)分析挖掘提供在不同的數(shù)據(jù)子集和不同的抽象層上進(jìn)行數(shù)據(jù)挖掘的工具 -聯(lián)機(jī)分析挖掘?yàn)橛脩?hù)選擇所期望的數(shù)據(jù)挖掘功能動(dòng)態(tài)修改挖掘任務(wù)提供了靈 活性 。-超立方體計(jì)算與傳統(tǒng)挖掘算法的結(jié)合 先進(jìn)行立方體計(jì)算，后進(jìn)行數(shù)據(jù)挖掘 先對(duì)多維數(shù)據(jù)作數(shù)據(jù)挖掘，然后再利用立方體計(jì)算算法對(duì)挖掘結(jié)果分