chp17數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理技術(shù)

1、An Introduction to Database System 中國(guó)人民大學(xué)信息學(xué)院中國(guó)人民大學(xué)信息學(xué)院 數(shù)據(jù)庫系統(tǒng)概論數(shù)據(jù)庫系統(tǒng)概論An Introduction to Database System第十七章第十七章 數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理技術(shù)數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理技術(shù)An Introduction to Database System數(shù)據(jù)倉庫的產(chǎn)生數(shù)據(jù)倉庫的產(chǎn)生v 操作型處理（也叫事務(wù)處理）：對(duì)數(shù)據(jù)庫聯(lián)機(jī)的日常操作，通常是對(duì)一個(gè)或一組記錄的查詢和修改n特點(diǎn)：快速響應(yīng)用戶請(qǐng)求，對(duì)數(shù)據(jù)的安全性、完整性以及事務(wù)吞吐量要求很高。v 分析型處理：對(duì)數(shù)據(jù)的查詢和分析操作，通常是對(duì)海量的歷史數(shù)據(jù)查

2、詢和分析n特點(diǎn)：要訪問的數(shù)據(jù)量非常大，查詢和分析的操作十分復(fù)雜。v 數(shù)據(jù)倉庫技術(shù)n為了構(gòu)建新的分析處理環(huán)境而出現(xiàn)的一種數(shù)據(jù)存儲(chǔ)和組織技術(shù)An Introduction to Database System第十七章第十七章 數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理技術(shù)數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理技術(shù)17.1 數(shù)據(jù)倉庫技術(shù)數(shù)據(jù)倉庫技術(shù)17.2 聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)17.3 數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)17.4 小結(jié)小結(jié)An Introduction to Database System17.1 數(shù)據(jù)倉庫技術(shù)數(shù)據(jù)倉庫技術(shù)表17.1 操作型數(shù)據(jù)和分析型數(shù)據(jù)的區(qū)別操作型數(shù)據(jù)分析型數(shù)據(jù)細(xì)節(jié)的綜合的，或提煉的在存取瞬間是準(zhǔn)

3、確的代表過去的數(shù)據(jù)可更新不更新操作需求事先可知道操作需求事先不知道生命周期符合SDLC完全不同的生命周期對(duì)性能要求高對(duì)性能要求寬松一個(gè)時(shí)刻操作一元組一個(gè)時(shí)刻操作一集合事務(wù)驅(qū)動(dòng)分析驅(qū)動(dòng)面向應(yīng)用面向分析一次操作數(shù)據(jù)量小一次操作數(shù)據(jù)量大支持日常操作支持管理決策需求An Introduction to Database System數(shù)據(jù)倉庫技術(shù)數(shù)據(jù)倉庫技術(shù)(續(xù)續(xù))v數(shù)據(jù)倉庫定義：n是一個(gè)用以更好地支持企業(yè)（或組織）決策分析處理的、面向主題的、集成的、不可更新的、隨時(shí)間不斷變化的數(shù)據(jù)集合。n本質(zhì)上和數(shù)據(jù)庫一樣，是長(zhǎng)期儲(chǔ)存在計(jì)算機(jī)內(nèi)的、有組織、可共享的數(shù)據(jù)集合。An Introduction to Dat

4、abase System數(shù)據(jù)倉庫技術(shù)數(shù)據(jù)倉庫技術(shù)(續(xù)續(xù))v一、 數(shù)據(jù)倉庫的基本特征n數(shù)據(jù)倉庫的數(shù)據(jù)是面向主題的；n數(shù)據(jù)倉庫的數(shù)據(jù)是集成的；n數(shù)據(jù)倉庫的數(shù)據(jù)是不可更新的；n數(shù)據(jù)倉庫的數(shù)據(jù)是隨時(shí)間不斷變化的 An Introduction to Database System數(shù)據(jù)倉庫技術(shù)數(shù)據(jù)倉庫技術(shù)(續(xù)續(xù))v二、 數(shù)據(jù)倉庫中的數(shù)據(jù)組織數(shù)據(jù)倉庫的數(shù)據(jù)組織結(jié)構(gòu) An Introduction to Database System數(shù)據(jù)倉庫技術(shù)數(shù)據(jù)倉庫技術(shù)(續(xù)續(xù))v三、 數(shù)據(jù)倉庫系統(tǒng)的體系結(jié)構(gòu)數(shù)據(jù)倉庫體系結(jié)構(gòu) An Introduction to Database System數(shù)據(jù)倉庫技術(shù)數(shù)據(jù)倉庫技術(shù)(續(xù)

5、續(xù))v 數(shù)據(jù)倉庫的后臺(tái)工具 包括數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、裝載和維護(hù)(Maintain)工具。v 數(shù)據(jù)倉庫服務(wù)器 相當(dāng)于數(shù)據(jù)庫系統(tǒng)中的DBMS，負(fù)責(zé)管理數(shù)據(jù)倉庫中數(shù)據(jù)的存儲(chǔ)管理和數(shù)據(jù)存取，并給OLAP服務(wù)器和前臺(tái)工具提供存取接口(如SQL查詢接口)v OLAP服務(wù)器 透明地為前臺(tái)工具和用戶提供多維數(shù)據(jù)視圖 OLAP服務(wù)器則必須考慮物理上這些分析數(shù)據(jù)的存儲(chǔ)問題v 前臺(tái)工具 包括查詢報(bào)表工具、多維分析工具、數(shù)據(jù)挖掘工具和分析結(jié)果可視化工具等 An Introduction to Database System第十七章第十七章 數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理技術(shù)數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理技術(shù)17.1 數(shù)據(jù)倉庫技術(shù)數(shù)

6、據(jù)倉庫技術(shù)17.2 聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)17.3 數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)17.4 小結(jié)小結(jié)An Introduction to Database System17.2 聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)v OLAP(On-Line Analytical Processing)即聯(lián)機(jī)分析處理，是以海量數(shù)據(jù)為基礎(chǔ)的復(fù)雜分析技術(shù) v 一、多維數(shù)據(jù)模型n數(shù)據(jù)分析時(shí)用戶的數(shù)據(jù)視圖，是面向分析的數(shù)據(jù)模型，用于給分析人員提供多種觀察的視角和面向分析的操作 n可用這樣來一個(gè)多維數(shù)組來表示：(維1，維2，維n，度量值) An Introduction to Database System聯(lián)機(jī)分析處理

7、技術(shù)聯(lián)機(jī)分析處理技術(shù)(續(xù)續(xù))v 一、多維數(shù)據(jù)模型(續(xù)) 例如： (地區(qū)，時(shí)間，電器商品種類，銷售額) n三維數(shù)組可以用一個(gè)立方體來直觀地表示n一般地多維數(shù)組用多維立方體CUBE（超立方體）來表示An Introduction to Database System聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)(續(xù)續(xù))v二、多維分析操作 常用的OLAP多維分析操作n切片(slice)n切塊(dice)n旋轉(zhuǎn)(pivot)n向上綜合(roll-up)n向下鉆取(drill-down)等 An Introduction to Database System聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)(續(xù)續(xù))v三、OLAP的實(shí)現(xiàn)

8、方式n按照多維數(shù)據(jù)模型的不同實(shí)現(xiàn)方式MOLAP結(jié)構(gòu)ROLAP結(jié)構(gòu)HOLAP結(jié)構(gòu)An Introduction to Database SystemOLAP的實(shí)現(xiàn)方式的實(shí)現(xiàn)方式(續(xù)續(xù))vMOLAP結(jié)構(gòu)n以多維立方體CUBE來組織數(shù)據(jù)，以多維數(shù)組來存儲(chǔ)數(shù)據(jù)，支持直接對(duì)多維數(shù)據(jù)的各種操作。n多維數(shù)據(jù)庫( Multi-Dimension DataBase，簡(jiǎn)記為MDDB)。n例如：Arbor公司的EssbaseAn Introduction to Database System聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)(續(xù)續(xù))vROLAP結(jié)構(gòu)n用RDBMS或擴(kuò)展的RDBMS來管理多維數(shù)據(jù)，用關(guān)系的表來組織和存儲(chǔ)

9、多維數(shù)據(jù)n兩類表：一類是事實(shí)(fact)表，另一類是維表事實(shí)表用來描述和存儲(chǔ)多維立方體的度量值及各個(gè)維的碼值；維表用來描述維信息。nROLAP用“星形模式”和“雪片模式”來表示多維數(shù)據(jù)模型An Introduction to Database System聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)(續(xù)續(xù))n星形模式（Star Schema）通常由一個(gè)中心表(事實(shí)表)和一組維表組成 如下圖所示的星形模式 星形模式的中心是銷售事實(shí)表維表有時(shí)間維表、顧客維表、銷售員維表、制造商維表和產(chǎn)品維表 圖17.4 星形模式An Introduction to Database System聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技

10、術(shù)(續(xù)續(xù))n雪片模式就是對(duì)維表按層次進(jìn)一步細(xì)化后形成的圖17.5 雪片模式An Introduction to Database System第十七章第十七章 數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理技術(shù)數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理技術(shù)17.1 數(shù)據(jù)倉庫技術(shù)數(shù)據(jù)倉庫技術(shù)17.2 聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)17.3 數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)17.4 小結(jié)小結(jié)An Introduction to Database System17.3 數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)v一、數(shù)據(jù)挖掘的概念n概念：數(shù)據(jù)挖掘是從大量數(shù)據(jù)中發(fā)現(xiàn)并提取隱藏在內(nèi)的、人們事先不知道的但又可能有用的信息和知識(shí)的一種新技術(shù)n目的：幫助決策者尋找數(shù)據(jù)間潛在的

11、關(guān)聯(lián)，發(fā)現(xiàn)經(jīng)營(yíng)者被忽略的要素n數(shù)據(jù)挖掘技術(shù)涉及數(shù)據(jù)庫技術(shù)、人工智能技術(shù)、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)分析等多種技術(shù)決策支持系統(tǒng)(DSS)跨入了一個(gè)新階段 An Introduction to Database System數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)(續(xù)續(xù))v二、數(shù)據(jù)挖掘和傳統(tǒng)分析方法的區(qū)別 n本質(zhì)區(qū)別：數(shù)據(jù)挖掘是在沒有明確假設(shè)的前提下去挖掘信息，發(fā)現(xiàn)知識(shí) n數(shù)據(jù)挖掘所得到的信息應(yīng)具有事先未知、有效和可實(shí)用3個(gè)特征 An Introduction to Database System數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)(續(xù)續(xù))v三、數(shù)據(jù)挖掘的數(shù)據(jù)源 n從數(shù)據(jù)倉庫中來優(yōu)點(diǎn)：許多數(shù)據(jù)不一致的問題都較好地解決了，在數(shù)據(jù)挖掘時(shí)大大

12、減少了清理數(shù)據(jù)的工作量 缺點(diǎn)：建立數(shù)據(jù)倉庫是一項(xiàng)巨大的工程，耗時(shí)耗力n從數(shù)據(jù)庫中來如果只是為了數(shù)據(jù)挖掘，可以把一個(gè)或幾個(gè)OLTP數(shù)據(jù)庫導(dǎo)入一個(gè)只讀的數(shù)據(jù)庫中，然后在上面進(jìn)行數(shù)據(jù)挖掘An Introduction to Database System數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)(續(xù)續(xù))v四、 數(shù)據(jù)挖掘的功能n概念描述n關(guān)聯(lián)分析n分類和預(yù)測(cè)n聚類n孤立點(diǎn)檢測(cè)n趨勢(shì)和演變分析An Introduction to Database System數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)(續(xù)續(xù))典型的數(shù)據(jù)挖掘系統(tǒng)的體系結(jié)構(gòu)v 數(shù)據(jù)挖掘步驟n明確挖掘任務(wù)n對(duì)所選擇數(shù)據(jù)進(jìn)行預(yù)處理n選擇具體的算法進(jìn)行挖掘n對(duì)挖掘出的模式進(jìn)行評(píng)價(jià)n消減重復(fù)部分n展現(xiàn)最終的結(jié)果An Introduction to Database System第十七章第十七章 數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理技術(shù)數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理技術(shù)17.1 數(shù)據(jù)倉庫技術(shù)數(shù)據(jù)倉庫技術(shù)17.2 聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)1