數(shù)據(jù)挖掘 課件 第三章 數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)立方體

數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)立方體Contents數(shù)據(jù)倉(cāng)庫(kù)背景及定義01數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)架構(gòu)02數(shù)據(jù)立方體03OLAP0405本章小結(jié)數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)生的背景數(shù)據(jù)的一項(xiàng)重要作用是為管理決策人員提供幫助，通過(guò)對(duì)數(shù)據(jù)進(jìn)行整合、清洗和分析，管理人員能夠得到更準(zhǔn)確、更全面的信息支持，從而做出更具前瞻性和決策性的選擇。一種直接的想法是利用數(shù)據(jù)庫(kù)進(jìn)行統(tǒng)計(jì)分析，形成如圖3-1所示的自然演化的體系架構(gòu)。數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)生的背景自然演化的體系架構(gòu)主要存在以下缺陷：缺乏統(tǒng)一的數(shù)據(jù)來(lái)源缺乏統(tǒng)一的時(shí)間基準(zhǔn)數(shù)據(jù)口徑差異數(shù)據(jù)獲取效率低數(shù)據(jù)集成時(shí)間長(zhǎng)看懂?dāng)?shù)據(jù)困難以及數(shù)據(jù)加工速度慢數(shù)據(jù)倉(cāng)庫(kù)概念的提出為了應(yīng)對(duì)這些問(wèn)題，提出了數(shù)據(jù)倉(cāng)庫(kù)的概念。與“分散式管理”的自然演化體系架構(gòu)不同，數(shù)據(jù)倉(cāng)庫(kù)是一種“中央集中式管理”的數(shù)據(jù)架構(gòu)。這種管理架構(gòu)會(huì)對(duì)數(shù)據(jù)統(tǒng)一進(jìn)行清洗、整合和建模，使得數(shù)據(jù)變得更加一致、準(zhǔn)確和可信，消除不同數(shù)據(jù)源之間的口徑差異，提高數(shù)據(jù)一致性和質(zhì)量。數(shù)據(jù)倉(cāng)庫(kù)的定義數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向主題的、集成的、時(shí)變的、非易失的數(shù)據(jù)集合，支持管理者的決策過(guò)程。

面向主題的(subject-oriented)：數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建通常圍繞的是一些比較重要的主題而構(gòu)建，例如產(chǎn)品、客戶或銷售等。集成的(integrated)：數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是在對(duì)原有分散的數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)抽取、清理的基礎(chǔ)上經(jīng)過(guò)系統(tǒng)加工、匯總和整理得到的時(shí)變的(time-variant)：數(shù)據(jù)倉(cāng)庫(kù)可以保存過(guò)去的數(shù)據(jù)，并且可以顯示數(shù)據(jù)隨著時(shí)間的推移而發(fā)生的變化。非易失的(nonvolatile)：數(shù)據(jù)倉(cāng)庫(kù)的非易失性意味著數(shù)據(jù)在數(shù)據(jù)倉(cāng)庫(kù)中是安全的、不容易丟失的。數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)庫(kù)之間的區(qū)別數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)的區(qū)別，在本質(zhì)上就是在線事務(wù)處理(OLTP)和在線分析處理(OLAP)的區(qū)別Contents數(shù)據(jù)倉(cāng)庫(kù)背景及定義01數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)架構(gòu)02數(shù)據(jù)立方體03OLAP0405本章小結(jié)基本架構(gòu)介紹每個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的核心都有三個(gè)主要的組件，分別是：數(shù)據(jù)來(lái)源、提取-加載-轉(zhuǎn)換(ELT)過(guò)程以及數(shù)據(jù)倉(cāng)庫(kù)本身。大部分?jǐn)?shù)據(jù)倉(cāng)庫(kù)系統(tǒng)還有數(shù)據(jù)應(yīng)用部分?jǐn)?shù)據(jù)倉(cāng)庫(kù)系統(tǒng)分層意義數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的分層模式是一種在數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)中常用的組織模式，通過(guò)將數(shù)據(jù)按照不同的層級(jí)進(jìn)行劃分和管理，以實(shí)現(xiàn)更高效、更靈活的數(shù)據(jù)處理和利用。數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的分層模式主要具備以下幾點(diǎn)作用:分層模式使得數(shù)據(jù)組織結(jié)構(gòu)更清晰提供數(shù)據(jù)血緣追蹤功能減少重復(fù)開(kāi)發(fā)簡(jiǎn)化復(fù)雜的問(wèn)題減少業(yè)務(wù)的影響數(shù)據(jù)倉(cāng)庫(kù)分層介紹從數(shù)據(jù)倉(cāng)庫(kù)的基本架構(gòu)圖中可以看到，數(shù)據(jù)倉(cāng)庫(kù)包含了多個(gè)層級(jí)，其中每個(gè)層級(jí)都有著其特定的功能和處理原則。下面依次介紹數(shù)據(jù)倉(cāng)庫(kù)各層級(jí)的用途和處理原則

原始數(shù)據(jù)層（OperationalDataStore）是數(shù)據(jù)倉(cāng)庫(kù)中的一個(gè)重要組成部分，它用于存儲(chǔ)從各個(gè)業(yè)務(wù)系統(tǒng)中提取的、經(jīng)過(guò)簡(jiǎn)單清洗和整合后的原始數(shù)據(jù)。原始數(shù)據(jù)層通常是數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)中的第一層，也是與業(yè)務(wù)系統(tǒng)交互的接口。數(shù)據(jù)倉(cāng)庫(kù)分層介紹數(shù)據(jù)明細(xì)層（DataWarehouseDetail）中的數(shù)據(jù)是原始數(shù)據(jù)層數(shù)據(jù)經(jīng)過(guò)清洗、轉(zhuǎn)換后得到的明細(xì)數(shù)據(jù)，保留了數(shù)據(jù)加載過(guò)程中的全部信息。同時(shí)包含了各種維度表和事實(shí)表，可以支持復(fù)雜的查詢和分析需求。此外還保留了歷史數(shù)據(jù)，能夠支持時(shí)間上的溯源和趨勢(shì)分析。該層中的數(shù)據(jù)質(zhì)量較高，經(jīng)過(guò)清洗、轉(zhuǎn)換、整合等處理，確保數(shù)據(jù)準(zhǔn)確性和一致性。數(shù)據(jù)倉(cāng)庫(kù)分層介紹數(shù)據(jù)匯總層（DataWarehouseSummary）通常用于存儲(chǔ)經(jīng)過(guò)清洗、轉(zhuǎn)換和集成后的數(shù)據(jù)。這一層位于數(shù)據(jù)倉(cāng)庫(kù)的核心位置，主要負(fù)責(zé)將來(lái)自數(shù)據(jù)源的數(shù)據(jù)進(jìn)行整合，并提供給決策支持系統(tǒng)和業(yè)務(wù)智能應(yīng)用程序使用。數(shù)據(jù)倉(cāng)庫(kù)分層介紹數(shù)據(jù)應(yīng)用層（ApplicationDataStore）是根據(jù)業(yè)務(wù)需要，由數(shù)據(jù)明細(xì)層、數(shù)據(jù)匯總層數(shù)據(jù)統(tǒng)計(jì)而出的結(jié)果，該層旨在為數(shù)據(jù)分析和報(bào)表生成等工作提供高性能的數(shù)據(jù)查詢和訪問(wèn)能力，以支持業(yè)務(wù)決策和報(bào)告需求。該層與數(shù)據(jù)應(yīng)用部分結(jié)合之后，可以為用戶提供靈活的數(shù)據(jù)查詢和分析功能，支持用戶通過(guò)圖表、報(bào)表等形式直觀地分析數(shù)據(jù)，使用戶能夠根據(jù)自身需求快速獲取所需數(shù)據(jù)，并進(jìn)行多維分析、數(shù)據(jù)挖掘等操作。Contents數(shù)據(jù)倉(cāng)庫(kù)背景及定義01數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)架構(gòu)02數(shù)據(jù)立方體03OLAP0405本章小結(jié)數(shù)據(jù)立方體的基本概念數(shù)據(jù)立方體是一種多維數(shù)據(jù)集合，通常用于存儲(chǔ)和分析數(shù)據(jù)倉(cāng)庫(kù)中的大量數(shù)據(jù)。它由一個(gè)或多個(gè)維度和度量組成，維度表示數(shù)據(jù)的屬性或者類別，度量則表示要分析的數(shù)據(jù)指標(biāo)。通過(guò)將數(shù)據(jù)按照不同維度組織，可以形成一個(gè)多維數(shù)據(jù)集合，這種數(shù)據(jù)結(jié)構(gòu)就是數(shù)據(jù)立方體。數(shù)據(jù)立方體的基本概念需要注意的是，盡管人們經(jīng)常把數(shù)據(jù)立方體看作三維幾何結(jié)構(gòu)，但是在數(shù)據(jù)倉(cāng)庫(kù)中，數(shù)據(jù)立方體是N維的，而不限于三維。數(shù)據(jù)立方體主要具備以下特點(diǎn)：1）多維性：數(shù)據(jù)立方體是一個(gè)多維數(shù)據(jù)集合，可以包含多個(gè)維度和度量，從而更全面地描述數(shù)據(jù)。2）預(yù)計(jì)算：為了提高查詢效率，數(shù)據(jù)立方體通常會(huì)事先計(jì)算并存儲(chǔ)聚合數(shù)據(jù)，而不是每次查詢時(shí)都重新計(jì)算。3）快速響應(yīng)：由于預(yù)計(jì)算的結(jié)果，數(shù)據(jù)立方體可以快速響應(yīng)用戶的查詢請(qǐng)求，提高數(shù)據(jù)分析的效率。4）易于理解：通過(guò)數(shù)據(jù)立方體，用戶可以直觀地理解數(shù)據(jù)之間的關(guān)系，進(jìn)行交互式分析和探索。數(shù)據(jù)立方體的基本概念二維數(shù)據(jù)立方體四維數(shù)據(jù)立方體三維數(shù)據(jù)立方體數(shù)據(jù)立方體的組成元素?cái)?shù)據(jù)立方體的組成元素主要包括維度、度量、層次、聚集、維度表和事實(shí)表等1）維度（Dimensions）：維度是數(shù)據(jù)立方體中用于對(duì)數(shù)據(jù)進(jìn)行分類和分組的屬性或者特征。2）度量（Measures）：度量是數(shù)據(jù)立方體中需要進(jìn)行分析和計(jì)算的指標(biāo)或數(shù)值，用來(lái)衡量業(yè)務(wù)績(jī)效或者其他關(guān)鍵性能指標(biāo)。3）層次（Hierarchies）：層次定義了維度之間的父子關(guān)系，描述了維度值之間的層級(jí)結(jié)構(gòu)。4）聚集（Aggregates）：聚集是預(yù)先計(jì)算并存儲(chǔ)在數(shù)據(jù)立方體中的匯總數(shù)據(jù)，例如總銷售額、平均利潤(rùn)等。5）維度表（DimensionTables）：維度表是包含維度屬性信息的表格，用于描述維度的具體內(nèi)容和特征。6）事實(shí)表（FactTable）：事實(shí)表是包含度量信息的表格，用于存儲(chǔ)需要分析的數(shù)值型數(shù)據(jù)。多維數(shù)據(jù)模型的模式多維數(shù)據(jù)模型的模式定義了數(shù)據(jù)在多個(gè)維度上的組織結(jié)構(gòu)和關(guān)聯(lián)關(guān)系。目前最流行的數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型是多維數(shù)據(jù)模型，包括星形模式、雪花模式和事實(shí)星座模式等星形模式（starschema）：星型模式是數(shù)據(jù)倉(cāng)庫(kù)中最常用的多維數(shù)據(jù)模型之一，它采用星型結(jié)構(gòu)來(lái)組織數(shù)據(jù)。在星型模式中，中心是一個(gè)事實(shí)表（FactTable），周圍圍繞著多個(gè)維度表（DimensionTables），構(gòu)成了一個(gè)星型的結(jié)構(gòu)。多維數(shù)據(jù)模型的模式多維數(shù)據(jù)模型的模式定義了數(shù)據(jù)在多個(gè)維度上的組織結(jié)構(gòu)和關(guān)聯(lián)關(guān)系。目前最流行的數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型是多維數(shù)據(jù)模型，包括星形模式、雪花模式和事實(shí)星座模式等雪花模式（snowflakeschema）：雪花模式是一種數(shù)據(jù)倉(cāng)庫(kù)多維數(shù)據(jù)模型設(shè)計(jì)結(jié)構(gòu)，是在星型模式的基礎(chǔ)上發(fā)展而來(lái)的設(shè)計(jì)模式。在雪花模式中，維度表被進(jìn)一步規(guī)范化，因此比星型模式具有更復(fù)雜的結(jié)構(gòu)，其組成要素包括事實(shí)表、維度表和規(guī)范化維度表。多維數(shù)據(jù)模型的模式多維數(shù)據(jù)模型的模式定義了數(shù)據(jù)在多個(gè)維度上的組織結(jié)構(gòu)和關(guān)聯(lián)關(guān)系。目前最流行的數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型是多維數(shù)據(jù)模型，包括星形模式、雪花模式和事實(shí)星座模式等事實(shí)星座模式（factconstellation）：復(fù)雜的應(yīng)用可能需要多個(gè)事實(shí)表共享維表。這種模式可以看做星形模式的匯集，因此稱做星系模式(galaxyschema)或事實(shí)星座。事實(shí)星座模式支持復(fù)雜的數(shù)據(jù)關(guān)系和多變的數(shù)據(jù)分析需求，適用于需要處理多種不同業(yè)務(wù)過(guò)程和度量的場(chǎng)景。事實(shí)星座的組成要素包括多個(gè)事實(shí)表、多個(gè)維度表和事實(shí)表之間的聯(lián)系。Contents數(shù)據(jù)倉(cāng)庫(kù)背景及定義01數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)架構(gòu)02數(shù)據(jù)立方體03OLAP0405本章小結(jié)OLAP概念在線分析處理OLAP，是一種用于快速分析、探索和匯總多維數(shù)據(jù)的計(jì)算技術(shù)。OLAP技術(shù)是基于數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)立方體的操作，旨在幫助用戶進(jìn)行復(fù)雜的數(shù)據(jù)分析和提供決策支持，OLAP的核心特點(diǎn)如下：多維性：OLAP能夠處理多維數(shù)據(jù)，允許用戶以不同的角度（維度）對(duì)數(shù)據(jù)進(jìn)行分析，支持多維數(shù)據(jù)切片和切塊操作。實(shí)時(shí)分析：OLAP技術(shù)支持用戶對(duì)數(shù)據(jù)進(jìn)行即時(shí)的、動(dòng)態(tài)的分析，用戶可以隨時(shí)根據(jù)需要進(jìn)行數(shù)據(jù)探索和交互式查詢。聯(lián)機(jī)：OLAP能夠直接連接到數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)源，具有快速響應(yīng)用戶查詢的特點(diǎn)，以便用戶可以實(shí)時(shí)獲取數(shù)據(jù)分析結(jié)果。分析功能：OLAP提供強(qiáng)大的分析功能，如數(shù)據(jù)的上卷、下鉆、轉(zhuǎn)軸、切片和切塊等方法，幫助用戶深入分析數(shù)據(jù)OLAP的基本操作OLAP依托于多維數(shù)據(jù)模型，定義了一系列專門針對(duì)數(shù)據(jù)分析的基本操作類型，主要包括：上卷（Roll-up）、下鉆（Drill-down）、切片（Slice）、切塊（Dice）以及轉(zhuǎn)軸（Pivot）。通過(guò)這些基本操作的組合使用，用戶可以很方便的在數(shù)據(jù)倉(cāng)庫(kù)中完成對(duì)數(shù)據(jù)的處理和分析OLAP的基本操作上卷（roll-up）：上卷操作是將數(shù)據(jù)從較低層次的維度匯總到較高層次的維度，減少數(shù)據(jù)的細(xì)節(jié)，以獲得總體性的視圖。下圖顯示了在維location上對(duì)中心立方體執(zhí)行上卷操作的結(jié)果。所展示的上卷操作沿location的分層，由city層向上到country層聚集數(shù)據(jù)。OLAP的基本操作下鉆（drill-down）：下鉆操作是在匯總數(shù)據(jù)的基礎(chǔ)上，查看較低層次的細(xì)節(jié)數(shù)據(jù)，以便深入了解具體細(xì)節(jié)。下圖顯示沿著“day<month<quarter<year”定義的time維的概念分層向下，在中心立方體執(zhí)行下鉆操作的結(jié)果。這里下鉆由time維的分層結(jié)構(gòu)向下，從quarter層到更詳細(xì)的month層。OLAP的基本操作切片（slice）：切片是選取多維數(shù)據(jù)集中的一個(gè)子集，即在某個(gè)固定維度上進(jìn)行數(shù)據(jù)的篩選和分析。下圖表示了一個(gè)切片操作，它對(duì)中心立方體使用條件time=“Q1”對(duì)維time選擇銷售數(shù)據(jù)。OLAP的基本操作切塊（dice）：切塊是在多維數(shù)據(jù)集中選擇兩個(gè)或多個(gè)維度的交叉區(qū)塊（subset），對(duì)其進(jìn)行分析和比較。下圖表示了一個(gè)切塊操作，它涉及三個(gè)維，根據(jù)如下條件對(duì)中心立方體切塊:(location=“南京”or“武漢”)and(time=“Q1”or“Q2”)and(item=“日常用品”or“飲料”)。OLAP的基本操作轉(zhuǎn)軸（pivot）：轉(zhuǎn)軸操作是改變多維數(shù)據(jù)立方體中的視角，重新排列維度的位置以獲得新的數(shù)據(jù)觀察角度。下圖顯示了一個(gè)轉(zhuǎn)軸操作，其中item和location軸在一個(gè)2-D切片上轉(zhuǎn)動(dòng)。OLAP系統(tǒng)的實(shí)現(xiàn)分類常見(jiàn)的OLAP系統(tǒng)可以分為以下三類：：多維聯(lián)機(jī)實(shí)時(shí)分析系統(tǒng)(MOLAP)，關(guān)系型聯(lián)機(jī)實(shí)時(shí)分析系統(tǒng)(ROLAP)，混合型聯(lián)機(jī)實(shí)時(shí)分析系統(tǒng)(HOLAP)MOLAP通過(guò)基于數(shù)組的多維存儲(chǔ)引擎，支持?jǐn)?shù)據(jù)的多維視圖。它們將多維視圖直接映射到數(shù)據(jù)立方體數(shù)組結(jié)構(gòu)。典型的MOLAP框架如下圖所示。MOLAP中的數(shù)據(jù)來(lái)自數(shù)據(jù)倉(cāng)庫(kù)或者來(lái)自存儲(chǔ)在多維立方體中的操作型數(shù)據(jù)源。底層數(shù)據(jù)的復(fù)雜性對(duì)于MOLAP工具的使用者是隱藏的。OLAP系統(tǒng)的實(shí)現(xiàn)分類常見(jiàn)的OLAP系統(tǒng)可以分為以下三類：：多維聯(lián)機(jī)實(shí)時(shí)分析系統(tǒng)(MOLAP)，關(guān)系型聯(lián)機(jī)實(shí)時(shí)分析系統(tǒng)(ROLAP)，混合型聯(lián)機(jī)實(shí)時(shí)分析系統(tǒng)(HOLAP)ROLAP介于關(guān)系型數(shù)據(jù)庫(kù)(后端)和客戶前端工具之間。它們使用關(guān)系的或擴(kuò)充關(guān)系的數(shù)據(jù)庫(kù)管理系統(tǒng)存儲(chǔ)并管理數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)，而OLAP中間件支持其余部分。典型的ROLAP框架的高層視圖如圖3-17所示。ROLAP工具也提供本章之前描述的常用OLAP功能。ROLAP服務(wù)將查詢轉(zhuǎn)換成SQL語(yǔ)句，SQL語(yǔ)句被發(fā)送到由關(guān)系型數(shù)據(jù)庫(kù)支持的數(shù)據(jù)倉(cāng)庫(kù)中。關(guān)系型數(shù)據(jù)庫(kù)執(zhí)行查詢，并將查詢的結(jié)果集合發(fā)送到ROLAP服務(wù)器上，最終交給OLAP/BI工具終端用戶。OLAP系統(tǒng)的實(shí)現(xiàn)分類常見(jiàn)的OLAP系統(tǒng)可以分為以下三類：：多維聯(lián)機(jī)實(shí)時(shí)分析系統(tǒng)(MOLAP)，關(guān)系型聯(lián)機(jī)實(shí)時(shí)分析系統(tǒng)(ROLAP)，混合型聯(lián)機(jī)實(shí)時(shí)分析系統(tǒng)(HOLAP)混合OLAP方法結(jié)合ROLAP和MOLAP技術(shù)，得益于ROLAP較大的可伸縮性和MOLAP的快速計(jì)算，使得其既能處理大規(guī)模數(shù)據(jù)，又能提供快速查詢性能。HOLAP在數(shù)據(jù)存儲(chǔ)和查詢時(shí)能夠根據(jù)需求自動(dòng)選擇合適的存儲(chǔ)方式，既可以利用多維數(shù)據(jù)立方體進(jìn)行快速查詢，也可以利用關(guān)系型數(shù)據(jù)庫(kù)支持復(fù)雜查詢。Contents數(shù)據(jù)倉(cāng)庫(kù)背景及定義01數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)架構(gòu)02數(shù)據(jù)立方體03OLAP0405本章小結(jié)本章小結(jié)數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向主題的、集成的、時(shí)變的、非易失的數(shù)據(jù)集合，用于支持管理決策。數(shù)據(jù)倉(cāng)庫(kù)的產(chǎn)生背景主要是由于企業(yè)需要更好地管理和分析海量數(shù)據(jù)以支持決策，而傳統(tǒng)的數(shù)據(jù)庫(kù)系統(tǒng)無(wú)法滿足復(fù)雜的分析需求。數(shù)據(jù)倉(cāng)庫(kù)核心組件包括數(shù)據(jù)來(lái)源、ELT、數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)應(yīng)用等。數(shù)