數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)1課件

數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)2022/12/17數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)2022/12/13數(shù)據(jù)倉庫1數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)什么是數(shù)據(jù)倉庫？多維數(shù)據(jù)模型數(shù)據(jù)倉庫的體系結(jié)構(gòu)數(shù)據(jù)倉庫實現(xiàn)數(shù)據(jù)立方體技術(shù)的進一步發(fā)展從數(shù)據(jù)倉庫到數(shù)據(jù)挖掘數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)什么是數(shù)據(jù)倉庫？數(shù)據(jù)倉庫和2什么是數(shù)據(jù)倉庫?數(shù)據(jù)倉庫的定義很多，但卻很難有一種嚴(yán)格的定義它是一個提供決策支持功能的數(shù)據(jù)庫，它與公司的操作數(shù)據(jù)庫分開維護。為統(tǒng)一的歷史數(shù)據(jù)分析提供堅實的平臺，對信息處理提供支持“數(shù)據(jù)倉庫是一個面向主題的、集成的、隨時間而變化的、不容易丟失的數(shù)據(jù)集合，支持管理部門的決策過程.”—W.H.Inmon（數(shù)據(jù)倉庫構(gòu)造方面的領(lǐng)頭設(shè)計師）建立數(shù)據(jù)倉庫(datawarehousing):構(gòu)造和使用數(shù)據(jù)倉庫的過程。數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]什么是數(shù)據(jù)倉庫?數(shù)據(jù)倉庫的定義很多，但卻很難有一種嚴(yán)格的定義3數(shù)據(jù)倉庫關(guān)鍵特征一——面向主題圍繞一些主題，如顧客、供應(yīng)商、產(chǎn)品等關(guān)注決策者的數(shù)據(jù)建模與分析，而不是集中于組織機構(gòu)的日常操作和事務(wù)處理。排除對于決策無用的數(shù)據(jù)，提供特定主題的簡明視圖。數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)倉庫關(guān)鍵特征一——面向主題圍繞一些主題，如顧客、供應(yīng)商、4數(shù)據(jù)倉庫關(guān)鍵特征二——數(shù)據(jù)集成一個數(shù)據(jù)倉庫是通過集成多個異種數(shù)據(jù)源來構(gòu)造的。關(guān)系數(shù)據(jù)庫，一般文件，聯(lián)機事務(wù)處理記錄使用數(shù)據(jù)清理和數(shù)據(jù)集成技術(shù)。確保命名約定、編碼結(jié)構(gòu)、屬性度量等的一致性。當(dāng)數(shù)據(jù)被移到數(shù)據(jù)倉庫時，它們要經(jīng)過轉(zhuǎn)化。數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)倉庫關(guān)鍵特征二——數(shù)據(jù)集成一個數(shù)據(jù)倉庫是通過集成多個異種5數(shù)據(jù)倉庫關(guān)鍵特征三——隨時間而變化數(shù)據(jù)倉庫的時間范圍比操作數(shù)據(jù)庫系統(tǒng)要長的多。操作數(shù)據(jù)庫系統(tǒng):主要保存當(dāng)前數(shù)據(jù)。數(shù)據(jù)倉庫:從歷史的角度提供信息（比如過去5-10年）數(shù)據(jù)倉庫中的每一個關(guān)鍵結(jié)構(gòu)都隱式或顯式地包含時間元素，而操作數(shù)據(jù)庫中的關(guān)鍵結(jié)構(gòu)可能就不包括時間元素。數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)倉庫關(guān)鍵特征三——隨時間而變化數(shù)據(jù)倉庫的時間范圍比操作數(shù)6數(shù)據(jù)倉庫關(guān)鍵特征四——數(shù)據(jù)不易丟失盡管數(shù)據(jù)倉庫中的數(shù)據(jù)來自于操作數(shù)據(jù)庫，但他們卻是在物理上分離保存的。操作數(shù)據(jù)庫的更新操作不會出現(xiàn)在數(shù)據(jù)倉庫環(huán)境下。不需要事務(wù)處理，恢復(fù)，和并發(fā)控制等機制只需要兩種數(shù)據(jù)訪問:數(shù)據(jù)的初始轉(zhuǎn)載和數(shù)據(jù)訪問（讀操作）數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)倉庫關(guān)鍵特征四——數(shù)據(jù)不易丟失盡管數(shù)據(jù)倉庫中的數(shù)據(jù)來自于7數(shù)據(jù)倉庫與異種數(shù)據(jù)庫集成傳統(tǒng)的異種數(shù)據(jù)庫集成:在多個異種數(shù)據(jù)庫上建立包裝程序（wrappers）和中介程序（mediators）查詢驅(qū)動方法——當(dāng)從客戶端傳過來一個查詢時，首先使用元數(shù)據(jù)字典將查詢轉(zhuǎn)換成相應(yīng)異種數(shù)據(jù)庫上的查詢；然后，將這些查詢映射和發(fā)送到局部查詢處理器缺點：復(fù)雜的信息過慮和集成處理，競爭資源數(shù)據(jù)倉庫:更新驅(qū)動將來自多個異種源的信息預(yù)先集成，并存儲在數(shù)據(jù)倉庫中，供直接查詢和分析高性能數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)倉庫與異種數(shù)據(jù)庫集成傳統(tǒng)的異種數(shù)據(jù)庫集成:數(shù)據(jù)倉庫和數(shù)8數(shù)據(jù)倉庫與操作數(shù)據(jù)庫系統(tǒng)操作數(shù)據(jù)庫系統(tǒng)的主要任務(wù)是聯(lián)機事務(wù)處理OLTP日常操作:購買，庫存，銀行，制造，工資，注冊，記帳等數(shù)據(jù)倉庫的主要任務(wù)是聯(lián)機分析處理OLAP數(shù)據(jù)分析和決策OLTP和OLAP的主要區(qū)別：用戶和系統(tǒng)的面向性:顧客VS.市場數(shù)據(jù)內(nèi)容:當(dāng)前的、詳細(xì)的數(shù)據(jù)VS.歷史的、匯總的數(shù)據(jù)數(shù)據(jù)庫設(shè)計:實體－聯(lián)系模型(ER)和面向應(yīng)用的數(shù)據(jù)庫設(shè)計VS.星型/雪花模型和面向主題的數(shù)據(jù)庫設(shè)計視圖:當(dāng)前的、企業(yè)內(nèi)部的數(shù)據(jù)VS.經(jīng)過演化的、集成的數(shù)據(jù)訪問模式:事務(wù)操作VS.只讀查詢（但很多是復(fù)雜的查詢）數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)倉庫與操作數(shù)據(jù)庫系統(tǒng)操作數(shù)據(jù)庫系統(tǒng)的主要任務(wù)是聯(lián)機事務(wù)處9OLTP系統(tǒng)和OLAP系統(tǒng)的比較特征OLTPOLAP任務(wù)特點操作處理信息處理面向事務(wù)分析用戶辦事員、DBA、數(shù)據(jù)庫專業(yè)人員經(jīng)理、主管、數(shù)據(jù)分析員功能日常操作長期信息分析、決策支持DB設(shè)計基于E-R，面向應(yīng)用星型/雪花，面向主體數(shù)據(jù)最新的、詳細(xì)的歷史的、匯總的視圖詳細(xì)的、二維關(guān)系型匯總的、多維的任務(wù)單位簡短的事務(wù)復(fù)雜的查詢訪問數(shù)據(jù)量數(shù)十個數(shù)百萬個用戶數(shù)數(shù)千個數(shù)百個DB規(guī)模100M-數(shù)GB100GB-數(shù)TB優(yōu)先性高性能、高可用性高靈活性、端點用戶自治度量事務(wù)吞吐量查詢吞吐量、響應(yīng)時間數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]OLTP系統(tǒng)和OLAP系統(tǒng)的比較特征OLTPOLAP任務(wù)特點10為什么需要一個分離的數(shù)據(jù)倉庫?提高兩個系統(tǒng)的性能DBMS是為OLTP而設(shè)計的：存儲方式,索引,并發(fā)控制,恢復(fù)數(shù)據(jù)倉庫是為OLAP而設(shè)計：復(fù)雜的OLAP查詢,多維視圖，匯總不同的功能和不同的數(shù)據(jù):歷史數(shù)據(jù):決策支持需要歷史數(shù)據(jù)，而這些數(shù)據(jù)在操作數(shù)據(jù)庫中一般不會去維護數(shù)據(jù)匯總：決策支持需要將來自異種源的數(shù)據(jù)統(tǒng)一（如聚集和匯總）數(shù)據(jù)質(zhì)量:不同的源使用不一致的數(shù)據(jù)表示、編碼和格式，對這些數(shù)據(jù)進行有效的分析需要將他們轉(zhuǎn)化后進行集成數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]為什么需要一個分離的數(shù)據(jù)倉庫?提高兩個系統(tǒng)的性能數(shù)據(jù)倉庫和數(shù)11從關(guān)系表和電子表格到數(shù)據(jù)立方體數(shù)據(jù)倉庫和數(shù)據(jù)倉庫技術(shù)基于多維數(shù)據(jù)模型。這個模型把數(shù)據(jù)看作是數(shù)據(jù)立方體形式。多維數(shù)據(jù)模型圍繞中心主題組織，該主題用事實表表示。事實是數(shù)值度量的。數(shù)據(jù)立方體允許以多維數(shù)據(jù)建模和觀察。它由維和事實定義。維是關(guān)于一個組織想要記錄的視角或觀點。每個維都有一個表與之相關(guān)聯(lián)，稱為維表。事實表包括事實的名稱或度量以及每個相關(guān)維表的關(guān)鍵字在數(shù)據(jù)倉庫的研究文獻中，一個n維的數(shù)據(jù)的立方體叫做基本方體。給定一個維的集合，我們可以構(gòu)造一個方體的格，每個都在不同的匯總級或不同的數(shù)據(jù)子集顯示數(shù)據(jù)，方體的格稱為數(shù)據(jù)立方體。0維方體存放最高層的匯總，稱作頂點方體；而存放最底層匯總的方體則稱為基本方體。教科書第31頁數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]從關(guān)系表和電子表格到數(shù)據(jù)立方體數(shù)據(jù)倉庫和數(shù)據(jù)倉庫技術(shù)基于多維12數(shù)據(jù)立方體——一個方體的格alltimeitemlocationsuppliertime,itemtime,locationtime,supplieritem,locationitem,supplierlocation,suppliertime,item,locationtime,item,suppliertime,location,supplieritem,location,suppliertime,item,location,supplier0-D(apex)cuboid1-Dcuboids2-Dcuboids3-Dcuboids4-D(base)cuboid數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)立方體——一個方體的格alltimeitemlocati13數(shù)據(jù)倉庫的概念模型最流行的數(shù)據(jù)倉庫概念模型是多維數(shù)據(jù)模型。這種模型可以以星型模式、雪花模式、或事實星座模式的形式存在。星型模式（Starschema）:事實表在中心，周圍圍繞地連接著維表（每維一個），事實表含有大量數(shù)據(jù)，沒有冗余。雪花模式（Snowflakeschema）:是星型模式的變種，其中某些維表是規(guī)范化的，因而把數(shù)據(jù)進一步分解到附加表中。結(jié)果，模式圖形成類似于雪花的形狀。事實星座（Factconstellations）:多個事實表共享維表,這種模式可以看作星型模式集，因此稱為星系模式（galaxyschema），或者事實星座（factconstellation）數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)倉庫的概念模型最流行的數(shù)據(jù)倉庫概念模型是多維數(shù)據(jù)模型。這14星型模式實例

time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcitystate_or_provincecountrylocationSalesFactTabletime_keyitem_keybranch_keylocation_keyunits_solddollars_soldavg_salesMeasuresitem_keyitem_namebrandtypesupplier_typeitembranch_keybranch_namebranch_typebranch數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]星型模式實例time_keytimelocation_15雪花模式實例time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcity_keylocationSalesFactTabletime_keyitem_keybranch_keylocation_keyunits_solddollars_soldavg_salesMeasuresitem_keyitem_namebrandtypesupplier_keyitembranch_keybranch_namebranch_typebranchsupplier_keysupplier_typesuppliercity_keycitystate_or_provincecountrycity數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]雪花模式實例time_keytimelocation_key16事實星座模式實例time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcityprovince_or_statecountrylocationSalesFactTabletime_keyitem_keybranch_keylocation_keyunits_solddollars_soldavg_salesMeasuresitem_keyitem_namebrandtypesupplier_typeitembranch_keybranch_namebranch_typebranchShippingFactTabletime_keyitem_keyshipper_keyfrom_locationto_locationdollars_costunits_shippedshipper_keyshipper_namelocation_keyshipper_typeshipper數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]事實星座模式實例time_keytimelocation_k17一種數(shù)據(jù)挖掘查詢語言:DMQLDMQL首先包括定義數(shù)據(jù)倉庫和數(shù)據(jù)集市的語言原語，這包括兩種原語定義：一種是立方體定義，一種是維定義立方體定義(事實表)definecube<cube_name>[<dimension_list>]:<measure_list>維定義(維表)definedimension<dimension_name>as(<attribute_or_subdimension_list>)特殊案例(共享維表的定義)第一次作為維表定義“cubedefinition”然后：definedimension<dimension_name>as<dimension_name_first_time>incube<cube_name_first_time>數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]一種數(shù)據(jù)挖掘查詢語言:DMQLDMQL首先包括定義數(shù)據(jù)倉庫18實例：使用DMQL定義星型模式definecubesales_star[time,item,branch,location]:dollars_sold=sum(sales_in_dollars),avg_sales=avg(sales_in_dollars),units_sold=count(*)definedimensiontimeas(time_key,day,day_of_week,month,quarter,year)definedimensionitemas(item_key,item_name,brand,type,supplier_type)definedimensionbranchas(branch_key,branch_name,branch_type)definedimensionlocationas(location_key,street,city,province_or_state,country)數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]實例：使用DMQL定義星型模式definecubesal19實例：使用DMQL定義雪花模式definecubesales_snowflake[time,item,branch,location]:dollars_sold=sum(sales_in_dollars),avg_sales=avg(sales_in_dollars),units_sold=count(*)definedimensiontimeas(time_key,day,day_of_week,month,quarter,year)definedimensionitemas(item_key,item_name,brand,type,supplier(supplier_key,supplier_type))definedimensionbranchas(branch_key,branch_name,branch_type)definedimensionlocationas(location_key,street,city(city_key,province_or_state,country))數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]實例：使用DMQL定義雪花模式definecubesal20度量的分類一個數(shù)據(jù)立方體的度量是一個數(shù)值函數(shù)，該函數(shù)可以對數(shù)據(jù)立方體的每一個點求值。度量可以根據(jù)其所用的聚集函數(shù)分為三類：分布的(distributive)：將函數(shù)用于n個聚集值得到的結(jié)果和將函數(shù)用于所有數(shù)據(jù)得到的結(jié)果一樣。比如：count()，sum()，min()，max()等代數(shù)的(algebraic)：函數(shù)可以由一個帶M個參數(shù)的代數(shù)函數(shù)計算（M為有界整數(shù)），而每個參數(shù)值都可以有一個分布的聚集函數(shù)求得。比如：avg()，min_N()，standard_deviation()整體的(holistic)：描述函數(shù)的子聚集所需的存儲沒有一個常數(shù)界。比如：median()，mode()，rank()數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]度量的分類一個數(shù)據(jù)立方體的度量是一個數(shù)值函數(shù)，該函數(shù)可以對數(shù)21概念分層：location維的一個概念分層allEuropeNorth_AmericaMexicoCanadaSpainGermanyVancouverM.WindL.Chan..................allregionofficecountryTorontoFrankfurtcity數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]概念分層：location維的一個概念分層allEurope22多維數(shù)據(jù)模型上的OLAP操作上卷(roll-up):匯總數(shù)據(jù)通過一個維的概念分層向上攀升或者通過維規(guī)約下鉆(drill-down)：上卷的逆操作由不太詳細(xì)的數(shù)據(jù)到更詳細(xì)的數(shù)據(jù)，可以通過沿維的概念分層向下或引入新的維來實現(xiàn)切片和切塊(sliceanddice)投影和選擇操作轉(zhuǎn)軸(pivot)立方體的重定位，可視化，或?qū)⒁粋€3維立方體轉(zhuǎn)化維一個2維平面序列其他OLAP操作鉆過(drill_across)：執(zhí)行涉及多個事實表的查詢鉆透(drill_through)：使用關(guān)系SQL機制，鉆到數(shù)據(jù)立方體的底層，到后端關(guān)系表數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]多維數(shù)據(jù)模型上的OLAP操作上卷(roll-up):匯總數(shù)據(jù)23數(shù)據(jù)倉庫設(shè)計：一個商務(wù)分析框架數(shù)據(jù)倉庫設(shè)計中必須考慮的四種視圖自頂向下視圖允許我們選擇數(shù)據(jù)倉庫所需的相關(guān)信息，這些信息能夠滿足當(dāng)前和未來商務(wù)的需求。數(shù)據(jù)源視圖揭示被操作數(shù)據(jù)庫系統(tǒng)所捕獲、存儲和管理的信息數(shù)據(jù)倉庫視圖有事實表和維表所組成，提供存放在數(shù)據(jù)倉庫內(nèi)部的信息，包括預(yù)先計算的綜合與技術(shù)，以及關(guān)于源、日期和源時間等信息商務(wù)查詢視圖從最終用戶的角度透視數(shù)據(jù)倉庫中的數(shù)據(jù)數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)倉庫設(shè)計：一個商務(wù)分析框架數(shù)據(jù)倉庫設(shè)計中必須考慮的四種視24數(shù)據(jù)倉庫的設(shè)計過程（P43）自頂向下法、自底向上法或者兩者的混合方法自頂向下法：由總體設(shè)計和規(guī)劃開始（成熟）自底向上法：以實驗和原型開始（快速）從軟件過程的觀點瀑布式方法：在進行下一步前，每一步都進行結(jié)構(gòu)化和系統(tǒng)的分析螺旋式方法：功能漸增的系統(tǒng)的快速產(chǎn)生，相繼版本之間間隔很短典型的數(shù)據(jù)倉庫設(shè)計過程選取待建模的商務(wù)過程選取商務(wù)過程的粒度選取用于每個事實表記錄的維選取將安放在事實表中的度量數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)倉庫的設(shè)計過程（P43）自頂向下法、自底向上法或者兩者的25三層數(shù)據(jù)倉庫架構(gòu)DataWarehouseExtractTransformLoadRefreshOLAP服務(wù)器AnalysisQueryReportsDataminingMonitor&IntegratorMetadata數(shù)據(jù)源前端工具ServeDataMartsOperational

DBsothersources數(shù)據(jù)倉庫服務(wù)器OLAPServer數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]三層數(shù)據(jù)倉庫架構(gòu)DataExtractOLAP服務(wù)器Anal26三種數(shù)據(jù)倉庫模型（從結(jié)構(gòu)的角度）企業(yè)倉庫搜集關(guān)于跨越整個組織的主題的所有信息，來自一個或多個操作的系統(tǒng)，跨功能的。數(shù)據(jù)集市企業(yè)范圍數(shù)據(jù)的一個子集，對于特定的客戶是有用的。其范圍限于選定的主題，比如一個商場的數(shù)據(jù)集市獨立的數(shù)據(jù)集市VS.非獨立的數(shù)據(jù)集市（數(shù)據(jù)來自于企業(yè)數(shù)據(jù)倉庫）虛擬倉庫操作數(shù)據(jù)庫上的一系列視圖只有一些可能的匯總視圖被物化數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]三種數(shù)據(jù)倉庫模型（從結(jié)構(gòu)的角度）企業(yè)倉庫數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的27數(shù)據(jù)倉庫開發(fā)自頂向下開發(fā)：一種系統(tǒng)的而解決方法，并能最大限度地減少集成問題。但費用高，長時間開發(fā)，缺乏靈活性，因為整個組織的共同數(shù)據(jù)模型達到一致是困難的。自底向上:設(shè)計、開發(fā)、部署獨立的數(shù)據(jù)集市方法提供了靈活性、低花費，并能快速回報投資。然后，將分散的數(shù)據(jù)集市集成，形成一個一致的企業(yè)數(shù)據(jù)倉庫時，可能導(dǎo)致問題。數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)倉庫開發(fā)自頂向下開發(fā)：一種系統(tǒng)的而解決方法，并能最大限度28數(shù)據(jù)倉庫開發(fā)——一個推薦的方法定義高層數(shù)據(jù)模型數(shù)據(jù)集市數(shù)據(jù)集市分布式數(shù)據(jù)集市多層數(shù)據(jù)倉庫企業(yè)數(shù)據(jù)倉庫模型提煉模型提煉數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)倉庫開發(fā)——一個推薦的方法定義高層數(shù)據(jù)模型數(shù)據(jù)集市數(shù)據(jù)集29OLAP服務(wù)器類型關(guān)系OLAP服務(wù)器(ROLAP)使用關(guān)系數(shù)據(jù)庫或擴展的關(guān)系數(shù)據(jù)庫存放并管理數(shù)據(jù)倉庫的數(shù)據(jù)，而用OLAP中間件支持其余部分包括每個DBMS后端優(yōu)化，聚集導(dǎo)航邏輯的實現(xiàn)，附加的工具和服務(wù)較大的可擴展性多維OLAP服務(wù)器(MOLAP)基于數(shù)組的多維存儲引擎（稀疏矩陣技術(shù)）能對預(yù)計算的匯總數(shù)據(jù)快速索引混合OLAP服務(wù)器(HOLAP)結(jié)合上述兩種技術(shù)，更大的使用靈活性特殊的SQL服務(wù)器在星型和雪花模型上支持SQL查詢數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]OLAP服務(wù)器類型關(guān)系OLAP服務(wù)器(ROLAP)數(shù)據(jù)倉庫和30數(shù)據(jù)倉庫的實現(xiàn)難點海量數(shù)據(jù)快速反應(yīng)OLAP服務(wù)器要在幾秒內(nèi)響應(yīng)決策支持查詢方法高效的數(shù)據(jù)立方體計算技術(shù)高效的存取方法高效的查詢處理技術(shù)數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)倉庫的實現(xiàn)難點數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]31數(shù)據(jù)立方體的有效計算數(shù)據(jù)立方體可以被看成是一個方體的格最底層的方體是基本方體最頂端的方體（頂點）只包含一個單元的值一個n維的數(shù)據(jù)立方體，每維Li層，可能產(chǎn)生的方體總數(shù)是多少？數(shù)據(jù)立方體的物化（materialization)預(yù)先計算所有方體（全物化）:需要海量存儲空間，存放預(yù)先計算的方體不預(yù)先計算任何“非基本”方體（不物化），在運行時計算昂貴的多維聚集，可能很慢有選擇的計算一個所有方體的適當(dāng)子集（部分物化）：相應(yīng)時間和存儲空間的折中。確定物化哪些方體考慮工作負(fù)荷下的查詢、它們的頻率和它們的開銷等等數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)立方體的有效計算數(shù)據(jù)立方體可以被看成是一個方體的格數(shù)據(jù)倉32方體的操作DMQL中的方體定義和計算definecubesales[item,city,year]:sum(sales_in_dollars)computecubesales上述的computecube子句可以轉(zhuǎn)化為一個類似于SQL的語句SELECTitem,city,year,SUM(amount)FROMSALESCUBEBYitem,city,year需要計算以下的groupby子句(item,city,year)(item,city),(itemyear),(city,year)(item),(city),(year)()(item)(city)()(year)(city,item)(city,year)(item,year)(city,item,year)數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]方體的操作DMQL中的方體定義和計算(item)(city)33方體計算：關(guān)系型OLAP的方法（ROLAP）方體計算的有效方法基于ROLAP的方體算法(Agarwaletal’96)基于數(shù)組的算法(MOLAP)(Zhaoetal’97)自底向上的計算方法(Beyer&Ramarkrishnan’99)H-cubing技術(shù)(Han,Pei,Dong&Wang:SIGMOD’01)基于ROLAP的方法將排序、散列(hashing)和分組操作應(yīng)用于維的屬性，以便對相關(guān)元組重新排序和聚類在某些子聚集上分組，作為“部分分組步驟”?？梢杂梢郧坝嬎愕木奂嬎阈碌木奂?，而不必有基本事實表計算數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]方體計算：關(guān)系型OLAP的方法（ROLAP）方體計算的有效方34方體計算的多路數(shù)組聚集方法(1)將數(shù)組分成塊（chunk,一個可以裝入內(nèi)存的小子方）壓縮的稀疏數(shù)組尋址：(chunk_id,offset)通過訪問立方體單元，計算聚集?？梢詢?yōu)化訪問單元組的次序，使得每個單元被訪問的次數(shù)最小化，從而減少內(nèi)存訪問和磁盤I/O的開銷。A(month)B29303132123459131415166463626148474645a1a0c3c2c1c0b3b2b1b0a2a3C(item)B(city)442856402452362060哪個是多路數(shù)組聚集的最佳遍歷次序？數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]方體計算的多路數(shù)組聚集方法(1)將數(shù)組分成塊（chunk,一35方體計算的多路數(shù)組聚集方法(2)A(month)40B29303132123459131415166463626148474645a1a0c3c2c1c0b3b2b1b0a2a3C(item)4000442856402452362060B(city)400數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]方體計算的多路數(shù)組聚集方法(2)A(month)B2930336方體計算的多路數(shù)組聚集方法(3)AB29303132123459131415166463626148474645a1a0c3c2c1c0b3b2b1b0a2a3C442856402452362060B數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]方體計算的多路數(shù)組聚集方法(3)AB29303132123437方體計算的多路數(shù)組聚集方法(4)方法：各平面要按他們大小的升序排列進行排序和計算詳見書P50例2.12思想：將最小的平面放在內(nèi)存中，對最大的平面每次只是取并計算一塊這種方法的限制：只有在維數(shù)比較小的情況下，效果才比較理想(要計算的立方體隨維數(shù)指數(shù)增長)如果維的數(shù)目比較多，可以考慮使用“自底向上的計算”或者時“冰山方體”計算數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]方體計算的多路數(shù)組聚集方法(4)方法：各平面要按他們大小的升38元數(shù)據(jù)存儲在數(shù)據(jù)倉庫中，元數(shù)據(jù)就是定義數(shù)據(jù)倉庫對象的數(shù)據(jù)。關(guān)于數(shù)據(jù)的數(shù)據(jù)。有以下幾種：數(shù)據(jù)倉庫結(jié)構(gòu)的描述倉庫模式、視圖、維、層次結(jié)構(gòu)、導(dǎo)出數(shù)據(jù)的定義，以及數(shù)據(jù)集市的位置和內(nèi)容操作元數(shù)據(jù)包括數(shù)據(jù)血統(tǒng)(datalineage)、數(shù)據(jù)類別(currencyofdata)，以及監(jiān)視信息匯總用的算法：包括度量和維定義算法，數(shù)據(jù)粒度、分割、主題領(lǐng)域、聚集、匯總、預(yù)定義的查詢和報告由操作環(huán)境到數(shù)據(jù)倉庫的映射：數(shù)據(jù)提取、清理、轉(zhuǎn)換規(guī)則、剪裁規(guī)則、安全等關(guān)于系統(tǒng)性能的數(shù)據(jù)索引，profiles，數(shù)據(jù)刷新、更新或復(fù)制事件的調(diào)度和定時商務(wù)元數(shù)據(jù)商務(wù)術(shù)語和定義、數(shù)據(jù)擁有者信息、收費政策等數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]元數(shù)據(jù)存儲在數(shù)據(jù)倉庫中，元數(shù)據(jù)就是定義數(shù)據(jù)倉庫對象的數(shù)據(jù)。關(guān)39元數(shù)據(jù)的使用元數(shù)據(jù)與數(shù)據(jù)一起，構(gòu)成了數(shù)據(jù)倉庫中的數(shù)據(jù)模型，元數(shù)據(jù)所描述的更多的是這個模型的結(jié)構(gòu)方面的信息。在數(shù)據(jù)倉庫中，元數(shù)據(jù)的主要用途包括：用作目錄，幫助決策支持系統(tǒng)分析者對數(shù)據(jù)倉庫的內(nèi)容定義作為數(shù)據(jù)倉庫和操作性數(shù)據(jù)庫之間進行數(shù)據(jù)轉(zhuǎn)換時的映射標(biāo)準(zhǔn)用于指導(dǎo)當(dāng)前細(xì)節(jié)數(shù)據(jù)和稍加綜合的數(shù)據(jù)之間的匯總算法，指導(dǎo)稍加綜合的數(shù)據(jù)和高度綜合的數(shù)據(jù)之間的匯總算法。數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]元數(shù)據(jù)的使用元數(shù)據(jù)與數(shù)據(jù)一起，構(gòu)成了數(shù)據(jù)倉庫中的數(shù)據(jù)模型，元40數(shù)據(jù)倉庫后端工具和使用程序用于加載和刷新它的數(shù)據(jù)數(shù)據(jù)提?。簭亩鄠€外部的異構(gòu)數(shù)據(jù)源收集數(shù)據(jù)數(shù)據(jù)清理檢測數(shù)據(jù)種的錯誤并作可能的訂正數(shù)據(jù)變換將數(shù)據(jù)由歷史或主機的格式轉(zhuǎn)化為數(shù)據(jù)倉庫的格式裝載排序、匯總、合并、計算視圖，檢查完整性，并建立索引和分區(qū)刷新將數(shù)據(jù)源的更新傳播到數(shù)據(jù)倉庫中數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)倉庫后端工具和使用程序用于加載和刷新它的數(shù)據(jù)數(shù)據(jù)倉庫和數(shù)41數(shù)據(jù)倉庫的應(yīng)用數(shù)據(jù)倉庫的三種應(yīng)用信息處理支持查詢和基本的統(tǒng)計分析，并使用交叉表、表、圖標(biāo)和圖進行報表處理分析處理對數(shù)據(jù)倉庫中的數(shù)據(jù)進行多維數(shù)據(jù)分析支持基本的OLAP操作，切塊、切片、上卷、下鉆、轉(zhuǎn)軸等數(shù)據(jù)挖掘從隱藏模式中發(fā)現(xiàn)知識支持關(guān)聯(lián)分析，構(gòu)建分析性模型，分類和預(yù)測，并用可視化工具呈現(xiàn)挖掘的結(jié)果三種應(yīng)用間的差別（P62）數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)倉庫的應(yīng)用數(shù)據(jù)倉庫的三種應(yīng)用數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP42從聯(lián)機分析處理到聯(lián)機分析挖掘為什么要聯(lián)機分析挖掘（P63）數(shù)據(jù)倉庫中有高質(zhì)量的數(shù)據(jù)數(shù)據(jù)倉庫中存放著整合的、一致的、清理過的數(shù)據(jù)圍繞數(shù)據(jù)倉庫的信息處理結(jié)構(gòu)存取、集成、合并多個異種數(shù)據(jù)庫的轉(zhuǎn)換，ODBC/OLEDB連接,Web訪問和訪問工具等基于OLAP的探測式數(shù)據(jù)分析使用上卷、下鉆、切片、轉(zhuǎn)軸等技術(shù)進行數(shù)據(jù)挖掘數(shù)據(jù)挖掘功能的聯(lián)機選擇多種數(shù)據(jù)挖掘功能、算法和任務(wù)的整合數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]從聯(lián)機分析處理到聯(lián)機分析挖掘為什么要聯(lián)機分析挖掘（P63）數(shù)43聯(lián)機分析挖掘的體系結(jié)構(gòu)數(shù)據(jù)倉庫元數(shù)據(jù)多維數(shù)據(jù)庫OLAM引擎OLAP引擎用戶圖形界面API數(shù)據(jù)方體API數(shù)據(jù)庫API數(shù)據(jù)清理數(shù)據(jù)集成Layer3OLAP/OLAMLayer2多維數(shù)據(jù)庫Layer1數(shù)據(jù)存儲Layer4用戶界面數(shù)據(jù)的過濾、集成過濾數(shù)據(jù)庫基于約束的數(shù)據(jù)挖掘挖掘結(jié)果數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]聯(lián)機分析挖掘的體系結(jié)構(gòu)數(shù)據(jù)倉庫元數(shù)據(jù)多維數(shù)據(jù)庫OLAMOLA44數(shù)據(jù)預(yù)處理數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)預(yù)處理數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]45主要內(nèi)容為什么要預(yù)處理數(shù)據(jù)？數(shù)據(jù)清理數(shù)據(jù)集成和變換數(shù)據(jù)歸約數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]主要內(nèi)容為什么要預(yù)處理數(shù)據(jù)？數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)46為什么要預(yù)處理數(shù)據(jù)？現(xiàn)實世界的數(shù)據(jù)是“骯臟的”不完整的：有些感興趣的屬性缺少屬性值，或僅包含聚集數(shù)據(jù)含噪聲的：包含錯誤或者“孤立點”不一致的：在編碼或者命名上存在差異沒有高質(zhì)量的數(shù)據(jù)，就沒有高質(zhì)量的挖掘結(jié)果高質(zhì)量的決策必須依賴高質(zhì)量的數(shù)據(jù)數(shù)據(jù)倉庫需要對高質(zhì)量的數(shù)據(jù)進行一致地集成數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]為什么要預(yù)處理數(shù)據(jù)？現(xiàn)實世界的數(shù)據(jù)是“骯臟的”數(shù)據(jù)倉庫和數(shù)據(jù)47數(shù)據(jù)質(zhì)量的多維度量一個廣為認(rèn)可的多維度量觀點：精確度完整度一致性合乎時機可信度附加價值可訪問性跟數(shù)據(jù)本身的含義相關(guān)的內(nèi)在的、上下文的、表象的數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)質(zhì)量的多維度量一個廣為認(rèn)可的多維度量觀點：數(shù)據(jù)倉庫和數(shù)據(jù)48數(shù)據(jù)預(yù)處理的主要任務(wù)數(shù)據(jù)清理填寫空缺的值，平滑噪聲數(shù)據(jù)，識別、刪除孤立點，解決不一致性數(shù)據(jù)集成集成多個數(shù)據(jù)庫、數(shù)據(jù)立方體或文件數(shù)據(jù)變換規(guī)范化和聚集數(shù)據(jù)歸約得到數(shù)據(jù)集的壓縮表示，它小得多，但可以得到相同或相近的結(jié)果數(shù)據(jù)離散化數(shù)據(jù)歸約的一部分，通過概念分層和數(shù)據(jù)的離散化來規(guī)約數(shù)據(jù)，對數(shù)字型數(shù)據(jù)特別重要數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)預(yù)處理的主要任務(wù)數(shù)據(jù)清理數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)49數(shù)據(jù)預(yù)處理的形式數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)預(yù)處理的形式數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]50空缺值數(shù)據(jù)并不總是完整的例如：數(shù)據(jù)庫表中，很多條記錄的對應(yīng)字段沒有相應(yīng)值，比如銷售表中的顧客收入引起空缺值的原因設(shè)備異常與其他已有數(shù)據(jù)不一致而被刪除因為誤解而沒有被輸入的數(shù)據(jù)在輸入時，有些數(shù)據(jù)應(yīng)為得不到重視而沒有被輸入對數(shù)據(jù)的改變沒有進行日志記載空缺值要經(jīng)過推斷而補上數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]空缺值數(shù)據(jù)并不總是完整的數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[151如何處理空缺值忽略元組：當(dāng)類標(biāo)號缺少時通常這么做（假定挖掘任務(wù)設(shè)計分類或描述），當(dāng)每個屬性缺少值的百分比變化很大時，它的效果非常差。人工填寫空缺值：工作量大，可行性低使用一個全局變量填充空缺值：比如使用unknown或-∞使用屬性的平均值填充空缺值使用與給定元組屬同一類的所有樣本的平均值使用最可能的值填充空缺值：使用像Bayesian公式或判定樹這樣的基于推斷的方法數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]如何處理空缺值忽略元組：當(dāng)類標(biāo)號缺少時通常這么做（假定挖掘任52噪聲數(shù)據(jù)噪聲：一個測量變量中的隨機錯誤或偏差引起不正確屬性值的原因數(shù)據(jù)收集工具的問題數(shù)據(jù)輸入錯誤數(shù)據(jù)傳輸錯誤技術(shù)限制命名規(guī)則的不一致其它需要數(shù)據(jù)清理的數(shù)據(jù)問題重復(fù)記錄不完整的數(shù)據(jù)不一致的數(shù)據(jù)數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]噪聲數(shù)據(jù)噪聲：一個測量變量中的隨機錯誤或偏差數(shù)據(jù)倉庫和數(shù)據(jù)挖53如何處理噪聲數(shù)據(jù)分箱(binning):首先排序數(shù)據(jù)，并將他們分到等深的箱中然后可以按箱的平均值平滑、按箱中值平滑、按箱的邊界平滑等等聚類：監(jiān)測并且去除孤立點計算機和人工檢查結(jié)合計算機檢測可疑數(shù)據(jù)，然后對它們進行人工判斷回歸通過讓數(shù)據(jù)適應(yīng)回歸函數(shù)來平滑數(shù)據(jù)數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]如何處理噪聲數(shù)據(jù)分箱(binning):數(shù)據(jù)倉庫和數(shù)據(jù)挖掘54數(shù)據(jù)平滑的分箱方法price的排序后數(shù)據(jù)（單位：美元）：4，8，15，21，21，24，25，28，34劃分為（等深的）箱：箱1：4，8，15箱2：21，21，24箱3：25，28，34用箱平均值平滑：箱1：9，9，9箱2：22，22，22箱3：29，29，29用箱邊界平滑：箱1：4，4，15箱2：21，21，24箱3：25，25，34數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)平滑的分箱方法price的排序后數(shù)據(jù)（單位：美元）：4，55聚類數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]聚類數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]56回歸xyy=x+1X1Y1Y1’數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]回歸xyy=x+1X1Y1Y1’數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的57數(shù)據(jù)集成數(shù)據(jù)集成：將多個數(shù)據(jù)源中的數(shù)據(jù)整合到一個一致的存儲中模式集成：整合不同數(shù)據(jù)源中的元數(shù)據(jù)實體識別問題：匹配來自不同數(shù)據(jù)源的現(xiàn)實世界的實體，比如：A.cust-id=B.customer_no檢測并解決數(shù)據(jù)值的沖突對現(xiàn)實世界中的同一實體，來自不同數(shù)據(jù)源的屬性值可能是不同的可能的原因：不同的數(shù)據(jù)表示，不同的度量等等數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)集成數(shù)據(jù)集成：數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]58處理數(shù)據(jù)集成中的冗余數(shù)據(jù)集成多個數(shù)據(jù)庫時，經(jīng)常會出現(xiàn)冗余數(shù)據(jù)同一屬性在不同的數(shù)據(jù)庫中會有不同的字段名一個屬性可以由另外一個表導(dǎo)出，如“年薪”有些冗余可以被相關(guān)分析檢測到仔細(xì)將多個數(shù)據(jù)源中的數(shù)據(jù)集成起來，能夠減少或避免結(jié)果數(shù)據(jù)中的冗余與不一致性，從而可以提高挖掘的速度和質(zhì)量。數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]處理數(shù)據(jù)集成中的冗余數(shù)據(jù)集成多個數(shù)據(jù)庫時，經(jīng)常會出現(xiàn)冗余數(shù)據(jù)59數(shù)據(jù)變換 平滑：去除數(shù)據(jù)中的噪聲聚集：匯總，數(shù)據(jù)立方體的構(gòu)建數(shù)據(jù)概化：沿概念分層向上匯總規(guī)范化：將數(shù)據(jù)按比例縮放，使之落入一個小的特定區(qū)間最?。畲笠?guī)范化z-score規(guī)范化小數(shù)定標(biāo)規(guī)范化屬性構(gòu)造通過現(xiàn)有屬性構(gòu)造新的屬性，并添加到屬性集中。數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)變換 平滑：去除數(shù)據(jù)中的噪聲數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP60數(shù)據(jù)變換——規(guī)范化最?。畲笠?guī)范化z-score規(guī)范化小數(shù)定標(biāo)規(guī)范化其中，j是使Max(||)<1的最小整數(shù)數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)變換——規(guī)范化最?。畲笠?guī)范化其中，j是使Max(|61數(shù)據(jù)歸約策略數(shù)據(jù)倉庫中往往存有海量數(shù)據(jù)，在其上進行復(fù)雜的數(shù)據(jù)分析與挖掘需要很長的時間數(shù)據(jù)歸約數(shù)據(jù)歸約可以用來得到數(shù)據(jù)集的歸約表示，它小得多，但可以產(chǎn)生相同的（或幾乎相同的）分析結(jié)果數(shù)據(jù)歸約策略數(shù)據(jù)立方體聚集維歸約數(shù)據(jù)壓縮數(shù)值歸約離散化和概念分層產(chǎn)生用于數(shù)據(jù)歸約的時間不應(yīng)當(dāng)超過或“抵消”在歸約后的數(shù)據(jù)上挖掘節(jié)省的時間。數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)歸約策略數(shù)據(jù)倉庫中往往存有海量數(shù)據(jù)，在其上進行復(fù)雜的數(shù)據(jù)62數(shù)據(jù)立方體聚集最底層的方體對應(yīng)于基本方體基本方體對應(yīng)于感興趣的實體在數(shù)據(jù)立方體中存在著不同級別的匯總數(shù)據(jù)立方體可以看成方體的格每個較高層次的抽象將進一步減少結(jié)果數(shù)據(jù)數(shù)據(jù)立方體提供了對預(yù)計算的匯總數(shù)據(jù)的快速訪問使用與給定任務(wù)相關(guān)的最小方體在可能的情況下，對于匯總數(shù)據(jù)的查詢應(yīng)當(dāng)使用數(shù)據(jù)立方體數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)立方體聚集最底層的方體對應(yīng)于基本方體數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的63維歸約通過刪除不相干的屬性或維減少數(shù)據(jù)量屬性子集選擇找出最小屬性集，使得數(shù)據(jù)類的概率分布盡可能的接近使用所有屬性的原分布減少出現(xiàn)在發(fā)現(xiàn)模式上的屬性的數(shù)目，使得模式更易于理解啟發(fā)式的（探索性的）方法逐步向前選擇逐步向后刪除向前選擇和向后刪除相結(jié)合判定歸納樹數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]維歸約通過刪除不相干的屬性或維減少數(shù)據(jù)量數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的64探索性選擇方法d個屬性有2d個可能的子集逐步向前選擇由空屬性集開始，選擇原屬性集中最好的屬性，并將其添加入該集合，重復(fù)該步驟。逐步向后刪除由整個屬性集開始，每一步都刪除掉尚在屬性集中的最壞屬性向前選擇和向后刪除相結(jié)合每一步選擇一個最好屬性，并刪除一個最壞屬性可以使用一個臨界值來判定上述三種方法的結(jié)束條件判定歸納樹數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]探索性選擇方法d個屬性有2d個可能的子集數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的65數(shù)據(jù)壓縮有損壓縮VS.無損壓縮字符串壓縮有廣泛的理論基礎(chǔ)和精妙的算法通常是無損壓縮在解壓縮前對字符串的操作非常有限音頻/視頻壓縮通常是有損壓縮，壓縮精度可以遞進選擇有時可以在不解壓整體數(shù)據(jù)的情況下，重構(gòu)某個片斷兩種有損數(shù)據(jù)壓縮的方法：小波變換和主要成分分析數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)壓縮有損壓縮VS.無損壓縮數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLA66數(shù)值歸約通過選擇替代的、較小的數(shù)據(jù)表示形式來減少數(shù)據(jù)量有參方法：使用一個參數(shù)模型估計數(shù)據(jù)，最后只要存儲參數(shù)即可。線性回歸方法：Y=α+βX多元回歸：線性回歸的擴充對數(shù)線性模型：近似離散的多維數(shù)據(jù)概率分布無參方法：直方圖聚類選樣數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)值歸約通過選擇替代的、較小的數(shù)據(jù)表示形式來減少數(shù)據(jù)量數(shù)據(jù)倉67直方圖一種流行的數(shù)據(jù)歸約技術(shù)將某屬性的數(shù)據(jù)劃分為不相交的子集，或桶，桶中放置該值的出現(xiàn)頻率桶和屬性值的劃分規(guī)則等寬等深V-最優(yōu)MaxDiff數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]直方圖一種流行的數(shù)據(jù)歸約技術(shù)數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)68聚類將數(shù)據(jù)集劃分為聚類，然后通過聚類來表示數(shù)據(jù)集如果數(shù)據(jù)可以組成各種不同的聚類，則該技術(shù)非常有效，反之如果數(shù)據(jù)界線模糊，則方法無效數(shù)據(jù)可以分層聚類，并被存儲在多層索引樹中聚類的定義和算法都有很多選擇數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]聚類將數(shù)據(jù)集劃分為聚類，然后通過聚類來表示數(shù)據(jù)集數(shù)據(jù)倉庫和數(shù)69選樣允許用數(shù)據(jù)的較小隨機樣本（子集）表示大的數(shù)據(jù)集對數(shù)據(jù)集D的樣本選擇：簡單隨機選擇n個樣本，不回放：由D的N個元組中抽取n個樣本簡單隨機選擇n個樣本，回放：過程同上，只是元組被抽取后，將被回放，可能再次被抽取聚類選樣：D中元組被分入M個互不相交的聚類中，可在其中的m個聚類上進行簡單隨機選擇（m<M）分層選樣：D被劃分為互不相交的“層”，則可通過對每一層的簡單隨機選樣得到D的分層選樣數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]選樣允許用數(shù)據(jù)的較小隨機樣本（子集）表示大的數(shù)據(jù)集數(shù)據(jù)倉庫和70離散化三種類型的屬性值：名稱型——e.g.無序集合中的值序數(shù)——e.g.有序集合中的值連續(xù)值——e.g.實數(shù)離散化將連續(xù)屬性的范圍劃分為區(qū)間有效的規(guī)約數(shù)據(jù)基于判定樹的分類挖掘基于判定樹的分類挖掘的大部分時間花在數(shù)據(jù)的分類和比較上（比如一個判定條件為：>400?，0－1000的整數(shù)將在比較1000次后得出結(jié)果，但是如果先將這1000個值劃分為10個區(qū)間：0-100,100-200…900-1000，則只要比較10次就可以得出結(jié)果）離散化的數(shù)值用于進一步分析數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]離散化三種類型的屬性值：數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[171離散化和概念分層離散化通過將屬性域劃分為區(qū)間，減少給定連續(xù)屬性值的個數(shù)。區(qū)間的標(biāo)號可以代替實際的數(shù)據(jù)值。概念分層通過使用高層的概念（比如：青年、中年、老年）來替代底層的屬性值（比如：實際的年齡數(shù)據(jù)值）來規(guī)約數(shù)據(jù)概念分層后，數(shù)據(jù)的細(xì)節(jié)丟失了，但是概化后的數(shù)據(jù)更有意義，更容易解釋，而且所需的存儲空間更少。有效的減少I/O支出數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]離散化和概念分層離散化數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]72數(shù)據(jù)數(shù)值的離散化和概念分層生成分箱（binning）分箱技術(shù)遞歸的用于結(jié)果劃分，可以產(chǎn)生概念分層。分箱、遞歸的：比如將10,000個值，每個箱子中放10個，則可以將其規(guī)約為1000個值；如果要求將這10,000個值規(guī)約為10個概念，則只要將上述分箱方法遞歸的使用3次就可以了。直方圖分析（histogram）直方圖分析方法遞歸的應(yīng)用于每一部分，可以自動產(chǎn)生多級概念分層。聚類分析將數(shù)據(jù)劃分成簇，每個簇形成同一個概念層上的一個節(jié)點，每個簇可再分成多個子簇，形成子節(jié)點?；陟氐碾x散化通過自然劃分分段數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)數(shù)值的離散化和概念分層生成分箱（binning）數(shù)據(jù)倉庫73通過自然劃分分段將數(shù)值區(qū)域劃分為相對一致的、易于閱讀的、看上去更直觀或自然的區(qū)間。自然劃分的3-4-5規(guī)則：如果一個區(qū)間最高有效位上包含3，6，7或9個不同的值，就將該區(qū)間劃分為3個等寬子區(qū)間；如果一個區(qū)間最高有效位上包含2，4，或8個不同的值，就將該區(qū)間劃分為4個等寬子區(qū)間；如果一個區(qū)間最高有效位上包含1，5，或10個不同的值，就將該區(qū)間劃分為5個等寬子區(qū)間；將該規(guī)則遞歸的應(yīng)用于每個子區(qū)間對于數(shù)據(jù)集中出現(xiàn)的最大值和最小值的極端分布，為了避免上述方法出現(xiàn)的結(jié)果扭曲，可以在頂層分段時，選用一個大部分的概率空間。e.g.5%-95%比如年收入最低的可能時5，000，最高的可能是50萬，如果之間進行區(qū)間劃分，就會將頂層劃分為5個分段（每10萬1個），但是95％以上的人他們的收入都是集中在【10,000~100,000】的范圍，也就是說都集中在第一段，這樣的分段就會引起結(jié)果的扭曲…數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]通過自然劃分分段將數(shù)值區(qū)域劃分為相對一致的、易于閱讀的、看上74分類數(shù)據(jù)的概念分層生成分類數(shù)據(jù)是指無序的離散數(shù)據(jù)，它有有限個值（可能很多個）。分類數(shù)據(jù)的概念分層生成方法：由用戶或?qū)＜以谀Ｊ郊夛@式的說明屬性的部分序。通過顯示數(shù)據(jù)分組說明分層結(jié)構(gòu)的一部分。說明屬性集，但不說明它們的偏序，然后系統(tǒng)根據(jù)算法自動產(chǎn)生屬性的序，構(gòu)造有意義的概念分層。對只說明部分屬性集的情況，則可根據(jù)數(shù)據(jù)庫模式中的數(shù)據(jù)語義定義對屬性的捆綁信息，來恢復(fù)相關(guān)的屬性。數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]分類數(shù)據(jù)的概念分層生成分類數(shù)據(jù)是指無序的離散數(shù)據(jù)，它有有限個75演講完畢，謝謝聽講!再見，seeyouagain3rew2022/12/17數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]演講完畢，謝謝聽講!再見，seeyouagain3rew76數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)2022/12/17數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)2022/12/13數(shù)據(jù)倉庫77數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)什么是數(shù)據(jù)倉庫？多維數(shù)據(jù)模型數(shù)據(jù)倉庫的體系結(jié)構(gòu)數(shù)據(jù)倉庫實現(xiàn)數(shù)據(jù)立方體技術(shù)的進一步發(fā)展從數(shù)據(jù)倉庫到數(shù)據(jù)挖掘數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)什么是數(shù)據(jù)倉庫？數(shù)據(jù)倉庫和78什么是數(shù)據(jù)倉庫?數(shù)據(jù)倉庫的定義很多，但卻很難有一種嚴(yán)格的定義它是一個提供決策支持功能的數(shù)據(jù)庫，它與公司的操作數(shù)據(jù)庫分開維護。為統(tǒng)一的歷史數(shù)據(jù)分析提供堅實的平臺，對信息處理提供支持“數(shù)據(jù)倉庫是一個面向主題的、集成的、隨時間而變化的、不容易丟失的數(shù)據(jù)集合，支持管理部門的決策過程.”—W.H.Inmon（數(shù)據(jù)倉庫構(gòu)造方面的領(lǐng)頭設(shè)計師）建立數(shù)據(jù)倉庫(datawarehousing):構(gòu)造和使用數(shù)據(jù)倉庫的過程。數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]什么是數(shù)據(jù)倉庫?數(shù)據(jù)倉庫的定義很多，但卻很難有一種嚴(yán)格的定義79數(shù)據(jù)倉庫關(guān)鍵特征一——面向主題圍繞一些主題，如顧客、供應(yīng)商、產(chǎn)品等關(guān)注決策者的數(shù)據(jù)建模與分析，而不是集中于組織機構(gòu)的日常操作和事務(wù)處理。排除對于決策無用的數(shù)據(jù)，提供特定主題的簡明視圖。數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)倉庫關(guān)鍵特征一——面向主題圍繞一些主題，如顧客、供應(yīng)商、80數(shù)據(jù)倉庫關(guān)鍵特征二——數(shù)據(jù)集成一個數(shù)據(jù)倉庫是通過集成多個異種數(shù)據(jù)源來構(gòu)造的。關(guān)系數(shù)據(jù)庫，一般文件，聯(lián)機事務(wù)處理記錄使用數(shù)據(jù)清理和數(shù)據(jù)集成技術(shù)。確保命名約定、編碼結(jié)構(gòu)、屬性度量等的一致性。當(dāng)數(shù)據(jù)被移到數(shù)據(jù)倉庫時，它們要經(jīng)過轉(zhuǎn)化。數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)倉庫關(guān)鍵特征二——數(shù)據(jù)集成一個數(shù)據(jù)倉庫是通過集成多個異種81數(shù)據(jù)倉庫關(guān)鍵特征三——隨時間而變化數(shù)據(jù)倉庫的時間范圍比操作數(shù)據(jù)庫系統(tǒng)要長的多。操作數(shù)據(jù)庫系統(tǒng):主要保存當(dāng)前數(shù)據(jù)。數(shù)據(jù)倉庫:從歷史的角度提供信息（比如過去5-10年）數(shù)據(jù)倉庫中的每一個關(guān)鍵結(jié)構(gòu)都隱式或顯式地包含時間元素，而操作數(shù)據(jù)庫中的關(guān)鍵結(jié)構(gòu)可能就不包括時間元素。數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)倉庫關(guān)鍵特征三——隨時間而變化數(shù)據(jù)倉庫的時間范圍比操作數(shù)82數(shù)據(jù)倉庫關(guān)鍵特征四——數(shù)據(jù)不易丟失盡管數(shù)據(jù)倉庫中的數(shù)據(jù)來自于操作數(shù)據(jù)庫，但他們卻是在物理上分離保存的。操作數(shù)據(jù)庫的更新操作不會出現(xiàn)在數(shù)據(jù)倉庫環(huán)境下。不需要事務(wù)處理，恢復(fù)，和并發(fā)控制等機制只需要兩種數(shù)據(jù)訪問:數(shù)據(jù)的初始轉(zhuǎn)載和數(shù)據(jù)訪問（讀操作）數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)倉庫關(guān)鍵特征四——數(shù)據(jù)不易丟失盡管數(shù)據(jù)倉庫中的數(shù)據(jù)來自于83數(shù)據(jù)倉庫與異種數(shù)據(jù)庫集成傳統(tǒng)的異種數(shù)據(jù)庫集成:在多個異種數(shù)據(jù)庫上建立包裝程序（wrappers）和中介程序（mediators）查詢驅(qū)動方法——當(dāng)從客戶端傳過來一個查詢時，首先使用元數(shù)據(jù)字典將查詢轉(zhuǎn)換成相應(yīng)異種數(shù)據(jù)庫上的查詢；然后，將這些查詢映射和發(fā)送到局部查詢處理器缺點：復(fù)雜的信息過慮和集成處理，競爭資源數(shù)據(jù)倉庫:更新驅(qū)動將來自多個異種源的信息預(yù)先集成，并存儲在數(shù)據(jù)倉庫中，供直接查詢和分析高性能數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)倉庫與異種數(shù)據(jù)庫集成傳統(tǒng)的異種數(shù)據(jù)庫集成:數(shù)據(jù)倉庫和數(shù)84數(shù)據(jù)倉庫與操作數(shù)據(jù)庫系統(tǒng)操作數(shù)據(jù)庫系統(tǒng)的主要任務(wù)是聯(lián)機事務(wù)處理OLTP日常操作:購買，庫存，銀行，制造，工資，注冊，記帳等數(shù)據(jù)倉庫的主要任務(wù)是聯(lián)機分析處理OLAP數(shù)據(jù)分析和決策OLTP和OLAP的主要區(qū)別：用戶和系統(tǒng)的面向性:顧客VS.市場數(shù)據(jù)內(nèi)容:當(dāng)前的、詳細(xì)的數(shù)據(jù)VS.歷史的、匯總的數(shù)據(jù)數(shù)據(jù)庫設(shè)計:實體－聯(lián)系模型(ER)和面向應(yīng)用的數(shù)據(jù)庫設(shè)計VS.星型/雪花模型和面向主題的數(shù)據(jù)庫設(shè)計視圖:當(dāng)前的、企業(yè)內(nèi)部的數(shù)據(jù)VS.經(jīng)過演化的、集成的數(shù)據(jù)訪問模式:事務(wù)操作VS.只讀查詢（但很多是復(fù)雜的查詢）數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)倉庫與操作數(shù)據(jù)庫系統(tǒng)操作數(shù)據(jù)庫系統(tǒng)的主要任務(wù)是聯(lián)機事務(wù)處85OLTP系統(tǒng)和OLAP系統(tǒng)的比較特征OLTPOLAP任務(wù)特點操作處理信息處理面向事務(wù)分析用戶辦事員、DBA、數(shù)據(jù)庫專業(yè)人員經(jīng)理、主管、數(shù)據(jù)分析員功能日常操作長期信息分析、決策支持DB設(shè)計基于E-R，面向應(yīng)用星型/雪花，面向主體數(shù)據(jù)最新的、詳細(xì)的歷史的、匯總的視圖詳細(xì)的、二維關(guān)系型匯總的、多維的任務(wù)單位簡短的事務(wù)復(fù)雜的查詢訪問數(shù)據(jù)量數(shù)十個數(shù)百萬個用戶數(shù)數(shù)千個數(shù)百個DB規(guī)模100M-數(shù)GB100GB-數(shù)TB優(yōu)先性高性能、高可用性高靈活性、端點用戶自治度量事務(wù)吞吐量查詢吞吐量、響應(yīng)時間數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]OLTP系統(tǒng)和OLAP系統(tǒng)的比較特征OLTPOLAP任務(wù)特點86為什么需要一個分離的數(shù)據(jù)倉庫?提高兩個系統(tǒng)的性能DBMS是為OLTP而設(shè)計的：存儲方式,索引,并發(fā)控制,恢復(fù)數(shù)據(jù)倉庫是為OLAP而設(shè)計：復(fù)雜的OLAP查詢,多維視圖，匯總不同的功能和不同的數(shù)據(jù):歷史數(shù)據(jù):決策支持需要歷史數(shù)據(jù)，而這些數(shù)據(jù)在操作數(shù)據(jù)庫中一般不會去維護數(shù)據(jù)匯總：決策支持需要將來自異種源的數(shù)據(jù)統(tǒng)一（如聚集和匯總）數(shù)據(jù)質(zhì)量:不同的源使用不一致的數(shù)據(jù)表示、編碼和格式，對這些數(shù)據(jù)進行有效的分析需要將他們轉(zhuǎn)化后進行集成數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]為什么需要一個分離的數(shù)據(jù)倉庫?提高兩個系統(tǒng)的性能數(shù)據(jù)倉庫和數(shù)87從關(guān)系表和電子表格到數(shù)據(jù)立方體數(shù)據(jù)倉庫和數(shù)據(jù)倉庫技術(shù)基于多維數(shù)據(jù)模型。這個模型把數(shù)據(jù)看作是數(shù)據(jù)立方體形式。多維數(shù)據(jù)模型圍繞中心主題組織，該主題用事實表表示。事實是數(shù)值度量的。數(shù)據(jù)立方體允許以多維數(shù)據(jù)建模和觀察。它由維和事實定義。維是關(guān)于一個組織想要記錄的視角或觀點。每個維都有一個表與之相關(guān)聯(lián)，稱為維表。事實表包括事實的名稱或度量以及每個相關(guān)維表的關(guān)鍵字在數(shù)據(jù)倉庫的研究文獻中，一個n維的數(shù)據(jù)的立方體叫做基本方體。給定一個維的集合，我們可以構(gòu)造一個方體的格，每個都在不同的匯總級或不同的數(shù)據(jù)子集顯示數(shù)據(jù)，方體的格稱為數(shù)據(jù)立方體。0維方體存放最高層的匯總，稱作頂點方體；而存放最底層匯總的方體則稱為基本方體。教科書第31頁數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]從關(guān)系表和電子表格到數(shù)據(jù)立方體數(shù)據(jù)倉庫和數(shù)據(jù)倉庫技術(shù)基于多維88數(shù)據(jù)立方體——一個方體的格alltimeitemlocationsuppliertime,itemtime,locationtime,supplieritem,locationitem,supplierlocation,suppliertime,item,locationtime,item,suppliertime,location,supplieritem,location,suppliertime,item,location,supplier0-D(apex)cuboid1-Dcuboids2-Dcuboids3-Dcuboids4-D(base)cuboid數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)立方體——一個方體的格alltimeitemlocati89數(shù)據(jù)倉庫的概念模型最流行的數(shù)據(jù)倉庫概念模型是多維數(shù)據(jù)模型。這種模型可以以星型模式、雪花模式、或事實星座模式的形式存在。星型模式（Starschema）:事實表在中心，周圍圍繞地連接著維表（每維一個），事實表含有大量數(shù)據(jù)，沒有冗余。雪花模式（Snowflakeschema）:是星型模式的變種，其中某些維表是規(guī)范化的，因而把數(shù)據(jù)進一步分解到附加表中。結(jié)果，模式圖形成類似于雪花的形狀。事實星座（Factconstellations）:多個事實表共享維表,這種模式可以看作星型模式集，因此稱為星系模式（galaxyschema），或者事實星座（factconstellation）數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)倉庫的概念模型最流行的數(shù)據(jù)倉庫概念模型是多維數(shù)據(jù)模型。這90星型模式實例

time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcitystate_or_provincecountrylocationSalesFactTabletime_keyitem_keybranch_keylocation_keyunits_solddollars_soldavg_salesMeasuresitem_keyitem_namebrandtypesupplier_typeitembranch_keybranch_namebranch_typebranch數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]星型模式實例time_keytimelocation_91雪花模式實例time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcity_keylocationSalesFactTabletime_keyitem_keybranch_keylocation_keyunits_solddollars_soldavg_salesMeasuresitem_keyitem_namebrandtypesupplier_keyitembranch_keybranch_namebranch_typebranchsupplier_keysupplier_typesuppliercity_keycitystate_or_provincecountrycity數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]雪花模式實例time_keytimelocation_key92事實星座模式實例time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcityprovince_or_statecountrylocationSalesFactTabletime_keyitem_keybranch_keylocation_keyunits_solddollars_soldavg_salesMeasuresitem_keyitem_namebrandtypesupplier_typeitembranch_keybranch_namebranch_typebranchShippingFactTabletime_keyitem_keyshipper_keyfrom_locationto_locationdollars_costunits_shippedshipper_keyshipper_namelocation_keyshipper_typeshipper數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]事實星座模式實例time_keytimelocation_k93一種數(shù)據(jù)挖掘查詢語言:DMQLDMQL首先包括定義數(shù)據(jù)倉庫和數(shù)據(jù)集市的語言原語，這包括兩種原語定義：一種是立方體定義，一種是維定義立方體定義(事實表)definecube<cube_name>[<dimension_list>]:<measure_list>維定義(維表)definedimension<dimension_name>as(<attribute_or_subdimension_list>)特殊案例(共享維表的定義)第一次作為維表定義“cubedefinition”然后：definedimension<dimension_name>as<dimension_name_first_time>incube<cube_name_first_time>數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]一種數(shù)據(jù)挖掘查詢語言:DMQLDMQL首先包括定義數(shù)據(jù)倉庫94實例：使用DMQL定義星型模式definecubesales_star[time,item,branch,location]:dollars_sold=sum(sales_in_dollars),avg_sales=avg(sales_in_dollars),units_sold=count(*)definedimensiontimeas(time_key,day,day_of_week,month,quarter,year)definedimensionitemas(item_key,item_name,brand,type,supplier_type)definedimensionbranchas(branch_key,branch_name,branch_type)definedimensionlocationas(location_key,street,city,province_or_state,country)數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]實例：使用DMQL定義星型模式definecubesal95實例：使用DMQL定義雪花模式definecubesales_snowflake[time,item,branch,location]:dollars_sold=sum(sales_in_dollars),avg_sales=avg(sales_in_dollars),units_sold=count(*)definedimensiontimeas(time_key,day,day_of_week,month,quarter,year)definedimensionitemas(item_key,item_name,brand,type,supplier(supplier_key,supplier_type))definedimensionbranchas(branch_key,branch_name,branch_type)definedimensionlocationas(location_key,street,city(city_key,province_or_state,country))數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]實例：使用DMQL定義雪花模式definecubesal96度量的分類一個數(shù)據(jù)立方體的度量是一個數(shù)值函數(shù)，該函數(shù)可以對數(shù)據(jù)立方體的每一個點求值。度量可以根據(jù)其所用的聚集函數(shù)分為三類：分布的(distributive)：將函數(shù)用于n個聚集值得到的結(jié)果和將函數(shù)用于所有數(shù)據(jù)得到的結(jié)果一樣。比如：count()，sum()，min()，max()等代數(shù)的(algebraic)：函數(shù)可以由一個帶M個參數(shù)的代數(shù)函數(shù)計算（M為有界整數(shù)），而每個參數(shù)值都可以有一個分布的聚集函數(shù)求得。比如：avg()，min_N()，standard_deviation()整體的(holistic)：描述函數(shù)的子聚集所需的存儲沒有一個常數(shù)界。比如：median()，mode()，rank()數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]度量的分類一個數(shù)據(jù)立方體的度量是一個數(shù)值函數(shù)，該函數(shù)可以對數(shù)97概念分層：location維的一個概念分層allEuropeNorth_AmericaMexicoCanadaSpainGermanyVancouverM.WindL.Chan..................allregionofficecountryTorontoFrankfurtcity數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]概念分層：location維的一個概念分層allEurope98多維數(shù)據(jù)模型上的OLAP操作上卷(roll-up):匯總數(shù)據(jù)通過一個維的概念分層向上攀升或者通過維規(guī)約下鉆(drill-down)：上卷的逆操作由不太詳細(xì)的數(shù)據(jù)到更詳細(xì)的數(shù)據(jù)，可以通過沿維的概念分層向下或引入新的維來實現(xiàn)切片和切塊(sliceanddice)投影和選擇操作轉(zhuǎn)軸(pivot)立方體的重定位，可視化，或?qū)⒁粋€3維立方體轉(zhuǎn)化維一個2維平面序列其他OLAP操作鉆過(drill_across)：執(zhí)行涉及多個事實表的查詢鉆透(drill_through)：使用關(guān)系SQL機制，鉆到數(shù)據(jù)立方體的底層，到后端關(guān)系表數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]多維數(shù)據(jù)模型上的OLAP操作上卷(roll-up):匯總數(shù)據(jù)99數(shù)據(jù)倉庫設(shè)計：一個商務(wù)分析框架數(shù)據(jù)倉庫設(shè)計中必須考慮的四種視圖自頂向下視圖允許我們選擇數(shù)據(jù)倉庫所需的相關(guān)信息，這些信息能夠滿足當(dāng)前和未來商務(wù)的需求。數(shù)據(jù)源視圖揭示被操作數(shù)據(jù)庫系統(tǒng)所捕獲、存儲和管理的信息數(shù)據(jù)倉庫視圖有事實表和維表所組成，提供存放在數(shù)據(jù)倉庫內(nèi)部的信息，包括預(yù)先計算的綜合與技術(shù)，以及關(guān)于源、日期和源時間等信息商務(wù)查詢視圖從最終用戶的角度透視數(shù)據(jù)倉庫中的數(shù)據(jù)數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)[1]數(shù)據(jù)倉庫設(shè)計：一個商務(wù)分析框架數(shù)據(jù)倉庫設(shè)計中必須考慮的四種視100數(shù)據(jù)倉庫的設(shè)計過程（P43）自頂向下法、自底向上法或者兩者的混合方法自頂向下法：由總體設(shè)計和規(guī)劃開始（成熟）自底向上法：以實驗和原型開始（快速）從軟件過程的觀點瀑布式方法：在進行下一步前，每一步都進行結(jié)構(gòu)化和系統(tǒng)的分析螺旋式方法：功能漸增的系統(tǒng)的快速產(chǎn)生，相繼版本之間間隔很短典型的數(shù)據(jù)倉