數(shù)據(jù)倉庫與數(shù)據(jù)挖掘

1/1012023/1/19第六章數(shù)據(jù)倉庫與數(shù)據(jù)挖掘2/1012023/1/19數(shù)據(jù)挖掘的發(fā)展動(dòng)力

---需要是發(fā)明之母數(shù)據(jù)爆炸問題自動(dòng)數(shù)據(jù)收集工具和成熟的數(shù)據(jù)庫技術(shù)使得大量的數(shù)據(jù)被收集，存儲(chǔ)在數(shù)據(jù)庫、數(shù)據(jù)倉庫或其他信息庫中以待分析。我們擁有豐富的數(shù)據(jù)，但卻缺乏有用的信息

解決方法：數(shù)據(jù)倉庫技術(shù)和數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)倉庫(DataWarehouse)和在線分析處理(OLAP)數(shù)據(jù)挖掘：在大量的數(shù)據(jù)中挖掘感興趣的知識(shí)（規(guī)則，規(guī)律，模式，約束）3/1012023/1/19什么是數(shù)據(jù)挖掘？數(shù)據(jù)挖掘(從數(shù)據(jù)中發(fā)現(xiàn)知識(shí))

從大量的數(shù)據(jù)中挖掘哪些令人感興趣的、有用的、隱含的、先前未知的和可能有用的模式或知識(shí)

挖掘的不僅僅是數(shù)據(jù)（所以“數(shù)據(jù)挖掘”并非一個(gè)精確的用詞）數(shù)據(jù)挖掘的替換詞數(shù)據(jù)庫中的知識(shí)挖掘（KDD）知識(shí)提煉數(shù)據(jù)/模式分析數(shù)據(jù)考古數(shù)據(jù)捕撈、信息收獲等等。4/1012023/1/19數(shù)據(jù)挖掘:數(shù)據(jù)庫中的知識(shí)挖掘(KDD)數(shù)據(jù)挖掘——知識(shí)挖掘的核心數(shù)據(jù)清理數(shù)據(jù)集成數(shù)據(jù)庫數(shù)據(jù)倉庫Knowledge任務(wù)相關(guān)數(shù)據(jù)選擇數(shù)據(jù)挖掘模式評(píng)估5/1012023/1/19KDD的步驟從KDD對(duì)數(shù)據(jù)挖掘的定義中可以看到當(dāng)前研究領(lǐng)域?qū)?shù)據(jù)挖掘的狹義和廣義認(rèn)識(shí)數(shù)據(jù)清理:(這個(gè)可能要占全過程60％的工作量)數(shù)據(jù)集成數(shù)據(jù)選擇數(shù)據(jù)變換數(shù)據(jù)挖掘（選擇適當(dāng)?shù)乃惴▉碚业礁信d趣的模式

—狹義）6.模式評(píng)估7.知識(shí)表示(如圖形等表示方法)6/1012023/1/19典型數(shù)據(jù)挖掘系統(tǒng)的體系結(jié)構(gòu)數(shù)據(jù)倉庫數(shù)據(jù)清洗過濾數(shù)據(jù)庫數(shù)據(jù)庫或數(shù)據(jù)倉庫服務(wù)器數(shù)據(jù)挖掘引擎模式評(píng)估圖形用戶界面知識(shí)庫數(shù)據(jù)集成7/1012023/1/19并非所有的東西都是數(shù)據(jù)挖掘基于數(shù)據(jù)倉庫的OLAP系統(tǒng)OLAP系統(tǒng)專注于數(shù)據(jù)的匯總，而數(shù)據(jù)挖掘系統(tǒng)可以對(duì)數(shù)據(jù)進(jìn)行多種復(fù)雜的處理。機(jī)器學(xué)習(xí)系統(tǒng)，數(shù)據(jù)統(tǒng)計(jì)分析系統(tǒng)這些系統(tǒng)所處理的數(shù)據(jù)容量往往很有限。信息系統(tǒng)專注于數(shù)據(jù)的查詢處理。相比于上述系統(tǒng)，數(shù)據(jù)挖掘系統(tǒng)關(guān)注更廣的范圍，是一個(gè)多學(xué)科的融合8/1012023/1/19在何種數(shù)據(jù)上進(jìn)行數(shù)據(jù)挖掘9/1012023/1/19數(shù)據(jù)挖掘的主要功能

——可以挖掘哪些模式？一般功能描述性的數(shù)據(jù)挖掘預(yù)測(cè)性的數(shù)據(jù)挖掘通常，用戶并不知道在數(shù)據(jù)中能挖掘出什么東西，對(duì)此我們會(huì)在數(shù)據(jù)挖掘中應(yīng)用一些常用的數(shù)據(jù)挖掘功能，挖掘出一些常用的模式，包括：概念/類描述:特性化和區(qū)分關(guān)聯(lián)分析分類和預(yù)測(cè)聚類分析孤立點(diǎn)分析趨勢(shì)和演變分析10/1012023/1/19概念/類描述:特性化和區(qū)分概念描述：為數(shù)據(jù)的特征化和比較產(chǎn)生描述（當(dāng)所描述的概念所指的是一類對(duì)象時(shí)，也稱為類描述）特征化：提供給定數(shù)據(jù)集的簡潔匯總。例：對(duì)AllElectronic公司的“大客戶”（年消費(fèi)額$1000以上）的特征化描述：40－50歲，有固定職業(yè)，信譽(yù)良好，等等區(qū)分：提供兩個(gè)或多個(gè)數(shù)據(jù)集的比較描述。例：11/1012023/1/1關(guān)聯(lián)分析關(guān)聯(lián)規(guī)則挖掘掘：從事務(wù)數(shù)據(jù)庫庫，關(guān)系數(shù)據(jù)據(jù)庫和其他信信息存儲(chǔ)中的的大量數(shù)據(jù)的的項(xiàng)集之間發(fā)發(fā)現(xiàn)有趣的、、頻繁出現(xiàn)的的模式、關(guān)聯(lián)聯(lián)和相關(guān)性。。廣泛的用于購購物籃或事務(wù)務(wù)數(shù)據(jù)分析。。例：12/1012023/1/1分類和預(yù)測(cè)測(cè)1、分類在商商業(yè)上應(yīng)用用最多，其目的是找找出一組能能夠描述數(shù)據(jù)集集合典型特特征的模型型和函數(shù)。。2、數(shù)據(jù)分類類實(shí)際上就就是從數(shù)據(jù)據(jù)庫對(duì)象中中發(fā)現(xiàn)共性性，并將數(shù)據(jù)對(duì)對(duì)象分成不不同類別的的過程。3、分類的目目標(biāo)首先是對(duì)訓(xùn)訓(xùn)練數(shù)據(jù)進(jìn)進(jìn)行分析，，使用數(shù)據(jù)的某些特特征屬性，，給出每個(gè)個(gè)類的準(zhǔn)確確描述，然然后使用這些描描述，對(duì)數(shù)數(shù)據(jù)庫中的的其他數(shù)據(jù)據(jù)進(jìn)行分類類。4、分類通常常和預(yù)測(cè)聯(lián)聯(lián)系起來，，這是因?yàn)闉榉诸惪梢砸杂脕眍A(yù)測(cè)數(shù)據(jù)據(jù)對(duì)象的類類標(biāo)記，也也可以用來來預(yù)測(cè)不知知道的數(shù)據(jù)值，，當(dāng)被預(yù)測(cè)測(cè)的值是數(shù)數(shù)值數(shù)據(jù)時(shí)時(shí)，通常稱稱之為預(yù)測(cè)。13/1012023/1/1分類和預(yù)測(cè)測(cè)例：通過訓(xùn)練數(shù)數(shù)據(jù)獲得了了如下規(guī)則則：IF年齡=“31..40”AND收入=“較高”THEN信用程程度=“優(yōu)秀”規(guī)則的的含義義：年年齡在在31到40之間，，收入入較高高的情情況下下，這這類顧顧客群的信信用程程度被被認(rèn)為為是“優(yōu)秀”IFage=“<=30”ANDstudent=“no”THENbuys_computer=“no”IFage=“<=30”ANDstudent=“yes”THENbuys_computer=“yes”IFage=“31…40”THENbuys_computer=“yes”IFage=“>40”ANDcredit_rating=“excellent”THENbuys_computer=“yes”IFage=“>40”ANDcredit_rating=“fair”THENbuys_computer=“no”14/1012023/1/1聚類分分析聚類分分析：：將物理理或抽抽象對(duì)對(duì)象的的集合合分組組成為為由類類似的的對(duì)象象組成成的多多個(gè)類類的過過程。。最大化類內(nèi)的相相似性和最小化化類間的相相似性例：對(duì)WEB日志的數(shù)數(shù)據(jù)進(jìn)行行聚類，，以發(fā)現(xiàn)現(xiàn)相同的的用戶訪訪問模式式聚類分析析與分類類分析相相反，首先輸入入的是一一組沒有有被標(biāo)記記的記錄錄，系統(tǒng)統(tǒng)按照一一定的規(guī)規(guī)則合理理地劃分分記錄集集合（相當(dāng)于于給記錄錄打標(biāo)記記，只不不過分類類標(biāo)準(zhǔn)不不是用戶戶指定的的），然后可以以采用分分類分析析法進(jìn)行行數(shù)據(jù)分分析，并并根據(jù)分分析的結(jié)結(jié)果重新新對(duì)原來來的記錄錄集合（（沒有被被標(biāo)記的的記錄集集合）進(jìn)進(jìn)行劃分分，進(jìn)而再一一次進(jìn)行行分類分分析，如如此循環(huán)環(huán)往復(fù)，，直到獲獲得滿意意的分析析結(jié)果為為止。15/1012023/1/1孤立點(diǎn)分分析孤立點(diǎn)分分析孤立點(diǎn):一些與數(shù)數(shù)據(jù)的一一般行為為或模型型不一致致的孤立立數(shù)據(jù)通常孤立立點(diǎn)被作作為“噪音”或異常被被丟棄，，但在欺欺騙檢測(cè)測(cè)中卻可可以通過過對(duì)罕見見事件進(jìn)進(jìn)行孤立立點(diǎn)分析析而得到到結(jié)論。。應(yīng)用信用卡欺欺詐檢測(cè)測(cè)移動(dòng)電話話欺詐檢檢測(cè)客戶劃分分醫(yī)療分析析（異常常）16/1012023/1/1趨勢(shì)和演演變分析析是針對(duì)事事件或?qū)?duì)象行為為隨時(shí)間間變化的的規(guī)律或或趨勢(shì)，，并以此此來建立立模型。。例如：對(duì)對(duì)股票市市場(chǎng)交易易數(shù)據(jù)進(jìn)進(jìn)行時(shí)序序演變分分析，則則可能得得到這樣樣的規(guī)則則：AT&T股票連續(xù)續(xù)上漲兩兩天且DEC股票不下下跌，那那么第三三天IBM股票上漲漲的可能能性為75%。趨勢(shì)和偏偏差:回歸分析析序列模式式匹配：：周期性性分析基于類似似性的分分析17/1012023/1/1所有模式式都是有有趣的嗎嗎？數(shù)據(jù)挖掘掘可能產(chǎn)產(chǎn)生數(shù)以以千計(jì)的的模式或或規(guī)則，，但并不不是所有有的模式式或規(guī)則則都是令令人感興興趣的。。模式興趣趣度的度度量一個(gè)模式式是有趣趣的，如如果(1)它易于被被人理解解；（（2）在某種種程度上上，對(duì)于于新的或或測(cè)試數(shù)數(shù)據(jù)是有有效的；；（3）具有潛潛在效用用；（4）新穎的的；（5）符合用用戶確信信的某種種假設(shè)模式興趣趣度的客客觀和主主觀度量量客觀度量量:基于所發(fā)發(fā)現(xiàn)模式式的結(jié)構(gòu)構(gòu)和關(guān)于于它們的的統(tǒng)計(jì)，，比如如：支支持度、、置信度度等等主觀度量量:基于用戶戶對(duì)數(shù)據(jù)據(jù)的判斷斷。比如如：出乎乎意料的的、新穎穎的、可可行動(dòng)的的等等18/1012023/1/1能夠產(chǎn)生生所有有有趣模式式并且僅僅產(chǎn)生有有趣模式式嗎？找出所有有有趣的的模式:數(shù)據(jù)挖掘掘算法的的完全性性問題數(shù)據(jù)挖掘掘系統(tǒng)能能夠產(chǎn)生生所有有有趣的模模式嗎?試探搜索索vs.窮舉搜索索關(guān)聯(lián)vs.分類vs.聚類只搜索有有趣的模模式:數(shù)據(jù)挖掘掘算法的的最優(yōu)化化問題數(shù)據(jù)挖掘掘系統(tǒng)可可以僅僅僅發(fā)現(xiàn)有有趣的模模式嗎？？方法首先生成成所有模模式然后后過濾那那些無趣趣的.僅僅生成成有趣的的模式—挖掘查詢?cè)儍?yōu)化19/1012023/1/1數(shù)據(jù)挖掘:多個(gè)學(xué)科的的融合數(shù)據(jù)挖掘數(shù)據(jù)庫系統(tǒng)統(tǒng)統(tǒng)計(jì)學(xué)其他學(xué)科算法機(jī)器學(xué)習(xí)可視化20/1012023/1/1數(shù)據(jù)據(jù)挖挖掘掘系系統(tǒng)統(tǒng)的的分分類類(1)數(shù)據(jù)據(jù)挖挖掘掘的的多多學(xué)學(xué)科科融融合合的的特特性性，，決決定定了了數(shù)數(shù)據(jù)據(jù)挖挖掘掘的的研研究究將將產(chǎn)產(chǎn)生生種種類類繁繁多多的的數(shù)數(shù)據(jù)據(jù)挖挖掘掘系系統(tǒng)統(tǒng)。。根據(jù)據(jù)所所挖挖掘掘的的數(shù)數(shù)據(jù)據(jù)庫庫分分類類關(guān)系系數(shù)數(shù)據(jù)據(jù)庫庫，，事事務(wù)務(wù)數(shù)數(shù)據(jù)據(jù)庫庫，，流流式式數(shù)數(shù)據(jù)據(jù)，，面面向向?qū)?duì)象象數(shù)數(shù)據(jù)據(jù)庫庫，，對(duì)對(duì)象象關(guān)關(guān)系系數(shù)數(shù)據(jù)據(jù)庫庫，，數(shù)數(shù)據(jù)據(jù)倉倉庫庫，，空空間間數(shù)數(shù)據(jù)據(jù)庫庫，，時(shí)時(shí)序序數(shù)數(shù)據(jù)據(jù)庫庫，，文文本本數(shù)數(shù)據(jù)據(jù)庫庫，，多多媒媒體體數(shù)數(shù)據(jù)據(jù)庫庫，，異異構(gòu)構(gòu)數(shù)數(shù)據(jù)據(jù)庫庫，，歷歷史史數(shù)數(shù)據(jù)據(jù)庫庫21/1012023/1/1數(shù)據(jù)挖挖掘系系統(tǒng)的的分類類(2)根據(jù)挖挖掘的的知識(shí)識(shí)類型型特征分分析,區(qū)分,關(guān)聯(lián)分分析,分類聚聚類,孤立點(diǎn)點(diǎn)分析析/演變分分析,偏差分分析等等等.多種方方法的的集成成和多多層機(jī)機(jī)挖掘掘根據(jù)挖挖掘所所用的的技術(shù)術(shù)面向數(shù)數(shù)據(jù)庫庫的挖挖掘、、數(shù)據(jù)據(jù)倉庫庫、、OLAP、機(jī)器器學(xué)習(xí)習(xí)、統(tǒng)統(tǒng)計(jì)學(xué)學(xué)、可可視化化等等等.根據(jù)挖挖掘所所用的的應(yīng)用用金融,電信,銀行,欺詐分分析,DNA分析,股票市市場(chǎng),Web挖掘等等等.第二節(jié)節(jié)：數(shù)數(shù)據(jù)倉倉庫和和數(shù)據(jù)據(jù)挖掘掘的OLAP技術(shù)23/1012023/1/1數(shù)據(jù)據(jù)倉倉庫庫－－數(shù)數(shù)據(jù)據(jù)挖挖掘掘的的有有效效平平臺(tái)臺(tái)數(shù)據(jù)據(jù)倉倉庫庫中中的的數(shù)數(shù)據(jù)據(jù)清清理理和和數(shù)數(shù)據(jù)據(jù)集集成成，，是是數(shù)數(shù)據(jù)據(jù)挖挖掘掘的的重重要要數(shù)數(shù)據(jù)據(jù)預(yù)預(yù)處處理理步步驟驟數(shù)據(jù)據(jù)倉倉庫庫提提供供OLAP工具具，，可可用用于于不不同同粒粒度度的的數(shù)數(shù)據(jù)據(jù)分分析析很多多數(shù)數(shù)據(jù)據(jù)挖挖掘掘功功能能都都可可以以和和OLAP操作作集集成成，，以以提提供供不不同同概概念念層層上上的的知知識(shí)識(shí)發(fā)發(fā)現(xiàn)現(xiàn)分類類預(yù)測(cè)測(cè)關(guān)聯(lián)聯(lián)聚集集24/1012023/1/1數(shù)據(jù)據(jù)倉倉庫庫的的定定義義與與基基本本特特性性1.數(shù)據(jù)據(jù)倉倉庫庫的的定定義義WilliamH.Inmon在1993年所所寫寫的的論論著著《BuildingtheDataWarehouse》》首先先系系統(tǒng)統(tǒng)地地闡闡述述了了關(guān)關(guān)于于數(shù)數(shù)據(jù)據(jù)倉倉庫庫的的思思想想、、理理論論，，為為數(shù)數(shù)據(jù)據(jù)倉倉庫庫的的發(fā)發(fā)展展奠奠定定了了歷歷史史基基石石。。文文中中他他將將數(shù)數(shù)據(jù)據(jù)倉倉庫庫定定義義為為:adatawarehouseisasubject-oriented,integrated,non-volatile,time-variantcollectionofdatainsupportofmanagementdecisions.一個(gè)面向主主題的、集集成的、非非易失性的的、隨時(shí)間間變化的數(shù)數(shù)據(jù)的集合合，以用于于支持管理理層決策過過程。25/1012023/1/1數(shù)據(jù)倉庫關(guān)關(guān)鍵特征一一——面向主題面向主題表表示了數(shù)據(jù)據(jù)倉庫中數(shù)數(shù)據(jù)組織的的基本原則則，數(shù)據(jù)倉倉庫中的數(shù)數(shù)由數(shù)據(jù)都都是圍繞著著某一主題題組織展開開的。由于于數(shù)據(jù)倉庫庫的用戶大大多是企業(yè)業(yè)的管理決決策者，這這些人所面面對(duì)的往往往是一些比比較抽象的的、層次較較高的管理理分析對(duì)象象。例如，企業(yè)業(yè)中的客戶戶、產(chǎn)品、、供應(yīng)商等等都可以作作為主題看看待。從信息管理理的角度看看，主題就是在在一個(gè)較高高的管理層層次上對(duì)信信息系統(tǒng)的的數(shù)據(jù)按照照某一具體體的管理對(duì)對(duì)象進(jìn)行綜綜合、歸類類所形成的的分析對(duì)象象。從數(shù)據(jù)組織織的角度看看，主題是是一些數(shù)據(jù)據(jù)集合，這這些數(shù)據(jù)集集合對(duì)分析析對(duì)象作了了比較完整整的、一致致的描述，，這種描述述不僅涉及及到數(shù)據(jù)自自身，而且且涉及到數(shù)數(shù)據(jù)之間的的關(guān)系。26/1012023/1/1數(shù)據(jù)倉庫庫關(guān)鍵特特征二——數(shù)據(jù)集成成一個(gè)數(shù)據(jù)據(jù)倉庫是是通過集集成多個(gè)個(gè)異種數(shù)數(shù)據(jù)源來來構(gòu)造的的。關(guān)系數(shù)據(jù)據(jù)庫，一一般文件件，聯(lián)機(jī)事務(wù)務(wù)處理記記錄（OLTP）使用數(shù)據(jù)據(jù)清理和和數(shù)據(jù)集集成技術(shù)術(shù)。確保命名名約定、、編碼結(jié)結(jié)構(gòu)、屬屬性度量量等的一一致性。。當(dāng)數(shù)據(jù)被被移到數(shù)數(shù)據(jù)倉庫庫時(shí)，它它們要經(jīng)經(jīng)過轉(zhuǎn)化化。27/1012023/1/1數(shù)據(jù)倉庫庫關(guān)鍵特特征三——隨時(shí)間而而變化數(shù)據(jù)倉庫庫是從歷歷史的角角度提供供信息數(shù)據(jù)倉庫庫的時(shí)間間范圍比比操作數(shù)數(shù)據(jù)庫系系統(tǒng)要長長的多。。操作數(shù)據(jù)據(jù)庫系統(tǒng)統(tǒng):主要保存存當(dāng)前數(shù)數(shù)據(jù)。數(shù)據(jù)倉庫庫:從歷史的的角度提提供信息息（比如如過去5-10年）數(shù)據(jù)倉庫庫中的每每一個(gè)關(guān)關(guān)鍵結(jié)構(gòu)構(gòu)都隱式式或顯式式地包含含時(shí)間元元素，而而操作數(shù)數(shù)據(jù)庫中中的關(guān)鍵鍵結(jié)構(gòu)可可能就不不包括時(shí)時(shí)間元素素盡管數(shù)數(shù)據(jù)倉倉庫中中的數(shù)數(shù)據(jù)并并不像像業(yè)務(wù)務(wù)數(shù)據(jù)據(jù)庫那那樣反反映業(yè)業(yè)務(wù)處理理的實(shí)實(shí)際狀狀況，，但是是數(shù)據(jù)據(jù)也不不能長長期不不變，，如果果依據(jù)10年前的的數(shù)據(jù)據(jù)進(jìn)行行決策策分析析，那那決策策所帶帶來的的后果果將是十分分可怕怕的。。28/1012023/1/1因此，，數(shù)據(jù)倉倉庫必必須能能夠不不斷捕捕捉主主題的的變化化數(shù)據(jù)據(jù)，將將那些些變化化的數(shù)數(shù)據(jù)追追加到到數(shù)據(jù)據(jù)倉庫庫中去去，也就是是說在在數(shù)據(jù)據(jù)倉庫庫中必必須不不斷的的生成成主題題的新新快照照，以以滿足足決策策分析析的需需要。。數(shù)據(jù)據(jù)新快快照生生成的的間隔隔，可可以根根據(jù)快快照的的生成成速度度和決決策分分析的的需要要而定定。例如，，如果果分析析企業(yè)業(yè)近幾幾年的的銷售售情況況，那那快照照可可以以每隔隔一個(gè)個(gè)月生生成一一次；；如果果分析析一個(gè)個(gè)月的的暢銷銷產(chǎn)品品，那那快照照生成成間隔隔就需需要每每天一一次。。29/1012023/1/1數(shù)據(jù)倉庫庫的非易易失性是是指數(shù)據(jù)據(jù)倉庫的的數(shù)據(jù)不不進(jìn)行更更新處理理，而是一旦旦數(shù)據(jù)進(jìn)進(jìn)入數(shù)據(jù)據(jù)倉庫以以后，就就會(huì)保持持一個(gè)相相當(dāng)長的的時(shí)間。。因?yàn)閿?shù)據(jù)據(jù)倉庫中中數(shù)據(jù)大大多表示示過去某某一時(shí)刻刻的數(shù)據(jù)據(jù)，主要用于于查詢、、分析，，不像業(yè)業(yè)務(wù)系統(tǒng)統(tǒng)中的數(shù)數(shù)據(jù)庫那那樣，要要經(jīng)常進(jìn)進(jìn)行修改改、添加加，除非非數(shù)據(jù)倉倉庫中的的數(shù)據(jù)是是錯(cuò)誤的的。數(shù)據(jù)倉庫庫關(guān)鍵特特征四——數(shù)據(jù)不易易丟失30/1012023/1/1數(shù)據(jù)倉庫庫關(guān)鍵特特征四——數(shù)據(jù)不易易丟失盡管數(shù)據(jù)據(jù)倉庫中中的數(shù)據(jù)據(jù)來自于于操作數(shù)數(shù)據(jù)庫，，但他們卻卻是在物物理上分分離保存存的。操作數(shù)據(jù)據(jù)庫的更更新操作作不會(huì)出出現(xiàn)在數(shù)數(shù)據(jù)倉庫庫環(huán)境下下。不需要事事務(wù)處理理，恢復(fù)復(fù)，和并并發(fā)控制制等機(jī)制制（大大大提高了了處理速速度）只需要兩兩種數(shù)據(jù)據(jù)訪問:數(shù)據(jù)的初初始轉(zhuǎn)載載和數(shù)據(jù)據(jù)訪問（（讀操作作）31/1012023/1/1數(shù)據(jù)據(jù)倉倉庫庫的的構(gòu)構(gòu)建建與與使使用用數(shù)據(jù)據(jù)倉倉庫庫的的構(gòu)構(gòu)建建包包括括一一系系列列的的數(shù)數(shù)據(jù)據(jù)預(yù)預(yù)處處理理過過程程數(shù)據(jù)據(jù)清清理理數(shù)據(jù)據(jù)集集成成數(shù)據(jù)據(jù)變變換換數(shù)據(jù)據(jù)倉倉庫庫的的使使用用熱熱點(diǎn)點(diǎn)是是商商業(yè)業(yè)決決策策行行為為，，例例如如：：增加加客客戶戶聚聚焦焦產(chǎn)品品重重定定位位尋找找獲獲利利點(diǎn)點(diǎn)客戶戶關(guān)關(guān)系系管管理理32/1012023/1/1數(shù)據(jù)據(jù)倉倉庫庫與與操操作作數(shù)數(shù)據(jù)據(jù)庫庫系系統(tǒng)統(tǒng)操作作數(shù)數(shù)據(jù)據(jù)庫庫系系統(tǒng)統(tǒng)的的主主要要任任務(wù)務(wù)是是聯(lián)機(jī)機(jī)事事務(wù)務(wù)處處理理OLTP日常常操操作作:購買買，，庫庫存存，，銀銀行行，，制制造造，，工工資資，，注注冊(cè)冊(cè)，，記記帳帳等等數(shù)據(jù)據(jù)倉倉庫庫的的主主要要任任務(wù)務(wù)是是聯(lián)機(jī)機(jī)分分析析處處理理OLAP數(shù)據(jù)據(jù)分分析析和和決決策策支支持持，，支支持持以以不不同同的的形形式式顯顯示示數(shù)數(shù)據(jù)據(jù)以以滿滿足足不不同同的的用用戶戶需需要要33/1012023/1/1OLAPVS.OLTP(1)用戶戶和和系系統(tǒng)統(tǒng)的的面面向向性性面向向顧顧客客（（事事務(wù)務(wù)））VS.面向向市市場(chǎng)場(chǎng)（（分分析析））數(shù)據(jù)據(jù)內(nèi)內(nèi)容容當(dāng)前前的的、、詳詳細(xì)細(xì)的的數(shù)數(shù)據(jù)據(jù)（（如如超超市市一一個(gè)個(gè)月月的的數(shù)數(shù)據(jù)據(jù)））VS.歷史史的的、、匯匯總總的的數(shù)數(shù)據(jù)據(jù)數(shù)據(jù)據(jù)庫庫設(shè)設(shè)計(jì)計(jì)實(shí)體體－－聯(lián)聯(lián)系系模模型型(ER)和面面向向應(yīng)應(yīng)用用的的數(shù)數(shù)據(jù)據(jù)庫庫設(shè)設(shè)計(jì)計(jì)VS.星型型/雪花花模模型型和和面面向向主主題題的的數(shù)數(shù)據(jù)據(jù)庫庫設(shè)設(shè)計(jì)計(jì)34/1012023/1/1OLAPVS.OLTP(2)數(shù)據(jù)視圖當(dāng)前的、企企業(yè)內(nèi)部的的數(shù)據(jù)VS.經(jīng)過演化的的、集成的的數(shù)據(jù)訪問模式事務(wù)操作（（如查詢、、寫入、修修改）VS.只讀查詢（（但很多是是復(fù)雜的查查詢）任務(wù)單位簡短的事務(wù)務(wù)VS.復(fù)雜的查詢?cè)冊(cè)L問數(shù)據(jù)量量數(shù)十個(gè)VS.數(shù)百萬個(gè)35/1012023/1/1OLAPVS.OLTP(3)用戶數(shù)數(shù)千個(gè)VS.數(shù)百個(gè)（復(fù)雜查詢?cè)?，消耗資資源）數(shù)據(jù)庫規(guī)模模100M-數(shù)GB（因此一般般關(guān)注近期期數(shù)據(jù)）VS.100GB-數(shù)TB設(shè)計(jì)優(yōu)先性性高性能、高高可用性VS.高靈活性、、端點(diǎn)用戶戶自治度量事務(wù)吞吐量量VS.查詢吞吐量量、響應(yīng)時(shí)時(shí)間36/1012023/1/1為什么需要一一個(gè)分離的數(shù)數(shù)據(jù)倉庫?“既然操作數(shù)據(jù)據(jù)庫存放了大大量數(shù)據(jù)”，，“為什么不直直接在這種數(shù)數(shù)據(jù)庫上進(jìn)行行聯(lián)機(jī)分析處處理，而是另另外花費(fèi)時(shí)間間和資源去構(gòu)構(gòu)造一個(gè)分離離的數(shù)據(jù)倉庫庫？”分離的主要原原因是提高兩兩個(gè)系統(tǒng)的性性能DBMS是為OLTP而設(shè)計(jì)的：存儲(chǔ)方式,索引,并發(fā)控制,恢復(fù)（OLAP不需要）數(shù)據(jù)倉庫是為為OLAP而設(shè)計(jì)：復(fù)雜的OLAP查詢,多維視圖，匯匯總為什么需要一一個(gè)分離的數(shù)數(shù)據(jù)倉庫?兩個(gè)系統(tǒng)提供供不同的功能能和處理不同同的數(shù)據(jù):歷史數(shù)據(jù):決策支持需要要?dú)v史數(shù)據(jù)，，而這些數(shù)據(jù)據(jù)在操作數(shù)據(jù)據(jù)庫中一般不不會(huì)去維護(hù)數(shù)據(jù)匯總：決策支持需要要將來自異種種源的數(shù)據(jù)統(tǒng)統(tǒng)一（如聚集集和匯總）數(shù)據(jù)質(zhì)量:不同的源使用用不一致的數(shù)數(shù)據(jù)表示、編編碼和格式，，對(duì)這些數(shù)據(jù)據(jù)進(jìn)行有效的的分析需要將將他們轉(zhuǎn)化后后進(jìn)行集成由于兩個(gè)系統(tǒng)統(tǒng)提供很不相相同的功能，，需要不同類類型的數(shù)據(jù)，，因此需要維維護(hù)分離的數(shù)數(shù)據(jù)庫。然而，許多關(guān)關(guān)系數(shù)據(jù)庫管管理系統(tǒng)賣主主正開始優(yōu)化化這種系統(tǒng)，，使之支持OLAP查詢。隨著這這一趨勢(shì)的繼繼續(xù)，OLTP和OLAP系統(tǒng)之間的分分離可望消失失。OLAP與OLTP對(duì)比總結(jié)39/1012023/1/1OLAP的幾個(gè)個(gè)基本本概念念1、維：：維是關(guān)關(guān)于一一個(gè)組組織想想要記記錄的的視角角或觀觀點(diǎn)。。每個(gè)維都都有一一個(gè)表表與之之相關(guān)關(guān)聯(lián)，，稱為為維表表。同一個(gè)個(gè)問題題可以以從不不同維維度進(jìn)進(jìn)行觀觀察分分析。。如：：超市分析析某一一個(gè)時(shí)時(shí)期內(nèi)內(nèi)營業(yè)業(yè)額的的變化化，是是從時(shí)時(shí)間維維角度分析析。按按所處處地區(qū)區(qū)對(duì)連連鎖店店的營營業(yè)額額分析析，是是從地理維維角度度分析析。2、維的的層次次：在在同一一維度度上存存在多多個(gè)程程度不不同的的細(xì)節(jié)。3、維的的成員員：是是指某某個(gè)維維的某某個(gè)具具體取取值。。4、多維維數(shù)組組：如如果一一個(gè)數(shù)數(shù)據(jù)集集合可可以從從多個(gè)個(gè)角度度進(jìn)行行觀察，，則根根據(jù)這這些維維度將將數(shù)據(jù)據(jù)組織織所構(gòu)構(gòu)成的的數(shù)組組，就就是多維數(shù)數(shù)組.多維數(shù)數(shù)組可可以用用圖形形化來來表示示，也也可以以用表表格表示示OLAP的幾個(gè)個(gè)基本本概念念當(dāng)維度度的數(shù)數(shù)量不不超過過3時(shí)，采采用圖圖形的的方法法可以以很直直觀的的表達(dá)達(dá)出該該數(shù)組組的內(nèi)內(nèi)涵，，但超超三維維的結(jié)結(jié)構(gòu)，，圖形形方式式無能能為力力。如如增加加客戶戶類別別維。。OLAP的幾個(gè)個(gè)基本本概念念超三維維數(shù)據(jù)據(jù)的表表格表表示42/1012023/1/1多維數(shù)數(shù)據(jù)模模型(1)數(shù)據(jù)倉倉庫和和OLAP工具基基于多多維數(shù)數(shù)據(jù)模模型（OLTP基于什什么？？）在多維維數(shù)據(jù)據(jù)模型型中，，數(shù)據(jù)據(jù)以數(shù)數(shù)據(jù)立立方體體(datacube)的形式存在在數(shù)據(jù)立方體體允許以多多維數(shù)據(jù)建建模和觀察察。它由維維和事實(shí)定定義維是關(guān)于一一個(gè)組織想想要記錄的的視角或觀觀點(diǎn)。每個(gè)個(gè)維都有一一個(gè)表與之之相關(guān)聯(lián)，，稱為維表表。多維數(shù)據(jù)模模型圍繞中中心主題組組織，該主題用事事實(shí)表表示示事實(shí)表包括括事實(shí)的名名稱或度量量以及每個(gè)個(gè)相關(guān)維表表的關(guān)鍵字字事實(shí)指的是是一些數(shù)字字度量43/1012023/1/1多維數(shù)據(jù)模模型(2)———示例time_keydayday_of_the_weekmonthquarteryeartime維表location_keystreetcitystate_or_provincecountrylocation維表Sales事實(shí)表time_keyitem_keybranch_keylocation_keyunits_solddollars_soldavg_sales度量item_keyitem_namebrandtypesupplier_typeitem維表branch_keybranch_namebranch_typebranch維表數(shù)據(jù)倉庫的的概念模型型最流行的數(shù)數(shù)據(jù)倉庫概概念模型是是多維數(shù)據(jù)據(jù)模型。這這種模型可可以以星型模式、、雪花模式式、或事實(shí)實(shí)星座模式式的形式存存在。星型模式（（Starschema）:事實(shí)表在中中心，周圍圍圍繞地連連接著維表表（每維一一個(gè)），事事實(shí)表含有有大量數(shù)據(jù)據(jù)，沒有冗冗余。雪花模式（（Snowflakeschema）:是星型模式式的變種，，其中某些維表是是規(guī)范化的的，因而把數(shù)據(jù)據(jù)進(jìn)一步分分解到附加加表中。結(jié)結(jié)果，模式式圖形成類類似于雪花花的形狀。。事實(shí)星座（（Factconstellations）:多個(gè)事實(shí)表表共享維表表,這種模式可可以看作星星型模式集集，因此稱稱為星系模模式（galaxyschema），或者事事實(shí)星座（（factconstellation）45/1012023/1/1time_keydayday_of_the_weekmonthquarteryeartime維表location_keystreetcitystate_or_provincecountrylocation維表Sales事實(shí)表time_keyitem_keybranch_keylocation_keyunits_solddollars_soldavg_sales度量item_keyitem_namebrandtypesupplier_typeitem維表branch_keybranch_namebranch_typebranch維表星型模式實(shí)例例46/1012023/1/1雪花花模模式式實(shí)實(shí)例例time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcity_keylocationSalesFactTabletime_keyitem_keybranch_keylocation_keyunits_solddollars_soldavg_salesMeasuresitem_keyitem_namebrandtypesupplier_keyitembranch_keybranch_namebranch_typebranchsupplier_keysupplier_typesuppliercity_keycitystate_or_provincecountrycity47/1012023/1/1雪花花模模型型是是在在星星形形模模型型的的基基礎(chǔ)礎(chǔ)上上發(fā)發(fā)展展起起來來的的，，它在在事事實(shí)實(shí)表表和和維維度度表表的的基基礎(chǔ)礎(chǔ)上上，，增增加加了了一一類類新新的的表表———詳細(xì)細(xì)類類別別表表。。在星星形形表表中中事事實(shí)實(shí)表表的的規(guī)規(guī)范范化化程程度度較較高高，，但但是是對(duì)對(duì)于于維維度度表表的的冗冗余余度度未未加加限限制制，，雪花花模模型型引引入入詳詳細(xì)細(xì)類類別別表表就就是是為為了了將將維維度度表表的的數(shù)數(shù)據(jù)據(jù)進(jìn)進(jìn)一一步步分分解解，，以以提提高高數(shù)數(shù)據(jù)據(jù)模模型型的的規(guī)規(guī)范范化化程程度度，，具具有有較較低低的的粒粒度度。。在實(shí)實(shí)際際運(yùn)運(yùn)用用中中使使用用星星形形模模型型較較多多雪花花模模式式實(shí)實(shí)例例48/1012023/1/1事實(shí)星座模模式實(shí)例time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcityprovince_or_statecountrylocationSalesFactTabletime_keyitem_keybranch_keylocation_keyunits_solddollars_soldavg_salesMeasuresitem_keyitem_namebrandtypesupplier_typeitembranch_keybranch_namebranch_typebranchShippingFactTabletime_keyitem_keyshipper_keyfrom_locationto_locationdollars_costunits_shippedshipper_keyshipper_namelocation_keyshipper_typeshipper49/1012023/1/1概念分分層(1)一個(gè)概概念分分層（（concepthierarchy）定義義一個(gè)個(gè)映射射序列列，將將低層層概念念映射射到更更一般般的高高層概概念E.g.表示location的概念念：杭杭州浙江江中中國亞洲洲概念分分層允允許我我們?cè)谠诟鞣N種抽象象級(jí)審審查和和處理理數(shù)據(jù)據(jù)概念分分層可可以由由系統(tǒng)用用戶、、領(lǐng)域域?qū)＜壹摇⒅R(shí)工工程師師人工工的提提供，，也可可以根根據(jù)數(shù)數(shù)據(jù)分分布的的統(tǒng)計(jì)計(jì)分析析自動(dòng)動(dòng)的產(chǎn)產(chǎn)生50/1012023/1/1概念念分分層層(2):location維的的一一個(gè)個(gè)概概念念分分層層allEuropeNorth_AmericaMexicoCanadaSpainGermanyVancouverM.WindL.Chan..................allregionofficecountryTorontoFrankfurtcity許多概念念分層的的定義隱隱含在數(shù)數(shù)據(jù)庫的的模式中中。比如如：location維的定義義，office<city<country<region；這些屬屬性按按一個(gè)全全序相關(guān)關(guān)，形成成一個(gè)層層次結(jié)構(gòu)構(gòu)：yeardayquartermonthweekTime維的屬性性也可以以組成一一個(gè)偏序序，形成成一個(gè)格格。例如如，維time基于屬性性day,week,month,quarter和year就是一個(gè)個(gè)偏序“day<{month<quarter;week}<year”51/1012023/1/1概念分層(3)———使用概念分層為為不同級(jí)別別上的數(shù)據(jù)據(jù)匯總提供供了一個(gè)良良好的基礎(chǔ)礎(chǔ)綜合概念分分層和多維維數(shù)據(jù)模型型的潛力，，可以對(duì)數(shù)數(shù)據(jù)獲得更更深入的洞洞察力通過在多維維數(shù)據(jù)模型型中，在不不同的維上上定義概念念分層，使得用戶在在不同的維維上從不同同的層次對(duì)對(duì)數(shù)據(jù)進(jìn)行行觀察成為為可能。多維數(shù)據(jù)模模型（數(shù)據(jù)據(jù)立方體））使得從不不同的角度度對(duì)數(shù)據(jù)進(jìn)進(jìn)行觀察成成為可能，，而概念分層層則提供了了從不同層層次對(duì)數(shù)據(jù)據(jù)進(jìn)行觀察察的能力；；結(jié)合這兩者者的特征，，我們可以以在多維數(shù)數(shù)據(jù)模型上上定義各種種OLAP操作，為用用戶從不同同角度不同同層次觀察察數(shù)據(jù)提供供了靈活性性：52/1012023/1/1多維數(shù)據(jù)模模型上的OLAP操作(1)上卷(roll-up):匯總數(shù)據(jù)（（實(shí)例圖））通過一個(gè)維維的概念分分層向上攀攀升或者通通過維規(guī)約約當(dāng)用維歸約約進(jìn)行上卷卷時(shí)，一個(gè)個(gè)或多個(gè)維維由給定的的數(shù)據(jù)立方方體刪除下鉆(drill-down)：上卷的逆逆操作由不太詳細(xì)細(xì)的數(shù)據(jù)到到更詳細(xì)的的數(shù)據(jù)，可以通過沿沿維的概念念分層向下下或引入新新的維來實(shí)實(shí)現(xiàn)(為給定數(shù)據(jù)據(jù)添加更多多細(xì)節(jié))切片和切塊塊(sliceanddice)切片操作在在給定的數(shù)數(shù)據(jù)立方體體的一個(gè)維維上進(jìn)行選選擇，導(dǎo)致致一個(gè)子方方切塊塊操操作作通通過過對(duì)對(duì)兩兩個(gè)個(gè)或或多多個(gè)個(gè)維維進(jìn)進(jìn)行行選選擇擇，，定定義義子子方方53/1012023/1/1多維數(shù)據(jù)模型型上的OLAP操作(2)轉(zhuǎn)軸(pivot)立方體的重定定位，可視化化，或?qū)⒁粋€(gè)個(gè)3維立方體轉(zhuǎn)化化為一個(gè)2維平面序列轉(zhuǎn)軸是一種可視化操作，通過轉(zhuǎn)轉(zhuǎn)動(dòng)當(dāng)前數(shù)據(jù)據(jù)的視圖來提提供一個(gè)數(shù)據(jù)據(jù)的替代表示示54/1012023/1/1知識(shí)點(diǎn)回顧顧1、試比較較OLAP與OLTP的區(qū)別別。2、數(shù)據(jù)倉倉庫的概念念模型有哪哪些？各有有什么特點(diǎn)點(diǎn)？3、多維數(shù)數(shù)據(jù)模型上上的OLAP操作有有哪些？55/1012023/1/1數(shù)據(jù)倉庫的結(jié)結(jié)構(gòu)數(shù)據(jù)倉庫的數(shù)數(shù)據(jù)級(jí)別（粒粒度）早期細(xì)節(jié)數(shù)據(jù)據(jù)存儲(chǔ)過去的詳詳細(xì)數(shù)據(jù)，反反映真實(shí)的歷歷史情況，這類數(shù)據(jù)隨著著時(shí)間增加，，數(shù)據(jù)量很大大，使用頻率率低，一般存存儲(chǔ)在轉(zhuǎn)換介介質(zhì)中。（例例如磁帶中））當(dāng)前細(xì)節(jié)數(shù)據(jù)據(jù)存儲(chǔ)儲(chǔ)最最近近時(shí)時(shí)期期的的業(yè)業(yè)務(wù)務(wù)數(shù)數(shù)據(jù)據(jù)，，反反映映當(dāng)當(dāng)前前業(yè)業(yè)務(wù)務(wù)的的情情況況，，數(shù)數(shù)據(jù)據(jù)量量大大，，是是數(shù)數(shù)據(jù)據(jù)倉倉庫庫用用戶戶最最感感興興趣趣的的部部分分。。隨著著時(shí)時(shí)間間的的推推移移，，當(dāng)當(dāng)前前細(xì)細(xì)節(jié)節(jié)數(shù)數(shù)據(jù)據(jù)由由數(shù)數(shù)據(jù)據(jù)倉倉庫庫的的時(shí)時(shí)間間控控制制機(jī)機(jī)制制轉(zhuǎn)轉(zhuǎn)為為早早期期細(xì)細(xì)節(jié)節(jié)數(shù)數(shù)據(jù)據(jù)。。輕度度綜綜合合數(shù)數(shù)據(jù)據(jù)從當(dāng)當(dāng)前前基基本本數(shù)數(shù)據(jù)據(jù)中中提提取取出出來來，，通通常常以以較較小小的的時(shí)時(shí)間間段段（（粒粒度度））統(tǒng)統(tǒng)計(jì)計(jì)而而成成的的數(shù)數(shù)據(jù)據(jù)，其其數(shù)數(shù)據(jù)據(jù)量量較較細(xì)細(xì)節(jié)節(jié)及及數(shù)數(shù)據(jù)據(jù)少少得得多多。。高度度綜綜合合數(shù)數(shù)據(jù)據(jù)這這一一層層的的數(shù)數(shù)據(jù)據(jù)十十分分精精煉煉，，是是一一種種準(zhǔn)準(zhǔn)決決策策數(shù)數(shù)據(jù)據(jù)。。57/1012023/1/1數(shù)據(jù)倉庫設(shè)設(shè)計(jì)：一個(gè)個(gè)商務(wù)分析析框架(1)數(shù)據(jù)倉庫給給商業(yè)分析析專家提供供了什么？？通過提供相相關(guān)數(shù)據(jù)與與信息，獲得競爭優(yōu)優(yōu)勢(shì)通過有效的的收集精確確的描述組組織的數(shù)據(jù)據(jù)，獲得生產(chǎn)力的提提高通過提供不不同級(jí)別（（部門、市市場(chǎng)、商業(yè)業(yè)）的客戶戶視圖，協(xié)助客戶關(guān)關(guān)系管理通過追蹤長長期趨勢(shì)、、異常等，，降低成本本有效構(gòu)建數(shù)數(shù)據(jù)倉庫的的關(guān)鍵：理理解和分析析商業(yè)需求求通過提供一一個(gè)商業(yè)分分析框架，，綜合各種種不同的數(shù)數(shù)據(jù)使用者者的視圖58/1012023/1/1數(shù)據(jù)倉庫設(shè)計(jì)計(jì)：一個(gè)商務(wù)務(wù)分析框架(2)數(shù)據(jù)倉庫設(shè)計(jì)計(jì)的四種視圖圖自頂向下視圖圖使得我們可以以選擇數(shù)據(jù)倉倉庫所需的相相關(guān)信息。數(shù)據(jù)源視圖圖揭示被操作作數(shù)據(jù)庫系系統(tǒng)所捕獲獲、存儲(chǔ)和和管理的信信息數(shù)據(jù)倉庫視視圖由事實(shí)表和和維表所組組成商務(wù)查詢視視圖從最終用戶戶的角度透透視數(shù)據(jù)倉倉庫中的數(shù)數(shù)據(jù)59/1012023/1/1數(shù)據(jù)倉庫設(shè)設(shè)計(jì)：一個(gè)個(gè)商務(wù)分析析框架(3)數(shù)據(jù)倉庫的的構(gòu)建與使使用涉及多多種技能商業(yè)技能理解系統(tǒng)如如何存儲(chǔ)和和管理數(shù)據(jù)據(jù)數(shù)據(jù)如何提提取數(shù)據(jù)如何刷刷新技術(shù)術(shù)方方面面的的技技能能如何何通通過過使使用用各各種種數(shù)數(shù)據(jù)據(jù)或或量量化化的的信信息息，，導(dǎo)導(dǎo)出出可可以以提提供供決決策策支支持持的的模模式式、、趨趨勢(shì)勢(shì)、、判判斷斷等等如何何通通過過審審查查歷歷史史數(shù)數(shù)據(jù)據(jù)，，分分析析發(fā)發(fā)展展趨趨勢(shì)勢(shì)等等計(jì)劃劃管管理理技技能能如何何通通過過與與不不同同的的技技術(shù)術(shù)、、廠廠商商、、用用戶戶交交互互，，來來及及時(shí)時(shí)、、有有效效、、經(jīng)經(jīng)濟(jì)濟(jì)的的提提交交結(jié)結(jié)果果數(shù)據(jù)據(jù)倉倉庫庫的的設(shè)設(shè)計(jì)計(jì)過過程程(1)自頂頂向向下下法法、、自自底底向向上上法法或或者者兩兩者者的的混混合合方方法法自頂向向下法法：由由總體體設(shè)計(jì)計(jì)和規(guī)規(guī)劃開開始當(dāng)技術(shù)術(shù)成熟熟并已已掌握握，對(duì)對(duì)必須須解決決的商商務(wù)問問題清清楚并并已很很好理理解時(shí)時(shí)，這這種方方法是是有用用的。。自底向向上法法：以以實(shí)驗(yàn)驗(yàn)和原原型開開始在商務(wù)務(wù)建模模和技技術(shù)開開發(fā)的的早期期階段段，這這種方方法是是有用用的。。這樣樣可以以以相相當(dāng)?shù)偷偷拇鷥r(jià)前前進(jìn)，，在作作出重重要承承諾之之前評(píng)評(píng)估技技術(shù)的的利益益。混合方方法：：上述述兩者者的結(jié)結(jié)合從軟件件過程程的觀觀點(diǎn)瀑布式式方法法：在在進(jìn)行行下一一步前前，每每一步步都進(jìn)進(jìn)行結(jié)結(jié)構(gòu)化化和系系統(tǒng)的的分析析螺旋式式方法法：功功能漸漸增的的系統(tǒng)統(tǒng)的快快速產(chǎn)產(chǎn)生，，相繼繼版本本之間間間隔隔很短短。對(duì)對(duì)于數(shù)數(shù)據(jù)集集市的的開發(fā)發(fā)，這這是一一個(gè)好好的選選擇。。61/1012023/1/1數(shù)據(jù)倉倉庫的的設(shè)計(jì)計(jì)過程程(2)典型的的數(shù)據(jù)據(jù)倉庫庫設(shè)計(jì)計(jì)過程程選取待待建模模的商商務(wù)過過程找到所構(gòu)建的的數(shù)據(jù)倉庫的的主題，比如：銷售、、貨運(yùn)、訂單單等等選取商務(wù)處理理的粒度。對(duì)于處理，該該粒度是基本本的、在事實(shí)實(shí)表中是數(shù)據(jù)據(jù)的原子級(jí)。。例如，單個(gè)個(gè)事務(wù)、一天天的快照等。。選取用于每個(gè)個(gè)事實(shí)表記錄錄的維。典型的維是時(shí)時(shí)間、商品、、顧客、供應(yīng)應(yīng)商、倉庫、、事務(wù)類型和和狀態(tài)。選取將安放在在事實(shí)表中的的度量常用的數(shù)字度度量包括：售售價(jià)、貨物數(shù)數(shù)量等62/1012023/1/1三層層數(shù)數(shù)據(jù)據(jù)倉倉庫庫架架構(gòu)構(gòu)(1)數(shù)據(jù)據(jù)倉倉庫庫提取清理轉(zhuǎn)換裝入刷新OLAP服務(wù)務(wù)器器查詢?cè)儓?bào)報(bào)告告分析析數(shù)據(jù)據(jù)挖挖掘掘監(jiān)控控、、整合合元數(shù)數(shù)據(jù)據(jù)存儲(chǔ)儲(chǔ)數(shù)據(jù)據(jù)源源前端端工工具具輸出出數(shù)據(jù)據(jù)集集市市操作數(shù)據(jù)庫其他外部信息源數(shù)據(jù)據(jù)倉倉庫庫服服務(wù)務(wù)器器OLAP服務(wù)務(wù)器器63/1012023/1/1三層數(shù)據(jù)據(jù)倉庫架架構(gòu)(2)底層：數(shù)數(shù)據(jù)倉庫庫的數(shù)據(jù)據(jù)庫服務(wù)務(wù)器關(guān)注的問問題：如如何從這這一層提提取數(shù)據(jù)據(jù)來構(gòu)建建數(shù)據(jù)倉倉庫（通通過Gateway（ODBC,JDBC,OLE/DB等）來提提?。┲虚g層：：OLAP服務(wù)器關(guān)注的問問題：OLAP服務(wù)器如如何實(shí)施施（關(guān)系系型OLAP（ROLAP），多維維MOLAP（MOLAP）等））前端客客戶工工具層層關(guān)注的的問題題：查查詢工工具、、報(bào)表表工具具、分分析工工具、、挖掘掘工具具等三種數(shù)數(shù)據(jù)倉倉庫模模型從體系系結(jié)構(gòu)構(gòu)的角角度去去看，，數(shù)據(jù)據(jù)倉庫庫模型型可以以有以以下兩兩種：：企業(yè)倉倉庫搜集了了關(guān)于于主題題的所所有信信息，，跨越越整個(gè)個(gè)組織織數(shù)據(jù)集集市企業(yè)范范圍數(shù)數(shù)據(jù)的的一個(gè)個(gè)子集集，對(duì)對(duì)于特特定的的客戶戶是有有用的的。其范圍圍限于于選定定的主主題，，比如如一個(gè)個(gè)商場(chǎng)場(chǎng)的數(shù)數(shù)據(jù)集集市獨(dú)立的的數(shù)據(jù)據(jù)集市市VS.非獨(dú)立立的數(shù)數(shù)據(jù)集集市（（數(shù)據(jù)據(jù)來自自于企企業(yè)數(shù)數(shù)據(jù)倉倉庫））與企業(yè)業(yè)倉庫庫的差差異在在于數(shù)數(shù)據(jù)集集市應(yīng)應(yīng)采用用星形形模式式，而而企業(yè)業(yè)倉庫庫應(yīng)采采用事事實(shí)星星座模模式65/1012023/1/1數(shù)據(jù)倉倉庫開開發(fā)：：困難難與方方法數(shù)據(jù)倉倉庫開開發(fā)上上的困困難自頂向向下開開發(fā)企企業(yè)倉倉庫是是一種種系統(tǒng)統(tǒng)的解解決方方法，，并能能最大大限度度地減減少集集成問問題。。但它費(fèi)費(fèi)用高高，需需要長長時(shí)間間開發(fā)發(fā)，并并且缺缺乏靈靈活性性，因因?yàn)檎麄€(gè)組組織的的共同同數(shù)據(jù)據(jù)模型型達(dá)到到一致致是困困難的的。自底向向上設(shè)設(shè)計(jì)、、開發(fā)發(fā)、配配置獨(dú)獨(dú)立的的數(shù)據(jù)據(jù)集市市方法法提供供了靈靈活性性、低低花費(fèi)費(fèi)，并并能快快速回回報(bào)投投資。。然而，，將分分散的的數(shù)據(jù)據(jù)集市市集成成，形形成一一個(gè)一一致的的企業(yè)業(yè)數(shù)據(jù)據(jù)倉庫庫時(shí)，，可能能導(dǎo)致致問題題。解決方法：：使用遞增性性、演化性性的開發(fā)方方法（見后后圖）高層數(shù)據(jù)模模型企業(yè)倉庫和和數(shù)據(jù)集市市并行開發(fā)發(fā)通過分布式式模型集成成各數(shù)據(jù)集集市多層數(shù)據(jù)倉倉庫66/1012023/1/1數(shù)據(jù)據(jù)倉倉庫庫開開發(fā)發(fā)———一個(gè)個(gè)推推薦薦的的方方法法定義義高高層層數(shù)數(shù)據(jù)據(jù)模模型型數(shù)據(jù)集集市數(shù)據(jù)集集市分布式式數(shù)據(jù)據(jù)集市市多層數(shù)數(shù)據(jù)倉倉庫企業(yè)數(shù)數(shù)據(jù)倉倉庫模型提提煉模型提提煉67/1012023/1/1OLAP服務(wù)器器類型型(1)OLAP服務(wù)器器為商商務(wù)用用戶提提供來來自數(shù)數(shù)據(jù)倉倉庫或或數(shù)據(jù)集市市的多多維數(shù)數(shù)據(jù)，，而不不必關(guān)關(guān)心數(shù)數(shù)據(jù)如如何存存放和和存放放在何何處。。然而，，OLAP服務(wù)器器的物物理結(jié)結(jié)構(gòu)和和實(shí)現(xiàn)現(xiàn)必須須考慮慮數(shù)據(jù)據(jù)存放放問題題。關(guān)系OLAP服務(wù)器器(ROLAP)使用關(guān)系數(shù)數(shù)據(jù)庫庫或擴(kuò)擴(kuò)展的的關(guān)系系數(shù)據(jù)據(jù)庫存放并并管理理數(shù)據(jù)據(jù)倉庫庫的數(shù)數(shù)據(jù)，，而用用OLAP中間件件支持持其余余部分分。數(shù)據(jù)和和聚合合表都都存在在關(guān)系系數(shù)據(jù)據(jù)庫。。包括每每個(gè)DBMS后端優(yōu)優(yōu)化，，聚集集導(dǎo)航航邏輯輯的實(shí)實(shí)現(xiàn)，，附加加的工工具和和服務(wù)務(wù)Microstrategy的DSS和Informix的Metacube都采用用ROLAP方法68/1012023/1/1OLAP服務(wù)器類類型(2)多維OLAP服務(wù)器(MOLAP)通過基于于數(shù)組的多多維存儲(chǔ)儲(chǔ)引擎，支持?jǐn)?shù)數(shù)據(jù)的多多維視圖圖。Arbor的Essbase是一個(gè)MOLAP服務(wù)器。。數(shù)據(jù)和聚聚合表都都存在多多維數(shù)據(jù)據(jù)結(jié)構(gòu)中中?；旌螼LAP服務(wù)器(HOLAP)結(jié)合ROLAP和MOLAP技術(shù)，得益于ROLAP較大的規(guī)規(guī)模性和和MOLAP的快速計(jì)計(jì)算。例如，HOLAP服務(wù)器允允許將大大量詳細(xì)細(xì)數(shù)據(jù)存存放在關(guān)關(guān)系數(shù)據(jù)據(jù)庫中，，而聚集保持持在分離離的MOLAP存儲(chǔ)中。。微軟的SQLServer7.0OLAP服務(wù)支持持混合OLAP服務(wù)器。。數(shù)據(jù)保存存在關(guān)系系數(shù)據(jù)庫庫，聚合合存在多多維結(jié)構(gòu)構(gòu)中。特殊的SQL服務(wù)器在星型和和雪花模模型上支支持SQL查詢69/1012023/1/1元數(shù)據(jù)存儲(chǔ)儲(chǔ)在數(shù)據(jù)倉庫庫中，元數(shù)據(jù)就是是定義數(shù)據(jù)據(jù)倉庫對(duì)象象的數(shù)據(jù)。。有以下幾種種：數(shù)據(jù)倉庫結(jié)結(jié)構(gòu)的描述述倉庫模式、、視圖、維維、層次結(jié)結(jié)構(gòu)、導(dǎo)出出數(shù)據(jù)的定定義，以及及數(shù)據(jù)集市市的位置和和內(nèi)容操作元數(shù)據(jù)據(jù)包括數(shù)據(jù)血統(tǒng)統(tǒng)(datalineage)、數(shù)據(jù)類別(currencyofdata)，以及監(jiān)視信信息匯總用的算法法由操作環(huán)境到到數(shù)據(jù)倉庫的的映射關(guān)于系統(tǒng)性能能的數(shù)據(jù)索引，profiles，數(shù)據(jù)刷新、、更新或復(fù)制制事件的調(diào)度度和定時(shí)商務(wù)元數(shù)據(jù)商務(wù)術(shù)語和定定義、數(shù)據(jù)擁擁有者信息、、收費(fèi)政策等等70/1012023/1/1元數(shù)據(jù)據(jù)的使使用元數(shù)據(jù)據(jù)與數(shù)數(shù)據(jù)一一起，，構(gòu)成成了數(shù)數(shù)據(jù)倉倉庫中中的數(shù)數(shù)據(jù)模模型，，元數(shù)數(shù)據(jù)所所描述述的更更多的的是這這個(gè)模模型的的結(jié)構(gòu)構(gòu)方面面的信信息。。在數(shù)據(jù)據(jù)倉庫庫中，，元數(shù)數(shù)據(jù)的的主要要用途途包括括：用作目目錄，，幫助助決策策支持持系統(tǒng)統(tǒng)分析析者對(duì)對(duì)數(shù)據(jù)據(jù)倉庫庫的內(nèi)內(nèi)容定定義作為數(shù)數(shù)據(jù)倉倉庫和和操作作性數(shù)數(shù)據(jù)庫庫之間間進(jìn)行行數(shù)據(jù)據(jù)轉(zhuǎn)換換時(shí)的的映射射標(biāo)準(zhǔn)準(zhǔn)用于指導(dǎo)當(dāng)前前細(xì)節(jié)數(shù)據(jù)和和稍加綜合的的數(shù)據(jù)之間的的匯總算法，，指導(dǎo)稍加綜綜合的數(shù)據(jù)和和高度綜合的的數(shù)據(jù)之間的的匯總算法。。71/1012023/1/1數(shù)據(jù)倉庫后后端工具和和程序數(shù)據(jù)倉庫后后端工具主主要指的是是用來裝入和刷新新數(shù)據(jù)的工具具，包括：：數(shù)據(jù)提?。海和ǔ?，由多多個(gè)、異種種、外部數(shù)數(shù)據(jù)源收集集數(shù)據(jù)。數(shù)據(jù)清理檢測(cè)數(shù)據(jù)種種的錯(cuò)誤并并作可能的的訂正數(shù)據(jù)變換將數(shù)據(jù)由歷歷史或主機(jī)機(jī)的格式轉(zhuǎn)轉(zhuǎn)化為數(shù)據(jù)據(jù)倉庫的格格式裝載排序、匯總總、合并、、計(jì)算視圖圖，檢查完完整性，并并建立索引引和分區(qū)刷新將數(shù)據(jù)源的的更新傳播播到數(shù)據(jù)倉倉庫中72/1012023/1/1數(shù)據(jù)據(jù)倉倉庫庫的的應(yīng)應(yīng)用用數(shù)據(jù)據(jù)倉倉庫庫的的三三種種應(yīng)應(yīng)用用信息息處處理理支持持查查詢?cè)兒秃突颈镜牡慕y(tǒng)統(tǒng)計(jì)計(jì)分分析析，，并并使使用用交交叉叉表表、、表表、、圖圖標(biāo)標(biāo)和和圖圖進(jìn)進(jìn)行行報(bào)報(bào)表表處處理理聯(lián)機(jī)機(jī)分分析析處處理理對(duì)數(shù)數(shù)據(jù)據(jù)倉倉庫庫中中的的數(shù)數(shù)據(jù)據(jù)進(jìn)進(jìn)行行多多維維數(shù)數(shù)據(jù)據(jù)分分析析支持持基基本本的的OLAP操作作，，切切塊塊、、切切片片、、上上卷卷、、下下鉆鉆、、轉(zhuǎn)轉(zhuǎn)軸軸等等數(shù)據(jù)據(jù)挖挖掘掘從隱隱藏藏模模式式中中發(fā)發(fā)現(xiàn)現(xiàn)知知識(shí)識(shí)支持持關(guān)關(guān)聯(lián)聯(lián)分分析析，，構(gòu)構(gòu)建建分分析析性性模模型型，，分分類類和和預(yù)預(yù)測(cè)測(cè)，，并并用用可可視視化化工工具具呈呈現(xiàn)現(xiàn)挖挖掘掘的的結(jié)結(jié)果果73/1012023/1/1數(shù)據(jù)據(jù)倉倉庫庫的的應(yīng)應(yīng)用用三種種應(yīng)應(yīng)用用間間的的差差別別：：1、信息息處處理理基基于于查查詢?cè)?，，可以以發(fā)發(fā)現(xiàn)現(xiàn)有有用用的的信信息息。。它它不不反反映映復(fù)復(fù)雜雜的的模模式式，，或或隱隱藏藏在在數(shù)數(shù)據(jù)據(jù)庫庫中中的的規(guī)規(guī)律律。。因此此，，信信息息處處理理不不是是數(shù)數(shù)據(jù)據(jù)挖挖掘掘。。2、聯(lián)機(jī)機(jī)分分析析處處理理向向數(shù)數(shù)據(jù)據(jù)挖挖掘掘走走近近了了一一步步，，OLAP和數(shù)數(shù)據(jù)據(jù)挖挖掘掘的的功功能能可可以以視視為為不不交交的的：：OLAP是數(shù)數(shù)據(jù)據(jù)匯匯總總/聚集集工工具具，，它它幫幫助助簡簡化化數(shù)數(shù)據(jù)據(jù)分分析析；；而而數(shù)數(shù)據(jù)據(jù)挖挖掘掘自自動(dòng)動(dòng)地地發(fā)發(fā)現(xiàn)現(xiàn)隱隱藏藏在在大大量量數(shù)數(shù)據(jù)據(jù)中中的的隱隱含含模模式式和和有有趣趣知知識(shí)識(shí)。。OLAP工具的的目標(biāo)標(biāo)是簡簡化和和支持持交互互數(shù)據(jù)據(jù)分析析；而而數(shù)據(jù)據(jù)挖掘掘的目目標(biāo)是是盡可可能自自動(dòng)處處理。。74/1012023/1/1數(shù)據(jù)倉庫的的應(yīng)用3、數(shù)據(jù)挖掘的的涵蓋面要要比簡單的的OLAP操作寬得多多，因?yàn)樗粌H僅執(zhí)行數(shù)據(jù)據(jù)匯總和比比較，而且且執(zhí)行關(guān)聯(lián)聯(lián)、分類、、預(yù)測(cè)、、聚類、時(shí)時(shí)間序列分分析和其它它數(shù)據(jù)分析析任務(wù)。4、數(shù)據(jù)挖掘不不限于分析析數(shù)據(jù)倉庫庫中的數(shù)據(jù)據(jù)。它可以以分析現(xiàn)存存的、比數(shù)數(shù)據(jù)倉庫提提供的匯總總數(shù)據(jù)粒度度更細(xì)的數(shù)數(shù)據(jù)。它也可以分分析事務(wù)的的、文本的的、空間的的和多媒體體數(shù)據(jù)，這這些數(shù)據(jù)很很難用現(xiàn)有有的多維數(shù)數(shù)據(jù)庫技術(shù)術(shù)建模。在這種意義義下，數(shù)據(jù)據(jù)挖掘涵蓋蓋的數(shù)據(jù)挖挖掘功能和和處理的數(shù)數(shù)據(jù)復(fù)雜性性要比OLAP大得多。從聯(lián)機(jī)分析析處理到聯(lián)聯(lián)機(jī)分析挖挖掘OLAM聯(lián)機(jī)分析挖挖掘（OLAM，也稱OLAP挖掘）將聯(lián)機(jī)分析處處理與數(shù)據(jù)據(jù)挖掘以及及在多維數(shù)數(shù)據(jù)庫中發(fā)發(fā)現(xiàn)知識(shí)集集成在一起起，為什么要聯(lián)聯(lián)機(jī)分析挖挖掘數(shù)據(jù)倉庫中中有高質(zhì)量量的數(shù)據(jù)數(shù)據(jù)倉庫中中存放著整整合的、一一致的、清清理過的數(shù)數(shù)據(jù)圍繞數(shù)據(jù)倉倉庫的信息息處理結(jié)構(gòu)構(gòu)存取、集成成、合并多多個(gè)異種數(shù)數(shù)據(jù)庫的轉(zhuǎn)轉(zhuǎn)換，ODBC/OLEDB連接,Web訪問和訪問問工具等基于OLAP的探測(cè)式數(shù)數(shù)據(jù)分析使用上卷、、下鉆、切切片、轉(zhuǎn)軸軸等技術(shù)進(jìn)進(jìn)行數(shù)據(jù)挖挖掘數(shù)據(jù)挖掘功功能的聯(lián)機(jī)機(jī)選擇多種數(shù)據(jù)挖挖掘功能、、算法和任任務(wù)的整合合聯(lián)機(jī)分析挖挖掘的體系系結(jié)構(gòu)數(shù)據(jù)倉庫元數(shù)據(jù)多維數(shù)據(jù)庫庫OLAM引擎OLAP引擎用戶圖形界界面API數(shù)據(jù)方體API數(shù)據(jù)庫API數(shù)據(jù)清理數(shù)據(jù)集成第三層OLAP/OLAM第二層多維數(shù)據(jù)庫庫第一層數(shù)據(jù)存儲(chǔ)第四層用戶界面數(shù)據(jù)的過濾濾、集成過濾數(shù)據(jù)庫基于約束的的數(shù)據(jù)挖掘掘挖掘結(jié)果77/1012023/1/1第三節(jié)：：大型數(shù)數(shù)據(jù)庫中中的關(guān)聯(lián)聯(lián)規(guī)則挖挖掘78/1012023/1/1什么是關(guān)關(guān)聯(lián)規(guī)則則挖掘？？關(guān)聯(lián)規(guī)則則挖掘：：從事務(wù)數(shù)數(shù)據(jù)庫，，關(guān)系數(shù)數(shù)據(jù)庫和和其他信信息存儲(chǔ)儲(chǔ)中的大大量數(shù)據(jù)據(jù)的項(xiàng)集集之間發(fā)發(fā)現(xiàn)有趣趣的、頻頻繁出現(xiàn)現(xiàn)的模式式、關(guān)聯(lián)聯(lián)和相關(guān)關(guān)性。應(yīng)用：購物籃分分析、分分類設(shè)計(jì)計(jì)、捆綁綁銷售等等79/1012023/1/1“尿布與啤酒””——典型關(guān)聯(lián)分析析案例采用關(guān)聯(lián)模型型比較典型的的案例是“尿布與啤酒”的故事。在美美國，一些年年輕的父親下下班后經(jīng)常要要到超市去買買嬰兒尿布，，超市也因此此發(fā)現(xiàn)了一個(gè)個(gè)規(guī)律，在購購買嬰兒尿布布的年輕父親親們中，有30%～40%的人同時(shí)要買買一些啤酒。。超市隨后調(diào)調(diào)整了貨架的的擺放，把尿尿布和啤酒放放在一起，明明顯增加了銷銷售額。同樣樣的，我們還還可以根據(jù)關(guān)關(guān)聯(lián)規(guī)則在商商品銷售方面面做各種促銷銷活動(dòng)。80/1012023/1/1購物籃籃分析析如果問問題的的全域域是商商店中中所有有商品品的集集合，，則對(duì)每種種商品品都可可以用用一個(gè)個(gè)布爾爾量來來表示示該商商品是是否被被顧客客購買買，則每個(gè)個(gè)購物物籃都都可以以用一一個(gè)布布爾向向量表表示；；而通通過分分析布布爾向向量則則可以以得到到商品品被頻頻繁關(guān)關(guān)聯(lián)或或被同同時(shí)購購買的的模式式，這這些模模式就就可以以用關(guān)關(guān)聯(lián)規(guī)規(guī)則表表示。。關(guān)聯(lián)規(guī)規(guī)則的的兩個(gè)個(gè)興趣趣度度度量支持度度置信度度81/1012023/1/1購物籃籃分析析以上關(guān)關(guān)聯(lián)規(guī)規(guī)則的的支持持度2%，意味味分析析事務(wù)務(wù)的2%同時(shí)購購買計(jì)計(jì)算機(jī)機(jī)和財(cái)財(cái)務(wù)管管理軟軟件。。置信度度60%意味購購買計(jì)計(jì)算機(jī)機(jī)的顧顧客60%也購買買財(cái)務(wù)務(wù)管理理軟件件。82/1012023/1/1關(guān)聯(lián)規(guī)規(guī)則：：基本本概念念關(guān)聯(lián)規(guī)規(guī)則挖挖掘?qū)?duì)象主主要是是事務(wù)務(wù)型數(shù)數(shù)據(jù)庫庫，也也可以以是其其它領(lǐng)領(lǐng)域內(nèi)內(nèi)的關(guān)關(guān)系型型數(shù)據(jù)據(jù)庫。。關(guān)聯(lián)規(guī)規(guī)則挖挖掘涉涉及到到以下下幾個(gè)個(gè)基本本概念念。1、項(xiàng)。。對(duì)于一一個(gè)數(shù)數(shù)據(jù)表表而言言，表表的每每個(gè)字字段都都具有有一個(gè)個(gè)或多多個(gè)不不同的的值，，字段段的每每種取取值都都是一一個(gè)項(xiàng)項(xiàng)。2、項(xiàng)集集。項(xiàng)項(xiàng)的集集合稱稱為項(xiàng)項(xiàng)集。。包含含K個(gè)項(xiàng)的的項(xiàng)集集被稱稱為K項(xiàng)集，，K表示項(xiàng)項(xiàng)集中中項(xiàng)的的數(shù)目目。由所有有的項(xiàng)項(xiàng)所構(gòu)構(gòu)成的的集合合是最最大的的項(xiàng)集集，一一般用用符號(hào)號(hào)I表示示。。I={i1,i2,...,in}83/1012023/1/1關(guān)聯(lián)聯(lián)規(guī)規(guī)則則：：基基本本概概念念3、事事務(wù)務(wù)。。事事務(wù)務(wù)是是項(xiàng)項(xiàng)的的集集合合。。一一個(gè)個(gè)事事務(wù)務(wù)就就是是事事實(shí)實(shí)表表中中的的一一條條記記錄錄。。事務(wù)務(wù)的的集集合合稱稱為為事事務(wù)務(wù)集集，，也也就就是是事事務(wù)務(wù)數(shù)數(shù)據(jù)據(jù)庫庫，，一一般般用用D表示示。。對(duì)對(duì)銷銷售售數(shù)數(shù)據(jù)據(jù)而而言言，，事事務(wù)務(wù)數(shù)數(shù)據(jù)據(jù)庫庫的的記記錄錄一