數(shù)據(jù)倉庫與數(shù)據(jù)挖掘的綜述14頁

1、 Southwest university of science and technology 數(shù)據(jù)挖掘課程報告數(shù)據(jù)倉庫與數(shù)據(jù)挖掘的綜述學院名稱計算機科學與技術(shù)專業(yè)名稱計科學生姓名學號指導教師吳玨二一六年11月 摘要 通過對數(shù)據(jù)倉庫與數(shù)據(jù)挖掘的學習和大致的了解,主要提出了一種基于數(shù)據(jù)倉庫的數(shù)據(jù)挖掘系統(tǒng)的決策支持系統(tǒng)的框架。該文章把數(shù)據(jù)倉庫、數(shù)據(jù)挖掘工具和知識庫結(jié)合在一起，提高了數(shù)據(jù)挖掘的效率。增加了挖掘數(shù)據(jù)的效率和價值實用性！1、 概述 近十幾年來，人們利用信息技術(shù)生產(chǎn)和搜集數(shù)據(jù)的能力大幅度提高，千萬萬個數(shù)據(jù)庫被用于商業(yè)管理、政府辦公、科學研究和工程開發(fā)等等，并且這一勢頭仍將持續(xù)發(fā)展下去。于是

2、，一個新的挑戰(zhàn)被提了出來:在這被稱之為信息爆炸的時代，信息過量幾乎成為人人需要面對的問題。如何才能不被信息的汪洋大海所淹沒，從中及時發(fā)現(xiàn)有用的知識，提高信息利用率呢?要想使數(shù)據(jù)真正成為一個公司的資源，只有充分利用它為公司自身的業(yè)務(wù)決策和戰(zhàn)略發(fā)展服務(wù)才行，否則大量的數(shù)據(jù)可能成為包袱，甚至成為垃圾。因此，面對"人們被數(shù)據(jù)淹沒，人們卻饑餓于知識的挑戰(zhàn)，數(shù)據(jù)挖掘和知識發(fā)現(xiàn)(DMKD)技術(shù)應(yīng)運而生，并得以蓬勃發(fā)展，越來越顯示出其強大的生命力。 數(shù)據(jù)挖掘(Data Mining)就是從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識

3、的過程。還有很多和這一術(shù)語相近似的術(shù)語，如從數(shù)據(jù)庫中發(fā)現(xiàn)知識(KDD)、數(shù)據(jù)分析、數(shù)據(jù)融合(Data Fusion)以及決策支持等。人們把原始數(shù)據(jù)看作是形成知識的源泉，就像從礦石中采礦一樣。原始數(shù)據(jù)可以是結(jié)構(gòu)化的，如關(guān)系數(shù)據(jù)庫中的數(shù)據(jù)，也可以是半結(jié)構(gòu)化的，如文本、圖形、圖像數(shù)據(jù)，甚至是分布在網(wǎng)絡(luò)上的異構(gòu)型數(shù)據(jù)。發(fā)現(xiàn)知識的方法可以是數(shù)學的，也可以是非數(shù)學的;可以是演繹的，也可以是歸納的。發(fā)現(xiàn)了的知識可以被用于信息管理、查詢優(yōu)化、決策支持、過程控制等，還可以用于數(shù)據(jù)自身的維護。因此，數(shù)據(jù)挖掘是一門很廣義的交叉學科，它匯聚了不同領(lǐng)域的研究者，尤其是數(shù)據(jù)庫、人工智能、數(shù)理統(tǒng)計、可視化、并行計算等方面的

4、學者和工程技術(shù)人員。 數(shù)據(jù)倉庫，英文名稱為Data Warehouse，可簡寫為DW或DWH。數(shù)據(jù)倉庫，是為企業(yè)所有級別的決策制定過程，提供所有類型數(shù)據(jù)支持的戰(zhàn)略集合。它是單個數(shù)據(jù)存儲，出于分析性報告和決策支持目的而創(chuàng)建。 為需要業(yè)務(wù)智能的企業(yè)，提供指導業(yè)務(wù)流程改進、監(jiān)視時間、成本、質(zhì)量以及控制。 今天， 越來越多的企業(yè)認識到要從以往的事務(wù)處理和決策中總結(jié)經(jīng)驗，利用現(xiàn)有的數(shù)據(jù)進行分析和推理，建立企業(yè)的決策支持系統(tǒng)（DSS）以提高決策的質(zhì)量。企業(yè)如果不能快速精確的收集和分析信息，將無法進行科學而有效的決策。建立數(shù)據(jù)倉庫(Data warehouse)將能很的解決這一問題，使企業(yè)從大量的業(yè)務(wù)信息中

5、篩選出所需的信息，并做出正確的決策。數(shù)據(jù)倉庫不是單一的產(chǎn)品， 而是綜合了多種信息技術(shù)的計算環(huán)境。它將全企業(yè)的運行數(shù)據(jù)匯集到一個精心設(shè)計的關(guān)系數(shù)據(jù)庫中，并將它們轉(zhuǎn)換成面向主題(Subject-oriented)的形式，使最終用戶很容易的從歷史的角度對這些數(shù)據(jù)進行訪問和分析。以銀行為例，通常，銀行的應(yīng)用系統(tǒng)是按業(yè)務(wù)分類的，如儲蓄、信貸、信用卡等，一個客戶的信息分布在不同的業(yè)務(wù)系統(tǒng)中，要想得到一個客戶的全面信息非常困難。銀行通過建立數(shù)據(jù)倉庫， 可以將分離在各個業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)合并成一個統(tǒng)一的圖表，這樣就可以看到客戶在各個系統(tǒng)中的全貌，而且可以從歷史的角度對客戶檔案進行分析， 以便做出為每一個客戶進一

6、步服務(wù)的決策。二、數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的基本概念 數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的關(guān)系：數(shù)據(jù)倉庫和數(shù)據(jù)挖掘都是數(shù)據(jù)倉庫系統(tǒng)的重要組成部分, 它們既有聯(lián)系, 又有區(qū)別。聯(lián)系是:(1) 數(shù)據(jù)倉庫為數(shù)據(jù)挖掘提供了更好的、更廣泛的數(shù)據(jù)源。(2) 數(shù)據(jù)倉庫為數(shù)據(jù)挖掘提供了新的支持平臺。(3) 數(shù)據(jù)倉庫為更好地使用數(shù)據(jù)挖掘這個工具提供了方便。(4) 數(shù)據(jù)挖掘為數(shù)據(jù)倉庫提供了更好的決策支持。(5) 數(shù)據(jù)挖掘?qū)?shù)據(jù)倉庫的數(shù)據(jù)組織提出了更高的要求。(6) 數(shù)據(jù)挖掘還為數(shù)據(jù)倉庫提供了廣泛的技術(shù)支持。區(qū)別是:(1) 數(shù)據(jù)倉庫是一種數(shù)據(jù)存儲和數(shù)據(jù)組織技術(shù), 提供數(shù)據(jù)源。(2) 數(shù)據(jù)挖掘是一種數(shù)據(jù)分析技術(shù), 可針對數(shù)據(jù)倉庫中的數(shù)據(jù)進

7、行分析。 數(shù)據(jù)倉庫是支持管理決策過程的、面向主題的、集成的、隨時間而變的、持久的數(shù)據(jù)集合。數(shù)據(jù)倉庫系統(tǒng)負責從操作型數(shù)據(jù)庫中抽取數(shù)據(jù)，實現(xiàn)對集成和綜合后的數(shù)據(jù)的管理，并把數(shù)據(jù)呈現(xiàn)給一組數(shù)據(jù)倉庫前端工具， 以滿足用戶的各種分析和決策的需求。數(shù)據(jù)倉庫系統(tǒng)的前端工具以O(shè)LAP 工具和數(shù)據(jù)挖掘工具為代表，是用戶賴以從數(shù)據(jù)倉庫中提取、分析數(shù)據(jù)，以及實施決策的必經(jīng)途徑。數(shù)據(jù)挖掘DM(Data Mining)，是指從數(shù)據(jù)中識別出潛在有用的、先前未知的、最終可理解的模式的非平凡過程。研究基于數(shù)據(jù)倉庫的數(shù)據(jù)挖掘系統(tǒng)結(jié)構(gòu)框架是很有意義的。三、數(shù)據(jù)倉庫的結(jié)構(gòu)、功能1、數(shù)據(jù)倉庫的基本結(jié)構(gòu) 數(shù)據(jù)倉庫的目的是構(gòu)建面向分析的

8、集成化數(shù)據(jù)環(huán)境，為企業(yè)提供決策支持（Decision Support）。其實數(shù)據(jù)倉庫本身并不“生產(chǎn)”任何數(shù)據(jù)，同時自身也不需要“消費”任何的數(shù)據(jù)，數(shù)據(jù)來源于外部，并且開放給外部應(yīng)用，這也是為什么叫“倉庫”，而不叫“工廠”的原因。 數(shù)據(jù)倉庫中的信息存儲， 根據(jù)對數(shù)據(jù)的不同深度的分析處理而區(qū)分為不同的層次，其基本結(jié)構(gòu)分為以下幾個部分：（1）歷史性詳細數(shù)據(jù)層：它存儲歷史數(shù)據(jù)，用于數(shù)據(jù)對比、回歸、匯總等供分析、建模預(yù)測之用。歷史數(shù)據(jù)一般為5 至10 年或更久的數(shù)據(jù)，它縱向只對數(shù)據(jù)/信息進行分類存儲。（2）當前詳細數(shù)據(jù)層：存儲當前最新詳細數(shù)據(jù)，重點用于了解當前情況，是進一步分析數(shù)據(jù)的基礎(chǔ)。在一定時刻，這

9、些數(shù)據(jù)會轉(zhuǎn)移到歷史數(shù)據(jù)層去。（3）不同程序的歸納總結(jié)信息層：可包含多個層次，根據(jù)所需分類和歸納的不同深度而定。如按周、月、年統(tǒng)計的數(shù)據(jù)。這些信息只是一些簡單的匯總，尚不能形成高級的決策信息。（4）專業(yè)信息分析層：進一步專業(yè)分析的結(jié)果，如統(tǒng)計分析、運籌分析、時間序列分析以及表面數(shù)據(jù)的內(nèi)在規(guī)律分析等。（5）倉庫結(jié)構(gòu)信息：數(shù)據(jù)倉庫的內(nèi)部結(jié)構(gòu)信息，反映各種信息在數(shù)據(jù)倉庫中的位置分布和處理方式等，以便檢索查詢之用。組織數(shù)據(jù)倉庫的數(shù)據(jù)時， 應(yīng)根據(jù)數(shù)據(jù)訪問概率把數(shù)據(jù)分為經(jīng)常被訪問但較少被修改的數(shù)據(jù)和經(jīng)常被修改但較少被訪問的數(shù)據(jù)。對于前者可以做較多的索引（一般可做8 至12 個）來提高訪問的效率；對于后者就必

10、須少建索引，否則，由于它經(jīng)常被修改，重索引的概率就很大，反而會降低系統(tǒng)的效率。2、數(shù)據(jù)倉庫的功能特點 數(shù)據(jù)倉庫技術(shù)是基于信息系統(tǒng)業(yè)務(wù)發(fā)展的需要，基于數(shù)據(jù)庫系統(tǒng)技術(shù)發(fā)展而來，并逐步獨立的一系列新的應(yīng)用技術(shù)。數(shù)據(jù)倉庫技術(shù)就是基于數(shù)學及統(tǒng)計學嚴謹邏輯思維的并達成“科學的判斷、有效的行為”的一個工具。數(shù)據(jù)倉庫技術(shù)也是一種達成“數(shù)據(jù)整合、知識管理”的有效手段。數(shù)據(jù)倉庫是面向主題的、集成的、與時間相關(guān)的、不可修改的數(shù)據(jù)集合。這是數(shù)據(jù)倉庫技術(shù)特征的定位。數(shù)據(jù)倉庫最根本的特點是物理地存放數(shù)據(jù)，而且這些數(shù)據(jù)并不是最新的、專有的，而是來源于其它數(shù)據(jù)庫的。數(shù)據(jù)倉庫的建立并不是要取代數(shù)據(jù)庫，它要建立在一個較全面和完善

11、的信息應(yīng)用的基礎(chǔ)上，用于支持高層決策分析，而事務(wù)處理數(shù)據(jù)庫在企業(yè)的信息環(huán)境中承擔的是日常操作性的任務(wù)。數(shù)據(jù)倉庫是數(shù)據(jù)庫技術(shù)的一種新的應(yīng)用，而且到目前為止，數(shù)據(jù)倉庫還是用關(guān)系數(shù)據(jù)庫管理系統(tǒng)來管理其中的數(shù)據(jù)。 數(shù)據(jù)倉庫的主要功能是提供企業(yè)決策支持系統(tǒng)或執(zhí)行信息系統(tǒng)（EIS）所需要的信息，它把企業(yè)日常運行中分散不一致的數(shù)據(jù)經(jīng)歸納整理后轉(zhuǎn)換為集中統(tǒng)一的、可隨時取用的深層信息，這種信息雖然也是按關(guān)系數(shù)據(jù)庫的存儲結(jié)構(gòu)存儲的， 單與面向逐條記錄的聯(lián)機時務(wù)處理（OLTP）不同，在數(shù)據(jù)倉庫中的一條記錄，有可能是基礎(chǔ)數(shù)據(jù)中若干個表、若干條記錄的歸納和匯總。數(shù)據(jù)倉庫的基本特點是：（1）面向?qū)ο笮?。?shù)據(jù)倉庫中存儲的信

12、息是面向主題來組織的。它根據(jù)所需要的信息，分不同類、不同角度等主題把數(shù)據(jù)加工、整理之后存儲起來（按橫向?qū)?shù)據(jù)進行分類存儲）。（2）數(shù)據(jù)歷史性。數(shù)據(jù)倉庫中可以專門存儲5 至10 年或更久的歷史數(shù)據(jù)，數(shù)據(jù)具有時間標示，以滿足信息比較、分析預(yù)測等的數(shù)據(jù)需求（按縱向?qū)?shù)據(jù)進行分類存儲）。（3）數(shù)據(jù)集成性。無論數(shù)據(jù)來源于何處，進入數(shù)據(jù)倉庫后都具有統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)和編碼規(guī)則， 數(shù)據(jù)倉庫中的數(shù)據(jù)具有一致性的特點。（4）數(shù)據(jù)只讀性。數(shù)據(jù)倉庫是一個信息源，它只是為在其上開發(fā)的DSS 或EIS 等提供信息服務(wù)，因此它應(yīng)是只讀數(shù)據(jù)庫，一般不能輕易改動，只能定期刷新。（5）操作集合性。數(shù)據(jù)倉庫可通過快照機制，成批的更新

13、來自不同資源的數(shù)據(jù)， 將其載入數(shù)據(jù)倉庫； 也可以成批的訪問數(shù)據(jù)。（6）應(yīng)用C/S（客戶機/服務(wù)器）性。數(shù)據(jù)倉庫通過定義信息（元信息）把整個數(shù)據(jù)組織起來。在元信息中有一類記錄系統(tǒng)信息，定義了數(shù)據(jù)存儲、修改權(quán)限等，記錄系統(tǒng)將原始數(shù)據(jù)轉(zhuǎn)換成適合于數(shù)據(jù)倉庫應(yīng)用的數(shù)據(jù)，所以這實際上是C/S 應(yīng)用模式。四、數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘是一種大型數(shù)據(jù)庫（如數(shù)據(jù)倉庫）中提取隱藏的預(yù)測性信息的新技術(shù)。數(shù)據(jù)挖掘是一種展望和預(yù)測性的信息分析工具，它能挖掘數(shù)據(jù)間潛在的關(guān)系模式，發(fā)現(xiàn)用戶可能忽略的信息，為企業(yè)管理者提供前攝的（Proactive）、基于知識的決策。數(shù)據(jù)挖掘技術(shù)使DSS 的應(yīng)用向效益型賣出了重要的一步。傳統(tǒng)的DS

14、S 通常是在某個假設(shè)的前提下通過數(shù)據(jù)查詢和分析來驗證或否定這個假設(shè)，而數(shù)據(jù)挖掘技術(shù)則能夠自動分析數(shù)據(jù)，進行歸納性推理，從中發(fā)掘出潛在模式或產(chǎn)生聯(lián)想，建立新的業(yè)務(wù)模型，幫助決策者調(diào)整市場策略，做出正確的決策。從數(shù)據(jù)本身來考慮，通常數(shù)據(jù)挖掘需要有數(shù)據(jù)清理、數(shù)據(jù)變換、數(shù)據(jù)挖掘?qū)嵤┻^程、模式評估和知識表示等8個步驟。（1） 信息收集：根據(jù)確定的數(shù)據(jù)分析對象抽象出在數(shù)據(jù)分析中所需要的特征信息，然后選擇合適的信息收集方法，將收集到的信息存入數(shù)據(jù)庫。對于海量數(shù)據(jù)，選擇一個合適的數(shù)據(jù)存儲和管理的數(shù)據(jù)倉庫是至關(guān)重要的。（2） 數(shù)據(jù)集成：把不同來源、格式、特點性質(zhì)的數(shù)據(jù)在邏輯上或物理上有機地集中，從而為企業(yè)提供全

15、面的數(shù)據(jù)共享。（3） 數(shù)據(jù)規(guī)約：執(zhí)行多數(shù)的數(shù)據(jù)挖掘算法即使在少量數(shù)據(jù)上也需要很長的時間，而做商業(yè)運營數(shù)據(jù)挖掘時往往數(shù)據(jù)量非常大。數(shù)據(jù)規(guī)約技術(shù)可以用來得到數(shù)據(jù)集的規(guī)約表示，它小得多，但仍然接近于保持原數(shù)據(jù)的完整性，并且規(guī)約后執(zhí)行數(shù)據(jù)挖掘結(jié)果與規(guī)約前執(zhí)行結(jié)果相同或幾乎相同。（4） 數(shù)據(jù)清理：在數(shù)據(jù)庫中的數(shù)據(jù)有一些是不完整的（有些感興趣的屬性缺少屬性值），含噪聲的（包含錯誤的屬性值），并且是不一致的（同樣的信息不同的表示方式），因此需要進行數(shù)據(jù)清理，將完整、正確、一致的數(shù)據(jù)信息存入數(shù)據(jù)倉庫中。（5） 數(shù)據(jù)變換：通過平滑聚集，數(shù)據(jù)概化，規(guī)范化等方式將數(shù)據(jù)轉(zhuǎn)換成適用于數(shù)據(jù)挖掘的形式。對于有些實數(shù)型數(shù)據(jù),

16、通過概念分層和數(shù)據(jù)的離散化來轉(zhuǎn)換數(shù)據(jù)也是重要的一步。（6） 數(shù)據(jù)挖掘過程：根據(jù)數(shù)據(jù)倉庫中的數(shù)據(jù)信息，選擇合適的分析工具，應(yīng)用統(tǒng)計方法、事例推理、決策樹、規(guī)則推理、模糊集、甚至神經(jīng)網(wǎng)絡(luò)、遺傳算法的方法處理信息，得出有用的分析信息。（7） 模式評估：從商業(yè)角度，由行業(yè)專家來驗證數(shù)據(jù)挖掘結(jié)果的正確性。（8） 知識表示：將數(shù)據(jù)挖掘所得到的分析信息以可視化的方式呈現(xiàn)給用戶，或作為新的知識存放在知識庫中，供其他應(yīng)用程序使用。數(shù)據(jù)挖掘過程是一個反復(fù)循環(huán)的過程，每一個步驟如果沒有達到預(yù)期目標，都需要回到前面的步驟，重新調(diào)整并執(zhí)行。不是每件數(shù)據(jù)挖掘的工作都需要這里列出的每一步，例如在某個工作中不存在多個數(shù)據(jù)源的

17、時候，步驟（2）數(shù)據(jù)集成的步驟便可以省略。步驟（3）數(shù)據(jù)規(guī)約（4）數(shù)據(jù)清理（5）數(shù)據(jù)變換又合稱數(shù)據(jù)預(yù)處理。在數(shù)據(jù)挖掘中，至少60%的費用可能要花在步驟（1）信息收集階段，而至少60%以上的精力和時間是花在數(shù)據(jù)預(yù)處理。五、一種基于DW 的DMS 結(jié)構(gòu)框架 根據(jù)數(shù)據(jù)倉庫系統(tǒng)的特點， 提出一種基于數(shù)據(jù)倉庫的通用數(shù)據(jù)挖掘系統(tǒng)的結(jié)構(gòu)框架，如圖1。該結(jié)構(gòu)框架的概念模型包括如下組成部分：（1）用戶查詢接口它可分為查詢分類、查詢解釋及規(guī)格化兩部分。其作用是將數(shù)據(jù)挖掘請求解釋成規(guī)格化的查詢語言，并交由查詢協(xié)同機處理。（2）查詢協(xié)同機它的工作是協(xié)同數(shù)據(jù)倉庫管理系統(tǒng)、數(shù)據(jù)挖掘工具管理系統(tǒng)和知識庫管理系統(tǒng)， 共同對查

18、詢接口提交的查詢請求進行處理。 圖1 一種基于數(shù)據(jù)倉庫的數(shù)據(jù)挖掘系統(tǒng)的結(jié)構(gòu)框架（3）數(shù)據(jù)倉庫管理系統(tǒng)它直接負責對數(shù)據(jù)倉庫進行管理，并完成對各種異構(gòu)分布數(shù)據(jù)源中數(shù)據(jù)的提取工作， 以最大限度屏蔽各異構(gòu)數(shù)據(jù)源對系統(tǒng)的影響。（4）知識庫管理系統(tǒng)它對知識庫進行管理和控制，包括知識的增加、刪除、更新和查詢等。一方面，處理由查詢協(xié)同機處理后產(chǎn)生的知識庫查詢請求，并將結(jié)果提交給數(shù)據(jù)挖掘模塊；另一方面，接受通過知識評價的知識模式，并存入知識庫。（5） 數(shù)據(jù)挖掘工具的管理系統(tǒng)它的作用是對數(shù)據(jù)挖掘工具進行管理。（6） 數(shù)據(jù)挖掘預(yù)處理模塊它的任務(wù)是在數(shù)據(jù)倉庫管理系統(tǒng)的協(xié)同下，根據(jù)元數(shù)據(jù)和維表，對整個數(shù)據(jù)倉庫中儲存的數(shù)

19、據(jù)進行處理，生成符合用戶查詢需要的，并能滿足數(shù)據(jù)挖掘工具集要求的待處理數(shù)據(jù)子集。（7） 知識評價模塊數(shù)據(jù)挖掘階段發(fā)現(xiàn)出來的模式需要經(jīng)過知識評價模塊的評估。如果存在冗余或無關(guān)的模式，則將其剔除了；如果模式不能滿足用戶要求，則需要重新選取數(shù)據(jù)，設(shè)定新的數(shù)據(jù)挖掘參數(shù)值， 甚至更換數(shù)據(jù)挖掘算法重新進行數(shù)據(jù)挖掘。（8） 結(jié)論表達模塊它將得到的結(jié)論按語義層次結(jié)構(gòu)進行普化，得出各語義層上的結(jié)論，并對其進行解釋，將發(fā)現(xiàn)的模式以可視化或自然語言的形式呈現(xiàn)給用戶。六、基于數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術(shù)的DSS 創(chuàng)建數(shù)據(jù)倉庫的目的是為企業(yè)的DSS 和EIS 提供科學的決策依據(jù)。數(shù)據(jù)倉庫用于大量數(shù)據(jù)存儲和組織；數(shù)據(jù)挖掘用于從大量的數(shù)據(jù)中發(fā)現(xiàn)知識，為用戶進行預(yù)測決策。數(shù)據(jù)挖掘以數(shù)據(jù)倉庫和多維數(shù)據(jù)庫為基礎(chǔ)， 通過OLAP 和多維分析工具自動發(fā)現(xiàn)數(shù)