計(jì)算機(jī)網(wǎng)絡(luò)與信息系統(tǒng)集成調(diào)研報(bào)告

1、計(jì)算機(jī)網(wǎng)絡(luò)信息系統(tǒng)集成課程研究報(bào)告姓 名：陽 濤學(xué) 院：湖北工業(yè)大學(xué)班 級(jí)：控制工程班學(xué) 號(hào)：520130114時(shí) 間：2013年8月12日基于數(shù)據(jù)倉庫的數(shù)據(jù)挖掘技術(shù)分析研究摘 要基于數(shù)據(jù)倉庫的數(shù)據(jù)挖掘技術(shù)是一種對(duì)數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行深層次的加工和處理的過程,也是一種實(shí)現(xiàn)數(shù)據(jù)倉庫決策價(jià)值的方法和工具。文中分析了數(shù)據(jù)倉庫、數(shù)據(jù)挖掘等概念,并結(jié)合數(shù)據(jù)挖掘在實(shí)際決策支持系統(tǒng)中的應(yīng)用,說明了數(shù)據(jù)挖掘的基本方法、主要過程以及發(fā)展方向。關(guān)鍵詞：倉庫，儲(chǔ)存，數(shù)據(jù)采集3目 錄摘 要 錯(cuò)誤！未定義書簽。目 錄3引 言41數(shù)據(jù)倉庫及其體系結(jié)構(gòu)52基于數(shù)據(jù)倉庫的數(shù)據(jù)挖掘技術(shù)63數(shù)據(jù)挖掘在實(shí)際決策支持系統(tǒng)中的應(yīng)用84

2、.結(jié)束語9參考文獻(xiàn)10引 言 隨著數(shù)據(jù)庫技術(shù)的廣泛應(yīng)用,以及人們對(duì)當(dāng)今社會(huì)信息的高層次需求,以事務(wù)處理為核心、支持業(yè)務(wù)操作環(huán)境與平臺(tái)的數(shù)據(jù)庫技術(shù)已不能適應(yīng)人們?cè)诜治龊蜎Q策層次上的需要。為了有效地為企業(yè)和政府的管理與決策過程提供重要的信息,需要根據(jù)決策的需要收集來自企業(yè)內(nèi)外的有關(guān)數(shù)據(jù),并加以適當(dāng)?shù)慕M織處理,以形成一個(gè)綜合的面向決策的環(huán)境。1 數(shù)據(jù)倉庫及其體系結(jié)構(gòu) 20世紀(jì)90年代初期,W.H.Inmon在5Building the Data Warehouse6一書中第一次提出了數(shù)據(jù)倉庫(Data Warehouse,簡稱DW)的概念,并將它定義為:面向主題的、集成的、與時(shí)間相關(guān)的、穩(wěn)定的數(shù)據(jù)集

3、合。所謂面向主題,是指按主題來組織數(shù)據(jù),按不同的決策和分析來綜合和歸并數(shù)據(jù);所謂集成,是指將來自不同數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行統(tǒng)一和綜合;所謂與時(shí)間相關(guān)是指可以根據(jù)決策的需要不斷地添加一些新的數(shù)據(jù),刪除一些舊的數(shù)據(jù);所謂穩(wěn)定是指集成以后的數(shù)據(jù)在內(nèi)容上保持較長時(shí)間的不變。 與傳統(tǒng)數(shù)據(jù)庫顯著不同的是,數(shù)據(jù)倉庫是一種服務(wù)于高層決策的數(shù)據(jù)庫,它不僅采集、組織和存儲(chǔ)大量的來自地理位置分散、構(gòu)造各異的信息源的數(shù)據(jù),而且還通過對(duì)這些歷史數(shù)據(jù)的加工和變換,得到一系列用于決策分析的數(shù)據(jù),利用這些數(shù)據(jù)可以更好地為用戶提供決策支持。其次,數(shù)據(jù)倉庫是一種面向主題的數(shù)據(jù)庫,它按主題來組織數(shù)據(jù),按決策和分析的需要來提煉和凈化數(shù)據(jù)

4、。另外,數(shù)據(jù)倉庫是一種包含歷史數(shù)據(jù)的數(shù)據(jù)庫,其中的數(shù)據(jù)不僅用于檢索等基本操作,還用于分析整個(gè)組織的運(yùn)行狀態(tài),以及未來的發(fā)展趨勢(shì)。 構(gòu)建數(shù)據(jù)倉庫的關(guān)鍵是ETL(Extract,Transform, Loading)技術(shù),即如何準(zhǔn)確、安全、可靠地從各種不同的業(yè)務(wù)數(shù)據(jù)庫中抽取數(shù)據(jù),并經(jīng)轉(zhuǎn)換、清洗以及集成后載入數(shù)據(jù)倉庫。自數(shù)據(jù)倉庫的概念提出以后,世界上不少著名的計(jì)算機(jī)公司(如IBM,Oracle等)都紛紛對(duì)此展開深入的研究,并相繼提出各自的研究方案。雖然這些方案各有特色,但基本的框架一般都是通過數(shù)據(jù)采集和處理工具將各數(shù)據(jù)源的數(shù)據(jù)集成并載入數(shù)據(jù)倉庫(如圖1所示)。圖1.數(shù)據(jù)倉庫基本框架圖 (1)數(shù)據(jù)源。

5、可以為普通的業(yè)務(wù)數(shù)據(jù)庫,也可以是特定的數(shù)據(jù)文件或其他的數(shù)據(jù)源。 (2)數(shù)據(jù)采集和處理。負(fù)責(zé)從各數(shù)據(jù)源中抽取數(shù)據(jù),并經(jīng)轉(zhuǎn)換、集成后載入數(shù)據(jù)倉庫。 (3)數(shù)據(jù)倉庫。存儲(chǔ)兩類數(shù)據(jù)。一類是元數(shù)據(jù),它是數(shù)據(jù)倉庫的基本構(gòu)成單元,主要用于記錄數(shù)據(jù)的結(jié)構(gòu)以及數(shù)據(jù)倉庫的變化;另一類是實(shí)視圖,它是供決策人員分析處理用的數(shù)據(jù)。 (4)應(yīng)用。主要是服務(wù)于決策的在線分析(On-Line Analytical Processing,簡稱OLAP)和數(shù)據(jù)挖掘(Data Mining,簡稱DM)。 由上述基本框架圖可以看出,數(shù)據(jù)倉庫不是一種軟件產(chǎn)品,而是一種綜合的解決方案。它將原始的數(shù)據(jù)處理并轉(zhuǎn)換成服務(wù)于決策的綜合數(shù)據(jù),并提

6、供一組功能強(qiáng)大的分析工具對(duì)其進(jìn)行多層次、多方位的分析處理。其次,數(shù)據(jù)倉庫要提供高質(zhì)量的數(shù)據(jù)和服務(wù),必須注意數(shù)據(jù)的一致性、完整性、準(zhǔn)確性以及可用性?，F(xiàn)有的數(shù)據(jù)倉庫模型未能充分考慮到這一點(diǎn)。通過擴(kuò)展元數(shù)據(jù)庫的方式,在元數(shù)據(jù)庫中融入質(zhì)量維度的質(zhì)量模型,建立系統(tǒng)化的測(cè)量和提高數(shù)據(jù)質(zhì)量的方法體系,可以較好地解決數(shù)據(jù)倉庫的質(zhì)量問題。2 基于數(shù)據(jù)倉庫的數(shù)據(jù)挖掘技術(shù) 構(gòu)建數(shù)據(jù)倉庫的最終目標(biāo)是為了從各類海量數(shù)據(jù)中提取出對(duì)有關(guān)決策和管理活動(dòng)具有重要指導(dǎo)意義的規(guī)律性知識(shí)。但是,由于各類數(shù)據(jù)是分散于若干業(yè)務(wù)數(shù)據(jù)庫或其他數(shù)據(jù)源中,因此,要得到對(duì)各類決策分析有用的知識(shí),必須具有相應(yīng)的從海量數(shù)據(jù)中提取價(jià)值信息的工具。數(shù)據(jù)挖

7、掘就是用來挖掘價(jià)值信息的工具。 數(shù)據(jù)挖掘這一概念是由G.Piatetsky-Shapior,W.J.Frawley等人在1989年8月召開的第11屆國際人工智能學(xué)術(shù)會(huì)議上提出的。它是數(shù)據(jù)庫技術(shù)和人工智能、數(shù)理統(tǒng)計(jì)等學(xué)科相結(jié)合的產(chǎn)物,是一個(gè)多學(xué)科相互交叉的具有廣泛應(yīng)用前景的新興研究領(lǐng)域,并利用人工智能和數(shù)理統(tǒng)計(jì)中一些較成熟的方法和技術(shù),如規(guī)則推理、人工神經(jīng)網(wǎng)絡(luò)、決策樹、鄰近搜索等。因此,也有人把它稱為數(shù)據(jù)庫中的知識(shí)發(fā)現(xiàn)(Knowledge Discovery in Database,簡稱KDD)。對(duì)數(shù)據(jù)挖掘這一概念的定義,一般認(rèn)為是一種從大量數(shù)據(jù)中獲取潛在規(guī)律和知識(shí)的方法和技術(shù),是一個(gè)從大量數(shù)據(jù)

8、中發(fā)掘潛在的、新穎的、可用的以及最終可理解的模式的高級(jí)過程。 面向主題、數(shù)據(jù)集成、與時(shí)間相關(guān)以及穩(wěn)定是數(shù)據(jù)倉庫區(qū)別于數(shù)據(jù)庫的顯著特點(diǎn),實(shí)現(xiàn)決策支持是數(shù)據(jù)倉庫的最終應(yīng)用目標(biāo),而數(shù)據(jù)挖掘則是實(shí)現(xiàn)數(shù)據(jù)倉庫最終目標(biāo)的有力工具。因此,在實(shí)際應(yīng)用中,數(shù)據(jù)挖掘和數(shù)據(jù)倉庫密不可分。數(shù)據(jù)倉庫是數(shù)據(jù)挖掘的基礎(chǔ)和平臺(tái),為數(shù)據(jù)挖掘提供必要的數(shù)據(jù)準(zhǔn)備,數(shù)據(jù)挖掘則是在數(shù)據(jù)倉庫的基礎(chǔ)上進(jìn)一步發(fā)掘?qū)?shí)際決策過程有益的知識(shí)和信息。 數(shù)據(jù)挖掘系統(tǒng)的基本結(jié)構(gòu)圖如圖2所示。圖2.數(shù)據(jù)挖掘系統(tǒng)結(jié)構(gòu)圖 (1)數(shù)據(jù)采集與處理。根據(jù)數(shù)據(jù)挖掘的目標(biāo),從數(shù)據(jù)倉庫中選取相關(guān)的數(shù)據(jù)集合,并對(duì)其進(jìn)行數(shù)據(jù)一致性和數(shù)據(jù)完整性的檢查。 (2)知識(shí)庫。主要用

9、于數(shù)據(jù)挖掘和知識(shí)評(píng)價(jià)。利用知識(shí)庫中提供的有關(guān)知識(shí),可以指導(dǎo)數(shù)據(jù)挖掘過程中的搜索操作,以及評(píng)價(jià)挖掘所得的結(jié)果數(shù)據(jù)(這些數(shù)據(jù)可以是概念,也可以是規(guī)則或模式)的興趣度。 (3)數(shù)據(jù)挖掘。主要是對(duì)數(shù)據(jù)倉庫中提取的有關(guān)數(shù)據(jù)進(jìn)行聚類、估值、分類、預(yù)言、關(guān)聯(lián)和描述等分析處理。 a.聚類。將相似的數(shù)據(jù)置于一類,目的在于描述數(shù)據(jù)的共同特征。 b.估值。處理未知連續(xù)變量的輸出。 c.分類。描述離散變量的輸出。典型的有線形回歸分類、決策樹分類、基于規(guī)則的分類以及神經(jīng)網(wǎng)絡(luò)分類等。 d.預(yù)言。通過估值或分類得到模型,以用于未來未知變量的評(píng)估。 e.關(guān)聯(lián)。挖掘數(shù)據(jù)或特征間的內(nèi)在聯(lián)系。 f.描述。表示數(shù)據(jù)挖掘的結(jié)果。 (4

10、)知識(shí)評(píng)價(jià)。以興趣度作為衡量標(biāo)準(zhǔn)來查找和選擇對(duì)最終決策活動(dòng)有益的知識(shí),并以概念、規(guī)則、規(guī)律、模式、約束或可視化的形式來表示結(jié)果知識(shí)?；跀?shù)據(jù)倉庫的數(shù)據(jù)挖掘是一種對(duì)數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行深層次的加工和處理過程,也是一種實(shí)現(xiàn)數(shù)據(jù)倉庫決策價(jià)值的方法和工具。通過對(duì)數(shù)據(jù)倉庫中大量歷史數(shù)據(jù)的更高層次的抽象,不僅反映了數(shù)據(jù)間的內(nèi)在聯(lián)系和特性,同時(shí)也獲得了許多直接用于決策分析的有用信息。3 數(shù)據(jù)挖掘在實(shí)際決策支持系統(tǒng)中的應(yīng)用 數(shù)據(jù)挖掘是在數(shù)據(jù)倉庫的基礎(chǔ)上進(jìn)行的深層的數(shù)據(jù)分析過程,它能揭示大量數(shù)據(jù)中隱含的、潛在的、有用的和感興趣的信息,并為用戶提供較好的決策支持。 自數(shù)據(jù)倉庫和數(shù)據(jù)挖掘技術(shù)出現(xiàn)至今,許多大公司、大

11、企業(yè)紛紛構(gòu)建自己的數(shù)據(jù)倉庫,并通過對(duì)數(shù)據(jù)倉庫中大量歷史數(shù)據(jù)的挖掘,得到許多有用的信息,以支持企業(yè)內(nèi)部的生產(chǎn)經(jīng)營管理過程中的決策控制。實(shí)際的數(shù)據(jù)挖掘過程一般包括以下幾個(gè)步驟: (1)了解行業(yè)背景,熟悉基本數(shù)據(jù); (2)確定數(shù)據(jù)挖掘的目標(biāo); (3)選取數(shù)據(jù)倉庫中相應(yīng)的數(shù)據(jù)集合; (4)給出合適的挖掘算法; (5)進(jìn)行實(shí)際的數(shù)據(jù)挖掘; (6)對(duì)所得的結(jié)果知識(shí)進(jìn)行評(píng)價(jià)并輸出。 目前,數(shù)據(jù)挖掘的主要應(yīng)用領(lǐng)域有:市場分析和預(yù)測(cè);生產(chǎn)過程優(yōu)化;股票分析和預(yù)測(cè);金融風(fēng)險(xiǎn)分析;氣象預(yù)報(bào)等。例如,針對(duì)本單位的人力資源管理需要,構(gòu)建本單位的人力資源數(shù)據(jù)倉庫,并利用選擇樹分類器對(duì)其進(jìn)行數(shù)據(jù)挖掘。針對(duì)旅游業(yè)的管理需要,

12、構(gòu)建旅游業(yè)數(shù)據(jù)倉庫,并利用決策樹分類器挖掘其中的深層次規(guī)則。針對(duì)零售連鎖業(yè)的發(fā)展需要,構(gòu)建連鎖超市數(shù)據(jù)倉庫,并通過對(duì)其進(jìn)行數(shù)據(jù)挖掘?qū)崿F(xiàn)連鎖超市銷售分析與預(yù)測(cè)。 雖然這些基于數(shù)據(jù)倉庫和數(shù)據(jù)挖掘技術(shù)的實(shí)際決策支持系統(tǒng)的設(shè)計(jì)各有特色,但其基本的框架可以用一個(gè)簡單的模型來刻畫,如圖3所示。圖3.決策支持系統(tǒng)模型圖 在實(shí)現(xiàn)實(shí)際的決策支持系統(tǒng)時(shí),系統(tǒng)首先通過數(shù)據(jù)采集與加工模塊將各數(shù)據(jù)源中數(shù)據(jù)載入數(shù)據(jù)倉庫,然后各用戶再通過數(shù)據(jù)挖掘和在線分析來分析處理來自數(shù)據(jù)倉庫的數(shù)據(jù),并得到一系列用于實(shí)際決策過程的有用知識(shí)和信息。其中,數(shù)據(jù)挖掘是系統(tǒng)的核心部件,是決定數(shù)據(jù)倉庫決策價(jià)值的關(guān)鍵環(huán)節(jié)。4 結(jié)束語 數(shù)據(jù)挖掘是一個(gè)基于數(shù)據(jù)倉庫的有效的輔助決策支持工具,利用它可以發(fā)現(xiàn)數(shù)據(jù)倉庫中許多未知的、潛在的、深層次的和有