數(shù)據(jù)倉庫聯(lián)機分析處理與數(shù)據(jù)挖掘

1、數(shù)據(jù)倉庫、聯(lián)機分析處理與數(shù)據(jù)挖掘08廣義概念上的數(shù)據(jù)倉庫是一種幫助企業(yè)做決策的體系化解決方案，它包括了三個方面的內(nèi)容：數(shù)據(jù)倉庫技術(shù)（DataWarehouse,DW聯(lián)機分析處理技術(shù)（On-lineAnalyticalProcessing,OLAP數(shù)據(jù)挖掘技術(shù)（DataMining,DM數(shù)據(jù)倉庫、聯(lián)機分析處理和數(shù)據(jù)挖掘作為信息處理技術(shù)是獨立出現(xiàn)的。數(shù)據(jù)倉庫用于數(shù)據(jù)的存儲和組織；聯(lián)機分析處理則側(cè)重于數(shù)據(jù)的分析；數(shù)據(jù)挖掘則致力于知識的自動發(fā)現(xiàn)。因此這三種技術(shù)之間并沒有內(nèi)在的依賴關(guān)系，可以獨立地應(yīng)用到企業(yè)信息系統(tǒng)的建設(shè)之中，以提高信息系統(tǒng)相應(yīng)的能力。但是，這三種技術(shù)之間確實存在著一定的聯(lián)系性和互補性，

2、把它們結(jié)合起來，就可以使它們的能力更充分地發(fā)揮出來。這樣就形成了一種決策支持系統(tǒng)的架構(gòu)，即DW+OLAP+DM1、數(shù)據(jù)倉庫技術(shù)概述數(shù)據(jù)倉庫是一種只讀的、用于分析的數(shù)據(jù)庫，常常作為決策支持系統(tǒng)的底層。它從大量的事務(wù)性數(shù)據(jù)庫中抽取數(shù)據(jù)、并將其清理、轉(zhuǎn)換為新的存儲格式，即為了決策目標而把數(shù)據(jù)聚合在一種特殊的格式中。數(shù)據(jù)倉庫是支持管理決策過程的、面向主題的、集成的、隨時間變化的、但信息本身相對穩(wěn)定的數(shù)據(jù)集合。其中，“主題”是指用戶使用數(shù)據(jù)倉庫輔助決策時所關(guān)心的重點問題，每一個主題對應(yīng)一個客觀分析領(lǐng)域，如銷售、成本、利潤的情況等?！懊嫦蛑黝}”就是指數(shù)據(jù)倉庫中的信息是按主題組織的，按主題來提供信息?！凹?/p>

3、的”是指數(shù)據(jù)倉庫中的數(shù)據(jù)不是業(yè)務(wù)處理系統(tǒng)數(shù)據(jù)的簡單拼湊與匯總，而是經(jīng)過系統(tǒng)的加工整理，是相互一致的、具有代表性的數(shù)據(jù)?！半S時間變化”是指數(shù)據(jù)倉庫中存儲的是一個時間段的數(shù)據(jù)，而不僅僅是某一個時間的數(shù)據(jù)，所以主要用于進行時間趨勢分析。一般數(shù)據(jù)倉庫內(nèi)的數(shù)據(jù)時限為5到10年，數(shù)據(jù)量也比較大?！靶畔⒈旧硐鄬Ψ€(wěn)定”是指數(shù)據(jù)一旦進入數(shù)據(jù)倉庫，一般情況下將被長期保留，變更很少。數(shù)據(jù)倉庫組織和管理數(shù)據(jù)的方法與普通數(shù)據(jù)庫的不同點主要表現(xiàn)在三個方面：它依據(jù)決策要求，只從數(shù)據(jù)庫中抽取那些需要的數(shù)據(jù)，并進行一定的處理。數(shù)據(jù)倉庫是多維的，即數(shù)據(jù)倉庫中數(shù)據(jù)的組織方式有多層的行和列。它支持決策處理，不同于普通的事務(wù)處理。數(shù)據(jù)

4、倉庫需要的數(shù)據(jù)庫技術(shù)的支持：并行數(shù)據(jù)庫技術(shù)：數(shù)據(jù)倉庫中的數(shù)據(jù)量很大，一般要達到GB級，有的甚至要到TB級。對于處理如此大規(guī)模的數(shù)據(jù)，使用并行技術(shù)對提高運行效率是很有幫助的。高性能的數(shù)據(jù)庫服務(wù)器：傳統(tǒng)數(shù)據(jù)庫的應(yīng)用是操作型的，而數(shù)據(jù)倉庫的應(yīng)用是分析性的，它需要有高性能的數(shù)據(jù)庫服務(wù)器配合工作，對DBM骸心的性能也有更高的要求。數(shù)據(jù)庫互操作技術(shù)：數(shù)據(jù)倉庫的數(shù)據(jù)來源多種多樣，可能來自數(shù)據(jù)庫，也可能來自文件系統(tǒng)。即使都來自數(shù)據(jù)庫，這些數(shù)據(jù)庫也往往是異構(gòu)的。為了從這些異構(gòu)數(shù)據(jù)源中定期抽取、轉(zhuǎn)換和集成所需要的數(shù)據(jù)存入庫中，異構(gòu)數(shù)據(jù)源之間的互操作技術(shù)是必需的。2、聯(lián)機分析處理技術(shù)聯(lián)機分析處理是針對特定問題的聯(lián)機

5、數(shù)據(jù)訪問和分析，通過對信息進行快速、穩(wěn)定、一致和交互式的存取，對數(shù)據(jù)進行多層次、多階段的分析處理，以獲得高度歸納的分析結(jié)果。聯(lián)機分析處理是一種自上而下、不斷深入的分析工具，在用戶提出問題或假設(shè)之后，它負責提取出關(guān)于此問題的詳細信息，并以一種比較直觀的方式呈現(xiàn)給用戶。聯(lián)機分析處理技術(shù)的發(fā)展速度很快，在數(shù)據(jù)倉庫的概念提出不久，聯(lián)機分析處理的理論及相應(yīng)工具就被相繼推出了。聯(lián)機分析處理要求按多維方式組織企業(yè)的數(shù)據(jù)。多維數(shù)據(jù)庫的發(fā)展使決策分析中的數(shù)據(jù)結(jié)構(gòu)和分析方法相分離，才有可能研制出通用而靈活的分析工具，并使分析工具產(chǎn)品化。決策分析需要從不同的角度觀察分析數(shù)據(jù)，以多維數(shù)據(jù)為核心的多維數(shù)據(jù)分析是決策的主

6、要內(nèi)容。多維數(shù)據(jù)庫是以多維方式組織數(shù)據(jù)的。目前，聯(lián)機分析處理的工具可分為兩類：一類是基于多維數(shù)據(jù)庫的，另一類是基于關(guān)系數(shù)據(jù)庫的。兩者的相同點是基本數(shù)據(jù)源仍是數(shù)據(jù)庫和數(shù)據(jù)倉庫，都是基于關(guān)系數(shù)據(jù)模型的，都向用戶顯示多維數(shù)據(jù)視圖；不同點在于，前者把分析所需的數(shù)據(jù)從數(shù)據(jù)倉庫中抽取出來，物理地組織成多維數(shù)據(jù)庫，而后者則是利用關(guān)系表來模擬多維數(shù)據(jù)，并不是物理地生成多維數(shù)據(jù)庫。3、數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘的基本思想是從數(shù)據(jù)中抽取有價值的信息，其目的是幫助決策者尋找數(shù)據(jù)間潛在的關(guān)聯(lián)，發(fā)現(xiàn)被忽略的要素，而這些對預(yù)測趨勢和決策行為也許是十分有用的。從數(shù)據(jù)庫的角度看，數(shù)據(jù)挖掘就是這樣一個過程，它從數(shù)據(jù)庫的數(shù)據(jù)中識別出有

7、效的、新穎的、具有潛在效用的并最終可理解的信息（如規(guī)則、約束等）的非平凡過程。非平凡是一個數(shù)學(xué)概念，即數(shù)據(jù)挖掘既不是把數(shù)據(jù)全部抽取，也不是一點兒也不抽取，而是抽取出隱含的、未知的和可能有用的信息。從決策支持的角度看，數(shù)據(jù)挖掘是一種決策支持的過程，主要基于人工智能、機器學(xué)習(xí)、統(tǒng)計學(xué)和數(shù)據(jù)庫技術(shù)等多種技術(shù)，能高度自動地分析企業(yè)原有的數(shù)據(jù)，進行歸納推理，從中挖掘出潛在的模式，預(yù)測客戶的行為，幫助企業(yè)決策者調(diào)整市場策略，從而減少風險、輔助做出正確的決策。它是提高商業(yè)和科學(xué)決策過程中的質(zhì)量和效率的一種新方法。數(shù)據(jù)挖掘和聯(lián)機分析處理都可以在數(shù)據(jù)倉庫的基礎(chǔ)上對數(shù)據(jù)進行分析，以輔助決策。其中，聯(lián)機分析處理還是

8、一種傳統(tǒng)的決策支持方法，即，在某個假設(shè)的前提下通過數(shù)據(jù)查詢和分析來驗證和否定這個假設(shè)，所以聯(lián)機分析處理是一種驗證性的分析。與聯(lián)機分析處理不同，數(shù)據(jù)挖掘是數(shù)據(jù)驅(qū)動的，是一種真正的知識發(fā)現(xiàn)方法。使用數(shù)據(jù)挖掘工具，用戶不必提出確切的要求，系統(tǒng)能夠根據(jù)數(shù)據(jù)本身的規(guī)律性，自動地挖掘數(shù)據(jù)潛在的模式，或通過聯(lián)想，建立新的業(yè)務(wù)模型，幫助決策者調(diào)整市場策略，并找到正確的決策，這顯然有利于發(fā)現(xiàn)未知的事實。從數(shù)據(jù)分析深度的角度看，聯(lián)機分析處理位于較低的層次，而數(shù)據(jù)挖掘則處于較深的層次。所以，聯(lián)機分析處理和數(shù)據(jù)挖掘的主要差別就在于是否能自動地進行數(shù)據(jù)分析。4、決策支持系統(tǒng)在傳統(tǒng)的決策支持系統(tǒng)中，數(shù)據(jù)庫、模型庫和知識庫

9、往往被獨立地設(shè)計和實現(xiàn)，因而缺乏內(nèi)在的統(tǒng)一性。而以數(shù)據(jù)倉庫為中心、事務(wù)處理和數(shù)據(jù)挖掘為手段的新方案很好地解決了這個問題。如圖4.18所示1N據(jù)為的支統(tǒng)4數(shù)陣心儀條圖以倉-3聞持數(shù)據(jù)倉庫解決了數(shù)據(jù)不統(tǒng)一的問題。數(shù)據(jù)倉庫自底層數(shù)據(jù)庫收集大量事務(wù)級數(shù)據(jù)的同時，對數(shù)據(jù)進行集成、轉(zhuǎn)換和綜合，形成面向全局的數(shù)據(jù)視圖，形成整個系統(tǒng)的數(shù)據(jù)基礎(chǔ)。聯(lián)機分析處理從數(shù)據(jù)倉庫中的集成數(shù)據(jù)出發(fā)，構(gòu)建面向分析的多維數(shù)據(jù)模型，利用這個帶有普遍性的數(shù)據(jù)分析模型，用戶可以使用不同的方法，從不同的角度對數(shù)據(jù)進行分析，實現(xiàn)了分析方法和數(shù)據(jù)結(jié)構(gòu)的分離。數(shù)據(jù)挖掘以數(shù)據(jù)倉庫和多維數(shù)據(jù)庫中的大量數(shù)據(jù)為基礎(chǔ)，自動地發(fā)現(xiàn)數(shù)據(jù)中的潛在模式，并以這

10、種模式為基礎(chǔ)自動做出預(yù)測。數(shù)據(jù)挖掘反過來又可以為聯(lián)機分析處理提供分析的模式。正是由于數(shù)據(jù)倉庫、聯(lián)機分析處理和數(shù)據(jù)挖掘這三種技術(shù)的聯(lián)系性和互補性，使他們從不同的角度為決策支持服務(wù)。隨著企業(yè)競爭的日益加劇，這種新型的決策支持系統(tǒng)解決方案將受到越來越多的企業(yè)的青睞。4.5.3數(shù)據(jù)庫技術(shù)與電子荀務(wù)數(shù)據(jù)庫技術(shù)對電子商務(wù)的支持是全方位的，從底層的數(shù)據(jù)基礎(chǔ)到上層的應(yīng)用都涉及到數(shù)據(jù)庫技術(shù)。其結(jié)構(gòu)如圖4.19所示。決策i持系統(tǒng)管理信息系統(tǒng)圖4.L9電子商務(wù)中姓及的數(shù)據(jù)座技術(shù)從圖中可以看出，數(shù)據(jù)庫技術(shù)對于電子商務(wù)的支持可以概括為以下幾部分：1、數(shù)據(jù)的收集、存儲和組織這是傳統(tǒng)數(shù)據(jù)庫系統(tǒng)的主要功能，對于參與電子商務(wù)的

11、企業(yè)而言，數(shù)據(jù)的來源不僅僅是企業(yè)內(nèi)部管理信息系統(tǒng)，還包括大量的外部數(shù)據(jù)。數(shù)據(jù)是企業(yè)的重要資源，是決策的依據(jù)，是進行各種生產(chǎn)經(jīng)營活動的基礎(chǔ)和結(jié)果。2、決策支持這就要用到前面所提到的數(shù)據(jù)倉庫解決方案。這時數(shù)據(jù)庫中存儲的數(shù)據(jù)依然是決策的依據(jù)。決策關(guān)系到企業(yè)未來成敗的關(guān)鍵。電子商務(wù)系統(tǒng)如果缺少好的決策支持功能，一方面是對電子商務(wù)海量數(shù)據(jù)資源的一種浪費，另一方面也是對從事電子商務(wù)的企業(yè)的一種損失。3、對EDI的支持EDI是電子商務(wù)重要的組成部分，要想成功地實現(xiàn)EDI,企業(yè)的基礎(chǔ)設(shè)施建設(shè)是關(guān)鍵，而數(shù)據(jù)庫系統(tǒng)的建設(shè)是其中重要的一環(huán)。如果有良好的數(shù)據(jù)庫系統(tǒng)的支持，就可以實現(xiàn)應(yīng)用到應(yīng)用的EDI過程。這一過程是企

12、業(yè)內(nèi)部的管理信息系統(tǒng)依據(jù)業(yè)務(wù)情況自動產(chǎn)生EDI訂單,并傳輸給貿(mào)易伙伴；而對方傳來的EDI單證也可以由系統(tǒng)自動解釋，并存入相應(yīng)的數(shù)據(jù)庫，整個過程無需人工干預(yù)。因此，業(yè)務(wù)數(shù)據(jù)庫和EDI系統(tǒng)之間的接口就變得非常重要。這個接口的功能可以概括為：提供標準的信息格式定義。與數(shù)據(jù)庫管理系統(tǒng)的無關(guān)性。自動抽取數(shù)據(jù)庫中的相關(guān)數(shù)據(jù)轉(zhuǎn)換為Edi單證格式。自動抽取EDI單證的關(guān)鍵數(shù)據(jù)存儲到數(shù)據(jù)庫中。在這一過程中，可以設(shè)立一個EDI數(shù)據(jù)庫專門用于有關(guān)EDI數(shù)據(jù)的處理。這樣的管理方式簡單明了，但如果數(shù)據(jù)庫之間的溝通不順暢，就可能產(chǎn)生數(shù)據(jù)不一致的現(xiàn)象。4、We跋據(jù)庫隨著WW隨不斷發(fā)展，越來越多的企業(yè)加入到Web中來。當前許

13、多企業(yè)紛紛在Web上開發(fā)自己的主頁來介紹自己的產(chǎn)品和服務(wù)。有的網(wǎng)頁不僅有琳瑯滿目的產(chǎn)品信息和優(yōu)惠的價格，還配有詳細的專家評論，牢牢抓住了網(wǎng)上用戶的心理。企業(yè)不僅可以通過Web發(fā)布自己的信息，同時也可以收集顧客的需求信息。這樣給雙方都帶來了好處。對于企業(yè)而言，它不僅可以用相對低的成本介紹和展示其產(chǎn)品和服務(wù)，也可以獲得準確的客戶需求信息。對于顧客而言，瀏覽網(wǎng)頁省時省力，而且可以及時把要求反映給廠家，定制出自己喜歡的產(chǎn)品。而且，訪問Web都是通過瀏覽器，這樣就統(tǒng)一了界面，有利于行業(yè)標準化。Web數(shù)據(jù)庫是一個新興事物，WeW數(shù)據(jù)庫的結(jié)合，主要是源于兩者各自的優(yōu)勢和缺陷。Web的特點Web上數(shù)據(jù)量大、類型多、缺乏組織和管理。目前Web中字節(jié)量的增長速度達到每月15%以上。因為Web的鏈接資源是非官方的，所以Web的數(shù)據(jù)缺少規(guī)范。目前Web上的數(shù)據(jù)主要由靜態(tài)HTML達，其優(yōu)點是表現(xiàn)能力強，鏈點跳車專靈活,與平臺無關(guān)。但由于Web頁面結(jié)構(gòu)自由性大，致使Web上的信息又多又混亂。就管理角度而言，Web的數(shù)據(jù)管理只相當于20世紀70年代的文件管理水平。而且HTML文件動態(tài)更新特性差，用戶很難得到最新的消息反饋。數(shù)據(jù)庫技術(shù)的特點當前的數(shù)據(jù)庫管理系統(tǒng)已發(fā)展到相當成熟的階段，能高效、高質(zhì)、安全地管理數(shù)據(jù)。與Web相比，數(shù)據(jù)庫管理系統(tǒng)顯得嚴謹而靈活不足。Web