第二章 數(shù)據(jù)倉庫的概念與體系結(jié)構(gòu)

第2章數(shù)據(jù)倉庫的概念與體系結(jié)構(gòu)歷史數(shù)據(jù)的幾種處理方式:1)簡單刪除2）備份后刪除3）建立數(shù)據(jù)倉庫1/15/20232.1數(shù)據(jù)倉庫的概念、特點與組成數(shù)據(jù)倉庫的概念數(shù)據(jù)倉庫就是一個面向主題的（SubjectOriented）、集成的（Integrate）、相對穩(wěn)定的（Non-Volatile）、反映歷史變化（TimeVariant）的數(shù)據(jù)集合，通常用于輔助決策支持（DDS）1/15/20232.1數(shù)據(jù)倉庫的概念、特點與組成數(shù)據(jù)倉庫的特點：面向主題；集成的；相對穩(wěn)定的；反映歷史變化。1/15/20232.1數(shù)據(jù)倉庫的概念、特點與組成數(shù)據(jù)倉庫的組成：數(shù)據(jù)倉庫數(shù)據(jù)庫（核心部分）（特點：支持海量數(shù)據(jù)和快速檢索）；數(shù)據(jù)抽取工具（提取、轉(zhuǎn)換、整理），數(shù)據(jù)轉(zhuǎn)換的內(nèi)容通常有：1)刪除沒意義的數(shù)據(jù)；2）轉(zhuǎn)換到統(tǒng)一的數(shù)據(jù)名稱和定義；3）計算統(tǒng)計和衍生數(shù)據(jù)；4）填補缺失數(shù)據(jù)等；元數(shù)據(jù)：技術(shù)元數(shù)據(jù)與業(yè)務(wù)元數(shù)據(jù)；技術(shù)元數(shù)據(jù)：數(shù)據(jù)倉庫的涉及和管理人員用于開發(fā)和管理數(shù)據(jù)倉庫時使用的元數(shù)據(jù)，包括：數(shù)據(jù)轉(zhuǎn)換的描述、數(shù)據(jù)清洗和數(shù)據(jù)更新時用的規(guī)則等等。

業(yè)務(wù)元數(shù)據(jù):從單位業(yè)務(wù)的角度描述數(shù)據(jù)倉庫，如業(yè)務(wù)主題的描述，即業(yè)務(wù)主體包含的數(shù)據(jù)、查詢及報表等。1/15/20232.1數(shù)據(jù)倉庫的概念、特點與組成數(shù)據(jù)倉庫的組成：-訪問工具：如分析、報表、數(shù)據(jù)挖掘工具數(shù)據(jù)集市（DataMarts）：為特定的應(yīng)用目的，從數(shù)據(jù)倉庫中獨立出來的一部分?jǐn)?shù)據(jù)，也稱部門數(shù)據(jù)或主題數(shù)據(jù)。數(shù)據(jù)倉庫管理：包括安全與權(quán)限的管理、數(shù)據(jù)更新的跟蹤、元數(shù)據(jù)的管理與更新、數(shù)據(jù)的復(fù)制于刪除等等。信息發(fā)布系統(tǒng)：將數(shù)據(jù)發(fā)送給不同的地點或用戶。1/15/20232.2數(shù)據(jù)挖掘的概念與方法數(shù)據(jù)挖掘的概念數(shù)據(jù)挖掘(DataMining)，就是從大量數(shù)據(jù)中獲取有效的、新穎的、潛在有用的、最終可理解的模式的非平凡過程，簡單的說，數(shù)據(jù)挖掘就是從大量數(shù)據(jù)中提取或“挖掘”知識，又被稱為數(shù)據(jù)庫中的知識發(fā)現(xiàn)(KnowledgeDiscoveryinDatabase,KDD)1/15/20232.2數(shù)據(jù)挖掘的概念與方法數(shù)據(jù)挖掘的方法：直接數(shù)據(jù)挖掘間接數(shù)據(jù)挖掘。1/15/20232.2數(shù)據(jù)挖掘的概念與方法數(shù)據(jù)倉庫與數(shù)據(jù)挖掘的關(guān)系若將數(shù)據(jù)倉庫（DataWarehouse）比作礦井，那么數(shù)據(jù)挖掘（DataMining）就是深入礦井采礦的工作數(shù)據(jù)挖掘是從數(shù)據(jù)倉庫中找出有用信息的一種過程與技術(shù)

1/15/20232.3數(shù)據(jù)倉庫的技術(shù)、方法與產(chǎn)品聯(lián)機(jī)事務(wù)處理（OLTP）與聯(lián)機(jī)分析處理（OLAP）的比較；見表1.1OLAP技術(shù)的有關(guān)概念：多維數(shù)據(jù)集、維度、度量值和多維分析（切片、切塊、鉆取、旋轉(zhuǎn)等）；OLAP根據(jù)其存儲數(shù)據(jù)的方式可分為三類：ROLAP、MOLAP、HOLAP（混合，低層關(guān)系型，高層多維型）OLAP工具：對特定問題的聯(lián)機(jī)數(shù)據(jù)訪問與分析，一般是前端工具。

1/15/20232.3數(shù)據(jù)倉庫的技術(shù)、方法與產(chǎn)品數(shù)據(jù)倉庫實施中的三個關(guān)鍵環(huán)節(jié)數(shù)據(jù)抽取；數(shù)據(jù)存儲與管理：大量數(shù)據(jù)管理，并行處理，支持查詢的優(yōu)化，支持多維分析的查詢模式數(shù)據(jù)表現(xiàn):工具主要集中在多維分析、數(shù)據(jù)挖掘、統(tǒng)計分析。1/15/20232.3數(shù)數(shù)據(jù)據(jù)倉倉庫庫的的技技術(shù)術(shù)、、方方法法與與產(chǎn)產(chǎn)品品數(shù)據(jù)據(jù)倉倉庫庫實實施施方方法法論論數(shù)據(jù)據(jù)倉倉庫庫不不是是簡簡單單的的數(shù)數(shù)據(jù)據(jù)或或產(chǎn)產(chǎn)品品堆堆砌砌，，它它是是一一個個綜綜合合集集成成解解決決方方案案和和系系統(tǒng)統(tǒng)工工程程。。在在數(shù)數(shù)據(jù)據(jù)倉倉庫庫的的實實施施過過程程中中，，技技術(shù)術(shù)決決策策至至關(guān)關(guān)重重要要，，技技術(shù)術(shù)選選擇擇或或決決策策錯錯誤誤很很可可能能導(dǎo)導(dǎo)致致項項目目實實施施失失敗敗12/31/20222.3數(shù)數(shù)據(jù)據(jù)倉倉庫庫的的技技術(shù)術(shù)、、方方法法與與產(chǎn)產(chǎn)品品常用用數(shù)數(shù)據(jù)據(jù)倉倉庫庫產(chǎn)產(chǎn)品品比比較較常用用OLAP工工具具介介紹紹；；各數(shù)數(shù)據(jù)據(jù)倉倉庫庫廠廠商商提提供供的的解解決決方方案案IBM、、Oracle、、NCR、、Microsoft、、SAS等等12/31/20222.4數(shù)據(jù)據(jù)倉庫系統(tǒng)的的體系結(jié)構(gòu)數(shù)據(jù)倉庫系統(tǒng)統(tǒng)的體系結(jié)構(gòu)構(gòu)的分類（1）兩層架架構(gòu)（GenericTwo-LevelArchitecture）。（2）獨立型型數(shù)據(jù)集市（（IndependentDataMart）。（3）依賴型型數(shù)據(jù)集市和和操作型數(shù)據(jù)據(jù)存儲（DependentDataMartandOperationalDataStore））。（4）邏輯型型數(shù)據(jù)集市和和實時數(shù)據(jù)倉倉庫（LogicalDataMartandReal-TimeDataWarehouse）。。12/31/20222.4數(shù)數(shù)據(jù)倉倉庫系系統(tǒng)的的體系系結(jié)構(gòu)構(gòu)兩層數(shù)數(shù)據(jù)倉倉庫體體系結(jié)結(jié)構(gòu)12/31/20222.4數(shù)數(shù)據(jù)倉倉庫系系統(tǒng)的的體系系結(jié)構(gòu)構(gòu)基于獨獨立數(shù)數(shù)據(jù)集集市的的數(shù)據(jù)據(jù)倉庫庫體系系結(jié)構(gòu)構(gòu)12/31/20222.4數(shù)數(shù)據(jù)倉倉庫系系統(tǒng)的的體系系結(jié)構(gòu)構(gòu)基于依依賴型型數(shù)據(jù)據(jù)集市市和操操作型型數(shù)據(jù)據(jù)存儲儲(ODS)的的數(shù)據(jù)據(jù)倉庫庫體系系結(jié)構(gòu)構(gòu)12/31/20222.4數(shù)數(shù)據(jù)倉倉庫系系統(tǒng)的的體系系結(jié)構(gòu)構(gòu)邏輯型型數(shù)據(jù)據(jù)集市市和實實時數(shù)數(shù)據(jù)倉倉庫的的體系系結(jié)構(gòu)構(gòu)12/31/20222.5數(shù)數(shù)據(jù)倉倉庫的產(chǎn)產(chǎn)生、發(fā)發(fā)展與未未來數(shù)據(jù)倉庫庫的產(chǎn)生生聯(lián)機(jī)事務(wù)務(wù)處理系系統(tǒng)（業(yè)業(yè)務(wù)系統(tǒng)統(tǒng)）剛上上線時，，查詢不不到數(shù)據(jù)據(jù)是因為為數(shù)據(jù)太太少了，，而幾十十年后查查詢不到到有關(guān)數(shù)數(shù)據(jù)是因因為數(shù)據(jù)據(jù)太多了了。針對對這一問問題，人人們設(shè)想想專門為為業(yè)務(wù)數(shù)數(shù)據(jù)的統(tǒng)統(tǒng)計分析析建立一一個數(shù)據(jù)據(jù)中心，，它的數(shù)數(shù)據(jù)從聯(lián)聯(lián)機(jī)事務(wù)務(wù)處理系系統(tǒng)中來來、從異異構(gòu)的外外部數(shù)據(jù)據(jù)源來、、或從脫脫機(jī)的歷歷史業(yè)務(wù)務(wù)數(shù)據(jù)中中來，這這個數(shù)據(jù)據(jù)中心也也是一個個聯(lián)機(jī)系系統(tǒng)，它它專門為為分析統(tǒng)統(tǒng)計和決決策支持持應(yīng)用服服務(wù)，通通過它可可獲取決決策支持持和聯(lián)機(jī)機(jī)分析應(yīng)應(yīng)用所需需要的一一切數(shù)據(jù)據(jù)。這個個數(shù)據(jù)中中心就叫叫做數(shù)據(jù)據(jù)倉庫。。簡單地地說，數(shù)數(shù)據(jù)倉庫庫就是一一個作為為決策支支持和聯(lián)聯(lián)機(jī)分析析應(yīng)用系系統(tǒng)數(shù)據(jù)據(jù)源的結(jié)結(jié)構(gòu)化數(shù)數(shù)據(jù)環(huán)境境，數(shù)據(jù)據(jù)倉庫要要研究和和解決的的問題就就是從數(shù)數(shù)據(jù)庫中中獲取信信息的問問題。12/31/20222.5數(shù)數(shù)據(jù)倉倉庫的產(chǎn)產(chǎn)生、發(fā)發(fā)展與未未來數(shù)據(jù)倉庫庫的發(fā)展展以報表為為主以分析為為主以預(yù)測模模型為主主以營運導(dǎo)導(dǎo)向為主主以實時數(shù)數(shù)據(jù)倉庫庫、自動動決策應(yīng)應(yīng)用為主主12/31/20222.5數(shù)數(shù)據(jù)倉倉庫的的產(chǎn)生生、發(fā)發(fā)展與與未來來數(shù)據(jù)倉倉庫的的未來來在數(shù)據(jù)據(jù)抽取取方面面，未未來的的技術(shù)術(shù)發(fā)展展將集集中在在系統(tǒng)統(tǒng)集成成化方方面。。它將將互連連、轉(zhuǎn)轉(zhuǎn)換、、復(fù)制制、調(diào)調(diào)度、、監(jiān)控控納入入標(biāo)準(zhǔn)準(zhǔn)化的的統(tǒng)一一管理理，以以適應(yīng)應(yīng)數(shù)據(jù)據(jù)倉庫庫本身身或數(shù)數(shù)據(jù)源源可能能的變變化，，使系系統(tǒng)更更便于于管理理和維維護(hù)。。在數(shù)據(jù)管理理方面，未未來的發(fā)展展將使數(shù)據(jù)據(jù)庫廠商明明確推出數(shù)數(shù)據(jù)倉庫引引擎，作為為數(shù)據(jù)倉庫庫服務(wù)器產(chǎn)產(chǎn)品與數(shù)據(jù)據(jù)庫服務(wù)器器并駕齊驅(qū)驅(qū)。在這一一方面，帶帶有決策支支持?jǐn)U展的的并行關(guān)系系數(shù)據(jù)庫將將最具發(fā)展展?jié)摿?。在?shù)據(jù)表現(xiàn)現(xiàn)方面，數(shù)數(shù)理統(tǒng)計的的算法和功功能將普遍遍集成到聯(lián)聯(lián)機(jī)分析產(chǎn)產(chǎn)品中，并并與I