數(shù)據庫原理與應用：分布式數(shù)據庫和數(shù)據倉庫基礎

數(shù)據庫原理與應用9.1.1分布式數(shù)據庫系統(tǒng)什么是分布式數(shù)據庫？分布式數(shù)據庫由一組數(shù)據組成，這些數(shù)據物理上分布在計算機網絡的不同結點(亦稱場地)上，邏輯上是屬于同一個系統(tǒng)。分布性邏輯整體性分布式數(shù)據庫系統(tǒng)(續(xù))圖9.1一個分布式數(shù)據庫系統(tǒng)

［例1］如圖9.1所示分布式數(shù)據庫系統(tǒng)(續(xù))區(qū)分一個系統(tǒng)是若干集中式數(shù)據庫的簡單連網還是分布式數(shù)據庫系統(tǒng)的技術要點在于：

系統(tǒng)是否支持全局應用

一個典型的例子是銀行轉賬從一個分行的賬戶(設在DB1數(shù)據庫)中轉移若干金額到另一個分行的賬戶(設在DB3數(shù)據庫)中去要同時更新兩個結點上的數(shù)據庫分布式數(shù)據庫系統(tǒng)(續(xù))圖9.2一個多處理機系統(tǒng)(SN并行結構)［例2］如圖9.2所示分布式數(shù)據庫系統(tǒng)(續(xù))多處理機系統(tǒng)(SN并行結構)沒有局部應用分布式數(shù)據庫不僅要求數(shù)據的物理分布，而且要求這種分布是面向處理、面向應用的分布式數(shù)據庫系統(tǒng)(續(xù))分布式數(shù)據庫：分布式數(shù)據庫是由一組數(shù)據組成的，這組數(shù)據分布在計算機網絡的不同計算機上，網絡中的每個結點具有獨立處理的能力(稱為場地自治)，可以執(zhí)行局部應用。同時，每個結點也能通過網絡通信子系統(tǒng)執(zhí)行全局應用。場地自治性自治場地之間的協(xié)作性9.1概述9.1.1分布式數(shù)據庫系統(tǒng)9.1.2分布式數(shù)據庫系統(tǒng)的特點分布式數(shù)據庫系統(tǒng)的特點(續(xù))一、數(shù)據獨立性邏輯獨立性物理獨立性數(shù)據分布獨立性(分布透明性)用戶的應用程序書寫起來就如同數(shù)據沒有分布一樣分布式數(shù)據庫系統(tǒng)的特點(續(xù))二、集中與自治相結合的控制結構數(shù)據共享：(1)局部共享(2)全局共享控制機制：集中自治分布式數(shù)據庫系統(tǒng)的特點(續(xù))三、適當增加數(shù)據冗余度提高系統(tǒng)的可靠性、可用性提高系統(tǒng)性能四、全局的一致性、可串行性和可恢復性局部數(shù)據庫要保證ACID全局數(shù)據庫也要保證ACID9.2分布式數(shù)據庫系統(tǒng)的體系結構9.2.1分布式數(shù)據庫系統(tǒng)的模式結構9.2.2數(shù)據分片9.2.3分布透明性9.2.4分布式數(shù)據庫管理系統(tǒng)9.2.1分布式數(shù)據庫系統(tǒng)的模式結構圖9.3分布式數(shù)據庫系統(tǒng)的模式結構分布式數(shù)據庫系統(tǒng)的模式結構(續(xù))分布式數(shù)據庫系統(tǒng)增加的模式級別(1)全局外模式(GlobalExternalSchema)(2)全局概念模式(GlobalConceptualSchema)(3)分片模式(FragmentationSchema)片段(Fragment)定義片段以及全局關系到片段的映象(4)分布模式(AllocationSchema)定義片段的存放地點9.2分布式數(shù)據庫系統(tǒng)的體系結構9.2.1分布式數(shù)據庫系統(tǒng)的模式結構9.2.2數(shù)據分片9.2.3分布透明性9.2.4分布式數(shù)據庫管理系統(tǒng)9.2.2數(shù)據分片數(shù)據分片有利于按照用戶的需求較好地組織數(shù)據的分布有利于控制數(shù)據的冗余度數(shù)據分片的方式水平分片垂直分片混合分片導出分片數(shù)據分片(續(xù))水平分片按一定的條件將關系按行(水平方向)分為若干不相交的子集，每個子集為關系的一個片段。垂直分片指將關系按列(垂直方向)分為若干子集。每個片段通常都包含關系的碼

數(shù)據分片(續(xù))導出分片是指導出水平分片，即水平分片的條件不是本身屬性的條件而是其他關系的屬性的條件。

數(shù)據分片(續(xù))[例]學生選課關系SC(Sno，Cno，Grade)，按照學生年齡＞18歲和≤18歲分片(學生年齡是學生關系Student的屬性)年齡＞18歲的學生選課片段由下面的查詢結果組成：

SELECTSno，Cno，GradeFROMS，SCWHERES.Sno＝SC.SnoANDS.Sage＞18；年齡≤18歲的片段SC_B由下面的查詢結果組成：

SELECTSno，Cno，GradeFROMS，SCWHERES.Sno＝SC.SnoANDS.Sage≤18；數(shù)據分片(續(xù))混合分片是指按上述三種分片方式得到的片段繼續(xù)按另一種方式分片。例如，先按垂直分片再按水平分片方式繼續(xù)分片。例如，先按水平分片得到的某一片段再進行垂直分片。數(shù)據分片(續(xù))分片應滿足的條件完全性不相交性可重構性垂直分片：連接水平分片：并操作9.2分布式數(shù)據庫系統(tǒng)的體系結構9.2.1分布式數(shù)據庫系統(tǒng)的模式結構9.2.2數(shù)據分片9.2.3分布透明性9.2.4分布式數(shù)據庫管理系統(tǒng)9.2.3分布透明性分片透明性–最高層次用戶或應用程序只對全局關系進行操作而不必考慮關系的分片位置透明–下一層次用戶或應用程序不必了解片段的存儲場地，當存儲場地改變了，由于分片模式到分布模式的映像(映像3)，應用程序不必改變局部數(shù)據模型透明性–較低層次是指用戶或用戶程序不必了解局部場地上使用的是哪種數(shù)據模型，模型的轉換以及數(shù)據庫語言的轉換均由映像4完成分布透明性(續(xù))［例1］設在分布式數(shù)據庫系統(tǒng)中有全局關系

Student(Sno，Sname，Sdept，Sage)Student關系被劃分為兩個片段S_A和S_B。

S_A代表理學院的學生，S_B代表文學院的學生。

S_A存儲在場地1(Site1)，S_B冗余地存儲在場地2和場地3上。分布透明性(續(xù))要求從終端讀入一個學號，查找該學號的學生姓名、年齡，并把它們顯示在屏幕上。設應用程序是用嵌入SQL語句的C語言寫的?，F(xiàn)給出查詢部分的算法思想。分布透明性(續(xù))情況1系統(tǒng)具有分片透明性

Scanf(“%s”,Snumber)；

EXECSQLSELECTSname,SageINTO:NAME,:AGEFROMStudentWHERESno

＝：Snumber；

Printf("%s，%d"，NAME，AGE)； 程序變量分布透明性(續(xù))情況2系統(tǒng)具有位置透明性，但不具有分片透明性

Scanf("%s“,Snumber);EXECSQLSELECTSname,SageINTO:NAME,:AGE

FROMS_AWHERESno

＝:Snumber;

If(!FOUND)｛

EXECSQLSELECTSname,SageINTO:NAME,:AGE

FROMS_B

WHERESno

＝:Snumber;

｝

Printf("%s,%d“,NAME,AGE)；分布透明性(續(xù))情況3系統(tǒng)只具有局部數(shù)據模型透明性，不具有位置透明性

Scanf("%s“,Snumber);EXECSQLSELECTSname,SageINTO:NAME,:AGE

FROMS_AATSite1

WHERESno

＝:Snumber;If(!FOUND){EXECSQLSELECTSname,SageINTO:NAME,:AGE

FROMS_BATSite2

WHERESno＝:Snumber; }

Printf(“%s,%d”,NAME,AGE);9.2分布式數(shù)據庫系統(tǒng)的體系結構9.2.1分布式數(shù)據庫系統(tǒng)的模式結構9.2.2數(shù)據分片9.2.3分布透明性9.2.4分布式數(shù)據庫管理系統(tǒng)9.2.4分布式數(shù)據庫管理系統(tǒng)分布式數(shù)據庫管理系統(tǒng)

(DistributedDataManagementSystem，D-DBMS)建立、管理和維護分布式數(shù)據庫的一組軟件

分布式數(shù)據庫管理系統(tǒng)(續(xù))D-DBMS的結構分布式數(shù)據庫管理系統(tǒng)的結構

分布式數(shù)據庫管理系統(tǒng)(續(xù))D-DBMS由四部分組成：(1)局部數(shù)據庫管理系統(tǒng)LDBMS(LocalDBMS)(2)全局數(shù)據庫管理系統(tǒng)GDBMS(GlobalDBMS)(3)全局數(shù)據字典(GlobalDataDirectory，GDD)(4)通信管理(CommunicationManagement，CM)分布式數(shù)據庫管理系統(tǒng)(續(xù))一、按全局控制方式分類1.全局控制集中的D-DBMS全局控制成分GDBMS集中在某一結點上，全局數(shù)據字典只有一個，也存放在該結點上。2.全局控制分散的D-DBMS全局控制成分GDBMS分散在網絡的每一個結點上，全局數(shù)據字典也在每個結點上存放一份。3.全局控制部分分散的D-DBMS根據應用的需要將GDBMS和全局數(shù)據字典分散在某些結點上。分布式數(shù)據庫管理系統(tǒng)(續(xù))二、按局部DBMS的類型分類同構型D-DBMS每個結點的局部數(shù)據庫具有相同的DBMS即使操作系統(tǒng)和計算機硬件并不相同異構型D-DBMS各結點的局部數(shù)據庫具有不同的DBMS第十章數(shù)據倉庫與聯(lián)機分析處理技術數(shù)據倉庫的產生操作型處理（也叫事務處理）：對數(shù)據庫聯(lián)機的日常操作，通常是對一個或一組記錄的查詢和修改特點：快速響應用戶請求，對數(shù)據的安全性、完整性以及事務吞吐量要求很高。分析型處理：對數(shù)據的查詢和分析操作，通常是對海量的歷史數(shù)據查詢和分析特點：要訪問的數(shù)據量非常大，查詢和分析的操作十分復雜。數(shù)據倉庫技術為了構建新的分析處理環(huán)境而出現(xiàn)的一種數(shù)據存儲和組織技術10.1數(shù)據倉庫技術表17.1操作型數(shù)據和分析型數(shù)據的區(qū)別操作型數(shù)據分析型數(shù)據細節(jié)的綜合的，或提煉的在存取瞬間是準確的代表過去的數(shù)據可更新不更新操作需求事先可知道操作需求事先不知道生命周期符合SDLC完全不同的生命周期對性能要求高對性能要求寬松一個時刻操作一元組一個時刻操作一集合事務驅動分析驅動面向應用面向分析一次操作數(shù)據量小一次操作數(shù)據量大支持日常操作支持管理決策需求數(shù)據倉庫技術(續(xù))數(shù)據倉庫定義：是一個用以更好地支持企業(yè)（或組織）決策分析處理的、面向主題的、集成的、不可更新的、隨時間不斷變化的數(shù)據集合。本質上和數(shù)據庫一樣，是長期儲存在計算機內的、有組織、可共享的數(shù)據集合。數(shù)據倉庫技術(續(xù))一、數(shù)據倉庫的基本特征數(shù)據倉庫的數(shù)據是面向主題的；數(shù)據倉庫的數(shù)據是集成的；數(shù)據倉庫的數(shù)據是不可更新的；數(shù)據倉庫的數(shù)據是隨時間不斷變化的數(shù)據倉庫技術(續(xù))二、數(shù)據倉庫中的數(shù)據組織數(shù)據倉庫的數(shù)據組織結構

數(shù)據倉庫技術(續(xù))三、數(shù)據倉庫系統(tǒng)的體系結構數(shù)據倉庫體系結構

數(shù)據倉庫技術(續(xù))數(shù)據倉庫的后臺工具包括數(shù)據抽取、清洗、轉換、裝載和維護(Maintain)工具。數(shù)據倉庫服務器相當于數(shù)據庫系統(tǒng)中的DBMS，負責管理數(shù)據倉庫中數(shù)據的存儲管理和數(shù)據存取，并給OLAP服務器和前臺工具提供存取接口(如SQL查詢接口)OLAP服務器透明地為前臺工具和用戶提供多維數(shù)據視圖

OLAP服務器則必須考慮物理上這些分析數(shù)據的存儲問題前臺工具包括查詢報表工具、多維分析工具、數(shù)據挖掘工具和分析結果可視化工具等第十章數(shù)據倉庫與聯(lián)機分析處理技術10.1數(shù)據倉庫技術10.2聯(lián)機分析處理技術107.3數(shù)據挖掘技術10.2聯(lián)機分析處理技術OLAP(On-LineAnalyticalProcessing)即聯(lián)機分析處理，是以海量數(shù)據為基礎的復雜分析技術一、多維數(shù)據模型數(shù)據分析時用戶的數(shù)據視圖，是面向分析的數(shù)據模型，用于給分析人員提供多種觀察的視角和面向分析的操作可用這樣來一個多維數(shù)組來表示：(維1，維2，…，維n，度量值)聯(lián)機分析處理技術(續(xù))一、多維數(shù)據模型(續(xù))

例如：(地區(qū)，時間，電器商品種類，銷售額)

三維數(shù)組可以用一個立方體來直觀地表示一般地多維數(shù)組用多維立方體CUBE（超立方體）來表示聯(lián)機分析處理技術(續(xù))二、多維分析操作

常用的OLAP多維分析操作切片(slice)切塊(dice)旋轉(pivot)向上綜合(roll-up)向下鉆取(drill-down)等聯(lián)機分析處理技術(續(xù))三、OLAP的實現(xiàn)方式按照多維數(shù)據模型的不同實現(xiàn)方式MOLAP結構ROLAP結構HOLAP結構OLAP的實現(xiàn)方式(續(xù))MOLAP結構以多維立方體CUBE來組織數(shù)據，以多維數(shù)組來存儲數(shù)據，支持直接對多維數(shù)據的各種操作。多維數(shù)據庫(Multi-DimensionDataBase，簡記為MDDB)。例如：Arbor公司的Essbase聯(lián)機分析處理技術(續(xù))ROLAP結構用RDBMS或擴展的RDBMS來管理多維數(shù)據，用關系的表來組織和存儲多維數(shù)據兩類表：一類是事實(fact)表，另一類是維表事實表用來描述和存儲多維立方體的度量值及各個維的碼值；維表用來描述維信息。ROLAP用“星形模式”和“雪片模式”來表示多維數(shù)據模型聯(lián)機分析處理技術(續(xù))星形模式（StarSchema）通常由一個中心表(事實表)和一組維表組成如下圖所示的星形模式星形模式的中心是銷售事實表維表有時間維表、顧客維表、銷售員維表、制造商維表和產品維表

圖10.4星形模式聯(lián)機分析處理技術(續(xù))雪片模式就是對維表按層次進一步細化后形成的圖10.5雪片模式第十七章數(shù)據倉庫與聯(lián)機分析處理技術17.1數(shù)據倉庫技術17.2聯(lián)機分析處理技術17.3數(shù)據挖掘技術17.3數(shù)