分布式數(shù)據(jù)倉庫剖析

分布式數(shù)據(jù)倉庫剖析

第6章分布式數(shù)據(jù)倉庫

第6章分布式數(shù)據(jù)倉庫

6.1分布式數(shù)據(jù)倉庫的類型6.2開發(fā)項(xiàng)目的本質(zhì)特征6.3分布式數(shù)據(jù)倉庫的開發(fā)6.4在多種層次上構(gòu)建數(shù)據(jù)倉庫6.5多個(gè)小組建立當(dāng)前細(xì)節(jié)級6.6公共細(xì)節(jié)數(shù)據(jù)采用多種平臺6.7小結(jié)

6.1分布式數(shù)據(jù)倉庫的類型

局部數(shù)據(jù)倉庫和全局?jǐn)?shù)據(jù)倉庫技術(shù)分布式數(shù)據(jù)倉庫獨(dú)立開發(fā)的分布式數(shù)據(jù)倉庫6.1.1局部數(shù)據(jù)倉庫和全局?jǐn)?shù)據(jù)倉庫

業(yè)務(wù)是在不同地域或不同的生產(chǎn)線上進(jìn)行的。在這種情況下就出現(xiàn)了局部數(shù)據(jù)倉庫和全局?jǐn)?shù)據(jù)倉庫。局部數(shù)據(jù)倉庫是在遠(yuǎn)程站點(diǎn)上提供和處理數(shù)據(jù)，而全局?jǐn)?shù)據(jù)倉庫提供的是在整個(gè)業(yè)務(wù)范圍集成后的數(shù)據(jù)。

6.1.1局部數(shù)據(jù)倉庫和全局?jǐn)?shù)據(jù)倉庫什么情況下需要建立分布式數(shù)據(jù)倉庫？當(dāng)一個(gè)企業(yè)遍及世界各地時(shí)，總部和分支機(jī)構(gòu)都需要信息。中心數(shù)據(jù)倉庫負(fù)責(zé)采集數(shù)據(jù)，同時(shí)可以滿足總部對企業(yè)信息需求。但是對于分布在不同國家的各個(gè)分支機(jī)構(gòu)，仍然有建立各自的數(shù)據(jù)倉庫的需要。這種情況下，就需要建立分布式數(shù)據(jù)倉庫。數(shù)據(jù)以集中式和分布式兩種方式存在。站點(diǎn)A站點(diǎn)B總部站點(diǎn)C

操作型處理圖6-1許多企業(yè)典型的業(yè)務(wù)處理拓?fù)鋱D6.1.1局部數(shù)據(jù)倉庫和全局?jǐn)?shù)據(jù)倉庫

6.1.1局部數(shù)據(jù)倉庫和全局?jǐn)?shù)據(jù)倉庫站點(diǎn)A站點(diǎn)B總部站點(diǎn)C捕獲信息活動捕獲信息活動操作型處理圖6-2某些場合，在站點(diǎn)層處理一些基本業(yè)務(wù)活動捕獲信息活動6.1.1局部數(shù)據(jù)倉庫和全局?jǐn)?shù)據(jù)倉庫站點(diǎn)A站點(diǎn)B總部站點(diǎn)C局部操作型處理局部操作型處理局部操作型處理全局操作型處理圖6-3在分支機(jī)構(gòu)要做許多操作型處理6.1.1局部數(shù)據(jù)倉庫和全局?jǐn)?shù)據(jù)倉庫1.局部數(shù)據(jù)倉庫局部數(shù)據(jù)倉庫是數(shù)據(jù)倉庫的一種形式，僅包含對分支機(jī)構(gòu)有意義的數(shù)據(jù)。每個(gè)局部數(shù)據(jù)倉庫都有自己的技術(shù)、數(shù)據(jù)、處理器等。局部數(shù)據(jù)倉庫除了作用環(huán)境是局部的外，具有與任何其他數(shù)據(jù)倉庫相同的功能。6.1.1局部數(shù)據(jù)倉庫和全局?jǐn)?shù)據(jù)倉庫圖6-5局部數(shù)據(jù)倉庫6.1.1局部數(shù)據(jù)倉庫和全局?jǐn)?shù)據(jù)倉庫2.全局?jǐn)?shù)據(jù)倉庫局部數(shù)據(jù)倉庫的數(shù)據(jù)來源于相應(yīng)的操作型系統(tǒng)，企業(yè)全局?jǐn)?shù)據(jù)倉庫的數(shù)據(jù)來源通常是局部數(shù)據(jù)倉庫，有時(shí)全局?jǐn)?shù)據(jù)倉庫可能直接被更新。6.1.1局部數(shù)據(jù)倉庫和全局?jǐn)?shù)據(jù)倉庫圖6-6從局部操作型環(huán)境到局部數(shù)據(jù)倉庫的數(shù)據(jù)流6.1.1局部數(shù)據(jù)倉庫和全局?jǐn)?shù)據(jù)倉庫全局?jǐn)?shù)據(jù)倉庫包含了必須在企業(yè)級被集成的信息。某些情況下，僅僅包含財(cái)務(wù)信息，有些情況下，可能包含客戶、產(chǎn)品等集成的信息。有相當(dāng)多的信息專屬或僅用于分支機(jī)構(gòu)，而其他企業(yè)通用信息需要在企業(yè)層次上共享和被管理。全局?jǐn)?shù)據(jù)倉庫中包含那些需要被全局管理的數(shù)據(jù)。6.1.1局部數(shù)據(jù)倉庫和全局?jǐn)?shù)據(jù)倉庫每個(gè)局部數(shù)據(jù)倉庫都有自己獨(dú)有的數(shù)據(jù)和結(jié)構(gòu)。圖6-7局部數(shù)據(jù)倉庫的不同

6.1.1局部數(shù)據(jù)倉庫和全局?jǐn)?shù)據(jù)倉庫3.全局和局部數(shù)據(jù)的重疊圖6-8全局?jǐn)?shù)據(jù)倉庫中數(shù)據(jù)來自于遠(yuǎn)程的操作型系統(tǒng)6.1.1局部數(shù)據(jù)倉庫和全局?jǐn)?shù)據(jù)倉庫分布式數(shù)據(jù)倉庫環(huán)境成功的關(guān)鍵是如何將局部操作型系統(tǒng)中數(shù)據(jù)映射到全局?jǐn)?shù)據(jù)倉庫的數(shù)據(jù)結(jié)構(gòu)中。這種映射決定哪些數(shù)據(jù)要進(jìn)入到全局?jǐn)?shù)據(jù)倉庫、數(shù)據(jù)的結(jié)構(gòu)、必須做的轉(zhuǎn)換。映射是全局?jǐn)?shù)據(jù)倉庫設(shè)計(jì)很重要的部分，對于每一個(gè)局部數(shù)據(jù)倉庫來說映射都不同。局部商業(yè)行為的差異決定了映射到全局?jǐn)?shù)據(jù)倉庫的方式。圖6-9全局?jǐn)?shù)據(jù)倉庫有一個(gè)公共結(jié)構(gòu)，每個(gè)局部站點(diǎn)以不同的方式映射到公共結(jié)構(gòu)6.1.1局部數(shù)據(jù)倉庫和全局?jǐn)?shù)據(jù)倉庫局部/全局?jǐn)?shù)據(jù)倉庫的一種變化形式：將全局?jǐn)?shù)據(jù)倉庫的數(shù)據(jù)緩沖區(qū)域保存在分時(shí)機(jī)構(gòu)。每個(gè)局部區(qū)域在將全局?jǐn)?shù)據(jù)倉庫數(shù)據(jù)傳送到中心位置前先將其緩沖。同時(shí)有一個(gè)重要的問題是：當(dāng)緩沖全局?jǐn)?shù)據(jù)的局部數(shù)據(jù)倉庫中保存的緩沖數(shù)據(jù)傳送到全局?jǐn)?shù)據(jù)倉庫后應(yīng)不應(yīng)該清空，如果分支機(jī)構(gòu)不刪除這些信息，將出現(xiàn)冗余數(shù)據(jù)。圖6-10全局?jǐn)?shù)據(jù)倉庫可能在局部層上進(jìn)行緩沖，然后傳送到總部層的全局?jǐn)?shù)據(jù)倉庫6.1.1局部數(shù)據(jù)倉庫和全局?jǐn)?shù)據(jù)倉庫4.冗余全局?jǐn)?shù)據(jù)倉庫和局部數(shù)據(jù)倉庫的問題之一就是數(shù)據(jù)的冗余或重疊。（1）一些細(xì)節(jié)級的數(shù)據(jù)不用經(jīng)過任何的轉(zhuǎn)換或變化就進(jìn)入到全局?jǐn)?shù)據(jù)倉庫。(2)多數(shù)數(shù)據(jù)在從局部數(shù)據(jù)倉庫導(dǎo)入到全局?jǐn)?shù)據(jù)倉庫時(shí)，要經(jīng)過某種形式的換算、轉(zhuǎn)化、重新分類或者匯總。6.1.1局部數(shù)據(jù)倉庫和全局?jǐn)?shù)據(jù)倉庫6-11數(shù)據(jù)可以存放在局部數(shù)據(jù)倉庫或全局?jǐn)?shù)據(jù)倉庫，但不能在兩者中都放6.1.1局部數(shù)據(jù)倉庫和全局?jǐn)?shù)據(jù)倉庫大量冗余：沒有正確定義不同級別的數(shù)據(jù)倉庫所轄的范圍。蜘蛛網(wǎng)系統(tǒng)—不一致的結(jié)果、不能很容易的創(chuàng)建新系統(tǒng)、操作的代價(jià)問題等等因此，除了少量數(shù)據(jù)的偶然重疊外，應(yīng)當(dāng)對局部數(shù)據(jù)和全局?jǐn)?shù)據(jù)實(shí)行互斥，這是一種很重要的策略。6.1.1局部數(shù)據(jù)倉庫和全局?jǐn)?shù)據(jù)倉庫5.局部和全局?jǐn)?shù)據(jù)存取圖6-12需要解決的一個(gè)重要問題是局部站點(diǎn)是否應(yīng)訪問全局?jǐn)?shù)據(jù)倉庫6.1.1局部數(shù)據(jù)倉庫和全局?jǐn)?shù)據(jù)倉庫這些存取方式正確與否是與查詢有關(guān)的，他們可能是或者不是數(shù)據(jù)倉庫的正確使用方法。如果分支機(jī)構(gòu)的意圖是提高分支機(jī)構(gòu)的效益，那么在分支機(jī)構(gòu)對全局?jǐn)?shù)據(jù)的存取可能就是一個(gè)好的政策。如果在存取過程中，全局?jǐn)?shù)據(jù)被作為信息使用并且僅被訪問一次以提高局部業(yè)務(wù)運(yùn)作，那么在分支機(jī)構(gòu)上這種存取方式就可能是正確的。

6.1.1局部數(shù)據(jù)倉庫和全局?jǐn)?shù)據(jù)倉庫體系結(jié)構(gòu)化信息環(huán)境中信息請求的路徑選擇問題：當(dāng)僅僅存在一個(gè)中心數(shù)據(jù)倉庫時(shí)，此關(guān)系問題不大，但當(dāng)數(shù)據(jù)分布在一種復(fù)雜環(huán)境中時(shí)，例如分布式數(shù)據(jù)倉庫，就需要考慮如何確保信息請求來自正確的地方。6.1.1局部數(shù)據(jù)倉庫和全局?jǐn)?shù)據(jù)倉庫數(shù)據(jù)從局部數(shù)據(jù)倉庫到全局?jǐn)?shù)據(jù)倉庫的傳輸，對這個(gè)問題需要考慮很多因素：*從局部環(huán)境到全局環(huán)境數(shù)據(jù)傳輸?shù)念l率如何？全局?jǐn)?shù)據(jù)倉庫要求數(shù)據(jù)傳輸要多快？在分支機(jī)構(gòu)出現(xiàn)了多少業(yè)務(wù)活動？要傳輸?shù)臄?shù)據(jù)量是多少？

6.1.1局部數(shù)據(jù)倉庫和全局?jǐn)?shù)據(jù)倉庫*從局部環(huán)境到全局?jǐn)?shù)據(jù)倉庫的傳輸是否合法？一些國家有嚴(yán)格的規(guī)定來限制一些特定數(shù)據(jù)的傳輸出入。*從局部環(huán)境到全局環(huán)境的數(shù)據(jù)傳輸需要什么樣的網(wǎng)絡(luò)？在因特網(wǎng)上可以安全的傳輸足夠的數(shù)據(jù)嗎？備份策略是什么？什么樣的安全保護(hù)措施來確定所有的數(shù)據(jù)已經(jīng)傳輸完畢？6.1.1局部數(shù)據(jù)倉庫和全局?jǐn)?shù)據(jù)倉庫*為了從局部環(huán)境到全局環(huán)境傳輸數(shù)據(jù)，處理過程的哪一部分是可見的？當(dāng)數(shù)據(jù)倉庫負(fù)載很重的時(shí)候，是否還傳輸數(shù)據(jù)？*局部/全局?jǐn)?shù)據(jù)應(yīng)采用什么技術(shù)？將局部技術(shù)轉(zhuǎn)換為全局技術(shù)必須采取什么措施？在轉(zhuǎn)換過程中會有數(shù)據(jù)丟失情況發(fā)生嗎？技術(shù)分布式數(shù)據(jù)倉庫數(shù)據(jù)倉庫環(huán)境包括了大量的數(shù)據(jù)，它們分布在多個(gè)處理器上。從邏輯上看只有一個(gè)數(shù)據(jù)倉庫，但從物理上看，存在許多有緊密聯(lián)系但存放在不同的處理器上的數(shù)據(jù)倉庫。這種配置可被稱為技術(shù)上分布的數(shù)據(jù)倉庫。

技術(shù)分布式數(shù)據(jù)倉庫數(shù)據(jù)倉庫采用分布式技術(shù)的優(yōu)缺點(diǎn)？優(yōu)點(diǎn)：1、引入代價(jià)低2、存放在數(shù)據(jù)倉庫中的數(shù)據(jù)量在理論上沒有限制

技術(shù)分布式數(shù)據(jù)倉庫圖6-14添加服務(wù)器來保存數(shù)據(jù)倉庫中數(shù)據(jù)的進(jìn)程技術(shù)分布式數(shù)據(jù)倉庫

當(dāng)數(shù)據(jù)倉庫中的處理器擴(kuò)展到一定數(shù)量時(shí)，網(wǎng)絡(luò)上就會出現(xiàn)過量的傳輸負(fù)載。問題不僅僅出現(xiàn)在一個(gè)查詢要訪問存儲在多個(gè)服務(wù)器管理的數(shù)據(jù)，而且出現(xiàn)在需要從一臺服務(wù)器上傳輸大量的數(shù)據(jù)。獨(dú)立開發(fā)的分布式數(shù)據(jù)倉庫數(shù)據(jù)倉庫環(huán)境是以一種不協(xié)調(diào)的方式建立起來的，首先建立某一個(gè)數(shù)據(jù)倉庫，然后再獨(dú)立的建立另一個(gè)數(shù)據(jù)倉庫。建立不同數(shù)據(jù)倉庫缺乏協(xié)調(diào)性的原因通常是政策和機(jī)構(gòu)上的差異，這種情況被稱為獨(dú)立演進(jìn)的分布式數(shù)據(jù)倉庫。圖6-15多個(gè)小組建造數(shù)據(jù)倉庫的四種可能方式，每種均與其他各種不同6.2開發(fā)項(xiàng)目的本質(zhì)特征完全無關(guān)的數(shù)據(jù)倉庫：圖6-16四個(gè)完全獨(dú)立的業(yè)務(wù)部門在業(yè)務(wù)級沒有或很少有業(yè)務(wù)集成6.2開發(fā)項(xiàng)目的本質(zhì)特征對于完全自主的業(yè)務(wù)，在某一層也是必須集成的：財(cái)務(wù)平衡表。圖6-17獨(dú)立的業(yè)務(wù)部門共享共用的企業(yè)財(cái)務(wù)數(shù)據(jù)6.3分布式數(shù)據(jù)倉庫的開發(fā)圖6-18邏輯上屬于同一個(gè)數(shù)據(jù)倉庫6.3分布式數(shù)據(jù)倉庫的開發(fā)圖6-19在每個(gè)子公司建立局部數(shù)據(jù)倉庫6.3分布式數(shù)據(jù)倉庫的開發(fā)每個(gè)分部根據(jù)自己的需要?jiǎng)?chuàng)建特有的自主的數(shù)據(jù)倉庫。這種方法創(chuàng)建分布式企業(yè)數(shù)據(jù)倉庫有幾個(gè)優(yōu)缺點(diǎn)。優(yōu)點(diǎn)：能很快完成。不利：如果部門間的數(shù)據(jù)結(jié)構(gòu)存在共性，這種方法不能識別或合理處理這樣的共性。在分布的地理位置間協(xié)調(diào)開發(fā)另一種方法就是盡量協(xié)調(diào)不同的局部組織間的局部數(shù)據(jù)倉庫的開發(fā)項(xiàng)目。當(dāng)數(shù)據(jù)倉庫技術(shù)的價(jià)值在分支機(jī)構(gòu)表現(xiàn)出來后，公司就會決定建造一個(gè)企業(yè)數(shù)據(jù)倉庫。在分布的地理位置間協(xié)調(diào)開發(fā)一般來說，企業(yè)數(shù)據(jù)倉庫采用迭代開發(fā)的方法。開始時(shí)，企業(yè)數(shù)據(jù)模型的規(guī)模較小、比較簡單且限制于一個(gè)業(yè)務(wù)子集。在企業(yè)數(shù)據(jù)模型建立后，將形成企業(yè)數(shù)據(jù)倉庫。6.3.2企業(yè)數(shù)據(jù)的分布式模型企業(yè)數(shù)據(jù)倉庫的數(shù)據(jù)源可能來自局部數(shù)據(jù)倉庫，也可能來自局部操作型系統(tǒng)。這應(yīng)該完全在分支機(jī)構(gòu)確定。記錄系統(tǒng)的定義大都需要幾次循環(huán)往復(fù)。6.3.2企業(yè)數(shù)據(jù)的分布式模型此外，一個(gè)重要的設(shè)計(jì)問題是從技術(shù)角度考慮如何將分支機(jī)構(gòu)的記錄系統(tǒng)數(shù)據(jù)創(chuàng)建和傳送到企業(yè)數(shù)據(jù)倉庫。在某些情況，正式“緩沖”數(shù)據(jù)保留在分支機(jī)構(gòu)。而另一些情況，她們被傳送到企業(yè)環(huán)境，且在分支機(jī)構(gòu)不可存取。6.3.2企業(yè)數(shù)據(jù)的分布式模型表現(xiàn)為匯總數(shù)據(jù)還是細(xì)節(jié)數(shù)據(jù)是由觀察者的不同角度決定的。圖6-20在一個(gè)層次上是細(xì)節(jié)的而在另一個(gè)層次上是匯總的6.3.2企業(yè)數(shù)據(jù)的分布式模型圖6-21分布式公司的數(shù)據(jù)倉庫可以非常類似于一些無關(guān)公司的數(shù)據(jù)倉庫分布式數(shù)據(jù)倉庫中的元數(shù)據(jù)在整個(gè)分布式的企業(yè)數(shù)據(jù)倉庫中元數(shù)據(jù)起著非常重要的作用，通過它可以協(xié)調(diào)不同地域的數(shù)據(jù)倉庫中的數(shù)據(jù)結(jié)構(gòu)。元數(shù)據(jù)是實(shí)現(xiàn)一致性和相容性的工具。6.4在多種層次上構(gòu)建數(shù)據(jù)倉庫圖6-22不同的開發(fā)小組負(fù)責(zé)構(gòu)建數(shù)據(jù)倉庫的不同層次A組負(fù)責(zé)建造高度匯總的數(shù)據(jù)，B組建造中度匯總的數(shù)據(jù)，C組建造當(dāng)前的細(xì)節(jié)數(shù)據(jù)6.4在多種層次上構(gòu)件數(shù)據(jù)倉庫不同的開發(fā)小組同時(shí)建造同一數(shù)據(jù)倉庫的不同匯總級時(shí)，一個(gè)有趣的問題是，正在建造當(dāng)前細(xì)節(jié)級的開發(fā)小組在使用數(shù)據(jù)倉庫的數(shù)據(jù)模型。圖6-22正在開發(fā)最低細(xì)節(jié)級的開發(fā)組使用該數(shù)據(jù)模型6.4在多種層次上構(gòu)件數(shù)據(jù)倉庫在數(shù)據(jù)倉庫中管理建造不同匯總級的多個(gè)小組的問題之一，是數(shù)據(jù)倉庫各層采用的技術(shù)平臺的問題。由于數(shù)據(jù)倉庫的不同開發(fā)小組在開發(fā)不同級數(shù)據(jù)時(shí)通常采用不同平臺，這就出現(xiàn)了互連性問題。6.4在多種層次上構(gòu)件數(shù)據(jù)倉庫管理低級細(xì)節(jié)數(shù)據(jù)的開發(fā)小組必須為在其基礎(chǔ)上匯總并建立新層次的數(shù)據(jù)的開發(fā)小組提供一個(gè)正確的數(shù)據(jù)基礎(chǔ)。圖6-23細(xì)節(jié)級數(shù)據(jù)是建立匯總級數(shù)據(jù)的基礎(chǔ)6.5多個(gè)小組建立當(dāng)前細(xì)節(jié)級問題一：費(fèi)用

問題二：蜘蛛網(wǎng)為了確保不創(chuàng)建冗余數(shù)據(jù)，必須創(chuàng)建一個(gè)反映公共細(xì)節(jié)數(shù)據(jù)的數(shù)據(jù)模型。圖6-24對所有開發(fā)小組，數(shù)據(jù)模型標(biāo)識公用數(shù)據(jù)6.5多個(gè)小組建立當(dāng)前細(xì)節(jié)級數(shù)據(jù)模型構(gòu)成了數(shù)據(jù)倉庫設(shè)計(jì)的基礎(chǔ)。圖6-25數(shù)據(jù)倉庫在物理上分布在多物理表和數(shù)據(jù)庫中不同層的不同需求圖6-26數(shù)據(jù)倉庫中的當(dāng)前細(xì)節(jié)級包含各開發(fā)小組的特有數(shù)據(jù)不同層的不同需求所有的這些細(xì)節(jié)數(shù)據(jù)肯定不存在冗余。數(shù)據(jù)非冗余性僅僅限于非鍵碼數(shù)據(jù)。主鍵數(shù)據(jù)肯定是冗余數(shù)據(jù)，因?yàn)橥怄I用于將不同類型的數(shù)據(jù)相關(guān)聯(lián)。

圖6-27中表中的外鍵與參照完整性所支配的典型的外鍵關(guān)系不同。因?yàn)閿?shù)據(jù)倉庫中存取的是快照，出現(xiàn)的外鍵關(guān)系是以人工關(guān)系組織的。圖6-27數(shù)據(jù)倉庫環(huán)境中的外鍵不同層的不同需求是否應(yīng)采用同樣的技術(shù)存