數(shù)據(jù)倉(cāng)庫(kù)模型的設(shè)計(jì)

/2.5數(shù)據(jù)倉(cāng)庫(kù)模型的設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)模型的設(shè)計(jì)大體上可以分為以下三個(gè)層面的設(shè)計(jì)151:.概念模型設(shè)計(jì);.邏輯模型設(shè)計(jì);.物理模型設(shè)計(jì);下面就從這三個(gè)層面分別介紹數(shù)據(jù)倉(cāng)庫(kù)模型的設(shè)計(jì)。概念模型設(shè)計(jì)進(jìn)行概念模型設(shè)計(jì)所要完成的工作是:<1>界定系統(tǒng)邊界<2>確定主要的主題域及其內(nèi)容概念模型設(shè)計(jì)的成果是，在原有的數(shù)據(jù)庫(kù)的基礎(chǔ)上建立了一個(gè)較為穩(wěn)固的概念模型。因?yàn)閿?shù)據(jù)倉(cāng)庫(kù)是對(duì)原有數(shù)據(jù)庫(kù)系統(tǒng)中的數(shù)據(jù)進(jìn)行集成和重組而形成的數(shù)據(jù)集合，所以數(shù)據(jù)倉(cāng)庫(kù)的概念模型設(shè)計(jì)，首先要對(duì)原有數(shù)據(jù)庫(kù)系統(tǒng)加以分析理解，看在原有的數(shù)據(jù)庫(kù)系統(tǒng)中“有什么”、“怎樣組織的”和“如何分布的”等，然后再來(lái)考慮應(yīng)當(dāng)如何建立數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的概念模型。一方面，通過(guò)原有的數(shù)據(jù)庫(kù)的設(shè)計(jì)文檔以及在數(shù)據(jù)字典中的數(shù)據(jù)庫(kù)關(guān)系模式，可以對(duì)企業(yè)現(xiàn)有的數(shù)據(jù)庫(kù)中的內(nèi)容有一個(gè)完整而清晰的相識(shí);另一方面，數(shù)據(jù)倉(cāng)庫(kù)的概念模型是面對(duì)企業(yè)全局建立的，它為集成來(lái)自各個(gè)面對(duì)應(yīng)用的數(shù)據(jù)庫(kù)的數(shù)據(jù)供應(yīng)了統(tǒng)一的概念視圖。概念模型的設(shè)計(jì)是在較高的抽象層次上的設(shè)計(jì)，因此建立概念模型時(shí)不用考慮詳細(xì)技術(shù)條件的限制。1.界定系統(tǒng)的邊界數(shù)據(jù)倉(cāng)庫(kù)是面對(duì)決策分析的數(shù)據(jù)庫(kù)，我們無(wú)法在數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)的最初就得到詳細(xì)而明確的需求，但是一些基本的方向性的需求還是擺在了設(shè)計(jì)人員的面前:.要做的決策類型有哪些?.決策者感愛(ài)好的是什么問(wèn)題?.這些問(wèn)題須要什么樣的信息?.要得到這些信息須要包含原有數(shù)據(jù)庫(kù)系統(tǒng)的哪些部分的數(shù)據(jù)?這樣，我們可以劃定一個(gè)當(dāng)前的大致的系統(tǒng)邊界，集中精力進(jìn)行最須要的部分的開(kāi)發(fā)。因而，從某種意義上講，界定系統(tǒng)邊界的工作也可以看作是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)設(shè)計(jì)的需求分析，因?yàn)樗鼘Q策者的數(shù)據(jù)分析的需求用系統(tǒng)邊界的定義形式反映出來(lái)。2，確定主要的主題域在這一步中，要確定系統(tǒng)所包含的主題域，然后對(duì)每個(gè)主題域的內(nèi)容進(jìn)行較明確數(shù)據(jù)倉(cāng)庫(kù)建模技術(shù)在電信行業(yè)中的應(yīng)用的描述，描述的內(nèi)容包括:.主題域的公共碼鍵;.主題域之間的聯(lián)系:.充分代表主題的屬性組。邏輯模型設(shè)計(jì)邏輯建模是數(shù)據(jù)倉(cāng)庫(kù)實(shí)施中的重要一環(huán)，因?yàn)樗芨纱喾从吵鰳I(yè)務(wù)部門的需求，同時(shí)對(duì)系統(tǒng)的物理實(shí)施有著重要的指導(dǎo)作用。在這一步里進(jìn)行的工作主要有:.分析主題域，確定當(dāng)前要裝載的主題;.確定粒度層次劃分;.確定數(shù)據(jù)分割策略;.關(guān)系模式定義;.記錄系統(tǒng)定義邏輯模型設(shè)計(jì)的成果是，對(duì)每個(gè)當(dāng)前要裝載的主題的邏輯實(shí)現(xiàn)進(jìn)行定義，并將相關(guān)內(nèi)容記錄在數(shù)據(jù)倉(cāng)庫(kù)的元數(shù)據(jù)中，包括:.適當(dāng)?shù)牧６葎澐?.合理的數(shù)據(jù)分割策略;.適當(dāng)?shù)谋韯澐?.定義合適的數(shù)據(jù)來(lái)源等。I.分析主題域在概念模型設(shè)計(jì)中，我們確定了幾個(gè)基本的主題域，但是，數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)方法是一個(gè)逐步求精的過(guò)程，在進(jìn)行設(shè)計(jì)時(shí)，一般是一次一個(gè)主題或一次若干個(gè)主題地逐步完成的。所以，我們必需對(duì)概念模型設(shè)計(jì)步驟中確定的幾個(gè)基本主題域進(jìn)行分析，一并選擇首先要實(shí)施的主題域。選擇第一個(gè)主題域所要考慮的是它要足夠大，以便使得該主題域能建設(shè)成為一個(gè)可應(yīng)用的系統(tǒng);它還要足夠小，以便于開(kāi)發(fā)和較快地實(shí)施。假如所選擇的主題域很大并且很困難，我們甚至可以針對(duì)它的一個(gè)有意義的子集來(lái)進(jìn)行開(kāi)發(fā)。在每一次的反饋過(guò)程中，都要進(jìn)行主題域的分析。z.粒度層次劃分?jǐn)?shù)據(jù)倉(cāng)庫(kù)邏輯設(shè)計(jì)中要解決的一個(gè)重要問(wèn)題是確定數(shù)據(jù)倉(cāng)庫(kù)的粒度劃分層次，粒度層次劃分適當(dāng)和否干脆影響到數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)量和所適合的查詢類型。確定數(shù)據(jù)倉(cāng)庫(kù)的粒度劃分，可以運(yùn)用在粒度劃分一節(jié)中介紹的方法，通過(guò)估算數(shù)據(jù)行數(shù)和所需的DASD數(shù)，來(lái)確定是接受單一粒度還是多重粒度，以及粒度劃分的層次。3.確定數(shù)據(jù)分割策略在這一步里，要選擇適當(dāng)?shù)臄?shù)據(jù)分割的標(biāo)準(zhǔn)，一般要考慮以下幾方面因素:數(shù)據(jù)量〔而非記錄行數(shù))、數(shù)據(jù)分析處理的實(shí)際狀況、簡(jiǎn)潔易行以及粒度劃分策略等。數(shù)據(jù)量的大小是確定是否進(jìn)行數(shù)據(jù)分割和如何分割的主要因素;數(shù)據(jù)分析處理的要求是選擇數(shù)據(jù)分割標(biāo)準(zhǔn)的一個(gè)主要依據(jù)，因?yàn)閿?shù)據(jù)分割是跟數(shù)據(jù)分析處理的對(duì)象緊密聯(lián)系的;我們還要考慮到所選擇的數(shù)據(jù)分割標(biāo)準(zhǔn)應(yīng)是自然的、易于實(shí)施的:同時(shí)也要考慮數(shù)據(jù)分割的標(biāo)準(zhǔn)和粒度劃分層次是適應(yīng)的。4.關(guān)系模式定義數(shù)據(jù)倉(cāng)庫(kù)的每個(gè)主題都是由多個(gè)表來(lái)實(shí)現(xiàn)的，這些表之間依靠主題的公共碼鍵聯(lián)系在一起，形成一個(gè)完整的主題。在概念模型設(shè)計(jì)時(shí)，我們就確定了數(shù)據(jù)倉(cāng)庫(kù)的基本主題，并對(duì)每個(gè)主題的公共碼鍵、基本內(nèi)容等做了描述在這一步里，我們將要對(duì)選定_的當(dāng)前實(shí)施的主題進(jìn)行模式劃分，形成多個(gè)表，并確定各個(gè)表的關(guān)系模式。用關(guān)系型數(shù)據(jù)庫(kù)來(lái)實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)信息模型時(shí)，目前較常用的兩種建模方法是所謂的第三范式(3NF,即ThirdNormalForm)和星型模式Star-Schem司，我們將重點(diǎn)探討兩種方法的特點(diǎn)和它們?cè)跀?shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中的適用場(chǎng)合。4.1什么是第三范式范式是數(shù)據(jù)庫(kù)邏輯模型設(shè)計(jì)的基本理論，一個(gè)關(guān)系模型可以從第一范式到第五范式進(jìn)行無(wú)損分解，這個(gè)過(guò)程也稱為規(guī)范化(Normalize)。在數(shù)據(jù)倉(cāng)庫(kù)的模型設(shè)計(jì)中目前一般接受第三范式，它有特殊嚴(yán)格的數(shù)學(xué)定義。假如從其表達(dá)的含義來(lái)看，一個(gè)符合第三范式的關(guān)系必需具有以下三個(gè)條件:1.每個(gè)屬性的值唯一，不具有多義性;2.每個(gè)非主屬性必需完全依靠于整個(gè)主鍵，而非主鍵的一部分;3.每個(gè)非主屬性不能依靠于其他關(guān)系中的屬性，團(tuán)為這樣的話，這種屬性應(yīng)當(dāng)歸到其他關(guān)系中去。我們可以看到，第三范式的定義基本上是圍繞主鍵和非主屬性之間的關(guān)系而作出的。假如只滿足第一個(gè)條件，則稱為第一范式;假如滿足前面兩個(gè)條件，則稱為其次范式，依此類推。因此，各級(jí)范式是向下兼容的。4.2什么是星型模式星型模式是一種多維的數(shù)據(jù)關(guān)系，它由一個(gè)事實(shí)表(FactTable)和一組維表(DimensionTable)組成。每個(gè)維表都有一個(gè)維作為主鍵，全部這些維則組合成事實(shí)表的主鍵，換言之，事實(shí)表主鍵的每個(gè)元素都是維表的外鍵。事實(shí)表的非主屬性稱為事實(shí)(Fact)，它們一般都是數(shù)值或其他可以進(jìn)行計(jì)算的數(shù)據(jù);而維大都是文字、時(shí)間等類型的數(shù)據(jù)。和星型模式類似還有一種業(yè)界提的比較多的設(shè)計(jì)方式是雪花模式，它也是一種在關(guān)系數(shù)據(jù)庫(kù)中實(shí)現(xiàn)多維數(shù)據(jù)關(guān)系的方式，和星型模式相區(qū)分的是它的維表結(jié)構(gòu)和星型模式不同。星型模式中同一維度的不同層次位于一張維表中，維表由唯一主鍵和事實(shí)表關(guān)連;雪花模式中同一維度中的不同層次位于不同的層次表中，最低層次表和事實(shí)表關(guān)連，各個(gè)層次再分別和比自己高一級(jí)的層次表關(guān)連。因?yàn)樾切湍Ｊ讲樵冃室妊┗Ｊ礁叩亩?，所以比較多的是接受星型模式設(shè)計(jì)多維數(shù)據(jù)關(guān)系。4.3第三范式和星型模式在數(shù)據(jù)倉(cāng)庫(kù)中的應(yīng)用大多數(shù)人在設(shè)計(jì)中心數(shù)據(jù)倉(cāng)庫(kù)的邏輯模型時(shí)，都依據(jù)第三范式來(lái)設(shè)計(jì);而在進(jìn)行物理實(shí)施時(shí)，則由于數(shù)據(jù)庫(kù)引擎的限制，不得不對(duì)邏輯模型進(jìn)行不規(guī)范處理(De-Normalize)，以提高系統(tǒng)的響應(yīng)速度，這當(dāng)然是以增加系統(tǒng)的困難度、維護(hù)工作量、磁盤運(yùn)用比率(指原始數(shù)據(jù)和磁盤大小的比率)并降低系統(tǒng)執(zhí)行動(dòng)態(tài)查詢實(shí)力為代價(jià)的。依據(jù)數(shù)據(jù)倉(cāng)庫(kù)的測(cè)試標(biāo)準(zhǔn)TPC-D規(guī)范，在數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中，對(duì)數(shù)據(jù)庫(kù)引擎最大的挑戰(zhàn)主要是這樣幾種操作:多表連接、表的累計(jì)、數(shù)據(jù)排序、大量數(shù)據(jù)的掃描。下面列出了一些DBMS在實(shí)際系統(tǒng)中針對(duì)這些困難所接受的折衷處理方法:1、如何避開(kāi)多表連接:在設(shè)計(jì)模型時(shí)對(duì)表進(jìn)行合并，即所謂的預(yù)連接(Pre-Join)。當(dāng)數(shù)據(jù)規(guī)模小時(shí)，也可以接受星型模式，這樣能提高系統(tǒng)速度，但增加了數(shù)據(jù)冗余量。2、如何避開(kāi)表的累計(jì):在模型中增加有關(guān)小計(jì)數(shù)據(jù)(SummarizedData)的項(xiàng)。這樣也增加了數(shù)據(jù)冗余，而且假如某項(xiàng)問(wèn)題不在預(yù)建的累計(jì)項(xiàng)內(nèi)，需臨時(shí)調(diào)整。3、如何避開(kāi)數(shù)據(jù)排序:對(duì)數(shù)據(jù)事先排序。但隨著數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的運(yùn)行，不斷有新的數(shù)據(jù)加入，數(shù)據(jù)庫(kù)管理員的工作將大大增加。大量的時(shí)間將用于對(duì)系統(tǒng)的整理，系統(tǒng)的可用性隨之降低。4、如何避開(kāi)大表掃描:通過(guò)運(yùn)用大量的索引，可以避開(kāi)對(duì)大量數(shù)據(jù)進(jìn)行掃描。但這也將增加系統(tǒng)的困難程度，降低系統(tǒng)進(jìn)行動(dòng)態(tài)查詢的實(shí)力。這些措施大都屬于不規(guī)范處理。依據(jù)上面的探討，當(dāng)把規(guī)范的系統(tǒng)邏輯模型進(jìn)行物理實(shí)施時(shí)，由于數(shù)據(jù)庫(kù)引擎的限制，經(jīng)常須要進(jìn)行不規(guī)范處理。舉例來(lái)說(shuō)，當(dāng)系統(tǒng)數(shù)據(jù)量很小，比如只有幾個(gè)GB時(shí)，進(jìn)行多表連接之類困難查詢的響應(yīng)時(shí)間是可以忍受的。但是設(shè)想一下加果數(shù)據(jù)量擴(kuò)展到很大，到幾百GB，甚至上TB,一個(gè)表中的記錄往往有幾百萬(wàn)、幾千萬(wàn)，甚至更多，這時(shí)進(jìn)行多表連接這樣的困難查詢，響應(yīng)時(shí)間長(zhǎng)得不行忍受。這時(shí)就有必要把幾個(gè)表合并，盡量削減表的連接操作。當(dāng)然，不規(guī)范處理的程度取決于數(shù)據(jù)庫(kù)引擎的并行處理實(shí)力。數(shù)據(jù)倉(cāng)庫(kù)建設(shè)者在選擇數(shù)據(jù)庫(kù)引擎時(shí)，除了參考一些相關(guān)的基準(zhǔn)測(cè)試結(jié)果外，最好是能依據(jù)自己的實(shí)際狀況設(shè)計(jì)測(cè)試方案，從幾個(gè)數(shù)據(jù)庫(kù)系統(tǒng)中選擇最適合自己企業(yè)決策要求的一種。不規(guī)范化處理雖然是提高系統(tǒng)性能的一種有效手段，但是由于中心數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)模型反映了整個(gè)企業(yè)的業(yè)務(wù)運(yùn)行規(guī)律，在這里進(jìn)行不規(guī)范處理簡(jiǎn)潔影響整個(gè)系統(tǒng)，不利于今后的擴(kuò)展。而且不規(guī)范處理產(chǎn)生的數(shù)據(jù)冗余將使整個(gè)系統(tǒng)的數(shù)據(jù)量快速增加，這將增加DBA的工作量和系統(tǒng)投資。因此，當(dāng)系統(tǒng)性能下降而進(jìn)行不規(guī)范處理時(shí)，比較好的方法是選擇問(wèn)題較集中的部門數(shù)據(jù)集市實(shí)施這種措施。這樣既能有效地改善系統(tǒng)性能漢不至于影響整個(gè)系統(tǒng)。在國(guó)外一些成功的大型企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)案例中，基本上都是接受這種方法。那么，在中心數(shù)據(jù)倉(cāng)庫(kù)中是否可以接受星型模式來(lái)進(jìn)行模型設(shè)計(jì)呢?我們知道，星型模式中有一個(gè)事實(shí)表和一組維表，我們可以把事實(shí)看成是各個(gè)維交叉點(diǎn)上的值。例如，一個(gè)汽車廠在探討其銷售狀況時(shí)可以考察汽車的型號(hào)、顏色、代理商等多種因素，這些因素就是維，而銷售量就是事實(shí)。這種多維模型能快速給出基于各個(gè)維的報(bào)表，這些維必需事先確定。星型模式之所以速度快，在于針對(duì)各個(gè)維作了大量的預(yù)處理，如依據(jù)維進(jìn)行預(yù)先的統(tǒng)計(jì)、分類、排序等。在上面的例子中，就是依據(jù)汽車的型號(hào)、顏色、代理商進(jìn)行預(yù)先的銷售量統(tǒng)計(jì)。因此，在星型模式設(shè)計(jì)的數(shù)據(jù)倉(cāng)庫(kù)中，作報(bào)表的速度雖然很快，但由于存在大量的預(yù)處理，其建模過(guò)程相對(duì)來(lái)說(shuō)就比較慢。當(dāng)業(yè)務(wù)問(wèn)題發(fā)生變更，原來(lái)的維不能滿足要求時(shí)，須要增加新的維。由于事實(shí)表的主鍵由全部維表的主鍵組成，這種維的變動(dòng)將是特殊困難、特殊耗時(shí)的。星型模式另一個(gè)顯著的缺點(diǎn)是數(shù)據(jù)的冗余量很大。綜合這些探討，不難得出結(jié)論，星型模式比較適合于預(yù)先定義好的問(wèn)題加須要產(chǎn)生大量報(bào)表的場(chǎng)合;而不適合于動(dòng)態(tài)查詢多、系統(tǒng)可擴(kuò)展實(shí)力要求高或者數(shù)據(jù)量很大的場(chǎng)合。因此，星型模式在一些要求大量報(bào)表的部門數(shù)據(jù)集市中有較多的應(yīng)用。4.4兩種模式的比較上面探討了數(shù)據(jù)倉(cāng)庫(kù)邏輯模型設(shè)計(jì)中常用的兩種方法.在數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用環(huán)境中，主要有兩種負(fù)載:一種是回答重復(fù)性的問(wèn)題;另一種是回答交互性的問(wèn)題。動(dòng)態(tài)查詢具有較明顯的交互性特征，即在一個(gè)問(wèn)題答案的基礎(chǔ)上進(jìn)行進(jìn)一步的探究，這種交互過(guò)程常稱為數(shù)據(jù)挖掘(DataMining)或者學(xué)問(wèn)探究(KnowledgeDiscovery)。對(duì)于以第一種負(fù)載為主的部門數(shù)據(jù)集市，當(dāng)數(shù)據(jù)量不大、報(bào)表較固定時(shí)可以接受星型模式;對(duì)于中心數(shù)據(jù)倉(cāng)庫(kù)，考慮到系統(tǒng)的可擴(kuò)展實(shí)力、投資成本和易于管理等多種因素，最好接受第三范式?；蛘哒f(shuō)對(duì)于數(shù)據(jù)倉(cāng)庫(kù)中當(dāng)前詳細(xì)級(jí)別的數(shù)據(jù)和輕度綜合的數(shù)據(jù)可以接受第三范式的方式設(shè)計(jì)，對(duì)于高度綜合的數(shù)據(jù)可以接受星型模式設(shè)計(jì)。物理模型設(shè)計(jì)這一步所做的工作是確定數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)，確定索引策略，確定數(shù)據(jù)存放位置，確定存儲(chǔ)支配。確定數(shù)據(jù)倉(cāng)庫(kù)實(shí)現(xiàn)的物理模型，要求設(shè)計(jì)人員必需做到以下幾方面:要全面了解所選用的數(shù)據(jù)庫(kù)管理系統(tǒng)，特殊是存儲(chǔ)結(jié)構(gòu)和存取方法。了解數(shù)據(jù)環(huán)境、數(shù)據(jù)的運(yùn)用頻度、運(yùn)用方式、數(shù)據(jù)規(guī)模以及響應(yīng)時(shí)間要求等，這些是對(duì)時(shí)間和空間效率進(jìn)行平衡和優(yōu)化的重要依據(jù)。.了解外部存儲(chǔ)設(shè)備的特性，如分塊原則，塊大小的規(guī)定，設(shè)備的I/o特性等。1.確定數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)一個(gè)數(shù)據(jù)庫(kù)管理系統(tǒng)往往都供應(yīng)多種存儲(chǔ)結(jié)構(gòu)供設(shè)計(jì)人員選用，不同的存儲(chǔ)結(jié)構(gòu)有不同的實(shí)現(xiàn)方式，各有各的適用范圍和優(yōu)缺點(diǎn)，設(shè)計(jì)人員在選擇合適的存儲(chǔ)結(jié)構(gòu)時(shí)應(yīng)當(dāng)權(quán)衡三個(gè)方面的主要因素:存取時(shí)間、存儲(chǔ)空間利用率和維護(hù)代價(jià)。2.確定索引策略數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)量很大，因而須要對(duì)數(shù)據(jù)的存取路徑進(jìn)行細(xì)致的設(shè)計(jì)和選擇。由于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)都是不常更新的，因而可以設(shè)計(jì)多種多樣的索引結(jié)構(gòu)來(lái)提高數(shù)據(jù)存取效率。在數(shù)據(jù)倉(cāng)庫(kù)中，設(shè)計(jì)人員可以考慮對(duì)各個(gè)數(shù)據(jù)存儲(chǔ)建立專用的、困難的索引，以獲得最高的存取效率，因?yàn)樵跀?shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是不常更新的，也就是說(shuō)每個(gè)數(shù)據(jù)存儲(chǔ)是穩(wěn)定的，因而雖然建立專用的、困難的索引有確定的代價(jià)，但一旦建立就幾乎不需維護(hù)索引的代價(jià)。3.確定數(shù)據(jù)存放位置我們說(shuō)過(guò)，同一個(gè)主題的數(shù)據(jù)并不要求存放在相同的介質(zhì)上。在物理設(shè)計(jì)時(shí)，我們經(jīng)常要按數(shù)據(jù)的重要程度、運(yùn)用頻率以及對(duì)響應(yīng)時(shí)間的要求進(jìn)行分類，并將不同類的數(shù)據(jù)