第章數(shù)據(jù)倉庫設(shè)計(jì)與開發(fā)

第四章數(shù)據(jù)倉庫設(shè)計(jì)與開發(fā)本章目標(biāo)了解數(shù)據(jù)倉庫開發(fā)應(yīng)用過程熟悉數(shù)據(jù)倉庫的規(guī)劃內(nèi)容、目標(biāo)等掌握數(shù)據(jù)倉庫的分析與設(shè)計(jì)過程、內(nèi)容了解數(shù)據(jù)倉庫的實(shí)施過程第四章數(shù)據(jù)倉庫設(shè)計(jì)與開發(fā)本章內(nèi)容4.1數(shù)據(jù)倉庫開發(fā)應(yīng)用過程4.2數(shù)據(jù)倉庫的規(guī)劃4.3數(shù)據(jù)倉庫的分析與設(shè)計(jì)4.4數(shù)據(jù)倉庫的實(shí)施4.5數(shù)據(jù)倉庫技術(shù)與開發(fā)的困難4.1數(shù)據(jù)倉庫開發(fā)應(yīng)用過程數(shù)據(jù)倉庫的開發(fā)應(yīng)用像生物一樣具有其特有的、完整的生命周期，數(shù)據(jù)倉庫的開發(fā)應(yīng)用周期可以分成三個(gè)階段：數(shù)據(jù)倉庫規(guī)劃分析數(shù)據(jù)倉庫設(shè)計(jì)實(shí)施數(shù)據(jù)倉庫使用維護(hù)這三個(gè)階段是一個(gè)不斷循環(huán)、完善、提高的過程（螺旋式）。螺旋式開發(fā)應(yīng)用過程設(shè)計(jì)體系結(jié)構(gòu)開發(fā)概念模型開發(fā)邏輯模型數(shù)據(jù)庫與元數(shù)據(jù)設(shè)計(jì)數(shù)據(jù)抽取轉(zhuǎn)換與加載開發(fā)中間件填充與測試數(shù)據(jù)倉庫數(shù)據(jù)倉庫應(yīng)用數(shù)據(jù)倉庫維護(hù)數(shù)據(jù)倉庫評價(jià)規(guī)劃與確定需求規(guī)劃分析階段設(shè)計(jì)實(shí)施階段使用維護(hù)階段4.2數(shù)據(jù)倉庫的規(guī)劃選擇數(shù)據(jù)倉庫實(shí)現(xiàn)策略自頂向下：實(shí)際應(yīng)用比較困難。自底向上：用于一個(gè)數(shù)據(jù)集市或一個(gè)部門的數(shù)據(jù)倉庫開發(fā)，容易獲得成功。兩種策略的聯(lián)合使用：能夠快速地完成數(shù)據(jù)倉庫的開發(fā)與應(yīng)用，而且還可以建立具有長遠(yuǎn)價(jià)值的數(shù)據(jù)倉庫方案。在實(shí)際使用中難以操作。用自頂向下方法建造企業(yè)數(shù)據(jù)倉庫建設(shè)中心數(shù)據(jù)模型一次性的完成數(shù)據(jù)的重構(gòu)工作最小化數(shù)據(jù)冗余度和不一致性存儲(chǔ)詳細(xì)的歷史數(shù)據(jù)從企業(yè)數(shù)據(jù)倉庫中建造數(shù)據(jù)集市得到大部分的集成數(shù)據(jù)直接依賴于數(shù)據(jù)倉庫的可用性問題投資效益的時(shí)間?建設(shè)中心數(shù)據(jù)模型的必要性和可能性?初始費(fèi)用?數(shù)據(jù)集市外部數(shù)據(jù)數(shù)據(jù)集市操作數(shù)據(jù)企業(yè)數(shù)據(jù)倉庫用自底向上方法建立部門數(shù)據(jù)集市限制在一個(gè)主題區(qū)域快速投資收益區(qū)域自治–設(shè)計(jì)的可伸縮性強(qiáng)對相關(guān)部門的應(yīng)用容易復(fù)制對每個(gè)數(shù)據(jù)集市需要數(shù)據(jù)重構(gòu)存在一定的冗余及不一致性逐步擴(kuò)展到企業(yè)數(shù)據(jù)倉庫(EDW)把建造EDW作為一個(gè)長期的目標(biāo)存在的問題:數(shù)據(jù)集市的數(shù)據(jù)都是可用的嗎?能生成數(shù)據(jù)模型嗎?如何解決不一致性?操作數(shù)據(jù)(全局)/外部數(shù)據(jù)企業(yè)數(shù)據(jù)倉庫數(shù)據(jù)集市操作數(shù)據(jù)(局部)操作數(shù)據(jù)(局部)數(shù)據(jù)集市采用從頂向下VS從底向下企業(yè)內(nèi)部、各個(gè)業(yè)務(wù)部門和各個(gè)工作崗位對數(shù)據(jù)倉庫的理解和期望不同。作為具體的部門，有特定的信息需求，都希望能在盡可能短的時(shí)間內(nèi)需求獲得滿足。建立局部的系統(tǒng)，所需信息能夠立即為其使用。因此對部門而言，他們追求的是一種短期的局部目標(biāo)，關(guān)心的是基于所在位置的局部解決方案。整個(gè)企業(yè)看，建立數(shù)據(jù)倉庫的目的之一是獲得對整個(gè)企業(yè)業(yè)務(wù)信息的視圖。以便能把握和管理企業(yè)的經(jīng)營運(yùn)行，并對企業(yè)進(jìn)行業(yè)務(wù)重組。企業(yè)現(xiàn)有系統(tǒng)往往不同程度上存在各自為政，缺乏統(tǒng)一的規(guī)劃和設(shè)計(jì)。數(shù)據(jù)出自各部門，提供的信息不一致，使得高層無法獲得可靠、統(tǒng)一和協(xié)調(diào)的信息。企業(yè)追求的是長期的集成目標(biāo)，關(guān)心的是基于整個(gè)企業(yè)的全面解決方案。兩者的目標(biāo)是有矛盾的！確定數(shù)據(jù)倉庫的開發(fā)目標(biāo)和實(shí)現(xiàn)范圍首要目標(biāo)是確定所需要信息的范圍，確定數(shù)據(jù)倉庫在為用戶提供決策幫助時(shí)，在主題和指標(biāo)領(lǐng)域需要哪些數(shù)據(jù)源。

另一個(gè)重要目標(biāo)是確定利用哪些方法和工具訪問和導(dǎo)航數(shù)據(jù)？其它目標(biāo)是確定數(shù)據(jù)倉庫內(nèi)部數(shù)據(jù)的規(guī)模從用戶的角度分析從技術(shù)的角度分析數(shù)據(jù)倉庫的結(jié)構(gòu)數(shù)據(jù)倉庫的應(yīng)用結(jié)構(gòu)

基于業(yè)務(wù)處理系統(tǒng)的數(shù)據(jù)倉庫

單純數(shù)據(jù)倉庫

單純數(shù)據(jù)集市

數(shù)據(jù)倉庫和數(shù)據(jù)集市

數(shù)據(jù)倉庫的技術(shù)平臺(tái)結(jié)構(gòu)單層結(jié)構(gòu)

客戶/服務(wù)器兩層結(jié)構(gòu)

三層客戶/服務(wù)器

多層式結(jié)構(gòu)數(shù)據(jù)倉倉庫使使用方方案和和項(xiàng)目目規(guī)劃劃預(yù)算算實(shí)際使用方方案還可以以將最終用用戶的決策策支持要求求與數(shù)據(jù)倉倉庫的技術(shù)術(shù)要求聯(lián)系系起來開發(fā)方案的的預(yù)算進(jìn)行行估計(jì)編制數(shù)據(jù)倉倉庫開發(fā)說說明書：：說明系統(tǒng)與與企業(yè)戰(zhàn)略略目標(biāo)的關(guān)關(guān)系，系統(tǒng)統(tǒng)與企業(yè)急急需處理的的、范圍相相對有限的的開發(fā)機(jī)會(huì)會(huì)。業(yè)務(wù)機(jī)會(huì)的的說明以及及任務(wù)概況況說明、重重點(diǎn)支持的的職能部門門和今后工工作的建議議。計(jì)劃中需要要闡明期望望取得的有有形和無形形利益業(yè)務(wù)價(jià)值值計(jì)劃最最好由目目標(biāo)業(yè)務(wù)務(wù)主管來來完成規(guī)劃書中中要確定定數(shù)據(jù)倉倉庫的開開發(fā)目標(biāo)標(biāo)實(shí)現(xiàn)范范圍、體體系結(jié)構(gòu)構(gòu)和使用用方案及及開發(fā)預(yù)預(yù)算。4.3數(shù)數(shù)據(jù)倉倉庫的分分析與設(shè)設(shè)計(jì)需需求分析析概概念模型型設(shè)計(jì)邏邏輯模型型設(shè)計(jì)物物理模型型設(shè)計(jì)數(shù)數(shù)據(jù)倉庫庫的索引引技術(shù)需需求分析析確定主題題域支持決策策的數(shù)據(jù)據(jù)來源數(shù)據(jù)倉庫庫的成功功標(biāo)準(zhǔn)和和關(guān)鍵性性能指標(biāo)標(biāo)數(shù)據(jù)量與與更新頻頻率確定主題題域（1）明明確對于于決策分分析最有有價(jià)值的的主題領(lǐng)領(lǐng)域有哪哪些？（2）每每個(gè)主題題域的商商業(yè)維度度是哪些些？每個(gè)個(gè)維度的的粒度層層次有哪哪些？（3）制定決決策的商業(yè)分分區(qū)是什么？？（4）不同地地區(qū)需要哪些些信息來制定定決策？（5）對哪個(gè)個(gè)區(qū)域提供特特定的商品和和服務(wù)？支持決策的數(shù)數(shù)據(jù)來源（1）哪些源源數(shù)據(jù)（操作作型）與商品品主題有關(guān)？？（2）在已有有報(bào)表和在線線查詢中得到到什么樣的信信息？（3）提供決決策支持的細(xì)細(xì)節(jié)程度是怎怎樣的？數(shù)據(jù)倉庫的成成功標(biāo)準(zhǔn)和關(guān)關(guān)鍵性能指標(biāo)標(biāo)（1）衡量數(shù)數(shù)據(jù)倉庫成功功的標(biāo)準(zhǔn)是什什么？（2）哪些關(guān)關(guān)鍵的性能指指標(biāo)？如何監(jiān)監(jiān)控？（3）對數(shù)據(jù)據(jù)倉庫的期望望是什么？（4）對數(shù)據(jù)據(jù)倉庫的預(yù)期期用途有哪些些？（5）對計(jì)劃劃中的數(shù)據(jù)倉倉庫的考慮要要點(diǎn)是什么？？數(shù)據(jù)量與更新新頻率（1）數(shù)據(jù)倉倉庫的總數(shù)據(jù)據(jù)量有多少？？（2）決策支支持所需的數(shù)數(shù)據(jù)更新頻率率是多少？時(shí)時(shí)間間隔是多多長?（3）每種決決策分析與不不同時(shí)間的標(biāo)標(biāo)準(zhǔn)對比如何何？（4）數(shù)據(jù)倉倉庫中的信息息需求的時(shí)間間界限是什么么？開發(fā)模型模型是對現(xiàn)實(shí)實(shí)世界進(jìn)行抽抽象的工具。。在信息管理中中需要將現(xiàn)實(shí)實(shí)世界的事物物及其有關(guān)特特征轉(zhuǎn)換為信信息世界的數(shù)數(shù)據(jù)才能對信信息進(jìn)行處理理與管理，這這就需要依靠靠數(shù)據(jù)模型作作為這種轉(zhuǎn)換換的橋梁。這種轉(zhuǎn)換一般般需要經(jīng)歷從從現(xiàn)實(shí)到概念念模型，從概概念模型到邏邏輯模型，從從邏輯模型到到物理模型的的轉(zhuǎn)換過程?！，F(xiàn)實(shí)世界概念世界邏輯世界計(jì)算機(jī)世界信用特性屬性列（字段、數(shù)據(jù)項(xiàng)）張三個(gè)體實(shí)體記錄客戶整體同質(zhì)總體表文件客戶與產(chǎn)品整體間聯(lián)系異質(zhì)總體數(shù)據(jù)庫概概念模型設(shè)設(shè)計(jì)概念模型的特特點(diǎn)是：能真實(shí)反映現(xiàn)現(xiàn)實(shí)世界，能能滿足用戶對對數(shù)據(jù)的分析析，達(dá)到?jīng)Q策策支持的要求求，它是現(xiàn)實(shí)實(shí)世界的一個(gè)個(gè)真實(shí)模型。。易于理解，便便利和用戶交交換意見，在在用戶的參與與下，能有效效地完成對數(shù)數(shù)據(jù)倉庫的成成功設(shè)計(jì)。易于更改，當(dāng)當(dāng)用戶需求發(fā)發(fā)生變化時(shí)，，容易對概念念模型修改和和擴(kuò)充。易于向數(shù)據(jù)倉倉庫的數(shù)據(jù)模模型（星型模模型）轉(zhuǎn)換。。概念模型表示示概念模型最常常用的表示方方法是實(shí)體－－關(guān)系法（E-R法）。。E-R圖將現(xiàn)實(shí)世界表示成信息世界，便利向計(jì)算機(jī)的表示示形式進(jìn)行轉(zhuǎn)化化。建立概念模型型：對每個(gè)決決策主題與屬屬性以及主題題之間的關(guān)系系用E-R圖模型表示。例子有兩個(gè)主題：：商品和客戶戶，主題也是是實(shí)體。商品有如下屬屬性組：商品的固有信信息（商品號(hào)號(hào)、商品名、、類別、價(jià)格格等）；商品庫存信息息（商品號(hào)、、庫房號(hào)、庫庫存量、日期期等）；商品銷售信息息（商品號(hào)、、客戶號(hào)、銷銷售量等）；；客戶有如下屬屬性組：客戶固有信息息（客戶號(hào)、、客戶名、住住址、電話等等）；客戶購物信息息（客戶號(hào)、、商品號(hào)、售售價(jià)、購買量量等）。商品的銷售信信息與用戶的的購物信息是是一致的，它它們是兩個(gè)主主題之間的聯(lián)聯(lián)系。商品商品固有信息商品號(hào)商品庫存信息銷售信息購物信息客戶客戶固有信息客戶號(hào)=邏邏輯模型設(shè)計(jì)計(jì)主要工作：分析主題域進(jìn)進(jìn)行概念模型型（E—R圖圖）到邏輯模模型（星型模模型）的轉(zhuǎn)換換確定粒度層次次劃分確定數(shù)據(jù)分割割策略關(guān)系模式定義義定義記錄系統(tǒng)統(tǒng)分析主題域主題名公共碼鍵屬性組商品商品號(hào)商品固有信息：商品號(hào)，商品名，類型，顏色等商品采購信息：商品號(hào)，供應(yīng)商號(hào)，供應(yīng)價(jià)，供應(yīng)日期，供應(yīng)量等商品庫存信息：商品號(hào)，庫房號(hào)，庫存量，日期等銷售銷售單號(hào)銷售單固有信息：銷售單號(hào)，銷售地址等銷售信息：客戶號(hào)，商品號(hào)，銷售價(jià)，銷售量、銷售時(shí)間等客戶客戶號(hào)客戶固有信息：客戶號(hào)，客戶名，性別，年齡，文化程度，住址，電話等客戶經(jīng)濟(jì)息：客戶號(hào)，年收入，家庭總收入等概念模型到邏邏輯模型的轉(zhuǎn)轉(zhuǎn)換星型模型的設(shè)設(shè)計(jì)步驟如下下：（1）確定決決策分析需求求。決策需求是建建立多維數(shù)據(jù)據(jù)模型的依據(jù)據(jù)。（2）從需求求中識(shí)別出事事實(shí)。選擇或設(shè)計(jì)反反映決策主題題業(yè)務(wù)的表，，如在“商品品”主題中，，以“銷售業(yè)業(yè)務(wù)”作為事事實(shí)表。（3）確定維維。確定影響事實(shí)實(shí)的各種因素素，對銷售業(yè)業(yè)務(wù)的維包括括商店，地區(qū)區(qū)，部門，城城市，時(shí)間，，商品等。銷售數(shù)據(jù)和維銷售數(shù)據(jù)商品促銷時(shí)間部門城市地區(qū)商店概念模型到邏邏輯模型的轉(zhuǎn)轉(zhuǎn)換星型模型的設(shè)設(shè)計(jì)步驟如下下：（4））確定定數(shù)據(jù)據(jù)匯總總水平平。數(shù)據(jù)倉倉庫中中對數(shù)數(shù)據(jù)不不同粒粒度的的集成成和綜綜合，，形成成了多多層次次、多多種知知識(shí)的的數(shù)據(jù)據(jù)結(jié)構(gòu)構(gòu)。例例如，，對于于時(shí)間間維，，可以以以““年””、““月””或者者“日日”等等不同同水平平進(jìn)行行匯總總。（5））設(shè)設(shè)計(jì)計(jì)事事實(shí)實(shí)表表和和維維表表。設(shè)計(jì)計(jì)事事實(shí)實(shí)表表和和維維表表的的具具體體屬屬性性。。在在事事實(shí)實(shí)表表中中應(yīng)應(yīng)該該記記錄錄哪哪些些屬屬性性是是由由維維表表的的數(shù)數(shù)量量決決定定的的。。一一般般來來說說，，與與事事實(shí)實(shí)表表相相關(guān)關(guān)的的維維表表的的數(shù)數(shù)量量應(yīng)應(yīng)該該適適中中，，太太少少的的維維表表會(huì)會(huì)影影響響查查詢詢的的質(zhì)質(zhì)量量，，用用戶戶得得不不到到需需要要的的數(shù)數(shù)據(jù)據(jù)，，太太多多的的維維表表又又會(huì)會(huì)影影響響查查詢詢的的速速度度。概念念模模型型到到邏邏輯輯模模型型的的轉(zhuǎn)轉(zhuǎn)換換星型型模模型型的的設(shè)設(shè)計(jì)計(jì)步步驟驟如如下下：：（6）按按使用的的DBMS和分分析用戶戶工具，，證實(shí)設(shè)設(shè)計(jì)方案案的有效效性。根據(jù)系系統(tǒng)使用用的DBMS，，確定事事實(shí)表和和維表的的具體實(shí)實(shí)現(xiàn)。由由于不同同的DBMS對對數(shù)據(jù)存存儲(chǔ)有不不同的要要求，因因此設(shè)計(jì)計(jì)方案是是否有效效還要放放在DBMS中中進(jìn)行檢檢驗(yàn)（7）隨隨著需求求變化修修改設(shè)計(jì)計(jì)方案。。隨著應(yīng)用用需求的的變化，，整個(gè)數(shù)數(shù)據(jù)倉庫庫的數(shù)據(jù)據(jù)模式也也可能會(huì)會(huì)發(fā)生變變化。因因此在設(shè)設(shè)計(jì)之初初，充分分考慮數(shù)數(shù)據(jù)模型型的可修修改性可可以節(jié)省省系統(tǒng)維維護(hù)的代代價(jià)。轉(zhuǎn)換示例例（1）業(yè)業(yè)務(wù)數(shù)據(jù)據(jù)的E-R圖銷售銷售日期商店號(hào)商品號(hào)銷售數(shù)量銷售單位商品商品號(hào)商品名商品類號(hào)存貨星期商店號(hào)商品號(hào)數(shù)量1m1m商店商店號(hào)商店名地址城市省郵編地區(qū)號(hào)1mm11商品類商品類號(hào)商品類名部門號(hào)m1m地區(qū)地區(qū)號(hào)地區(qū)名轉(zhuǎn)換示例例（2）E-R圖圖向多維維表的轉(zhuǎn)轉(zhuǎn)換商品維地區(qū)維時(shí)間維部門地區(qū)年商品大類商店月商品周日銷售事實(shí)轉(zhuǎn)換示示例（3））利用維維關(guān)鍵鍵字制制定的的星型型模型型轉(zhuǎn)換示示例(4)修改改后的的星型型模型型確定粒粒度層層次粒度是是指數(shù)數(shù)據(jù)倉倉庫中中數(shù)據(jù)據(jù)單元元的詳詳細(xì)程程度和和級(jí)別別。數(shù)據(jù)越越詳細(xì)細(xì)，粒粒度越越小，，層次次級(jí)別別就越越低；；數(shù)據(jù)據(jù)綜合合度越越高，，粒度度越大大，層層次級(jí)級(jí)別就就越高高。決定數(shù)數(shù)據(jù)倉倉庫采采取的的是單單一粒粒度還還是多多重粒粒度，，以及及粒度度劃分分的層層次。。通過過聚集集的設(shè)設(shè)計(jì)為為數(shù)據(jù)據(jù)倉庫庫的使使用提提供各各種可可能的的聚集集查詢詢便利利進(jìn)行粒粒度劃劃分，，首先先要確確定所所有在在數(shù)據(jù)據(jù)倉庫庫中建建立的的表，，然后后估計(jì)計(jì)每個(gè)個(gè)表的的大約約行數(shù)數(shù)。確定數(shù)數(shù)據(jù)分分割策策略把邏輯輯上整整體的的數(shù)據(jù)據(jù)分割割成較較小的的、可可以獨(dú)獨(dú)立管管理的的物理理單元元進(jìn)行行存儲(chǔ)儲(chǔ)。便于數(shù)數(shù)據(jù)的的重構(gòu)構(gòu)、重重組和和恢復(fù)復(fù)，以以提高高創(chuàng)建建索引引和順順序掃掃描的的效率率數(shù)據(jù)分分割標(biāo)標(biāo)準(zhǔn)：：1.數(shù)數(shù)據(jù)量量2.數(shù)數(shù)據(jù)分分析處處理的的對象象3.粒粒度分分割的的策略略定義關(guān)關(guān)系模模式在概念念模型型設(shè)計(jì)計(jì)時(shí)，，我們們就確確定了了數(shù)據(jù)據(jù)倉庫庫的基基本主主題，，并對對每個(gè)個(gè)主題題的公公共碼碼鍵、、基本本內(nèi)容容等做做了描描述。。在這一一步里里，我我們將將要對對選定定的當(dāng)當(dāng)前實(shí)實(shí)施的的主題題進(jìn)行行模式式劃分分，形形成多多個(gè)表表，并并確定定各個(gè)個(gè)表的的關(guān)系系模式式?！吧唐贰敝髦黝}公共碼鍵：：商品號(hào)。。商品固有信信息：商品表（商商品號(hào)、商商品名、類類型、顏色色）——細(xì)細(xì)節(jié)級(jí)商品銷售信信息：銷售表1（（商品號(hào)、、客戶號(hào)、、銷售量、、…）———細(xì)節(jié)級(jí)銷售表2（（商品號(hào)、、時(shí)間段1、銷售量量、…）———綜合級(jí)級(jí)……銷售表n（（商品號(hào)、、時(shí)間段n、銷售量量、…）———綜合級(jí)級(jí)定義記錄系系統(tǒng)定義記錄系系統(tǒng)是建立立數(shù)據(jù)倉庫庫中的數(shù)據(jù)據(jù)以源系統(tǒng)統(tǒng)中的數(shù)據(jù)據(jù)的對照記記錄。記錄系統(tǒng)的的定義要記記入數(shù)據(jù)倉倉庫的元數(shù)數(shù)據(jù)。商品主題的的記錄系統(tǒng)統(tǒng)在元數(shù)據(jù)據(jù)中可描述述如表主題名屬性名數(shù)據(jù)源系統(tǒng)源表名源屬性名商品商品商品商品商品商品商品商品商品商品號(hào)商品名類別客戶號(hào)銷售日期售價(jià)銷售量庫存量庫存號(hào)庫存子系統(tǒng)庫存子系統(tǒng)庫存子系統(tǒng)銷售子系統(tǒng)銷售子系統(tǒng)銷售子系統(tǒng)銷售子系統(tǒng)庫存子系統(tǒng)庫存子系統(tǒng)商品商品商品客戶銷售銷售銷售庫存?zhèn)}庫商品號(hào)商品名類別客戶號(hào)日期單價(jià)數(shù)量庫存量倉庫號(hào)4.3.4物理模模型設(shè)計(jì)物理模型設(shè)設(shè)計(jì)因素：：I/O存取取時(shí)間空間利用率率維護(hù)的代價(jià)價(jià)主要工作：：全面了解所所選用的數(shù)數(shù)據(jù)庫管理理系統(tǒng)，確定一個(gè)最最適合應(yīng)用用要求的物物理結(jié)構(gòu)，，特別是存儲(chǔ)儲(chǔ)結(jié)構(gòu)和存存取方法。。了解數(shù)據(jù)環(huán)環(huán)境、數(shù)據(jù)據(jù)的使用頻頻率、使用用方式、數(shù)數(shù)據(jù)規(guī)模以以及響應(yīng)時(shí)時(shí)間要求等等。了解外部存存儲(chǔ)設(shè)備的的特征。確定一個(gè)最最適合應(yīng)用用要求的物物理結(jié)構(gòu)（1）估計(jì)計(jì)存儲(chǔ)容量量（2）確定定數(shù)據(jù)的存存儲(chǔ)計(jì)劃（3）確定定索引策略略（4）確定定數(shù)據(jù)存放放位置（5）確定定存儲(chǔ)分配配(1)估估計(jì)存儲(chǔ)容容量對每一個(gè)數(shù)數(shù)據(jù)庫表確確定數(shù)據(jù)量量對所有的表表確定索引引估計(jì)臨時(shí)存存儲(chǔ)(2)確確定數(shù)據(jù)的的存儲(chǔ)計(jì)劃劃建立聚集（（匯總）計(jì)計(jì)劃確定數(shù)據(jù)分分區(qū)方案建立聚類選選項(xiàng)(3)確確定索引策策略在數(shù)據(jù)倉庫庫中由于數(shù)數(shù)據(jù)量很大大，需要對對數(shù)據(jù)的存存取路徑進(jìn)進(jìn)行仔細(xì)設(shè)設(shè)計(jì)和選擇擇，建立專專用的復(fù)雜雜的索引，，以獲得最最高的存取取效率。采用B—Tree索索引，它是是一個(gè)高效效的索引，，見圖4.7所示。。B樹是一一個(gè)平衡（（balance））樹，即每每個(gè)葉結(jié)點(diǎn)點(diǎn)到根節(jié)點(diǎn)點(diǎn)的路徑長長度相同。。B樹索引引是一個(gè)多多級(jí)索引。。(4)確定定數(shù)據(jù)存放放位置在物理設(shè)計(jì)計(jì)時(shí)，我們們常常要按按數(shù)據(jù)的重重要程度、、使用頻率率以及對響響應(yīng)時(shí)間的的要求進(jìn)行行分類，并并將不同類類的數(shù)據(jù)分分別存儲(chǔ)在在不同的存存儲(chǔ)設(shè)備中中。重要程度高高、經(jīng)常存存取并對響響應(yīng)時(shí)間要要求高的數(shù)數(shù)據(jù)就存放放在高速存存儲(chǔ)設(shè)備上上，如硬盤盤；存取頻率低低或?qū)Υ嫒∪№憫?yīng)時(shí)間間要求低的的數(shù)據(jù)則可可以放在低低速存儲(chǔ)設(shè)設(shè)備上，如如磁盤或磁磁帶。(5)確確定存儲(chǔ)分分配物理存儲(chǔ)中中以文件、、塊和記錄錄來實(shí)現(xiàn)。。一個(gè)文件件包括很多多塊，每個(gè)個(gè)塊包括若若干條記錄錄。文件中的塊塊是數(shù)據(jù)庫庫的數(shù)據(jù)和和內(nèi)存之間間I/O傳傳輸?shù)幕颈締挝?，在在那里對?shù)數(shù)據(jù)進(jìn)行操操作。用一個(gè)簡例例來說明邏邏輯模型和和物理模型型的內(nèi)容，，見下圖所所示。名稱類型長度注釋產(chǎn)品維表包括公司所有產(chǎn)品的信息Product-Keyinteger10主鍵Product-Namechar25產(chǎn)品名稱Product-SKuchar20庫存單位銷售員維表包括不同地區(qū)的所有銷售員信息Salpers-Keyinteger15主鍵Salpers-Namechar30銷售員姓名Territorychar20銷售員所在區(qū)域Regionchar20所在地區(qū)訂單事實(shí)表包括公司收到的所有訂單Order-Keyinteger10訂單鍵Order-Namechar20訂單名稱Product-refinteger10參考產(chǎn)品主鍵Salpers-refinteger15參考銷售員主鍵Order-AmountNum8，2銷售額Order-CostNum8，2訂單成本邏輯模型產(chǎn)品維表產(chǎn)品鍵產(chǎn)品名庫存單位品牌訂單事實(shí)表訂單鍵訂單名產(chǎn)品鍵銷售員鍵銷售額訂單成本銷售員維表銷售員鍵姓名地域地區(qū)4.3.5數(shù)據(jù)倉倉庫的索引引技術(shù)位索引技術(shù)術(shù)Bit-Wise索索引技術(shù)B-Tree技術(shù)與與Bit-Wise索引技術(shù)術(shù)對比標(biāo)識(shí)技術(shù)廣義索引Bit-Wise索索引技術(shù)對于每一個(gè)個(gè)記錄的字字段滿足查查詢條件的的真假值用用“1”或或“0”的的方式表示示，或者用用該字段中中不同取值值（即多位位二進(jìn)制））來表示。。例如，檢索索“美國加加州有多少少男性未申申請保險(xiǎn)？？”利用Bit—Wise技技術(shù)得到有有兩個(gè)記錄錄滿足條條件。性別保險(xiǎn)州1MYMA2MNCA3FYIL4MNCA男未保險(xiǎn)加州100111000111B-Tree技技術(shù)術(shù)與與Bit-Wise索索引引技技術(shù)術(shù)對對比比Bit-Wise索索引引技技術(shù)術(shù)比比B-Tree技技術(shù)術(shù)能能提提高高相相應(yīng)應(yīng)速速度度10——100倍倍。。對于于檢檢索索““美美國國加加州州有有多多少少男男性性未未申申請請保保險(xiǎn)險(xiǎn)？？””為為例例，，假假設(shè)設(shè)數(shù)數(shù)據(jù)據(jù)庫庫有有10M記記錄錄，，每每個(gè)個(gè)記記錄錄長長800個(gè)個(gè)字字節(jié)節(jié)，，每每一一頁頁16K字字節(jié)節(jié)。。按傳傳統(tǒng)統(tǒng)的的關(guān)關(guān)系系數(shù)數(shù)據(jù)據(jù)庫庫的的檢檢索索：需需要要經(jīng)經(jīng)過過50萬萬次次I/O操操作作。。按Bit——Wise檢檢索索：對對于于10M個(gè)個(gè)記記錄錄建建立立三三列列的的Bit——Wise索索引引。。存存取取這這些些索索引引只只要要進(jìn)進(jìn)行行235次次I/O操操作作。。標(biāo)識(shí)識(shí)技技術(shù)術(shù)樣本本記記錄錄數(shù)據(jù)據(jù)庫庫中中的的每每個(gè)個(gè)實(shí)實(shí)體體創(chuàng)創(chuàng)建建一一個(gè)個(gè)標(biāo)標(biāo)識(shí)識(shí)。?！敖魑鳌薄痹谠诩炟炛兄惺鞘?1標(biāo)標(biāo)識(shí)識(shí)。。“28”在年年齡中是02標(biāo)識(shí)?！爸v師”在職職稱名中有一一個(gè)03標(biāo)識(shí)識(shí)。姓名籍籍貫職職稱年年齡陳文東江江西教教授56何玉輝河河北講講師32李寶湖湖南副副教授37施東江江蘇講講師28曹文湖湖南副副教授36趙玉吉吉林講講師32黃小斌江江蘇講講師28賽英花山山東副副教授32彭宏江江西講講師25廖宇宙湖湖南教教授42標(biāo)識(shí)技術(shù)姓名籍籍貫職職稱年年齡陳文東01江西西01教教授012501何玉輝02河北北02副副教授022802李寶03湖湖南03講師師033203施東04江江蘇043604曹文05吉吉林053705趙玉06山山東064206黃小斌075607賽英花08彭宏09廖宇宙10記錄101,01,01,07記錄202,02,03,03記錄303,03,02,05記錄404,04,03,02記錄505,03,02,05記錄606,05,03,03記錄707,04,03,02記錄808,06,02,03記錄909,01,03,01廣義索引對數(shù)據(jù)倉庫的的一個(gè)很廣泛泛的應(yīng)用問題題是“這個(gè)月月銷售最好和和最差的10種商品是哪哪些？”，我我們可以設(shè)計(jì)計(jì)這么一塊““黑板”，在在上面標(biāo)明了了當(dāng)月銷售最最好和最差的的10種商品品的名稱或者者它們相關(guān)記記錄的存放地地址。這塊““黑板”就是是我們所說的的“廣義索引引”。4.4數(shù)據(jù)據(jù)倉庫的實(shí)施施實(shí)施過程中需需要完成的工工作：建立數(shù)據(jù)倉庫庫與業(yè)務(wù)處理理系統(tǒng)的接口口數(shù)據(jù)倉庫的體體系結(jié)構(gòu)建立立實(shí)現(xiàn)數(shù)據(jù)倉庫庫物理倉庫與與元數(shù)據(jù)庫進(jìn)行數(shù)據(jù)倉庫庫的數(shù)據(jù)初次次加載完成數(shù)據(jù)倉庫庫的中間件設(shè)設(shè)計(jì)進(jìn)行數(shù)據(jù)倉庫庫的測試。數(shù)據(jù)倉庫與業(yè)業(yè)務(wù)處理系統(tǒng)統(tǒng)的接口接口應(yīng)該具有有這樣一些功功能：從面向應(yīng)用和和操作環(huán)境生生成完整的數(shù)數(shù)據(jù)；數(shù)據(jù)基于時(shí)間間的轉(zhuǎn)換；數(shù)據(jù)的聚集；；對現(xiàn)有數(shù)據(jù)系系統(tǒng)的有效掃掃描，以便今今后數(shù)據(jù)倉庫庫的數(shù)據(jù)追加加。數(shù)據(jù)倉庫的建建立關(guān)系型數(shù)據(jù)庫庫、多維數(shù)據(jù)據(jù)庫和對象數(shù)數(shù)據(jù)庫創(chuàng)建數(shù)據(jù)倉庫庫的工具：MSSQLServer2000,2005,2008Oracle9i，10iSybaseInformixRedBrickDecisionServer數(shù)據(jù)倉庫的加加載、復(fù)制和和發(fā)行數(shù)據(jù)加載之前前，首先需要要對準(zhǔn)備加載載的數(shù)據(jù)進(jìn)行行清理復(fù)制技術(shù)，復(fù)復(fù)制結(jié)構(gòu)應(yīng)完完成以下的復(fù)復(fù)雜任務(wù)：●不會(huì)受到系系統(tǒng)失敗等問問題的影響，，保證提供可可靠的數(shù)據(jù)復(fù)復(fù)制?！裰粋魉头虾蠑?shù)據(jù)完整性性規(guī)則的一致致數(shù)據(jù)。●可以優(yōu)化傳傳送過程，減減少在捕獲或或修改數(shù)據(jù)和和復(fù)制品作為為結(jié)果傳送之之間的等待時(shí)時(shí)間。技術(shù)和數(shù)據(jù)結(jié)結(jié)構(gòu)應(yīng)保證數(shù)數(shù)據(jù)發(fā)行系統(tǒng)統(tǒng)完成以下的的功能：保證數(shù)據(jù)以適適時(shí)和有效的的方式發(fā)行。。保證只發(fā)送被被排序的數(shù)據(jù)據(jù)。建立正確的和和所需要的服服務(wù)水平標(biāo)準(zhǔn)準(zhǔn)。數(shù)據(jù)倉倉庫的的測試試單元測測試單元測測試的的目的的是尋尋找出出存在在于單單個(gè)程程序、、存儲(chǔ)儲(chǔ)過程程和其其它位位于一一些獨(dú)獨(dú)立環(huán)環(huán)境中中模塊塊的錯(cuò)錯(cuò)誤。。系統(tǒng)集集成測測試測試目目的是是驗(yàn)證證每個(gè)個(gè)單元元與數(shù)數(shù)據(jù)倉倉庫系系統(tǒng)和和子系系統(tǒng)之之間的的接口口是否否完好好，是是否能能夠正正常傳傳遞數(shù)數(shù)據(jù)與與執(zhí)行行系統(tǒng)統(tǒng)的整整體功功能。。4.5數(shù)數(shù)據(jù)倉倉庫技技術(shù)與與開發(fā)發(fā)的困困難4.5.1數(shù)據(jù)據(jù)倉庫庫技術(shù)術(shù)4.5.2數(shù)據(jù)據(jù)倉庫庫開發(fā)發(fā)的困困難4.5.1數(shù)據(jù)據(jù)倉庫庫技術(shù)術(shù)（1））管理理大量量數(shù)據(jù)據(jù)數(shù)據(jù)倉倉庫要要管理理大量量的數(shù)數(shù)據(jù)，，是因因?yàn)樗鼈儯海喊Ａ畹牡?、?/p>