數(shù)據(jù)倉庫技術制定方案

1、數(shù)據(jù)倉庫制定方案在當下的數(shù)據(jù)倉庫系統(tǒng)安全控制模塊中，我國數(shù)據(jù)倉庫安全分為不同的等級?？傮w來說，我國的數(shù)據(jù)倉庫安全性是比較低。為更好的健全計算機數(shù)據(jù)倉庫體系，進行數(shù)據(jù)倉庫安全體系的研究是必要的。很多軟件都是因為其比較缺乏安全性而得不到較大范圍的應用，歸根結底是數(shù)據(jù)倉庫安全性級別比較低。為滿足現(xiàn)階段數(shù)據(jù)倉庫安全工作的需要，有利于數(shù)據(jù)倉庫保密性的控制，保證這些數(shù)據(jù)存儲與調用的一致性。當前數(shù)據(jù)倉庫安全控制過程中，首先需要對這些數(shù)據(jù)進行可用性的分析，從而有利于避免數(shù)據(jù)倉庫遭到破壞，更有利于進行數(shù)據(jù)倉庫的損壞控制及其修復。其次為了保證數(shù)據(jù)倉庫的安全性、效益性，也離不開對數(shù)據(jù)倉庫整體安全性方案的應用。最后必

2、須對數(shù)據(jù)倉庫進行的一切操作進行跟蹤記錄，以實現(xiàn)對修改和訪問數(shù)據(jù)倉庫的用戶進行追蹤，從而方便追查并防止非法用戶對數(shù)據(jù)倉庫進行操作。2.1數(shù)據(jù)倉庫安全整體規(guī)劃 本方案通過對電力行業(yè)敏感信息泄露安全威脅的分析，對數(shù)據(jù)倉庫安全進行整體設計與規(guī)劃，通過全系列數(shù)據(jù)倉庫安全產品相互之間分工協(xié)作，共同形成整體的防護體系，覆蓋了數(shù)據(jù)倉庫安全防護的事前診斷、事中控制和事后分析。制定嚴密可行的實施計劃，整個工程嚴格按照計劃進行；公司質量控制部利用ISO9000質量管理規(guī)范對工程的軟件開發(fā)及實施全過程進行監(jiān)督和控制；建立完善的軟件開發(fā)和工程實施的文檔體系。對程序進行測試，對各個模塊之間的關聯(lián)情況下可能出現(xiàn)的問題進行嚴

3、密的測試，并不斷完善在測試過程中暴露出來的問題。在這過程中質量控制小組將全程參與，確保軟件質量。需求調研是數(shù)據(jù)倉庫開發(fā)的最重要的環(huán)節(jié)之一，在調研的過程中能否真實、準確地描述客戶的需求，對于數(shù)據(jù)倉庫的開發(fā)有著舉足輕重的影響。與客戶溝通不夠導致對同一個事物的描述或者理解有分歧和差異，或者調研過程中流于表面文字，而沒有進入實際的操作，都可能造成在需求調研的過程中造成對需求不精確的理解。失之毫厘，謬之千里，需求調研的微小差異可能會在軟件的開發(fā)過程中造成較大的偏差，直接影響了工程的建設質量。為此我們?yōu)樾枨笳{研工作分配了充裕的人力的時間，制定了完善的調研方案，對需求調研的深度和廣度做了規(guī)范性的描述。確保需

4、求調研的工作質量。2.2數(shù)據(jù)倉庫開發(fā)階段劃分與目標2.2.1、需求分析階段主要對供電公司的需求、軟硬件條件、數(shù)據(jù)狀況等情況進行調研，對需求調研的結果進行分析，同時考慮需求的廣泛適用性，歸結出其中共同的部分和相異的部分，以便下一步根據(jù)需求完成系統(tǒng)軟件開發(fā)。2.2.2、物理建模階段依照需求分析得到的邏輯模式，設計數(shù)據(jù)倉庫中的數(shù)據(jù)倉庫，開發(fā)數(shù)據(jù)倉庫中數(shù)據(jù)的物理存儲結構，即設計多維數(shù)據(jù)結構的事實表和維表。2.2.3、數(shù)據(jù)轉換階段此階段實現(xiàn)從多個源系統(tǒng)中抽取、清理、一致化、綜合、裝載數(shù)據(jù)等過程的設計和編碼。2.2.4、生成多維模式并搭建立方體階段在已創(chuàng)建的倉庫模式的基礎上，對維定義了層和層次；創(chuàng)建了需要

5、預計算的量度；利用優(yōu)化器根據(jù)業(yè)務進行了切片優(yōu)化和預處理，生成MQT（物化視圖）；在模式中建立立方體，供查詢和多維分析使用。2.2.5、多維分析及展現(xiàn)階段使用數(shù)據(jù)分析和展現(xiàn)工具，開發(fā)多維分析程序以及展現(xiàn)頁面。2.2.6、數(shù)據(jù)挖掘階段使用數(shù)據(jù)挖掘建模工具進行聚類、關聯(lián)、分類、預測，使用數(shù)據(jù)挖掘模型圖示化工具，使用圖形展示挖掘結果。2.2.7、數(shù)據(jù)倉庫項目目標使數(shù)據(jù)倉庫達到一致性、有效性、易用性、便攜性、安全性、共享、糾錯、速度、原子事物處理、持久性和備份、降低成本和可擴展性、復雜的計算、CRUD把信息系統(tǒng)中大量的數(shù)據(jù)按一定的模型組織起來，提供儲存、維護、檢索數(shù)據(jù)的功能，使信息系統(tǒng)可以方便、及時、準

6、確地從數(shù)據(jù)倉庫中獲得所需的信息。2.3數(shù)據(jù)倉庫技術要求和范圍項目方案要面向未來，技術必須具有合理性和前瞻性，應當符合以下幾點要求： 2.3.1可擴展性系統(tǒng)的數(shù)據(jù)倉庫技術方案要能將現(xiàn)有各種資源和應用系統(tǒng)有效地集成在一起，系統(tǒng)數(shù)據(jù)倉庫的結構要合理，要具有良好的可擴展性，由于IT 領域技術發(fā)展十分迅速，應用環(huán)境，系統(tǒng)硬件及系統(tǒng)軟件都會不可避免將被更新，因此系統(tǒng)的可擴充性及版本的兼容性好壞，直接影響著應用系統(tǒng)和用戶需求的發(fā)展和功能的提升。另一方面，它還要有與其它系統(tǒng)的接口能力，利用各系統(tǒng)功能之長，進行優(yōu)勢互補。2.3.2標準化現(xiàn)有信息技術的發(fā)展越來越快，為了使該系統(tǒng)在未來運行過程中其技術能和整個信息技

7、術的發(fā)展同步，系統(tǒng)數(shù)據(jù)倉庫應具有備靈活適應性和良好的可擴展性，系統(tǒng)的結構設計和產品選型要堅持標準化，首先采用國家標準和國際標準，其次采用廣為流傳的實用化工業(yè)標準。2.3.3可管理性本系統(tǒng)數(shù)據(jù)倉庫是一個比較大、較復雜的系統(tǒng)，它包含大量硬件設備、軟件系統(tǒng)和數(shù)據(jù)信息資源，這些資源分布在各個不同的地點，因此系統(tǒng)的技術方案要提供多層次、方便、有效的管理手段，為系統(tǒng)正常運行提供技術管理保障。2.3.4可配臵性由于整個系統(tǒng)數(shù)據(jù)倉庫涉及的系統(tǒng)比較多，業(yè)務種類比較復雜，因此系統(tǒng)的靈活配臵性就顯得非常重要，系統(tǒng)的可配臵性應包括部門配臵、人員角色配臵、公文樣式配臵、處理流程配臵等。2.3.5數(shù)據(jù)倉庫項目范圍1、 數(shù)

8、據(jù)倉庫是信息系統(tǒng)的核心和基礎2、 數(shù)據(jù)倉庫是信息系統(tǒng)的各個部分是否能緊密地結合在一起以及如何結合的關鍵所在。3、 數(shù)據(jù)倉庫設計是信息系統(tǒng)開發(fā)和建設的重要組成部分2.4開發(fā)過程和結構選擇2.4.1.結構開發(fā)在數(shù)據(jù)倉庫規(guī)劃中一般需要經歷這樣幾個過程：選擇實現(xiàn)策略、確定數(shù)據(jù)倉庫的開發(fā)目標和實現(xiàn)范圍、選擇數(shù)據(jù)倉庫體系結構、建立商業(yè)和項目規(guī)劃預算。當數(shù)據(jù)倉庫規(guī)劃完成后，需要編制相應的數(shù)據(jù)倉庫規(guī)劃說明書，說明數(shù)據(jù)倉庫與企業(yè)戰(zhàn)略的關系，以及與企業(yè)急需處理的、范圍相對有限的開發(fā)機會，重點支持的職能部門和今后數(shù)據(jù)倉庫開發(fā)工作的建議，實際使用方案和開發(fā)預算，作為數(shù)據(jù)倉庫實際開發(fā)的依據(jù)。2.4.2.結構選擇 數(shù)據(jù)倉

9、庫的結構可以進行靈活的選擇，可將組織所使用的各種平臺進行恰當?shù)姆指?，把?shù)據(jù)源、數(shù)據(jù)倉庫和最終用戶使用的工作站分割開來進行恰當?shù)脑O計。2.5數(shù)據(jù)倉庫的應用結構基于業(yè)務處理系統(tǒng)的數(shù)據(jù)倉庫在這種結構中，將運作的數(shù)據(jù)用于無需修改數(shù)據(jù)的只讀應用程序中。具有這種結構的數(shù)據(jù)倉庫元數(shù)據(jù)倉庫是一種虛庫，而不是數(shù)據(jù)倉庫自身的元數(shù)據(jù)。在數(shù)據(jù)倉庫元數(shù)據(jù)倉庫的直接指導下，對數(shù)據(jù)倉庫的查詢就是簡單的從數(shù)據(jù)倉庫中抽取數(shù)據(jù)。單純數(shù)據(jù)倉庫利用在數(shù)據(jù)倉庫中的數(shù)據(jù)源凈化、集成、概括和集成等操作，將數(shù)據(jù)源從業(yè)務處理系統(tǒng)中傳輸進集中的數(shù)據(jù)倉庫，各部門的數(shù)據(jù)倉庫應用只在數(shù)據(jù)倉庫中進行。這種結構經常發(fā)生在多部門、少用戶使用數(shù)據(jù)倉庫的情況下

10、。這里的集中僅僅是邏輯上的，物理上可能是分散的。單純數(shù)據(jù)集市 數(shù)據(jù)集市是指在部門中使用的數(shù)據(jù)倉庫，因為企業(yè)中的各個職能部門都有自己的特殊需要，而統(tǒng)一的數(shù)據(jù)倉庫可能不能滿足這些部門的特殊要求。這種體系結構經常發(fā)生在個別部門對數(shù)據(jù)倉庫的應用感興趣，而組織中其他部門卻對數(shù)據(jù)倉庫的應用十分冷漠之時，由熱心的部門單獨開發(fā)式所采用。數(shù)據(jù)倉庫和數(shù)據(jù)集市企業(yè)各部門擁有滿足自己需要的數(shù)據(jù)集市，其數(shù)據(jù)從企業(yè)數(shù)據(jù)倉庫中獲取，而數(shù)據(jù)倉庫從企業(yè)各種數(shù)據(jù)源中收集和分配。這種體系結構是一種較為完善的數(shù)據(jù)倉庫體系結構，往往發(fā)生在組織整體對數(shù)據(jù)倉庫應用感興趣之時所采用的體系結構。2.6數(shù)據(jù)倉庫的技術平臺結構單層結構單層結構主要

11、是在數(shù)據(jù)源和數(shù)據(jù)倉庫之間共享平臺，或者讓數(shù)據(jù)源、數(shù)據(jù)倉庫、數(shù)據(jù)集市與最終用戶工作站使用同一個平臺。共享一個平臺可以降低數(shù)據(jù)抽取和數(shù)據(jù)轉換的復雜性，但是共享平臺在應用中可能遇到性能和管理方面的問題，這種體系結構一般在數(shù)據(jù)倉庫規(guī)模較小，而組織的業(yè)務系統(tǒng)平臺具有較大潛力之時所采用?？蛻?服務器兩層結構一層為客戶機，一層為服務器，最終用戶訪問工具在客戶層上運行，而數(shù)據(jù)源、數(shù)據(jù)倉庫和數(shù)據(jù)集市位于服務器上，該技術機構一般用于普通規(guī)模的數(shù)據(jù)倉庫。 三層客戶/服務器結構基于工作站的客戶層、基于服務器的中間層和基于主機的第三層。主機層負責管理數(shù)據(jù)源和可選的源數(shù)據(jù)轉換；服務器運行數(shù)據(jù)倉庫和數(shù)據(jù)集市軟件，并且存儲倉

12、庫的數(shù)據(jù)；客戶工作站運行查詢和報表運用程序，且還可以存儲從數(shù)據(jù)集市或數(shù)據(jù)倉庫卸載的局部數(shù)據(jù)。在數(shù)據(jù)倉庫稍具規(guī)模，兩層數(shù)據(jù)倉庫結構已經不能滿足客戶的需求，要講數(shù)據(jù)倉庫的數(shù)據(jù)存儲管理、數(shù)據(jù)倉庫的應用處理和客戶端應用分開之時，可以采用這種結構。多層式結構 這是在三層機構基礎上發(fā)展起來的數(shù)據(jù)倉庫結構，在該結構中從最內數(shù)據(jù)層到最外層的客戶層依次是：單獨的數(shù)據(jù)倉庫存儲層、對數(shù)據(jù)倉庫和數(shù)據(jù)集市進行管理的數(shù)據(jù)倉庫服務層、進行數(shù)據(jù)倉庫查詢處理的查詢服務層、完成數(shù)據(jù)倉庫應用處理的應用服務層和面向最終用戶的客戶層。體系層次可能多達五層，這種體系結構一般用于超規(guī)模數(shù)據(jù)倉庫系統(tǒng)。2.7數(shù)據(jù)倉庫使用方案和項目規(guī)劃預算數(shù)據(jù)

13、倉庫的實際使用方案與開發(fā)預算，是數(shù)據(jù)倉庫規(guī)劃中最后需要確定的問題。因為數(shù)據(jù)倉庫主要用于對企業(yè)管理人員的決策支持，確保其實用性是十分重要的，因此需要讓最終用戶參與數(shù)據(jù)倉庫的功能設計。這種參與是通過用戶的實際使用方案進行的，使用方案是一個非常重要的需求模型。實際使用方案必須有助于闡明最終用戶對數(shù)據(jù)倉庫的要求，這些要求有的只使用適當?shù)臄?shù)據(jù)源就可以得到基本滿足，而有的卻需要來自企業(yè)外部的數(shù)據(jù)源，這就需要通過使用方案將這些不同的要求聯(lián)系起來。實際使用方案還可以將最終用戶的決策支持要求與數(shù)據(jù)倉庫的技術要求聯(lián)系起來。因為當用戶確定最終要求后，為元數(shù)據(jù)倉庫的范圍確定一個界限。還可以確定所需要的歷史信息的數(shù)量，

14、當根據(jù)特定的用戶進行數(shù)據(jù)倉庫的規(guī)劃時，就可確定最終用戶所關心的維度（時間、方位、商業(yè)單位和生產企業(yè)），因為維度與所需要的概括操作有明顯的關系，必須選擇對最終用戶有實際意義的維度，如：“月”、“季度”、“年”等。最后，還可以確定數(shù)據(jù)集市/數(shù)據(jù)倉庫的結構需要，使設計人員確定采用單純數(shù)據(jù)倉庫結構，還是單純的數(shù)據(jù)集市結構或者是兩者相結合的結構。在實際使用開發(fā)方案確定后，還需要對開發(fā)方案的預算進行估計，確定項目的投資數(shù)額。投資方案的確定可以依據(jù)以往的軟件開發(fā)成本，但是這種預算的評估比較粗糙。另一種方法是參照結構進行成本評估，也就是說，將數(shù)據(jù)倉庫實際使用方案所確定的構件進行分解，根據(jù)各個構件的成本進行預算估算。數(shù)據(jù)倉庫的構件包含在數(shù)據(jù)源、數(shù)據(jù)倉庫、數(shù)據(jù)集市、最終用戶存取、數(shù)據(jù)管理、元數(shù)據(jù)管理、傳輸基礎等部分中，這些構件有的在企業(yè)原有信息系統(tǒng)中已經具備，有的可以選擇商品化構件，有的則需要自我開發(fā)。根據(jù)這些構件的不同來源，可以確定比較準確的預算。在完成數(shù)據(jù)倉庫規(guī)劃后，就需要編制數(shù)據(jù)倉庫開發(fā)說明書，說明系統(tǒng)