數(shù)據(jù)倉儲的應(yīng)用與管理

第5章數(shù)據(jù)倉儲的應(yīng)用與管理

5.1數(shù)據(jù)倉儲的用戶

5.2數(shù)據(jù)倉儲應(yīng)用實(shí)例

5.3數(shù)據(jù)倉儲的執(zhí)行技術(shù)管理

5.4數(shù)據(jù)倉儲的超數(shù)據(jù)管理

5.5數(shù)據(jù)倉儲應(yīng)用中的法律問題

5.6資料倉儲的成本與效益分析

習(xí)題

5.1數(shù)據(jù)倉儲的用戶

5.1.1數(shù)據(jù)倉儲的用戶－信息的用戶與知識的采掘者

常常需要對倉儲中的龐大數(shù)據(jù)進(jìn)行采掘，而采掘的內(nèi)容可能是：企業(yè)所面對的客戶群中，哪些客戶是使企業(yè)營利的客戶；這些營利客戶應(yīng)該具有哪些特征；這些營利客戶在采購程序中經(jīng)常采購的是哪些種類的產(chǎn)品；所采購的這些產(chǎn)品彼此之間有什么樣的相互關(guān)系。

5.1.2信息用戶的數(shù)據(jù)倉儲使用方式數(shù)據(jù)倉儲的信息用戶經(jīng)常是在策略管理階層上，利用資料倉儲來監(jiān)控企業(yè)策略的實(shí)行績效，即經(jīng)由對企業(yè)營運(yùn)狀況的關(guān)鍵指標(biāo)之監(jiān)控，來判斷某一經(jīng)營策略是否有效，并將具體的評估結(jié)果回饋給數(shù)據(jù)采掘者。

5.1.3數(shù)據(jù)采掘者的數(shù)據(jù)倉儲使用方式

數(shù)據(jù)采掘者使用數(shù)據(jù)倉儲的一般程序主要有：狀況分析數(shù)據(jù)采掘者所進(jìn)行的機(jī)率分析的內(nèi)容可能有：經(jīng)常來采購的客戶性別比例?？偣灿卸嗌倏蛻艄馀R。經(jīng)常進(jìn)行采購的客戶數(shù)量及其中的比例情況為何?？蛻舻钠骄少徚?。有多少客戶超過平均采購量。有多少客戶低于平均采購量等。資料擷取資料擷取工作是根據(jù)資料采掘的需要和機(jī)率分析的結(jié)果，將需要進(jìn)行分析的數(shù)據(jù)從數(shù)據(jù)倉儲中擷取出來。

建模分析數(shù)據(jù)采掘中的建模分析是數(shù)據(jù)采掘者使用數(shù)據(jù)倉儲的核心工作，建模分析是開發(fā)用于描述客戶、產(chǎn)品或銷售商模型的程序。

分類處理經(jīng)由建模分析，資料采掘者己從所建模型中分析出需要的數(shù)據(jù)，之后他們便可以根據(jù)所采掘出的知識對資料倉儲中的所有數(shù)據(jù)進(jìn)行分類。

5.2數(shù)據(jù)倉儲應(yīng)用實(shí)例

管理者希望透過使用數(shù)據(jù)進(jìn)行各式各樣的分析內(nèi)容，以發(fā)現(xiàn)有價值的信息，來用于輔助決策。但是，管理決策所遇到的問題是不同的，資料倉儲的應(yīng)用也各有其特色，應(yīng)該根據(jù)具體的實(shí)際情況選擇適當(dāng)?shù)臄?shù)據(jù)倉儲開發(fā)方案。

5.2.1分層式?jīng)Q策系統(tǒng)

例如，在各子公司的局部數(shù)據(jù)倉儲中存放著公司的電器銷售信息，各子公司可以對這些細(xì)部資料進(jìn)行分析、整合，萃取出有用的信息以供決策之用。表5-1所示的是設(shè)在臺北某地的子公司的銷售記錄。

在每次編制好這種整體數(shù)據(jù)倉儲格式的記錄檔案之后，便可以將其送入整體數(shù)據(jù)倉儲中。表5-2所示就是整體數(shù)據(jù)倉儲中的彩色電視機(jī)銷售匯總信息。

5.2.2資料抽樣分析

某化學(xué)公司想在不增加投資、不購買設(shè)備的條件下采用采掘現(xiàn)有生產(chǎn)潛力的辦法來增加產(chǎn)量，以提高效益。公司用產(chǎn)出率來評估每次化學(xué)產(chǎn)品生產(chǎn)的效率，其目的是想經(jīng)由提高產(chǎn)出率來提高每爐化學(xué)產(chǎn)品的產(chǎn)量。

5.2.3發(fā)揮歷史資料的經(jīng)濟(jì)效益

遠(yuǎn)程銷售商為了開展郵購銷售，需要定期向外寄送商品型錄。消費(fèi)者接到型錄后，若對某種商品感興趣，可以打電話詢問更多的信息。

其中的一種分析報表(如表5-4所示)從資料倉儲中擷取了有關(guān)客戶的幾個信息，包括：零售商最后一次與該客戶接觸是什么時候？客戶上次購買的商品是什么？該客戶喜歡哪類商品？5.2.4回扣分析

當(dāng)航空公司想要制定某個合理的回扣比率時，就可以方便而快捷地調(diào)出當(dāng)前匯總數(shù)據(jù)和歷史匯總數(shù)據(jù)進(jìn)行比較和計算，以便公司在保證航班滿載的條件下盡量降低成本。

5.2.5顧客關(guān)系管理(CRM)在顧客關(guān)系管理策略中，數(shù)據(jù)倉儲儲存的客戶之各類資料，能提供顧客的詳細(xì)信息，用來引導(dǎo)市場銷售部門與客戶保持緊密的聯(lián)系，使數(shù)據(jù)倉儲在顧客關(guān)系管理中發(fā)揮重要的功能。穩(wěn)住顧客在競爭激烈的市場上，企業(yè)所面臨的最大挑戰(zhàn)來自于客戶的流失。市場競爭中的客戶流失現(xiàn)象是必然發(fā)生的，問題是必須避免重要客戶的流失。所以應(yīng)該不斷地進(jìn)行客戶的細(xì)分工作。管理的收益利用數(shù)據(jù)倉儲可以統(tǒng)一掌握客戶信息，數(shù)據(jù)倉儲集中管理了客戶的所有數(shù)據(jù)，包括購買的歷史信息和網(wǎng)路信息，能夠提供一個統(tǒng)一的顧客信息管理系統(tǒng)。這樣就可以迅速并準(zhǔn)確地預(yù)測客戶需求，提高盈利能力。

企業(yè)的營銷策略管理現(xiàn)有的客戶可能會帶來新的收益機(jī)會，利用交叉銷售或提升銷售可以使企業(yè)獲得銷售額的成長。通常，企業(yè)的業(yè)務(wù)處理數(shù)據(jù)是一種特定的信息來源，一般僅適用于本企業(yè)。

改變競爭的利基從資料倉儲中的歷史資料中收集關(guān)于客戶的知識，并經(jīng)由對實(shí)際執(zhí)行結(jié)果的快速回饋來加強(qiáng)這些客戶知識。

5.3數(shù)據(jù)倉儲的執(zhí)行技術(shù)管理

5.3.1數(shù)據(jù)加載的一些問題資料準(zhǔn)備區(qū)由于數(shù)據(jù)倉儲的數(shù)據(jù)擷取、清理、加載需要較長的工作時間，因此常常設(shè)定一個作為數(shù)據(jù)準(zhǔn)備區(qū)的臨時資料庫，專門用于數(shù)據(jù)擷取、清理和加載的操作。

數(shù)據(jù)加載方式的選擇資料加載的方式一般考慮用整批處理。因?yàn)橘Y料的載入活動使用到的系統(tǒng)資源較多，需要數(shù)據(jù)源和資料倉儲的處理器、內(nèi)存和外部儲存設(shè)備。大批數(shù)量數(shù)據(jù)加載的處理有的數(shù)據(jù)源禁止單純的大容量數(shù)據(jù)加載，這就需要采用一些特殊的技術(shù)來處理大量數(shù)據(jù)的加載。大量數(shù)據(jù)的加載往往會導(dǎo)致數(shù)據(jù)的更新，而對數(shù)據(jù)倉儲的更新，實(shí)際上是不允許的，因?yàn)閿?shù)據(jù)的更新將導(dǎo)致數(shù)據(jù)倉儲中歷史數(shù)據(jù)的遺失。

5.3.2故障回復(fù)管理在故障回復(fù)管理中可以采用這樣一些步驟停止包括操作系統(tǒng)(OS)在內(nèi)的服務(wù)器。更新安裝和配置操作系統(tǒng)。更新標(biāo)定驅(qū)動器。重新安裝和配置關(guān)系數(shù)據(jù)庫系統(tǒng)、監(jiān)控程序和中間組件。對資料進(jìn)行更新加載和重新索引。

5.3.3查詢控制與安全管理

控制對數(shù)據(jù)倉儲的查詢是一個重要的問題，同時任務(wù)也是相當(dāng)復(fù)雜的，主要由以下多種因素造成：數(shù)據(jù)倉儲應(yīng)用的公開性與安全之間的矛盾資料倉儲主要用于企業(yè)公開搜集的資料，但是，資料倉儲的安全性控制則要求限制數(shù)據(jù)執(zhí)行的公開化。這就形成了明顯的矛盾。

使用者的不同查詢請求在數(shù)據(jù)倉儲的操作中，使用者按照不同的匯總程度查詢數(shù)據(jù)倉儲內(nèi)的數(shù)據(jù)。知識發(fā)現(xiàn)程序?qū)Π踩挠绊懘蠖鄶?shù)使用者經(jīng)由“知識發(fā)現(xiàn)程序”來使用數(shù)據(jù)倉儲。由于使用者需要進(jìn)行深入的探索，安全控制就與這一程序間產(chǎn)生了矛盾。

有些隱憂的危害較大，一些不懷好意的使用者可能會使大量的資源處于停頓狀態(tài)，從而使數(shù)據(jù)倉儲無法使用。管理無法控制的查詢、建置臨時報表、將資源范圍用于使用者側(cè)面描述等都能指出這些隱患。

5.3.4數(shù)據(jù)增加的管理

匯總技術(shù)大量使用匯總技術(shù)可以明顯地減少資料量。對細(xì)剖數(shù)據(jù)的控制?？刂萍?xì)剖的程度可以大大減少數(shù)據(jù)量。歷史資料的限制。限制必須儲存到數(shù)據(jù)倉儲中的歷史數(shù)據(jù)的長度。

數(shù)據(jù)使用范圍的限制利用能夠改變收集數(shù)據(jù)環(huán)境的商業(yè)事件知識來限制必須管理的數(shù)據(jù)范圍。睡眠資料的移出有些數(shù)據(jù)在數(shù)據(jù)倉儲中長期無人使用。這些原因都造成了數(shù)據(jù)倉儲中有大量的睡眠資料。隨著睡眠資料的增加，導(dǎo)致真正用于查詢處理的實(shí)際可用數(shù)據(jù)的百分比不斷降低。

解決這個問題的一種辦法就是找出并移除很少被查詢的資料。將這些很少使用的數(shù)據(jù)移出數(shù)據(jù)倉儲，減少儲存量，便可以提高查詢處理的效率。也可以采用鄰線儲存系統(tǒng)的二級儲存模式。

5.4數(shù)據(jù)倉儲的超數(shù)據(jù)管理

5.4.1超數(shù)據(jù)的儲存、管理與維護(hù)

超數(shù)據(jù)的儲存使用商業(yè)或數(shù)據(jù)倉儲信息目錄。資訊目錄可以儲存和管理超數(shù)據(jù)，用于數(shù)據(jù)倉儲應(yīng)用程序。數(shù)據(jù)倉儲的所有內(nèi)部程序都可以查詢該目錄。

使用超數(shù)據(jù)庫／數(shù)據(jù)字典。超數(shù)據(jù)庫或數(shù)據(jù)字典是一種一般意義上的分類方法，通常用于儲存、分類和管理超數(shù)據(jù)。

超數(shù)據(jù)的管理將超數(shù)據(jù)組織成易于了解的分類方案。能夠依靠超數(shù)據(jù)庫或數(shù)據(jù)字典的信息，將超數(shù)據(jù)組織為易于理解的分類方案?？冃Х治龊退褜び行Х秶哪芰?。具備對數(shù)據(jù)倉儲的使用進(jìn)行績效分析和搜尋有效范圍的能力

。

將設(shè)計開發(fā)超數(shù)據(jù)與運(yùn)作超數(shù)據(jù)分隔成各自獨(dú)立的功能。將設(shè)計開發(fā)超數(shù)據(jù)與運(yùn)作超數(shù)據(jù)分離成各自獨(dú)立的功能，一般用于分隔邏輯分析模型和實(shí)體數(shù)據(jù)庫模型。反應(yīng)修改歷史的超數(shù)據(jù)版本信息版本信息能夠反應(yīng)超數(shù)據(jù)版本變化的日期以及進(jìn)行修改的操作人。

超數(shù)據(jù)的維護(hù)在超數(shù)據(jù)儲存進(jìn)入系統(tǒng)以后，就需要經(jīng)常對超數(shù)據(jù)進(jìn)行維護(hù)，才能保證超數(shù)據(jù)的可用性。超資料的維護(hù)方式取決于超數(shù)據(jù)產(chǎn)生時的收集方式、變化頻率和超資料量。

5.4.2超數(shù)據(jù)的用戶與使用方法

超數(shù)據(jù)的數(shù)據(jù)倉儲開發(fā)用戶資料倉儲開發(fā)人員使用的超數(shù)據(jù)主要包括資料源的實(shí)體結(jié)構(gòu)。企業(yè)數(shù)據(jù)模型和資料倉儲數(shù)據(jù)模型。在數(shù)據(jù)倉儲開發(fā)工作中需要對數(shù)據(jù)源的超數(shù)據(jù)進(jìn)行分析，根據(jù)分析結(jié)果在數(shù)據(jù)源和數(shù)據(jù)倉儲之間建立映射。

超數(shù)據(jù)的數(shù)據(jù)倉儲維護(hù)用戶在數(shù)據(jù)倉儲開發(fā)好以后，數(shù)據(jù)倉儲維護(hù)人員需要對資料倉儲進(jìn)行維護(hù)，超數(shù)據(jù)在數(shù)據(jù)倉儲的維護(hù)工作中可以發(fā)揮重要的作用。維護(hù)人員用超數(shù)據(jù)能夠了解數(shù)據(jù)源的變化、數(shù)據(jù)倉儲的變化對數(shù)據(jù)倉儲的性能及應(yīng)用等方面的影響。

數(shù)據(jù)倉儲維護(hù)人員還可以利用超數(shù)據(jù)保持?jǐn)?shù)據(jù)倉儲的完備性和正確性。資料倉儲維護(hù)人員對超數(shù)據(jù)的使用包括到所有的超數(shù)據(jù)，并且要求能夠直接對超數(shù)據(jù)進(jìn)行查詢。

超數(shù)據(jù)的數(shù)據(jù)倉儲終端用戶資料倉儲最終用戶對超數(shù)據(jù)的查詢范圍要遠(yuǎn)小于超數(shù)據(jù)的數(shù)據(jù)倉儲開發(fā)用戶和維護(hù)使用者，但是對超數(shù)據(jù)查詢的要求卻要高于其他使用者。數(shù)據(jù)倉儲終端用戶在使用超數(shù)據(jù)時，主要希望能夠經(jīng)由超數(shù)據(jù)了解數(shù)據(jù)倉儲中有什么數(shù)據(jù)，以及這些數(shù)據(jù)是從哪些地方來的。

超數(shù)據(jù)的使用方法目前，超數(shù)據(jù)的使用方法主要有以下幾種：超數(shù)據(jù)與分析數(shù)據(jù)同時各自顯示，是指在一臺計算機(jī)上分別用兩種工具顯示超數(shù)據(jù)和分析資料。將超數(shù)據(jù)作為分析數(shù)據(jù)的輔助功能。使用者在這種超數(shù)據(jù)使用方式下，可以利用系統(tǒng)的協(xié)助來了解所查詢的分析數(shù)據(jù)。

超數(shù)據(jù)的直接查詢超數(shù)據(jù)的查詢工具可以直接地、動態(tài)地查詢超資料，能為用戶提供最新的協(xié)助系統(tǒng)。超數(shù)據(jù)與分析數(shù)據(jù)的互動。超數(shù)據(jù)與分析數(shù)據(jù)執(zhí)行互動以后，用戶在超數(shù)據(jù)瀏覽器中瀏覽超數(shù)據(jù)時，就可以將所選定的表或查詢自動地輸入查詢工具。

5.4.3超數(shù)據(jù)管理模型

在討論超數(shù)據(jù)模型時，必須提到超數(shù)據(jù)交換規(guī)則(MDIS)。這是一個由包括微軟在內(nèi)的有上百個成員的超數(shù)據(jù)聯(lián)盟所提出的超數(shù)據(jù)交換規(guī)則，規(guī)則涵蓋了數(shù)據(jù)庫、檔案、關(guān)系、使用者自定義定義、專用超資料等不同對象類型。

開發(fā)信息模型

在開發(fā)信息模型結(jié)構(gòu)中的統(tǒng)一建模語言模型(UML，UnifiedModelingLanguageModel)是其他模型的原型，其他模型都由此衍生而來。

UML延伸模型(UMLExtensionModel)為UML提供了一套匯總的延伸，為建立在UML概念水平上的固定形式提供模型。資料類型模型(DTM，,DataTypeModel)為描述數(shù)據(jù)類型規(guī)定了接口，其中包括執(zhí)行語言和數(shù)據(jù)庫。

匯總模型(Gen，GenericModel)為多個信息模型之間的使用，提供了一系列普遍目的或一般的接口。組件描述模型(CDM，ComponentDescriptionModel)為實(shí)時組件及其規(guī)格建立了接口和等級。組件物件模型(COM，ComponentObjectModel)為其本身提供了一系列延伸。

數(shù)據(jù)庫模型(DBM，DatabaseModel)描述了企業(yè)的數(shù)據(jù)庫計劃信息。SQLServer模型(Sql，SQLServerModel)用于SQLServer的數(shù)據(jù)庫模型延伸。DB2模型(DB2，DB2Model)用于Db2的數(shù)據(jù)庫模型延伸。

OLAP模型(Olap，OLAPModel)是數(shù)據(jù)庫模型的延伸，描述了數(shù)據(jù)的多維視覺圖。Informix模型(Ifx，InformixModel)用于Informix數(shù)據(jù)庫模型延伸。資料庫轉(zhuǎn)換模型(DTM，DatabaseTransformationModel)描述了數(shù)據(jù)庫之間的信息活動。

Orac1e模型(Ocl，OracleModel)用于0racle的數(shù)據(jù)庫模型延伸。語義資訊模型(SIM，SemanticInformationModel)允許用戶不用學(xué)習(xí)查詢數(shù)據(jù)庫的語言就可以處理數(shù)據(jù)庫中的數(shù)據(jù)。

通用倉儲超數(shù)據(jù)Oracle與IBM在OLAP委員會的超資料API(MDAPI)基礎(chǔ)上提出了超數(shù)據(jù)模型的解決方案－通用倉儲超資料(CWM，CommonWarehouseMetadata)。

5.5數(shù)據(jù)倉儲應(yīng)用中的法律問題

在數(shù)據(jù)倉儲與數(shù)據(jù)采掘中所擴(kuò)及到的法律問題，主要是指客戶的隱私權(quán)權(quán)保護(hù)與處理問題。由于數(shù)據(jù)倉儲與資料采掘所具有的強(qiáng)大的數(shù)據(jù)處理功能，可以將原本分散在各系統(tǒng)中、隱藏在數(shù)據(jù)背后的客戶資訊集中在一起，并清晰地表現(xiàn)出來。

5.5.1資料的隱私權(quán)權(quán)問題

客戶的隱私權(quán)問題是全世界所有企業(yè)都關(guān)注的議題。雖然這在資料倉儲管理中只是一個背景問題，卻已引起了各方的關(guān)注，當(dāng)大最的客戶信息儲存在資料倉儲中時，數(shù)據(jù)倉儲的擁有者就有義務(wù)保護(hù)這些客戶的資料，以免遭到濫用。

5.5.2數(shù)據(jù)隱私權(quán)權(quán)的處理

數(shù)據(jù)隱私權(quán)的處理應(yīng)該讓客戶知道以下信息：所收集或使用的個人信息的存在性及本質(zhì)、數(shù)據(jù)收集的政策；任何類型處理的預(yù)期目的。例如：數(shù)據(jù)的收集、應(yīng)用或揭露等；“數(shù)據(jù)控制員”以及其他接收數(shù)據(jù)人員的身份；任何自動處理中包括的邏輯。

收集和使用限制應(yīng)將收集和使用限定為有明確、具體和合法目的的。相對于起始目的來說，數(shù)據(jù)必須是適當(dāng)?shù)摹⑾嚓P(guān)的且不過分的。

接受和拒絕?？蛻魬?yīng)能接受將個人資料用于直接營銷，并可以拒絕將個人資料透露給第三者。客戶也可以經(jīng)由明確接受，表示同意數(shù)據(jù)的使用目的。

數(shù)據(jù)質(zhì)量、查詢、準(zhǔn)確性和修正。應(yīng)該給客戶提供一種能力，使他們能對不準(zhǔn)確或不完全的個人資料加以檢查和修正。

數(shù)據(jù)安全確保個人資料不流失，不發(fā)生未經(jīng)授權(quán)的查詢、破壞、更動、使用或泄露。

義務(wù)、強(qiáng)制和求助。支援現(xiàn)存法律和補(bǔ)充規(guī)則的強(qiáng)制執(zhí)行，支持國家隱私權(quán)管理部門所認(rèn)定，應(yīng)該達(dá)到的隱私權(quán)控制要求。

數(shù)據(jù)隱私權(quán)控制結(jié)構(gòu)為了達(dá)到上述隱私權(quán)處理要求，需要建立一個隱私權(quán)控制架構(gòu)。其架構(gòu)如下：

加強(qiáng)邏輯數(shù)據(jù)模型。為了強(qiáng)調(diào)隱私權(quán)，應(yīng)該首先檢查一下公司已開發(fā)的邏輯資料模型，并將所有與“客戶”相關(guān)的數(shù)據(jù)進(jìn)行實(shí)際確認(rèn)用隱私權(quán)視支持限制性查詢、拒絕和匿名應(yīng)該將應(yīng)用分類應(yīng)用于下述類型的視圖中：分析應(yīng)用："匿名化"視覺圖。采取行動應(yīng)用："直接營銷拒絕"視覺圖。揭露應(yīng)用："選擇性匿名化"視覺圖。特別管理應(yīng)用和使用者："個人資料"視覺圖。所有其他應(yīng)用："標(biāo)準(zhǔn)"視覺圖。

為個人資料管理提供交互式客戶服務(wù)接口在建立了延伸模式導(dǎo)向的數(shù)據(jù)倉儲，并加進(jìn)了額外個人數(shù)據(jù)字段和“拒絕”標(biāo)示之后，就需要一種方法為這些額外的列加入特殊的客戶數(shù)據(jù)。提供報告，驗(yàn)證是否遵重隱私權(quán)。隱私權(quán)問題的另一個方面是需要對遵守情況進(jìn)行驗(yàn)證。驗(yàn)證可以由一個獨(dú)立組織、政府部門或自我驗(yàn)證來完成。

5.6資料倉儲的成本與效益分析

數(shù)據(jù)倉儲和所有的信息技術(shù)(InformationTechnology,IT)一樣，都是經(jīng)由投資來提高企業(yè)的競爭能力和營利水平的，因此，企業(yè)需要制定數(shù)據(jù)倉儲計劃(商業(yè)的和技術(shù)的)，并進(jìn)行成本/效益分析(CostBenefitAnalysis)。

5.6.1