數(shù)據(jù)倉庫建設(shè)失敗的主要原因

一、 國內(nèi)信息化的現(xiàn)狀1、 信息化建設(shè)的發(fā)展歷史：在國內(nèi)信息化建設(shè)過程中，基本上是按照當(dāng)時業(yè)務(wù)系統(tǒng)的需求進行建設(shè)，例如：在一個企業(yè)中，財務(wù)部門為了減少工資發(fā)放的差錯，提高發(fā)放的效率，先建設(shè)一個工資發(fā)放和管理程序；為了報賬和核對的需求，建設(shè)一個財務(wù)管理程序；在銀行首先為了業(yè)務(wù)處理的方便，將最基本的手工記帳和處理的業(yè)務(wù)建成一個系統(tǒng)，過一段時間，如果有新的業(yè)務(wù)推出，就再建設(shè)一個新的系統(tǒng)，或在原系統(tǒng)的基礎(chǔ)上增加新的業(yè)務(wù)處理。這樣的結(jié)果使每個系統(tǒng)和系統(tǒng)之間缺少真正的信息溝通和信息交換。2、 為何要建立一數(shù)據(jù)倉庫前面我們講過，業(yè)務(wù)系統(tǒng)各自為政，相互獨立。當(dāng)很多業(yè)務(wù)系統(tǒng)建立后，由于領(lǐng)導(dǎo)的要求和決策的需求，需要一些指標(biāo)的分析，在相應(yīng)的業(yè)務(wù)系統(tǒng)基礎(chǔ)上再增加分析和相應(yīng)的報表功能，這樣每個系統(tǒng)就增加了報表和分析功能。但是，由于數(shù)據(jù)源不統(tǒng)一導(dǎo)致了對同一個指標(biāo)分析的結(jié)果不相同。為了解決該問題，BellInman提出了數(shù)據(jù)倉庫的概念，其目的是為了分析和決策的需要，將相互分離的業(yè)務(wù)系統(tǒng)的數(shù)據(jù)源整合在一起，可以為領(lǐng)導(dǎo)和決策層提供分析和輔助決策。3、 國內(nèi)企業(yè)對數(shù)據(jù)倉庫建設(shè)認(rèn)識的誤區(qū)：大家對數(shù)據(jù)倉庫的認(rèn)識是將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進行數(shù)據(jù)抽取、遷移和加載（_ETL），將這些數(shù)據(jù)進行整合存放在一起，統(tǒng)一管理，需要什么樣的分析就可提供什么樣的分析，這就是數(shù)據(jù)倉庫。這樣做的結(jié)果是花了一年到兩年的時間都無法將整個企業(yè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)整合在一起，花錢多、見效慢、風(fēng)險大。一年后領(lǐng)導(dǎo)問起數(shù)據(jù)倉庫項目時，回答往往是資金不足，人力不夠，再投入一些資源、或者再延長半年的時間就會見到效果，但是往往半年過后還是僅僅可以看到十幾張或者幾十張報表。領(lǐng)導(dǎo)不滿意，項目負責(zé)人壓力也很大，無法交待。這時，項目經(jīng)理或者項目負責(zé)人才意識到，項目有問題，但是誰也不敢說項目有問題，因為這樣顯然是自己當(dāng)時的決策失誤。怎么辦？尋找咨詢公司或者一些大的廠商，答案往往是數(shù)據(jù)倉庫缺乏數(shù)據(jù)模型，應(yīng)該考慮數(shù)據(jù)模型。如果建設(shè)時考慮到整個企業(yè)的數(shù)據(jù)模型，就可以建設(shè)成企業(yè)級的數(shù)據(jù)倉庫（EDW）。什么是數(shù)據(jù)模型，就是滿足整個企業(yè)分析要求的所有數(shù)據(jù)源。結(jié)果會如何，我個人認(rèn)為：這樣做企業(yè)級數(shù)據(jù)倉庫成功的可能性太小。什么是企業(yè)級數(shù)據(jù)倉庫，這是一個相對的概念，因為企業(yè)的業(yè)務(wù)系統(tǒng)會在不斷的改善和升級，所以數(shù)據(jù)倉庫的建設(shè)也會不斷的完善和修改。數(shù)據(jù)倉庫的建設(shè)是一個過程，它一定伴隨著企業(yè)新的應(yīng)用和企業(yè)各種各樣新的需求而逐步完成。所以從數(shù)據(jù)整合入手、從企業(yè)級數(shù)據(jù)模型入手，均會給企業(yè)數(shù)據(jù)倉庫的建設(shè)帶來很大的風(fēng)險。失敗的概率太大了。二、 以應(yīng)用驅(qū)動，數(shù)據(jù)倉庫建設(shè)應(yīng)由后向前規(guī)劃前面講了數(shù)據(jù)倉庫建設(shè)從數(shù)據(jù)源入手，先進行數(shù)據(jù)整合的方法會導(dǎo)致失敗，特別是對信息化建設(shè)比較快而且數(shù)據(jù)量特別大的企業(yè)。這是因為數(shù)據(jù)倉庫的理論均是講從企業(yè)級的數(shù)據(jù)整入手，建立數(shù)據(jù)倉庫。要么是大家對BellInman的理論由誤解，要么就是數(shù)據(jù)倉庫的祖師爺害了大家。數(shù)據(jù)倉庫到底應(yīng)該怎么建設(shè)?我一貫的主張是應(yīng)用驅(qū)動。什么樣的應(yīng)用呢？從企業(yè)績效管理的角度出發(fā)，一個企業(yè)最重要的四項關(guān)鍵指標(biāo)為：財務(wù)指標(biāo)、客戶指標(biāo)、企業(yè)內(nèi)部的流程指標(biāo)和學(xué)習(xí)創(chuàng)新的指標(biāo)。應(yīng)用從那個開始，應(yīng)考慮企業(yè)的現(xiàn)狀和決策層最關(guān)心的問題入手。在一般情況下，老總和董事會最關(guān)心的問題是企業(yè)的財務(wù)指標(biāo)。其次是內(nèi)部流程和員工績效考核，再下來是客戶的信息和決策支持。實際上在一個企業(yè)中最先上線的系統(tǒng)也是企業(yè)的財務(wù)管理和業(yè)務(wù)系統(tǒng)，這樣相對財務(wù)分析是最容易實現(xiàn)的。因為數(shù)據(jù)較齊全，最完整，所以分析是較容易實現(xiàn)的，加之上市公司對財務(wù)報表的要求是最緊迫的。對財務(wù)分析從那入手，應(yīng)該分析那些指標(biāo)，這些指標(biāo)通過什么公式（數(shù)學(xué)模型）計算，這些模型需要那些數(shù)據(jù)，這些數(shù)據(jù)又來自于那些業(yè)務(wù)系統(tǒng)，這些數(shù)據(jù)是否在業(yè)務(wù)系統(tǒng)中存在，能否進行分析，也就是這些主題的分析是否可行，應(yīng)該先進行評估。這樣從應(yīng)用主題入手，就可以知道需要什么樣的數(shù)據(jù)，來自那些業(yè)務(wù)系統(tǒng)和數(shù)據(jù)源，這些數(shù)據(jù)的全體進行一定的整合，按照分析的要求存儲就組成了一個數(shù)據(jù)集市（DataMart）。三、 "想大做小”（整體設(shè)計、分布實施）為了避免原有業(yè)務(wù)系統(tǒng)相對獨立而形成的一個個信息孤島，以應(yīng)用驅(qū)動建設(shè)數(shù)據(jù)倉庫，往往會造成新的信息孤島。這是因為應(yīng)用往往是部門級的或者是某一方面的應(yīng)用，不能完全覆蓋企業(yè)級的所有應(yīng)用。當(dāng)然我們這里不提倡一次建設(shè)企業(yè)級的應(yīng)用。如何避免這個問題，是我這里著重要要強調(diào)的。這里分兩種情形進行設(shè)計。1、 如果該公司的信息化建設(shè)相對較晚，或者才開始進行信息化建設(shè)，或者原有的業(yè)務(wù)系統(tǒng)已經(jīng)無法支持現(xiàn)有的業(yè)務(wù)而需要重新改造原有業(yè)務(wù)系統(tǒng)，均應(yīng)該整體設(shè)計，將各個系統(tǒng)的數(shù)據(jù)源統(tǒng)一存放管理，有一個統(tǒng)一的入口和出口。這樣就避免了數(shù)據(jù)源的不統(tǒng)一而會導(dǎo)致信息孤島，這樣數(shù)據(jù)倉庫的建設(shè)也就無意義了。因為企業(yè)級的數(shù)據(jù)本身就按照業(yè)務(wù)的需求和分析的需求進行設(shè)計和存放管理。在這種情況下要特別注意業(yè)務(wù)系統(tǒng)的安全性和效率問題。如何解決該問題，最近的網(wǎng)格計算正是為解決該類問題而設(shè)計的。除了統(tǒng)一數(shù)據(jù)源外，可以根據(jù)企業(yè)的需要，可利用一個個小型機進行不同需求的應(yīng)用，OLTP和OLAP可以在不同的服務(wù)器上完成，同時可以將各個服務(wù)器的資源共享、時間任務(wù)優(yōu)化分配。這樣既解決了統(tǒng)一數(shù)據(jù)源的問題，又解決了運行安全和效率問題（Oracle10g就是這種思想）。2、 如果該企業(yè)是一個信息化建設(shè)較早并且業(yè)務(wù)系統(tǒng)仍在應(yīng)用，現(xiàn)在還需要大量的分析和輔助決策，那么就應(yīng)該建設(shè)數(shù)據(jù)倉庫，最少是數(shù)據(jù)集市。在設(shè)計時要考慮到企業(yè)的數(shù)據(jù)倉庫，但是在實施時應(yīng)該從企業(yè)最需求的數(shù)據(jù)集市入手，要考慮到該數(shù)據(jù)集市和將來慢慢一步一步建設(shè)的數(shù)據(jù)倉庫應(yīng)該共享一個數(shù)據(jù)源。方法步驟如下：第一步、確立好應(yīng)分析的主題（或項目），如客戶關(guān)系管理系統(tǒng)；第二步、設(shè)定研究分析的具體問題，如客戶流失率分析，客戶貢獻度分析；第三部、從這些問題出發(fā)，考察每個問題應(yīng)使用的模型；第四步、所有模型所需要那些數(shù)據(jù)；將所有分析問題所需要的數(shù)據(jù)按照分析的類型進行分類存儲，建立數(shù)據(jù)集市。當(dāng)完成這個項目后，如果需要建設(shè)第二個應(yīng)用（系統(tǒng)），如資產(chǎn)負債系統(tǒng)；重復(fù)以上四步，但是在設(shè)計時一定要考慮已經(jīng)存在的客戶關(guān)系管理系統(tǒng)，將第二個應(yīng)用系統(tǒng)和第一個應(yīng)用系統(tǒng)共有的數(shù)據(jù)要共享，這時應(yīng)考慮兩個系統(tǒng)上了以后的效率問題。如果存在著效率問題，則將第一個數(shù)據(jù)集市保留，并且做一個備份作為數(shù)據(jù)倉庫的一部分，將第二個數(shù)據(jù)集市的數(shù)據(jù)源和第一個備份的集市進行整體合并作為現(xiàn)在企業(yè)級數(shù)據(jù)倉庫。將第二個數(shù)據(jù)集市單獨建立，但是數(shù)據(jù)源來自于共同的數(shù)據(jù)倉庫，這樣既保證了數(shù)據(jù)倉庫的效率，也保證了數(shù)據(jù)源的同一性。這樣一步一步將會建成企業(yè)級的數(shù)據(jù)倉庫。四、 三分段的設(shè)計思想在數(shù)據(jù)倉庫建設(shè)中，我們知道可以將整體的系統(tǒng)化分為三個大的部分：業(yè)務(wù)系統(tǒng)、數(shù)據(jù)倉庫、分析和展現(xiàn)。隨著時間的發(fā)展，這三個部分隨時都可能發(fā)生變化。比如：業(yè)務(wù)系統(tǒng)要進行升級改造或者重新建立核心業(yè)務(wù)系統(tǒng)，像銀行的第三代；像電信的BOSS系統(tǒng)的改造等等。需求分析也會隨著時間的發(fā)展、新的需求會不斷提出，所以在數(shù)據(jù)倉庫項目建設(shè)時一定要考慮三分段的設(shè)計思想。什么是三分段的設(shè)計思想：就是盡量將業(yè)務(wù)系統(tǒng)、數(shù)據(jù)倉庫和分析展現(xiàn)分離設(shè)計。當(dāng)業(yè)務(wù)系統(tǒng)發(fā)生變化時，盡量保證數(shù)據(jù)倉庫的結(jié)構(gòu)不變。如何做到這一點呢，那就需要在數(shù)據(jù)遷移時使用公式體系，作為數(shù)據(jù)倉庫數(shù)據(jù)計算的公式，所以當(dāng)業(yè)務(wù)系統(tǒng)發(fā)生變化時，可以通過對應(yīng)關(guān)系將對應(yīng)重新映射。關(guān)于業(yè)務(wù)系統(tǒng)變化，數(shù)據(jù)倉庫的一些結(jié)構(gòu)必須變化的情形我們下面將討論。同樣，當(dāng)數(shù)據(jù)分析展現(xiàn)的要求發(fā)生變化時，數(shù)據(jù)倉庫應(yīng)保持相對的獨立。這樣數(shù)據(jù)倉庫才能保證有生命力。但是當(dāng)數(shù)據(jù)倉庫不得不發(fā)生變化時，是否有先進的工具可進行多維立方體的可和性計算。也就是業(yè)務(wù)系統(tǒng)發(fā)生變化后，有先進的工具保證數(shù)據(jù)倉庫的結(jié)構(gòu)不發(fā)生變化，僅僅需要進行新的立方體計算、以及和老的立方體合并，而不需要將原數(shù)據(jù)倉庫的數(shù)據(jù)全部重新刷新。這樣在大型企業(yè)中非常重要，因為往往一次數(shù)據(jù)刷新需要幾天或幾十天的時間。五、最佳實施方案前面考慮了數(shù)據(jù)倉庫建設(shè)應(yīng)該整體設(shè)計、分布實施；從應(yīng)用出發(fā)，建立數(shù)據(jù)集市；然后將數(shù)據(jù)集市擴展為數(shù)據(jù)倉庫。數(shù)據(jù)倉庫的設(shè)計應(yīng)該注意三分段的結(jié)構(gòu)。數(shù)據(jù)倉庫的建設(shè)是一個過程。那么，最重要的問題和步驟就是：1、 如何定義主題：在這方面，可以有兩個辦法：一是企業(yè)急需解決的問題，二是借助于同行或者國外的先進經(jīng)驗決定主題。對于第一種情況，也需要借鑒于國內(nèi)外成熟和先進的經(jīng)驗。需要了解成熟的主題了在國際先進的企業(yè)內(nèi)成功使用的方案和工具。例如：資產(chǎn)負債系統(tǒng)、轉(zhuǎn)移定價、風(fēng)險管理、客戶關(guān)系管理等。2、 主題設(shè)定后，應(yīng)該分析那些問題：這些問題也應(yīng)該借鑒于成熟的方案和工具，加上具體的本企業(yè)的需求，這就是客戶化。例如在客戶關(guān)系管理系統(tǒng)中分析：客戶的貢獻度、客戶的流失分析和預(yù)警、客戶的忠誠度、前十位帶來效益的客戶和最后十位帶來最大損失的客戶等等;這些問題應(yīng)該由企業(yè)和解決方案供應(yīng)商共同討論決定。3、 這些問題應(yīng)該如何定義，也就是模型或者計算公式是什么：當(dāng)定義了這些問題后，公式該如何定義，很多的公式是標(biāo)準(zhǔn)的，可以應(yīng)用公認(rèn)的標(biāo)準(zhǔn)公式，對于其他非標(biāo)準(zhǔn)的公式，應(yīng)該借鑒國際上先進的企業(yè)使用的公式和模型。在方案供應(yīng)商是否有現(xiàn)成的工具和方案，不僅僅是方案，還應(yīng)該有現(xiàn)成的可以靈活客戶化的工具或產(chǎn)品。4、 當(dāng)定義完公式后，數(shù)據(jù)結(jié)構(gòu)應(yīng)如何設(shè)計：首先要考慮公式中的數(shù)據(jù)是否在業(yè)務(wù)系統(tǒng)或者其他的系統(tǒng)中存在，如果不存在，該如何解決？如果存在，在那個系統(tǒng)中，如何抽取、整理和加載。數(shù)據(jù)應(yīng)該以什么樣的結(jié)構(gòu)進行存儲和管理。源數(shù)據(jù)該如何設(shè)計？在這方面如果有成熟的工具和產(chǎn)品，將對項目的成功帶來了多半的希望。數(shù)據(jù)的存儲一定要考慮到業(yè)務(wù)系統(tǒng)的變化帶來的數(shù)據(jù)倉庫結(jié)構(gòu)的變化，一般也要考慮到五年存儲的數(shù)據(jù)，當(dāng)?shù)诹甑臄?shù)據(jù)導(dǎo)入時，需要將五年前的一年數(shù)據(jù)遷移到磁盤陣列或其他的存儲設(shè)備時，如何將多維立方體分割。要考慮如何將新的業(yè)務(wù)數(shù)據(jù)增加到數(shù)據(jù)倉庫時多維立方體的可和性。5、 當(dāng)解決了數(shù)據(jù)的存儲和管理后，數(shù)據(jù)倉庫應(yīng)用該如何展現(xiàn)：展現(xiàn)是使用者十分關(guān)注的問題，展現(xiàn)的易用性、直觀性和靈活性是十分重要的，可以采用流覽器方式，報表、圖形和多維展現(xiàn)或動畫。但是一定要注意速度和效率。6、 展現(xiàn)確定后，速度效率如何提高：對于一個非常重要的報表，例如：現(xiàn)金流、資產(chǎn)負債表和損益表，企業(yè)的三、四位老總可能非常關(guān)心，每天或者季度初的第一天早上上班先要察看該報表的結(jié)果，第一個老總很快看到了結(jié)果，但是第二個、第三個需要三十秒、一分鐘的時間哪就無法忍受。所以系統(tǒng)一定要考慮做壓力測試，采用好的解決方案。如將常用的報表做上幾個備份，或者多開上幾個監(jiān)聽器。為了提高效率，數(shù)據(jù)的存儲結(jié)構(gòu)是十分重要的，比如對離散數(shù)據(jù)可以進行轉(zhuǎn)置存儲、對于一年都很少改變幾次的數(shù)據(jù)，如信貸數(shù)據(jù)，可以采取時間壓縮的方法等等。7、 硬件如何配置，才能保證安全性、效率問題得到圓滿的解決：考