數(shù)據(jù)倉庫建設方案2018328x

1、數(shù)據(jù)倉庫建設商務智能(BusinessIntelligence)用于支持制定業(yè)務決策的技能、流程、技術、應用和實踐。核心是通過數(shù)據(jù)提取、整理、分析，最終通過分析結果制定有關策略、規(guī)劃，幫助企業(yè)了解新的趨勢、抓住新的市場機會、發(fā)現(xiàn)潛在的威脅，達到資源的合理配置，節(jié)約成本提高效益。數(shù)據(jù)倉庫是商業(yè)智能的基礎，它為OLAP數(shù)據(jù)挖掘提供分析和決策支持。一、數(shù)據(jù)倉庫概念1 .數(shù)據(jù)倉庫定義是一個面向主題的、集成的、相對穩(wěn)定的、反映有有歷史變化的數(shù)據(jù)集合，用于支持管理決策。具有以下特點：詳細交易及相關業(yè)務數(shù)據(jù)的集合包含必要的內(nèi)部與外部信息來自于多個數(shù)據(jù)源、業(yè)務操作系統(tǒng)保存一定的時間周期按照企業(yè)內(nèi)業(yè)務規(guī)則決定存

2、儲模型2 .建設的必要性目前大多數(shù)信息系統(tǒng)由于建設時間、建設方、各階段需求不同，會出現(xiàn)一系列問題：缺乏整體規(guī)則、信息缺乏完整性、缺乏統(tǒng)一的信息管理標準和規(guī)范、信息孤島、不具備大容量的數(shù)據(jù)管理和分析能力。3 .價值提高管理決策的科學性和管理效率信息的整合，可推動現(xiàn)在有信息管理體系的重構打通信息孤島全局共享，降低數(shù)據(jù)獲取的難度逐漸取代各類業(yè)務管理報表系統(tǒng)運用歷史數(shù)據(jù)發(fā)現(xiàn)規(guī)律二、數(shù)據(jù)倉庫建設1 .業(yè)務需求定義梳理出所有業(yè)務過程，分析業(yè)務內(nèi)容提取需求，對其相關的數(shù)據(jù)進行探查,并對各系統(tǒng)核心業(yè)務人員訪談，準確的了解業(yè)務需求情況，近期調(diào)研2 .技術體系結構生命周期圖數(shù)據(jù)倉庫生砧固皿技術架構圖:源數(shù)據(jù)層數(shù)據(jù)

3、導入數(shù)據(jù)倉座服務層Oracle調(diào)度SitETL數(shù)據(jù)質(zhì)量壯查鑲謂回法日志數(shù)據(jù)倉庫統(tǒng)計分析1訪問控制用戶數(shù)據(jù)倉庫技術架溝圖IT用戶3 .數(shù)據(jù)倉庫數(shù)據(jù)建模數(shù)據(jù)模型是抽象描述現(xiàn)實世界的一種方法，是通過抽象的實體及實體之間的聯(lián)系來表示現(xiàn)實世界中事務的相互關系的一種映射，數(shù)據(jù)倉庫模型是數(shù)據(jù)模型中針對特定的數(shù)據(jù)倉庫應用系統(tǒng)的特定模型。數(shù)據(jù)倉庫建模方法種類較多，常見的三種是范式建模、維度建模、實體建模，每種方法本質(zhì)上都是從不同的角度解決業(yè)務中的問題。關于數(shù)據(jù)倉庫建模單獨用一篇來詳細介紹,這兒僅對維度建模做基本的介紹，維度建模由數(shù)據(jù)倉庫領域另一位大師RalphKimall所倡導，是數(shù)據(jù)倉庫工程領域最流行的數(shù)倉建

4、模經(jīng)典。維度建模以分析決策的需求出發(fā)構建模型，構建的數(shù)據(jù)模型為分析需求服務，因此它重點解決用戶如何更快速完成分析需求，同時還有較好的大規(guī)模復雜查詢的響應性能。1 .維度模型是什么維度建模將客觀世界劃分為度量和上下文。度量是由業(yè)務過程和支持它們的業(yè)務源系統(tǒng)來捕捉的，常常以數(shù)據(jù)值形式出現(xiàn)，將其稱作“事實”，事實由大量上下文包圍著，這些文本形式的上下文被直觀地分割成多個獨立的邏輯塊，我們稱其為“維”。維度描述了度量上下文的5W（who、what、when、where、why）信息，以及這些上下文是如何作用的。企業(yè)的每一個業(yè)務過程都可以用維度模型來描述，維度模型由一系列含有數(shù)值量度量的事實表組成，事實

5、表中的數(shù)值則被一系列帶有文本屬性的維度表環(huán)繞。2 .維度建模的基本要素1）事實表事實表是存儲業(yè)務活動或事件所產(chǎn)生的度量。2）維度表維度是觀察業(yè)務的角度，維度表記錄這一角度的一系列屬性集合。3）度量度量是關于業(yè)務狀況的數(shù)值。3 .企業(yè)數(shù)據(jù)倉庫總線業(yè)務主題事應日期F裝與人產(chǎn)m交曷場所產(chǎn)品強戶資金咪戶頭寸旅戶場外衍生品機構在以XX手與人相操作人4批X工XXX美業(yè)音金與注情推薦工;XX乂X斯日書報、委托申X開黃W結苴強戶XX賬戶*聯(lián)業(yè)務開產(chǎn)品庫廠XXXXXX賬戶相,XXXX賬戶變里>XXX產(chǎn)品在MXXXXX產(chǎn)晶柜美業(yè)若變更登記X注銷登記XXXXX加加XXX產(chǎn)品屐示XXXX業(yè)務鏈4 .維度建模四步

6、驟1）選擇業(yè)務過程（比如：用戶注冊、賬戶簽約、產(chǎn)品交易等）2）聲明粒度（確定數(shù)據(jù)單位的綜合程度，明確事實表度量所表示的含義）3）識別維度（粒度已經(jīng)確定了一個基本的維度集合，根據(jù)需要再添加其他相關的維度）4）識別事實（選擇適合業(yè)務過程的指標）5 .深入理解維度代理關鍵字、退貨維、緩慢變化維、角色扮演維、雜項維、雪花型、橋接多值維、處理層次結構?？杉有褪聦崱爰有褪聦?、狀態(tài)事實三種事實表（三個基本粒度）：事實事實表（低粒度）、周期快照事實表（粒度高）、周期累計事實表三、數(shù)倉管理4 .數(shù)據(jù)質(zhì)量5 .數(shù)據(jù)轉換加載（ETL過程）數(shù)據(jù)抽取考慮使用Ketlle6.1源碼來做，部署在MyEclipse中做一些外圍的開發(fā),核心數(shù)據(jù)處理工作由Kettle完成，對于特殊的需求，可以自定義開發(fā)。6 .元數(shù)據(jù)管理參見元數(shù)據(jù)管理解