數(shù)據(jù)倉庫建設(shè)方案-2018-3-28

數(shù)據(jù)倉庫建設(shè)商務(wù)智能（BusinessIntelligence）用于支持制定業(yè)務(wù)決策的技能、流程、技術(shù)、應(yīng)用和實(shí)踐。核心是通過數(shù)據(jù)提取、整理、分析，最終通過分析結(jié)果制定有關(guān)策略、規(guī)劃，幫助企業(yè)了解新的趨勢、抓住新的市場機(jī)會、發(fā)覺潛在的威逼，達(dá)到資源的合理配置，節(jié)約成本提高效益。數(shù)據(jù)倉庫是商業(yè)智能的基礎(chǔ)，它為OLAP、數(shù)據(jù)挖掘供應(yīng)分析和決策支持。數(shù)據(jù)倉庫概念數(shù)據(jù)倉庫定義是一個(gè)面對主題的、集成的、相對穩(wěn)定的、反映有有歷史改變的數(shù)據(jù)集合，用于支持管理決策。具有以下特點(diǎn)：具體交易及相關(guān)業(yè)務(wù)數(shù)據(jù)的集合包含必要的內(nèi)部與外部信息來自于多個(gè)數(shù)據(jù)源、業(yè)務(wù)操作系統(tǒng)保存肯定的時(shí)間周期依據(jù)企業(yè)內(nèi)業(yè)務(wù)規(guī)則確定存儲模型建設(shè)的必要性目前大多數(shù)信息系統(tǒng)由于建設(shè)時(shí)間、建設(shè)方、各階段需求不同，會出現(xiàn)一系列問題：缺乏整體規(guī)則、信息缺乏完整性、缺乏統(tǒng)一的信息管理標(biāo)準(zhǔn)和規(guī)范、信息孤島、不具備大容量的數(shù)據(jù)管理和分析實(shí)力。價(jià)值提高管理決策的科學(xué)性和管理效率信息的整合，可推動現(xiàn)在有信息管理體系的重構(gòu)打通信息孤島全局共享，降低數(shù)據(jù)獲得的難度漸漸取代各類業(yè)務(wù)管理報(bào)表系統(tǒng)運(yùn)用歷史數(shù)據(jù)發(fā)覺規(guī)律數(shù)據(jù)倉庫建設(shè)業(yè)務(wù)需求定義梳理出全部業(yè)務(wù)過程，分析業(yè)務(wù)內(nèi)容提取需求，對其相關(guān)的數(shù)據(jù)進(jìn)行探查，并對各系統(tǒng)核心業(yè)務(wù)人員訪談，精確的了解業(yè)務(wù)需求狀況，近期調(diào)研技術(shù)體系結(jié)構(gòu)生命周期圖技術(shù)架構(gòu)圖：數(shù)據(jù)倉庫數(shù)據(jù)建模數(shù)據(jù)模型是抽象描述現(xiàn)實(shí)世界的一種方法，是通過抽象的實(shí)體及實(shí)體之間的聯(lián)系來表示現(xiàn)實(shí)世界中事務(wù)的相互關(guān)系的一種映射，數(shù)據(jù)倉庫模型是數(shù)據(jù)模型中針對特定的數(shù)據(jù)倉庫應(yīng)用系統(tǒng)的特定模型。數(shù)據(jù)倉庫建模方法種類較多，常見的三種是范式建模、維度建模、實(shí)體建模，每種方法本質(zhì)上都是從不同的角度解決業(yè)務(wù)中的問題。關(guān)于數(shù)據(jù)倉庫建模單獨(dú)用一篇來具體介紹，這兒僅對維度建模做基本的介紹，維度建模由數(shù)據(jù)倉庫領(lǐng)域另一位大師RalphKimall所提倡，是數(shù)據(jù)倉庫工程領(lǐng)域最流行的數(shù)倉建模經(jīng)典。維度建模以分析決策的需求動身構(gòu)建模型，構(gòu)建的數(shù)據(jù)模型為分析需求服務(wù)，因此它重點(diǎn)解決用戶如何更快速完成分析需求，同時(shí)還有較好的大規(guī)模困難查詢的響應(yīng)性能。維度模型是什么維度建模將客觀世界劃分為度量和上下文。度量是由業(yè)務(wù)過程和支持它們的業(yè)務(wù)源系統(tǒng)來捕獲的，經(jīng)常以數(shù)據(jù)值形式出現(xiàn)，將其稱作“事實(shí)”，事實(shí)由大量上下文包圍著，這些文本形式的上下文被直觀地分割成多個(gè)獨(dú)立的邏輯塊，我們稱其為“維”。維度描述了度量上下文的5W（who、what、when、where、why）信息，以及這些上下文是如何作用的。企業(yè)的每一個(gè)業(yè)務(wù)過程都可以用維度模型來描述，維度模型由一系列含有數(shù)值量度量的事實(shí)表組成，事實(shí)表中的數(shù)值則被一系列帶有文本屬性的維度表環(huán)繞。維度建模的基本要素事實(shí)表事實(shí)表是存儲業(yè)務(wù)活動或事務(wù)所產(chǎn)生的度量。維度表維度是視察業(yè)務(wù)的角度，維度表記錄這一角度的一系列屬性集合。度量度量是關(guān)于業(yè)務(wù)狀況的數(shù)值。企業(yè)數(shù)據(jù)倉庫總線維度建模四步驟選擇業(yè)務(wù)過程（比如：用戶注冊、賬戶簽約、產(chǎn)品交易等）聲明粒度（確定數(shù)據(jù)單位的綜合程度，明確事實(shí)表度量所表示的含義）識別維度（粒度已經(jīng)確定了一個(gè)基本的維度集合，依據(jù)須要再添加其他相關(guān)的維度）識別事實(shí)（選擇適合業(yè)務(wù)過程的指標(biāo)）深化理解維度代理關(guān)鍵字、退貨維、緩慢改變維、角色扮演維、雜項(xiàng)維、雪花型、橋接多值維、處理層次結(jié)構(gòu)?？杉有褪聦?shí)、半加型事實(shí)、狀態(tài)事實(shí)三種事實(shí)表（三個(gè)基本粒度）：事實(shí)事實(shí)表（低粒度）、周期快照事實(shí)表（粒度高）、周期累計(jì)事實(shí)表數(shù)倉管理數(shù)據(jù)質(zhì)量數(shù)據(jù)轉(zhuǎn)換加載（ETL過程）數(shù)據(jù)抽取考慮運(yùn)用Ketlle6.1源碼來做，部署在MyEclipse中做一些外圍的開發(fā)，核心數(shù)據(jù)處理工作由Kettle完成，對于特別的需求，可以自定義開發(fā)。元數(shù)據(jù)管理參見《元數(shù)據(jù)管理解決方案》平安及備份利用數(shù)據(jù)倉庫自帶的備份功能。系統(tǒng)