數(shù)據(jù)倉(cāng)庫(kù)建設(shè)專(zhuān)項(xiàng)方案

數(shù)據(jù)倉(cāng)庫(kù)建設(shè)商務(wù)智能（BusinessIntelligence）用于支持制訂業(yè)務(wù)決議技能、步驟、技術(shù)、應(yīng)用和實(shí)踐。關(guān)鍵是經(jīng)過(guò)數(shù)據(jù)提取、整理、分析，最終經(jīng)過(guò)分析結(jié)果制訂相關(guān)策略、計(jì)劃，幫助企業(yè)了解新趨勢(shì)、抓住新市場(chǎng)機(jī)會(huì)、發(fā)覺(jué)潛在威脅，達(dá)成資源合理配置，節(jié)省成本提升效益。數(shù)據(jù)倉(cāng)庫(kù)是商業(yè)智能基礎(chǔ)，它為OLAP、數(shù)據(jù)挖掘提供分析和決議支持。數(shù)據(jù)倉(cāng)庫(kù)概念數(shù)據(jù)倉(cāng)庫(kù)定義是一個(gè)面向?qū)ｎ}、集成、相對(duì)穩(wěn)定、反應(yīng)有有歷史改變數(shù)據(jù)集合，用于支持管理決議。含有以下特點(diǎn)：具體交易及相關(guān)業(yè)務(wù)數(shù)據(jù)集合包含必需內(nèi)部和外部信息來(lái)自于多個(gè)數(shù)據(jù)源、業(yè)務(wù)操作系統(tǒng)保留一定時(shí)間周期根據(jù)企業(yè)內(nèi)業(yè)務(wù)規(guī)則決定存放模型建設(shè)必需性現(xiàn)在大多數(shù)信息系統(tǒng)因?yàn)榻ㄔO(shè)時(shí)間、建設(shè)方、各階段需求不一樣，會(huì)出現(xiàn)一系列問(wèn)題：缺乏整體規(guī)則、信息缺乏完整性、缺乏統(tǒng)一信息管理標(biāo)準(zhǔn)和規(guī)范、信息孤島、不含有大容量數(shù)據(jù)管理和分析能力。價(jià)值提升管理決議科學(xué)性和管理效率信息整合，可推進(jìn)現(xiàn)在有信息管理體系重構(gòu)打通信息孤島全局共享，降低數(shù)據(jù)獲取難度逐步替換各類(lèi)業(yè)務(wù)管理報(bào)表系統(tǒng)利用歷史數(shù)據(jù)發(fā)覺(jué)規(guī)律數(shù)據(jù)倉(cāng)庫(kù)建設(shè)業(yè)務(wù)需求定義梳理出全部業(yè)務(wù)過(guò)程，分析業(yè)務(wù)內(nèi)容提取需求，對(duì)其相關(guān)數(shù)據(jù)進(jìn)行探查，并對(duì)各系統(tǒng)關(guān)鍵業(yè)務(wù)人員訪談，正確了解業(yè)務(wù)需求情況，近期調(diào)研技術(shù)體系結(jié)構(gòu)生命周期圖技術(shù)架構(gòu)圖：數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)建模數(shù)據(jù)模型是抽象描述現(xiàn)實(shí)世界一個(gè)方法，是經(jīng)過(guò)抽象實(shí)體及實(shí)體之間聯(lián)絡(luò)來(lái)表示現(xiàn)實(shí)世界中事務(wù)相互關(guān)系一個(gè)映射，數(shù)據(jù)倉(cāng)庫(kù)模型是數(shù)據(jù)模型中針對(duì)特定數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用系統(tǒng)特定模型。數(shù)據(jù)倉(cāng)庫(kù)建模方法種類(lèi)較多，常見(jiàn)三種是范式建模、維度建模、實(shí)體建模，每種方法本質(zhì)上全部是從不一樣角度處理業(yè)務(wù)中問(wèn)題。相關(guān)數(shù)據(jù)倉(cāng)庫(kù)建模單獨(dú)用一篇來(lái)具體介紹，這兒僅對(duì)維度建模做基礎(chǔ)介紹，維度建模由數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域另一位大師RalphKimall所提倡，是數(shù)據(jù)倉(cāng)庫(kù)工程領(lǐng)域最流行數(shù)倉(cāng)建模經(jīng)典。維度建模以分析決議需求出發(fā)構(gòu)建模型，構(gòu)建數(shù)據(jù)模型為分析需求服務(wù)，所以它關(guān)鍵處理用戶(hù)怎樣愈加快速完成份析需求，同時(shí)還有很好大規(guī)模復(fù)雜查詢(xún)響應(yīng)性能。維度模型是什么維度建模將客觀世界劃分為度量和上下文。度量是由業(yè)務(wù)過(guò)程和支持它們業(yè)務(wù)源系統(tǒng)來(lái)捕捉，常常以數(shù)據(jù)值形式出現(xiàn)，將其稱(chēng)作“事實(shí)”，事實(shí)由大量上下文包圍著，這些文本形式上下文被直觀地分割成多個(gè)獨(dú)立邏輯塊，我們稱(chēng)其為“維”。維度描述了度量上下文5W（who、what、when、where、why）信息，和這些上下文是怎樣作用。企業(yè)每一個(gè)業(yè)務(wù)過(guò)程全部能夠用維度模型來(lái)描述，維度模型由一系列含有數(shù)值量度量事實(shí)表組成，事實(shí)表中數(shù)值則被一系列帶有文本屬性維度表圍繞。維度建?；A(chǔ)要素事實(shí)表事實(shí)表是存放業(yè)務(wù)活動(dòng)或事件所產(chǎn)生度量。維度表維度是觀察業(yè)務(wù)角度，維度表統(tǒng)計(jì)這一角度一系列屬性集合。度量度量是相關(guān)業(yè)務(wù)情況數(shù)值。企業(yè)數(shù)據(jù)倉(cāng)庫(kù)總線維度建模四步驟選擇業(yè)務(wù)過(guò)程（比如：用戶(hù)注冊(cè)、賬戶(hù)簽約、產(chǎn)品交易等）申明粒度（確定數(shù)據(jù)單位綜合程度，明確事實(shí)表度量所表示含義）識(shí)別維度（粒度已經(jīng)確定了一個(gè)基礎(chǔ)維度集合，依據(jù)需要再添加其它相關(guān)維度）識(shí)別事實(shí)（選擇適合業(yè)務(wù)過(guò)程指標(biāo)）深入了解維度代理關(guān)鍵字、退貨維、緩慢改變維、角色飾演維、雜項(xiàng)維、雪花型、橋接多值維、處理層次結(jié)構(gòu)?？杉有褪聦?shí)、半加型事實(shí)、狀態(tài)事實(shí)三種事實(shí)表（三個(gè)基礎(chǔ)粒度）：事實(shí)事實(shí)表（低粒度）、周期快照事實(shí)表（粒度高）、周期累計(jì)事實(shí)表數(shù)倉(cāng)管理數(shù)據(jù)質(zhì)量數(shù)據(jù)轉(zhuǎn)換加載（ETL過(guò)程）數(shù)據(jù)抽取考慮使用Ketlle6.1源碼來(lái)做，布署在MyEclipse中做部分外圍開(kāi)發(fā)，關(guān)鍵數(shù)據(jù)處理工作由Kettle完成，對(duì)于特殊需求，能夠自定義開(kāi)發(fā)。元數(shù)據(jù)管理參見(jiàn)《元數(shù)據(jù)管了處理方案》安全及備份利用數(shù)據(jù)倉(cāng)庫(kù)自帶備份功效。系統(tǒng)開(kāi)發(fā)物