數(shù)據(jù)倉(cāng)庫(kù)管理

數(shù)據(jù)倉(cāng)庫(kù)管理數(shù)據(jù)倉(cāng)庫(kù)概述數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)分層01

數(shù)據(jù)倉(cāng)庫(kù)概述數(shù)據(jù)倉(cāng)庫(kù)概述

數(shù)據(jù)倉(cāng)庫(kù)，英文名稱為DataWarehouse，可簡(jiǎn)寫(xiě)為DW或DWH。數(shù)據(jù)倉(cāng)庫(kù)，是為企業(yè)所有級(jí)別的決策制定過(guò)程，提供所有類型數(shù)據(jù)支持的戰(zhàn)略集合。它出于分析性報(bào)告和決策支持目的而創(chuàng)建。為需要業(yè)務(wù)智能的企業(yè)，提供指導(dǎo)業(yè)務(wù)流程改進(jìn)、監(jiān)視時(shí)間、成本、質(zhì)量以及控制。

什么是數(shù)據(jù)倉(cāng)庫(kù)

數(shù)據(jù)倉(cāng)庫(kù)概述

1年度銷售目標(biāo)的指定，根據(jù)以往的歷史報(bào)表進(jìn)行決策。

2優(yōu)化業(yè)務(wù)流程

例如：一個(gè)電商網(wǎng)站訂單的完成包括：瀏覽、下單、支付、物流，其中物流環(huán)節(jié)可能和中通、申通、韻達(dá)等快遞公司合作?？爝f公司每派送一個(gè)訂單，都會(huì)有訂單派送的確認(rèn)時(shí)間，可以根據(jù)訂單派送時(shí)間來(lái)分析哪個(gè)快遞公司比較快捷高效，從而選擇與哪些快遞公司合作，剔除哪些快遞公司，增加用戶友好型。

數(shù)據(jù)倉(cāng)庫(kù)能干什么？

數(shù)據(jù)倉(cāng)庫(kù)概述1數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是面向主題的2數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是集成的3數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是不可更新的4數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是隨時(shí)間不斷變化的數(shù)據(jù)倉(cāng)庫(kù)能干什么？

02

數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)分層數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)分層

數(shù)據(jù)倉(cāng)庫(kù)標(biāo)準(zhǔn)上可以分為四層：ODS（臨時(shí)存儲(chǔ)層）

PDW（數(shù)據(jù)倉(cāng)庫(kù)層）

DM（數(shù)據(jù)集市層）

APP（應(yīng)用層）

數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)

數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)分層臨時(shí)存儲(chǔ)層，是接口數(shù)據(jù)的臨時(shí)存儲(chǔ)區(qū)域，為后一步的數(shù)據(jù)處理做準(zhǔn)備。一般來(lái)說(shuō)ODS層的數(shù)據(jù)和源系統(tǒng)的數(shù)據(jù)是同構(gòu)的，主要目的是簡(jiǎn)化后續(xù)數(shù)據(jù)加工處理的工作。從數(shù)據(jù)粒度上來(lái)說(shuō)ODS層的數(shù)據(jù)粒度是最細(xì)的。ODS層的表通常包括兩類，一個(gè)用于存儲(chǔ)當(dāng)前需要加載的數(shù)據(jù)，一個(gè)用于存儲(chǔ)處理完后的歷史數(shù)據(jù)。歷史數(shù)據(jù)一般保存3-6個(gè)月后需要清除，以節(jié)省空間。但不同的項(xiàng)目要區(qū)別對(duì)待，如果源系統(tǒng)的數(shù)據(jù)量不大，可以保留更長(zhǎng)的時(shí)間，甚至全量保存。1）ODS層：

數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)分層

數(shù)據(jù)倉(cāng)庫(kù)層，PDW層的數(shù)據(jù)應(yīng)該是一致的、準(zhǔn)確的、干凈的數(shù)據(jù)，即對(duì)源系統(tǒng)數(shù)據(jù)進(jìn)行了清洗（去除了雜質(zhì)）后的數(shù)據(jù)。這一層的數(shù)據(jù)一般是遵循數(shù)據(jù)庫(kù)第三范式的，其數(shù)據(jù)粒度通常和ODS的粒度相同。在PDW層會(huì)保存BI系統(tǒng)中所有的歷史數(shù)據(jù)，例如保存10年的數(shù)據(jù)。2）PDW層：

數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)分層

數(shù)據(jù)集市層，這層數(shù)據(jù)是面向主題來(lái)組織數(shù)據(jù)的，通常是星形或雪花結(jié)構(gòu)的數(shù)據(jù)。從數(shù)據(jù)粒度來(lái)說(shuō)，這層的數(shù)據(jù)是輕度匯總級(jí)的數(shù)據(jù)，已經(jīng)不存在明細(xì)數(shù)據(jù)了。從數(shù)據(jù)的時(shí)間跨度來(lái)說(shuō)，通常是PDW層的一部分，主要的目的是為了滿足用戶分析的需求，而從分析的角度來(lái)說(shuō)，用戶通常只需要分析近幾年（如近三年的數(shù)據(jù)）的即可。從數(shù)據(jù)的廣度來(lái)說(shuō)，仍然覆蓋了所有業(yè)務(wù)數(shù)據(jù)。3）DM層：

數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)分層應(yīng)用層，這層數(shù)據(jù)是完全為了滿足具體的分析需求而構(gòu)建的數(shù)據(jù)，也是星形或雪花結(jié)構(gòu)的數(shù)據(jù)。從數(shù)據(jù)粒度來(lái)說(shuō)是高度匯總的數(shù)據(jù)。從數(shù)據(jù)的廣度來(lái)說(shuō)，則并不一定會(huì)覆蓋所有業(yè)務(wù)數(shù)據(jù)，而是DM層數(shù)據(jù)的一個(gè)真子集，從某種意義上來(lái)說(shuō)是DM層數(shù)據(jù)的一個(gè)重復(fù)。從極端情況來(lái)說(shuō)，可以為每一張報(bào)表在APP層構(gòu)建一個(gè)模型來(lái)支持，達(dá)到以空間換時(shí)間的目的.數(shù)據(jù)倉(cāng)庫(kù)的標(biāo)準(zhǔn)分層只是一個(gè)建議性質(zhì)的標(biāo)準(zhǔn)，實(shí)際實(shí)施時(shí)需要根據(jù)