BI概念以及數(shù)據(jù)倉庫講解_第1頁
BI概念以及數(shù)據(jù)倉庫講解_第2頁
BI概念以及數(shù)據(jù)倉庫講解_第3頁
BI概念以及數(shù)據(jù)倉庫講解_第4頁
BI概念以及數(shù)據(jù)倉庫講解_第5頁
已閱讀5頁,還剩131頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

1、1integration * intelligence * insight數(shù)數(shù) 據(jù)據(jù) 倉倉 庫庫 概概 念念2integration * intelligence * insight知識模塊分解知識模塊分解此次課程涵蓋下面的模塊:此次課程涵蓋下面的模塊: 模塊模塊1: 數(shù)據(jù)倉庫數(shù)據(jù)倉庫 - 概述概述 以及以及 數(shù)據(jù)倉庫和數(shù)據(jù)倉庫和 OLTP(聯(lián)機(jī)事務(wù)處理)的對比(聯(lián)機(jī)事務(wù)處理)的對比 模塊模塊2: 數(shù)據(jù)倉庫架構(gòu)數(shù)據(jù)倉庫架構(gòu) 模塊模塊3:ETL 過程過程 模塊模塊4: 數(shù)據(jù)倉庫和數(shù)據(jù)集市的對比,以及數(shù)據(jù)倉庫概念模型數(shù)據(jù)倉庫和數(shù)據(jù)集市的對比,以及數(shù)據(jù)倉庫概念模型 模塊模塊5: OLAP(聯(lián)機(jī)分析處

2、理)概述(聯(lián)機(jī)分析處理)概述 模塊模塊6: 數(shù)據(jù)倉庫成功的訣竅數(shù)據(jù)倉庫成功的訣竅33integration * intelligence * insight數(shù)據(jù)倉庫概念數(shù)據(jù)倉庫概念模塊14integration * intelligence * insightintegration * intelligence * insight包含的主題包含的主題本模塊提供 需要數(shù)據(jù)倉庫的原因 什么是數(shù)據(jù)倉庫 數(shù)據(jù)倉庫的發(fā)展過程 數(shù)據(jù)倉庫架構(gòu) 數(shù)據(jù)挖掘如何和數(shù)據(jù)倉庫共同工作的 使用數(shù)據(jù)倉庫的好處 為什么需要一個(gè)分離的數(shù)據(jù)倉庫? OLTP和數(shù)據(jù)倉庫之間的區(qū)別55integration * intelligen

3、ce * insight什么是什么是 BI? 商務(wù)智能 (BI)包含的應(yīng)用系統(tǒng)和技術(shù)較寬泛,通過收集、存儲、分析和提供對數(shù)據(jù)的訪問,來幫助企業(yè)用戶做出更好的商務(wù)決策。 BI 應(yīng)用包括決策支持、查詢和報(bào)表、聯(lián)機(jī)分析處理OLAP、統(tǒng)計(jì)分析、預(yù)測和數(shù)據(jù)挖掘等活動。例如 : Business Objects : 66integration * intelligence * insightBI- 簡而言之簡而言之7Raw Data7integration * intelligence * insight哪些人是帶給我們最低/最高利潤的客戶?哪些人是我們的客戶以及他們買什么產(chǎn)品?哪些客戶最有可能流失到競爭

4、對手那里? 新產(chǎn)品/服務(wù)會對收入和利潤有什么影響?什么產(chǎn)品促銷方式最能影響收入?什么是最有效的分銷渠道?一個(gè)廠商想知道一個(gè)廠商想知道.8integration * intelligence * insight數(shù)據(jù)數(shù)據(jù), 數(shù)據(jù)無處不在。然而數(shù)據(jù)無處不在。然而 我找不到我所需要的數(shù)據(jù) 數(shù)據(jù)分散在網(wǎng)絡(luò)上的各個(gè)地方 數(shù)據(jù)存在多個(gè)版本, 其中有細(xì)小的差別 我不能獲取我所需要的數(shù)據(jù) 需要一個(gè)專家來獲取數(shù)據(jù) 我無法理解所找到的數(shù)據(jù) 可得到的數(shù)據(jù),但對應(yīng)的文檔說明很糟糕 我無法使用所找到的數(shù)據(jù) 結(jié)果不是期望的 數(shù)據(jù)需要從一種形式轉(zhuǎn)換到另外一種形式9integration * intelligence * in

5、sight什么是數(shù)據(jù)倉庫什么是數(shù)據(jù)倉庫? “單一的、完整的和一致的數(shù)據(jù)存儲,這些數(shù)據(jù)從多個(gè)數(shù)據(jù)源獲取,經(jīng)過加工成在一定程度上為最終用戶可理解的形式,以用于業(yè)務(wù)管理?!盉arry Devlin10integration * intelligence * insightintegration * intelligence * insight什么是數(shù)據(jù)倉庫什么是數(shù)據(jù)倉庫? 數(shù)據(jù)倉庫的目標(biāo),是利用組織里的數(shù)據(jù),更加有效地輔助決策過程. 數(shù)據(jù)倉庫是收集組織后的數(shù)據(jù)集合。它容易通過分析、抽取、合并,進(jìn)而被用來進(jìn)一步理解數(shù)據(jù)。它可以與收集數(shù)據(jù)來進(jìn)行即時(shí)處理的業(yè)務(wù)系統(tǒng)進(jìn)行對比,如訂單和付款事務(wù)處理,盡管其數(shù)據(jù)

6、也可能成為數(shù)據(jù)倉庫的一部分。 數(shù)據(jù)倉庫是一個(gè)集成的中央數(shù)據(jù)庫,包含來自于組織內(nèi)的所有操作型數(shù)據(jù)源和歸檔系統(tǒng)。它包含了事務(wù)處理系統(tǒng)數(shù)據(jù)的拷貝、特別是用于查詢分析的結(jié)構(gòu)化數(shù)據(jù)。1111用戶要說的是用戶要說的是. 應(yīng)該整合整個(gè)企業(yè)內(nèi)的數(shù)據(jù) 匯總數(shù)據(jù)對整個(gè)組織具有價(jià)值 歷史數(shù)據(jù)有重要作用 靈活的決策支持能力12integration * intelligence * insight什么是數(shù)據(jù)倉庫什么是數(shù)據(jù)倉庫? 是一個(gè)將數(shù)據(jù)轉(zhuǎn)換成信息、使其能及時(shí)供最終用戶使用的過程。DataInformation13integration * intelligence * insight演變過程演變過程 60年代:

7、批處理報(bào)表 難于查找和分析信息 缺乏靈活性,成本昂貴,對于每個(gè)新需求都要重新編程 70年代: 基于終端的DSS 和and EIS (主管信息系統(tǒng)) 仍然缺乏靈活性,沒有和桌面工具集成起來 80年代:桌面級數(shù)據(jù)訪問和分析工具 查詢工具,電子表格,圖形界面 易于使用,但是只能訪問操作型數(shù)據(jù)庫 90年代至今: 帶有集成OLAP引擎和工具的數(shù)據(jù)倉庫,實(shí)時(shí)數(shù)據(jù)倉庫14integration * intelligence * insight數(shù)據(jù)倉庫數(shù)據(jù)倉庫數(shù)據(jù)倉庫是 面向主題的 集成的 時(shí)變的(隨時(shí)間變化的) 非易失的 易得到的 數(shù)據(jù)集合,主要用于組織里的決策制定。- Bill Inmons, Build

8、ing the Data Warehouse 199615integration * intelligence * insight數(shù)據(jù)倉庫架構(gòu)數(shù)據(jù)倉庫架構(gòu)數(shù)據(jù)倉庫引擎優(yōu)化加載抽取清洗分析查詢RelationalDatabasesLegacyDataPurchased DataERPSystems16integration * intelligence * insight數(shù)據(jù)挖掘和數(shù)據(jù)倉庫數(shù)據(jù)挖掘和數(shù)據(jù)倉庫 數(shù)據(jù)倉庫是企業(yè)的數(shù)據(jù)存儲 數(shù)據(jù)挖掘是挖掘出企業(yè)數(shù)據(jù)中的知識17integration * intelligence * insight什么使數(shù)據(jù)挖掘成為可能什么使數(shù)據(jù)挖掘成為可能?如下領(lǐng)域的

9、發(fā)展,使得數(shù)據(jù)挖掘的運(yùn)用成為可能: 數(shù)據(jù)倉庫 更好和更多的數(shù)據(jù) (如, 操作型數(shù)據(jù), 行為數(shù)據(jù), 以及人口統(tǒng)計(jì)學(xué)數(shù)據(jù)) 易于部署的數(shù)據(jù)挖掘工具的出現(xiàn) 新的數(shù)據(jù)挖掘技術(shù)的出現(xiàn).- Gartner Group18integration * intelligence * insight為什么要分離出數(shù)據(jù)倉庫為什么要分離出數(shù)據(jù)倉庫? 性能性能 操作型數(shù)據(jù)庫設(shè)計(jì),應(yīng)用于已知事務(wù)和工作量的場合 對于操作型系統(tǒng)來說,進(jìn)行復(fù)雜的OLAP查詢會使其性能下降。 對多維視圖和查詢,需要特殊的數(shù)據(jù)組織方式,讀取方法,實(shí)施方案。 功能功能 遺失數(shù)據(jù):決策支持需要?dú)v史數(shù)據(jù),而操作型數(shù)據(jù)庫并不保存它 數(shù)據(jù)整合 :決策支持需

10、要整合 (聚合,匯總)來自多個(gè)異構(gòu)數(shù)據(jù)源(操作型數(shù)據(jù)庫,外部數(shù)據(jù)源)的數(shù)據(jù) 數(shù)據(jù)質(zhì)量:不同數(shù)據(jù)源經(jīng)常使用不一致的數(shù)據(jù)表現(xiàn)形式、代碼、格式,需要統(tǒng)一它們19integration * intelligence * insight數(shù)據(jù)倉庫的好處數(shù)據(jù)倉庫的好處 可靠的報(bào)表可靠的報(bào)表 快速得到數(shù)據(jù)快速得到數(shù)據(jù) 集成的數(shù)據(jù)集成的數(shù)據(jù) 靈活的數(shù)據(jù)展示方式靈活的數(shù)據(jù)展示方式 更好的決策制定更好的決策制定20integration * intelligence * insight那么那么, 二者的區(qū)別是什么二者的區(qū)別是什么?21integration * intelligence * insight面向應(yīng)用的

11、面向應(yīng)用的 vs 面向主題的面向主題的面向應(yīng)用的操作型數(shù)據(jù)操作型數(shù)據(jù)庫庫貸款信用卡信托存款面向主題的數(shù)據(jù)倉庫數(shù)據(jù)倉庫客戶供應(yīng)商產(chǎn)品活動22integration * intelligence * insight對比對比OLTP 和和 數(shù)據(jù)倉庫數(shù)據(jù)倉庫 OLTP 面向應(yīng)用的 用來運(yùn)行事務(wù)處理 詳細(xì)的數(shù)據(jù) 當(dāng)前最新數(shù)據(jù) 孤立的數(shù)據(jù) 重復(fù)訪問 操作人員 數(shù)據(jù)倉庫 (DSS) 面向主題的 用來分析業(yè)務(wù) 匯總和精煉的數(shù)據(jù) 快照數(shù)據(jù) 集成的數(shù)據(jù) 即席查詢 知識用戶 (管理者)23integration * intelligence * insightOLTP Vs 數(shù)據(jù)倉庫數(shù)據(jù)倉庫 OLTP 對性能敏感

12、同時(shí)訪問少量的記錄(數(shù)十條) 可以讀和更新 沒有數(shù)據(jù)冗余 DB大小:100MB -100 GB 用戶:數(shù)百個(gè)- 數(shù)千個(gè) 數(shù)據(jù)倉庫 對性能不敏感 同時(shí)訪問大量的數(shù)據(jù) (數(shù)百萬條) 主要是讀(批量更新) 存在數(shù)據(jù)冗余 DB大小:100 GB - TB 用戶:數(shù)個(gè)- 數(shù)百個(gè)24integration * intelligence * insight總的來說總的來說. OLTP 系統(tǒng)用來“運(yùn)行”事務(wù)處理 數(shù)據(jù)倉庫用來幫助“優(yōu)化”業(yè)務(wù)25integration * intelligence * insight來自多個(gè)數(shù)據(jù)源的單一的,完整的一致的數(shù)據(jù)存儲。什么是BI?什么是數(shù)據(jù)倉庫?數(shù)據(jù)倉庫架構(gòu)數(shù)據(jù)挖掘如

13、何同數(shù)據(jù)倉庫共同工作數(shù)據(jù)倉庫的好處數(shù)據(jù)倉庫和OLTP的區(qū)別需要分離出數(shù)據(jù)倉庫的原因要點(diǎn)概述要點(diǎn)概述可靠的報(bào)表快速讀取數(shù)據(jù)集成數(shù)據(jù)更好的進(jìn)行決策 BI集成了挖掘數(shù)據(jù),分析,報(bào)表的功能。 數(shù)據(jù)挖掘提供從企業(yè)數(shù)據(jù)倉庫中挖掘的知識。用來分析業(yè)務(wù)用來運(yùn)行業(yè)務(wù)26integration * intelligence * insight測驗(yàn)測驗(yàn)1. _是數(shù)據(jù)倉庫的面向一個(gè)主題的視圖是數(shù)據(jù)倉庫的面向一個(gè)主題的視圖 OLTP 系統(tǒng)系統(tǒng)/ Data Staging Area/ Data Mart/ None 2. 數(shù)據(jù)挖掘意味著數(shù)據(jù)挖掘意味著_ Modeling/Forecasting/Explanatory A

14、nalysis 3. 訂單輸入系統(tǒng)是一個(gè)訂單輸入系統(tǒng)是一個(gè)OLTP 系統(tǒng)的例子系統(tǒng)的例子 True/False4. 數(shù)據(jù)倉庫的并發(fā)用戶數(shù)量不是很多數(shù)據(jù)倉庫的并發(fā)用戶數(shù)量不是很多 False/True5. 數(shù)據(jù)抽取是數(shù)據(jù)抽取是_過程過程 A. 從數(shù)據(jù)源獲取信息從數(shù)據(jù)源獲取信息/數(shù)據(jù),并將其變成可用于數(shù)據(jù)倉庫數(shù)據(jù),并將其變成可用于數(shù)據(jù)倉庫B. 將抽取的數(shù)據(jù)加載到數(shù)據(jù)倉庫將抽取的數(shù)據(jù)加載到數(shù)據(jù)倉庫C. Both Data MartForecastingTrueTrueBoth27integration * intelligence * insight數(shù)據(jù)倉庫架構(gòu)數(shù)據(jù)倉庫架構(gòu)模塊模塊228integr

15、ation * intelligence * insight架構(gòu)架構(gòu), 設(shè)計(jì)設(shè)計(jì) & 構(gòu)造構(gòu)造 數(shù)據(jù)倉庫架構(gòu) 加載及更新 結(jié)構(gòu)/模型integration * intelligence * insight29integration * intelligence * insightintegration * intelligence * insight涵蓋的主題涵蓋的主題這個(gè)部分包括下列內(nèi)容: 數(shù)據(jù)倉庫架構(gòu) 基本的兩個(gè)層次架構(gòu)-獨(dú)立的數(shù)據(jù)集市-數(shù)據(jù)集市及數(shù)據(jù)存儲 ETL過程 數(shù)據(jù)質(zhì)量保證 數(shù)據(jù)質(zhì)量保證工具 ETL 工具 元數(shù)據(jù)及其重要性3030integration * intelligence

16、 * insightintegration * intelligence * insight業(yè)務(wù)系統(tǒng)業(yè)務(wù)系統(tǒng)信息轉(zhuǎn)換/集成架構(gòu)外部系統(tǒng)外部系統(tǒng)企業(yè)數(shù)據(jù)倉庫財(cái)務(wù)數(shù)據(jù)集市財(cái)務(wù)數(shù)據(jù)集市獨(dú)立的獨(dú)立的銷售數(shù)據(jù)集市銷售數(shù)據(jù)集市非獨(dú)立的非獨(dú)立的市場數(shù)據(jù)集市市場數(shù)據(jù)集市非獨(dú)立的非獨(dú)立的網(wǎng)絡(luò)服務(wù)器網(wǎng)絡(luò)服務(wù)器外部客戶外部客戶備份服務(wù)局域網(wǎng)客戶局域網(wǎng)客戶31integration * intelligence * insight數(shù)據(jù)倉庫架構(gòu)數(shù)據(jù)存儲介質(zhì)數(shù)據(jù)存儲介質(zhì)遺留系統(tǒng)遺留系統(tǒng)元數(shù)據(jù)存儲元數(shù)據(jù)存儲臨時(shí)存儲區(qū)臨時(shí)存儲區(qū)抽取抽取/轉(zhuǎn)換服務(wù)器轉(zhuǎn)換服務(wù)器往數(shù)據(jù)倉庫往數(shù)據(jù)倉庫/數(shù)據(jù)集市數(shù)據(jù)集市 元數(shù)據(jù)設(shè)計(jì)元數(shù)據(jù)設(shè)計(jì)/管理管

17、理 清洗工具清洗工具 映射工具映射工具 抽取管理工具抽取管理工具 轉(zhuǎn)換工具轉(zhuǎn)換工具 移植管理工具移植管理工具32數(shù)據(jù)倉庫架構(gòu)數(shù)據(jù)倉庫架構(gòu) 通用的兩類架構(gòu) 獨(dú)立的數(shù)據(jù)集市 數(shù)據(jù)集市和操作型數(shù)據(jù)存儲這兩個(gè)層次的架構(gòu)都會涉及到數(shù)據(jù)的抽取,轉(zhuǎn)換及加載(ETL)33integration * intelligence * insight通用的兩類架構(gòu)通用的兩類架構(gòu)ETLOne, company-wide warehouse周期性抽取數(shù)據(jù)倉庫的數(shù)據(jù)并不全都是最新的數(shù)據(jù)34integration * intelligence * insight獨(dú)立數(shù)據(jù)集市獨(dú)立數(shù)據(jù)集市小型數(shù)據(jù)倉庫, 范圍有所限制ETL每個(gè)獨(dú)

18、立的數(shù)據(jù)集市必須單獨(dú)進(jìn)行ETL數(shù)據(jù)獲取復(fù)雜是由于存在多個(gè)數(shù)據(jù)集市造成的35integration * intelligence * insight非獨(dú)立數(shù)據(jù)集市和操作型數(shù)據(jù)存儲非獨(dú)立數(shù)據(jù)集市和操作型數(shù)據(jù)存儲ETL對于企業(yè)數(shù)據(jù)倉庫的單一對于企業(yè)數(shù)據(jù)倉庫的單一ETL過過程程(EDW)數(shù)據(jù)訪問將變得簡單ODS提供獲取當(dāng)前最新數(shù)據(jù)的渠道非獨(dú)立數(shù)據(jù)集市可以通過企業(yè)數(shù)據(jù)倉庫加載數(shù)據(jù)36integration * intelligence * insight數(shù)據(jù)和維度可在多個(gè)數(shù)據(jù)集市之間共享 通用的兩類架構(gòu) 獨(dú)立數(shù)據(jù)集市 非獨(dú)立數(shù)據(jù)集市簡要概述簡要概述各個(gè)數(shù)據(jù)集市之間數(shù)據(jù)存儲相互獨(dú)立37integratio

19、n * intelligence * insight測驗(yàn)測驗(yàn)1. 對于自頂向下的方法,下面那個(gè)表述是錯(cuò)的?對于自頂向下的方法,下面那個(gè)表述是錯(cuò)的?a. 數(shù)據(jù)倉庫中保存著從源系統(tǒng)抽取出來的原子數(shù)據(jù),在那里,數(shù)據(jù)被分派到單個(gè)或者多個(gè)不同的數(shù)據(jù)集市中去 b .它的實(shí)施比別的方法花費(fèi)較少的成本和時(shí)間c. 它強(qiáng)制各個(gè)數(shù)據(jù)集市之間數(shù)據(jù)的一致性和標(biāo)準(zhǔn)性2. 數(shù)據(jù)倉庫設(shè)計(jì)的主要目標(biāo)是:數(shù)據(jù)倉庫設(shè)計(jì)的主要目標(biāo)是: a. 高效的查詢處理 b. 高效的事務(wù)處理 c. None3.在獨(dú)立的數(shù)據(jù)集市中,數(shù)據(jù)和維度可在多個(gè)數(shù)據(jù)集市之間共享。在獨(dú)立的數(shù)據(jù)集市中,數(shù)據(jù)和維度可在多個(gè)數(shù)據(jù)集市之間共享。 True/False 4

20、. ODS可提供當(dāng)前最新數(shù)據(jù)可提供當(dāng)前最新數(shù)據(jù) True/False 5. 非獨(dú)立數(shù)據(jù)集市中的數(shù)據(jù)獲取更為復(fù)雜。非獨(dú)立數(shù)據(jù)集市中的數(shù)據(jù)獲取更為復(fù)雜。 True/False OPTION BNONEFalseTrueTrue38integration * intelligence * insightETL 過程過程模塊模塊339integration * intelligence * insight構(gòu)建數(shù)據(jù)倉庫抽取, 轉(zhuǎn)換,加載數(shù)據(jù)(ETL)抽取數(shù)據(jù)抽取技術(shù)抽取工具構(gòu)建數(shù)據(jù)倉庫的步驟 40integration * intelligence * insightintegration * inte

21、lligence * insight抽取階段抽取階段分析源數(shù)據(jù),選擇抽取工具抽取數(shù)據(jù)一般要用源系統(tǒng)的語言編寫代碼 (例如 PL/SQL,VB Script,或者 COBOL)。抽取工具能夠自動生成源系統(tǒng)的代碼。使用抽取工具比手工編寫簡單的多。需要預(yù)處理和在加工過程。例如,在抽取階段前,可能需要對數(shù)據(jù)排序或者調(diào)用一個(gè)含有某種規(guī)則的函數(shù)處理數(shù)據(jù)。41integration * intelligence * insight轉(zhuǎn)換階段轉(zhuǎn)換階段數(shù)據(jù)質(zhì)量的重要性創(chuàng)建業(yè)務(wù)規(guī)則使用工具創(chuàng)建可復(fù)用的轉(zhuǎn)換模塊或?qū)ο蠛唵螖?shù)據(jù)轉(zhuǎn)換包括包含日期,數(shù)字和字符轉(zhuǎn)化的轉(zhuǎn)換增加代理鍵整合的數(shù)據(jù)源集驗(yàn)證1對1 和1對多的關(guān)系42i

22、ntegration * intelligence * insight加載階段加載階段插入語句會生成日志建議批量加載 全量刷新數(shù)據(jù)前應(yīng)清空目標(biāo)表 索引管理 刪除,重建索引43數(shù)據(jù)刷新階段 處理緩慢變化維自動抽取-轉(zhuǎn)換-加載周期.增量事實(shí)表抽取.清理和歸檔數(shù)據(jù).44integration * intelligence * insight抽取數(shù)據(jù)抽取過程從遺留數(shù)據(jù)系統(tǒng)或其他數(shù)據(jù)源系統(tǒng)抽取數(shù)據(jù)。完成抽取后,數(shù)據(jù)被放在臨時(shí)存儲區(qū),在臨時(shí)存儲區(qū)將做數(shù)據(jù)的清洗。源數(shù)據(jù)可能來自單個(gè)的數(shù)據(jù)源或多個(gè)數(shù)據(jù)源。如果源數(shù)據(jù)是多個(gè)數(shù)據(jù)源,那么需要使用專門連接多個(gè)數(shù)據(jù)源的連接器。如果數(shù)據(jù)來自單個(gè)數(shù)據(jù)源,那么它可以是OLT

23、P系統(tǒng)或文本文件。詳細(xì)抽取過程詳細(xì)抽取過程 45integration * intelligence * insight抽取數(shù)據(jù)工具有規(guī)范化的方法和文檔.工具提供了一種非常簡易的方法來執(zhí)行數(shù)據(jù)的抽取,往往就是用鼠標(biāo)拖放操作就可以完成。數(shù)據(jù)抽取過程,可通過手工代碼或使用抽取工具來完成。定制代碼抽?。ㄈ鏟L/SQL腳本)和使用抽取工具的優(yōu)缺點(diǎn)46integration * intelligence * insight抽取數(shù)據(jù)手工編碼可以節(jié)省成本,因?yàn)镻L/SQL是數(shù)據(jù)庫系統(tǒng)已經(jīng)提供的只有當(dāng)程序員很了解數(shù)據(jù)的體系結(jié)構(gòu)的時(shí)候,才使用手工編碼方式抽取數(shù)據(jù)47integration * intellige

24、nce * insight抽取技術(shù)全量抽取.用從源系統(tǒng)抽取的數(shù)據(jù)定期的更新整個(gè)數(shù)據(jù)倉庫。應(yīng)用系統(tǒng)所有的數(shù)據(jù)從源系統(tǒng)抽取來,然后加載到數(shù)據(jù)倉庫中。這種方式從數(shù)據(jù)源到數(shù)據(jù)倉庫的網(wǎng)絡(luò)負(fù)擔(dān)沉重。但是這種機(jī)制是比較容易實(shí)現(xiàn)和維護(hù)的。抽取方法. 48integration * intelligence * insight抽取技術(shù)變化數(shù)據(jù)抽取僅僅新近插入或者修改的源系統(tǒng)數(shù)據(jù)才被抽去或者加載到倉庫中。由于傳輸?shù)臄?shù)據(jù)少,這種方法使用的網(wǎng)絡(luò)負(fù)載很小。這種方法需要復(fù)雜的代碼來確定,什么時(shí)候新數(shù)據(jù)記錄要被插入到數(shù)據(jù)倉庫,和什么時(shí)候數(shù)據(jù)倉庫數(shù)據(jù)記錄需要被更新。抽取方法49integration * intelligen

25、ce * insightintegration * intelligence * insight抽取技術(shù)手工代碼開發(fā)經(jīng)驗(yàn)代碼中創(chuàng)建頭以及字段注釋堅(jiān)持命名標(biāo)準(zhǔn) 測試所有代碼-包括單元測試和系統(tǒng)測試為所有的工作建立文檔50抽取數(shù)據(jù)源系統(tǒng)平臺和數(shù)據(jù)庫.工具能在所有類型的計(jì)算機(jī)平臺上,訪問所有的數(shù)據(jù)源可調(diào)用的抽取組件或可重用功能使用可調(diào)用的抽取模塊或可重用功能,可降低數(shù)據(jù)抽取過程里的技術(shù)難度。選擇抽取工具的標(biāo)準(zhǔn) 51integration * intelligence * insightintegration * intelligence * insight抽取工具抽取工具包括Apertus Carl

26、eton公司的 PassportEvolutionary Technologies公司的 ETL Extract.Platinum公司的InfoPump52integration * intelligence * insight數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換53數(shù)據(jù)轉(zhuǎn)換-數(shù)據(jù)質(zhì)量的重要性數(shù)據(jù)質(zhì)量的重要性.-轉(zhuǎn)換轉(zhuǎn)換-數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換: 問題和解決方法問題和解決方法-轉(zhuǎn)換技術(shù)轉(zhuǎn)換技術(shù)-轉(zhuǎn)換工具轉(zhuǎn)換工具54integration * intelligence * insight數(shù)據(jù)質(zhì)量的重要性數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量:在數(shù)據(jù)轉(zhuǎn)換階段之前,數(shù)據(jù)的質(zhì)量問題就應(yīng)該被關(guān)注。一旦完成數(shù)據(jù)轉(zhuǎn)換之后,目標(biāo)數(shù)據(jù)倉庫中的數(shù)據(jù)應(yīng)該盡可能少

27、地進(jìn)行改動,這樣可以減少源數(shù)據(jù)和目標(biāo)數(shù)據(jù)的不一致性。55integration * intelligence * insightintegration * intelligence * insight確保數(shù)據(jù)質(zhì)量確保數(shù)據(jù)質(zhì)量 高質(zhì)量數(shù)據(jù)特點(diǎn)高質(zhì)量數(shù)據(jù)特點(diǎn)-精確精確-完整完整-一致一致 -唯一唯一-及時(shí)及時(shí)56integration * intelligence * insight確保數(shù)據(jù)質(zhì)量確保數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量工具,可以幫助數(shù)據(jù)倉庫開發(fā)團(tuán)隊(duì)定位和更正數(shù)數(shù)據(jù)質(zhì)量工具,可以幫助數(shù)據(jù)倉庫開發(fā)團(tuán)隊(duì)定位和更正數(shù)據(jù)錯(cuò)誤據(jù)錯(cuò)誤.源數(shù)據(jù)或目標(biāo)庫數(shù)據(jù)都可以更正。但是當(dāng)僅僅對數(shù)據(jù)倉庫里的數(shù)據(jù)進(jìn)行更正時(shí),容易發(fā)生數(shù)

28、據(jù)的不一致,這屬于數(shù)據(jù)的同步問題。57integration * intelligence * insight數(shù)據(jù)質(zhì)量工具數(shù)據(jù)質(zhì)量工具盡管臟數(shù)據(jù)是數(shù)據(jù)倉庫建造中存在的最大問題,但是一些研究表明,數(shù)據(jù)質(zhì)量投資一直在整個(gè)倉庫開銷中占據(jù)較小的份額。 下面是一些數(shù)據(jù)質(zhì)量工具:DataFlux. Data Quality Workbench.Pine Cone Systems. Content Tracker.Prism. Quality Manager.Vality Technology. Integrity Data Reengineering58轉(zhuǎn)換轉(zhuǎn)換轉(zhuǎn)換 :數(shù)據(jù)抽取完成后,需要將數(shù)據(jù)進(jìn)行轉(zhuǎn)換。

29、抽取的數(shù)據(jù)放在數(shù)據(jù)準(zhǔn)備區(qū),在這里將完成數(shù)據(jù)的轉(zhuǎn)換,如數(shù)據(jù)清洗操作等。在轉(zhuǎn)換階段,使用清洗工具完成數(shù)據(jù)的轉(zhuǎn)換。轉(zhuǎn)換后,數(shù)據(jù)將放到傳輸區(qū)。59integration * intelligence * insightintegration * intelligence * insight數(shù)據(jù)轉(zhuǎn)換:問題數(shù)據(jù)轉(zhuǎn)換:問題來自遺留系統(tǒng)的數(shù)據(jù)通常存在的問題是:來自遺留系統(tǒng)的數(shù)據(jù)通常存在的問題是:某些代碼或特殊字符不一致或不正確的使用單個(gè)字段被用于非官方或非文檔的目的重復(fù)代碼.數(shù)據(jù)進(jìn)化.遺漏的,錯(cuò)誤的,重復(fù)的值,60integration * intelligence * insight數(shù)據(jù)轉(zhuǎn)換的問題和解決方法

30、數(shù)據(jù)轉(zhuǎn)換的問題和解決方法為了確保數(shù)據(jù)被正確加載,有如下幾種解決方法交叉統(tǒng)計(jì)檢查-一種數(shù)據(jù)質(zhì)量的標(biāo)準(zhǔn)模板,可通過比較模版中的規(guī)范,確定數(shù)據(jù)正確與否。.人工檢查-選擇某種取樣方式對數(shù)據(jù)進(jìn)行采樣,之后對樣例進(jìn)行人工檢查。過程驗(yàn)證-生成驗(yàn)證腳本,這些腳本可以確定錯(cuò)誤數(shù)據(jù),將錯(cuò)誤數(shù)據(jù)隔離開來。61轉(zhuǎn)換技術(shù)字段拆分和合并字段拆分和合并 : 源系統(tǒng)的某單個(gè)物理字段有時(shí)候需要拆分到目標(biāo)庫中的幾個(gè)字段。幾個(gè)源系統(tǒng)的字段有時(shí)候需要在目標(biāo)庫中合并為1個(gè)字段。 Address field# 123 ABC Street,DEF City,Republic of GHNo : 123 Street :ABC STREE

31、TCity :DEFCountry:GH62integration * intelligence * insightintegration * intelligence * insight轉(zhuǎn)換技術(shù)標(biāo)準(zhǔn)化標(biāo)準(zhǔn)化: 將數(shù)據(jù)標(biāo)準(zhǔn)化,在個(gè)別數(shù)據(jù)上應(yīng)用數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)則,來提高源數(shù)據(jù)庫和目標(biāo)庫的一致性。System AOrder Date05 August 2007-System BOrder Date08-08-07System AOrder DateAugust 05 2007-System BOrder DateAugust 08 200763integration * intelligence *

32、insight轉(zhuǎn)換技術(shù)消除重復(fù)消除重復(fù): 定義一些規(guī)則,消除重復(fù)的客戶或產(chǎn)品。如果2個(gè)或以上的記錄重復(fù),那么這些重復(fù)記錄應(yīng)該合并成一條記錄。System ACustomer Name :John W Istin-System BCustomer Name :John William IstinCustomer Name :John William Istin64integration * intelligence * insight轉(zhuǎn)換工具轉(zhuǎn)換工具一些轉(zhuǎn)換工具:一些轉(zhuǎn)換工具:Apertus Carleton. Enterprise/Integrarot.Data Mirror. Transfo

33、rmation Server.Informatica. Power Mart Designer.65加載加載66integration * intelligence * insight數(shù)據(jù)加載-加載數(shù)據(jù)到數(shù)據(jù)倉庫里加載數(shù)據(jù)到數(shù)據(jù)倉庫里-創(chuàng)建加載過程創(chuàng)建加載過程-加載數(shù)據(jù)加載數(shù)據(jù)-加載數(shù)據(jù)的后續(xù)處理加載數(shù)據(jù)的后續(xù)處理67integration * intelligence * insightintegration * intelligence * insight加載數(shù)據(jù)到倉庫數(shù)據(jù)經(jīng)過轉(zhuǎn)換后,將被加載到數(shù)據(jù)倉庫中。.數(shù)據(jù)加載器數(shù)據(jù)加載器:數(shù)據(jù)加載器將轉(zhuǎn)換后的數(shù)據(jù)加載到數(shù)據(jù)倉庫中數(shù)據(jù)加載器將轉(zhuǎn)換后的

34、數(shù)據(jù)加載到數(shù)據(jù)倉庫中. 如果這些要加載的數(shù)據(jù)在相同的RDBMS引擎里,可以使用存儲過程來加載數(shù)據(jù)到倉庫中。68數(shù)據(jù)加載到倉庫源數(shù)據(jù)源數(shù)據(jù) 臨時(shí)存儲區(qū)臨時(shí)存儲區(qū) 數(shù)據(jù)倉庫數(shù)據(jù)倉庫抽取加載69integration * intelligence * insight加載數(shù)據(jù)到倉庫 數(shù)據(jù)倉庫模型:指的是維度模型(維度和事實(shí))。 臨時(shí)存儲區(qū):它指的是數(shù)據(jù)準(zhǔn)備清洗的工作空間。這是為了減少數(shù)據(jù)準(zhǔn)備所需要時(shí)間而設(shè)立的。 源數(shù)據(jù)區(qū):可以是平面文件,oracle表,以及其他形式的數(shù)據(jù)。70integration * intelligence * insight構(gòu)建加載過程我們可以使用下列方式進(jìn)行數(shù)據(jù)加載我們可以使

35、用下列方式進(jìn)行數(shù)據(jù)加載:PL/SQL 腳本腳本SQL Loader 處理平面文件處理平面文件ETL 工具工具71integration * intelligence * insight我們使用SQL Loader來直接導(dǎo)文本文件到表中。 SQL Loader可以做批量加載。SQL Loader可以加載兩種記錄格式的文件。變長記錄格式的文件固定長度記錄格式的文件使用SQL Loader來加載數(shù)據(jù)72integration * intelligence * insightSource A part ASource C part CSource B part BABCABC分析分析操作操作用戶視圖用

36、戶視圖抽取抽取轉(zhuǎn)換轉(zhuǎn)換交易數(shù)據(jù)分類交易數(shù)據(jù)分類構(gòu)建數(shù)據(jù)倉庫構(gòu)建數(shù)據(jù)倉庫73integration * intelligence * insightETL 工具下面是流行的下面是流行的ETL工具:工具:Oralce Warehouse Builder.Informatica.Sagent.SAS Warehouse Administrator.74integration * intelligence * insightETL 工具Oracle Warehouse Builder 關(guān)鍵特性關(guān)鍵特性 方便易用方便易用-圖形界面圖形界面.向?qū)?qū)動界面向?qū)?qū)動界面.通過通用倉庫建模(通過通用倉庫建模(C

37、WM)集成元數(shù)據(jù))集成元數(shù)據(jù).兼容兼容 Oracle 8i.可使用預(yù)定義的轉(zhuǎn)換庫可使用預(yù)定義的轉(zhuǎn)換庫75integration * intelligence * insightETL 工具工具Oracle Warehouse Builder 關(guān)鍵特性關(guān)鍵特性 圖形映射和轉(zhuǎn)換設(shè)計(jì)圖形映射和轉(zhuǎn)換設(shè)計(jì).自動生成代碼自動生成代碼.支持異構(gòu)數(shù)據(jù)源支持異構(gòu)數(shù)據(jù)源.76integration * intelligence * insight元數(shù)據(jù) 定義數(shù)據(jù)倉庫的元數(shù)據(jù) 元數(shù)據(jù)的開發(fā)策略 元數(shù)據(jù)的類型檢查 元數(shù)據(jù)管理工具 通用數(shù)據(jù)倉庫元數(shù)據(jù)77integration * intelligence * insi

38、ght元數(shù)據(jù)什么是元數(shù)據(jù)什么是元數(shù)據(jù)? 傳統(tǒng)定義是:它是關(guān)于數(shù)據(jù)的數(shù)據(jù) 它用抽象的形式描述倉庫的結(jié)構(gòu)和內(nèi)容。78integration * intelligence * insight元數(shù)據(jù) 元數(shù)據(jù)是對數(shù)據(jù)的綜合和概括 元數(shù)據(jù)提供數(shù)據(jù)項(xiàng)的格式和名稱 元數(shù)據(jù)提供數(shù)據(jù)的上下文. 提供數(shù)據(jù)值的取值范圍 數(shù)據(jù)元素之間的關(guān)系 數(shù)據(jù)的業(yè)務(wù)規(guī)則 數(shù)據(jù)的來源 79integration * intelligence * insight元數(shù)據(jù)的重要性 元數(shù)據(jù)建立了數(shù)據(jù)倉庫數(shù)據(jù)的上下文元數(shù)據(jù)建立了數(shù)據(jù)倉庫數(shù)據(jù)的上下文 元數(shù)據(jù)有助于數(shù)據(jù)分析過程元數(shù)據(jù)有助于數(shù)據(jù)分析過程 元數(shù)據(jù)是對數(shù)據(jù)轉(zhuǎn)換進(jìn)行審計(jì)追蹤的一種形式元數(shù)據(jù)

39、是對數(shù)據(jù)轉(zhuǎn)換進(jìn)行審計(jì)追蹤的一種形式 元數(shù)據(jù)改進(jìn)和維護(hù)數(shù)據(jù)的質(zhì)量元數(shù)據(jù)改進(jìn)和維護(hù)數(shù)據(jù)的質(zhì)量80integration * intelligence * insight這是將抽取得到的數(shù)據(jù),轉(zhuǎn)換成指定格式的過程要點(diǎn)概述要點(diǎn)概述 這是從遺留系統(tǒng)或其他數(shù)據(jù)源抽取數(shù)據(jù)的過程.轉(zhuǎn)換后的數(shù)據(jù)加載到數(shù)據(jù)倉庫中ETL 過程 抽取數(shù)據(jù) 轉(zhuǎn)換數(shù)據(jù) 加載數(shù)據(jù) 構(gòu)建倉庫技術(shù) 抽取技術(shù) 轉(zhuǎn)換技術(shù) 加載技術(shù)ETL 工具元數(shù)據(jù)及其重要性元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù)。它對于轉(zhuǎn)換數(shù)據(jù)來講是很重要的。81integration * intelligence * insight測驗(yàn)測驗(yàn)1. 下面哪一個(gè)是下面哪一個(gè)是OLAP工具工具? Or

40、acle ExpressOWBCognosMicrostrategy 2.下面哪一個(gè)是ETL開發(fā)過程的目標(biāo)?模塊化和可復(fù)用代碼自動文檔化執(zhí)行過程完全元數(shù)據(jù)記錄過程All of the above3 . 關(guān)于數(shù)據(jù)的數(shù)據(jù)應(yīng)該保存在:RDBMSDBMSMetadata(元數(shù)據(jù))4. 手工編碼的數(shù)據(jù)抽取技術(shù),提供了一種節(jié)省成本的數(shù)據(jù)抽取方式 True/False5. 如何處理緩慢變化維度?人工處理使用臨時(shí)存儲區(qū)Both of the above OWBALL THE ABOVEMETA DATATrueBOTH82integration * intelligence * insight對比數(shù)據(jù)倉庫和數(shù)

41、據(jù)集市對比數(shù)據(jù)倉庫和數(shù)據(jù)集市模塊483integration * intelligence * insight83integration * intelligence * insightintegration * intelligence * insight包含的主題包含的主題本模塊提供以下內(nèi)容 什么是數(shù)據(jù)集市 數(shù)據(jù)集市建設(shè)方法 自頂向下法 自底向上法 混合法 數(shù)據(jù)倉庫概念模型的例子 星型模型 雪花模型 事實(shí)星座8484integration * intelligence * insight數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)集市是: 企業(yè)的一個(gè)功能片斷 ,具有有限的安全性、地域空間、性能或業(yè)務(wù)范圍,采用和數(shù)

42、據(jù)倉庫一致的建模方法和信息交付方法。85integration * intelligence * insight數(shù)據(jù)集市數(shù)據(jù)集市- 建立方法建立方法 物理數(shù)據(jù)倉庫 (物理的) 數(shù)據(jù)倉庫 - 數(shù)據(jù)集市 數(shù)據(jù)集市-數(shù)據(jù)倉庫 數(shù)據(jù)倉庫和數(shù)據(jù)集市并行建立86integration * intelligence * insight自頂向下自頂向下 法法SOURCE DATAExternalExternalDataDataOperational DataOperational DataStaging AreaStaging AreaData WarehouseData WarehouseData Mart

43、sData MartsPhysical Data Warehouse:Physical Data Warehouse:Data Warehouse - Data MartsData Warehouse - Data Marts87integration * intelligence * insight自底向上法自底向上法SOURCE DATAE Ex xt te er rn na al lD Da at ta aO Op pe er ra at ti io on na al l D Da at ta aS St ta ag gi in ng g A Ar re ea aD Da at ta a

44、 W Wa ar re eh ho ou us se eD Da at ta a M Ma ar rt ts sP Ph hy ys si ic ca al l D Da at ta a W Wa ar re eh ho ou us se e: :D Da at ta a M Ma ar rt ts s - - - D Da at ta a W Wa ar re eh ho ou us se e88integration * intelligence * insight混合法混合法SOURCE DATAExternalExternalDataDataOperational DataOperat

45、ional DataStaging AreaStaging AreaData WarehouseData WarehouseData MartsData MartsPhysical Data Warehouse:Physical Data Warehouse:Parallel Data Warehouse & Data MartsParallel Data Warehouse & Data Marts89integration * intelligence * insight數(shù)據(jù)倉庫概念模型數(shù)據(jù)倉庫建模: 維度和度量 星型模型星型模型 雪花模型雪花模型 事實(shí)星座事實(shí)星座90integratio

46、n * intelligence * insight星型模型的例子星型模型的例子 time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcityprovince_or_streetcountrylocationSales Fact Table time_key item_key branch_key location_key units_sold dollars_sold avg_salesMeasuresitem_keyitem_namebrandtypesupplier_typeitembranch_keybranc

47、h_namebranch_typebranch91integration * intelligence * insight雪花模型的例子雪花模型的例子time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcity_keylocationSales Fact Table time_key item_key branch_key location_key units_sold dollars_sold avg_salesMeasuresitem_keyitem_namebrandtypesupplier_keyitembra

48、nch_keybranch_namebranch_typebranchsupplier_keysupplier_typesuppliercity_keycityprovince_or_streetcountrycity92integration * intelligence * insight事實(shí)星座的例子事實(shí)星座的例子time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcityprovince_or_streetcountrylocationSales Fact Tabletime_key item_key bran

49、ch_key location_key units_sold dollars_sold avg_salesMeasuresitem_keyitem_namebrandtypesupplier_typeitembranch_keybranch_namebranch_typebranchShipping Fact Tabletime_key item_key shipper_key from_location to_location dollars_cost units_shippedshipper_keyshipper_namelocation_keyshipper_typeshipper93i

50、ntegration * intelligence * insightintegration * intelligence * insight在這個(gè)模塊里,我們看到了如下主題.什么是數(shù)據(jù)集市?建立數(shù)據(jù)集市的各種方法 自頂向下法 自底向上法 混合法概念模型采用 星型模型 雪花模型 事實(shí)星座建模技術(shù)的例子要點(diǎn)概述要點(diǎn)概述94和某個(gè)主題域相關(guān)的數(shù)據(jù)倉庫的子集數(shù)據(jù)倉庫到數(shù)據(jù)集市數(shù)據(jù)倉庫和數(shù)據(jù)集市并行建立數(shù)據(jù)集市到數(shù)據(jù)倉庫單一的事實(shí)表被多個(gè)維表包圍單一的事實(shí)表被規(guī)范化的維表包圍一個(gè)或多個(gè)事實(shí)表被維表包圍94integration * intelligence * insight測驗(yàn)測驗(yàn)1. 那種數(shù)據(jù)倉庫

51、模式,規(guī)范化維表以減少數(shù)據(jù)冗余?那種數(shù)據(jù)倉庫模式,規(guī)范化維表以減少數(shù)據(jù)冗余?Star Schema Snowflake Schema2. 數(shù)據(jù)集市經(jīng)常有多個(gè)主題域?數(shù)據(jù)集市經(jīng)常有多個(gè)主題域? True/False3. 在事實(shí)星座里,有多個(gè)事實(shí)表共享相同的維表?在事實(shí)星座里,有多個(gè)事實(shí)表共享相同的維表? False/True4. 一個(gè)企業(yè)級數(shù)據(jù)倉庫,可以通過合并數(shù)據(jù)集市來建立?一個(gè)企業(yè)級數(shù)據(jù)倉庫,可以通過合并數(shù)據(jù)集市來建立? False/True5.下面哪個(gè)是數(shù)據(jù)倉庫的切入點(diǎn)?下面哪個(gè)是數(shù)據(jù)倉庫的切入點(diǎn)?the entry points in the Warehouse 1.Fact table

52、s 2.Dimension TablesSnow Flake SchemaFalseTrueTrueDimension95integration * intelligence * insightOLAP 概念概念模塊 596integration * intelligence * insightOLAP 定義定義OLAP 聯(lián)機(jī)分析處理聯(lián)機(jī)分析處理 OLAP 可以讓分析人員、管理人員和主管人員能夠快速、一致和交互地去訪問信息的各個(gè)方面,從而深入了解數(shù)據(jù). OLAP 轉(zhuǎn)換原始數(shù)據(jù),使其可以按照用戶理解的方式,從維度上反應(yīng)企業(yè)的真實(shí)情況.integration * intelligence * in

53、sight97integration * intelligence * insightOLAP 特征特征integration * intelligence * insight交互性安全可視化定制化OLAP98integration * intelligence * insight數(shù)據(jù)倉庫數(shù)據(jù)倉庫vs. OLAPOLAP 側(cè)重于l將數(shù)據(jù)轉(zhuǎn)化成信息,以滿足最終客戶的分析需求l數(shù)據(jù)模型和計(jì)算過程是一致的lOLTP 和 數(shù)據(jù)倉庫提供源數(shù)據(jù),而OLAP將數(shù)據(jù)轉(zhuǎn)成信息integration * intelligence * insight99integration * intelligence * in

54、sightOLAP 功能功能 OLAP 的功能具有下面特征 動態(tài)多維分析企業(yè)的整合數(shù)據(jù),支持最終用戶分析,指導(dǎo)所采取的行動 計(jì)算和模型可以通過層次和/或跨成員,來進(jìn)行跨維度應(yīng)用 通過不同的時(shí)序時(shí)段,來進(jìn)行趨勢分析 在屏幕上進(jìn)行切片 往下鉆取整合數(shù)據(jù)到更深的層次 達(dá)到底層詳細(xì)數(shù)據(jù) 旋轉(zhuǎn)到新的維度進(jìn)行比較查看integration * intelligence * insight100integration * intelligence * insightOLAP 功能功能 OLAP 通??刹捎肅/S模式在多用戶環(huán)境下應(yīng)用,不管數(shù)據(jù)庫的數(shù)據(jù)量和復(fù)雜性,能對查詢提供一致快速的響應(yīng) OLAP 通過比較

55、、個(gè)性化的查看,以及在各種“模擬”數(shù)據(jù)模型假設(shè)下,透徹的分析歷史和預(yù)測數(shù)據(jù),從而幫助用戶綜合業(yè)務(wù)信息integration * intelligence * insight101integration * intelligence * insightOLAP 功能需求功能需求l快速訪問和計(jì)算l對于保持一個(gè)分析人員的思路來說,速度是至關(guān)重要的l分析人員需要瀏覽需要聚合和卷積的數(shù)據(jù).l強(qiáng)大的分析能力l除了簡單的數(shù)據(jù)聚合和卷積,OLAP存在許多復(fù)雜的計(jì)算integration * intelligence * insight102integration * intelligence * insigh

56、tOLAP功能需求功能需求靈活性 展示方式: 圖形, 圖表, 行或者列定義: 數(shù)值的格式, 命名更改分析: 銷售人員分析數(shù)據(jù),而不于市場人員界面: 不同內(nèi)容分節(jié)展示的報(bào)表外觀integration * intelligence * insight103integration * intelligence * insightOLAP-快速和選擇性的訪問匯總數(shù)據(jù)快速和選擇性的訪問匯總數(shù)據(jù)integration * intelligence * insightBudget Dir. ViewAd Hoc ViewPRODAccountingDept. Mgr. ViewDepartmentTimeA

57、ccounting Dir. View104integration * intelligence * insightOLAP 特征特征維度顯示立方體或者維度的能力層次公式或者鏈接integration * intelligence * insight105integration * intelligence * insightOLAP 維度維度較少維度的數(shù)據(jù)集通常想象成2個(gè)維度(行和列)增加第三個(gè)維度通常想象成一個(gè)立方體 (x,y 和z軸)增加第N個(gè)維度通常不太容易想象 . . .integration * intelligence * insight106integration * inte

58、lligence * insightOLAP 層次層次 聚合是層次的基礎(chǔ)層次是維度的一個(gè)屬性,它提供了將數(shù)據(jù)聚合在一起的一種方式.維度層次時(shí)間維具備層次的形式 年,期間,季度,月和周單一維度可以有多個(gè)層次產(chǎn)品組,客戶組等等,可以在同一個(gè)維度上進(jìn)行不同的卷積已售產(chǎn)品可能是被批量銷售或者零售的.integration * intelligence * insight107integration * intelligence * insightOLAP 公式公式 和鏈接和鏈接公式將數(shù)據(jù)轉(zhuǎn)化成信息聚合是最簡單的規(guī)則比率和趨勢是最復(fù)雜的規(guī)則定義數(shù)據(jù)數(shù)值, 非數(shù)值, 一個(gè)維度的數(shù)據(jù)屬性, 基于單元格的,

59、圖形的, 聲音定義鏈接以提供數(shù)據(jù)一致性結(jié)構(gòu)鏈接: 關(guān)于維度的結(jié)構(gòu)信息屬性鏈接: 映射屬性信息到某個(gè)維度內(nèi)容鏈接: 映射數(shù)據(jù)將數(shù)據(jù)和鏈接定義到公式里integration * intelligence * insight108integration * intelligence * insight多維分析多維分析 多維數(shù)據(jù)存儲 維度和變量 匯總數(shù)據(jù) 計(jì)算支持integration * intelligence * insightWk1Wk3Wk2109integration * intelligence * insight多維分析多維分析對比和關(guān)聯(lián)的報(bào)表 我的實(shí)際費(fèi)用和預(yù)算費(fèi)用相比是怎樣的? 勞

60、動成本費(fèi)用,和材料費(fèi)用相比是怎樣的? 薪金總額中,勞動成本增長了多少個(gè)百分點(diǎn)?integration * intelligence * insightExpenseDivision CDivision ALaborSuppliesTravelQtr1Qtr3Qtr2 1201151236075739287106110integration * intelligence * insight多維分析多維分析異常和趨勢報(bào)表 哪項(xiàng)費(fèi)用低于預(yù)算5%或更多,同時(shí)超過總費(fèi)用的2%? 顯示在過去6個(gè)月里趨勢為負(fù)的所有費(fèi)用 過去52周里,費(fèi)用組合如何變化的?integration * intelligence

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論