數(shù)據(jù)倉庫與商業(yè)智能概述

數(shù)據(jù)倉庫與商業(yè)智能-4-20數(shù)據(jù)倉庫與商業(yè)智能概述第1頁主要內(nèi)容數(shù)據(jù)倉庫起源和發(fā)展數(shù)據(jù)倉庫定義和特點(diǎn)數(shù)據(jù)倉庫體系結(jié)構(gòu)數(shù)據(jù)倉庫建設(shè)方法商業(yè)智能數(shù)據(jù)倉庫與商業(yè)智能概述第2頁數(shù)據(jù)倉庫起源和發(fā)展數(shù)據(jù)倉庫與商業(yè)智能概述第3頁數(shù)據(jù)管理歷史人工管理方式這一時(shí)期是在20世紀(jì)50年代中期以前，這一階段計(jì)算機(jī)應(yīng)用主要用于科學(xué)計(jì)算，外存只有紙帶、磁帶、卡片等，數(shù)據(jù)處理方式基本上是批處理。這一時(shí)期數(shù)據(jù)管理特點(diǎn)是：數(shù)據(jù)不保留；沒有專用數(shù)據(jù)管理軟件，每個(gè)應(yīng)用都必須自己完成存放結(jié)構(gòu)、存取方法、輸入輸出等數(shù)據(jù)管理功效；一組數(shù)據(jù)對(duì)應(yīng)一個(gè)應(yīng)用，這使得程序之間可能有重復(fù)數(shù)據(jù)。文件系統(tǒng)管理這一階段在20世紀(jì)50年代后期至60年代中后期，計(jì)算機(jī)應(yīng)用開始用于信息管理，因?yàn)閿?shù)據(jù)存放、檢索和維護(hù)等需求，使得對(duì)應(yīng)研究開展起來了，在硬件和軟件方面都得到了發(fā)展，磁盤磁鼓出現(xiàn)，操作系統(tǒng)也產(chǎn)生。數(shù)據(jù)庫系統(tǒng)（60年代末開始）關(guān)系數(shù)據(jù)庫之父E.F.Codd提出了關(guān)系模型(ER)，促進(jìn)了聯(lián)機(jī)事務(wù)處理(OLTP)發(fā)展，數(shù)據(jù)以表格形式而非文件方式存放。數(shù)據(jù)倉庫與商業(yè)智能概述第4頁數(shù)據(jù)庫到數(shù)據(jù)倉庫傳統(tǒng)數(shù)據(jù)庫環(huán)境中以數(shù)據(jù)庫為中心，數(shù)據(jù)資源組織方式單一；側(cè)重對(duì)數(shù)據(jù)管理，操作型處理（OLTP，聯(lián)機(jī)事務(wù)處理），關(guān)心是響應(yīng)時(shí)間，數(shù)據(jù)安全性和完整性；問題：“易進(jìn)不易出”

數(shù)據(jù)倉庫與商業(yè)智能概述第5頁數(shù)據(jù)庫到數(shù)據(jù)倉庫數(shù)據(jù)處理不停有新需求（聯(lián)機(jī)事務(wù)、批處理、決議分析）分析型處理（OLAP，聯(lián)機(jī)分析處理）

用于管理人員決議分析，經(jīng)常要訪問大量歷史數(shù)據(jù)，而極少對(duì)數(shù)據(jù)庫進(jìn)行寫操作，除非對(duì)數(shù)據(jù)庫進(jìn)行更新或裝入時(shí)。人們希望從中取得跟企業(yè)經(jīng)營效益緊密相關(guān)信息。數(shù)據(jù)倉庫與商業(yè)智能概述第6頁數(shù)據(jù)倉庫產(chǎn)生（1）數(shù)據(jù)集成（2）歷史數(shù)據(jù)應(yīng)用需求（3）查詢性能數(shù)據(jù)倉庫與商業(yè)智能概述第7頁數(shù)據(jù)集成企業(yè)全方面經(jīng)營數(shù)據(jù)OLTP分散在不一樣系統(tǒng)中(關(guān)鍵、信貸、國結(jié))外部數(shù)據(jù)(市場數(shù)據(jù)、競爭對(duì)手)集成數(shù)據(jù)建立關(guān)聯(lián)各業(yè)務(wù)系統(tǒng)之間業(yè)務(wù)事件聯(lián)絡(luò)統(tǒng)一（統(tǒng)一事實(shí)、維度）歷史數(shù)據(jù)普通全國股份制商業(yè)銀行一天交易流水在150W左右通常業(yè)務(wù)系統(tǒng)只保留當(dāng)前歷史數(shù)據(jù)查詢困難數(shù)據(jù)倉庫與商業(yè)智能概述第8頁數(shù)據(jù)集成數(shù)據(jù)一致化在很多情況下，大型企業(yè)會(huì)產(chǎn)生數(shù)據(jù)不一致情況數(shù)據(jù)倉庫數(shù)據(jù)要保持一致化和準(zhǔn)確性數(shù)據(jù)綜合各種不一樣粒度數(shù)據(jù)集成問題詳細(xì)粒度中等聚集高層聚集外部數(shù)據(jù)集成數(shù)據(jù)倉庫與商業(yè)智能概述第9頁查詢性能提升數(shù)據(jù)查詢效率OLTP系統(tǒng)面向數(shù)據(jù)維護(hù)數(shù)據(jù)倉庫面向數(shù)據(jù)查詢提升查詢功效為最主要目標(biāo)數(shù)據(jù)倉庫與商業(yè)智能概述第10頁發(fā)展動(dòng)力業(yè)務(wù)需求驅(qū)動(dòng)主要是詳細(xì)分析科學(xué)經(jīng)營市場活動(dòng)細(xì)化和實(shí)施等數(shù)據(jù)驅(qū)動(dòng)數(shù)據(jù)量不停擴(kuò)大需要相關(guān)技術(shù)全方面了解企業(yè)結(jié)論：以單一數(shù)據(jù)組織方式進(jìn)行組織數(shù)據(jù)庫，不能滿足新型數(shù)據(jù)處理多樣化要求，數(shù)據(jù)倉庫技術(shù)應(yīng)運(yùn)而生數(shù)據(jù)倉庫與商業(yè)智能概述第11頁數(shù)據(jù)倉庫概念和特征數(shù)據(jù)倉庫與商業(yè)智能概述第12頁數(shù)據(jù)倉庫概念數(shù)據(jù)倉庫（EDW，EnterpriseDataWareHouse）數(shù)據(jù)倉庫無非是全部數(shù)據(jù)集市集合

--RalphKimball數(shù)據(jù)倉庫無非是面向主題、集成、不一樣時(shí)間、穩(wěn)定數(shù)據(jù)集合方便支持管理決議--BillInmon數(shù)據(jù)倉庫是一個(gè)過程不是一個(gè)項(xiàng)目數(shù)據(jù)倉庫與商業(yè)智能概述第13頁數(shù)據(jù)倉庫特點(diǎn)面向主題數(shù)據(jù)所代表業(yè)務(wù)內(nèi)容劃分，而不是以應(yīng)用劃分集成數(shù)據(jù)所代表業(yè)務(wù)內(nèi)容劃分，而不是以應(yīng)用劃分不一樣時(shí)間數(shù)據(jù)按照時(shí)間組織，并存放在不一樣時(shí)間切片穩(wěn)定不允許對(duì)數(shù)據(jù)進(jìn)行更新，只允許初始加載和查詢數(shù)據(jù)倉庫與商業(yè)智能概述第14頁數(shù)據(jù)倉庫系統(tǒng)結(jié)構(gòu)數(shù)據(jù)倉庫與商業(yè)智能概述第15頁數(shù)據(jù)倉庫結(jié)構(gòu)OperationalDataStoreETL數(shù)據(jù)源DataWarehouse數(shù)據(jù)源數(shù)據(jù)源DataMartDataMartDataMart分析報(bào)表可視化數(shù)據(jù)挖掘ODS(OperationalDataStore):操作型數(shù)據(jù)存放區(qū)域ETL(ExtractTransferLoad):數(shù)據(jù)抽取轉(zhuǎn)換加載DW(DataWareHouse):數(shù)據(jù)倉庫DM(DataMart):數(shù)據(jù)集市元數(shù)據(jù)（MetaData）數(shù)據(jù)倉庫與商業(yè)智能概述第16頁數(shù)據(jù)源各種業(yè)務(wù)系統(tǒng)RDBMS文件系統(tǒng)如，銀行業(yè)中，關(guān)鍵系統(tǒng)、信貸系統(tǒng)、國結(jié)系統(tǒng)ERP系統(tǒng)數(shù)據(jù)倉庫與商業(yè)智能概述第17頁ODS（操作型數(shù)據(jù)存放區(qū)域）是一個(gè)數(shù)據(jù)倉庫混合形式，它包含及時(shí)、最近、面向主題和集成信息。是數(shù)據(jù)倉庫環(huán)境一個(gè)組成部分是操作型系統(tǒng)一個(gè)集成環(huán)境為決議支持系統(tǒng)提供當(dāng)前詳細(xì)數(shù)據(jù)查詢功效是面向主題、集成、經(jīng)常更新詳細(xì)數(shù)據(jù)數(shù)據(jù)倉庫與商業(yè)智能概述第18頁ETL（抽取轉(zhuǎn)換加載）數(shù)據(jù)倉庫數(shù)據(jù)是面向主題，而業(yè)務(wù)數(shù)據(jù)庫總是圍繞一個(gè)或幾個(gè)業(yè)務(wù)處理流程，所以到數(shù)據(jù)倉庫過程需要十分復(fù)雜數(shù)據(jù)整合過程。數(shù)據(jù)抽取數(shù)據(jù)轉(zhuǎn)換（一致化）數(shù)據(jù)加載作業(yè)控制數(shù)據(jù)倉庫與商業(yè)智能概述第19頁數(shù)據(jù)倉庫數(shù)據(jù)模型－多維數(shù)據(jù)模型粒度劃分（分割、匯總）FactTablefact1fact2fact3機(jī)構(gòu)粒度key機(jī)構(gòu)代碼地址聯(lián)絡(luò)人attributeDimensionDimensionDimension粒度代碼attributeattributeattribute粒度：1－日2－月3－年日期-12-31數(shù)據(jù)倉庫與商業(yè)智能概述第20頁數(shù)據(jù)集市數(shù)據(jù)集市是數(shù)據(jù)倉庫子集。假如數(shù)據(jù)倉庫是整個(gè)企業(yè)組織全部主題數(shù)據(jù)存放區(qū)，那么數(shù)據(jù)集市就是某一個(gè)主題數(shù)據(jù)存放領(lǐng)域。數(shù)據(jù)集市即是數(shù)據(jù)倉庫一個(gè)實(shí)現(xiàn)，也是實(shí)現(xiàn)數(shù)據(jù)倉庫主要過程，同時(shí)提供了分布式數(shù)據(jù)倉庫思想。數(shù)據(jù)倉庫與商業(yè)智能概述第21頁數(shù)據(jù)展現(xiàn)查詢報(bào)表多維分析（鉆取、切換）圖形數(shù)據(jù)倉庫與商業(yè)智能概述第22頁元數(shù)據(jù)元數(shù)據(jù)是關(guān)于數(shù)據(jù)數(shù)據(jù)，它描述了數(shù)據(jù)結(jié)構(gòu)、內(nèi)容、碼、索引等項(xiàng)內(nèi)容。元數(shù)據(jù)分類技術(shù)元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)數(shù)據(jù)倉庫與商業(yè)智能概述第23頁三個(gè)關(guān)鍵部分?jǐn)?shù)據(jù)倉庫與商業(yè)智能概述第24頁數(shù)據(jù)倉庫建設(shè)方法數(shù)據(jù)倉庫與商業(yè)智能概述第25頁數(shù)據(jù)倉庫建設(shè)－頻繁改變－面向企業(yè)中不一樣業(yè)務(wù)和用戶數(shù)據(jù)倉庫與商業(yè)智能概述第26頁數(shù)據(jù)倉庫建設(shè)策略自底向上策略：即數(shù)據(jù)集市方法，提供了靈活性，低花費(fèi)，并能快速回報(bào)投資。此方法關(guān)鍵是：從最關(guān)心部分開始，先以最少投資，完成企業(yè)當(dāng)前需求，取得最快回報(bào)，然后再不停擴(kuò)充，完善。數(shù)據(jù)倉庫與商業(yè)智能概述第27頁數(shù)據(jù)倉庫建設(shè)策略自頂向下策略：先建立一個(gè)全局?jǐn)?shù)據(jù)倉庫結(jié)構(gòu)，然后在此基礎(chǔ)上建立部門數(shù)據(jù)集市和個(gè)人數(shù)據(jù)倉庫。這是一個(gè)系統(tǒng)處理方案，能最大程度地降低集成問題，但開發(fā)周期長，費(fèi)用高，而且缺乏靈活性。數(shù)據(jù)倉庫與商業(yè)智能概述第28頁數(shù)據(jù)倉庫建設(shè)層次分析型應(yīng)用要求千差萬別，一個(gè)單一層次數(shù)據(jù)倉庫不能滿足全部分析需求。一個(gè)好處理方案：建立分層數(shù)據(jù)倉庫。操作型環(huán)境數(shù)據(jù)倉庫數(shù)據(jù)集市個(gè)人倉庫全局級(jí)部門級(jí)個(gè)人級(jí)數(shù)據(jù)倉庫與商業(yè)智能概述第29頁多層數(shù)據(jù)倉庫企業(yè)數(shù)據(jù)倉庫數(shù)據(jù)集市數(shù)據(jù)集市分布式數(shù)據(jù)集市定義高層數(shù)據(jù)模型模型提煉模型提煉遞增、進(jìn)化地開發(fā)數(shù)據(jù)倉庫數(shù)據(jù)倉庫與商業(yè)智能概述第30頁商業(yè)智能數(shù)據(jù)倉庫與商業(yè)智能概述第31頁商業(yè)智能商業(yè)智能，又稱商務(wù)智能，英文為BusinessIntelligence，簡寫為BI。起源于上世紀(jì)90年代。商業(yè)智能描述了一系列概念和方法，經(jīng)過應(yīng)用基于事實(shí)支持系統(tǒng)來輔助商業(yè)決議制訂。商業(yè)智能技術(shù)提供使企業(yè)快速分析數(shù)據(jù)技術(shù)和方法，包含搜集、管理和分析數(shù)據(jù)，將這些數(shù)據(jù)轉(zhuǎn)化為有用信息，然后分發(fā)到企業(yè)各處。

能夠說商務(wù)智能是一個(gè)可包含企業(yè)全部知識(shí)系統(tǒng)，服務(wù)于管理決議層或部門執(zhí)行經(jīng)理，幫助其進(jìn)行決議和分析。數(shù)據(jù)倉庫與商業(yè)智能概述第32頁商業(yè)智能結(jié)構(gòu)OLAP數(shù)據(jù)挖掘（DataMining）數(shù)據(jù)倉庫其它查詢和展現(xiàn)數(shù)據(jù)倉庫與商業(yè)智能概述第33頁商業(yè)智能功效統(tǒng)計(jì)選擇查詢展現(xiàn)關(guān)聯(lián)分析買債券，保本型理財(cái)監(jiān)視功效月營業(yè)額小于10萬元分店展示功效查找、排序、統(tǒng)計(jì)數(shù)據(jù)輸出打印/導(dǎo)出，圖形、Excel數(shù)據(jù)倉庫與商業(yè)智能概述第34頁商業(yè)智能實(shí)施步驟需求分析數(shù)據(jù)分析數(shù)據(jù)倉庫建模數(shù)據(jù)處理（ETL）BI展現(xiàn)(報(bào)表、圖形、OLAP)數(shù)據(jù)模擬測試系統(tǒng)完善改進(jìn)（迭代）數(shù)據(jù)倉庫與商業(yè)智能概述第35頁相關(guān)產(chǎn)品數(shù)據(jù)倉庫處理方案Teradata，IBM，Oracle….建模軟件ERwin，PowerDesigner…ETL軟件DataStage，Informatic…數(shù)據(jù)倉庫Teradata，Oracle，IBMDB2…BI軟件COGNOS，BO，Brio…數(shù)據(jù)倉庫與商業(yè)智能概述第36頁商業(yè)智能發(fā)展趨勢功效上含有可配置性、靈活性、可改變性