BI基礎概念培訓

讓數(shù)據(jù)變?yōu)樨敻?/p>

——商務智能平臺交流

目錄商務智能(BI)簡介介紹術語OLTP和OLAP的區(qū)別OLAP的整體框架數(shù)據(jù)倉庫的內(nèi)部結構數(shù)據(jù)立方和數(shù)據(jù)倉庫的關系多維數(shù)據(jù)集組成數(shù)據(jù)倉庫的維度表在OLAP里的表現(xiàn)形式。查詢立方什么是商務智能(BI)?現(xiàn)代化的業(yè)務操作，通常會產(chǎn)生大量的數(shù)據(jù)，如何從如此繁多的業(yè)務數(shù)據(jù)中提取有用的信息，然后根據(jù)這些信息來采取明智的行動，這是決策者面臨的最大問題，這也就是商務智能解決的問題。什么是商務智能(BI)?商業(yè)智能能夠輔助業(yè)務經(jīng)營決策，既可以是操作層的，也可以是戰(zhàn)術層和戰(zhàn)略層的決策。商業(yè)智能是對商業(yè)信息的搜集、管理和分析過程，目的是使企業(yè)的各級決策者獲得知識或洞察力（insight），促使他們做出對企業(yè)更有利的決策。理解商務智能目標：數(shù)據(jù)信息轉(zhuǎn)化為商務價值方法：轉(zhuǎn)儲、監(jiān)控、分析和展現(xiàn)海量數(shù)據(jù)過程：知識決策價值數(shù)據(jù)信息分析提煉指導創(chuàng)造行動落實什么是商務智能(BI)?商業(yè)智能的關鍵:是根據(jù)企業(yè)發(fā)展需要,建立業(yè)務模型,從許多來自不同的企業(yè)運作系統(tǒng)的數(shù)據(jù)中提取出有用的數(shù)據(jù)并進行清理，以保證數(shù)據(jù)的正確性.然后對數(shù)據(jù)經(jīng)過抽取（Extraction）、轉(zhuǎn)換（Transformation）和裝載（Loading），即ETL過程，合并到一個企業(yè)級的數(shù)據(jù)倉庫里，從而得到企業(yè)數(shù)據(jù)的一個全局視圖.在此基礎上利用合適的查詢和分析工具、數(shù)據(jù)挖掘工具、聯(lián)機分析處理（OLAP）工具等對其進行分析和處理（這時信息變?yōu)檩o助決策的知識），最后將知識呈現(xiàn)給管理者，為管理者的決策過程提供支持。BI的基本框架什么是商務智能(BI)?所需技術:ETL數(shù)據(jù)倉庫、聯(lián)機分析處理（OLAP）工具數(shù)據(jù)挖掘等技術。商務智能的實現(xiàn)涉及到軟件、硬件、咨詢服務及應用商務智能發(fā)展歷程1964年，一個叫MichaelS.ScottMorton的研究員在哈佛商業(yè)學院提出了“決策支持系統(tǒng)”的想法，這便是BI商務智能萌芽。20世紀70年代之后，當企業(yè)建立了大量的IT系統(tǒng)，信息已經(jīng)不再缺乏而是泛濫，而企業(yè)國際化、消費者需求的多樣化與苛刻、競爭對手數(shù)量的增加和競爭層次的提高，無不要求企業(yè)更加關注對企業(yè)內(nèi)部知識、外部信息的提煉和洞察，以保證企業(yè)決策的快速與準確。80年代，“商業(yè)智能”的標準是能容易地獲得想要的數(shù)據(jù)和信息。90年代是商業(yè)智能真正起步的階段。商務智能發(fā)展當前，商務智能（BI）市場正處于一個重要的轉(zhuǎn)型期進入二十一世紀，“應用”成為關鍵詞之一，商務智能的深入應用也成為業(yè)界關注的焦點2003年起，商務智能領域掀起并購熱潮BI受市場關關注的原因如何利用大量量數(shù)據(jù)進行決決策：ERP/SCM/CRM等產(chǎn)生大量地地數(shù)據(jù)，刺激激了BI投資，其目的的應用數(shù)據(jù)進進行決策績效管理成為為BI市場增長重要要因素：績績效管理是驅(qū)驅(qū)動商業(yè)智能能市場增長的的重要因素之之一，絕大多多數(shù)公司希望望在該領域做做出成績?nèi)找鎳栏竦男行袠I(yè)規(guī)范要求求：例如薩班班斯-奧克斯利(Sarbanes-Oxley)法等法案的頒頒布，也推動動了BI工具的接受和和認同商務智能的熱熱點應用財務績效評估盈利分析預算風險控制欺詐識別市場客戶關系管理理市場促銷市場細分品牌管理客戶忠誠度分分析客戶流失分析析產(chǎn)品及服務目目錄管理銷售銷售分析客戶管理銷售漏斗管理理需求預測關聯(lián)銷售分析析Web點擊流和銷售售分析運營供應鏈優(yōu)化IT運營優(yōu)化分銷商評估質(zhì)量控制內(nèi)部管理流程程優(yōu)化BI國內(nèi)應用l企業(yè)信息化整整體上處理基基礎建設階段段數(shù)據(jù)整合，規(guī)規(guī)劃基礎體系系架構，實施施基礎應用l多數(shù)企業(yè)BI應用處于較低低的層次報表查詢+初步分析l金融、電信、、保險等企業(yè)業(yè)起步早些BI應用的大好時時期正在到來來BI主要用途途BI具有三方面的的主要用途：：對組織的財務務和運營健康康狀況進行監(jiān)視。報告、分析工工具、關鍵性性能指標（KPI）和儀表板規(guī)范組織的運營從數(shù)據(jù)中挖掘掘出新的信息息同運營系統(tǒng)、、信息反饋系系統(tǒng)的雙向集集成BI對現(xiàn)有有系統(tǒng)的整合合基于現(xiàn)有業(yè)務務系統(tǒng)和歷史史數(shù)據(jù)通過對數(shù)據(jù)的的充分運用提提升現(xiàn)有系統(tǒng)統(tǒng)價值可以同時支持持多種不同的的數(shù)據(jù)庫平臺臺面向數(shù)據(jù)分析析而非過程跟跟蹤可以基于實時時數(shù)據(jù)也可以以基于非實時時數(shù)據(jù)商務智能系統(tǒng)統(tǒng)如何輔助決決策通過數(shù)據(jù)的整整合提供更加加全面的信息息通過預先計算算提供更快捷捷的速度通過OLAP技術可以非非常靈活的以以多種形式展展現(xiàn)數(shù)據(jù)，以以使管理者發(fā)發(fā)現(xiàn)問題通過數(shù)據(jù)挖掘掘模型（以歷歷史數(shù)據(jù)為基基礎）預測商商務的未來走走勢，為管理理者提供決策策支持商務智能應用用的范圍不局限于某一一個行業(yè)或局局限于具體的的業(yè)務面向的是數(shù)據(jù)據(jù)，不是過程程使用通用的分分析方法和模模型不局限于特定定的使用人Informationworker、KnowledgeWorker領導層和決策策層任何其他需要要使用數(shù)據(jù)和和報表的人受行業(yè)發(fā)展冷冷熱的影響不不大IT行業(yè)發(fā)展的時時候需要商務務智能IT行業(yè)冬天的時時候仍然需要要商務智能市場份額主要要由國際BI廠商占領為什么我們需需要商務智能能？我們們在在未未來來的的三三年年中中將將會會制制造造出出比比過過去去三三十十萬萬年年更更多多的的數(shù)數(shù)據(jù)據(jù)資資料料?。。。。。。蛹又葜荽蟠髮W學信信息息管管理理學學院院<<商業(yè)業(yè)周周刊刊>>統(tǒng)計計,54%的人人認認為為很很難難找找到到他他們們想想得得到到的的信信息息.43%的人人認認為為不不知知道道這這些些內(nèi)內(nèi)部部的的信信息息是是否否正正確確.77%的人人認認為為由由于于信信息息的的缺缺乏乏,很多多決決定定是是不不正正確確的的.61%的人人認認為為50%的決決定定是是拍拍腦腦袋袋來來的的.為什什么么我我們們需需要要商商務務智智能能？？在過過去去的的幾幾十十年年里里，，各各種種機機構構已已經(jīng)經(jīng)花花費費了了大大量量的的財財力力和和資資源源去去構構建建聯(lián)聯(lián)機機事事務務處處理理系系統(tǒng)統(tǒng)(OLTP)和資資源源計計劃劃系系統(tǒng)統(tǒng)(ERP)等各各種種系系統(tǒng)統(tǒng).不斷斷累累計計的的信信息息和和存存儲儲在在數(shù)據(jù)據(jù)倉倉庫庫中的的數(shù)數(shù)據(jù)據(jù)達達到到了了令令人人驚驚訝訝的的規(guī)規(guī)模模。。當這這些些系系統(tǒng)統(tǒng)極極大大地地改改善善了了信信息息的的自自動動處處理理能能力力時時，，也也造造就就了了很很多多““信信息息孤孤島島””(informationsilos)------大量量只只有有很很有有限限的的獲獲取取和和分分析析能能力力的的數(shù)數(shù)據(jù)據(jù)。。一一項項IBM的調(diào)調(diào)查查表表明明，，大大部部分分機機構構只只利利用用了了其其存存儲儲信信息息的的2%--4%。北京京市市管管委委IT狀況況應急急事事件件處處理理數(shù)數(shù)據(jù)據(jù)基礎礎地地理理信信息息數(shù)數(shù)據(jù)據(jù)視頻頻監(jiān)監(jiān)控控數(shù)數(shù)據(jù)據(jù)城管管通通平平臺臺數(shù)數(shù)據(jù)據(jù)井蓋蓋數(shù)數(shù)據(jù)據(jù)市政政設設施施數(shù)數(shù)據(jù)據(jù)環(huán)衛(wèi)衛(wèi)信信息息數(shù)數(shù)據(jù)據(jù)戶外外廣廣告告數(shù)數(shù)據(jù)據(jù)……視頻監(jiān)控數(shù)據(jù)應急事件處理數(shù)據(jù)基礎地理信息數(shù)據(jù)城管通平臺數(shù)據(jù)環(huán)衛(wèi)信息數(shù)據(jù)戶外廣告數(shù)據(jù)市政設施數(shù)據(jù)井蓋數(shù)據(jù)?為什什么么我我們們需需要要商商務務智智能能？？傳統(tǒng)統(tǒng)的的方方案案不不能能提提供供一一個個經(jīng)經(jīng)過過整整合合的的，，功功能能強強大大的的分分析析工工具具給給最最終終用用戶戶。。特特別別是是給給那那些些非非技技術術的的商商業(yè)業(yè)用用戶戶。。由由于于下下圖圖中中所所示示的的兩兩個個主主要要原原因因，，傳傳統(tǒng)統(tǒng)系系統(tǒng)統(tǒng)不不能能滿滿足足商商務務層層面面的的分分析析需需要要。。難以以獲獲得得的的信信息息未經(jīng)經(jīng)整整合合的的信信息息獲得得性性和和整整合合性性的的空空缺缺傳統(tǒng)統(tǒng)分分析析系系統(tǒng)統(tǒng)常常見見問問題題術語語介介紹紹數(shù)據(jù)據(jù)倉倉庫庫：：面面向向主主題題的的、、集集成成的的、、與與時時間間相相關關且且不不可可修修改改的的數(shù)數(shù)據(jù)據(jù)集集合合。。維度度：：維維度度是是分分析析中中描描述述性性的的分分類類，，通通過過它它可可以以將將度度量量值值分分離離出出來來進進行行分分析析度量量：：在在多多維維數(shù)數(shù)據(jù)據(jù)集集中中，，度度量量值值是是一一組組值值，，這這些些值值基基于于多多維維數(shù)數(shù)據(jù)據(jù)集集的的事事實實數(shù)數(shù)據(jù)據(jù)表表中中的的一一列列，，而而且且通通常常為為數(shù)數(shù)字字。。此此外外，，度度量量值值是是所所分分析析的的多多維維數(shù)數(shù)據(jù)據(jù)集集的的中中心心值值。。即即，，度度量量值值是是最最終終用用戶戶瀏瀏覽覽多多維維數(shù)數(shù)據(jù)據(jù)集集時時重重點點查查看看的的數(shù)數(shù)字字數(shù)數(shù)據(jù)據(jù)。。您您所所選選擇擇的的度度量量值值取取決決于于最最終終用用戶戶所所請請求求的的信信息息類類型型。。一一些些常常見見的的度度量量值值有有salescost、和productioncount等術語介介紹粒度：：數(shù)數(shù)據(jù)匯匯總的的層次次或深深度。。聚合：：聚聚合是是預先先計算算好的的數(shù)據(jù)據(jù)匯總總，由由于在在問題題提出出之前前已經(jīng)經(jīng)準備備了答答案，，聚合合可以以改進進查詢詢響應應時間間。切片：：由由一個個維的的一個個成員員限定定的分分區(qū)數(shù)數(shù)據(jù)，，稱為為一個個切片片。數(shù)據(jù)鉆鉆?。海鹤钭罱K用用戶從從常規(guī)規(guī)多維維數(shù)據(jù)據(jù)集、、虛擬擬多維維數(shù)據(jù)據(jù)集或或鏈接接多維維數(shù)據(jù)據(jù)集中中選擇擇單個個單元元，并并從該該單元元的源源數(shù)據(jù)據(jù)中檢檢索結結果集集以獲獲得更更詳細細的信信息，，這個個操作作過程程就是是數(shù)據(jù)據(jù)鉆取取。級別：：級級別是是維度度層次次結構構的一一個元元素。。級別別描述述了數(shù)數(shù)據(jù)的的層次次結構構，從從數(shù)據(jù)據(jù)的最最高（（匯總總程度度最大大）級級別直直到最最低（（最詳詳細））級別別。OLTP與與OLAP的的區(qū)別別OLTP（（On-LineTransactionProcessing））聯(lián)機機事務務處理理OLAP（（On-LineAnalysisProcessing））聯(lián)聯(lián)機分分析處處理OLTP與與OLAP的的區(qū)別別OLTP系統(tǒng)的的特征征處理實實時業(yè)業(yè)務包含了了為數(shù)數(shù)據(jù)錄錄入和和編輯輯進行行優(yōu)化化的數(shù)數(shù)據(jù)結結構提供有有限的的決策策支持持能力力OLTP系統(tǒng)的的例子子訂單系系統(tǒng)客戶服服務庫存管管理財務OLTP與與OLAP的的區(qū)別別OLTP原始數(shù)數(shù)據(jù)細節(jié)性性數(shù)據(jù)據(jù)當前值值數(shù)據(jù)據(jù)可實時時更新新一次處處理的的數(shù)據(jù)據(jù)量小小面向應應用,事務驅(qū)驅(qū)動業(yè)務操操作人人員支持日日常操操作簡單的的事務務100MB-GBOLAP整理后后的數(shù)數(shù)據(jù)綜合性性和提提煉性性數(shù)據(jù)據(jù)歷史數(shù)數(shù)據(jù)周期性性刷新新更新新一次處處理大大量的的數(shù)據(jù)據(jù)面向主主題，，分析析驅(qū)動動決策人人員,高級管管理人人員分析決決策復雜的的查詢詢100GB-TB數(shù)據(jù)倉倉庫的的特征征為商業(yè)業(yè)分析析過程程展示示數(shù)據(jù)據(jù)提供一一致的的歷史史數(shù)據(jù)據(jù)存儲儲把數(shù)據(jù)據(jù)儲存存為抽抽取和和查詢詢而優(yōu)優(yōu)化的的結構構整合異異構的的數(shù)據(jù)據(jù)統(tǒng)一有有效的的數(shù)據(jù)據(jù)源把數(shù)據(jù)據(jù)整理理為穩(wěn)穩(wěn)定、、面向向主題題的結結構數(shù)據(jù)倉倉庫系系統(tǒng)的的創(chuàng)建建數(shù)據(jù)倉庫終端用戶原始業(yè)務數(shù)據(jù)數(shù)據(jù)集結區(qū)

數(shù)據(jù)的提取，轉(zhuǎn)換，加載（ETL）了解數(shù)數(shù)據(jù)倉倉庫數(shù)據(jù)倉倉庫終端用用戶數(shù)據(jù)集集市OLAP數(shù)據(jù)倉倉庫維度表表維度是是分析析中描描述性性的分分類，，通過過它可可以將將度量量值分分離出出來進進行分分析。。主鍵主鍵唯一性性關聯(lián)事事實表表與維維度表表兩個選選擇應用主主鍵(appsuffix)：原業(yè)業(yè)務系系統(tǒng)的的主鍵鍵代理鍵鍵(keysuffix)數(shù)據(jù)倉倉庫系系統(tǒng)產(chǎn)產(chǎn)生的的數(shù)字字鍵product_id_appproduct_dim_key在維度度中分分不同同的層層次定義層層次結結構的的好處處允許用用戶從從不同同的層層次展展示數(shù)數(shù)據(jù)在分析析中采采用不不同的的路徑徑進行行鉆取取舉例：：日期期分分為，，年－－半年年－季季度－－月－－日期期星型模模型Employee_DimEmployeeKeyEmployeeID...Time_DimTimeKeyTheDate...Product_DimProductKeyProductID...Customer_DimCustomerKeyCustomerID...Shipper_DimShipperKeyShipperID...Sales_FactTimeKeyEmployeeKeyProductKeyCustomerKeyShipperKeySalesAmountUnitSales...雪花模模型在多維維表中中定義義層次次節(jié)省存存儲空空間存取效效率較較低事實表表的組組成維度表表customer_dim201ALFIAlfredsproduct_dim25123Chai事實表表customer_keyproduct_keytime_keyquantity_salesamount_sales外鍵20125134400