數(shù)據(jù)倉庫與OLAP培訓教材課件

數(shù)據(jù)倉庫與OLAP

廣東工業(yè)大學艾丹祥數(shù)據(jù)倉庫與OLAP

廣東工業(yè)大學艾丹祥數(shù)據(jù)倉庫開發(fā)實例

數(shù)據(jù)倉庫開發(fā)實例

案例背景Pub是美國的一家圖書出版公司，希望構建數(shù)據(jù)倉庫。其中銷售部門的需求比較急迫，希望能在短時間內實現(xiàn)對銷售業(yè)績的分析。根據(jù)Pub公司的情況，考慮采用金博爾的DMDW的開發(fā)模式，即先為銷售部門設計一個數(shù)據(jù)集市，其他部門數(shù)據(jù)集市的設計可參照此模型。案例背景Pub是美國的一家圖書出版公司，希望構建數(shù)據(jù)倉庫。其收集項目需求準備：研究選定的業(yè)務過程（術語、步驟、度量方法）采訪：鉆研選定的業(yè)務過程（理解使其運作所需的分析、數(shù)據(jù)模型和技術）分析：業(yè)務過程相關的數(shù)據(jù)資源歸檔對于Pub公司：選定“銷售”業(yè)務過程后，通過采訪了解其與銷售分析相關的問題，如通過什么方式銷售、有哪些銷售地區(qū)等。收集項目需求準備：研究選定的業(yè)務過程（術語、步驟、度量方法）收集項目需求基本業(yè)務狀況Pub公司在美國各地均有出版社，出版社負責聯(lián)系作者、出版圖書，已出版的圖書將由各地的代銷書店進行銷售。收集項目需求基本業(yè)務狀況收集項目需求業(yè)務分析需求銷售部門最關心銷售的業(yè)績，主要通過銷售額和銷售量進行考核。收集項目需求業(yè)務分析需求數(shù)據(jù)倉庫開發(fā)實例業(yè)務分析需求希望針對每個出版社作圖書銷售業(yè)績分析。希望針對每個國家的出版社作圖書銷售業(yè)績分析。希望針對每個州的出版社作圖書銷售業(yè)績分析。希望針對每城市的出版社作圖書銷售業(yè)績分析。希望針對每本圖書作銷售業(yè)績分析。希望針對每類圖書做銷售業(yè)績分析。希望針對每年出版的圖書做銷售業(yè)績分析。希望針對每位作者所編寫的圖書做銷售業(yè)績分析。希望針對每個書店作圖書銷售業(yè)績分析。希望針對每個州的書店作圖書銷售業(yè)績分析。希望針對每個城市的書店作圖書銷售業(yè)績分析。希望針對年、月、日作銷售業(yè)績分析。數(shù)據(jù)倉庫開發(fā)實例業(yè)務分析需求數(shù)據(jù)倉庫開發(fā)實例銷售業(yè)務的總線矩陣業(yè)務實體業(yè)務過程出版社圖書書店出版日期銷售XXXX數(shù)據(jù)倉庫開發(fā)實例銷售業(yè)務的總線矩陣業(yè)務實體業(yè)務過程出版社圖書收集項目需求數(shù)據(jù)資源狀況公司的業(yè)務數(shù)據(jù)庫為Pubs數(shù)據(jù)庫收集項目需求數(shù)據(jù)資源狀況收集項目需求數(shù)據(jù)資源狀況Pubs中與銷售業(yè)務有關的表收集項目需求數(shù)據(jù)資源狀況根據(jù)總線矩陣建立模型氣泡圖建立多維數(shù)據(jù)模型業(yè)務實體業(yè)務過程出版社圖書書店銷售日期銷售XXXX訂單銷售日期圖書書店出版社根據(jù)總線矩陣建立模型氣泡圖建立多維數(shù)據(jù)模型業(yè)務實體業(yè)務過程出銷售日期建立多維數(shù)據(jù)模型訂單銷售日期圖書書店出版社銷售日期建立多維數(shù)據(jù)模型訂單銷售日期圖書書店出版社銷售日期日期維度的粒度級別通常為一天日期維度表需要專門生成（如利用Excel工具）日期維度表中的時間范圍根據(jù)業(yè)務需求決定建立多維數(shù)據(jù)模型銷售日期建立多維數(shù)據(jù)模型銷售日期日期維度至少要包含年、月、日期三個屬性建立多維數(shù)據(jù)模型DimDate屬性名稱功能描述FullDate日期DateName日期名Month月MonthName月名Year年其中FullDate、Month、MonthName形成層次。銷售日期建立多維數(shù)據(jù)模型DimDate屬性名稱功能描述Ful出版社建立多維數(shù)據(jù)模型訂單銷售日期圖書書店出版社出版社建立多維數(shù)據(jù)模型訂單銷售日期圖書書店出版社出版社建立多維數(shù)據(jù)模型字段名稱說明pub_id出版社編號pub_name出版社名city所在市state所在州country所在國出版社建立多維數(shù)據(jù)模型字段名稱說明pub_id出版社編號pu出版社出版社維度可以直接包含出版社名、市、州、國家等屬性建立多維數(shù)據(jù)模型DimPublisher屬性名稱功能描述pub_id出版社編號pub_name出版社名稱pub_city城市pub_state州pub_country國家其中pub_name、pub_city、pub_state、pub_country形成層次。出版社建立多維數(shù)據(jù)模型DimPublisher屬性名稱功能描書店建立多維數(shù)據(jù)模型訂單出版日期圖書書店出版社書店建立多維數(shù)據(jù)模型訂單出版日期圖書書店出版社書店建立多維數(shù)據(jù)模型字段名稱說明stor_id書店編號stor_name書店名稱city所在市state所在州書店建立多維數(shù)據(jù)模型字段名稱說明stor_id書店編號sto書店書店維度可以直接包含書店名、市、州等屬性建立多維數(shù)據(jù)模型書店建立多維數(shù)據(jù)模型圖書建立多維數(shù)據(jù)模型訂單出版日期圖書書店出版社圖書建立多維數(shù)據(jù)模型訂單出版日期圖書書店出版社圖書建立多維數(shù)據(jù)模型字段名稱說明title_id圖書編號pub_id出版社編號title圖書名type圖書類型price圖書單價pubdate出版日期圖書建立多維數(shù)據(jù)模型字段名稱說明title_id圖書編號pu圖書圖書維度可以直接包含圖書名、類型、出版年等屬性建立多維數(shù)據(jù)模型DimBook屬性名稱功能描述book_id圖書編號book_name圖書名book_type圖書類型pubyear出版年其中book_name、book_type形成層次結構。圖書建立多維數(shù)據(jù)模型DimBook屬性名稱功能描述book_圖書圖書維度無法直接包含作者屬性建立多維數(shù)據(jù)模型圖書建立多維數(shù)據(jù)模型作者建立多維數(shù)據(jù)模型訂單出版日期圖書書店出版社作者圖書作者關系作者建立多維數(shù)據(jù)模型訂單出版日期圖書書店出版社作者圖書作者關作者建立多維數(shù)據(jù)模型字段名稱說明au_id作者編號au_lname作者名au_fname作者姓作者建立多維數(shù)據(jù)模型字段名稱說明au_id作者編號au_ln作者作者維度可以直接包含作者名等屬性建立多維數(shù)據(jù)模型DimAuthor屬性名稱功能描述au_id作者編號au_name作者名au_fname+au_lname作者建立多維數(shù)據(jù)模型DimAuthor屬性名稱功能描述au_圖書作者關系建立多維數(shù)據(jù)模型訂單出版日期圖書書店出版社作者圖書作者關系圖書作者關系建立多維數(shù)據(jù)模型訂單出版日期圖書書店出版社作者圖圖書作者關系建立多維數(shù)據(jù)模型字段名稱說明au_id作者編號title_id圖書編號圖書作者關系建立多維數(shù)據(jù)模型字段名稱說明au_id作者編號t建立多維數(shù)據(jù)模型圖書作者關系圖書作者關系事實表只包含鍵值列，不包含度量值列，其目的是為了記錄圖書和作者之間的關系事實。FactBookAuthor（中間事實表）屬性名稱功能描述鍵值列book_id圖書編號au_id作者編號建立多維數(shù)據(jù)模型圖書作者關系FactBookAuthor（中訂單建立多維數(shù)據(jù)模型訂單出版日期圖書書店出版社作者圖書作者關系訂單建立多維數(shù)據(jù)模型訂單出版日期圖書書店出版社作者圖書作者關訂單建立多維數(shù)據(jù)模型字段名稱說明stor_id書店編號title_id圖書編號qty訂購數(shù)量ord_date訂購日期訂單建立多維數(shù)據(jù)模型字段名稱說明stor_id書店編號tit建立多維數(shù)據(jù)模型訂單訂單事實表中要包含日期、出版社、書店、圖書等鍵值列，還要包含銷售額、銷售量2個度量值列，其目的是為了記錄銷售事實。建立多維數(shù)據(jù)模型訂單建立多維數(shù)據(jù)模型訂單FactSales屬性名稱來源功能描述鍵值列pub_idpublishers表出版社編號stor_idstores表書店編號book_idtitles表圖書編號ord_datesales表銷售日期度量值列qtysales表銷售量amount計算生成（qty*price）銷售額建立多維數(shù)據(jù)模型訂單FactSales屬性名稱來源功能描述鍵建立多維數(shù)據(jù)模型最終，確定數(shù)據(jù)集市包括以下多維數(shù)據(jù)模型：主題——圖書銷售業(yè)績度量值——圖書銷售量圖書銷售額維度——出版社（國別-州-城市-出版社）作者（作者姓名）圖書（圖書類別-單一圖書，圖書出版年）書店（州-市-書店）銷售日期（年-月-日）建立多維數(shù)據(jù)模型最終，確定數(shù)據(jù)集市包括以下多維數(shù)據(jù)模型：主題Microsoft數(shù)據(jù)倉庫工具集核心數(shù)據(jù)倉庫工具集——SQLServer關系引擎（RDBMS）：實現(xiàn)關系數(shù)據(jù)庫SQLServerIntegrationService(SSIS):實現(xiàn)ETL系統(tǒng)SQLServerAnalysisService(SSAS):實現(xiàn)多維數(shù)據(jù)庫，支持OLAP查詢，實現(xiàn)數(shù)據(jù)挖掘SQLServerReportingService(SSRS):定義報表開發(fā)和管理工具：SQLServerBIDevelopmentStudio（BIDS）和SQLServerManagementStudio。Microsoft數(shù)據(jù)倉庫工具集核心數(shù)據(jù)倉庫工具集——SQMicrosoft數(shù)據(jù)倉庫系統(tǒng)的體系結構源系統(tǒng)數(shù)據(jù)庫ETL聚合(支持OLAP)源系統(tǒng)數(shù)據(jù)庫源系統(tǒng)數(shù)據(jù)庫事實表和維度表度量和維度前端工具核心數(shù)據(jù)倉庫RDBMSSSISSSASSSRSMicrosoft數(shù)據(jù)倉庫系統(tǒng)的體系結構源系統(tǒng)數(shù)據(jù)庫ETLETL過程利用SQLServerIntegrationService對Pubs數(shù)據(jù)庫進行抽取和整理，形成Pubs_DW數(shù)據(jù)倉庫。先將數(shù)據(jù)從源事務數(shù)據(jù)中提取到中間數(shù)據(jù)庫Pubs_Stage再對中間數(shù)據(jù)庫的數(shù)據(jù)進行轉換并加載到目標關系數(shù)據(jù)倉庫Pubs_DWETL過程利用SQLServerIntegrationETL過程Pubs數(shù)據(jù)庫（業(yè)務數(shù)據(jù)庫）PublishersPub_infoEmployeeJobsRoychedTitlesAuthorsTitleauthorSalesStoresDiscountsPubs_Stage（臨時數(shù)據(jù)庫）PublishersTitlesTitleauthorAuthorSalesStoresDatePubs_DW（數(shù)據(jù)倉庫）FactSalesFactBookAuthorDimPublisherDimBookDimAuthorDimStoreDimDateDTSSSISDate.xlsETL過程Pubs數(shù)據(jù)庫Pubs_StagePubs_DWDETL過程利用DTS和SQLServerIntegrationService對Pubs數(shù)據(jù)庫進行抽取和整理，形成Pubs_DW數(shù)據(jù)倉庫。先將數(shù)據(jù)從源事務數(shù)據(jù)中提取到中間數(shù)據(jù)庫Pubs_Stage(DTS工具)再對中間數(shù)據(jù)庫的數(shù)據(jù)進行轉換并加載到目標關系數(shù)據(jù)倉庫Pubs_DW(SSIS工具)ETL過程利用DTS和SQLServerIntegratETL過程利用DTS將pubs數(shù)據(jù)庫和date.xls中的數(shù)據(jù)直接導出到pubs_stage數(shù)據(jù)庫中。Pubs_Stage的結構ETL過程利用DTS將pubs數(shù)據(jù)庫和date.xls中的數(shù)ETL過程新建pubs_DW數(shù)據(jù)倉庫ETL過程新建pubs_DW數(shù)據(jù)倉庫ETL過程pubs_DW數(shù)據(jù)倉庫中的DimDate表DimDate屬性名稱功能描述Sqlserver數(shù)據(jù)類型FullDate日期DatetimeDateName日期名varchar（20）Month月intMonthName月名varchar（20）Year年intETL過程pubs_DW數(shù)據(jù)倉庫中的DimDate表DimDETL過程pubs_DW數(shù)據(jù)倉庫中的DimPublisher表DimPublisher屬性名稱功能描述Sqlserver數(shù)據(jù)類型pub_id出版社編號Varchar（4）pub_name出版社名稱varchar（40）pub_city城市varchar（20）pub_state州varchar（2）pub_country國家varchar（30）ETL過程pubs_DW數(shù)據(jù)倉庫中的DimPublisherETL過程pubs_DW數(shù)據(jù)倉庫中的DimStore表DimStore屬性名稱功能描述Sqlserver數(shù)據(jù)類型store_id書店編號Varchar（4）store_name書店名稱varchar（40）store_city城市varchar（20）store_state州varchar（2）ETL過程pubs_DW數(shù)據(jù)倉庫中的DimStore表DimETL過程pubs_DW數(shù)據(jù)倉庫中的DimBook表DimBook屬性名稱功能描述Sqlserver數(shù)據(jù)類型book_id圖書編號Varchar（6）book_name圖書名varchar（80）book_type圖書類型varchar（12）pubyear出版年intETL過程pubs_DW數(shù)據(jù)倉庫中的DimBook表DimBETL過程pubs_DW數(shù)據(jù)倉庫中的DimAuthor表DimAuthor屬性名稱功能描述Sqlserver數(shù)據(jù)類型au_id作者編號varchar（11）au_name作者名au_fname+au_lnamevarchar（80）ETL過程pubs_DW數(shù)據(jù)倉庫中的DimAuthor表DiETL過程pubs_DW數(shù)據(jù)倉庫中的FactBookAuthor表FactBookAuthor屬性名稱功能描述Sqlserver數(shù)據(jù)類型book_id圖書編號Varchar（6）au_id作者編號varchar（11）ETL過程pubs_DW數(shù)據(jù)倉庫中的FactBookAuthETL過程pubs_DW數(shù)據(jù)倉庫中的FactSales表FactSales屬性名稱來源功能描述Sqlserver數(shù)據(jù)類型pub_idpublishers表出版社編號Varchar（4）stor_idstores表書店編號Varchar（4）book_idtitles表圖書編號Varchar（6）ord_datesales表銷售日期datetimeqtysales表銷售量smallintamount計算生成（qty*price）銷售額moneyETL過程pubs_DW數(shù)據(jù)倉庫中的FactSales表FaETL過程新建SSIS項目，并將pubs_stage數(shù)據(jù)庫中的數(shù)據(jù)轉換并加載到pubs_DW數(shù)據(jù)倉庫中。SSIS項目由若干SSIS程序包的構成，其中一個為主程序包（啟動）。SSIS程序包由一個控制流和若干個數(shù)據(jù)流構成。ETL過程新建SSIS項目，并將pubs_stage數(shù)據(jù)庫中多維數(shù)據(jù)集和OLAPOLAP的提出（1993年）1981年圖靈獎獲得者：埃德加·科德(EdgarFrankCodd)—“關系數(shù)據(jù)庫之父”多維數(shù)據(jù)集和OLAPOLAP的提出（1993年）1981年圖多維數(shù)據(jù)集和OLAP1995年OLAP專門研究機構OLAPReport提出關于OLAP的簡明定義FASMI（FastAnalysisofSharedMultidimensionalInformation）?？焖傩裕‵ast）——OLAP系統(tǒng)必須能快速響應用戶的分析查詢要求，對于用戶大部分分析要求在5秒鐘內作出反應，否則超過30秒用戶可能會失去分析的主線索，影響分析質量。多維數(shù)據(jù)集和OLAP1995年OLAP專門研究機構OLAP多維數(shù)據(jù)集和OLAP1995年OLAP專門研究機構OLAPReport提出關于OLAP的簡明定義FASMI（FastAnalysisofSharedMultidimensionalInformation）。分析性（Analysis）——OLAP系統(tǒng)能處理任何與用戶和應用有關的邏輯分析和統(tǒng)計分析，在需要的情況下還允許用戶無需編程就可為分析和生成報表定義一些新的特殊運算，將其作為分析的一部分，并以用戶理想的方式給出報告。用戶可以在OLAP平臺上進行數(shù)據(jù)分析，也可以與其他外部分析工具交互信息，同時應提供靈活開放的報表處理功能，保存分析結果。多維數(shù)據(jù)集和OLAP1995年OLAP專門研究機構OLAP多維數(shù)據(jù)集和OLAP1995年OLAP專門研究機構OLAPReport提出關于OLAP的簡明定義FASMI（FastAnalysisofSharedMultidimensionalInformation）。共享性（Shared）——OLAP系統(tǒng)應能實現(xiàn)在多用戶環(huán)境下的安全保密要求和并發(fā)控制。多個用戶同時使用，能夠根據(jù)用戶所屬的安全級別，讓他們只能看到自身權限下的信息。多維數(shù)據(jù)集和OLAP1995年OLAP專門研究機構OLAP多維數(shù)據(jù)集和OLAP1995年OLAP專門研究機構OLAPReport提出關于OLAP的簡明定義FASMI（FastAnalysisofSharedMultidimensionalInformation）。多維性（Multidimensional）——OLAP系統(tǒng)能對數(shù)據(jù)進行多維視圖和分析，是OLAP的關鍵屬性。多維數(shù)據(jù)集和OLAP1995年OLAP專門研究機構OLAP多維數(shù)據(jù)集和OLAP1995年OLAP專門研究機構OLAPReport提出關于OLAP的簡明定義FASMI（FastAnalysisofSharedMultidimensionalInformation）。信息性（Information）——OLAP系統(tǒng)具有管理數(shù)據(jù)和獲得信息的能力，能管理大量的數(shù)據(jù)并即時地獲得用戶所需信息。多維數(shù)據(jù)集和OLAP1995年OLAP專門研究機構OLAP多維數(shù)據(jù)集和OLAPOLAP與數(shù)據(jù)倉庫關系緊密OLAP分析與數(shù)據(jù)倉庫的關系十分緊密。數(shù)據(jù)倉庫的建立，解決了依據(jù)主題進行數(shù)據(jù)存儲的問題，提高了數(shù)據(jù)的存取速度；而OLAP分析構成了數(shù)據(jù)倉庫的表現(xiàn)層，將數(shù)據(jù)倉庫中的數(shù)據(jù)通過不同的維和指標，靈活地展現(xiàn)出來，提高了數(shù)據(jù)的展現(xiàn)能力，進而提高了數(shù)據(jù)的分析能力。多維數(shù)據(jù)集和OLAPOLAP與數(shù)據(jù)倉庫關系緊密OLAP分析與多維數(shù)據(jù)集和OLAP多維數(shù)據(jù)集多維數(shù)據(jù)集（cube）——OLAP中的主要對象，通常也稱作多維立方體。cube是一個數(shù)據(jù)集合，通常由數(shù)據(jù)倉庫的子集構造，把一組維度和度量值合理組織，最后匯總成多維結構。多維數(shù)據(jù)集和OLAP多維數(shù)據(jù)集多維數(shù)據(jù)集（cube）——OL多維數(shù)據(jù)集和OLAP多維數(shù)據(jù)集銷售數(shù)量10000玩具電器銷售地區(qū)北京上海江蘇1234服裝化妝品產品時間（月）以時間、銷售地區(qū)、產品三個維度構成的多維數(shù)據(jù)集多維數(shù)據(jù)集和OLAP多維數(shù)據(jù)集銷售數(shù)量玩具電器銷售地區(qū)北京多維數(shù)據(jù)集和OLAP的實現(xiàn)以Pubs_DW數(shù)據(jù)庫為基礎，利用SQLServerAnalysisService開發(fā)PubsAS多維數(shù)據(jù)庫以支持OLAP分析。Pubs_DW（關系數(shù)據(jù)庫）FactSalesFactBookAuthorDimPublisherDimBookDimAuthorDimStoreDimDateSSASPubs_AS（多維數(shù)據(jù)集）SalesCube（Sales多維數(shù)據(jù)集）Sales度量值組：SalesAmountSalesQtyBookAuthor中間度量值組維度：BookAuthorStorePublisherDate多維數(shù)據(jù)集和OLAP的實現(xiàn)以Pubs_DW數(shù)據(jù)庫為基礎，利用60多維數(shù)據(jù)集和OLAP的實現(xiàn)多維數(shù)據(jù)庫的數(shù)據(jù)源（DS）pubs_DW數(shù)據(jù)源視圖（DSV）多維數(shù)據(jù)庫pubs_AS多維數(shù)據(jù)集（Cube）度量值和維度聚合SSAS多維數(shù)據(jù)庫體系結構多維數(shù)據(jù)集和OLAP的實現(xiàn)多維數(shù)據(jù)庫的數(shù)據(jù)源（DS）數(shù)據(jù)源視61多維數(shù)據(jù)集和OLAP的實現(xiàn)分析服務項目開發(fā)步驟創(chuàng)建數(shù)據(jù)源創(chuàng)建數(shù)據(jù)源視圖創(chuàng)建維度（公共維度）創(chuàng)建多維數(shù)據(jù)集（度量值）處理、部署項目瀏覽多維數(shù)據(jù)集多維數(shù)據(jù)集和OLAP的實現(xiàn)分析服務項目開發(fā)步驟62多維數(shù)據(jù)集和OLAP的實現(xiàn)分析服務項目開發(fā)要點每個分析服務項目必須至少包含一個數(shù)據(jù)源每個分析服務項目必須至少包含一個數(shù)據(jù)源視圖每個分析服務項目必須包含至少一個維度和多維數(shù)據(jù)集多維數(shù)據(jù)集必須包含在一個分析服務項目中每個分析服務項目可以包含多個多維數(shù)據(jù)集多維數(shù)據(jù)集和OLAP的實現(xiàn)分析服務項目開發(fā)要點63多維數(shù)據(jù)集和OLAP多維數(shù)據(jù)分析方法OLAP多維分析對多維數(shù)據(jù)集中的數(shù)據(jù)進行上卷、下鉆、切片、切塊、旋轉等各種分析操作，以便剖析數(shù)據(jù)，使用戶從多個角度、多個側面、多個層次來觀察多維數(shù)據(jù)，從而發(fā)掘數(shù)據(jù)中蘊涵的對自己有用的信息。多維數(shù)據(jù)集和OLAP多維數(shù)據(jù)分析方法OLAP多維分析對多維數(shù)多維數(shù)據(jù)集和OLAP多維數(shù)據(jù)分析方法多維數(shù)據(jù)集和OLAP多維數(shù)據(jù)分析方法多維數(shù)據(jù)集和OLAP多維數(shù)據(jù)分析方法——切片切片（Slice）——對多維數(shù)據(jù)集的某個維選定一個維成員，這種選擇操作就稱為切片。例如：Cube（維1，維2，…，維i，…，維n，度量值）對維i選定了某個維成員，則（維1，維2，…，維i成員，…，維n，度量值）就是該Cube在維i上的一個切片，切片的數(shù)量取決于維i上的維成員的個數(shù)。多維數(shù)據(jù)集和OLAP多維數(shù)據(jù)分析方法——切片切片（Slice多維數(shù)據(jù)集和OLAP多維數(shù)據(jù)分析方法——切片“時間＝第1季度”

在三維立方體上切片的結果是得到一個二維的平面數(shù)據(jù)多維數(shù)據(jù)集和OLAP多維數(shù)據(jù)分析方法——切片“時間＝第1季度4.1OLAP概述多維數(shù)據(jù)分析方法——切塊切塊（Dice）——在一個多維數(shù)據(jù)集中對兩個及兩個以上的維選定維成員的操作可以稱為切塊。例如：Cube（維1,維2,…,維i,…,維k,…,維n,度量值）對維i，…，維k，選定了維成員，則（維1,維2,…,維i成員,…,維k成員,…,維n,度量值)就是該Cube在維i,…,維k上的一個切塊。顯然，當i=k時，切塊操作就退化成切片操作。4.1OLAP概述多維數(shù)據(jù)分析方法——切塊切塊（Dice）多維數(shù)據(jù)集和OLAP多維數(shù)據(jù)分析方法——切塊(貸款＝“正?！?/p>

or“次級”）And（時間＝“1季度”

or“2季度”）And（經(jīng)濟性質=“集體“or”個人”or”其它“）切塊的結果是得到了一個子立方體多維數(shù)據(jù)集和OLAP多維數(shù)據(jù)分析方法——切塊(貸款＝“正常”多維數(shù)據(jù)集和OLAP多維數(shù)據(jù)分析方法——上卷上卷（Roll-up）——上卷是對數(shù)據(jù)進行更為宏觀的觀察。通過在維的等級中上升或通過消除某個或某些維來觀察更概括的數(shù)據(jù)。多維數(shù)據(jù)集和OLAP多維數(shù)據(jù)分析方法——上卷上卷（Roll-多維數(shù)據(jù)集和OLAP多維數(shù)據(jù)分析方法——上卷上卷（1）——在維的等級中上升沿著時間維上卷，由“季度”上升到半年

多維數(shù)據(jù)集和OLAP多維數(shù)據(jù)分析方法——上卷上卷（1）——在4.1OLAP概述多維數(shù)據(jù)分析方法——上卷上卷（2）——消除一個或多個維消除“經(jīng)濟性質”維度

4.1OLAP概述多維數(shù)據(jù)分析方法——上卷上卷（2）——消多維數(shù)據(jù)集和OLAP多維數(shù)據(jù)分析方法——下鉆下鉆（Drill-down）——下鉆是對數(shù)據(jù)進行更為詳細的觀察。通過在維的等級中下降或通過引入某個或某些維來更細致的觀察數(shù)據(jù)。多維數(shù)據(jù)集和OLAP多維數(shù)據(jù)分析方法——下鉆下鉆（Drill多維數(shù)據(jù)集和OLAP多維數(shù)據(jù)分析方法——下鉆沿時間維下鉆多維數(shù)據(jù)集和OLAP多維數(shù)據(jù)分析方法——下鉆沿時間維下鉆多維數(shù)據(jù)集和OLAP多維數(shù)據(jù)分析方法——旋轉旋轉（Pivot）——旋轉又稱為轉軸（Rotate），將多維數(shù)據(jù)集中各個維的角度進行轉動，將不同維進行交換顯示，以使用戶更加直觀地觀察數(shù)據(jù)集中不同維之間的關系。多維數(shù)據(jù)集和OLAP多維數(shù)據(jù)分析方法——旋轉旋轉（Pivot多維數(shù)據(jù)集和OLAP多維數(shù)據(jù)分析方法——旋轉交換“時間”和“經(jīng)濟性質”軸多維數(shù)據(jù)集和OLAP多維數(shù)據(jù)分析方法——旋轉交換“時間”和“數(shù)據(jù)倉庫與OLAP

廣東工業(yè)大學艾丹祥數(shù)據(jù)倉庫與OLAP

廣東工業(yè)大學艾丹祥數(shù)據(jù)倉庫開發(fā)實例

數(shù)據(jù)倉庫開發(fā)實例

案例背景Pub是美國的一家圖書出版公司，希望構建數(shù)據(jù)倉庫。其中銷售部門的需求比較急迫，希望能在短時間內實現(xiàn)對銷售業(yè)績的分析。根據(jù)Pub公司的情況，考慮采用金博爾的DMDW的開發(fā)模式，即先為銷售部門設計一個數(shù)據(jù)集市，其他部門數(shù)據(jù)集市的設計可參照此模型。案例背景Pub是美國的一家圖書出版公司，希望構建數(shù)據(jù)倉庫。其收集項目需求準備：研究選定的業(yè)務過程（術語、步驟、度量方法）采訪：鉆研選定的業(yè)務過程（理解使其運作所需的分析、數(shù)據(jù)模型和技術）分析：業(yè)務過程相關的數(shù)據(jù)資源歸檔對于Pub公司：選定“銷售”業(yè)務過程后，通過采訪了解其與銷售分析相關的問題，如通過什么方式銷售、有哪些銷售地區(qū)等。收集項目需求準備：研究選定的業(yè)務過程（術語、步驟、度量方法）收集項目需求基本業(yè)務狀況Pub公司在美國各地均有出版社，出版社負責聯(lián)系作者、出版圖書，已出版的圖書將由各地的代銷書店進行銷售。收集項目需求基本業(yè)務狀況收集項目需求業(yè)務分析需求銷售部門最關心銷售的業(yè)績，主要通過銷售額和銷售量進行考核。收集項目需求業(yè)務分析需求數(shù)據(jù)倉庫開發(fā)實例業(yè)務分析需求希望針對每個出版社作圖書銷售業(yè)績分析。希望針對每個國家的出版社作圖書銷售業(yè)績分析。希望針對每個州的出版社作圖書銷售業(yè)績分析。希望針對每城市的出版社作圖書銷售業(yè)績分析。希望針對每本圖書作銷售業(yè)績分析。希望針對每類圖書做銷售業(yè)績分析。希望針對每年出版的圖書做銷售業(yè)績分析。希望針對每位作者所編寫的圖書做銷售業(yè)績分析。希望針對每個書店作圖書銷售業(yè)績分析。希望針對每個州的書店作圖書銷售業(yè)績分析。希望針對每個城市的書店作圖書銷售業(yè)績分析。希望針對年、月、日作銷售業(yè)績分析。數(shù)據(jù)倉庫開發(fā)實例業(yè)務分析需求數(shù)據(jù)倉庫開發(fā)實例銷售業(yè)務的總線矩陣業(yè)務實體業(yè)務過程出版社圖書書店出版日期銷售XXXX數(shù)據(jù)倉庫開發(fā)實例銷售業(yè)務的總線矩陣業(yè)務實體業(yè)務過程出版社圖書收集項目需求數(shù)據(jù)資源狀況公司的業(yè)務數(shù)據(jù)庫為Pubs數(shù)據(jù)庫收集項目需求數(shù)據(jù)資源狀況收集項目需求數(shù)據(jù)資源狀況Pubs中與銷售業(yè)務有關的表收集項目需求數(shù)據(jù)資源狀況根據(jù)總線矩陣建立模型氣泡圖建立多維數(shù)據(jù)模型業(yè)務實體業(yè)務過程出版社圖書書店銷售日期銷售XXXX訂單銷售日期圖書書店出版社根據(jù)總線矩陣建立模型氣泡圖建立多維數(shù)據(jù)模型業(yè)務實體業(yè)務過程出銷售日期建立多維數(shù)據(jù)模型訂單銷售日期圖書書店出版社銷售日期建立多維數(shù)據(jù)模型訂單銷售日期圖書書店出版社銷售日期日期維度的粒度級別通常為一天日期維度表需要專門生成（如利用Excel工具）日期維度表中的時間范圍根據(jù)業(yè)務需求決定建立多維數(shù)據(jù)模型銷售日期建立多維數(shù)據(jù)模型銷售日期日期維度至少要包含年、月、日期三個屬性建立多維數(shù)據(jù)模型DimDate屬性名稱功能描述FullDate日期DateName日期名Month月MonthName月名Year年其中FullDate、Month、MonthName形成層次。銷售日期建立多維數(shù)據(jù)模型DimDate屬性名稱功能描述Ful出版社建立多維數(shù)據(jù)模型訂單銷售日期圖書書店出版社出版社建立多維數(shù)據(jù)模型訂單銷售日期圖書書店出版社出版社建立多維數(shù)據(jù)模型字段名稱說明pub_id出版社編號pub_name出版社名city所在市state所在州country所在國出版社建立多維數(shù)據(jù)模型字段名稱說明pub_id出版社編號pu出版社出版社維度可以直接包含出版社名、市、州、國家等屬性建立多維數(shù)據(jù)模型DimPublisher屬性名稱功能描述pub_id出版社編號pub_name出版社名稱pub_city城市pub_state州pub_country國家其中pub_name、pub_city、pub_state、pub_country形成層次。出版社建立多維數(shù)據(jù)模型DimPublisher屬性名稱功能描書店建立多維數(shù)據(jù)模型訂單出版日期圖書書店出版社書店建立多維數(shù)據(jù)模型訂單出版日期圖書書店出版社書店建立多維數(shù)據(jù)模型字段名稱說明stor_id書店編號stor_name書店名稱city所在市state所在州書店建立多維數(shù)據(jù)模型字段名稱說明stor_id書店編號sto書店書店維度可以直接包含書店名、市、州等屬性建立多維數(shù)據(jù)模型書店建立多維數(shù)據(jù)模型圖書建立多維數(shù)據(jù)模型訂單出版日期圖書書店出版社圖書建立多維數(shù)據(jù)模型訂單出版日期圖書書店出版社圖書建立多維數(shù)據(jù)模型字段名稱說明title_id圖書編號pub_id出版社編號title圖書名type圖書類型price圖書單價pubdate出版日期圖書建立多維數(shù)據(jù)模型字段名稱說明title_id圖書編號pu圖書圖書維度可以直接包含圖書名、類型、出版年等屬性建立多維數(shù)據(jù)模型DimBook屬性名稱功能描述book_id圖書編號book_name圖書名book_type圖書類型pubyear出版年其中book_name、book_type形成層次結構。圖書建立多維數(shù)據(jù)模型DimBook屬性名稱功能描述book_圖書圖書維度無法直接包含作者屬性建立多維數(shù)據(jù)模型圖書建立多維數(shù)據(jù)模型作者建立多維數(shù)據(jù)模型訂單出版日期圖書書店出版社作者圖書作者關系作者建立多維數(shù)據(jù)模型訂單出版日期圖書書店出版社作者圖書作者關作者建立多維數(shù)據(jù)模型字段名稱說明au_id作者編號au_lname作者名au_fname作者姓作者建立多維數(shù)據(jù)模型字段名稱說明au_id作者編號au_ln作者作者維度可以直接包含作者名等屬性建立多維數(shù)據(jù)模型DimAuthor屬性名稱功能描述au_id作者編號au_name作者名au_fname+au_lname作者建立多維數(shù)據(jù)模型DimAuthor屬性名稱功能描述au_圖書作者關系建立多維數(shù)據(jù)模型訂單出版日期圖書書店出版社作者圖書作者關系圖書作者關系建立多維數(shù)據(jù)模型訂單出版日期圖書書店出版社作者圖圖書作者關系建立多維數(shù)據(jù)模型字段名稱說明au_id作者編號title_id圖書編號圖書作者關系建立多維數(shù)據(jù)模型字段名稱說明au_id作者編號t建立多維數(shù)據(jù)模型圖書作者關系圖書作者關系事實表只包含鍵值列，不包含度量值列，其目的是為了記錄圖書和作者之間的關系事實。FactBookAuthor（中間事實表）屬性名稱功能描述鍵值列book_id圖書編號au_id作者編號建立多維數(shù)據(jù)模型圖書作者關系FactBookAuthor（中訂單建立多維數(shù)據(jù)模型訂單出版日期圖書書店出版社作者圖書作者關系訂單建立多維數(shù)據(jù)模型訂單出版日期圖書書店出版社作者圖書作者關訂單建立多維數(shù)據(jù)模型字段名稱說明stor_id書店編號title_id圖書編號qty訂購數(shù)量ord_date訂購日期訂單建立多維數(shù)據(jù)模型字段名稱說明stor_id書店編號tit建立多維數(shù)據(jù)模型訂單訂單事實表中要包含日期、出版社、書店、圖書等鍵值列，還要包含銷售額、銷售量2個度量值列，其目的是為了記錄銷售事實。建立多維數(shù)據(jù)模型訂單建立多維數(shù)據(jù)模型訂單FactSales屬性名稱來源功能描述鍵值列pub_idpublishers表出版社編號stor_idstores表書店編號book_idtitles表圖書編號ord_datesales表銷售日期度量值列qtysales表銷售量amount計算生成（qty*price）銷售額建立多維數(shù)據(jù)模型訂單FactSales屬性名稱來源功能描述鍵建立多維數(shù)據(jù)模型最終，確定數(shù)據(jù)集市包括以下多維數(shù)據(jù)模型：主題——圖書銷售業(yè)績度量值——圖書銷售量圖書銷售額維度——出版社（國別-州-城市-出版社）作者（作者姓名）圖書（圖書類別-單一圖書，圖書出版年）書店（州-市-書店）銷售日期（年-月-日）建立多維數(shù)據(jù)模型最終，確定數(shù)據(jù)集市包括以下多維數(shù)據(jù)模型：主題Microsoft數(shù)據(jù)倉庫工具集核心數(shù)據(jù)倉庫工具集——SQLServer關系引擎（RDBMS）：實現(xiàn)關系數(shù)據(jù)庫SQLServerIntegrationService(SSIS):實現(xiàn)ETL系統(tǒng)SQLServerAnalysisService(SSAS):實現(xiàn)多維數(shù)據(jù)庫，支持OLAP查詢，實現(xiàn)數(shù)據(jù)挖掘SQLServerReportingService(SSRS):定義報表開發(fā)和管理工具：SQLServerBIDevelopmentStudio（BIDS）和SQLServerManagementStudio。Microsoft數(shù)據(jù)倉庫工具集核心數(shù)據(jù)倉庫工具集——SQMicrosoft數(shù)據(jù)倉庫系統(tǒng)的體系結構源系統(tǒng)數(shù)據(jù)庫ETL聚合(支持OLAP)源系統(tǒng)數(shù)據(jù)庫源系統(tǒng)數(shù)據(jù)庫事實表和維度表度量和維度前端工具核心數(shù)據(jù)倉庫RDBMSSSISSSASSSRSMicrosoft數(shù)據(jù)倉庫系統(tǒng)的體系結構源系統(tǒng)數(shù)據(jù)庫ETLETL過程利用SQLServerIntegrationService對Pubs數(shù)據(jù)庫進行抽取和整理，形成Pubs_DW數(shù)據(jù)倉庫。先將數(shù)據(jù)從源事務數(shù)據(jù)中提取到中間數(shù)據(jù)庫Pubs_Stage再對中間數(shù)據(jù)庫的數(shù)據(jù)進行轉換并加載到目標關系數(shù)據(jù)倉庫Pubs_DWETL過程利用SQLServerIntegrationETL過程Pubs數(shù)據(jù)庫（業(yè)務數(shù)據(jù)庫）PublishersPub_infoEmployeeJobsRoychedTitlesAuthorsTitleauthorSalesStoresDiscountsPubs_Stage（臨時數(shù)據(jù)庫）PublishersTitlesTitleauthorAuthorSalesStoresDatePubs_DW（數(shù)據(jù)倉庫）FactSalesFactBookAuthorDimPublisherDimBookDimAuthorDimStoreDimDateDTSSSISDate.xlsETL過程Pubs數(shù)據(jù)庫Pubs_StagePubs_DWDETL過程利用DTS和SQLServerIntegrationService對Pubs數(shù)據(jù)庫進行抽取和整理，形成Pubs_DW數(shù)據(jù)倉庫。先將數(shù)據(jù)從源事務數(shù)據(jù)中提取到中間數(shù)據(jù)庫Pubs_Stage(DTS工具)再對中間數(shù)據(jù)庫的數(shù)據(jù)進行轉換并加載到目標關系數(shù)據(jù)倉庫Pubs_DW(SSIS工具)ETL過程利用DTS和SQLServerIntegratETL過程利用DTS將pubs數(shù)據(jù)庫和date.xls中的數(shù)據(jù)直接導出到pubs_stage數(shù)據(jù)庫中。Pubs_Stage的結構ETL過程利用DTS將pubs數(shù)據(jù)庫和date.xls中的數(shù)ETL過程新建pubs_DW數(shù)據(jù)倉庫ETL過程新建pubs_DW數(shù)據(jù)倉庫ETL過程pubs_DW數(shù)據(jù)倉庫中的DimDate表DimDate屬性名稱功能描述Sqlserver數(shù)據(jù)類型FullDate日期DatetimeDateName日期名varchar（20）Month月intMonthName月名varchar（20）Year年intETL過程pubs_DW數(shù)據(jù)倉庫中的DimDate表DimDETL過程pubs_DW數(shù)據(jù)倉庫中的DimPublisher表DimPublisher屬性名稱功能描述Sqlserver數(shù)據(jù)類型pub_id出版社編號Varchar（4）pub_name出版社名稱varchar（40）pub_city城市varchar（20）pub_state州varchar（2）pub_country國家varchar（30）ETL過程pubs_DW數(shù)據(jù)倉庫中的DimPublisherETL過程pubs_DW數(shù)據(jù)倉庫中的DimStore表DimStore屬性名稱功能描述Sqlserver數(shù)據(jù)類型store_id書店編號Varchar（4）store_name書店名稱varchar（40）store_city城市varchar（20）store_state州varchar（2）ETL過程pubs_DW數(shù)據(jù)倉庫中的DimStore表DimETL過程pubs_DW數(shù)據(jù)倉庫中的DimBook表DimBook屬性名稱功能描述Sqlserver數(shù)據(jù)類型book_id圖書編號Varchar（6）book_name圖書名varchar（80）book_type圖書類型varchar（12）pubyear出版年intETL過程pubs_DW數(shù)據(jù)倉庫中的DimBook表DimBETL過程pubs_DW數(shù)據(jù)倉庫中的DimAuthor表DimAuthor屬性名稱功能描述Sqlserver數(shù)據(jù)類型au_id作者編號varchar（11）au_name作者名au_fname+au_lnamevarchar（80）ETL過程pubs_DW數(shù)據(jù)倉庫中的DimAuthor表DiETL過程pubs_DW數(shù)據(jù)倉庫中的FactBookAuthor表FactBookAuthor屬性名稱功能描述Sqlserver數(shù)據(jù)類型book_id圖書編號Varchar（6）au_id作者編號varchar（11）ETL過程pubs_DW數(shù)據(jù)倉庫中的FactBookAuthETL過程pubs_DW數(shù)據(jù)倉庫中的FactSales表FactSales屬性名稱來源功能描述Sqlserver數(shù)據(jù)類型pub_idpublishers表出版社編號Varchar（4）stor_idstores表書店編號Varchar（4）book_idtitles表圖書編號Varchar（6）ord_datesales表銷售日期datetimeqtysales表銷售量smallintamount計算生成（qty*price）銷售額moneyETL過程pubs_DW數(shù)據(jù)倉庫中的FactSales表FaETL過程新建SSIS項目，并將pubs_stage數(shù)據(jù)庫中的數(shù)據(jù)轉換并加載到pubs_DW數(shù)據(jù)倉庫中。SSIS項目由若干SSIS程序包的構成，其中一個為主程序包（啟動）。SSIS程序包由一個控制流和若干個數(shù)據(jù)流構成。ETL過程新建SSIS項目，并將pubs_stage數(shù)據(jù)庫中多維數(shù)據(jù)集和OLAPOLAP的提出（1993年）1981年圖靈獎獲得者：埃德加·科德(EdgarFrankCodd)—“關系數(shù)據(jù)庫之父”多維數(shù)據(jù)集和OLAPOLAP的提出（1993年）1981年圖多維數(shù)據(jù)集和OLAP1995年OLAP專門研究機構OLAPReport提出關于OLAP的簡明定義FASMI（FastAnalysisofSharedMultidimensionalInformation）。快速性（Fast）——OLAP系統(tǒng)必須能快速響應用戶的分析查詢要求，對于用戶大部分分析要求在5秒鐘內作出反應，否則超過30秒用戶可能會失去分析的主線索，影響分析質量。多維數(shù)據(jù)集和OLAP1995年OLAP專門研究機構OLAP多維數(shù)據(jù)集和OLAP1995年OLAP專門研究機構OLAPReport提出關于OLAP的簡明定義FASMI（FastAnalysisofSharedMultidimensionalInformation）。分析性（Analysis）——OLAP系統(tǒng)能處理任何與用戶和應用有關的邏輯分析和統(tǒng)計分析，在需要的情況下還允許用戶無需編程就可為分析和生成報表定義一些新的特殊運算，將其作為分析的一部分，并以用戶理想的方式給出報告。用戶可以在OLAP平臺上進行數(shù)據(jù)分析，也可以與其他外部分析工具交互信息，同時應提供靈活開放的報表處理功能，保存分析結果。多維數(shù)據(jù)集和OLAP1995年OLAP專門研究機構OLAP多維數(shù)據(jù)集和OLAP1995年OLAP專門研究機構OLAPReport提出關于OLAP的簡明定義FASMI（FastAnalysisofSharedMultidimensionalInformation）。共享性（Shared）——OLAP系統(tǒng)應能實現(xiàn)在多用戶環(huán)境下的安全保密要求和并發(fā)控制。多個用戶同時使用，能夠根據(jù)用戶所屬的安全級別，讓他們只能看到自身權限下的信息。多維數(shù)據(jù)集和OLAP1995年OLAP專門研究機構OLAP多維數(shù)據(jù)集和OLAP1995年OLAP專門研究機構OLAPReport提出關于OLAP的簡明定義FASMI（FastAnalysisofSharedMultidimensionalInformation）。多維性（Multidimensional）——OLAP系統(tǒng)能對數(shù)據(jù)進行多維視圖和分析，是OLAP的關鍵屬性。多維數(shù)據(jù)集和OLAP1995年OLAP專門研究機構OLAP多維數(shù)據(jù)集和OLAP1995年OLAP專門研究機構OLAPReport提出關于OLAP的簡明定義FASMI（FastAnalysisofSharedMultidimensionalInformation）。信息性（Information）——OLAP系統(tǒng)具有管理數(shù)據(jù)和獲得信息的能力，能管理大量的數(shù)據(jù)并即時地獲得用戶所需信息。多維數(shù)據(jù)集和OLAP1995年OLAP專門研究機構OLAP多維數(shù)據(jù)集和OLAPOLAP與數(shù)據(jù)倉庫關系緊密OLAP分析與數(shù)據(jù)倉庫的關系十分緊密。數(shù)據(jù)倉庫的建立，解決了依據(jù)主題進行數(shù)據(jù)存儲的問題，提高了數(shù)據(jù)的存取速度；而OLAP分析構成了數(shù)據(jù)倉庫的表現(xiàn)層，將數(shù)據(jù)倉庫中的數(shù)據(jù)通過不同的維和指標，靈活地展現(xiàn)出來，提高了數(shù)據(jù)的展現(xiàn)能力，進而提高了數(shù)據(jù)的分析能力。多維數(shù)據(jù)集和OLAPOLAP與數(shù)據(jù)倉庫關系緊密OLAP分析與多維數(shù)據(jù)集和OLAP多維數(shù)據(jù)集多維數(shù)據(jù)集（cube）——OLAP中的主要對象，通常也稱作多維立方體。cube是一個數(shù)據(jù)集合，通常由數(shù)據(jù)倉庫的子集構造，把一組維度和度量值合理組織，最后匯總成多維結構。多維數(shù)據(jù)集和OLAP多維數(shù)據(jù)集多維數(shù)據(jù)集（cube）——OL多維數(shù)據(jù)集和OLAP多維數(shù)據(jù)集銷售數(shù)量10000玩具電器銷售地區(qū)北京上海江蘇1234服裝化妝品產品時間（月）以時間、銷售地區(qū)、產品三個維度構成的多維數(shù)據(jù)集多維數(shù)據(jù)集和OLAP多維數(shù)據(jù)集銷售數(shù)量玩具電器銷售地區(qū)北京多維數(shù)據(jù)集和OLAP的實現(xiàn)以Pubs_DW數(shù)據(jù)庫為基礎，利用SQLServerAnalysisService開發(fā)PubsAS多維數(shù)據(jù)庫以支持OLAP分析。Pubs_DW（關系數(shù)據(jù)庫）FactSalesFactBookAuthorDimPublisherDimBookDimAuthorDimStoreDimDateSSASPubs_AS（多維數(shù)據(jù)集）SalesCube（Sales多維數(shù)據(jù)集）Sales度量值組：SalesAmountSalesQtyBookAuthor中間度量值組維度：BookAuthorStorePubli