商務(wù)智能-Chapter02-BI Architecture學(xué)習(xí)課件

商務(wù)智能伍章俊智能商務(wù)研究所wuzhangjun@2025/2/27?

TheInstituteofBusinessIntelligence,HFUT2/56第二章商務(wù)智能體系結(jié)構(gòu)1.商務(wù)智能整體框架2.數(shù)據(jù)倉(cāng)庫(kù)3.OLAP技術(shù)2025/2/27?

TheInstituteofBusinessIntelligence,HFUT3/56數(shù)據(jù)ETL數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)挖掘可視化OLAP數(shù)據(jù)知識(shí)決策模式趨勢(shì)事實(shí)關(guān)系模型關(guān)聯(lián)規(guī)則序列目標(biāo)市場(chǎng)資金分配貿(mào)易選擇在哪兒做廣告銷售的地理位置金融經(jīng)濟(jì)POS人口統(tǒng)計(jì)生命周期商務(wù)智能的概念2025/2/27?

TheInstituteofBusinessIntelligence,HFUT4/56數(shù)據(jù)質(zhì)量控制數(shù)據(jù)重新組織EII解決方案數(shù)據(jù)展現(xiàn)數(shù)據(jù)管理數(shù)據(jù)獲取數(shù)據(jù)遷移作業(yè)分配數(shù)據(jù)清洗數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)管理數(shù)據(jù)集市管理安全性、分析管理最終用戶數(shù)據(jù)質(zhì)量控制數(shù)據(jù)重新組織ETL/DQ解決方案數(shù)據(jù)抽取、遷移、加載周數(shù)據(jù)加載日常數(shù)據(jù)增加日周期數(shù)據(jù)源ETL/EII數(shù)據(jù)存儲(chǔ)管理業(yè)務(wù)模型數(shù)據(jù)展現(xiàn)利潤(rùn)成本分析資產(chǎn)分析營(yíng)銷分析投資組合分析平衡計(jì)分卡/KPI解決的業(yè)務(wù)問題數(shù)據(jù)分析采購(gòu)系統(tǒng)生產(chǎn)系統(tǒng)銷售系統(tǒng)財(cái)務(wù)系統(tǒng)即席查詢Intranet/Internet產(chǎn)品報(bào)告數(shù)據(jù)挖掘例外分析隨即查詢報(bào)表例外分析數(shù)據(jù)挖掘決策人員管理人員分析人員業(yè)務(wù)人員實(shí)時(shí)增量虛擬數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)企業(yè)數(shù)據(jù)模型MDMBW2025/2/27?

TheInstituteofBusinessIntelligence,HFUT5/56企業(yè)商務(wù)智能體系架構(gòu)規(guī)劃2025/2/27?

TheInstituteofBusinessIntelligence,HFUT6/56IBM商務(wù)智能解決方案2025/2/27?

TheInstituteofBusinessIntelligence,HFUT7/56企業(yè)數(shù)據(jù)倉(cāng)庫(kù)ETL(抽取、轉(zhuǎn)換、加載)即席查詢、預(yù)定義報(bào)表、自定義報(bào)表、OLAP、數(shù)據(jù)挖掘、專題分析模型元數(shù)據(jù)管理Web服務(wù)器客戶端客戶端客戶端客戶端客戶端大客戶分析數(shù)據(jù)集市財(cái)務(wù)分析數(shù)據(jù)集市客戶分析數(shù)據(jù)集市...模型庫(kù)業(yè)務(wù)數(shù)據(jù)庫(kù)業(yè)務(wù)數(shù)據(jù)庫(kù)業(yè)務(wù)數(shù)據(jù)庫(kù)業(yè)務(wù)數(shù)據(jù)庫(kù)業(yè)務(wù)數(shù)據(jù)庫(kù)業(yè)務(wù)發(fā)展分析客戶分析大客戶分析用戶發(fā)展分析收益情況分析服務(wù)質(zhì)量分析營(yíng)銷管理分析財(cái)務(wù)分析渠道分析反欺詐專題分析客戶流失專題分析...2025/2/27?

TheInstituteofBusinessIntelligence,HFUT8/56第二章商務(wù)智能體系結(jié)構(gòu)1.商務(wù)智能整體框架2.數(shù)據(jù)倉(cāng)庫(kù)3.OLAP技術(shù)2025/2/27?

TheInstituteofBusinessIntelligence,HFUT9/56賽博公司數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)賽博公司是一家以生產(chǎn)、銷售服裝產(chǎn)品為主營(yíng)業(yè)務(wù)的電子商務(wù)企業(yè)，下設(shè)生產(chǎn)、銷售、市場(chǎng)、客服、財(cái)務(wù)等不同職能部門。

雖然各職能部門均采用信息系統(tǒng)支持相關(guān)業(yè)務(wù)的處理，但是由于建設(shè)的初期缺乏嚴(yán)格的整體規(guī)劃，數(shù)據(jù)缺乏標(biāo)準(zhǔn)化和完整性，各職能部門都有獨(dú)立的數(shù)據(jù)庫(kù)系統(tǒng)。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT10/56DB2OracleSQLServerExcelspreadsheetXMLdocumentDatamanagementlayerApplicationlayer賽博公司數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)2025/2/27?

TheInstituteofBusinessIntelligence,HFUT11/56賽博公司數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)隨著公司業(yè)務(wù)的快速發(fā)展，公司的業(yè)務(wù)數(shù)據(jù)量快速增加。如果要存儲(chǔ)上述數(shù)據(jù)，需要龐大的存儲(chǔ)空間，消耗大量的系統(tǒng)資源。交易數(shù)據(jù)、客戶服務(wù)數(shù)據(jù)以及各種網(wǎng)絡(luò)數(shù)據(jù)等錯(cuò)綜復(fù)雜的數(shù)據(jù)源使得公司數(shù)據(jù)結(jié)構(gòu)錯(cuò)綜復(fù)雜，結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)大量存在。此外，業(yè)務(wù)數(shù)據(jù)中，數(shù)據(jù)遺漏、數(shù)據(jù)錯(cuò)誤等情況時(shí)有發(fā)生，嚴(yán)重影響了公司的數(shù)據(jù)利用效果和決策質(zhì)量。(存儲(chǔ)？刪除？長(zhǎng)期？短期？)(能否共享？如何統(tǒng)一？)(噪音數(shù)據(jù)如何處理？)2025/2/27?

TheInstituteofBusinessIntelligence,HFUT12/56賽博公司決定采用數(shù)據(jù)倉(cāng)庫(kù)建立集成的數(shù)據(jù)平臺(tái)，以整合各分布系統(tǒng)的數(shù)據(jù)，提高公司的數(shù)據(jù)管理和利用能力。(1)確定公司的決策分析主題通過對(duì)公司主要業(yè)務(wù)的分析，確定公司業(yè)務(wù)主要圍繞產(chǎn)品、消費(fèi)者、銷售和客服等方面展開。在各主題下，公司需要面臨具體的決策任務(wù)。賽博公司數(shù)據(jù)倉(cāng)庫(kù)實(shí)施步驟2025/2/27?

TheInstituteofBusinessIntelligence,HFUT13/56(2)基于決策主題，對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行重新組織

從各職能部門業(yè)務(wù)數(shù)據(jù)源中，獲得所有與消費(fèi)者相關(guān)的數(shù)據(jù)，對(duì)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行轉(zhuǎn)換，對(duì)錯(cuò)誤數(shù)據(jù)進(jìn)行識(shí)別并修正，對(duì)缺失數(shù)據(jù)進(jìn)行補(bǔ)充(ETL過程)。形成公司層面的、面向主題的數(shù)據(jù)倉(cāng)庫(kù)。賽博公司數(shù)據(jù)倉(cāng)庫(kù)實(shí)施步驟2025/2/27?

TheInstituteofBusinessIntelligence,HFUT14/56(3)建立面向具體業(yè)務(wù)部門的數(shù)據(jù)集市為了適應(yīng)不同業(yè)務(wù)部門的具體需求，減少不同部門對(duì)數(shù)據(jù)倉(cāng)庫(kù)資源的爭(zhēng)奪，在數(shù)據(jù)倉(cāng)庫(kù)的基礎(chǔ)上，構(gòu)建面向具體業(yè)務(wù)部門的數(shù)據(jù)集市，如構(gòu)建面向市場(chǎng)部門的市場(chǎng)需求數(shù)據(jù)集市、面向客服部門的售后服務(wù)數(shù)據(jù)集市。賽博公司數(shù)據(jù)倉(cāng)庫(kù)實(shí)施步驟2025/2/27?

TheInstituteofBusinessIntelligence,HFUT15/56實(shí)時(shí)交易交易歷史顧客信息售后服務(wù)產(chǎn)品數(shù)據(jù)網(wǎng)站信息評(píng)論信息顧客銷售服務(wù)產(chǎn)品市場(chǎng)需求數(shù)據(jù)集市售后服務(wù)數(shù)據(jù)集市客服部門銷售部門ETL過程抽取轉(zhuǎn)換裝載數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)集市業(yè)務(wù)數(shù)據(jù)賽博公司數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)2025/2/27?

TheInstituteofBusinessIntelligence,HFUT16/56什么是數(shù)據(jù)倉(cāng)庫(kù)？賽博公司數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建步驟？數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建過程中需要解決哪些困難？數(shù)據(jù)集市與獨(dú)立的業(yè)務(wù)部門數(shù)據(jù)有何區(qū)別？問題分析2025/2/27?

TheInstituteofBusinessIntelligence,HFUT17/56數(shù)據(jù)倉(cāng)庫(kù)(DataWarehouse)概念數(shù)據(jù)倉(cāng)庫(kù)用來保存從多個(gè)數(shù)據(jù)庫(kù)或其它信息源選取的數(shù)據(jù),并為上層應(yīng)用提供統(tǒng)一用戶接口，完成數(shù)據(jù)查詢和分析。

主要特點(diǎn)是包含大量面向整個(gè)企業(yè)的綜合信息。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT18/56

以1992年W.H.Inmon出版《BuildingtheDataWarehouse》為標(biāo)志，數(shù)據(jù)倉(cāng)庫(kù)發(fā)展速度很快。W.H.Inmon被譽(yù)為數(shù)據(jù)倉(cāng)庫(kù)之父。W.H.Inmon對(duì)數(shù)據(jù)倉(cāng)庫(kù)所下的定義：數(shù)據(jù)倉(cāng)庫(kù)是面向主題的、集成的、穩(wěn)定的、隨時(shí)間變化的數(shù)據(jù)集合，用以支持管理決策的過程。數(shù)據(jù)倉(cāng)庫(kù)(DataWarehouse)概念2025/2/27?

TheInstituteofBusinessIntelligence,HFUT19/56數(shù)據(jù)倉(cāng)庫(kù)(DataWarehouse)概念Definedinmanydifferentways,butnotrigorously.Adecisionsupportdatabasethatismaintainedseparately

fromtheorganization’soperationaldatabaseSupportinformationprocessingbyprovidingasolidplatformofconsolidated,historicaldataforanalysis.“Adatawarehouseisa

subject-oriented,integrated,time-variant,andnonvolatile

collectionofdatainsupportofmanagement’sdecision-makingprocess.”—W.H.InmonDatawarehousing:Theprocessofconstructingandusingdatawarehouses2025/2/27?

TheInstituteofBusinessIntelligence,HFUT20/56面向主題數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是按照各種主題來組織的。主題是企業(yè)決策分析的一個(gè)對(duì)象，是對(duì)業(yè)務(wù)數(shù)據(jù)的一個(gè)提升和概括。如保險(xiǎn)公司按照應(yīng)用組織可能是汽車保險(xiǎn)、生命保險(xiǎn)、傷亡保險(xiǎn)，而數(shù)據(jù)倉(cāng)庫(kù)是按照客戶、政策、保險(xiǎn)金和索賠來組織數(shù)據(jù)。面向主題的數(shù)據(jù)組織方式可在較高層次上對(duì)分析對(duì)象的數(shù)據(jù)給出完整、一致的描述，能完整、統(tǒng)一的刻畫各個(gè)分析對(duì)象所涉及的企業(yè)的各項(xiàng)數(shù)據(jù)以及數(shù)據(jù)之間的聯(lián)系，從而適應(yīng)企業(yè)各個(gè)部門的業(yè)務(wù)活動(dòng)特點(diǎn)和企業(yè)數(shù)據(jù)的動(dòng)態(tài)特征，從根本上實(shí)現(xiàn)數(shù)據(jù)與應(yīng)用的分離。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT21/56DataWarehouse—Subject-OrientedOrganizedaroundmajorsubjects,suchascustomer,product,salesFocusingonthemodelingandanalysisofdatafordecisionmakers,notondailyoperationsortransactionprocessingProvideasimpleandconciseviewaroundparticularsubjectissuesbyexcludingdatathatarenotusefulinthedecisionsupportprocess2025/2/27?

TheInstituteofBusinessIntelligence,HFUT22/56集成性數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是從原有分散的源數(shù)據(jù)庫(kù)中提取出來的，其每一個(gè)主題所對(duì)應(yīng)的源數(shù)據(jù)在原有的數(shù)據(jù)庫(kù)中有許多冗余和不一致，且與不同的應(yīng)用邏輯相關(guān)。

為了創(chuàng)建一個(gè)有效的主題域，必須將這些來自不同數(shù)據(jù)源的數(shù)據(jù)集成起來，使之遵循統(tǒng)一的編碼規(guī)則。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT23/56DataWarehouse—IntegratedConstructedbyintegratingmultiple,heterogeneousdatasourcesrelationaldatabases,flatfiles,on-linetransactionrecordsDatacleaninganddataintegrationtechniquesareapplied.Ensureconsistencyinnamingconventions,encodingstructures,attributemeasures,etc.amongdifferentdatasourcesE.g.,Hotelprice:currency,tax,breakfastcovered,etc.Whendataismovedtothewarehouse,itisconverted.2025/2/27?

TheInstituteofBusinessIntelligence,HFUT24/56穩(wěn)定性

數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的數(shù)據(jù)有很長(zhǎng)的時(shí)間跨度，通常是5-10年。

數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)反映的是一段時(shí)間內(nèi)歷史數(shù)據(jù)的內(nèi)容，是不同時(shí)點(diǎn)的數(shù)據(jù)庫(kù)快照的集合。主要供企業(yè)高層決策分析之用，所涉及的數(shù)據(jù)操作主要是查詢，一般情況下并不進(jìn)行修改操作.數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是不可實(shí)時(shí)更新的，僅當(dāng)超過規(guī)定的存儲(chǔ)期限，才將其從數(shù)據(jù)倉(cāng)庫(kù)中刪除，提取新的數(shù)據(jù)經(jīng)集成后輸入數(shù)據(jù)倉(cāng)庫(kù)。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT25/56DataWarehouse—NonvolatileAphysicallyseparatestoreofdatatransformedfromtheoperationalenvironmentOperationalupdateofdatadoesnotoccurinthedatawarehouseenvironmentDoesnotrequiretransactionprocessing,recovery,andconcurrencycontrolmechanismsRequiresonlytwooperationsindataaccessing:initialloadingofdataand

accessofdata2025/2/27?

TheInstituteofBusinessIntelligence,HFUT26/56時(shí)變性許多商業(yè)分析要求對(duì)發(fā)展趨勢(shì)做出預(yù)測(cè)，對(duì)發(fā)展趨勢(shì)的分析需要訪問歷史數(shù)據(jù)。

因此數(shù)據(jù)倉(cāng)庫(kù)必須不斷捕捉業(yè)務(wù)數(shù)據(jù)庫(kù)中變化的數(shù)據(jù)，生成數(shù)據(jù)庫(kù)的快照，經(jīng)集成后增加到數(shù)據(jù)倉(cāng)庫(kù)中去；另外數(shù)據(jù)倉(cāng)庫(kù)還需要隨時(shí)間的變化刪去過期的、對(duì)分析沒有幫助的數(shù)據(jù)，并且還需要按規(guī)定的時(shí)間段增加綜合數(shù)據(jù)。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT27/56DataWarehouse—TimeVariantThetimehorizonforthedatawarehouseissignificantlylongerthanthatofoperationalsystemsOperationaldatabase:currentvaluedataDatawarehousedata:provideinformationfromahistoricalperspective(e.g.,past5-10years)EverykeystructureinthedatawarehouseContainsanelementoftime,explicitlyorimplicitlyButthekeyofoperationaldatamayormaynotcontain“timeelement”O(jiān)LTP即聯(lián)機(jī)事務(wù)處理，就是我們經(jīng)常說的關(guān)系數(shù)據(jù)庫(kù)，意即記錄即時(shí)的增、刪、改、查，就是我們經(jīng)常應(yīng)用的東西，這是數(shù)據(jù)庫(kù)的基礎(chǔ)；

OLAP即聯(lián)機(jī)分析處理，是數(shù)據(jù)倉(cāng)庫(kù)的核心部心，所謂數(shù)據(jù)倉(cāng)庫(kù)是對(duì)于大量已經(jīng)由OLTP形成的數(shù)據(jù)的一種分析型的數(shù)據(jù)庫(kù)，用于處理商業(yè)智能、決策支持等重要的決策信息；數(shù)據(jù)倉(cāng)庫(kù)是在數(shù)據(jù)庫(kù)應(yīng)用到一定程序之后而對(duì)歷史數(shù)據(jù)的加工與分析；是處理兩種不同用途的工具而已2025/2/27?

TheInstituteofBusinessIntelligence,HFUT29/56OLTPvs.OLAP2025/2/27?

TheInstituteofBusinessIntelligence,HFUT30/56ETL概述ETL顧名思義，即數(shù)據(jù)抽取(Extraction)、轉(zhuǎn)換(Transformation)、裝載(Load)的過程，它是構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的重要環(huán)節(jié)。ETL目的是將企業(yè)中的分散、零亂、標(biāo)準(zhǔn)不統(tǒng)一的數(shù)據(jù)整合到一起，為企業(yè)的決策提供分析依據(jù)。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT31/56ETL設(shè)計(jì)1—數(shù)據(jù)抽取任務(wù)做大量的前期調(diào)研工作，搞清楚為了構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的某一主題，需要哪些數(shù)據(jù)(表、字段)？這些數(shù)據(jù)存儲(chǔ)在哪些數(shù)據(jù)庫(kù)中？如果一個(gè)電子商務(wù)企業(yè)要構(gòu)建顧客價(jià)值主題，可能從哪些部門的數(shù)據(jù)庫(kù)中抽取數(shù)據(jù)？2025/2/27?

TheInstituteofBusinessIntelligence,HFUT32/56與DW數(shù)據(jù)庫(kù)系統(tǒng)相同的數(shù)據(jù)源

DBMS都會(huì)提供數(shù)據(jù)庫(kù)鏈接功能，在DW數(shù)據(jù)庫(kù)服務(wù)器和原業(yè)務(wù)系統(tǒng)之間建立直接的鏈接關(guān)系就可以寫Select語(yǔ)句直接訪問.與DW數(shù)據(jù)庫(kù)系統(tǒng)不同的數(shù)據(jù)源

一般情況下也可以通過ODBC的方式建立數(shù)據(jù)庫(kù)鏈接。如果不能建立數(shù)據(jù)庫(kù)鏈接，可以有兩種方式完成，一種是通過工具將源數(shù)據(jù)導(dǎo)出成.txt或者是.xls文件，然后再將這些源系統(tǒng)文件導(dǎo)入到ODS中。另外一種方法是通過程序接口來完成。對(duì)于文件類型數(shù)據(jù)源(.txt,.xls)，可以培訓(xùn)業(yè)務(wù)人員利用數(shù)據(jù)庫(kù)工具將這些數(shù)據(jù)導(dǎo)入到指定的數(shù)據(jù)庫(kù)，然后從指定的數(shù)據(jù)庫(kù)中抽取。ETL設(shè)計(jì)1—數(shù)據(jù)抽取2025/2/27?

TheInstituteofBusinessIntelligence,HFUT33/56ETL設(shè)計(jì)2—數(shù)據(jù)轉(zhuǎn)換對(duì)業(yè)務(wù)數(shù)據(jù)庫(kù)中缺失的、錯(cuò)誤的、重復(fù)的、格式不一致的數(shù)據(jù)進(jìn)行補(bǔ)齊、修正、轉(zhuǎn)換或刪除。不完整數(shù)據(jù)的處理：這一類數(shù)據(jù)主要是一些應(yīng)該有的信息缺失，如供應(yīng)商的名稱、分公司的名稱、客戶的區(qū)域信息缺失、業(yè)務(wù)系統(tǒng)中主表與明細(xì)表不能匹配等。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT34/56年齡收入(萬)工作時(shí)間(年)顧客類型25102優(yōu)293優(yōu)3296良387120良361813中3015優(yōu)…………ETL設(shè)計(jì)2—數(shù)據(jù)轉(zhuǎn)換2025/2/27?

TheInstituteofBusinessIntelligence,HFUT35/56錯(cuò)誤數(shù)據(jù)的修正：這一類錯(cuò)誤產(chǎn)生的原因是業(yè)務(wù)系統(tǒng)不夠健全，在接收輸入后沒有進(jìn)行判斷直接寫入后臺(tái)數(shù)據(jù)庫(kù)造成的，比如數(shù)值數(shù)據(jù)輸成全角數(shù)字字符、字符串?dāng)?shù)據(jù)后面有一個(gè)回車操作、日期格式不正確、數(shù)值越界等。

年齡收入(萬)工作時(shí)間(年)顧客類型25102優(yōu)293優(yōu)3296良387120良361813中3015優(yōu)…………ETL設(shè)計(jì)2—數(shù)據(jù)轉(zhuǎn)換2025/2/27?

TheInstituteofBusinessIntelligence,HFUT36/56重復(fù)數(shù)據(jù)刪除：數(shù)據(jù)重復(fù)一方面是由于反復(fù)錄入同樣的記錄導(dǎo)致的，另一方面，對(duì)同一記錄經(jīng)常存在于不同部門的數(shù)據(jù)庫(kù)中。例如，某一顧客的記錄可能同時(shí)存在于市場(chǎng)部門和客服部門的數(shù)據(jù)庫(kù)中。數(shù)據(jù)沖突處理：源數(shù)據(jù)中某些字段值必須是兼容的，例如消費(fèi)者所在的城市和郵政編碼(電話區(qū)號(hào))。數(shù)據(jù)沖突包括同一數(shù)據(jù)源內(nèi)部的沖突和不同數(shù)據(jù)源之間的沖突。網(wǎng)絡(luò)環(huán)境下，數(shù)據(jù)的錯(cuò)誤、沖突等情況更加嚴(yán)重。

ETL設(shè)計(jì)2—數(shù)據(jù)轉(zhuǎn)換2025/2/27?

TheInstituteofBusinessIntelligence,HFUT37/56數(shù)據(jù)格式的轉(zhuǎn)換

不一致數(shù)據(jù)轉(zhuǎn)換：將不同業(yè)務(wù)系統(tǒng)的相同類型的數(shù)據(jù)統(tǒng)一，比如同一個(gè)供應(yīng)商在結(jié)算系統(tǒng)的編碼是XX0001,而在CRM中編碼是YY0001。

不一致粒度的轉(zhuǎn)換：業(yè)務(wù)系統(tǒng)一般存儲(chǔ)非常明細(xì)的數(shù)據(jù)，而數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)是用來分析的，不需要非常明細(xì)的數(shù)據(jù)，需要將業(yè)務(wù)系統(tǒng)數(shù)據(jù)按照數(shù)據(jù)倉(cāng)庫(kù)粒度進(jìn)行聚合。ETL設(shè)計(jì)2—數(shù)據(jù)轉(zhuǎn)換2025/2/27?

TheInstituteofBusinessIntelligence,HFUT38/56ETL設(shè)計(jì)3—數(shù)據(jù)裝載

數(shù)據(jù)經(jīng)抽取和轉(zhuǎn)換后，需要裝載到數(shù)據(jù)倉(cāng)庫(kù)中，數(shù)據(jù)裝載通常包括如下形式：初次裝載：相關(guān)數(shù)據(jù)的首次裝載；增量裝載：定期更新數(shù)據(jù)倉(cāng)庫(kù)中的某些數(shù)據(jù)，保持?jǐn)?shù)據(jù)倉(cāng)庫(kù)與源數(shù)據(jù)變化的周期性。完全刷新：周期性的對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的某些數(shù)據(jù)進(jìn)行重寫。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT39/56ETL設(shè)計(jì)ETL是BI項(xiàng)目重要的一個(gè)環(huán)節(jié)。通常情況下，在BI項(xiàng)目中ETL會(huì)花掉整個(gè)項(xiàng)目的1/3的時(shí)間，ETL設(shè)計(jì)的好壞直接關(guān)接到BI項(xiàng)目的成敗。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT40/56賽博公司數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)實(shí)時(shí)交易交易歷史顧客信息售后服務(wù)產(chǎn)品數(shù)據(jù)網(wǎng)站信息評(píng)論信息顧客銷售服務(wù)產(chǎn)品市場(chǎng)需求數(shù)據(jù)集市售后服務(wù)數(shù)據(jù)集市客服部門銷售部門ETL過程抽取轉(zhuǎn)換裝載數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)集市業(yè)務(wù)數(shù)據(jù)2025/2/27?

TheInstituteofBusinessIntelligence,HFUT41/56數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)集市數(shù)據(jù)倉(cāng)庫(kù)是企業(yè)級(jí)的，能為整個(gè)企業(yè)各部門的運(yùn)行提供決策支持手段。而數(shù)據(jù)集市（DataMart）是部門級(jí)別的，一般只能為某個(gè)局部范圍內(nèi)的管理人員服務(wù)，也稱為部門級(jí)的數(shù)據(jù)倉(cāng)庫(kù)。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT42/56數(shù)據(jù)集市數(shù)據(jù)集市有兩種：獨(dú)立的數(shù)據(jù)集市和從屬的數(shù)據(jù)集市。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT43/56為什么需要數(shù)據(jù)集市？不同部門爭(zhēng)奪數(shù)據(jù)倉(cāng)庫(kù)資源構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)周期長(zhǎng)、成本高2025/2/27?

TheInstituteofBusinessIntelligence,HFUT44/56數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)自上而下（Top-Down）自底而上（BottomUp）混合的方法數(shù)據(jù)倉(cāng)庫(kù)建模2025/2/27?

TheInstituteofBusinessIntelligence,HFUT45/56自上而下LocalDataMartExternalDataLocalDataMartOperationalDataEnterpriseWarehouseBuildEnterprisedatawarehouseCommoncentraldatamodelDatare-engineeringperformedonceMinimizeredundancyandinconsistencyDetailedandhistorydata;globaldatadiscoveryBuilddatamartsfromtheEnterpriseDataWarehouse(EDW)SubsetofEDWrelevanttodepartmentMostlysummarizeddataDirectdependencyonEDWdataavailability2025/2/27?

TheInstituteofBusinessIntelligence,HFUT46/56自下而上局部數(shù)據(jù)集市外部數(shù)據(jù)操作型數(shù)據(jù)(全部)操作型數(shù)據(jù)(局部)操作型數(shù)據(jù)(局部)局部數(shù)據(jù)集市企業(yè)數(shù)據(jù)倉(cāng)庫(kù)EDB創(chuàng)建部門的數(shù)據(jù)集市范圍局限于一個(gè)主題區(qū)域快速的ROI--局部的商業(yè)需求得到滿足本部門自治--設(shè)計(jì)上具有靈活性對(duì)其他部門數(shù)據(jù)集市是一個(gè)好的指導(dǎo)容易復(fù)制到其他部門需要為每個(gè)部門做數(shù)據(jù)重建有一定級(jí)別的冗余和不一致性一個(gè)切實(shí)可行的方法擴(kuò)大到企業(yè)數(shù)據(jù)倉(cāng)庫(kù)創(chuàng)建EDB作為一個(gè)長(zhǎng)期的目標(biāo)1、星型模型

星型模型是一種由一點(diǎn)向外輻射的建模范例，中間有一單一對(duì)象沿半徑向外連接到多個(gè)對(duì)象。星型模型反映了最終用戶對(duì)商務(wù)查詢的看法:銷售事實(shí)、賠償、付款和貨物的托運(yùn)都用一維或多維描述(按月、產(chǎn)品、地理位置)。星型模型中心的對(duì)象稱為“事實(shí)表”，與之相連的對(duì)象稱為“維表”。對(duì)事實(shí)表的查詢就是獲取指向維表的指針表，當(dāng)對(duì)事實(shí)表的查詢與對(duì)維表的查詢結(jié)合在一起時(shí)，就可以檢索大量的信息。通過聯(lián)合，維表可以對(duì)查找標(biāo)準(zhǔn)細(xì)剖和聚集。

2、雪花模型

雪花模型是對(duì)星型模型的擴(kuò)展，每一個(gè)點(diǎn)都沿半徑向外連接到多個(gè)點(diǎn).雪花模型對(duì)星型的維表進(jìn)一步標(biāo)準(zhǔn)化，它的優(yōu)點(diǎn)是通過最大限度的減少數(shù)據(jù)存儲(chǔ)量以及把較小的標(biāo)準(zhǔn)化表(而不是大的非標(biāo)準(zhǔn)化表)聯(lián)合在一起來改善查詢性能。化及維的較低的粒度，雪花模型增加了應(yīng)用程序的靈活性。

3、混合模型

混合模型是星型模型和雪花模型的一種折衷模式，其中星型模型由事實(shí)表和標(biāo)準(zhǔn)化的維表組成，雪花模型的所有維表都進(jìn)行了標(biāo)準(zhǔn)化。在混合模型中，只有最大的維表才進(jìn)行標(biāo)準(zhǔn)化，這些表一般包含一列列完全標(biāo)準(zhǔn)化的(重復(fù)的)數(shù)據(jù)。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT48/56數(shù)據(jù)倉(cāng)庫(kù)建?！切湍Ｊ紻ateMonthYearDateCustIdCustNameCustCityCustCountryCustSalesFactTable

Date

Product

Store

Customer

unit_sales

dollar_sales

Yen_salesMeasurementsProductNoProdNameProdDescCategoryQOHProductStoreIDCityStateCountryRegionStore2025/2/27?

TheInstituteofBusinessIntelligence,HFUT49/56數(shù)據(jù)倉(cāng)庫(kù)建?！┢Ｊ?/p>

DateMonthDateCustIdCustNameCustCityCustCountryCustSalesFactTable

Date

Product

Store

Customer

unit_sales

dollar_sales

Yen_salesMeasurementsProductNoProdNameProdDescCategoryQOHProductMonthYearMonthYearYearCityStateCityCountryRegionCountryStateCountryStateStoreIDCityStore2025/2/27?

TheInstituteofBusinessIntelligence,HFUT50/56操作型（OLTP）數(shù)據(jù)源---銷售庫(kù)2025/2/27?

TheInstituteofBusinessIntelligence,HFUT51/56數(shù)據(jù)倉(cāng)庫(kù)建?！切文Ｊ?025/2/27?

TheInstituteofBusinessIntelligence,HFUT52/56多維模型事實(shí)度量(Metrics)時(shí)間維時(shí)間維的屬性2025/2/27?

TheInstituteofBusinessIntelligence,HFUT53/56第二章商務(wù)智能體系結(jié)構(gòu)1.商務(wù)智能整體框架2.數(shù)據(jù)倉(cāng)庫(kù)3.OLAP技術(shù)2025/2/27?

TheInstituteofBusinessIntelligence,HFUT54/56OLAP簡(jiǎn)介On-line

Analytical

Processing在線分析處理技術(shù)，1993年E.F.Codd及其同事首次提出OLAP是使管理人員能夠從多種角度對(duì)從原始數(shù)據(jù)中轉(zhuǎn)化出來的、能夠真正為用戶所理解的、并真實(shí)反映業(yè)務(wù)持續(xù)性的信息進(jìn)行快速、一致和交互的存取，從而獲得對(duì)數(shù)據(jù)更深入的理解。多維分析，構(gòu)建數(shù)據(jù)(超)立方體2025/2/27?

TheInstituteofBusinessIntelligence,HFUT55/56OLAP基本概念維：是人們觀察數(shù)據(jù)的特定角度，考慮問題時(shí)的一類屬性集合構(gòu)成一個(gè)維(時(shí)間維、產(chǎn)品維)。維的層次：人們觀察數(shù)據(jù)的某個(gè)特定角度(即某個(gè)維)還可以存在細(xì)節(jié)程度不同的各個(gè)描述方面(時(shí)間維：日期、月份、季度、年)。維的成員：維的層次的一個(gè)取值。是數(shù)據(jù)項(xiàng)在某維中位置的描述。(“2012年3月”)。2012年第一季度海爾彩電在合肥地區(qū)的銷售量！2025/2/27?

TheInstituteofBusinessIntelligence,HFUT56/56OLAP簡(jiǎn)介2025/2/27?

TheInstituteofBusinessIntelligence,HFUT57/56銷售數(shù)據(jù)的4-D表示2025/2/27?

TheInstituteofBusinessIntelligence,HFUT58/56OLAP操作切片和切塊(SliceandDice)在多維數(shù)據(jù)結(jié)構(gòu)中,按二維進(jìn)行切片，按三維進(jìn)行切塊，可得到所需要的數(shù)據(jù)。如在“城市、產(chǎn)品、時(shí)間”三維立方體中進(jìn)行切塊和切片,可得到各城市、各產(chǎn)品的銷售情況。鉆取(Drill)鉆取包含向下鉆取(Drill-down)和向上鉆取(Drill-up)/上卷(Roll-up)操作，鉆取的深度與維所劃分的層次相對(duì)應(yīng)。

旋轉(zhuǎn)(Rotate)/旋轉(zhuǎn)(Pivot)通過旋轉(zhuǎn)可以得到不同視角的數(shù)據(jù)。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT59/56切片、切塊2025/2/27?

TheInstituteofBusinessIntelligence,HFUT60/56鉆取2025/2/27?

TheInstituteofBusinessIntelligence,HFUT61/56旋轉(zhuǎn)時(shí)間產(chǎn)品財(cái)務(wù)指標(biāo)財(cái)務(wù)指標(biāo)產(chǎn)品時(shí)間2025/2/27?

TheInstituteofBusinessIntelligence,HFUT62/56證券公司風(fēng)險(xiǎn)管理商務(wù)智能系統(tǒng)目前，我國(guó)證券公司的主營(yíng)業(yè)務(wù)有證券經(jīng)紀(jì)、證券承銷、證券自營(yíng)、資產(chǎn)管理、兼并收購(gòu)、基金代銷和投資咨詢等，其經(jīng)營(yíng)風(fēng)險(xiǎn)也主要來自于這些業(yè)務(wù)，如經(jīng)紀(jì)業(yè)務(wù)風(fēng)險(xiǎn)、承銷業(yè)務(wù)風(fēng)險(xiǎn)、自營(yíng)業(yè)務(wù)風(fēng)險(xiǎn)和資產(chǎn)管理風(fēng)險(xiǎn)等。證券公司風(fēng)險(xiǎn)管理商務(wù)智能系統(tǒng)設(shè)計(jì)架構(gòu)：業(yè)務(wù)層、數(shù)據(jù)層、分析層、應(yīng)用層和界面層。

業(yè)務(wù)層是風(fēng)險(xiǎn)管理系統(tǒng)實(shí)施的基礎(chǔ)，所有系統(tǒng)分析中的數(shù)據(jù)都與這些業(yè)務(wù)密切相關(guān)。2025/2/27?

TheInstituteofBusinessIntelligence,HFUT63/56證券公司風(fēng)險(xiǎn)管理商務(wù)智能系統(tǒng)2025/2/27?

TheInstituteofBusinessIntelligence,HFUT64/56證券公司風(fēng)險(xiǎn)管理商務(wù)智能系統(tǒng)在證券公司風(fēng)險(xiǎn)管理商務(wù)智能系統(tǒng)開發(fā)的過程中，數(shù)據(jù)格式的規(guī)范化是數(shù)據(jù)倉(cāng)庫(kù)建立的基礎(chǔ)，它為各種應(yīng)用開發(fā)提供支撐，而邏輯模型的設(shè)計(jì)是數(shù)據(jù)倉(cāng)庫(kù)建立的關(guān)鍵。證券公司風(fēng)險(xiǎn)管理系統(tǒng)的智能性體現(xiàn)在其自適應(yīng)能力上，今日準(zhǔn)確的風(fēng)險(xiǎn)預(yù)測(cè)模型