BI商業(yè)智能簡介

BI/DWIntroductionJamesChenPSOSr.Consultant程序=算法+數(shù)據(jù)結(jié)構(gòu)--NiklausWirth數(shù)據(jù)結(jié)構(gòu)離散結(jié)構(gòu)線形結(jié)構(gòu)-數(shù)組鏈表棧隊列樹圖算法空間復雜度時間復雜度用戶內(nèi)存中數(shù)據(jù)結(jié)構(gòu)物理數(shù)據(jù)結(jié)構(gòu)E-R業(yè)務流程二者相輔相成，不同應用側(cè)重不同經(jīng)典業(yè)務系統(tǒng)模型Skillset數(shù)據(jù)庫C++/J2EE/.netPowerDesignerER_WINOOUML面向過程OODesignWorkflowDevelopBusinessTypeModelIdentifyBusinessInterfacesIdentifySystemInterfaces&OpsCreateInitialCompSpecs&ArchitectureDiscoverBusinessOperationsRefineInterfaces&OpsRefineComponentSpecs&ArchitectureDefineInterfaceInformationModelsSpecifyOperationPre/PostconditionsSpecifyComponentInterfaceConstraintsBusinessConceptModelUseCaseModelBusinessInterfacesSystemInterfacesInterfacesInterfacesComponentSpecs&ArchitectureComponentSpecs&ArchitectureComponentSpecs&ArchitectureBusinessTypeModelArchitecturePatternsExistingInterfacesExistingAssetsComponentIdentification

ComponentInteractionComponentSpecification笑一笑數(shù)據(jù)倉庫初學者：數(shù)據(jù)倉庫與數(shù)據(jù)庫有什么區(qū)別？

某專家：一個有倉一個沒倉！

BI/DW的引出統(tǒng)計報表需求數(shù)字越來越重要報表越來越多效率越來越差數(shù)據(jù)倉庫的定義“數(shù)據(jù)倉庫是在企業(yè)管理和決策中面向主題的,集成的,與時間相關(guān)的和不可修改的數(shù)據(jù)集合”

BillInmon數(shù)據(jù)倉庫(DataWarehouse)是一種專為聯(lián)機分析應用和決策支持系統(tǒng)提供數(shù)據(jù)源的結(jié)構(gòu)化的數(shù)據(jù)環(huán)境數(shù)據(jù)倉庫要解決的問題是從數(shù)據(jù)庫中獲取信息的問題。數(shù)據(jù)信息INFORMATIONINFORMATIONINFORMATIONINFORMATION影響數(shù)據(jù)倉庫的幾個人物BillInmon-《數(shù)據(jù)倉庫》RalphKimball-《數(shù)據(jù)倉庫工具箱》BernardLiautaud-《商業(yè)智能》OLTP與數(shù)據(jù)倉庫系統(tǒng)RDBMS關(guān)系數(shù)據(jù)庫SAP/ERPVSAM主機系統(tǒng)EXCELWeb/XMLOLTP業(yè)務系統(tǒng)數(shù)據(jù)倉庫系統(tǒng)

數(shù)據(jù)是當前的數(shù)據(jù)總在實時變化中存儲明細數(shù)據(jù)優(yōu)化是針對即時更新的事務處理支持日常的業(yè)務支持辦事人員或行政人員

數(shù)據(jù)是歷史的數(shù)據(jù)是靜態(tài)的，除數(shù)據(jù)刷新外數(shù)據(jù)是匯總的優(yōu)化是針對大批量查詢而不是更新支持長遠的業(yè)務戰(zhàn)略決策支持決策人員和管理人員面向事務面向決策5-10年數(shù)據(jù)集市分析型CRM業(yè)務指標分析數(shù)據(jù)倉庫BI系統(tǒng)建設方法（1）直接建立BI應用OLTP數(shù)據(jù)源各種前端應用KPI指標報表多維分析即席查詢數(shù)據(jù)挖掘數(shù)據(jù)倉庫環(huán)境業(yè)務智能層中央數(shù)據(jù)倉庫數(shù)據(jù)倉庫數(shù)據(jù)集結(jié)數(shù)據(jù)源公司數(shù)據(jù)源外部數(shù)據(jù)源BIW數(shù)據(jù)集市數(shù)據(jù)倉庫管理子系統(tǒng)數(shù)據(jù)倉庫元數(shù)據(jù)目錄信息訪問和引用部件BI系統(tǒng)建建設方方法（（2）企業(yè)數(shù)數(shù)據(jù)倉倉庫體體系架架構(gòu)RelationalPackageLegacyExternalsourceDataCleanToolSourceDataDataStagingWareHouseAdmin.ToolsEnterpriseDataWarehouseDataExtraction,TransformationandloadDatamartDatamartEnterprise/CentralDataWarehouseRDBMSROLAPRDBMSRDBMSArchitectedDatamartsCentralMetadataDataModelingToolEnd-UserToolEnd-UserToolMDBEnd-UserToolEnd-UserToolLocalMetadataLocalMetadata典型物物理架架構(gòu)ETL_DM1ETL_DM2BAS_DW1BAS_DW2BAS_OP1BAS_OP2Bas_sw01Bas_sw02Dx_sp01Dx_sp02Dx_sp03元數(shù)據(jù)據(jù)管理理服務務器BAS_SM1BAS_SM270T!企業(yè)數(shù)數(shù)據(jù)倉倉庫的的目的的數(shù)據(jù)整整合--建立一一個企企業(yè)統(tǒng)統(tǒng)一的的信息息平臺臺建立統(tǒng)統(tǒng)一的的業(yè)務務數(shù)據(jù)據(jù)定義義建立唯唯一的的統(tǒng)計計分析析數(shù)據(jù)據(jù)源快速訪訪問—采用適適合企企業(yè)BI應用的的數(shù)據(jù)據(jù)組織織方式式新需求求的開開發(fā)快快數(shù)據(jù)獲獲取的的效率率快業(yè)務管理層業(yè)務操作層戰(zhàn)略層層底層數(shù)數(shù)據(jù)低粒度度匯總總高粒度度匯總總建設數(shù)數(shù)據(jù)倉倉庫的的主要要任務務數(shù)據(jù)倉倉庫建建模ETL前端展展現(xiàn)組組數(shù)據(jù)挖挖掘元數(shù)據(jù)據(jù)數(shù)據(jù)倉倉庫引引擎NCRTeredataORACLE9以上DB2EEESybaseIQMSSQLServer維模型型的設設計每個維可以由一個或多個維層次或聚合路徑組成Dimension1事實Dimension2Dimension4measure1measure2.....supportiveattributes....Dimension3aggregationpathordimensionhierarchydimensionkey1dimensionkey2.....aggregationlevelsIWS模型的的特點點簡單視視圖—實例倉庫底底層設設計考考量（（一））慢速變變化維維問題題快速變變化和和慢速速變化化倉庫底底層設設計考考量（（二））粒度問問題一天變變化多多次入庫時時間倉庫中中間層層設計計考量量基于用用戶標標識多個粒粒度匯匯總綜合各各個數(shù)數(shù)據(jù)集集市效率考考慮倉庫集集市層層設計計考量量面向應應用報表集集市挖掘集集市主題集集市KPI集市維模型型以最細細粒度度數(shù)據(jù)據(jù)為主主表加物物化視視圖數(shù)據(jù)倉倉庫與與數(shù)據(jù)據(jù)集市市數(shù)據(jù)源源CUBE報表事實表表維表維表維表維表數(shù)據(jù)倉倉庫事實視視圖維視圖圖維視圖圖維視圖圖維視圖圖業(yè)務驅(qū)驅(qū)動數(shù)據(jù)驅(qū)驅(qū)動數(shù)據(jù)集集市設計技技巧星型還還是雪雪花？？組合代代理鍵鍵慢速變變化維維維度的的不同同層次次處理理聚合表表的設設計….ETL過程源表結(jié)結(jié)構(gòu)--目標結(jié)結(jié)構(gòu)工具？？自己己編碼碼？--業(yè)務邏邏輯的的任務務已經(jīng)經(jīng)很大大實時任任務和和批量量任務務CDC的處理理ODS的處理理？BODateIntegratorInformaticaPowerCenterDatastageSagent數(shù)據(jù)源源大數(shù)據(jù)據(jù)量變化數(shù)數(shù)據(jù)關(guān)聯(lián)數(shù)數(shù)據(jù)手工數(shù)數(shù)據(jù)抽取時時機和和最遲遲到達達時間間！數(shù)據(jù)源源考量量-大數(shù)據(jù)據(jù)量二十余余種清清單上萬個個文件件，大大小不不一一天幾幾十GB的數(shù)據(jù)據(jù)數(shù)據(jù)源源考量量-變化數(shù)數(shù)據(jù)實時變變化未存歷歷史數(shù)據(jù)源源考量量-關(guān)聯(lián)數(shù)數(shù)據(jù)沒有transaction幾個文文件不不一致致怎么么辦？？數(shù)據(jù)源源考量量-手工數(shù)數(shù)據(jù)外部錄錄入？？OLTP系統(tǒng)？？天氣社會指指標集團客客戶信信息操作型型CRM數(shù)據(jù)源源考量量-歷史數(shù)數(shù)據(jù)更更新修改昨昨日數(shù)數(shù)據(jù)批錯價價/延遲話話單等等ETL抽取/轉(zhuǎn)換/加載源數(shù)據(jù)據(jù)的理理解加載時時間4小時ETL實現(xiàn)工具Loader匯總（（數(shù)據(jù)據(jù)庫匯匯總還還是文文件匯匯總））調(diào)度ETL-調(diào)度一天幾幾十GB的數(shù)據(jù)據(jù)并行度度/任務大大小/資源/優(yōu)先級級調(diào)度清單類類（大大數(shù)據(jù)據(jù)量））-文件的的拆分分和合合并/實時處處理業(yè)務類類（實實體之之間的的關(guān)系系復雜雜）-稽合帳務類類（數(shù)數(shù)據(jù)準準確））-驗證參數(shù)類類（變變化影影響其其他實實體））-告警/事先處處理其他任任務月末處處理前端展展現(xiàn)固定報報表多維分分析即席查查詢儀表盤盤數(shù)據(jù)挖挖據(jù)BO(CR)Hyperion(Brio)CognosMicrostrategy儀表盤盤OLAP分析報表，，即席席查詢詢固定報報表格式靈靈活多多變CrystalReportMSTRBrioReportNet多維分分析MOLAP--CognosPowerPlay,HyperionEssbaseROLAP--BOE,MSTRHOLAP--BO--MSOLAP切片旋轉(zhuǎn)切塊鉆取OLAP分析多角度度、多多層次次對同同一主主題進進行分分析通過旋旋轉(zhuǎn)、、鉆取取、切切片等等技術(shù)術(shù)探察察數(shù)據(jù)據(jù)旋轉(zhuǎn)：：按不不同順順序組組織各各個維維，對對結(jié)果果進行行考察察鉆?。海涸谝灰粋€維維內(nèi)部部沿著著從高高到低低或從從低到到高的的方向向考察察數(shù)據(jù)據(jù)(有上鉆鉆和下下鉆兩兩種)切片：：在確確定某某些維維數(shù)據(jù)據(jù)的情情況下下對其其他維維進行行觀察察有MOLAP、ROLAP、HOLAP三種實實現(xiàn)方方式OLAP設計-指標還還是維維度性別年齡長途類型通話時段客戶數(shù)通話時長性別年齡客戶數(shù)通話時長長途類型通話時長通話時段通話時長

1-2點通話時長即席查查詢語義層層效率很很關(guān)鍵鍵BO語義層層儀表盤盤儀表盤盤、KPI---EPM整合了了企業(yè)業(yè)的整整個績績效、、把告告警、、報表表、分分析穿穿在了了一起起B(yǎng)OEPMHyperionBPM數(shù)據(jù)挖挖掘機器學學習數(shù)理統(tǒng)統(tǒng)計數(shù)據(jù)庫庫預測、、特征征分析析、客客戶分分類SAS\SPSS數(shù)據(jù)挖挖掘?qū)崒嵤┑牡捏w系系結(jié)構(gòu)構(gòu)數(shù)據(jù)倉庫數(shù)據(jù)挖掘引擎算法數(shù)據(jù)選擇知識庫評價修改知識建模分析員領域知識元數(shù)據(jù)元數(shù)據(jù)據(jù)管理理什么是是元數(shù)數(shù)據(jù)？？元數(shù)據(jù)據(jù)和開開發(fā)文文檔有有何區(qū)區(qū)別？？為什么么單單單在數(shù)數(shù)據(jù)倉倉庫中中如此此重視視元數(shù)數(shù)據(jù)？？文檔語音計計費GPRS計費文檔帳務文檔結(jié)算營業(yè)文檔文檔客服文檔MIS網(wǎng)管HR文檔文檔文檔元數(shù)據(jù)據(jù)管理理(續(xù))業(yè)務元元數(shù)據(jù)據(jù)業(yè)務元元數(shù)據(jù)據(jù)用業(yè)業(yè)務名名稱、、定義義、描描述和和別名名來表表示數(shù)數(shù)據(jù)倉倉庫和和業(yè)務務系統(tǒng)統(tǒng)中的的各種種屬性性，直直接供供業(yè)務務分析析人員員使用用。技術(shù)元