IBM商業(yè)智能解決方案簡介

1、IBM商業(yè)智能解決方案簡介IBM商業(yè)智能解決方案簡介議程數據分析與決策支持系統面臨的挑戰(zhàn)IBM 商業(yè)智能解決方案簡介IBM 方案優(yōu)勢議程數據分析與決策支持系統面臨的挑戰(zhàn)電信企業(yè)的需要帳務統計收益分析網絡、基站運維分析績效考核客戶關系管理風險預測市場競爭分析.電信企業(yè)的需要帳務統計帳務統計、分析日、月統計報表月結算報表營業(yè)收入統計、分析資費來源統計、分析業(yè)務量統計、分析.帳務統計、分析日、月統計報表收益情況分析收入總量分析及預測收入增量分析及預測ARPU分析及預測收入結構分析及預測大客戶收入情況分析及預測客戶交費情況分析及預測客戶欠費情況及其結構分析及預測新增客戶交/欠費情況分析及預測欠費回收情

2、況分析高額/欺詐分析銷賬分析 收益情況分析收入總量分析及預測市場競爭分析市場占有率分析及預測市場需求分析及預測競爭對手發(fā)展情況分析及預測各競爭對手的市場營銷分析供應商市場行為特征分析合作商市場行為特性分析 市場競爭分析市場占有率分析及預測業(yè)務發(fā)展分析業(yè)務量發(fā)展分析及預測業(yè)務增量分析及預測MOU分析及預測新業(yè)務使用量分析及預測業(yè)務資源使用特征分析及預測大客戶使用業(yè)務量的特征分析及預測大客戶使用業(yè)務的特征分析及預測流量和流向特征分析及預測業(yè)務發(fā)展分析業(yè)務量發(fā)展分析及預測客戶分析客戶總量分析及預測新增客戶分析及預測客戶凈增量分析及預測客戶流失量分析及預測客戶轉網量分析及預測大客戶發(fā)展分析及預測客戶消

3、費能力分析及預測客戶消費習慣/愛好分析及預測客戶信用度分析外來用戶分析模擬用戶分析儲值卡用戶分析潛在用戶分析零次用戶分析一戶多卡用戶分析客戶分析客戶總量分析及預測客戶關系管理及市場策略發(fā)現優(yōu)秀客戶發(fā)現易流失客戶群調整產品定價發(fā)現客戶行為模式開發(fā)新產品交叉銷售.客戶關系管理及市場策略發(fā)現優(yōu)秀客戶網絡、基站分析基站配置與話務量分布情況分析分析各時段各基站/交換機的負載情況網絡收益分析網絡容量分析網絡安全分析熱點小區(qū)分析路由分析等網絡、基站分析基站配置與話務量分布情況分析服務質量分析客戶服務質量分析客戶服務時限分析客戶咨詢查詢焦點分析客戶投訴焦點分析大客戶服務質量分析客戶滿意度分析客戶忠誠度分析 服

4、務質量分析客戶服務質量分析營銷管理分析市場價格分析營銷渠道作用分析代銷代辦酬金分析營銷人員素質分析營銷宣傳市場效果分析促銷行為市場效果分析營銷管理分析市場價格分析綜合決策分析決策取向模擬分析決策行為市場操作模擬分析決策行為市場效果模擬分析綜合決策分析決策取向模擬分析績效考核分公司績效考核營業(yè)部績效考核營業(yè)員績效考核.績效考核分公司績效考核當前狀態(tài)計費系統網管系統財務系統營業(yè)系統結算報表CRM局長信息系統當前狀態(tài)計費系統網管系統財務系統營業(yè)系統結算報表CRM局長信挑戰(zhàn)：信息孤島財務系統市場促銷數據客戶數據營業(yè)數據呼叫中心數據挑戰(zhàn)：信息孤島財務系統市場促銷數據客戶數據營業(yè)數據呼叫中心數建立數據倉庫

5、、實施商業(yè)智能生產系統數據倉庫OLAP智能挖掘建立數據倉庫、實施商業(yè)智能生產系統數據倉庫OLAP智能挖掘如何實施商業(yè)智能分析的復雜度和價值統計多維數據挖掘優(yōu)化階段 1 階段 2 階段 3 階段 4 階段 5分析的階段數據集市數據倉庫發(fā)現驗證如何實施商業(yè)智能分析的復雜度和價值統計多維數據挖掘優(yōu)化階段 IBM BI 解決方案產品業(yè)務系統1業(yè)務系統2業(yè)務系統3業(yè)務系統n數據倉庫管理器/數據庫 Warehouse Manager/DB2 UDBDB2 OLAP Server報表工具QMFDB2 OLAP Server AnalyzerIntelligent Miner for Data其它應用IBM

6、BI 解決方案產品業(yè)務系統1業(yè)務系統2業(yè)務系統3業(yè)務IBM BI體系結構DB2 UDBDB2 UDBDB2 Warehouse Manager數據倉庫管理器Meta DataDB2 OLAP ServerDB2/Warehouse Control CenterOLAP Server App ManagerOLAP Server Analysis Server客戶端工具支持WEB決策支持工具和應用程序DB2 FamilyORACLEInformixSybaseSQL ServerIMS & VSAMFilesData Joiner DB2 Intelligent Miner for Data數據

7、智能挖掘服務器IBM BI體系結構DB2 UDBDB2 UDBDB2 Wa什么是數據倉庫數據倉庫是指從業(yè)務數據中創(chuàng)建信息數據庫，并針對決策和分析進行優(yōu)化。 數據倉庫中的信息是面向主題的、集成化的、穩(wěn)定的、隨時間變化的數據集合，用以支持管理決策的過程。數據來自多個數據源，并整合到一個數據庫中。在數據整合的過程中數據要經過聚合、摘要和清洗。什么是數據倉庫數據倉庫是指從業(yè)務數據中創(chuàng)建信息數據庫，并針對不同的數據用于不同的目的面向主題集成比較穩(wěn)定包含歷史數據支持管理決策面向應用有限集成經常更新僅有當前值支持日常業(yè)務運作業(yè)務數據信息數據業(yè)務數據和信息數據根本不同！TrustAccountsCheckin

8、gAccountsLoanAccountsLoanAccounts年月日Account History不同的數據用于不同的目的面向主題面向應用業(yè)務數據信息數據業(yè)務建立數據倉庫的過程商業(yè)主題業(yè)務信息業(yè)務數據管理轉換工具商業(yè)視圖元數據成員映射商業(yè)視圖Templates外部數據建立數據倉庫的過程商業(yè)主題業(yè)務信息業(yè)務數據管理轉換工具商業(yè)視DB2 Data Warehouse體系結構Log ServerKernelDispatcherSchedulerClientsWarehouse ServerWarehouse AgentsDatabasesRelationalSourceDB2 TargetDat

9、aMessageMessageNon-RelSourceEnd UsersDataDataDataDataNT/2000, OS/2, AIX, Sun, OS/390, AS/400DDDLogEditionsConfigurationControlDatabaseDB2MetadataMetadataType titleType textFlat FilesData Warehouse CenterMessageNT/2000NT/2000 AgentNT/2000, AIX, SunIncluded with DB2 UDBDB2 Data Warehouse體系結構Log Serv數據

10、倉庫代理(Agent)技術數據倉庫控制服務器(Warehouse Control Server)時間表啟動從控制數據庫中獲取商業(yè)視圖定義啟動代理(通過代理后臺進程)循環(huán) : - 接受和記錄結果 - 更新客戶端顯示數據倉庫代理(Agent)響應VW管理器循環(huán) : - 接受命令 - 執(zhí)行命令 - 報告狀態(tài)數據倉庫代理(Agent)技術數據倉庫控制服務器(WarehDB2 UDB高度并行的海量數據庫Cluster多個大緩沖區(qū)支持64位內存尋址內存管理單處理器對稱多處理(SMP)Massively Parallel Processor (MPP)增強的SMP并行支持MPP并行支持并行事務CPUSQLC

11、PUSQLCPUSQLCPUSQL并行查詢SQLCPUCPUCPUCPUDB2 UDB高度并行的海量數據庫Cluster多個大緩沖區(qū)SQL QueryQuery OptimizerBest Query PlanThreaded CodeCompile -TimeRun - TimeAgentAgentAgentPrefetchersSingle query involves1 coordinating agentn sub agentsm prefetchers (shared)All executing in parallel on available processorsCombinati

12、on of.Data parallelismEach agent works on subset of dataData dynamically assigned so user not required to partition dataFunctional parallelism (pipelining)Each agent works on different query function, e.g. scan, sortAlso enablesParallel Index CreateParallel Backup and RestoreAllows multiple processe

13、s to read or write data to/from the databaseParallel LOADExploitation of multiple processors during load, particularly for parsing/converting/formatting data節(jié)點內部并行SQL QueryQuery OptimizerBest QParallel Edition - style (shared-nothing) Data parallelism through hash partitioningPartitions can be. Phys

14、ical on MPP or clusterLogical on SMPRun - TimeAgentPrefetchersAgentPrefetchersAgentPrefetchersnode 0node 1node nSQL QueryQuery OptimizerBest Query PlanThreaded CodeCompile -Time節(jié)點間并行(數據庫分區(qū)間并行)Parallel Edition - style (shar.Single Database ViewParallel OptimizerUserQueryNode(CPU)Node(CPU)Node(CPU)Nod

15、e(CPU)Shared-nothing software architecture supportsIndependent physical nodesSeparate CPU, memory, and diskIncluding SMP nodesORMultiple logical database partitions on single large SMP ServerInterpartition communication is cross memory, not cross networkData is partitioned across nodes automatically

16、 by hashingEverything operates in parallelSelectInsertUpdateDeleteBackup/restoreLoadCreate indexReorg充分利用分區(qū)數據庫的能力.Social Insurance NumberNameLocation123-456-789JoeBostonTorontoPartition Key value Hashed to: 8VectorPosition0123456789101112.Node1231231231231.DB2DB2DB2Partition MapDetermines home for r

17、owCan be adjusted for data skew using the REDISTRIBUTE utilityHash分區(qū)和分區(qū)映射表Social Insurance NumberNameLocBlends best of MPP and SMP style of parallelismIdeal for SMP clustersMost flexible hardware supportLeading Edge Query Optimizer!Run - Timenode 0AgentAgentAgentPrefetchersnode 1AgentAgentAgentPrefe

18、tchersnode 2AgentAgentAgentPrefetchersSQL QueryQuery OptimizerBest Query PlanThreaded CodeCompile -Time分區(qū)內及分區(qū)間并行Blends best of MPP and SMP styDB2 UDB: 更大的容量表/視圖/列/別名長度增加名字更容易記憶更容易移植SQL語句長度可達64KB更復雜的查詢和分類(如數據挖掘)由工具自動生成的語句VARCHAR大小可以達到32KB更小依賴LONG VARCHAR，節(jié)省空間并提高性能最大表/表空間大小64GB/128GB/256GB/512GB可以生成更大

19、的表而不需要分區(qū)(partition)索引字段總長度達1024byte可以對更多/更長的字段加索引DB2 UDB: 更大的容量表/視圖/列/別名長度增加DB2 UDB: 優(yōu)化技術優(yōu)化級別0-9查詢重寫增加隱含的條件一般條件下壓(pushdown)子查詢該為JOIN消除不必要的JOIN將量化的條件轉化為標量子查詢將OR轉為IN將IN轉為JOIN視圖合并消除不必要的DISTINCT優(yōu)化器擴展減少限制RID列表排序Index Oring執(zhí)行計劃分析避免Cartesian積增強的JOIN大小估計非統一的分布式統計I/O統計對隨機和順序I/O不同處理鎖優(yōu)化可修正的CPU和I/O成本估算可更新的目錄統計D

20、B2 UDB: 優(yōu)化技術優(yōu)化級別0-9優(yōu)化器擴展DB2 UDB與商業(yè)智能集成新的統計函數頁面大?。?KB, 8KB, 16KB, 32KB更小的I/O，減少索引的層次優(yōu)化器可以利用多個緩沖池(與頁面大小)更多的利用星型連接優(yōu)化利用星型連接設計的數據庫性能更好對數據倉庫的增強數據加載過程中自動建立索引LOAD TERMINATE/RESTART選項LOAD時遞增的建立索引利用LOAD INSERT將數據附加到已經存在數據的表中DB2 UDB與商業(yè)智能集成新的統計函數易用的管理工具易用的管理工具DB2 Connect Enterprise EditionDRDA-Compliant ServerD

21、ata ReplicationCaptureApplyVisualAge for JavaDB2 ExtendersVisual ExplainDevelopersClient Configuration AssistantUsersDB2 DiscoveryAdministratorCommand Center (GUI CLP) DB2 UDB ServerDB2 UDB ServerGovernorControl Center and Utilities Performance MonitorJob SchedulerPerformance SmartGuideNetwork Confi

22、guration SmartGuideAdministration ServerSatellite Administration集成化的圖形界面管理工具DB2 Connect Enterprise EditionControl CenterControl CenterCommand CenterCommand CenterPerformance MonitorPerformance MonitorPerformance Smart GuidePerformance Smart GuideIndex SmartGuideIndex SmartGuideOther Tools Integrated

23、 with the DB2 Control CenterDB2 Script CenterAllows users to create and schedule scripts for regular database activitiesDB2 JournalProvides users with a view of activities which have occured in the DBMSDB2 License CenterAllows users to monitor license complianceDB2 Information CenterProvides users w

24、ith the entire DB2 UDB Technical Library onlineServer Communications (Network) Configuration AssistantAutomates set up of server for communication with clientsClient Configuration AssistantDatabase connection configuration and testingCan request that DB2 Discovery search network for databases ODBC a

25、dministrationDB2 DiscoverySearches for DB2 servers and databases over the networkReturns information required for connection to client Other Tools Integrated with thDB2家族產品全面解決方案TCP/IPIPX/SPXNETBIOSDOSWINDOWSWinNTWin95Win98OS/2AIXHP-UXSCOSUN SolarisSNI SINIXSGI IrixMACWeb BrowsersClientsDB2 for OS/4

26、00DB2 for AIXDB2 for OS/2DB2 for HP-UXDB2 for HP-UX 11.0DB2 for SUN SolarisDB2 for SINIXDB2 for NTDB2 for SCODB2 for SCO Unixware 7ServersDB2 ConnectDatajoinerNet.DataMiddlewareParallel ComplexesDB2 UDB EEE for AIXDB2 UDB EEE for SUN SolarisDB2 UDB EEE for Windows NTDB2 UDB for OS/390DB2 for OS/400P

27、ersonalDB2 for OS/2DB2 for WinNTDB2 for Win95DB2 for Win98Lotus ApproachSatellite EditionDB2 EverywhereOracleSybaseInformixSQL ServerIMS VSAMSourcesTivoli TME-10Satellite EditionManagementHostsDB2 UDB for OS/390DB2 for VM and VSEDB2 for OS/400TCP/IPSNAIPX/SPXWANCompleteSolutionsDB2家族產品全面解決方案TCP/IPDO

28、SClientOnline Analytical Processing (OLAP)由IBM研究員E.F. Codd提出，被業(yè)界廣泛采用為計劃和分析優(yōu)化處理多維視圖鉆取切片滿足用戶需求填補關系型數據庫的不足利用現有投資后臺交易系統前臺報表系統Online Analytical Processing (OLAP: 多維分析用維的方法觀察數據產品，時間，地區(qū)，財務指標等數據模型等同于業(yè)務模型結算分析歸屬局被訪局時間沖銷結算北京上海天津北京廣東.Q1Q4來訪費用出訪費用Q2Q3OLAP: 多維分析用維的方法觀察數據結算分析歸屬局被訪局時OLAP：多維分析旋轉：按不同順序組織各個維，對結果進行考察鉆取

29、：在一個維內部沿著從高到低或從低到高的方向考察數據上鉆下鉆切片：在確定某些維數據的情況下對其他維進行觀察OLAP：多維分析旋轉：按不同順序組織各個維，對結果進行考察OLAP: 多維分析時間歸屬局被訪局2000年2000年1月2000年1月1日2000年1月2日2000年1月3日2000年2月考察一個特定的維時間維，包括每一個歸屬局到各被訪局的沖銷結算關系鉆取到下面的層次來考察詳細情況OLAP: 多維分析時間歸屬局被訪局2000年2000年1月OLAP：旋轉時間歸屬局被訪局歸屬局被訪局時間按照不同的順序組合維，對數據進行考察OLAP：旋轉時間歸屬局被訪局歸屬局被訪局時間按照不同的順序OLAP：鉆

30、取結算分析時間歸屬局被訪局沖銷結算199920002001北京上海.北京上海來訪費用出訪費用Q1Q2Q3Q4AprMayJun鉆取到各級數據層次時間，年，季，月，日歸屬局，省局，地市OLAP：鉆取結算分析時間歸屬局被訪局沖銷結算1999200OLAP：切片時間歸屬局被訪局時間被訪局歸屬局一月份所有歸屬局對各被訪局的沖銷結算關系每個歸屬局對被訪局北京每個月份的沖銷結算關系用切片的方法從不同的角度觀察OLAP：切片時間歸屬局被訪局時間被訪局歸屬局一月份所有歸屬OLAPOLTPOLTP vs. OLAP：不同的角色紀錄交易情況有限的步驟二維數據管理數據處理運行商業(yè)運作確定任務反復的過程多維數據合并信

31、息綜合推動商業(yè)計劃OLAPOLTPOLTP vs. OLAP：不同的角色紀錄交DB2 UDB支持OLAP的高級特性優(yōu)化的SQL先進的基于成本的優(yōu)化器(Starburst)查詢重寫圖形化界面生成的低效SQL獨特的星型連接算法ProductStoreMonth先進的索引技術110011101010111010111101101010101010110001101010101010On-Line Analytical ProcessingProductMonthStoreCube, Rollup 操作符表函數并行支持自動的摘要表復制的表DB2 UDB支持OLAP的高級特性優(yōu)化的先進的基于成本的優(yōu)IB

32、M DB2 OLAP Server開放的系統最終用戶OLAP工具最終用戶查詢/報表工具易于實現和管理自動化的數據庫設計利用現有的技能和工具系統管理數據庫管理高度可伸縮性(Scalability)與IBM數據倉庫體系結合提供兩種存儲方式易于使用的安全權限限制IBM DB2 OLAP Server EssbaseOLAPEngineIBMRelationalStorageInterfaceEssbaseMulti-dimensionalData StoreIBM DB2 OLAP Server開放的系統IBM DB開放的接口標準開放的應用程序接口和工具C/C+ API、JDBC、ODBC/CLIE

33、mbedded SQL、SQLJ、Java、C/C+、VB、Delphi/C+ Builder、Power Builder 眾多的客戶端工具DB2 OLAP Server AnalyzerBusiness ObjectBrioCognosExcel/Lotus 123開放的接口標準開放的應用程序接口和工具通用的運行平臺AIXSolarisHP-UXWindows NT/2000LinuxS390AS400通用的運行平臺AIXOLAP Server與數據倉庫管理器緊密集成IBM的數據倉庫管理器中帶有大量與OLAP Server相關的程序(vwp)：文件數據加載到OLAP數據庫數據加載OLAP用文

34、件數據更新維用數據庫數據更新維計算用規(guī)則計算OLAP Server與數據倉庫管理器緊密集成IBM的數據倉 客戶可以使用Web方式訪問，不需要安裝任何OLAP工具。Web瀏覽器應用服務器WWWOLAP Server數據倉庫TCP/IP客戶端訪問和維護 客戶可以使用Web方式訪問，不需要安裝任何OLAP工完善的授權機制：應用程序級數據庫(Cube)級過濾器讀、寫、計算、設計權限用戶組圖形化管理界面用戶、權限管理完善的授權機制：用戶、權限管理完整的日志紀錄完整的日志紀錄數據挖掘數據倉庫選擇的數據選擇轉換挖掘理解轉換后的數據可理解的信息抽取的信息一個過程，從大型數據庫中抽取以前沒有發(fā)現，可理解的，可操

35、作的信息，用以支持企業(yè)關鍵性決策。數據挖掘數據倉庫選擇的選擇轉換挖掘理解轉換后的數據可理解的信數據挖掘的典型例子基于歷史數據預測行為發(fā)現未知分群、規(guī)則和模式數據挖掘的典型例子基于歷史數據預測行為發(fā)現未知分群、規(guī)則和模常用數據挖掘算法分為三類Data Mining AlgorithmsNo PredictionPredictOne ThingTime Series MatchingPredictEverythingAssociationsSequential PatternsDecision TreeRBFClassificationValue PredictionNeuralNeuralClu

36、steringDemographicNeural常用數據挖掘算法分為三類Data Mining Algori常用數據挖掘算法Clustering (Segmentation) - no dependent variableDemographic SegmentationNeural Segmentation (Kohonen Map)Example: Identify common characteristics in a customer data base.Predictive/Classification Modeling - dependent variableNonlinear re

37、gressionDecision trees Neural networks Radial-basis functionsExample: Predict IBMs stock price tomorrow.常用數據挖掘算法Clustering (Segmentati常用數據挖掘算法Link Analysis - transaction dataBasic associations (or dissociation)Sequential associations (over time)Example: Identify which features of an insurance policy

38、 sell together.Similar Time Sequence常用數據挖掘算法Link Analysis - transa許多業(yè)務問題可以映射到數據挖掘技術許多業(yè)務問題可以映射到數據挖掘技術Intelligent Miner for Data V6.1Intelligent Miner for Data V6.IBM Intelligent Miner for DataSequential PatternsAssociationsPredictive ModelingDeviation DetectionClusteringClassificationData Mining KernelsVisualization T