OracleBI數(shù)據(jù)倉庫設計及解決方案.ppt

1、數(shù)據(jù)倉庫解決方案探討,基于開放和標準 業(yè)已優(yōu)化, 集成的和可延展的 更好的性能, 可靠性, 安全性 更短的部署時間 更簡便的管理與升級 更低的擁有成本 極大降低變更管理的風險 整體支持,Complete, Open, Integrated,Oracle 產品體系架構平臺產品及技術映射,Oracle 電子商務應用套件 EBS,Oracle 融合中間件SOA Suite OSB BEPL BAM Web Service Management,Oracle 網格基礎架構層 Oracle10g/11g/RAC WebLogic Server,Oracle 展現(xiàn) Oracle WebCenter BI

2、EE+ RUEI,Oracle 用戶和安全管理 Oracle Identity Management,Oracle 企業(yè)管理 Oracle Enterprise Manager,Oracle 數(shù)據(jù)倉庫 Partitioning Hyperion Essbase Data Mining,Oracle 高性能計算 TimesTen Coherence,Oracle 內容管理 Enterprise Content Management,業(yè)務流程層,信息訪問層,商務智能,門戶,數(shù)據(jù)庫,應用服務器,存儲,網格基礎架構層,數(shù)據(jù)平臺層,流程管理,企業(yè)服務總線,規(guī)則引擎,應用1,應用2,應用3,應用4,應用5

3、,安 全 管 理,拓 撲 管 理,系統(tǒng)的監(jiān)控和調優(yōu),產品生命周期管理,企 業(yè) 管 理,單點登陸,用戶管理,目錄集成,聯(lián)盟身份,應用6,業(yè)務監(jiān)控,其它,操作型數(shù)據(jù)庫,數(shù)據(jù)倉庫,批量數(shù)據(jù)加載,實時/準實時更新,數(shù)據(jù)獲取層,人工流程,Oracle 數(shù)據(jù)獲取層 GoldenGate ELT（Oracle Data Integrator ）,Oracle BPM Suite流程管理,Oracle Exadata一體機,Oracle 人力資源 PeopleSoft,Oracle 項目管理 P6,Oracle 客戶關系管理 Siebel,Oracle 供應鏈 JDE,Oracle 績效管理 Hyperion

4、,Oracle 數(shù)據(jù)倉庫解決方案 數(shù)據(jù)倉庫系統(tǒng)實施規(guī)劃 總結,日程,績效可見性是投資時最優(yōu)先考慮的事項, Gartner, Inc.,什么是數(shù)據(jù)倉庫,數(shù)據(jù)倉庫概念的提出者、美國著名信息工程專家William Inmon博士在90年代初提出了數(shù)據(jù)倉庫概念的一個表述： “一個數(shù)據(jù)倉庫通常是一個面向主題的、集成的、隨時間變化的、但信息本身相對穩(wěn)定的數(shù)據(jù)集合，它用于對管理決策過程的支持?！?數(shù)據(jù)倉庫術語 類比,數(shù)據(jù)挖掘,架構設計,數(shù)據(jù)倉庫和商務智能解決方案,CRM,IVR,Supply Chain,Financial,HR,Web,CTI,用戶交互系統(tǒng),業(yè)務系統(tǒng),其他業(yè)務和分析數(shù)據(jù)源,發(fā)現(xiàn)和預警,交互

5、式儀表板,報表,數(shù)據(jù)倉庫平臺,企業(yè)領導,經理,一線員工,上下游企業(yè),業(yè)務分析數(shù)據(jù)倉庫,移動分析,實時分析,即時查詢,商務智能分析,銷售分析,服務分析,市場分析,供應鏈分析,財務分析,勞動力分析,商務智能分析 預制的客戶和業(yè)務分析 行業(yè)化和基于規(guī)則 針對Siebel, SAP, PeopleSoft, Oracle, 和其他數(shù)據(jù)源 快速實施、低成本,數(shù)據(jù)倉庫平臺 為所有用戶服務 極高的擴展性和性能 完整的、即時的數(shù)據(jù)提供 提供更強的BI和分析能力,數(shù)據(jù)倉庫邏輯結構,元數(shù)據(jù),數(shù)據(jù)分析,Business Modeling,數(shù)據(jù)挖掘,查詢及報表,門戶,數(shù)據(jù)倉庫管理,數(shù)據(jù)源,OLAP,數(shù)據(jù)倉庫構建,數(shù)據(jù)

6、倉庫, 模型,分段數(shù)據(jù)存儲,抽取, 轉換, 加載,知識工人,用戶,決策人員,數(shù)據(jù)倉庫及商務智能系統(tǒng)邏輯架構圖,單點登錄 和 統(tǒng)一身份管理,數(shù)據(jù)倉庫數(shù)據(jù)加載 Oracle Data Integrator,高級的分析往往涵蓋異構數(shù)據(jù)源,Oracle Data Integrator（ODI) 是一個 SOA-Ready 的數(shù)據(jù)集成工具,Oracle Data Integrator,支持多種數(shù)據(jù)源和目標 高性能 ODI可以方便地調用數(shù)據(jù)庫存儲過程、函數(shù)、操作系統(tǒng)可執(zhí)行腳本 ODI支持增量數(shù)據(jù)捕獲 ODI支持BLOB/CLOB數(shù)據(jù)類型的完全處理 ODI支持將數(shù)據(jù)庫數(shù)據(jù)轉換為XML，包括BLOB/CLOB

7、數(shù)據(jù)類型 圖形化界面，易于使用,E-LT 架構-數(shù)據(jù)加載高性能,在單獨ETL服務器上進行轉換 私有的引擎 性能差 高成本 在已有的關系數(shù)據(jù)庫上進行轉換 充分利用資源 效率高 高性能 好處 最佳的高性能、可擴展性 易管理、低成本,ODI的易用性,ODI提供圖形化方式實現(xiàn)異構數(shù)據(jù)復制、異構數(shù)據(jù)的抽取加載以及轉換,數(shù)據(jù)倉庫邏輯結構,數(shù)據(jù)倉庫數(shù)據(jù)管理 Oracle DB,大型數(shù)據(jù)倉庫特性排序,Source: Oracle ST Survey,數(shù)據(jù)分區(qū)技術提高大數(shù)據(jù)量的訪問速度,數(shù)據(jù)分區(qū)層次的管理 范圍、 hash、列表、復合分區(qū) 查詢時自動分區(qū)忽略，減少對不相關數(shù)據(jù)的訪問 查詢語句可以在分區(qū)間并行，提

8、高CPU和IO并發(fā) 增強的數(shù)據(jù)有效性 數(shù)據(jù)故障隔離在分區(qū)而不是表上，備份、恢復更靈活,查詢的自動分區(qū)忽略、其它分區(qū)數(shù)據(jù)不受影響,數(shù)據(jù)分區(qū)的益處：,顯著提高訪問大表時的性能 只訪問相關的分區(qū) 優(yōu)化器知道或查找相關的分區(qū) 預先用已知的值進行靜態(tài)修剪 使用內部遞歸 SQL 查找相關的分區(qū)來進行動態(tài)修剪使 I/O 操作最小化,分區(qū)忽略 系統(tǒng)自動根據(jù)分區(qū)情況優(yōu)化數(shù)據(jù)訪問，忽略無關的數(shù)據(jù)分區(qū),1998,1999,2000,register Table,select sum(register_amt) from register where reg_date between 1998 and 1999,表分

9、區(qū)使用情況?,Oracle數(shù)據(jù)庫的真正應用集群技術,高可用性 保證節(jié)點故障時連續(xù)訪問,用戶連接自動重定向（24*7） 高伸縮性 自動負載均衡，當負載增加時可增加節(jié)點來提高處理能力。,共享磁盤技術 高速內存通道技術 可支持多節(jié)點配置,11g 中新的高級壓縮技術,壓縮大的應用表 9i只在數(shù)據(jù)加載時用，因此只適用數(shù)據(jù)倉庫系統(tǒng) 11g適合所有命令，可用于業(yè)務處理系統(tǒng) 壓縮各種數(shù)據(jù)類型 結構化數(shù)據(jù)和非結構化數(shù)據(jù) 典型壓縮比 2-3 X 大量節(jié)省磁盤空間消耗2x-3x 可減少IO, 加強了緩存的效率 比正常讀取要快2倍 壓縮的成本 能節(jié)省一半的存儲空間 會增加5%的CPU使用率,Up To 3X Comp

10、ression,Sun Oracle Database Machine,網格就是未來 高性能, 低成本, 冗余, 線性擴展 Sun Oracle Database Machine 為所有數(shù)據(jù)管理需求交付第一個也是唯一一個完整的網格架構,Exadata Storage Server Grid 14 x高性能低成本存儲服務器 100 TB raw SAS disk storage or 336 TB raw SATA disk storage 5TB+ 閃存(flash storage)!,RAC Database Server Grid 8 x 高性能低成本服務器 每個服務器包括2 Intel

11、quad-core Xeons InfiniBand Network 40 Gb/sec fault-tolerant unified server and storage network,26,Exadata Flash 解決隨機I/O瓶頸,Sun Oracle Database Machine有5+ TB 的閃存存儲 Exadata Smart Cache技術緩存熱點訪問的數(shù)據(jù) Allows optimization by application table 極大地降低成本 同樣的I/O能力,超過10 x倍的磁盤節(jié)省 低能耗,Oracle 是第一個閃存優(yōu)化的數(shù)據(jù)庫系統(tǒng),New,5X Mor

12、e I/Os than 1000 Disk Enterprise Storage Array, 2009 Oracle Corporation - Confidential,27,50X,Up To,Only on Exadata,Exadata Hybrid Columnar Compression,數(shù)據(jù)以字段形式存儲并壓縮 查詢模式 針對data warehousing 最優(yōu)的速度 典型的可達到10X的壓縮率 按壓縮比率改進掃描 Archival Mode 針對頻繁的數(shù)據(jù)訪問 減少空間 典型的可達到15X的壓縮率 有些可達到50X,數(shù)據(jù)倉庫邏輯結構,多維數(shù)據(jù)集市 Essbase,Oracl

13、e Essbase,近十年內最具影響力的 10 大科技創(chuàng)新之一 全球第一的多維數(shù)據(jù)庫 What-if 計算 多維分配 多用戶讀/寫 寫回建模 BI 財務智能,維度和度量,稀疏維,銷售額度量,Dimension維度 地區(qū) 時間 商品,Measure度量銷售額,成員,卓越的計算能力,最廣泛的功能： 簡單匯總到復雜的跨維分配 根據(jù)檢索存儲或計算的結果 關系識別 條件或程序邏輯,Hyperion Essbase 可提高數(shù)據(jù)倉庫性能,1,000 個并發(fā)查詢 1,400 萬客戶帳戶,具有 Q&R 工具的數(shù)據(jù)倉庫,Hyperion Essbase,1% 完成，仍需要 7個 小時,100% 完成，共計 .2

14、秒,大數(shù)據(jù)量、多用戶支持,數(shù)據(jù)可伸縮性,安大略省交通部 超過100GB的39 維數(shù)據(jù)庫提供14年的歷史記錄 230,000次事故 250,000段公路 450,000輛車（22個屬性） 185,000名受傷人員（18個屬性） 通過提高對意外事件影響因素的洞察力降低死亡率,數(shù)據(jù)倉庫邏輯結構,數(shù)據(jù)挖掘 Data Mining,Oracle Data Mining,Oracle 數(shù)據(jù)挖掘 Oracle in-Database 挖掘引擎,數(shù)據(jù)挖掘功能 (Server) PL/SQL & Java APIs 開發(fā) & 部署預測分析應用 大量的 DM 算法 (12) 分類 回歸 聚類 異常檢測 關聯(lián)規(guī)則

15、(購物籃分析) 結構化 & 非結構化數(shù)據(jù) (文本挖掘） Oracle 數(shù)據(jù)挖掘器 (GUI) 簡易化的, 直觀的數(shù)據(jù)挖掘 預測分析 從電子表格中“1-click data mining”,數(shù)據(jù)庫內的數(shù)據(jù)挖掘優(yōu)勢,ODM 架構提供了更強大的性能，可擴展性和數(shù)據(jù)安全性 數(shù)據(jù)一直還留在數(shù)據(jù)庫里一直在適當?shù)淖x取安全機制的控制下更少的移動部分 分析結果可以直接在應用流程里得到應用，不用經過“落地”、轉儲等耗費資源的物化過程 性能和可擴展性: 快速評分: 250萬個記錄在單CPU系統(tǒng)中只需6秒 實時評分: 在單CPU中100 個模型只需: 0.085 秒,Oracle BI EE 管理員可以看到Oracl

16、e 數(shù)據(jù)挖掘結果,Oracle BI EE 定義了最終用戶展現(xiàn)的結果,ODM和Oracle BI EE的整合,預測分析Oracle 數(shù)據(jù)挖掘 & Oracle BI EE,了解更多! 大量的數(shù)據(jù)挖掘算法 和(免費的) 統(tǒng)計功能 挖掘數(shù)據(jù), 探索更全面的隱含信息, 進行預測 做的更多! 挖掘新的信息用Oracle BI EE 做部署 構建的應用可以幫助你 “勝在分析上” 花的更少! 排除冗余的數(shù)據(jù)管理和數(shù)據(jù)分析系統(tǒng) 利用Oracle 數(shù)據(jù)庫技術的投資,您可以 ：,產業(yè)案例,銀行業(yè) 對新的銀行產品最有興趣的目標客戶 (家庭實體融資, 教育儲蓄計劃, 保險等) 花旗銀行 識別 “忠實” 客戶和可能流

17、失的客戶 識別信用卡欺詐行為的模式 根據(jù)人口統(tǒng)計和與銀行相關的活動識別相似客戶分隔 零售 / 市場 預測那些客戶會對特定郵寄方式有反應 識別每一個客戶 “下一個可能的購買目標” 找到產品系列 (e.g. 電池 + 玩具, 羊毛衫 + 龜領裙等. 對倉庫存貨進行網站促銷) ABC Stores,產業(yè)案例,保險 & 政府 識別欺詐行為(交稅情況) 美國內部收入署 (IRS) 預測那些客戶會遵守新規(guī) 識別危險客戶的行為模式 藥業(yè) & 保健行業(yè) 識別對不同病情和病人的成功的藥物療法 Walter Reed Medical Center 識別與疾病有關的因素 (基因, 綜合癥等),數(shù)據(jù)倉庫邏輯結構,數(shù)據(jù)

18、倉庫展現(xiàn) BIEE,Oracle BI EE Plus,KPI 指標 可以鉆取到明細,動態(tài)警告,簡報下載便于離線分析,視圖選擇，動態(tài)改變分析方式,輕松在儀表盤，即席查詢，高級報表等功能間切換,圖形鉆取，追尋問題根源,指標選擇，快速切換關注焦點,Oracle BI EE Plus,直觀的維度展示和選取,輕松進行鉆取、旋轉、切片等復雜分析,快速添加各種數(shù)據(jù)視圖,數(shù)據(jù)倉庫擴展 動靜相宜,數(shù)據(jù)倉庫和商務智能系統(tǒng)的發(fā)展趨勢從靜態(tài)走向動態(tài),更實時,更主動,更有效,更直觀,擴展的數(shù)據(jù)倉庫分析平臺Oracle能提供什么產品,擴展功能,Oracle 數(shù)據(jù)倉庫和商務智能產品,Oracle 擴展功能產品,擴展的數(shù)據(jù)

19、倉庫分析平臺,Closed Loop Analytics,Src2,Src3,Src4,Src1,Message Queues,CDC,Bulk Data, Events, Changed Data Capture and Data Services,Fusion Middleware Integration Infrastructure,Hourly, minute CDC, Real-time,SEED,miniSEED,Daily, Monthly,BAM, BI, DM and BPA Infrastructure,Monitor Events,Analyze Data,Oracle

20、BAM,Mining Data,Monthly,+RAC +Partitioning +Spatial +Data Mining,User Access Infrastructure,Take Action Write Back,Monitor Present Analyze the Past Predict for the Future,Oracle Portal,Oracle 數(shù)據(jù)倉庫解決方案 數(shù)據(jù)倉庫系統(tǒng)實施規(guī)劃 總結,日程,通過傳統(tǒng)決策分析工具從頭開始建立,Oracle 決策分析應用,針對 Oracle, PeopleSoft, Siebel, SAP 等的預建業(yè)務適配器,預建的數(shù)據(jù)倉

21、庫設計，適合您的 EDW,基于角色的指示板和數(shù)千個預定義的衡量標準,方便使用和部署,數(shù)周或數(shù)月,后臺 ETL 和映射,數(shù)據(jù)倉庫設計,定義衡量標準和指示板,后臺 ETL 和映射,數(shù)據(jù)倉庫設計,定義衡量標準和指示板,培訓 / 推廣,培訓 / 推廣,數(shù)月或數(shù)年,資料來源：Patricia Seybold 調查, Gartner, Merrill Lynch, Oracle 分析,快速實現(xiàn)價值并降低總擁有成本,數(shù)據(jù)倉庫和商務智能系統(tǒng)實施5個關鍵因素,為什么? 開始階段樹立信用度和信心 怎么做? 確認誰對DW/BI 最感興趣 實施難度評估,為什么? 在開始階段取得成果 怎么做? 高價值和ROI 較高的數(shù)

22、據(jù)可用性 更好的數(shù)據(jù)質量 更好的數(shù)據(jù)組織,R eturn O n I nvestment,數(shù)據(jù)倉庫和商務智能系統(tǒng)實施5個關鍵因素,為什么? 確定下一階段的目標 怎么做? 評估當前使用的頻率 評估當前的ROI 評估用戶需求,數(shù)據(jù)倉庫和商務智能系統(tǒng)實施5個關鍵因素,為什么? 在內部和外部推廣 怎么做? 使用經驗推廣 ETL Report Operation Capability 提升最終用戶分析能力 分析數(shù)據(jù),數(shù)據(jù)倉庫和商務智能系統(tǒng)實施5個關鍵因素,為什么? 高層領導的參與程度直接決定了數(shù)據(jù)倉庫的建設效率 “一把手工程” 業(yè)務用戶的參與能保證項目不偏離業(yè)務目標，最終用戶對系統(tǒng)的評價是數(shù)據(jù)倉庫是否成功的標準 怎么做? 盡量讓高層領導了解實施的每個階段才能充分協(xié)調各類資源 業(yè)務用戶充分參與到項目每一個實施的步驟，特別是測試的工作,數(shù)據(jù)倉庫和商務智能系統(tǒng)實施5個關鍵因素,DW/BI 系統(tǒng)實施方法論,需求分析,信息收集,模型設計,數(shù)據(jù)倉庫架構設計,商務智能應用開發(fā),運行維護,數(shù)據(jù)抽取,RA 需求分析,IC 信息收集,AD 數(shù)據(jù)倉庫架構設計,Oracle DW KM 38 Key Factors,1 啟動 2 問題準備 3 用戶培訓 4 用戶訪談 5 需求分析,1 業(yè)務系統(tǒng)培訓 2 材料收集 3 系統(tǒng)級分析