OracleBI數(shù)據(jù)倉庫設(shè)計(jì)及解決方案.ppt

1、數(shù)據(jù)倉庫解決方案探討,基于開放和標(biāo)準(zhǔn) 業(yè)已優(yōu)化, 集成的和可延展的 更好的性能, 可靠性, 安全性 更短的部署時(shí)間 更簡便的管理與升級 更低的擁有成本 極大降低變更管理的風(fēng)險(xiǎn) 整體支持,Complete, Open, Integrated,Oracle 產(chǎn)品體系架構(gòu)平臺產(chǎn)品及技術(shù)映射,Oracle 電子商務(wù)應(yīng)用套件 EBS,Oracle 融合中間件SOA Suite OSB BEPL BAM Web Service Management,Oracle 網(wǎng)格基礎(chǔ)架構(gòu)層 Oracle10g/11g/RAC WebLogic Server,Oracle 展現(xiàn) Oracle WebCenter BI

2、EE+ RUEI,Oracle 用戶和安全管理 Oracle Identity Management,Oracle 企業(yè)管理 Oracle Enterprise Manager,Oracle 數(shù)據(jù)倉庫 Partitioning Hyperion Essbase Data Mining,Oracle 高性能計(jì)算 TimesTen Coherence,Oracle 內(nèi)容管理 Enterprise Content Management,業(yè)務(wù)流程層,信息訪問層,商務(wù)智能,門戶,數(shù)據(jù)庫,應(yīng)用服務(wù)器,存儲,網(wǎng)格基礎(chǔ)架構(gòu)層,數(shù)據(jù)平臺層,流程管理,企業(yè)服務(wù)總線,規(guī)則引擎,應(yīng)用1,應(yīng)用2,應(yīng)用3,應(yīng)用4,應(yīng)用5

3、,安 全 管 理,拓 撲 管 理,系統(tǒng)的監(jiān)控和調(diào)優(yōu),產(chǎn)品生命周期管理,企 業(yè) 管 理,單點(diǎn)登陸,用戶管理,目錄集成,聯(lián)盟身份,應(yīng)用6,業(yè)務(wù)監(jiān)控,其它,操作型數(shù)據(jù)庫,數(shù)據(jù)倉庫,批量數(shù)據(jù)加載,實(shí)時(shí)/準(zhǔn)實(shí)時(shí)更新,數(shù)據(jù)獲取層,人工流程,Oracle 數(shù)據(jù)獲取層 GoldenGate ELT（Oracle Data Integrator ）,Oracle BPM Suite流程管理,Oracle Exadata一體機(jī),Oracle 人力資源 PeopleSoft,Oracle 項(xiàng)目管理 P6,Oracle 客戶關(guān)系管理 Siebel,Oracle 供應(yīng)鏈 JDE,Oracle 績效管理 Hyperion

4、,Oracle 數(shù)據(jù)倉庫解決方案 數(shù)據(jù)倉庫系統(tǒng)實(shí)施規(guī)劃 總結(jié),日程,績效可見性是投資時(shí)最優(yōu)先考慮的事項(xiàng), Gartner, Inc.,什么是數(shù)據(jù)倉庫,數(shù)據(jù)倉庫概念的提出者、美國著名信息工程專家William Inmon博士在90年代初提出了數(shù)據(jù)倉庫概念的一個(gè)表述： “一個(gè)數(shù)據(jù)倉庫通常是一個(gè)面向主題的、集成的、隨時(shí)間變化的、但信息本身相對穩(wěn)定的數(shù)據(jù)集合，它用于對管理決策過程的支持?！?數(shù)據(jù)倉庫術(shù)語 類比,數(shù)據(jù)挖掘,架構(gòu)設(shè)計(jì),數(shù)據(jù)倉庫和商務(wù)智能解決方案,CRM,IVR,Supply Chain,Financial,HR,Web,CTI,用戶交互系統(tǒng),業(yè)務(wù)系統(tǒng),其他業(yè)務(wù)和分析數(shù)據(jù)源,發(fā)現(xiàn)和預(yù)警,交互

5、式儀表板,報(bào)表,數(shù)據(jù)倉庫平臺,企業(yè)領(lǐng)導(dǎo),經(jīng)理,一線員工,上下游企業(yè),業(yè)務(wù)分析數(shù)據(jù)倉庫,移動(dòng)分析,實(shí)時(shí)分析,即時(shí)查詢,商務(wù)智能分析,銷售分析,服務(wù)分析,市場分析,供應(yīng)鏈分析,財(cái)務(wù)分析,勞動(dòng)力分析,商務(wù)智能分析 預(yù)制的客戶和業(yè)務(wù)分析 行業(yè)化和基于規(guī)則 針對Siebel, SAP, PeopleSoft, Oracle, 和其他數(shù)據(jù)源 快速實(shí)施、低成本,數(shù)據(jù)倉庫平臺 為所有用戶服務(wù) 極高的擴(kuò)展性和性能 完整的、即時(shí)的數(shù)據(jù)提供 提供更強(qiáng)的BI和分析能力,數(shù)據(jù)倉庫邏輯結(jié)構(gòu),元數(shù)據(jù),數(shù)據(jù)分析,Business Modeling,數(shù)據(jù)挖掘,查詢及報(bào)表,門戶,數(shù)據(jù)倉庫管理,數(shù)據(jù)源,OLAP,數(shù)據(jù)倉庫構(gòu)建,數(shù)據(jù)

6、倉庫, 模型,分段數(shù)據(jù)存儲,抽取, 轉(zhuǎn)換, 加載,知識工人,用戶,決策人員,數(shù)據(jù)倉庫及商務(wù)智能系統(tǒng)邏輯架構(gòu)圖,單點(diǎn)登錄 和 統(tǒng)一身份管理,數(shù)據(jù)倉庫數(shù)據(jù)加載 Oracle Data Integrator,高級的分析往往涵蓋異構(gòu)數(shù)據(jù)源,Oracle Data Integrator（ODI) 是一個(gè) SOA-Ready 的數(shù)據(jù)集成工具,Oracle Data Integrator,支持多種數(shù)據(jù)源和目標(biāo) 高性能 ODI可以方便地調(diào)用數(shù)據(jù)庫存儲過程、函數(shù)、操作系統(tǒng)可執(zhí)行腳本 ODI支持增量數(shù)據(jù)捕獲 ODI支持BLOB/CLOB數(shù)據(jù)類型的完全處理 ODI支持將數(shù)據(jù)庫數(shù)據(jù)轉(zhuǎn)換為XML，包括BLOB/CLOB

7、數(shù)據(jù)類型 圖形化界面，易于使用,E-LT 架構(gòu)-數(shù)據(jù)加載高性能,在單獨(dú)ETL服務(wù)器上進(jìn)行轉(zhuǎn)換 私有的引擎 性能差 高成本 在已有的關(guān)系數(shù)據(jù)庫上進(jìn)行轉(zhuǎn)換 充分利用資源 效率高 高性能 好處 最佳的高性能、可擴(kuò)展性 易管理、低成本,ODI的易用性,ODI提供圖形化方式實(shí)現(xiàn)異構(gòu)數(shù)據(jù)復(fù)制、異構(gòu)數(shù)據(jù)的抽取加載以及轉(zhuǎn)換,數(shù)據(jù)倉庫邏輯結(jié)構(gòu),數(shù)據(jù)倉庫數(shù)據(jù)管理 Oracle DB,大型數(shù)據(jù)倉庫特性排序,Source: Oracle ST Survey,數(shù)據(jù)分區(qū)技術(shù)提高大數(shù)據(jù)量的訪問速度,數(shù)據(jù)分區(qū)層次的管理 范圍、 hash、列表、復(fù)合分區(qū) 查詢時(shí)自動(dòng)分區(qū)忽略，減少對不相關(guān)數(shù)據(jù)的訪問 查詢語句可以在分區(qū)間并行，提

8、高CPU和IO并發(fā) 增強(qiáng)的數(shù)據(jù)有效性 數(shù)據(jù)故障隔離在分區(qū)而不是表上，備份、恢復(fù)更靈活,查詢的自動(dòng)分區(qū)忽略、其它分區(qū)數(shù)據(jù)不受影響,數(shù)據(jù)分區(qū)的益處：,顯著提高訪問大表時(shí)的性能 只訪問相關(guān)的分區(qū) 優(yōu)化器知道或查找相關(guān)的分區(qū) 預(yù)先用已知的值進(jìn)行靜態(tài)修剪 使用內(nèi)部遞歸 SQL 查找相關(guān)的分區(qū)來進(jìn)行動(dòng)態(tài)修剪使 I/O 操作最小化,分區(qū)忽略 系統(tǒng)自動(dòng)根據(jù)分區(qū)情況優(yōu)化數(shù)據(jù)訪問，忽略無關(guān)的數(shù)據(jù)分區(qū),1998,1999,2000,register Table,select sum(register_amt) from register where reg_date between 1998 and 1999,表分

9、區(qū)使用情況?,Oracle數(shù)據(jù)庫的真正應(yīng)用集群技術(shù),高可用性 保證節(jié)點(diǎn)故障時(shí)連續(xù)訪問,用戶連接自動(dòng)重定向（24*7） 高伸縮性 自動(dòng)負(fù)載均衡，當(dāng)負(fù)載增加時(shí)可增加節(jié)點(diǎn)來提高處理能力。,共享磁盤技術(shù) 高速內(nèi)存通道技術(shù) 可支持多節(jié)點(diǎn)配置,11g 中新的高級壓縮技術(shù),壓縮大的應(yīng)用表 9i只在數(shù)據(jù)加載時(shí)用，因此只適用數(shù)據(jù)倉庫系統(tǒng) 11g適合所有命令，可用于業(yè)務(wù)處理系統(tǒng) 壓縮各種數(shù)據(jù)類型 結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù) 典型壓縮比 2-3 X 大量節(jié)省磁盤空間消耗2x-3x 可減少IO, 加強(qiáng)了緩存的效率 比正常讀取要快2倍 壓縮的成本 能節(jié)省一半的存儲空間 會增加5%的CPU使用率,Up To 3X Comp

10、ression,Sun Oracle Database Machine,網(wǎng)格就是未來 高性能, 低成本, 冗余, 線性擴(kuò)展 Sun Oracle Database Machine 為所有數(shù)據(jù)管理需求交付第一個(gè)也是唯一一個(gè)完整的網(wǎng)格架構(gòu),Exadata Storage Server Grid 14 x高性能低成本存儲服務(wù)器 100 TB raw SAS disk storage or 336 TB raw SATA disk storage 5TB+ 閃存(flash storage)!,RAC Database Server Grid 8 x 高性能低成本服務(wù)器 每個(gè)服務(wù)器包括2 Intel

11、quad-core Xeons InfiniBand Network 40 Gb/sec fault-tolerant unified server and storage network,26,Exadata Flash 解決隨機(jī)I/O瓶頸,Sun Oracle Database Machine有5+ TB 的閃存存儲 Exadata Smart Cache技術(shù)緩存熱點(diǎn)訪問的數(shù)據(jù) Allows optimization by application table 極大地降低成本 同樣的I/O能力,超過10 x倍的磁盤節(jié)省 低能耗,Oracle 是第一個(gè)閃存優(yōu)化的數(shù)據(jù)庫系統(tǒng),New,5X Mor

12、e I/Os than 1000 Disk Enterprise Storage Array, 2009 Oracle Corporation - Confidential,27,50X,Up To,Only on Exadata,Exadata Hybrid Columnar Compression,數(shù)據(jù)以字段形式存儲并壓縮 查詢模式 針對data warehousing 最優(yōu)的速度 典型的可達(dá)到10X的壓縮率 按壓縮比率改進(jìn)掃描 Archival Mode 針對頻繁的數(shù)據(jù)訪問 減少空間 典型的可達(dá)到15X的壓縮率 有些可達(dá)到50X,數(shù)據(jù)倉庫邏輯結(jié)構(gòu),多維數(shù)據(jù)集市 Essbase,Oracl

13、e Essbase,近十年內(nèi)最具影響力的 10 大科技創(chuàng)新之一 全球第一的多維數(shù)據(jù)庫 What-if 計(jì)算 多維分配 多用戶讀/寫 寫回建模 BI 財(cái)務(wù)智能,維度和度量,稀疏維,銷售額度量,Dimension維度 地區(qū) 時(shí)間 商品,Measure度量銷售額,成員,卓越的計(jì)算能力,最廣泛的功能： 簡單匯總到復(fù)雜的跨維分配 根據(jù)檢索存儲或計(jì)算的結(jié)果 關(guān)系識別 條件或程序邏輯,Hyperion Essbase 可提高數(shù)據(jù)倉庫性能,1,000 個(gè)并發(fā)查詢 1,400 萬客戶帳戶,具有 Q&R 工具的數(shù)據(jù)倉庫,Hyperion Essbase,1% 完成，仍需要 7個(gè) 小時(shí),100% 完成，共計(jì) .2

14、秒,大數(shù)據(jù)量、多用戶支持,數(shù)據(jù)可伸縮性,安大略省交通部 超過100GB的39 維數(shù)據(jù)庫提供14年的歷史記錄 230,000次事故 250,000段公路 450,000輛車（22個(gè)屬性） 185,000名受傷人員（18個(gè)屬性） 通過提高對意外事件影響因素的洞察力降低死亡率,數(shù)據(jù)倉庫邏輯結(jié)構(gòu),數(shù)據(jù)挖掘 Data Mining,Oracle Data Mining,Oracle 數(shù)據(jù)挖掘 Oracle in-Database 挖掘引擎,數(shù)據(jù)挖掘功能 (Server) PL/SQL & Java APIs 開發(fā) & 部署預(yù)測分析應(yīng)用 大量的 DM 算法 (12) 分類 回歸 聚類 異常檢測 關(guān)聯(lián)規(guī)則

15、(購物籃分析) 結(jié)構(gòu)化 & 非結(jié)構(gòu)化數(shù)據(jù) (文本挖掘） Oracle 數(shù)據(jù)挖掘器 (GUI) 簡易化的, 直觀的數(shù)據(jù)挖掘 預(yù)測分析 從電子表格中“1-click data mining”,數(shù)據(jù)庫內(nèi)的數(shù)據(jù)挖掘優(yōu)勢,ODM 架構(gòu)提供了更強(qiáng)大的性能，可擴(kuò)展性和數(shù)據(jù)安全性 數(shù)據(jù)一直還留在數(shù)據(jù)庫里一直在適當(dāng)?shù)淖x取安全機(jī)制的控制下更少的移動(dòng)部分 分析結(jié)果可以直接在應(yīng)用流程里得到應(yīng)用，不用經(jīng)過“落地”、轉(zhuǎn)儲等耗費(fèi)資源的物化過程 性能和可擴(kuò)展性: 快速評分: 250萬個(gè)記錄在單CPU系統(tǒng)中只需6秒 實(shí)時(shí)評分: 在單CPU中100 個(gè)模型只需: 0.085 秒,Oracle BI EE 管理員可以看到Oracl

16、e 數(shù)據(jù)挖掘結(jié)果,Oracle BI EE 定義了最終用戶展現(xiàn)的結(jié)果,ODM和Oracle BI EE的整合,預(yù)測分析Oracle 數(shù)據(jù)挖掘 & Oracle BI EE,了解更多! 大量的數(shù)據(jù)挖掘算法 和(免費(fèi)的) 統(tǒng)計(jì)功能 挖掘數(shù)據(jù), 探索更全面的隱含信息, 進(jìn)行預(yù)測 做的更多! 挖掘新的信息用Oracle BI EE 做部署 構(gòu)建的應(yīng)用可以幫助你 “勝在分析上” 花的更少! 排除冗余的數(shù)據(jù)管理和數(shù)據(jù)分析系統(tǒng) 利用Oracle 數(shù)據(jù)庫技術(shù)的投資,您可以 ：,產(chǎn)業(yè)案例,銀行業(yè) 對新的銀行產(chǎn)品最有興趣的目標(biāo)客戶 (家庭實(shí)體融資, 教育儲蓄計(jì)劃, 保險(xiǎn)等) 花旗銀行 識別 “忠實(shí)” 客戶和可能流

17、失的客戶 識別信用卡欺詐行為的模式 根據(jù)人口統(tǒng)計(jì)和與銀行相關(guān)的活動(dòng)識別相似客戶分隔 零售 / 市場 預(yù)測那些客戶會對特定郵寄方式有反應(yīng) 識別每一個(gè)客戶 “下一個(gè)可能的購買目標(biāo)” 找到產(chǎn)品系列 (e.g. 電池 + 玩具, 羊毛衫 + 龜領(lǐng)裙等. 對倉庫存貨進(jìn)行網(wǎng)站促銷) ABC Stores,產(chǎn)業(yè)案例,保險(xiǎn) & 政府 識別欺詐行為(交稅情況) 美國內(nèi)部收入署 (IRS) 預(yù)測那些客戶會遵守新規(guī) 識別危險(xiǎn)客戶的行為模式 藥業(yè) & 保健行業(yè) 識別對不同病情和病人的成功的藥物療法 Walter Reed Medical Center 識別與疾病有關(guān)的因素 (基因, 綜合癥等),數(shù)據(jù)倉庫邏輯結(jié)構(gòu),數(shù)據(jù)

18、倉庫展現(xiàn) BIEE,Oracle BI EE Plus,KPI 指標(biāo) 可以鉆取到明細(xì),動(dòng)態(tài)警告,簡報(bào)下載便于離線分析,視圖選擇，動(dòng)態(tài)改變分析方式,輕松在儀表盤，即席查詢，高級報(bào)表等功能間切換,圖形鉆取，追尋問題根源,指標(biāo)選擇，快速切換關(guān)注焦點(diǎn),Oracle BI EE Plus,直觀的維度展示和選取,輕松進(jìn)行鉆取、旋轉(zhuǎn)、切片等復(fù)雜分析,快速添加各種數(shù)據(jù)視圖,數(shù)據(jù)倉庫擴(kuò)展 動(dòng)靜相宜,數(shù)據(jù)倉庫和商務(wù)智能系統(tǒng)的發(fā)展趨勢從靜態(tài)走向動(dòng)態(tài),更實(shí)時(shí),更主動(dòng),更有效,更直觀,擴(kuò)展的數(shù)據(jù)倉庫分析平臺Oracle能提供什么產(chǎn)品,擴(kuò)展功能,Oracle 數(shù)據(jù)倉庫和商務(wù)智能產(chǎn)品,Oracle 擴(kuò)展功能產(chǎn)品,擴(kuò)展的數(shù)據(jù)

19、倉庫分析平臺,Closed Loop Analytics,Src2,Src3,Src4,Src1,Message Queues,CDC,Bulk Data, Events, Changed Data Capture and Data Services,Fusion Middleware Integration Infrastructure,Hourly, minute CDC, Real-time,SEED,miniSEED,Daily, Monthly,BAM, BI, DM and BPA Infrastructure,Monitor Events,Analyze Data,Oracle

20、BAM,Mining Data,Monthly,+RAC +Partitioning +Spatial +Data Mining,User Access Infrastructure,Take Action Write Back,Monitor Present Analyze the Past Predict for the Future,Oracle Portal,Oracle 數(shù)據(jù)倉庫解決方案 數(shù)據(jù)倉庫系統(tǒng)實(shí)施規(guī)劃 總結(jié),日程,通過傳統(tǒng)決策分析工具從頭開始建立,Oracle 決策分析應(yīng)用,針對 Oracle, PeopleSoft, Siebel, SAP 等的預(yù)建業(yè)務(wù)適配器,預(yù)建的數(shù)據(jù)倉

21、庫設(shè)計(jì)，適合您的 EDW,基于角色的指示板和數(shù)千個(gè)預(yù)定義的衡量標(biāo)準(zhǔn),方便使用和部署,數(shù)周或數(shù)月,后臺 ETL 和映射,數(shù)據(jù)倉庫設(shè)計(jì),定義衡量標(biāo)準(zhǔn)和指示板,后臺 ETL 和映射,數(shù)據(jù)倉庫設(shè)計(jì),定義衡量標(biāo)準(zhǔn)和指示板,培訓(xùn) / 推廣,培訓(xùn) / 推廣,數(shù)月或數(shù)年,資料來源：Patricia Seybold 調(diào)查, Gartner, Merrill Lynch, Oracle 分析,快速實(shí)現(xiàn)價(jià)值并降低總擁有成本,數(shù)據(jù)倉庫和商務(wù)智能系統(tǒng)實(shí)施5個(gè)關(guān)鍵因素,為什么? 開始階段樹立信用度和信心 怎么做? 確認(rèn)誰對DW/BI 最感興趣 實(shí)施難度評估,為什么? 在開始階段取得成果 怎么做? 高價(jià)值和ROI 較高的數(shù)

22、據(jù)可用性 更好的數(shù)據(jù)質(zhì)量 更好的數(shù)據(jù)組織,R eturn O n I nvestment,數(shù)據(jù)倉庫和商務(wù)智能系統(tǒng)實(shí)施5個(gè)關(guān)鍵因素,為什么? 確定下一階段的目標(biāo) 怎么做? 評估當(dāng)前使用的頻率 評估當(dāng)前的ROI 評估用戶需求,數(shù)據(jù)倉庫和商務(wù)智能系統(tǒng)實(shí)施5個(gè)關(guān)鍵因素,為什么? 在內(nèi)部和外部推廣 怎么做? 使用經(jīng)驗(yàn)推廣 ETL Report Operation Capability 提升最終用戶分析能力 分析數(shù)據(jù),數(shù)據(jù)倉庫和商務(wù)智能系統(tǒng)實(shí)施5個(gè)關(guān)鍵因素,為什么? 高層領(lǐng)導(dǎo)的參與程度直接決定了數(shù)據(jù)倉庫的建設(shè)效率 “一把手工程” 業(yè)務(wù)用戶的參與能保證項(xiàng)目不偏離業(yè)務(wù)目標(biāo)，最終用戶對系統(tǒng)的評價(jià)是數(shù)據(jù)倉庫是否成功的標(biāo)準(zhǔn) 怎么做? 盡量讓高層領(lǐng)導(dǎo)了解實(shí)施的每個(gè)階段才能充分協(xié)調(diào)各類資源 業(yè)務(wù)用戶充分參與到項(xiàng)目每一個(gè)實(shí)施的步驟，特別是測試的工作,數(shù)據(jù)倉庫和商務(wù)智能系統(tǒng)實(shí)施5個(gè)關(guān)鍵因素,DW/BI 系統(tǒng)實(shí)施方法論,需求分析,信息收集,模型設(shè)計(jì),數(shù)據(jù)倉庫架構(gòu)設(shè)計(jì),商務(wù)智能應(yīng)用開發(fā),運(yùn)行維護(hù),數(shù)據(jù)抽取,RA 需求分析,IC 信息收集,AD 數(shù)據(jù)倉庫架構(gòu)設(shè)計(jì),Oracle DW KM 38 Key Factors,1 啟動(dòng) 2 問題準(zhǔn)備 3 用戶培訓(xùn) 4 用戶訪談 5 需求分析,1 業(yè)務(wù)系統(tǒng)培訓(xùn) 2 材料收集 3 系統(tǒng)級分析