用戶案例_數(shù)據(jù)倉庫

2020年4月19日 用戶案例介紹Oracle數(shù)據(jù)中心 內(nèi)容 法國電信新西蘭電信 法國電信數(shù)據(jù)倉庫 法國電信 FranceTelecom 歐洲第三大電信運營商 2000年營業(yè)額為337億歐元在五大洲220個國家和地區(qū)擁有9100多萬客戶下屬Orange是第二大移動運營商 實際的數(shù)據(jù)倉庫案例 WinterVLDBSurvey 14Sep2005LargestDatabaseSize DecisionSupport SearsTeradata4 63HCIAInformix4 50Wal MartTeradata4 42TeleDanmarkDB22 84CitiCorpDB22 47MCIInformix1 88NDCHealthOracle1 85SprintTeradata1 30FordOracle1 20AcxiomOracle1 13 法國電信 世界上最大的數(shù)據(jù)倉庫 Winter2003VLDBSurveyLargestDatabaseSize DecisionSupport 數(shù)據(jù)倉庫項目建設目標 建立統(tǒng)一的數(shù)據(jù)信息平臺 實現(xiàn)客戶資料和生產(chǎn)數(shù)據(jù)的集中存儲 利用先進的數(shù)據(jù)倉庫技術和決策分析技術為市場營銷和客戶服務工作提供有效的支撐 流失分析欺詐分析客戶發(fā)展分析客戶關系管理 目前系統(tǒng)規(guī)模 包含12個月的話單數(shù)據(jù)庫容量為65TB 其中原始數(shù)據(jù)為25TB最大的表包含1800億話單 項目面臨的技術挑戰(zhàn) 數(shù)據(jù)存儲系統(tǒng)要求存儲12 18個月的詳單數(shù)據(jù)數(shù)據(jù)裝載按小時裝載詳單數(shù)據(jù) 要求每天在8小時內(nèi)裝載5億條詳單高峰時一個小時裝載6500萬條詳單在8小時內(nèi)同時完成1億7000萬個匯總操作數(shù)據(jù)訪問支持680個并發(fā)用戶 支持8000個系統(tǒng)用戶95 的預定義查詢操作在5秒鐘內(nèi)完成每秒鐘23個查詢操作 法國電信選擇數(shù)據(jù)倉庫平臺的考慮 強大的ETL支持能力支持按小時的數(shù)據(jù)裝載高效的數(shù)據(jù)訪問硬件的支持 多CPU 大內(nèi)存 并行處理分區(qū)技術索引技術數(shù)據(jù)庫內(nèi)置的分析能力高可用性7x24不間斷運行軟件的成熟性TB級數(shù)據(jù)倉庫用戶案例 數(shù)據(jù)倉庫 數(shù)據(jù)緩沖池和操作數(shù)據(jù)存儲 匯總計算計算更新 生產(chǎn)數(shù)據(jù)采集和預處理預處理轉(zhuǎn)換導出新數(shù)據(jù) 數(shù)據(jù)倉庫系統(tǒng)管理 數(shù)據(jù)倉庫功能管理 系統(tǒng)管理員操作員 錯誤數(shù)據(jù)處理 刷新數(shù)據(jù)集市 數(shù)據(jù)集市1 客戶資料 客戶資料接收和準備質(zhì)量檢查轉(zhuǎn)換 生產(chǎn)系統(tǒng) 數(shù)據(jù)集市2 中央數(shù)據(jù)存儲 普通用戶 預處理應用 其它界面 WEB界面 高級用戶 即席查詢應用 應用平臺 系統(tǒng)的邏輯結(jié)構(gòu) 系統(tǒng)中使用的Oracle關鍵技術 混合分區(qū) 混合分區(qū)的設計 按地區(qū)建立列表分區(qū)按時間建立范圍分區(qū)一天以上的話單數(shù)據(jù)按天建立365分區(qū)一天以內(nèi)的話單按小時建立分區(qū) selectsum sales amount fromsaleswheresales datebetweento date 01 MAR 1999 DD MON YYYY andto date 31 MAY 1999 DD MON YYYY 利用分區(qū)忽略提高大表的查詢性能 分區(qū)忽略 只有相關分區(qū)被訪問 系統(tǒng)測試結(jié)果 數(shù)據(jù)訪問 每秒鐘23到100個并發(fā)查詢操作95 的查詢在1秒鐘內(nèi)完成 系統(tǒng)中使用的Oracle關鍵技術 可傳輸?shù)谋砜臻g 業(yè)務系統(tǒng) 數(shù)據(jù)倉庫 Mar Feb Jan Mar Feb 操作系統(tǒng)文件的直接復制不需要數(shù)據(jù)的導入 導出 實現(xiàn)按小時的數(shù)據(jù)加載 OLTP DataWarehouse DataMarts Archives Informationdistribution Staging 可傳輸表空間在數(shù)據(jù)倉庫中的使用 舉例利用可傳輸?shù)谋砜臻g和分區(qū)技術實現(xiàn)快速數(shù)據(jù)裝載 詳單數(shù)據(jù)的導出 把需要傳輸?shù)臄?shù)據(jù)放在單獨的表空間CREATETABLEtemp jan salesNOLOGGINGTABLESPACEts temp salesASSELECT FROMsalesWHEREtime idBETWEEN 31 DEC 1999 AND 01 FEB 2000 導出數(shù)據(jù)字典EXPTRANSPORT TABLESPACE yTABLESPACES ts temp salesFILE jan sales dmp復制數(shù)據(jù)文件和數(shù)據(jù)字典到數(shù)據(jù)倉庫服務器 詳單數(shù)據(jù)的導入 導入數(shù)據(jù)字典IMPTRANSPORT TABLESPACE yDATAFILES db tempjan f TABLESPACES ts temp salesFILE jan sales dmp通過分區(qū)交換 將新數(shù)據(jù)加入目標表1 ALTERTABLEsalesADDPARTITIONsales 00janVALUESLESSTHAN TO DATE 01 feb 2000 dd mon yyyy 2 ALTERTABLEsalesEXCHANGEPARTITIONsales 00janWITHTABLEtemp sales janINCLUDINGINDEXESWITHVALIDATION 系統(tǒng)測試結(jié)果 數(shù)據(jù)裝載 數(shù)據(jù)裝載 裝載包含5000萬條詳單的一個分區(qū)和2個索引的一個表空間文件傳輸 4 50 數(shù)據(jù)導入到Oracle數(shù)據(jù)倉庫 瞬時創(chuàng)建索引 7 50 預計算及其它運算 14 合計 32 26 物化視圖提高匯總數(shù)據(jù)的訪問性能 查詢 法國和意大利的用戶在過去三個月的漫游通話總時長是多少 使用Oracle內(nèi)置的SQL分析函數(shù) 匯總ROLLUP CUBE抽樣Sampling排名Rank rank percentile ntile top bottom滑動窗口MovingWindow avg sum min max count variance stddev firstvalue同比Period over periodcomparisons時間序列Lag報表函數(shù)sum avg min max variance stddev count ratiotoreport統(tǒng)計函數(shù)covariance correlation linearregression TimekeySalesSales last yearSales change98 11100 99 11200110010099 2150014505099 31700135025099 416001700 10099 51800160020099 6150014505099 7130012505099 814001200200 SELECTtimekey sales LAG sales 12 OVER ORDERBYtimekey assales last year sales sales last year assales changeFROMsales 舉例 使用時間序列函數(shù) 系統(tǒng)使用情況 數(shù)據(jù)匯總 1億7000萬個匯總運算在2個小時內(nèi)完成不需要專門的服務器數(shù)據(jù)訪問 每秒鐘23到100個并發(fā)查詢操作95 的查詢在1秒鐘內(nèi)完成 數(shù)據(jù)倉庫系統(tǒng)為法國電信帶來的好處 為各個業(yè)務部門的用戶提供統(tǒng)一的數(shù)據(jù)視圖保證數(shù)據(jù)的一致性和質(zhì)量提高信息的及時性整合系統(tǒng) 節(jié)省投資已經(jīng)將10個系統(tǒng)整合 未來會整合更多的系統(tǒng)比原來的專有系統(tǒng)管理更靈活 升級更容易 數(shù)據(jù)倉庫系統(tǒng)為法國電信帶來的好處 全面了解客戶的使用行為 實現(xiàn)市場細分欺詐行為檢測建立欺詐模式庫及時檢測客戶通話行為發(fā)生的突然變化 運用模式庫進行識別通過預警系統(tǒng)通知相關人員進行調(diào)查 我們每天裝載5億條話單 Oracle數(shù)據(jù)倉庫在實際使用中已經(jīng)被證明非常穩(wěn)定 可靠和具有擴展性 Jean LucCochennecFranceTelecom 從WinterCorporation最近的數(shù)據(jù)庫可伸縮性調(diào)查發(fā)現(xiàn) 法國電信的數(shù)據(jù)倉庫系統(tǒng)無論是從數(shù)據(jù)庫規(guī)模和記錄數(shù)方面 都是世界上單一數(shù)據(jù)庫中最大的 RichardWinter March2002 FieldExperiencewithLargeScaleDataWarehousingonOracle 新西蘭電信數(shù)據(jù)倉庫 新西蘭電信簡介 新西蘭最大的綜合電信運營商在新西蘭和澳洲擁有210萬用戶員工數(shù)為6900多名總資產(chǎn)83億新西蘭元年收入55億新西蘭元業(yè)務范圍 市話 長途 移動 互聯(lián)網(wǎng) 寬帶 增值業(yè)務 項目建設背景 電信市場變化開放的電信市場日益增多的競爭對手公司戰(zhàn)略轉(zhuǎn)變從擴大用戶群轉(zhuǎn)變?yōu)樘岣攥F(xiàn)有用戶對企業(yè)的貢獻度從大規(guī)模營銷轉(zhuǎn)向目標市場營銷 原有系統(tǒng)的狀況 各個系統(tǒng)采用不同平臺缺乏數(shù)據(jù)標準數(shù)據(jù)采集和集成困難多個系統(tǒng)中冗余的數(shù)據(jù) 數(shù)據(jù)倉庫項目概況 PROBEPROactiveBusinessEnabler 從1996年6月開始建設 1997年建成上線到2002年為止 開發(fā)了50多個主題 客戶 產(chǎn)品 收入 通話行為 市場營銷 繳費用戶包括市場部 銷售部和財務部等部門1400多人 Oracle在項目中的參與情況 1996 2002 設計和建設數(shù)據(jù)倉庫逐步增加50個新的分析應用 目前 與新西蘭電信和EDS合作實施 360 客戶視圖 項目建立數(shù)據(jù)倉庫與業(yè)務系統(tǒng)的實時接口實現(xiàn)實時的客戶細分 PROBE項目為公司帶來的效益 有形效益 增加收入 提高ARPU減少客戶流失提高營銷活動的響應率從5 提高到30 降低營銷成本和服務成本 PROBE項目的投資回報 目標市場營銷每年節(jié)省1200萬元 市場贏回 計劃每年增加800萬元更合理的國際長途收費定價增加收入與節(jié)約成本 每年700萬元 PROBE為外部客戶服務 向外部客戶出售統(tǒng)計分析結(jié)果 Vision 800客戶按地區(qū) 時段 服務類型價格 每月一次 25 月每周一次 85 月 議程 項目概況項目實施方法數(shù)據(jù)倉庫技術方案 建設原則 需求驅(qū)動 從多種渠道識別客戶實現(xiàn)精確營銷提升客戶價值 業(yè)務目標 建設原則 實用性緊密配合業(yè)務部門的市場經(jīng)營活動 客戶維系 流失客戶名單營銷活動管理 營銷活動名單 反饋分析新業(yè)務開發(fā) 產(chǎn)品定價 關聯(lián)分析 發(fā)展戰(zhàn)略 規(guī)劃 網(wǎng)絡管理 目標市場營銷 客戶滿意度 銷售 財務表現(xiàn) CustomerandProductInformation 運營效率 制訂企業(yè)發(fā)展戰(zhàn)略監(jiān)控其執(zhí)行情況 BusinessIntelligenceForTelecom 建設方法 整體規(guī)劃 分步實施 需求預測能力規(guī)劃投資預測 通信能力分析通信質(zhì)量分析業(yè)務覆蓋分析 欺詐檢測業(yè)務開展業(yè)務使用供應鏈分析 客戶流失分析客服中心分析服務質(zhì)量保證 市場細分響應模型營銷活動ROI分析 新產(chǎn)品設計價格模型 收入總量及變化收入結(jié)構(gòu)分析繳 欠費分析 整體規(guī)劃的實現(xiàn) 統(tǒng)一規(guī)劃 數(shù)據(jù)模型數(shù)據(jù)獲取策略元數(shù)據(jù) 確定新增應用的優(yōu)先級 效益低高不可能下次考慮沒有價值目標應用 高低 成本和風險 數(shù)據(jù)倉庫的效益 成本和風險 嚴格的投資回報分析 效益 我們能通過這個項目的實施獲得什么 有形 增加收入 降低成本無形 工作效率提高 企業(yè)更 智能化 成本 為了實現(xiàn)這些收益需要付出什么代價 一次性成本持續(xù)性成本風險 會遇到哪些障礙 螺旋遞增式建設方法 每次迭代目標明確 快速見效滾動投資 每年追加費用是初始投資的15 20 應用推廣 領導帶頭使用設置專職的業(yè)務分析員系統(tǒng)使用情況統(tǒng)計注重對業(yè)務人員的培訓 議程 項目概況項目實施方法數(shù)據(jù)倉庫技術方案 PROBE系統(tǒng)架構(gòu)和數(shù)據(jù)流 加載 20 內(nèi)部源系統(tǒng) 12CPU 3Tbdisk Tape ftp DBlink PROBE 外部信息源 email ftp CD OracleDesigner 元數(shù)據(jù)庫 OraclePortalandDiscoverer 報表 Oracle9iAS 抽取 OLAP分析和數(shù)據(jù)挖掘 內(nèi)部系統(tǒng) SQL andQueryBuilder DBlink ftp ftp CD Oracle9irelease2 外部機構(gòu) PROBE數(shù)據(jù)模型 分層設計 內(nèi)部和外部信息源 加載 StagingArea FeedControl 任務調(diào)度管理 原子層 relationalschema 訪問層 star snowflakeschema PROBE 數(shù)據(jù)挖掘和分析 SQL andQueryBuilder OraclePortal OracleDiscoverer 報表 營銷管理 PROBE中的數(shù)據(jù)功能劃分 PROBE項目的演進 360 客戶視圖 項目 EDB消除數(shù)據(jù)重復和錯誤集成原有系統(tǒng)客戶數(shù)據(jù) 建立統(tǒng)一的客戶視圖 基于OracleTCA模型 PROBE升級為企業(yè)數(shù)據(jù)倉庫 EDW 實時數(shù)據(jù)采集和分析結(jié)果發(fā)布引入EAI技術 PROBE新的系統(tǒng)架構(gòu) 門戶 EIS 動態(tài)查詢OracleDiscoverer 用戶訪問 OracleCustomersOnline Oracle11iCRMSuite EAI ICMS計費系統(tǒng) 客戶 帳戶 地址 PROBE 群體 關系 StagingArea 實時維度數(shù)據(jù)維護 EAIStagingArea star snowflakeschema 原子層 relationalschema 聯(lián)機數(shù)據(jù)存儲 OLTP 下游系統(tǒng)訪問 9iAS 構(gòu)建閉環(huán)的信息流 數(shù)據(jù)倉庫 計費系統(tǒng) CTI 市場營銷活動管理 呼叫中心 數(shù)據(jù)挖掘服務器 數(shù)據(jù)模型的設計方法 從業(yè)務需求出發(fā)識別各主題分析所需要的數(shù)據(jù)數(shù)據(jù)探索 分析數(shù)據(jù)源的數(shù)據(jù)質(zhì)量找出來自多個系統(tǒng)的公共表統(tǒng)一維護建立原子層數(shù)據(jù)模型模型非規(guī)范化建立訪問層數(shù)據(jù)模型 維度模型 PROBE中的主題域 產(chǎn)品 產(chǎn)品使用 網(wǎng)絡事件 網(wǎng)元 地域 帳務 參