數(shù)據(jù)倉庫技術(shù)及其在金融系統(tǒng)中的應用

數(shù)據(jù)倉庫技術(shù)及其

在金融系統(tǒng)中的應用Informix中國有限公司數(shù)據(jù)倉庫及Web/電子商務(wù)業(yè)務(wù)部

TheonewiththeSMARTESTDATAwins2Informix數(shù)據(jù)庫公司及技術(shù)發(fā)展聯(lián)機分析及數(shù)據(jù)倉庫在金融領(lǐng)域的應用Informix的數(shù)據(jù)倉庫解決方案Informix針對數(shù)據(jù)倉庫的技術(shù)支持和咨詢服務(wù)內(nèi)容提要Informix軟件公司1980年成立、總部位于美國加州MenloPark專業(yè)數(shù)據(jù)庫軟件廠商、數(shù)據(jù)庫技術(shù)的領(lǐng)導者致力于為開放系統(tǒng)(UNIX&NT)提供數(shù)據(jù)庫產(chǎn)品第二大數(shù)據(jù)庫供應商高性能、運行穩(wěn)定、概念創(chuàng)新?lián)碛?500名員工1000多名員工致力于科研開發(fā)124家辦事機構(gòu)遍布全球具備良好的資金和財政實力Informix在中國沈陽北京深圳上海西安成都長沙廣州。?？偛糠止巨k事處香港7x24技術(shù)支持服務(wù)ISO9002規(guī)范運作的響應中心(1999.1)全球支持體系的一部分5產(chǎn)品與技術(shù)的發(fā)展方向面向數(shù)據(jù)管理的三個主要市場方向數(shù)據(jù)倉庫Internet聯(lián)機事務(wù)處理賦予“Informix”更為豐富的內(nèi)涵6面向聯(lián)機事務(wù)處理而設(shè)計的

——InformixDynamicServer7高擴展性內(nèi)核多線索技術(shù)數(shù)據(jù)分割客戶/服務(wù)器連接批量插入行級封鎖Informix數(shù)據(jù)庫在聯(lián)機事務(wù)處理中的優(yōu)勢內(nèi)存駐留表分布式透明性雙向分布式數(shù)據(jù)復制高可靠性角色分割和審計可管理性8Informix在國內(nèi)的部分應用銀行建設(shè)銀行全行業(yè)務(wù)3000+點工商銀行除mainframe以外所有數(shù)據(jù)管理環(huán)境光大銀行全行業(yè)務(wù)城市商業(yè)銀行全國95%以上點農(nóng)村信用社中國銀行電信全國移動網(wǎng)管全國電信97縱向聯(lián)網(wǎng)全國IC卡電話計費及管理國信尋呼系統(tǒng)遼寧移動計費、數(shù)據(jù)倉庫廣東97工程本地網(wǎng)計費天津、重慶97工程北京長話計費9Informix在國內(nèi)的部分應用cont.保險中保人壽中保財險新華人壽政府鐵路互連網(wǎng)(全國)廣電部OA系統(tǒng)上海市工商局人民日報Chinabyte首都在線郵政上海綠卡江蘇綠卡制造業(yè)MotorolaLucent松下電器10Informix應用的特點以聯(lián)機事務(wù)處理系統(tǒng)著稱龐大的裝機量和業(yè)務(wù)量高性能、低消耗、易維護11Informix的Internet解決方案12Internet的數(shù)據(jù)庫應用技術(shù)特點和優(yōu)勢對象技術(shù)擴展關(guān)系數(shù)據(jù)庫提供Internet數(shù)據(jù)管理基礎(chǔ)建立數(shù)據(jù)庫與Web服務(wù)器的橋梁提供客戶端免維護的功能提供Internet數(shù)據(jù)庫應用模板和框架以定制取代開發(fā)主要應用人民日報、ChinaByte、首都在線、鐵路互連網(wǎng)全國電信97縱向網(wǎng)、上海信息港、北京文獻服務(wù)中心廣電部OA工程、中國商品交易市場13銀行計算機系統(tǒng)涉及的數(shù)據(jù)庫技術(shù)銀行應用系統(tǒng)業(yè)務(wù)系統(tǒng)網(wǎng)絡(luò)銀行/電子商務(wù)管理/決策支持系統(tǒng)14Informix數(shù)據(jù)庫公司及技術(shù)發(fā)展聯(lián)機分析及數(shù)據(jù)倉庫在金融領(lǐng)域的應用Informix的數(shù)據(jù)倉庫解決方案Informix針對數(shù)據(jù)倉庫的技術(shù)支持和咨詢服務(wù)內(nèi)容提要業(yè)務(wù)系統(tǒng)與信息處理系統(tǒng)OLAP－決策分析系統(tǒng)聯(lián)機分析市場決策OLTP－業(yè)務(wù)系統(tǒng)為支持企業(yè)生產(chǎn)運作而建立根據(jù)企業(yè)業(yè)務(wù)過程的需求而開發(fā)16銀行業(yè)務(wù)系統(tǒng)的發(fā)展電子化進程積累大量數(shù)據(jù)可能成為有用信息也可能成為系統(tǒng)包袱新的業(yè)務(wù)和服務(wù)方式不斷涌現(xiàn)借記卡、ATM、電話銀行、網(wǎng)絡(luò)銀行各種產(chǎn)品和業(yè)務(wù)的效益、風險、對銀行發(fā)展的影響帳務(wù)中心向客戶中心的轉(zhuǎn)化業(yè)務(wù)評估模式發(fā)生變化從粗放型經(jīng)營模式向分析型經(jīng)營模式轉(zhuǎn)化用戶數(shù)據(jù)的應用模式更大的效益使業(yè)務(wù)更加高效采集數(shù)據(jù)分析數(shù)據(jù)數(shù)據(jù)庫應用的發(fā)展數(shù)據(jù)庫應用發(fā)展的新變化聯(lián)機分析應用的興起聯(lián)機分析應用的特點查詢的動態(tài)和復雜性數(shù)據(jù)量的擴展數(shù)據(jù)庫技術(shù)的新挑戰(zhàn)與聯(lián)機事務(wù)處理的不同數(shù)據(jù)倉庫概念的提出數(shù)據(jù)倉庫成為信息系統(tǒng)核心數(shù)據(jù)庫應用聯(lián)機事務(wù)處理聯(lián)機分析處理聯(lián)機分析應用特點動態(tài)的數(shù)據(jù)查詢模式增量變化的數(shù)據(jù)內(nèi)容多維的分析統(tǒng)計模式不影響聯(lián)機事務(wù)處理系統(tǒng)的性能復雜分析處理的能力易學易用、適應非專業(yè)人員使用20傳統(tǒng)報表系統(tǒng)不足以滿足用戶需求管理信息系統(tǒng)報表批處理數(shù)據(jù)靜態(tài)合計數(shù)據(jù)當前操作數(shù)據(jù)面向管理信息系統(tǒng)數(shù)據(jù)倉庫/聯(lián)機分析聯(lián)機數(shù)據(jù)動態(tài)/多維合計/明細擁有歷史數(shù)據(jù)面向業(yè)務(wù)的聯(lián)機分析系統(tǒng)的實現(xiàn)途徑數(shù)據(jù)影響聯(lián)機業(yè)務(wù)系統(tǒng)的處理業(yè)務(wù)數(shù)據(jù)非集成性信息不完整時間不一致缺乏歷史數(shù)據(jù)業(yè)務(wù)數(shù)據(jù)環(huán)境復雜異構(gòu)分布數(shù)據(jù)倉庫系統(tǒng)操作環(huán)境ExtractIntegrateTransformMaintainDataWarehouse分析環(huán)境Reporting

DataMiningOLAPOLTPExternalLegacy什么是數(shù)據(jù)倉庫(DataWarehouse)？INFORMATION

信息數(shù)據(jù)倉庫(DataWarehouse)是一種專為聯(lián)機分析應用和決策支持系統(tǒng)提供數(shù)據(jù)源的結(jié)構(gòu)化的數(shù)據(jù)環(huán)境數(shù)據(jù)倉庫要解決的問題是從數(shù)據(jù)庫中獲取信息的問題。

信息INFORMATION數(shù)據(jù)源數(shù)據(jù)管理訪問和分析數(shù)據(jù)倉庫體系結(jié)構(gòu)操作數(shù)據(jù)數(shù)據(jù)倉庫

(企業(yè)級)歷史數(shù)據(jù)數(shù)據(jù)集市

(部門級)DataMart

(Departmental)ThePostVISA外部數(shù)據(jù)源數(shù)據(jù)倉庫的目的——從信息獲取財富跨國電訊企業(yè)用戶效益分析促銷收益分析客戶保有量分析大型零售商商品種類管理市場需求分析庫存優(yōu)化主要金融機構(gòu)風險管理欺詐檢測客戶信用分析26OLTP幫助您運行業(yè)務(wù)…

數(shù)據(jù)倉庫幫助您優(yōu)化業(yè)務(wù)為什么需要數(shù)據(jù)倉庫27數(shù)據(jù)倉庫在銀行業(yè)的應用客戶市場分析/客戶分類分析風險管理效益分析28客戶市場分析/客戶分類分析客戶市場分析通過年齡、性別、社會階層等屬性分析客戶群體的特征客戶分類分析根據(jù)客戶群的消費特征分割分析目的了解整個市場切實的行為特點有針對性吸引某一潛在的客戶群為市場計劃提供先決依據(jù)29風險管理風險管理包含各種風險業(yè)務(wù)種類的擴展使風險種類更加復雜風險管理的要求更高數(shù)據(jù)倉庫用于評估各類因素對各種風險的影響找出關(guān)鍵的因素加以控制30效益分析機構(gòu)效益針對分行或支行、銀行內(nèi)部的機構(gòu)面向地域、經(jīng)營和管理產(chǎn)品效益金融服務(wù)的種類客戶效益不同的客戶群為銀行帶來的效益組合效益分析三種效益分析因素的組合31數(shù)據(jù)倉庫對于銀行整體發(fā)展在各類主要分析的基礎(chǔ)上加入財務(wù)信息人力資源信息從決策層進行宏觀分析和決策建立BalancedScorecardHarvard92年提出的新的管理概念分析PerformanceMatrix找出企業(yè)KPI(KeyPerformanceIndicator)增強投資回報32Informix數(shù)據(jù)庫公司及技術(shù)發(fā)展聯(lián)機分析及數(shù)據(jù)倉庫在金融領(lǐng)域的應用Informix的數(shù)據(jù)倉庫解決方案Informix針對數(shù)據(jù)倉庫的技術(shù)支持和咨詢服務(wù)內(nèi)容提要33Informix的數(shù)據(jù)倉庫34SKU-AD-57897643863-74883876-SDS-UR7SKU48937SKU數(shù)據(jù)分析多維分析、數(shù)據(jù)挖掘企業(yè)級數(shù)據(jù)倉庫相關(guān)的數(shù)據(jù)集市數(shù)據(jù)倉庫的體系結(jié)構(gòu)聯(lián)機事務(wù)處理系統(tǒng)抽取轉(zhuǎn)換裝載(ETL)SAPBaanPeopleSoftLawsonSiebelWEB數(shù)據(jù)歷史數(shù)據(jù)FinanceDistributionAccountingManufacturingSupplierMgmt35數(shù)據(jù)倉庫的產(chǎn)品部件歷史數(shù)據(jù)y操作數(shù)據(jù)外部數(shù)據(jù)源lFormationInformixDataStage數(shù)據(jù)挖掘操作數(shù)據(jù)存儲RedBrick分析型數(shù)據(jù)集市企業(yè)數(shù)據(jù)倉庫數(shù)據(jù)源數(shù)據(jù)存儲聯(lián)機多維分析數(shù)據(jù)分析應用SeagateInfo企業(yè)報表系統(tǒng)訪問及發(fā)布抽取、轉(zhuǎn)換及裝載MetaCubeIDS/AD/XPIDS/AD/XPInfoSeeker合作伙伴36數(shù)據(jù)倉庫的產(chǎn)品部件歷史數(shù)據(jù)y操作數(shù)據(jù)外部數(shù)據(jù)源lFormationInformixDataStage操作數(shù)據(jù)存儲RedBrick分析型數(shù)據(jù)集市企業(yè)數(shù)據(jù)倉庫數(shù)據(jù)源數(shù)據(jù)存儲聯(lián)機多維分析數(shù)據(jù)分析應用SeagateInfo企業(yè)報表系統(tǒng)訪問及發(fā)布抽取、轉(zhuǎn)換及裝載MetaCubeIDS/AD/XPIDS/AD/XP合作伙伴建立數(shù)據(jù)倉庫的關(guān)鍵環(huán)節(jié)數(shù)據(jù)抽取數(shù)據(jù)管理數(shù)據(jù)分析38數(shù)據(jù)倉庫的數(shù)據(jù)抽取過程數(shù)據(jù)抽取過程的技術(shù)要點要能適應各種數(shù)據(jù)源、應付復雜多變的聯(lián)機環(huán)境要能嵌入用戶定義的轉(zhuǎn)換過程相應調(diào)度和管理機制數(shù)據(jù)抽取過程多樣化解決數(shù)據(jù)來源問題系統(tǒng)的分布性數(shù)據(jù)的異構(gòu)性信息的不完整性不被業(yè)務(wù)系統(tǒng)的現(xiàn)狀所局限數(shù)據(jù)抽取過程的挑戰(zhàn)工作量原始應用系統(tǒng)的復雜度39Informix的數(shù)據(jù)抽取系統(tǒng)Formation根據(jù)用戶數(shù)據(jù)源的描述自動生成C++數(shù)據(jù)抽取、轉(zhuǎn)換、裝載程序運行高效不包括調(diào)度系統(tǒng)DataStage圖形化設(shè)計管理包含調(diào)度環(huán)境SunSolaris,HP-UX,IBMAIX,DigitalUnixServerRepositoryDesignerDirectorRepositoryManagerAdministratorDataStage

WindowsNT4.0Server(Intel&Alpha)Windows95/WindowsNTWorkstationClientDataWarehouseRDBMSOracleMicrosoftSQLServerSybaseInformixUniVerse/UniDataMainframeQSAMVSAMDB2IMSIDMSAdabasDatacomOthersHashFileSeq.orFTPODBCAnySQLBulkLoadersOracleBCP(Sybase&Microsoft)SybaseIQInformixRedBrickSequentialorFTPODBCStagedDataLoadUtilitiesBulkLoadersHashFileUniVerseUniDataOracle7&8SybaseNativeAPINativeAPIOracle7&8SybaseChangeDataCaptureMainframeDataAccessMetaDataExchangeMicrosoftMetaDataRepositorySequential數(shù)據(jù)抽取轉(zhuǎn)換系統(tǒng)——DataStage41DataStage復雜的數(shù)據(jù)抽取和加載建立數(shù)據(jù)倉庫的關(guān)鍵環(huán)節(jié)數(shù)據(jù)抽取數(shù)據(jù)管理數(shù)據(jù)分析43數(shù)據(jù)倉庫存儲的技術(shù)特性只有量的支持做不到聯(lián)機分析有數(shù)量同時要有速度服務(wù)器訪問特性訪問頻率稀疏并行處理優(yōu)勢突出數(shù)據(jù)庫查詢特性查詢涉及數(shù)據(jù)范圍廣傳統(tǒng)索引作用有限多表連接、星型模式計算復雜檢索方式、優(yōu)化算法需要突破44Informix數(shù)據(jù)倉庫的可選產(chǎn)品InformixDynamicServer針對SMP的并行處理分析系統(tǒng)的起步IDS+AD+XP針對大規(guī)模并行處理(Cluster,MPP)的服務(wù)器增加對決策支持類查詢的特點大規(guī)模數(shù)據(jù)倉庫InformixRedBrickWarehouse以專業(yè)數(shù)據(jù)倉庫優(yōu)化算法為核心廣泛、靈活的并行處理最常用的數(shù)據(jù)集市解決方案45Informix:并行處理數(shù)據(jù)庫操作串行掃描連接排序處理時間

并行并行DSA并行地處理任務(wù)DSA將任務(wù)分解成子任務(wù)匯總Informix可實現(xiàn)并行處理的數(shù)據(jù)庫操作ParallelSelectParallelInsertParallelDeleteParallelUpdateParallelRollbackParallelUnionParallelOuterJoinParallelNotInParallelGroupByParallelOrderByParallelAggregatesParallelHashJoinParallelSortMergeJoinParallelIndexCreationParallelLoad/UnloadParallelBackup/RecoveryInformixExtendedParallelOption多結(jié)點（主機）組成并行處理陣列：針對MPP和Cluster每個結(jié)點運行ExtendedParallelOption的Co-Server結(jié)點間采用不共享策略(SharedNothing)通過數(shù)據(jù)分割實現(xiàn)并行處理，提供近線性的性能擴展能力ExtendedParallel的工作模式(FunctionShipping)減少網(wǎng)絡(luò)流量降低結(jié)點間資源共享和交互提高并行擴展能力(Scalability)49聯(lián)機分析與事務(wù)處理不同的側(cè)重點事務(wù)處理聯(lián)機分析系統(tǒng)特點1.操作對象2.系統(tǒng)使用3.更新/查詢(每次操作)4.響應時間5.數(shù)據(jù)庫設(shè)計(結(jié)構(gòu))6.數(shù)據(jù)庫內(nèi)容(值)7.優(yōu)先程度事務(wù)靜態(tài)單個記錄<秒級靜態(tài)動態(tài)高性能高可靠數(shù)據(jù)動態(tài)記錄集合>分鐘動態(tài)靜態(tài)高度靈活性用戶自定義應用類型8.操作類型更新查詢50數(shù)據(jù)倉庫與事務(wù)處理的不同要求Universal/OLTP

Purpose-builtforDataWarehousingDivergingRequirements

forDifferentBusinessNeedsDataconsolidationRichhistoricalcontentComprehensibledatastructureQuerythroughputTextual-numericdataprimarilyDataisolationLimitedhistoricalcontentComplexdatastructureTransactionthroughputRichdatatypesCapabilityGap“Onedatabasecannotdoitall”

--METAGroup51Informix數(shù)據(jù)倉庫引擎

的發(fā)展歷程ParallelOn-Demand?One-passParallelLoadProcessing1993SpecializedRDBMSforDataWarehousing1991RISQLExtensionsSTARjoin?,STARindex?1992TimeCyclicDataManagement19941996RichSchemaSupportTARGETindex?1995TARGETjoin?19971998

VistaAggregateMgmtQuery-priorityConcurrency星型模式(Star-Schema)FactTable事務(wù)處理數(shù)據(jù)描述相應的屬性（最低層）DimensionTable各種屬性及其層次星型模式的規(guī)范化“雪花”型(snowflake)“維”Keys屬性Facts地點Table時間Table產(chǎn)品Table客戶TableManyRecords...專為數(shù)據(jù)倉庫而設(shè)計

最豐富的連接技術(shù)PoorGoodExcellent代價(磁盤空間,維護代價)性能BinaryJoinsSTARjoin?RedBrick的各種技術(shù)各種連接和索引技術(shù)適合不同情況優(yōu)化的需要TARGETjoin?未專門優(yōu)化的連接過程PERIODjan,...feb,...mar,...SALESjan,pen,east,$100jan,pen,west,$200feb,radio,south,$125mar,watch,east,$225SALES+PERIODjan,…,pen,east,$100jan,…,pen,west,$200feb,…,radio,south,$125mar,…,watch,east,$225PRODUCTradio,...pen,...watch,...SALES+PERIOD+PRODUCTjan,…,pen,…,east,$100jan,…,pen,…,west,$200feb,…,radio,…,south,$125mar,…,watch,…,east,$225MARKETeast,...west,...south,...SALES+PERIOD+PRODUCT+MARKETjan,...,pen,...,east,...,$100jan,...,pen,...,west,...,$200feb,...,radio,...,south,...,$125mar,...,watch,...,east,...,$225普通數(shù)據(jù)庫的實現(xiàn)方法有改進，但仍未解決根本問題PERIODjan,...feb,...mar,...PRODUCTradio,...pen,...watch,...PERIOD+PRODUCTjan,…,radio..,jan,…,pen...feb,…,radio...mar,…,watch...MARKETeast,...west,...south,...PERIOD+PRODUCT+MARKETjan,radio,eastjan,radio,westjan,radio,southjan,pen,eastjan,pen,westjan,pen,south...mar,watch,westmar,watch,southSALESjan,pen,east,$100jan,pen,west,$200feb,radio,south,$125mar,watch,east,$225SALES+PERIOD+PRODUCT+MARKETjan,...,pen,...,east,...,$100jan,...,pen,...,west,...,$200feb,...,radio,...,south,...,$125mar,...,watch,...,east,...,$225普通優(yōu)化后的方法RedBrick’sSTARJoin實現(xiàn)方法PERIODjan,...feb,...mar,...PRODUCTradio,...pen,...watch,...MARKETeast,...west,...south,...SALESjan,pen,east,$100jan,pen,west,$200feb,radio,south,$125mar,watch,east,$225SALES+PERIOD+PRODUCT+MARKETjan,...,pen,...,east,...,$100jan,...,pen,...,west,...,$200feb,...,radio,...,south,...,$125mar,...,watch,...,east,...,$225明顯的性能增長！57RedBrick的StarJoin和StarIndex多列星型索引的作用DimensiontableADimensiontableBDimensiontableCFKAFKBFKCCUST_NOOUTLET_IDPROMO_CODEFKAFKBFKCDATA

SA001GWEPIZA2UNIT$120TheFACTTable位圖索引：RedBrick的TARGETindexSTATE/idnameaddressbillingCOUNTRY1D~~~~~~~~~~~~~~~~~NY2A~~~~~~~~~~~~~~~~~NY3B~~~~~~~~~~~~~~~~~NY7C~~~~~~~~~~~~~~~~~UK8B~~~~~~~~~~~~~~~~~NY9A~~~~~~~~~~~~~~~~~NY1C~~~~~~~~~~~~~~~~~NY6A~~~~~~~~~~~~~~~~~NY5D~~~~~~~~~~~~~~~~~CAN5D~~~~~~~~~~~~~~~~~NY8B~~~~~~~~~~~~~~~~~NY3B~~~~~~~~~~~~~~~~~NY6B~~~~~~~~~~~~~~~~~JAPANTARGETindexoncolumnofhighlyskeweddataRedBrickWarehouseAutomaticallyChoosesAppropriateIndexSub-typeIndexType DomainSizePossValues ExampleUncompressedBit-map Small 2-50 Gender,sizeCompressedBit-map Medium 50-500 Country,StateRow-IDList Large 500-1,000ZIPcode,AreacodeB-Tree Verylarge Unique SS#,Customer#Mixsub-typesonsinglecolumn!59位圖索引如何工作CAR1= A 4D LeatherCAR2= A 4D Fabric

CAR3= A 2D L CAR4= M 4D L CAR5= M 4D F CAR6= M 2D L TRANS DOOR SEATQ2:SELECTCARwithAUTO-transmissionandSEATisleather1)BitmapforTrans=Auto: [1,1,1,0,0,0]2)BitmapforDoor=4D: [1,1,0,1,1,0]3)BitmapforSEAT=L: [1,0,1,1,0,1]Bitmap1“AND”Bitmap3= [1,0,1,0,0,0]超級掃描YearProductQuantityFirstuserscanstableSeconduserpiggybacksonscanThirduseraddedLessI/O!1995LargeScreenTV101995StereoReceiver201995CDPlayer501996RolexWatch401996CordlessTelephone101996CassetteTapePlayer301997StereoReceiver201997CDPlayer501995RolexWatch81995CordlessTelephone201995CassetteTapePlayer301996StereoReceiver201996CDPlayer501997RolexWatch401997CordlessTelephone10……..61Informix數(shù)據(jù)倉庫的性能突出的裝載功能和性能ElapsedTimeOLTPDatabasesPerformDataConversionLoadDataRowsCheckReferentialIntegrityCreateIndexesAggregateRedBrickWarehouse單一集成的裝載過程

InformixRedBrickWarehouse的數(shù)據(jù)倉庫特性

STARindex?STARjoin?

TARGETindex?SuperScan集成的并行裝載快速建立索引并行外連接自動匯總自動生成父記錄快速分組、排序、分割處理有效子查詢處理I/O訪問最小化RISQL擴展支持10GBto2+TB的VLDB以及數(shù)以百計的并發(fā)用戶線性性能擴展并行查詢處理動態(tài)查詢優(yōu)化快速上下文檢測索引建立、一致性檢測、數(shù)據(jù)轉(zhuǎn)換同步進行派生索引建立共享宏多層次STARjoin?連續(xù)自適應TARGETindex?

混合散列索引相關(guān)自查詢緩沖WHERE子句優(yōu)化TraditionalDBMSWithParallelScanWithDSSOption決策支持擴展對數(shù)據(jù)倉庫的優(yōu)化1Second8Minutes40Seconds1Minute24Seconds建立數(shù)據(jù)倉庫的關(guān)鍵技術(shù)數(shù)據(jù)抽取數(shù)據(jù)管理數(shù)據(jù)分析66數(shù)據(jù)倉庫的數(shù)據(jù)訪問和分析數(shù)據(jù)倉庫系統(tǒng)的應用特點事務(wù)處理系統(tǒng)以應用流程為主導數(shù)據(jù)倉庫以數(shù)據(jù)信息為主導數(shù)據(jù)倉庫的多種數(shù)據(jù)訪問方式多維平面應用集成多種系統(tǒng)應用模式傳統(tǒng)客戶服務(wù)器結(jié)構(gòu)Web/Intranet方式什么是聯(lián)機分析處理OnlineAnalyticProcessing(OLAP)?OLAP使用戶在隨機的環(huán)境中通過不同的角度快速分析數(shù)據(jù)倉庫中的信息：地域分析北美歐洲一月二月CosmeticsPerfumesClothingAccessoriesCosmeticsPerfumesClothingAccessories數(shù)據(jù)倉庫的OLAP多維視角FinancialMgr.ViewProductMgr.ViewAdHocViewSalesMgr.ViewSalesProductTimeMarket69基于關(guān)系庫的OLAP體系結(jié)構(gòu)ROLAP體系結(jié)構(gòu):INFORMIX-MetaCubeMetaCube是一種將關(guān)系數(shù)據(jù)庫的行和列為最終用戶表示成多維“立方體”進行分析的OALP分析引擎QueryToolsDSS&EISOLESQLRowsCubesDataWarehouseRDBMSMetadataOLAPEngineInformixMetaCube體系結(jié)構(gòu)MetadataDataWarehouseINFORMIXRDBMSSchedulerQueryBackAggregationSamplingIncremental

UpdateWebPublishAlerterServerMiddleTierMetaCubeExplorerWebExplorerMetaCubeforExcelPartners,

CustomEISWarehouseManagerWarehouseOptimizerAgentAdministratorClientINFORMIX-MetaCube

OLAPServerSecureWarehouse智能的匯總數(shù)據(jù)性能優(yōu)化數(shù)據(jù)匯總與數(shù)據(jù)量：TimeDayMonthYearProductBrandCompanyProductRelativeTableSizes

(Greatlyunderstated)選擇適當匯總提高查詢效率數(shù)據(jù)采樣優(yōu)化基于采樣數(shù)據(jù)的分析統(tǒng)計平均數(shù)、占有率、變化趨勢由Informix數(shù)據(jù)倉庫直接提供大幅度提高查詢效率10millionrecords20minutes100%accurate10,000samples1.2seconds98%accurate74MetaCubeWebOLAP解決方案MetaCubeWebExplorer通過瀏覽器進行OLAP操作HTML形式顯示結(jié)果客戶端免維護MetaCube后臺查詢將耗時的查詢提交后臺數(shù)據(jù)庫服務(wù)器釋放前臺PC做其它工作MetaCube管理工具圖形化數(shù)據(jù)倉庫管理和配置建立邏輯層和物理層數(shù)據(jù)倉庫定義提供向?qū)Ш蜋z測工具加速數(shù)據(jù)倉庫的創(chuàng)建、維護過程在用戶及管理數(shù)據(jù)倉庫的安全性維護特定用戶的連接信息設(shè)置用戶性能及資源調(diào)用參數(shù)MetaCubeAgentAdministrator作業(yè)的提交和管理控制和調(diào)度作業(yè)流維護作業(yè)間依賴關(guān)系定義作業(yè)運行模式作業(yè)：數(shù)據(jù)裝載匯總數(shù)據(jù)的維護采樣數(shù)據(jù)的維護后臺查詢SQL命令和操作系統(tǒng)命令Web數(shù)據(jù)發(fā)布預警通知其它...78報表——平面的數(shù)據(jù)表現(xiàn)需要經(jīng)常瀏覽的數(shù)據(jù)相對固定的關(guān)系模式支持Intranet瀏覽器的訪問方式InformixSeagateInfo79與應用系統(tǒng)的集成數(shù)據(jù)倉庫的訪問需要與企業(yè)級管理系統(tǒng)和其他應用系統(tǒng)集成起來Informix提供基于DCOM的OLAP開發(fā)環(huán)境能夠開發(fā)傳統(tǒng)客戶服務(wù)器應用開發(fā)基于Web/Intranet的應用80數(shù)據(jù)倉庫系統(tǒng)配置圖81Informix在金融行業(yè)的數(shù)據(jù)倉庫應用國外FidelityInvestmentsMerrillLynchVISAStateStreetBankFirstUnionFleetBankBankofAmericaSearsCreditWellsFargoLehmanBrothersBacobBankBancOneBeijingSecurityCenterBerlinerBankShinHanBank國內(nèi)建行信貸97年8月設(shè)計，98年初運行客戶、合同、項目、機構(gòu)20GB數(shù)據(jù)建行人事系統(tǒng)98年采用針對人力分析數(shù)據(jù)設(shè)計模式建行龍卡分析系統(tǒng)(未來)82Informix數(shù)據(jù)庫公司及技術(shù)發(fā)展Informix針對銀行業(yè)務(wù)系統(tǒng)的技術(shù)特點聯(lián)機分析及數(shù)據(jù)倉庫在金融領(lǐng)域的應用Informix的數(shù)據(jù)倉庫解決方案Informix的技術(shù)支持和咨詢服務(wù)內(nèi)容提要83Informix的技術(shù)咨詢服務(wù)數(shù)據(jù)倉庫數(shù)據(jù)倉庫快速啟動、數(shù)據(jù)倉庫結(jié)構(gòu)設(shè)計數(shù)據(jù)庫服務(wù)器功能擴展空間、時間序列、消息機制Web數(shù)據(jù)庫應用數(shù)據(jù)庫性能優(yōu)化系統(tǒng)評估、性能優(yōu)化數(shù)據(jù)庫應用數(shù)據(jù)庫設(shè)計、應用系統(tǒng)移植數(shù)據(jù)倉庫實施過程需求分析和規(guī)劃邏輯設(shè)計和詳細分析物理設(shè)計和開發(fā)系統(tǒng)實現(xiàn)系統(tǒng)產(chǎn)品化評估和反復需求分析和規(guī)劃確定項目投資人確定核心開發(fā)隊伍決定數(shù)據(jù)倉庫的內(nèi)容覆蓋范圍和關(guān)注重點從高層次了解業(yè)務(wù)運做模式，評估業(yè)務(wù)的各個角度投資回報分析在高層次調(diào)查數(shù)據(jù)源及有關(guān)的問題安排各種培訓建立各種文檔、包括數(shù)據(jù)倉庫體系結(jié)構(gòu)建立包括項目計劃、成功標準在內(nèi)的初步文檔邏輯設(shè)計和詳細分析進行詳細的用戶技術(shù)會談確定最終需求及輕重緩急；整理出標準的及隨機的報表確定哪些數(shù)據(jù)可以從事務(wù)系統(tǒng)中得到評估各種數(shù)據(jù)轉(zhuǎn)移的策略分析各系統(tǒng)交接環(huán)節(jié)確定源數(shù)據(jù)中孤立的數(shù)據(jù)元素如何與數(shù)據(jù)倉庫中的定義相聯(lián)系分析各維中的各個層次產(chǎn)生可行性分析和邏輯模型設(shè)計87企業(yè)數(shù)據(jù)倉庫的建設(shè)思路建立第一個數(shù)據(jù)集市直接抽取數(shù)據(jù)倉庫/集市為一體獲得投資回報建立第二個數(shù)據(jù)集市復制第一個數(shù)據(jù)集市為數(shù)據(jù)倉庫為第一個數(shù)據(jù)集市重建數(shù)據(jù)抽取過程擴充數(shù)據(jù)倉庫的數(shù)據(jù)從數(shù)據(jù)倉庫為第二個數(shù)據(jù)集市填充數(shù)據(jù)建立以后的數(shù)據(jù)集市擴充數(shù)據(jù)倉庫從數(shù)據(jù)倉庫向技術(shù)數(shù)據(jù)集市填充數(shù)據(jù)ABAC物理設(shè)計和開發(fā)在邏輯模型的基礎(chǔ)上在Informix中建立物理模式規(guī)劃數(shù)據(jù)抽取和轉(zhuǎn)移策略定義事務(wù)數(shù)據(jù)和數(shù)據(jù)倉庫數(shù)據(jù)之間的映射評估及選擇查詢工具評估及選擇數(shù)據(jù)轉(zhuǎn)移工具了解數(shù)據(jù)質(zhì)量問題開