旅游數(shù)據(jù)資源管理技術(shù).ppt

1、1,第四章 旅游數(shù)據(jù)資源管理技術(shù),2,第四章 旅游數(shù)據(jù)資源管理技術(shù),【學習目標】 掌握數(shù)據(jù)庫和數(shù)據(jù)倉庫概念 了解常用的數(shù)據(jù)庫管理系統(tǒng) 使用常用的數(shù)據(jù)挖掘工具進行統(tǒng)計決策 【知識要點】 數(shù)據(jù)庫和數(shù)據(jù)倉庫 數(shù)據(jù)庫管理系統(tǒng) 數(shù)據(jù)挖掘工具,3,4,第一節(jié) 數(shù)據(jù)管理技術(shù)的發(fā)展,一、人工管理階段 人工管理階段數(shù)據(jù)管理的特點 人工管理階段數(shù)據(jù)與程序的關(guān)系,5,第一節(jié) 數(shù)據(jù)管理技術(shù)的發(fā)展,二、文件系統(tǒng)階段 文件系統(tǒng)階段數(shù)據(jù)管理的特點 文件系統(tǒng)階段數(shù)據(jù)與程序的關(guān)系,6,第一節(jié) 數(shù)據(jù)管理技術(shù)的發(fā)展,三、數(shù)據(jù)庫系統(tǒng)階段 數(shù)據(jù)庫系統(tǒng)相關(guān)概念 數(shù)據(jù)庫系統(tǒng) （DBS，Data Base System） 數(shù)據(jù)庫 （DB，D

2、ata Base） 數(shù)據(jù)庫管理系統(tǒng) （Data Base Management System）,7,第一節(jié) 數(shù)據(jù)管理技術(shù)的發(fā)展,三、數(shù)據(jù)庫系統(tǒng)階段 數(shù)據(jù)庫管理階段數(shù)據(jù)與程序的關(guān)系 數(shù)據(jù)庫管理階段的特點,8,第二節(jié) 文件管理,一、文件概念 文件系統(tǒng)在操作系統(tǒng)中的作用 相關(guān)概念 文件系統(tǒng) 文件 文件名稱、文件命名、文件類型 文件屬性、文件長度、文件時間 文件權(quán)限,9,第二節(jié) 文件管理,二、文件分類 按文件的用途進行分類 系統(tǒng)文件、庫文件、用戶文件 按文件的性質(zhì)分類 普通文件目錄文件特殊文件 按文件的保護級別進行分類 源文件、目標文件、可執(zhí)行文件,10,第二節(jié) 文件管理,三、文件存取和操作 文件的存

3、取 順序訪問、隨機訪問、索引訪問 文件的操作 對文件自身的操作 建立、刪除、打開、關(guān)閉、讀寫 對記錄的操作 插入、刪除、修改、查找,11,第二節(jié) 文件管理,四、文件的結(jié)構(gòu)與處理方法 文件結(jié)構(gòu) 物理結(jié)構(gòu)、邏輯結(jié)構(gòu) 文件系統(tǒng)的安全性和可恢復性 常見的文件系統(tǒng)及特點 Sysv、Minix、Ext、Ext2、NFS、Hpfs FAT(FAT12、FAT16、FAT32) 、exFAT NTFS,12,第三節(jié) 數(shù)據(jù)庫模型,一、數(shù)據(jù)庫概念 數(shù)據(jù)庫系統(tǒng) 數(shù)據(jù)管理是數(shù)據(jù)處理的中心問題。數(shù)據(jù)處理是指對各種形式的數(shù)據(jù)進行收集、儲存、加工和傳播的一系列活動的總和。 數(shù)據(jù)管理指的是對數(shù)據(jù)的分類、組織、編碼、儲存、檢索

4、和維護。 數(shù)據(jù)庫技術(shù)所研究的問題是如何科學地組織和儲存數(shù)據(jù)，如何高效地處理數(shù)據(jù)以獲取其內(nèi)在信息。,13,第三節(jié) 數(shù)據(jù)庫模型,一、數(shù)據(jù)庫概念 數(shù)據(jù)庫管理系統(tǒng) 是數(shù)據(jù)庫系統(tǒng)的關(guān)鍵內(nèi)容。它在操作系統(tǒng)的支持下對數(shù)據(jù)庫進行統(tǒng)一管理和控制。數(shù)據(jù)庫的維護工作、安全性和完整性都由DBMS負貴，應(yīng)用程序只有通過DBMS才能執(zhí)行。 數(shù)據(jù)庫管理系統(tǒng)的主要功能 數(shù)據(jù)庫的定義、建立和維護功能 為數(shù)據(jù)存取功能 數(shù)據(jù)庫運行管理功能,14,第三節(jié) 數(shù)據(jù)庫模型,一、數(shù)據(jù)庫概念 數(shù)據(jù)庫系統(tǒng)的主要特征 數(shù)據(jù)的結(jié)構(gòu)化 數(shù)據(jù)冗余度小 數(shù)據(jù)共享 具有較高的數(shù)據(jù)和程序獨立性 提供各種安全性功能,15,第三節(jié) 數(shù)據(jù)庫模型,二、關(guān)系數(shù)據(jù)庫模型

5、 現(xiàn)實世界的數(shù)據(jù)化過程 現(xiàn)實世界、信息世界和數(shù)據(jù)世界之間的關(guān)系,16,第三節(jié) 數(shù)據(jù)庫模型,二、關(guān)系數(shù)據(jù)庫模型 概念模型與數(shù)據(jù)模型 概念模型 實體（Entity） 實體的屬性（Attribute） 反映實體特性只涉及有限個屬性 屬性名、屬性值 屬性的域?qū)傩缘娜≈捣秶?17,第三節(jié) 數(shù)據(jù)庫模型,二、關(guān)系數(shù)據(jù)庫模型 概念模型與數(shù)據(jù)模型 概念模型 實體集（Entity Unit） 所有屬性名完全相同實體的集合 實體名實體集的名稱 實體型（Entity Type） 實體名及其所有屬性名的集合 碼或關(guān)鍵字（Key） 確定實體集中唯一實體的屬性(集),18,第三節(jié) 數(shù)據(jù)庫模型,二、關(guān)系數(shù)據(jù)庫模型 概念模型與

6、數(shù)據(jù)模型 概念模型 實體集之間的聯(lián)系 一對一聯(lián)系（1:1） 一對多聯(lián)系（1:n） 多對多聯(lián)系（m:n）,19,第三節(jié) 數(shù)據(jù)庫模型,實體集之間的聯(lián)系,20,第三節(jié) 數(shù)據(jù)庫模型,二、關(guān)系數(shù)據(jù)庫模型 概念模型的表示方法E-R圖 概念模型常用實體聯(lián)系法表示，即E-R圖 在E-R圖中，長方形表示實體，橢圓表示屬性，用無向邊把實體與其屬性連接起來。 菱形表示實體間的聯(lián)系，用無向邊把菱形與有關(guān)實體連接起來并在無向邊旁標上聯(lián)系的類型。若聯(lián)系具有屬性，則也把屬性與菱形用無向邊相連。,21,第三節(jié) 數(shù)據(jù)庫模型,教師與課程關(guān)系的E-R圖,22,第三節(jié) 數(shù)據(jù)庫模型,教務(wù)管理系統(tǒng)E-R圖,23,第三節(jié) 數(shù)據(jù)庫模型,二、

7、關(guān)系數(shù)據(jù)庫模型 數(shù)據(jù)模型 非關(guān)系模型 前兩種模型統(tǒng)稱為非關(guān)系模型，它們的數(shù)據(jù)結(jié)構(gòu)和圖是相互對應(yīng)的。 在非關(guān)系模型中，概念模型中的實體、實體型分別反映為記錄和記錄型，因此圖的結(jié)點表示記錄型，結(jié)點之間的連接弧表示記錄型之間的聯(lián)系。,24,第三節(jié) 數(shù)據(jù)庫模型,二、關(guān)系數(shù)據(jù)庫模型 數(shù)據(jù)模型 非關(guān)系模型 基本層次聯(lián)系 數(shù)據(jù)結(jié)構(gòu)可以分解為基本層次聯(lián)系。 兩個記錄型及它們之間的 一對多（一對一）的聯(lián)系 稱為基本層次聯(lián)系。 父記錄和子記錄,25,第三節(jié) 數(shù)據(jù)庫模型,二、關(guān)系數(shù)據(jù)庫模型 數(shù)據(jù)模型 非關(guān)系模型 層次模型 若一個基本層次聯(lián)系的集合滿足下列兩個條件，則它是層次模型 有且僅有一個無父結(jié)點，這樣的結(jié)點稱為

8、根結(jié)點。 非根結(jié)點都有且僅有一個父結(jié)點。,26,第三節(jié) 數(shù)據(jù)庫模型,多層層次模型,27,第三節(jié) 數(shù)據(jù)庫模型,二、關(guān)系數(shù)據(jù)庫模型 數(shù)據(jù)模型 非關(guān)系模型 網(wǎng)狀模型 若一個基本層次聯(lián)系集合中，至少有一個結(jié)點有一個以上的父結(jié)點，則這種數(shù)據(jù)模型是網(wǎng)狀模型。 可能有一個以上的結(jié)點無父結(jié)點 結(jié)點與其父結(jié)點間聯(lián)系可能不止一個,28,第三節(jié) 數(shù)據(jù)庫模型,網(wǎng)狀模型,29,第三節(jié) 數(shù)據(jù)庫模型,二、關(guān)系數(shù)據(jù)庫模型 數(shù)據(jù)模型 關(guān)系模型 當前廣泛應(yīng)用的數(shù)據(jù)庫管理系統(tǒng)幾乎都支持關(guān)系模型，稱為關(guān)系型數(shù)據(jù)庫管理系統(tǒng)（Relational Data Base Management System，即RDBMS） 關(guān)系模型用二維表表

9、示實體及其相互聯(lián)系 對表的構(gòu)成形式有一定限制,30,第三節(jié) 數(shù)據(jù)庫模型,二、關(guān)系數(shù)據(jù)庫模型 數(shù)據(jù)模型 關(guān)系模型 關(guān)系模型的主要術(shù)語 元組：行，對應(yīng)實體，相當于記錄 屬性和屬性名：列，列的名稱 分量：一個元組在一個屬性上的值 關(guān)系與關(guān)系名：整表是一個關(guān)系 關(guān)系模式：關(guān)系名及其所有屬性名集合,31,第三節(jié) 數(shù)據(jù)庫模型,二、關(guān)系數(shù)據(jù)庫模型 數(shù)據(jù)模型 關(guān)系模型 關(guān)系模型對二維表的限制 表中每一列都必須是不可分的基本項。 表中沒有完全相同的兩個元組。 在一個關(guān)系模式中： 不能有兩個屬性具有相同的屬性名。 屬性間順序和元組間順序都是無關(guān)緊要的。,32,第四節(jié) 旅游企業(yè)中常用的數(shù)據(jù)庫管理系統(tǒng),一、Oracl

10、e數(shù)據(jù)庫管理系統(tǒng) 完整的數(shù)據(jù)管理功能 分布式數(shù)據(jù)庫系統(tǒng)，支持Internet應(yīng)用 提供界面友好、功能齊全的數(shù)據(jù)庫開發(fā)工具 使用PL/SQL語言執(zhí)行各種操作 可開放性、可移植性、可伸縮性 支持面向?qū)ο蟮墓δ?，如類、方法、屬性?對象/關(guān)系型數(shù)據(jù)庫管理系統(tǒng) 目前最新版本是Oracle 11g,33,第四節(jié) 旅游企業(yè)中常用的數(shù)據(jù)庫管理系統(tǒng),二、DB2數(shù)據(jù)庫管理系統(tǒng) 具有較好的可伸縮性、高層次的數(shù)據(jù)利用性、完整性、安全性、可恢復性 與平臺無關(guān)的基本功能和SQL命令 數(shù)據(jù)分級技術(shù) 查詢優(yōu)化器，支持多任務(wù)并行查詢 網(wǎng)絡(luò)支持能力，適用于大型分布式應(yīng)用系統(tǒng) 可通過開放數(shù)據(jù)庫連接（ODBC）接口、Java數(shù)據(jù)庫

11、連接（JDBC）接口，或者CORBA接口代理被任何應(yīng)用程序訪問,34,第四節(jié) 旅游企業(yè)中常用的數(shù)據(jù)庫管理系統(tǒng),三、MS Access數(shù)據(jù)庫管理系統(tǒng) Microsoft Office組件之一 桌面型數(shù)據(jù)庫管理系統(tǒng) 無需編寫任何代碼，可視化操作 包括表、窗體、查詢、報表、宏、模塊等要素 支持ODBC與其他數(shù)據(jù)庫相連，實現(xiàn)數(shù)據(jù)交換和共享 與Office辦公軟件進行數(shù)據(jù)交換和共享 支持嵌入和鏈接多媒體數(shù)據(jù),35,四大主流數(shù)據(jù)庫比較,一、開放性 1. SQL Server 只能在windows上運行，沒有絲毫的開放性，操作系統(tǒng)的系統(tǒng)的穩(wěn)定對數(shù)據(jù)庫是十 分重要的。Windows9X系列產(chǎn)品是偏重于桌面應(yīng)用

12、，NT server只適合中小型企業(yè)。而且windows平臺的可靠性，安全性和伸縮性是非常有限的。它不象unix那樣久經(jīng)考驗，尤其是在處理大數(shù)據(jù)庫。 2. Oracle 能在所有主流平臺上運行（包括 windows）。完全支持所有的工業(yè)標準。采用完全開放策略?？梢允箍蛻暨x擇最適合的解決方案。對開發(fā)商全力支持。,36,四大主流數(shù)據(jù)庫比較,一、開放性 3. Sybase ASE 能在所有主流平臺上運行（包括 windows）。 但由于早期Sybase與OS集成度不高，因此VERSION11.9.2以下版本需要較多OS和DB級補丁。在多平臺的混合環(huán)境中，會有一定問題。 4. DB2 能在所有主流平臺

13、上運行（包括windows）。最適于海量數(shù)據(jù)。DB2在企業(yè)級的應(yīng)用最為廣泛，在全球的500家最大的企業(yè)中,幾乎85%以上用DB2數(shù)據(jù)庫服務(wù)器，而國內(nèi)到97年約占5%。,37,四大主流數(shù)據(jù)庫比較,二、可伸縮性，并行性 1. SQL Server 并行實施和共存模型并不成熟，很難處理日益增多的用戶數(shù)和數(shù)據(jù)卷，伸縮性有限。 2. Oracle 并行服務(wù)器通過使一組結(jié)點共享同一簇中的工作來擴展windownt的能力，提供高可用性和高伸縮性的簇的解決方案。如果windowsNT不能滿足需要，用戶可以把數(shù)據(jù)庫移到UNIX中。Oracle的并行服務(wù)器對各種UNIX平臺的集群機制都有著相當高的集成度。,38,

14、四大主流數(shù)據(jù)庫比較,二、可伸縮性，并行性 3. Sybase ASE 雖然有DB SWITCH來支持其并行服務(wù)器，但DB SWITCH在技術(shù)層面還未成熟，且只支持版本12.5以上的ASE SERVER。DB SWITCH技術(shù)需要一臺服務(wù)器充當SWITCH，從而在硬件上帶來一些麻煩。 4. DB2 具有很好的并行性。DB2把數(shù)據(jù)庫管理擴充到了并行的、多節(jié)點的環(huán)境。數(shù)據(jù)庫分區(qū)是數(shù)據(jù)庫的一部分，包含自己的數(shù)據(jù)、索引、配置文件、和事務(wù)日志。數(shù)據(jù)庫分區(qū)有時被稱為節(jié)點安全性。,39,四大主流數(shù)據(jù)庫比較,三、安全認證 1. SQL Server 沒有獲得任何安全證書。 2. Oracle Server 獲得

15、最高認證級別的ISO標準認證。 3. Sybase ASE 獲得最高認證級別的ISO標準認證。 4. DB2 獲得最高認證級別的ISO標準認證。,40,四大主流數(shù)據(jù)庫比較,四、性能 1. SQL Server 多用戶時性能不佳 2. Oracle 性能最高， 保持開放平臺下的TPC-D和TPC-C的世界記錄。 3. Sybase ASE 性能接近于SQL Server，但在UNIX平臺下的并發(fā)性要優(yōu)與 SQL Server。 4. DB2 性能較高適用于數(shù)據(jù)倉庫和在線事物處理。,41,四大主流數(shù)據(jù)庫比較,五、客戶端支持及應(yīng)用模式 1. SQL Server C/S結(jié)構(gòu)，只支持windows客戶

16、，可以用ADO、DAO、OLEDB、ODBC連接。 2. Oracle 多層次網(wǎng)絡(luò)計算，支持多種工業(yè)標準，可以用ODBC、JDBC、OCI等網(wǎng)絡(luò)客戶連接。 3. Sybase ASE C/S結(jié)構(gòu)，可以用ODBC、Jconnect、Ct-library等網(wǎng)絡(luò)客戶連接。 4. DB2 跨平臺，多層結(jié)構(gòu)，支持ODBC、JDBC等客戶。,42,四大主流數(shù)據(jù)庫比較,六、操作簡便 1. SQL Server 操作簡單，但只有圖形界面。 2. Oracle 較復雜，同時提供GUI和命令行，在windowsNT和unix下操作相同。 3. Sybase ASE 較復雜，同時提供GUI和命令行。但GUI較差，常

17、常無法及時狀態(tài)，建議使用命令行。 4. DB2 操作簡單，同時提供GUI和命令行，在windowsNT和unix下操作相同。,43,四大主流數(shù)據(jù)庫比較,七、使用風險 1. SQL server 完全重寫的代碼，經(jīng)歷了長期的測試，不斷延遲，許多功能需要時間來證明。并不十分兼容。 2. Oracle 長時間的開發(fā)經(jīng)驗，完全向下兼容。得到廣泛的應(yīng)用。完全沒有風險。 3. Sybase ASE 向下兼容, 但是ct-library 程序不益移植。 4. DB2 在巨型企業(yè)得到廣泛的應(yīng)用，向下兼容性好。風險小。,44,第五節(jié) 旅游企業(yè)中的數(shù)據(jù)倉庫,一、數(shù)據(jù)倉庫（Data Warehouse） 數(shù)據(jù)倉庫定

18、義 數(shù)據(jù)倉庫定義為面向主題的、集成的、穩(wěn)定的、不同時間的、反映歷史變化數(shù)據(jù)集合，用于支持經(jīng)營管理中決策制定過程。,45,第五節(jié) 旅游企業(yè)中的數(shù)據(jù)倉庫,一、數(shù)據(jù)倉庫（Data Warehouse） 數(shù)據(jù)倉庫的特點 面向主題 集成性 穩(wěn)定性 反映歷史變化的,46,特點1：數(shù)據(jù)倉庫是面向主題的,基于傳統(tǒng)關(guān)系數(shù)據(jù)庫建立的各個應(yīng)用系統(tǒng)，是面向應(yīng)用進行數(shù)據(jù)組織的；而數(shù)據(jù)倉庫中的數(shù)據(jù)是面向主題進行組織的。主題是指一個分析領(lǐng)域，是在較高層次上企業(yè)信息系統(tǒng)中的數(shù)據(jù)綜合、歸類并進行利用的抽象。所謂較高層次是相對面向應(yīng)用而言的，其含義是指按照主題進行數(shù)據(jù)組織的方式具有更高的數(shù)據(jù)抽象級別。 例如保險公司建立數(shù)據(jù)倉庫，

19、所選主題可能是顧客、保險金和索賠等，而按照應(yīng)用組織的數(shù)據(jù)庫則可能是汽車保險、生命保險和財產(chǎn)保險等。對于一個網(wǎng)上商城的數(shù)據(jù)倉庫來說，那么銷售分析就是一個主題，客戶屬性分析也是一個主題。,47,特點2：數(shù)據(jù)倉庫是集成的,面向事務(wù)處理的操作型數(shù)據(jù)庫通常與某些特定的應(yīng)用相關(guān)，數(shù)據(jù)庫之間相互獨立，并且往往是異構(gòu)的。而數(shù)據(jù)倉庫中的數(shù)據(jù)是在對原有分散的數(shù)據(jù)庫數(shù)據(jù)抽取、清理的基礎(chǔ)上經(jīng)過系統(tǒng)加工、匯總和整理得到的，必須消除源數(shù)據(jù)中的不一致性，以保證數(shù)據(jù)倉庫內(nèi)的信息是關(guān)于整個企業(yè)的一致的全局信息。在創(chuàng)建數(shù)據(jù)倉庫時，信息集成的工作包括格式轉(zhuǎn)換、根據(jù)選擇邏輯消除沖突、運算、總結(jié)、綜合、統(tǒng)計、加時間屬性和設(shè)置缺省值等工

20、作。還要將原始數(shù)據(jù)結(jié)構(gòu)作一個從面向應(yīng)用到面向主題的轉(zhuǎn)變。,48,特點2：數(shù)據(jù)倉庫是集成的,數(shù)據(jù)倉庫環(huán)境下數(shù)據(jù)的集成,49,特點3：數(shù)據(jù)倉庫是穩(wěn)定的,操作型數(shù)據(jù)庫中的數(shù)據(jù)通常實時更新，數(shù)據(jù)根據(jù)需要及時發(fā)生變化。數(shù)據(jù)倉庫的數(shù)據(jù)主要供企業(yè)決策分析之用，所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢，數(shù)據(jù)一旦裝入其中，基本不會發(fā)生變化。數(shù)據(jù)倉庫中的每個數(shù)據(jù)項對應(yīng)于一個特定時間。當對象某些屬性發(fā)生變化就會生成新的數(shù)據(jù)項。一旦某個數(shù)據(jù)進入數(shù)據(jù)倉庫以后，一般情況下將被長期保留，也就是數(shù)據(jù)倉庫中一般有大量的查詢操作，但修改和刪除操作很少，通常只需要定期的加載、刷新。因此，數(shù)據(jù)倉庫的信息具有穩(wěn)定性。,50,特點4：數(shù)據(jù)倉庫是反

21、映歷史變化的,操作型數(shù)據(jù)庫主要關(guān)心當前某一個時間段內(nèi)的數(shù)據(jù)，而數(shù)據(jù)倉庫中的數(shù)據(jù)通常包含歷史信息，系統(tǒng)記錄了企業(yè)從過去某一時點(如開始應(yīng)用數(shù)據(jù)倉庫的時點)到目前的各個階段的信息，通過這些信息，可以對企業(yè)的發(fā)展歷程和未來趨勢做出定量分析和預(yù)測。,51,數(shù)據(jù)隨時間變化,數(shù)據(jù)的不可更新是指數(shù)據(jù)倉庫用戶進行分析處理時不進行數(shù)據(jù)更新工作，不是說數(shù)據(jù)倉庫從開始到刪除的整個生命周期都是永遠不變的。 數(shù)據(jù)倉庫的數(shù)據(jù)隨著時間變化而定期被更新，每隔一段固定的時間間隔后，運作數(shù)據(jù)庫系統(tǒng)中產(chǎn)生的數(shù)據(jù)被抽取、轉(zhuǎn)換以后集成到數(shù)據(jù)倉庫中，而數(shù)據(jù)的過去版本仍保留在數(shù)據(jù)倉庫中。 數(shù)據(jù)倉庫的數(shù)據(jù)也有存儲期限，一旦超過了這個期限，過

22、期數(shù)據(jù)就要被刪除，只是數(shù)據(jù)倉庫內(nèi)的數(shù)據(jù)實現(xiàn)要遠遠長于操作型環(huán)境中的數(shù)據(jù)時限。,52,第五節(jié) 旅游企業(yè)中的數(shù)據(jù)倉庫,一、數(shù)據(jù)倉庫（Data Warehouse） 數(shù)據(jù)倉庫是一個數(shù)據(jù)庫，其中的數(shù)據(jù)來自于許多系統(tǒng)，旨在支持管理報表生成和決策制定。 廣義上,數(shù)據(jù)倉庫實際上指的是數(shù)據(jù)存儲和工具。 數(shù)據(jù)倉庫使用用戶在業(yè)務(wù)活動中收集的信息來幫助用戶決策，使用戶更好、更巧妙、更快、更有效地操作業(yè)務(wù)。 數(shù)據(jù)倉庫是合理的業(yè)務(wù)智能架構(gòu)的關(guān)鍵部分。,53,一、數(shù)據(jù)倉庫（Data Warehouse） 企業(yè)數(shù)據(jù)倉庫的建設(shè)，是以現(xiàn)有企業(yè)業(yè)務(wù)系統(tǒng)和大量業(yè)務(wù)數(shù)據(jù)的積累為基礎(chǔ)。數(shù)據(jù)倉庫不是靜態(tài)的概念，只有把信息及時交給需要這些

23、信息的使用者，供他們做出改善其業(yè)務(wù)經(jīng)營的決策，信息才能發(fā)揮作用，信息才有意義。而把信息加以整理歸納和重組，并及時提供給相應(yīng)的管理決策人員，是數(shù)據(jù)倉庫的根本任務(wù)。因此，從產(chǎn)業(yè)界的角度看，數(shù)據(jù)倉庫建設(shè)是一個工程，是一個過程。,第五節(jié) 旅游企業(yè)中的數(shù)據(jù)倉庫,54,數(shù)據(jù)倉庫進化過程,最初的數(shù)據(jù)倉庫主要用于企業(yè)內(nèi)部某一部門的報表。,決策者關(guān)心的重點發(fā)生了轉(zhuǎn)移從發(fā)生了什么轉(zhuǎn)向為什么會發(fā)生。分析活動的目的就是了解報表數(shù)據(jù)的涵義，需要對更詳細的數(shù)據(jù)進行各種角度的分析。,當一個公司決策過程得到量化以后，對經(jīng)營動態(tài)的情況以及這種情況為什么發(fā)生都會有所體驗，下一步就是要將信息用于預(yù)測。,重在戰(zhàn)術(shù)性決策支持。重點在企

24、業(yè)外部，為執(zhí)行公司戰(zhàn)略的員工提供支持。,動態(tài)數(shù)據(jù)倉庫在決策支持領(lǐng)域中的角色越重要，企業(yè)實現(xiàn)決策自動化的積極性就越高。在CRM環(huán)境中，利用動態(tài)數(shù)據(jù)倉庫，根據(jù)每一位客戶的情況做出決策都是可能的。,55,數(shù)據(jù)倉庫與數(shù)據(jù)庫的區(qū)別,56,數(shù)據(jù)倉庫的體系結(jié)構(gòu),57,第五節(jié) 旅游企業(yè)中的數(shù)據(jù)倉庫,一、數(shù)據(jù)倉庫（Data Warehouse） 當前報表架構(gòu)存在的問題 可訪問性 及時性 格式 完整性 目標、業(yè)務(wù)、智能,58,第五節(jié) 旅游企業(yè)中的數(shù)據(jù)倉庫,一、數(shù)據(jù)倉庫（Data Warehouse） 數(shù)據(jù)倉庫在DSS（決策支持系統(tǒng)）中的地位 傳統(tǒng)輔助決策的軟件結(jié)構(gòu)是“三部件”型：總控部件、數(shù)據(jù)庫部件和模型部件。,

25、59,第五節(jié) 旅游企業(yè)中的數(shù)據(jù)倉庫,一、數(shù)據(jù)倉庫（Data Warehouse） 數(shù)據(jù)倉庫在DSS（決策支持系統(tǒng)）中的地位 現(xiàn)代決策支持系統(tǒng)架構(gòu)基于數(shù)據(jù)倉庫、聯(lián)機處理分析和數(shù)據(jù)挖掘。,60,第五節(jié) 旅游企業(yè)中的數(shù)據(jù)倉庫,一、數(shù)據(jù)倉庫（Data Warehouse） 數(shù)據(jù)倉庫在DSS（決策支持系統(tǒng)）中的地位 數(shù)據(jù)倉庫已經(jīng)成為現(xiàn)代DSS的主要數(shù)據(jù)源 傳統(tǒng)DSS架構(gòu)的不足 現(xiàn)代DSS架構(gòu)的突破 實際應(yīng)用案例 基于數(shù)據(jù)倉庫的高速公路營運管理輔助決策系統(tǒng)的概念模型,61,第五節(jié) 旅游企業(yè)中的數(shù)據(jù)倉庫,二、數(shù)據(jù)挖掘（Data Mining） 數(shù)據(jù)挖掘的產(chǎn)生 起因：豐富的數(shù)據(jù)，貧乏的知識 發(fā)展：20世紀80

26、年代開始，數(shù)據(jù)挖掘技術(shù)逐步發(fā)展起來 快速發(fā)展原因： 擁有巨大的數(shù)據(jù)資源，以及將這些數(shù)據(jù)資源轉(zhuǎn)換為信息和知識資源的巨大需求 數(shù)據(jù)挖掘可被看作是數(shù)據(jù)管理與分析技術(shù)的自然進化產(chǎn)物,62,什么是數(shù)據(jù)挖掘 ?,數(shù)據(jù)挖掘是一個利用各種分析方法和分析工具在大規(guī)模海量數(shù)據(jù)中建立模型和發(fā)現(xiàn)數(shù)據(jù)間關(guān)系的過程，這些模型和關(guān)系可以用來做出決策和預(yù)測。,63,第五節(jié) 旅游企業(yè)中的數(shù)據(jù)倉庫,二、數(shù)據(jù)挖掘（Data Mining） 數(shù)據(jù)挖掘基本知識 數(shù)據(jù)挖掘： 從大量數(shù)據(jù)中挖掘或抽取出知識。 數(shù)據(jù)庫中知識發(fā)現(xiàn) KDD，Knowledge Discovery from Database 從大量數(shù)據(jù)中抽取挖掘出未知的、有價值的

27、模式或規(guī)律等知識的復雜過程。 整個知識挖掘過程由若干挖掘步驟組成，數(shù)據(jù)挖掘僅是其中一個主要步驟。,64,數(shù)據(jù)挖掘能做些什么？,數(shù)據(jù)特征化和數(shù)據(jù)區(qū)分 關(guān)聯(lián)分析 分類和預(yù)測 聚類分析 孤立點分析 演變分析,65,數(shù)據(jù)挖掘的常用方法,決策樹 相關(guān)規(guī)則 神經(jīng)元網(wǎng)絡(luò) 遺傳算法 可視化 OLAP聯(lián)機分析處理 統(tǒng)計方法,66,數(shù)據(jù)挖掘的常用方法,決策樹 決策樹(Decision Tree)。決策樹方法被成功地應(yīng)用于信用卡損失和不同的國際流通貨幣的時序預(yù)測等各種問題中。一般可用于探索問題、數(shù)據(jù)預(yù)處理和預(yù)測中。目前常用的有ID3、CHAID和CART等幾種典型的算法。 決策樹算法的主要優(yōu)點是直觀，其缺點在于隨著

28、數(shù)據(jù)復雜性的增加，分支數(shù)會增加，對數(shù)據(jù)倉庫的搜索次數(shù)會增加，管理難度會加大。,67,數(shù)據(jù)挖掘的常用方法,神經(jīng)元網(wǎng)絡(luò) 神經(jīng)元網(wǎng)絡(luò)(Neural Network)。神經(jīng)元網(wǎng)絡(luò)雖然在易用性和易理解性方面受到了限制，但其正確率很高。它通過學習發(fā)現(xiàn)規(guī)律，然后進行預(yù)測。神經(jīng)元網(wǎng)絡(luò)可用于聚類、異常發(fā)現(xiàn)、特征制取和預(yù)測。,68,數(shù)據(jù)挖掘的常用方法,遺傳算法 遺傳算法(Genetic Algorithms)。遺傳算法是霍蘭等人于20世紀40年代提出的。以生物進化的過程為基礎(chǔ)，加以交叉、變異和選擇運算，逐步得到問題的最優(yōu)解。,69,第五節(jié) 旅游企業(yè)中的數(shù)據(jù)倉庫,二、數(shù)據(jù)挖掘（Data Mining） 數(shù)據(jù)倉庫與數(shù)

29、據(jù)挖掘 數(shù)據(jù)倉庫是創(chuàng)建商務(wù)智能過程中，繼數(shù)據(jù)庫技術(shù)后進一步的發(fā)展（超過數(shù)據(jù)庫）。 數(shù)據(jù)挖掘工具是人們用于數(shù)據(jù)倉庫和商務(wù)智能推理過程中，支持決策、解決問題或創(chuàng)造競爭優(yōu)勢而挖掘有價值信息時所必需的工具。,70,ORACLE 數(shù)據(jù)倉庫和數(shù)據(jù)挖掘解決方案,71,Oracle數(shù)據(jù)庫 SQL *Loader工具 Oracle Warehouse Builder (OWB),Oracle 提供的數(shù)據(jù)倉庫工具及其功能介紹,72,1. Oracle9i 數(shù)據(jù)庫,一個對象關(guān)系型數(shù)據(jù)倉庫，用于存儲大量的數(shù)據(jù)。,73,2. SQL *Loader工具,用于將數(shù)據(jù)裝載到數(shù)據(jù)倉庫中。這些數(shù)據(jù)包括Oracle數(shù)據(jù)庫中的數(shù)據(jù)

30、，其他數(shù)據(jù)管理系統(tǒng)中的數(shù)據(jù)和外部數(shù)據(jù)。開發(fā)人員可以利用這兩種工具將多種數(shù)據(jù)源融合在一個單一的存儲系統(tǒng)中，并加以管理，從而為最終用戶提供對這多種數(shù)據(jù)源的無縫訪問。,74,3. Oracle Warehouse Builder,OWB是Oracle Developer Suits 中的一個組件，是用于設(shè)計、實現(xiàn)、和管理企業(yè)數(shù)據(jù)倉庫和數(shù)據(jù)集市的集成系統(tǒng)。 通過向?qū)?qū)動的用戶界面來進行數(shù)據(jù)映射、元數(shù)據(jù)導入，利用預(yù)定義的轉(zhuǎn)換庫，能夠減少設(shè)計和實施時間。 自動生成代碼，并且通過校驗程序保證編碼的正確性和唯一性，按照部署的要求生成不同的編碼類型。,75,3. Oracle Warehouse Builder

31、,提供可視化的直觀映射和轉(zhuǎn)換工具、對多維數(shù)據(jù)的拖放功能，以及一個用于管理倉庫的系統(tǒng)外門戶解決方案，降低設(shè)計和開發(fā)數(shù)據(jù)倉庫和數(shù)據(jù)中心的復雜度。 OWB為事實表和維度表提供向?qū)Ш蛨D形編輯器。 OWB全面應(yīng)用Oracle 9i 的分區(qū)、索引和總結(jié)管理等特性，與數(shù)據(jù)庫的緊密集成允許Oracle 9i 作為一種轉(zhuǎn)換引擎使用，排除了增加轉(zhuǎn)換服務(wù)器的需求。,76,3. Oracle Warehouse Builder,利用OWB組件文件集成器，實現(xiàn)從文本文件中提取數(shù)據(jù)。 OWB包括一個全局共享庫（Global Shared Library)，用于存儲可重復使用的轉(zhuǎn)換。 OWB軟件還包括Oracle Pure

32、 Integrate 和OWB Integrator for SAP R/3, 前者是將數(shù)據(jù)客戶集成以形成戰(zhàn)略性電子商務(wù)項目基礎(chǔ)的軟件，后者是對SAP特有的ERP數(shù)據(jù)進行強有力報表制作和分析的集成橋梁。,77,Oracle提供的數(shù)據(jù)挖掘工具及其功能介紹,Oracle 9i Data Mining Oracle 9i OLAP 工具集 （1）Oracle Discoverer （2）Oracle Express系列 Oracle Express Analyzer Oracle Express Objects Oracle Express Server,78,1. Oracle 9i Data M

33、ining,提高應(yīng)用軟件的預(yù)測力和洞察力 將數(shù)據(jù)挖掘功能嵌入 Oracle 9i 數(shù)據(jù)庫中 基于 Java 的 API,79,提高應(yīng)用軟件的預(yù)測力和洞察力,利用DM，公司能夠構(gòu)建高級商務(wù)智能應(yīng)用程序、對公司的數(shù)據(jù)庫進行挖掘、發(fā)現(xiàn)新的有用信息并將其集成到商務(wù)應(yīng)用程序中。 利用DM，公司能夠提高在客戶關(guān)系管理（CRM）、企業(yè)資源計劃（ERP）、網(wǎng)頁入口和無線應(yīng)用等商務(wù)智能方面的能力。 鑒別最有利可圖的消費者，避免客戶流失 獲得新客戶，對已有客戶進行交叉銷售 檢測欺詐行為 預(yù)測零件質(zhì)量 尋找病人、藥品和療效之間的關(guān)系,80,數(shù)據(jù)挖掘功能的內(nèi)嵌,Oracle 9i Data Mining 將數(shù)據(jù)挖掘功

34、能嵌入 Oracle 9i 數(shù)據(jù)庫中，用于分類、預(yù)報和關(guān)聯(lián)。所有的模型構(gòu)建、評分、以及元數(shù)據(jù)管理操作經(jīng)由基于 Java 的 API 來啟動并完全在該關(guān)系數(shù)據(jù)庫中發(fā)生。 采用貝葉斯法則進行預(yù)測和分類 運用關(guān)聯(lián)規(guī)則檢測隱藏于數(shù)據(jù)庫中“相關(guān)”或并發(fā)事件 自動提取商務(wù)信息并將其整合在其他應(yīng)用軟件之中,81,基于 Java 的 API,商務(wù)智能（BI）開發(fā)人員可以使用基于Java的應(yīng)用程序接口（API）來開發(fā)基于預(yù)測的應(yīng)用軟件。 自動執(zhí)行數(shù)據(jù)挖掘進程，為消費者打分以及產(chǎn)生需求預(yù)測。 通過查詢、分析和報表生成器產(chǎn)生新的數(shù)據(jù)挖掘信息。 支持應(yīng)用程序的集成。,82,2. Oracle 9i OLAP工具,企業(yè)

35、級OLAP可將跨部門的數(shù)據(jù)緊密地聯(lián)系在一起，從而使所有用戶在一個共同的信息基礎(chǔ)上。它幫助用戶使用數(shù)據(jù)倉庫中的所有數(shù)據(jù)。 企業(yè)級OLAP還能夠超越數(shù)據(jù)倉庫的范圍，集成來自其它獨立系統(tǒng)的數(shù)據(jù)，這些系統(tǒng)可能是關(guān)系型數(shù)據(jù)庫或者外部的文件系統(tǒng)。這種集成使得新型應(yīng)用，如：基于事實的促銷、基于行為的定價以及產(chǎn)品利潤分析等能夠跨越單一部門的界限。,83,（1）Oracle Discoverer,是Oracle公司面向決策支持系統(tǒng)OLAP工具集的組成部分。它是一個直觀的隨意查詢、報告、搜索和Web公布的工具。 它能夠幫助公司內(nèi)部各個層次的商業(yè)用戶，獲得迅速訪問關(guān)系型數(shù)據(jù)庫、數(shù)據(jù)中心或者聯(lián)機事務(wù)處理系統(tǒng)中數(shù)據(jù)的能

36、力。,84,（1）Oracle Discoverer,User Edition提供了超乎尋常的易用性，通過任意深入能力、旋轉(zhuǎn)和圖表，給予用戶強大的數(shù)據(jù)探索能力。 Administration Edition提供了一個易于使用的基于服務(wù)器的強大的最終用戶層(End User Layer) 。 對于那些需要集中精力處理商業(yè)問題而不是數(shù)據(jù)問題的最終用戶而言，End User Layer為他們隱藏了數(shù)據(jù)結(jié)構(gòu)和相互關(guān)系的復雜性。,85,（2） Oracle Express系列,通過使用Oracle Express ： 分析咨詢?nèi)藛T能夠很輕松地從各自的視角觀察數(shù)據(jù) 產(chǎn)品經(jīng)理能夠跨越許多時間段和市場區(qū)域研究

37、她負責的某個產(chǎn)品 財務(wù)經(jīng)理可以集中在當前或者以前的時間段，研究所有的市場和產(chǎn)品 地區(qū)經(jīng)理可在某些地區(qū)的所有時間段上考察所有產(chǎn)品 策略規(guī)劃人員可以集中在公司數(shù)據(jù)的某個集上,如在當前和下個季度，僅在西部地區(qū)銷售的某個新產(chǎn)品,86,Oracle Express Analyzer,通用的、面向最終用戶的報告和分析工具，它采用面向?qū)ο蠹夹g(shù)，在Oracle Express Analyzer中能運行任何Oracle Express Objects應(yīng)用。 在Oracle Express Analyzer的一個基石性對象是簡報(briefing)。一個簡報由若干頁組成，每一頁上包含由可重用的對象建立的面向主題的

38、分析。這些對象是交互的、用戶能夠旋轉(zhuǎn)、深入和查詢?nèi)魏我粡埡唸箜撝械谋砀窕蛘邎D形，以運行他們自己的即席分析。,87,Oracle Express Objects,是最早出現(xiàn)的用于建立C/S上OLAP應(yīng)用的面向?qū)ο蟮目梢暬_發(fā)環(huán)境。 提供圖形化建模和假設(shè)分析功能 。 通過使用標準的Microsoft對象連接嵌入技術(shù)(OLE)，實現(xiàn)對第三方軟件開放。例如能夠使用一個OLE控件顯示銷售某公司產(chǎn)品的商店。 通過使用代理程序、預(yù)警程序和OLE控件，可以監(jiān)控存貨水平，當存貨水平下降時向管理人員報警，自動提高主要產(chǎn)品的存貨水平。,88,Oracle Express Server,是一個先進的計算機引擎和數(shù)據(jù)高速緩存。 支持最能反應(yīng)用戶對其業(yè)務(wù)思考方法的多維模型，而且具有分析、預(yù)測、建模，以及對數(shù)據(jù)進行假設(shè)分析(what-if)的能力。 具有用于數(shù)學、財務(wù)、統(tǒng)計和時間序列管理等方面的內(nèi)置功能 。,89,第五節(jié) 旅游企業(yè)中的數(shù)據(jù)倉庫,三、常用的數(shù)據(jù)挖掘工具 數(shù)據(jù)挖掘工具 查詢與報表工具 智能代理 多維分析工具 統(tǒng)計工具 數(shù)據(jù)集市 小型的數(shù)據(jù)倉庫,90,數(shù)據(jù)庫設(shè)計主鍵的故事,什么是主鍵？ 關(guān)系數(shù)據(jù)庫為了唯一區(qū)分表的每一行記錄，必須為表確定一個主鍵。主鍵可以是一個或多個列組成，這些主鍵列的值