《數(shù)據(jù)倉庫與數(shù)據(jù)挖掘》第四章 數(shù)據(jù)倉庫系統(tǒng)的體系結(jié)構(gòu)與設(shè)計方法(51P).ppt

1,第四章 數(shù)據(jù)倉庫系統(tǒng)的體系結(jié)構(gòu)與設(shè)計方法,數(shù)據(jù)倉庫系統(tǒng)的體系結(jié)構(gòu) 分布式對象技術(shù) 監(jiān)控器的設(shè)計 轉(zhuǎn)換器的設(shè)計 集成器的設(shè)計 元數(shù)據(jù)管理器的設(shè)計,2,數(shù)據(jù)倉庫系統(tǒng)的結(jié)構(gòu),最終用戶,可視化工具,數(shù)據(jù)挖掘工具,多維分析工具,多維數(shù)據(jù),數(shù) 據(jù) 倉 庫 工 具 層,數(shù) 據(jù) 倉 庫 層,3,數(shù)據(jù)倉庫系統(tǒng)的體系結(jié)構(gòu),4,數(shù)據(jù)倉庫系統(tǒng)的體系結(jié)構(gòu),源數(shù)據(jù)： 數(shù)據(jù)倉庫管理系統(tǒng)： 元數(shù)據(jù)庫及元數(shù)據(jù)管理部件： 數(shù)據(jù)轉(zhuǎn)換部件： 數(shù)據(jù)集成部件： 數(shù)據(jù)倉庫管理部件：,5,(1)系列順序碼 (2)數(shù)值化字母順序碼 (3)層次碼 (4)特征組合碼 (5)矩陣碼 (6)復合碼,6,條碼技術(shù)的發(fā)展,20世紀20年代,西屋實驗室,john ermode 掃描器，邊緣定位線圈，譯碼器 young 1949, norm woodland , bernard silver 1970, iterface machanisms led，微處理器，激光二極管：條碼工業(yè),7,常用條碼簡介,（商品）的基礎(chǔ) （超市） 工業(yè)，圖書，票證 bar 醫(yī)療衛(wèi)生,圖書情報,物資,8,數(shù)據(jù)倉庫系統(tǒng)的體系結(jié)構(gòu),數(shù)據(jù)倉庫前端工具集 查詢/報表工具： olap工具： 數(shù)據(jù)挖掘工具： 前端開發(fā)工具： 數(shù)據(jù)倉庫:,9,分布式對象技術(shù),隨著internet的廣泛應(yīng)用，將應(yīng)用擴展到局域網(wǎng)、廣域網(wǎng)甚至internet上已成為用戶的普遍需求，分布式計算成了新的熱點。 分布式計算系統(tǒng)又稱為中間件。,10,分布式對象概述,程序設(shè)計方法經(jīng)歷了多次變革： 在80年代中期，國際標準化組織iso推出了rpc(remote process call)標準。到1992年，開放軟件基金會osf頒布了dce（distributed computing environment）標準,是分布式計算技術(shù)發(fā)展過程中的一個里程碑。 隨著應(yīng)用系統(tǒng)對可擴展性和可重用性的要求不斷提高，將面向?qū)ο蟮乃枷霊?yīng)用到分布式環(huán)境中，提出了分布式對象的概念。,11,分布式對象的代表性觀點,組件對象是軟件的基本量子。 分布式對象是具有特定功能的，能夠跨越進程的邊界、實現(xiàn)網(wǎng)絡(luò)、語言、應(yīng)用程序、開發(fā)工具和操作系統(tǒng)的”即插即用”的獨立對象。 分布式對象是指任何可被分離出來，具有標準化的，可重用的公開接口的軟件。 分布式對象通過接口對外提供服務(wù)。,12,分布式對象的工業(yè)標準,分布式對象的兩種工業(yè)標準： com/dcom/com+：microsoft制定的以windows為中心的開發(fā)環(huán)境。 corba（common object request broker architecture）：由700多個廠商共同提倡的，公共對象請求代理體系結(jié)構(gòu)，是平臺中立的分布式技術(shù). 根據(jù)這兩種分布式技術(shù)演進而產(chǎn)生的分布式對象技術(shù)：例如ejb（enterprise javabean）等。,13,基于分布式對象的程序設(shè)計方法,分布式對象設(shè)計方法強調(diào)真正的軟件重用和高度的可操作性。它側(cè)重于分布式對象的產(chǎn)生和裝配，這兩方面構(gòu)成了分布式對象程序設(shè)計的核心。 可重用的分布式對象庫不同于對象庫，分布式對象庫保存的是一些經(jīng)過測試的分布式對象。這些分布式對象遵從標準或規(guī)范，并且分布式對象庫也包括這些分布式對象的細節(jié)功能說明文檔。,14,基于可重用的分布式對象庫的軟件開發(fā)模式的過程,15,com/dcom/com+com,com：即組件對象模型，是一種以組件為發(fā)布單元的對象模型，這種模型使各軟件可以用一種統(tǒng)一的方式進行交互。 com的實質(zhì)是這樣一種協(xié)議，它負責將一個軟件模塊同另一個連接起來，而不再參與其余的事務(wù)。,16,com應(yīng)用的組成部分,com接口：在com中，每一個接口都由一個128位的全局唯一標識符（guid，global unique identifier）來標識。 com服務(wù)器： com客戶：,17,interface account / 存款 void deposit(in float amount); /取款 boolean withdraw(in float amount); /查詢余額 float getbalance(); ; / 帳戶管理員 interface accountmanager / 查詢指定名字的帳戶，查無則新開帳戶 account open(in string name); ;,18,com的特性,面向?qū)ο蟮奶匦院涂蛻?服務(wù)器的特性。 語言無關(guān)性： 進程透明性： 可重用性：,19,dcom,dcom（distribute component object model,分布式組件對象模型）：是com的擴展，它可以支持不同計算機上組件對象與客戶程序之間或者組件對象之間的通信。 dcom在com基礎(chǔ)上增加的主要特征 創(chuàng)建遠程對象的能力：客戶只需調(diào)用ole32.dll提供的庫函數(shù)cocreateinstance透明地創(chuàng)建組件，而不關(guān)心組件的位置。 跨網(wǎng)絡(luò)的數(shù)據(jù)傳送能力： 安全性和訪問控制能力。,20,com+,com+： com+倡導了一種新概念，把組件軟件模型建立在應(yīng)用層上，把所有組件的底層細節(jié)留給操作系統(tǒng)。,21,分布式組件對象的特性,伸縮性： 可配置性：微軟為dcom提供了一個圖形界面的配置工具程序（dcomcnfg.exe），可使客戶程序和組件程序在不改變代碼的情況下適應(yīng)不同的網(wǎng)絡(luò)環(huán)境。 安全性：,22,分布式組件對象的特性,協(xié)議無關(guān)性：tcp/ip、udp、ipx/spx以及netbios。 平臺獨立性： windows、apple macintosh以及unix的一些版本。,23,使用com技術(shù)實現(xiàn)數(shù)據(jù)倉庫的組件,數(shù)據(jù)倉庫是針對支持整個企業(yè)范圍的主要業(yè)務(wù)來建立的。 com/dcom/com+技術(shù)能適應(yīng)數(shù)據(jù)倉庫應(yīng)用的需要，能最大限度地提高靈活性和可擴展能力。 數(shù)據(jù)倉庫的系統(tǒng)設(shè)計與開發(fā)是一個動態(tài)的反饋和循環(huán)的過程。將數(shù)據(jù)倉庫系統(tǒng)從功能上分為若干個獨立的對象，并使用com技術(shù)實現(xiàn)，可以最大限度地重用這些對象。當用戶的需求增加或發(fā)生變化時，只需要增加相應(yīng)的com對象或更新變化的com對象。,24,使用com技術(shù)實現(xiàn)數(shù)據(jù)倉庫的組件,通過將用戶業(yè)務(wù)邏輯以dcom對象的形式集中到中間層，系統(tǒng)就獲得了對業(yè)務(wù)邏輯的獨立性。 倉庫是一個大規(guī)模的工程項目，它開發(fā)周期長，而數(shù)據(jù)倉庫的需求又是動態(tài)的，不確定的。,25,數(shù)據(jù)倉庫體系結(jié)構(gòu)的設(shè)計與實現(xiàn),設(shè)計思想： 客戶端通過提交描述要調(diào)用的方法和要傳遞的參數(shù)的xml文檔進行調(diào)用。在應(yīng)用服務(wù)器端實現(xiàn)所需服務(wù)的接口，當通信組件接收到xml文檔后，創(chuàng)建xmlservice組件并由xmlservice組件根據(jù)xml文檔調(diào)度服務(wù)，并將返回結(jié)果或錯誤信息封裝成xml文檔傳遞給客戶端。 將數(shù)據(jù)倉庫系統(tǒng)劃分為若干個獨立的分布式對象。,26,數(shù)據(jù)倉庫系統(tǒng)體系結(jié)構(gòu)的設(shè)計,客戶端： 可視化的用戶界面 客戶端通信組件 應(yīng)用服務(wù)器端： 服務(wù)器端通信組件 xmlservice調(diào)度組件 安全組件 元數(shù)據(jù)管理器 轉(zhuǎn)換器 集成器 數(shù)據(jù)庫服務(wù)器端 源數(shù)據(jù) 元數(shù)據(jù)庫 數(shù)據(jù)準備區(qū) 數(shù)據(jù)倉庫,27,數(shù)據(jù)倉庫系統(tǒng)中的通信xml概述,xml（extensible markup language）是國際組織w3c制定的在web上對有格式的數(shù)據(jù)進行描述、傳輸、操作的通用語言。 xml 是一套定義語義標記的規(guī)則，這些標記將文檔分成許多部件并對這些部件加以標識。 xml定義了一套元句法，允許各種不同的專業(yè)開發(fā)與自己的特定領(lǐng)域有關(guān)的標記語言。,28,xml通信組件示意圖,29,元數(shù)據(jù)管理器,客戶端登錄： 元數(shù)據(jù)管理器 的用戶接口： 元數(shù)據(jù)的存儲：,30,元數(shù)據(jù)管理器的設(shè)計與實現(xiàn),元數(shù)據(jù)基于microsoft sql server2000的關(guān)系模型并存儲在數(shù)據(jù)庫服務(wù)器上，同時通過metamanager組件提供了一系列接口使用戶可以在所有應(yīng)用中共享元數(shù)據(jù) 在客戶端提供圖形化界面工具。,31,轉(zhuǎn)換器的設(shè)計與實現(xiàn),轉(zhuǎn)換器的功能： 數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換和數(shù)據(jù)類型轉(zhuǎn)換 結(jié)構(gòu)化數(shù)據(jù)的轉(zhuǎn)換: 非結(jié)構(gòu)化數(shù)據(jù)的轉(zhuǎn)換: 自動化或半自動化的轉(zhuǎn)換器生成技術(shù): 采用互操作性標準, 定義數(shù)據(jù)源與翻譯器的接口,32,連續(xù)文件,王一落 1月-今 五華區(qū)1街2號 李二進 2月-今 盤龍區(qū)2街3號 張三豐 1月-2月 石林區(qū)4街6號 3月份顧客表 王一落 江南區(qū)9街7號 新的連續(xù)文件 王一落 1月-2月 五華區(qū)1街2號 王一落 3月-今 五華區(qū)1街2號 李二進 2月-今 盤龍區(qū)2街3號 張三豐 1月-2月 石林區(qū)4街6號 考慮出錯情況,33,2005/1,距離近的客戶的購買數(shù)量占絕大部分,34,2005/7,距離遠的客戶的購買數(shù)量占絕大部分,35,36,主鍵 新地址 舊地址,37,主鍵 客戶id 當前標記值 住址狀況 日期,主鍵 客戶id 當前標記值 住址狀況 日期,38,轉(zhuǎn)換器的設(shè)計與實現(xiàn),從數(shù)據(jù)源中提取數(shù)據(jù)并轉(zhuǎn)換格式的過程：先將各類數(shù)據(jù)庫系統(tǒng)中不同格式的數(shù)據(jù)轉(zhuǎn)換成文本文件，然后再利用批拷貝命令將數(shù)據(jù)導入目標系統(tǒng)中。以使數(shù)據(jù)倉庫獲得新的數(shù)據(jù)提供決策分析使用。,39,轉(zhuǎn)換器的設(shè)計與實現(xiàn),數(shù)據(jù)準備區(qū)的使用：在將數(shù)據(jù)從源數(shù)據(jù)提取到數(shù)據(jù)準備區(qū)的過程中，可借助于microsoft的數(shù)據(jù)轉(zhuǎn)換服務(wù)（dts）包來實現(xiàn)。,40,貨運通知,海關(guān),進出口許可證,海關(guān)申報單,電子發(fā)票,定單確認,稅務(wù),保險,銀行,運輸,41,源數(shù)據(jù)庫、數(shù)據(jù)準備區(qū) 和數(shù)據(jù)倉庫之間的關(guān)系,42,任務(wù)集合的任務(wù)對象,任 務(wù) 對 象 描 述 executesqltask 執(zhí)行一條或多條sql語句 datapumptask 從源數(shù)據(jù)拷貝數(shù)據(jù)并轉(zhuǎn)換成目標數(shù)據(jù) activexscripttask 執(zhí)行activex腳本 executeprocesstask 執(zhí)行一段外部程序 bulkinserttask 執(zhí)行批量插入操作 sendmailtask 使用sql mail發(fā)送電子郵件 datadrivenquerytask 在數(shù)據(jù)存儲之間執(zhí)行高級轉(zhuǎn)換 transfersqlserverobjectstask 將sql server的數(shù)據(jù)對象轉(zhuǎn)換 為其他對象,43,轉(zhuǎn)換器的實現(xiàn)轉(zhuǎn)換器的流程圖,44,選擇源數(shù)據(jù)的窗體,45,集成器的設(shè)計與實現(xiàn),數(shù)據(jù)倉庫初始化和目錄管理 接收監(jiān)控器的變化通告, 并將變化反映到數(shù)據(jù)倉庫中 數(shù)據(jù)的存在方式與轉(zhuǎn)換算法復雜 多視圖合并和集成產(chǎn)生重復和不一致性 采用時態(tài)數(shù)據(jù)庫的歷史數(shù)據(jù)管理技術(shù),46,集成器的設(shè)計與實現(xiàn),統(tǒng)一數(shù)據(jù)編碼：本系統(tǒng)中編碼轉(zhuǎn)換主要包括： 日期格式轉(zhuǎn)換：delphi中的formatdatetime函數(shù)來統(tǒng)一日期格式。 測量單位的轉(zhuǎn)換：數(shù)據(jù)倉庫中對于數(shù)值型字段應(yīng)保持一致的單位。在元數(shù)據(jù)