UNIfour數(shù)據(jù)倉(cāng)庫(kù)技術(shù)

UNITfour

數(shù)據(jù)倉(cāng)庫(kù)技術(shù)

1 學(xué)完本講后，你應(yīng)該能夠了解：數(shù)據(jù)倉(cāng)庫(kù)中沒(méi)有聯(lián)機(jī)更新,因而數(shù)據(jù)倉(cāng)庫(kù)比數(shù)據(jù)庫(kù)需要一系列更簡(jiǎn)單的技術(shù);但數(shù)據(jù)倉(cāng)庫(kù)有很多特殊的技術(shù)上的需求;數(shù)據(jù)倉(cāng)庫(kù)的專用DBMS與通用DBMS的區(qū)別;多維DBMS和數(shù)據(jù)倉(cāng)庫(kù)之間的互補(bǔ)關(guān)系;數(shù)據(jù)倉(cāng)庫(kù)環(huán)境中的元數(shù)據(jù)與操作型環(huán)境中的元數(shù)據(jù)所扮演的角色不同;為了理解和解釋一段時(shí)期內(nèi)的信息,數(shù)據(jù)倉(cāng)庫(kù)需要一個(gè)全新的上下文維數(shù)據(jù)倉(cāng)庫(kù)的高效刷新方法:”數(shù)據(jù)復(fù)制”和”變化數(shù)據(jù)捕捉”本講主要目標(biāo)2

一．?dāng)?shù)據(jù)倉(cāng)庫(kù)的技術(shù)需求 二．?dāng)?shù)據(jù)倉(cāng)庫(kù)專用DBMS 三．多維DBMS和數(shù)據(jù)倉(cāng)庫(kù) 四．?dāng)?shù)據(jù)倉(cāng)庫(kù)環(huán)境中的元數(shù)據(jù) 五．上下文維和上下文信息 六.建立數(shù)據(jù)倉(cāng)庫(kù) 七.數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)刷新內(nèi)容提綱3數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)需求4數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)需求數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)庫(kù)技術(shù)需求不同的原因:數(shù)據(jù)倉(cāng)庫(kù)中沒(méi)有聯(lián)機(jī)數(shù)據(jù)更新 比數(shù)據(jù)庫(kù)的技術(shù)需求更簡(jiǎn)單數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)量非常大 要考慮大量和不同數(shù)據(jù)的存儲(chǔ)和查詢的技術(shù)和效率數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)來(lái)源于現(xiàn)有的系統(tǒng),而現(xiàn)有的各個(gè)系統(tǒng)可能使用不同的技術(shù) 不同來(lái)源數(shù)據(jù)的集成、轉(zhuǎn)換和傳送5數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)需求數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)需求管理大量數(shù)據(jù)管理各種各樣介質(zhì)上的數(shù)據(jù)方便的索引和監(jiān)視數(shù)據(jù)大量接口技術(shù)允許程序員將數(shù)據(jù)直接放在物理存儲(chǔ)設(shè)備上數(shù)據(jù)的并行存儲(chǔ)和訪問(wèn)數(shù)據(jù)倉(cāng)庫(kù)的元數(shù)據(jù)控制高效地裝入數(shù)據(jù)倉(cāng)庫(kù)有效地使用索引以壓縮方式存儲(chǔ)數(shù)據(jù)支持復(fù)合鍵碼有效地管理變長(zhǎng)數(shù)據(jù)有選擇地關(guān)閉鎖管理單獨(dú)索引處理從大容量存儲(chǔ)器迅速恢復(fù)6數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)需求管理大量數(shù)據(jù)分四個(gè)方面基本的管理技術(shù)效率存儲(chǔ)的費(fèi)用處理的費(fèi)用7數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)需求管理各種各樣介質(zhì)上的數(shù)據(jù) 考慮訪問(wèn)速度和存儲(chǔ)費(fèi)用,一個(gè)滿載的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)該放在多種存儲(chǔ)介質(zhì)上:8數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)需求方便的索引和監(jiān)視數(shù)據(jù)成功的數(shù)據(jù)倉(cāng)庫(kù)必須能方便和有效地檢索數(shù)據(jù)成功的數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)必須能被隨意地監(jiān)視監(jiān)視數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)的理由:決定是否應(yīng)數(shù)據(jù)重組決定索引是否建立得恰當(dāng)決定是否有太多數(shù)據(jù)溢出決定數(shù)據(jù)的統(tǒng)計(jì)成分決定剩余的可用空間9數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)需求大量接口技術(shù)能夠用各種不同的技術(shù)獲得和傳送數(shù)據(jù)接口不僅要高效,還要便于使用能夠在批模式下運(yùn)行10數(shù)據(jù)據(jù)倉(cāng)倉(cāng)庫(kù)庫(kù)的的技技術(shù)術(shù)需需求求允許許程程序序員員將將數(shù)數(shù)據(jù)據(jù)直直接接放放在在物物理理存存儲(chǔ)儲(chǔ)設(shè)設(shè)備備上上為了了對(duì)對(duì)數(shù)數(shù)據(jù)據(jù)進(jìn)進(jìn)行行高高效效地地訪訪問(wèn)問(wèn)和和更更新新,程程序序員員需需要要在在物物理理的的塊塊/頁(yè)頁(yè)的的一一級(jí)級(jí)上上對(duì)對(duì)數(shù)數(shù)據(jù)據(jù)的的存存放放進(jìn)進(jìn)行行特特殊殊的的控控制制11數(shù)據(jù)據(jù)倉(cāng)倉(cāng)庫(kù)庫(kù)的的技技術(shù)術(shù)需需求求數(shù)據(jù)據(jù)的的并并行行存存儲(chǔ)儲(chǔ)和和訪訪問(wèn)問(wèn)當(dāng)數(shù)數(shù)據(jù)據(jù)被被并并行行存存儲(chǔ)儲(chǔ)和和管管理理時(shí)時(shí),性性能能會(huì)會(huì)提提高高很很多多12數(shù)據(jù)據(jù)倉(cāng)倉(cāng)庫(kù)庫(kù)的的技技術(shù)術(shù)需需求求數(shù)據(jù)據(jù)倉(cāng)倉(cāng)庫(kù)庫(kù)的的元元數(shù)數(shù)據(jù)據(jù)控控制制數(shù)據(jù)據(jù)倉(cāng)倉(cāng)庫(kù)庫(kù)的的用用戶戶應(yīng)應(yīng)該該能能夠夠?qū)?duì)元元數(shù)數(shù)據(jù)據(jù)進(jìn)進(jìn)行行準(zhǔn)準(zhǔn)確確和和實(shí)實(shí)時(shí)時(shí)的的訪訪問(wèn)問(wèn)典型型的的元元數(shù)數(shù)據(jù)據(jù)數(shù)據(jù)據(jù)倉(cāng)倉(cāng)庫(kù)庫(kù)表表的的結(jié)結(jié)構(gòu)構(gòu)數(shù)據(jù)據(jù)倉(cāng)倉(cāng)庫(kù)庫(kù)表表的的屬屬性性數(shù)據(jù)據(jù)倉(cāng)倉(cāng)庫(kù)庫(kù)的的源源數(shù)數(shù)據(jù)據(jù)(記記錄錄系系統(tǒng)統(tǒng))從記記錄錄系系統(tǒng)統(tǒng)到到數(shù)數(shù)據(jù)據(jù)倉(cāng)倉(cāng)庫(kù)庫(kù)的的映映射射數(shù)據(jù)據(jù)模模型型的的規(guī)規(guī)格格說(shuō)說(shuō)明明抽取取日日志志訪問(wèn)問(wèn)數(shù)數(shù)據(jù)據(jù)的的公公用用例例行行程程序序13數(shù)據(jù)倉(cāng)庫(kù)庫(kù)的技術(shù)術(shù)需求數(shù)據(jù)倉(cāng)庫(kù)庫(kù)要有多多種語(yǔ)言言接口數(shù)據(jù)倉(cāng)庫(kù)庫(kù)需要有有非常豐豐富的語(yǔ)語(yǔ)言接口口數(shù)據(jù)倉(cāng)庫(kù)庫(kù)接口語(yǔ)語(yǔ)言需要要能夠一次次訪問(wèn)一一組數(shù)據(jù)據(jù)能夠一次次訪問(wèn)一一條記錄錄特別要保保證,為為了滿足足某個(gè)訪訪問(wèn)要求求,能夠夠支持一一個(gè)或多多個(gè)索引引能夠插入入、刪除、更新數(shù)據(jù)據(jù)14數(shù)據(jù)倉(cāng)庫(kù)庫(kù)的技術(shù)術(shù)需求高效地裝裝入數(shù)據(jù)據(jù)倉(cāng)庫(kù)在裝入數(shù)數(shù)據(jù)的同同時(shí),索索引也要要高效地地裝入15數(shù)據(jù)倉(cāng)庫(kù)庫(kù)的技術(shù)術(shù)需求有效地使使用索引引數(shù)據(jù)倉(cāng)庫(kù)庫(kù)技術(shù)不不僅必須須能夠方方便地支支持新索索引的創(chuàng)創(chuàng)建和裝裝入,而而且要能能夠高效效地訪問(wèn)問(wèn)這些索索引高效訪問(wèn)問(wèn)索引的的方法位映象的的方法多級(jí)索引引將部分或或全部索索引裝入入內(nèi)存當(dāng)被索引引的數(shù)據(jù)據(jù)的次序序允許壓壓縮時(shí),對(duì)索引引項(xiàng)進(jìn)行行壓縮創(chuàng)建選擇擇索引或或范圍索索引16數(shù)據(jù)倉(cāng)庫(kù)庫(kù)的技術(shù)術(shù)需求以壓縮方方式存儲(chǔ)儲(chǔ)數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)庫(kù)中的數(shù)數(shù)據(jù)很少少更新,數(shù)據(jù)壓壓縮的管管理很簡(jiǎn)簡(jiǎn)單解壓縮的的開(kāi)銷是是CPU開(kāi)銷,不是I/O資資源的開(kāi)開(kāi)銷17數(shù)據(jù)倉(cāng)庫(kù)庫(kù)的技術(shù)術(shù)需求支持復(fù)合合鍵碼復(fù)合鍵碼碼在數(shù)據(jù)據(jù)倉(cāng)庫(kù)中中隨處可可見(jiàn)18數(shù)據(jù)倉(cāng)庫(kù)庫(kù)的技術(shù)術(shù)需求有效地管管理變長(zhǎng)長(zhǎng)數(shù)據(jù)在數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)中,變長(zhǎng)數(shù)數(shù)據(jù)很穩(wěn)穩(wěn)定,沒(méi)沒(méi)有數(shù)據(jù)據(jù)庫(kù)中變變長(zhǎng)數(shù)據(jù)據(jù)的固有有性能問(wèn)問(wèn)題19數(shù)據(jù)倉(cāng)庫(kù)庫(kù)的技術(shù)術(shù)需求有選擇地地關(guān)閉鎖鎖管理應(yīng)用加鎖鎖管理程程序的后后果之一一是它消消耗了相相當(dāng)?shù)馁Y資源,即即使數(shù)據(jù)據(jù)不被更更新也是是一樣20數(shù)據(jù)倉(cāng)庫(kù)庫(kù)的技術(shù)術(shù)需求單獨(dú)索引引處理當(dāng)只通過(guò)過(guò)查看一一下索引引就可以以滿足某某些請(qǐng)求求時(shí),由由于用不不著查看看數(shù)據(jù)的的最初數(shù)數(shù)據(jù)源而而會(huì)更加加有效21數(shù)據(jù)倉(cāng)庫(kù)庫(kù)的技術(shù)術(shù)需求從大容量量存儲(chǔ)器器迅速恢恢復(fù)指能夠從從非直接接存取存存儲(chǔ)設(shè)備備快速地地恢復(fù)數(shù)數(shù)據(jù)倉(cāng)庫(kù)庫(kù)表.當(dāng)當(dāng)可以從從二級(jí)存存儲(chǔ)設(shè)備備上恢復(fù)復(fù)時(shí),就就可以節(jié)節(jié)約大量量開(kāi)支22數(shù)據(jù)倉(cāng)庫(kù)庫(kù)專用DBMS23數(shù)據(jù)倉(cāng)庫(kù)庫(kù)專用DBMS數(shù)據(jù)倉(cāng)庫(kù)庫(kù)專用數(shù)數(shù)據(jù)庫(kù)管管理系統(tǒng)統(tǒng)--是是特別為為數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)和決決策支持持而優(yōu)化化設(shè)計(jì)的的管理系系統(tǒng).與通用DBMS的區(qū)別別專用DBMS的的處理類類型為裝裝入和訪訪問(wèn),而而通用DBMS必須適適合于記記錄級(jí)的的數(shù)據(jù)更更新專用DBMS不不需要自自由空間間,而通通用DBMS對(duì)對(duì)數(shù)據(jù)在在塊級(jí)上上的管理理要包括括一些附附加空間間專用DBMS可可以使用用更完善善的索引引結(jié)構(gòu),而通用用DBMS限制制有限數(shù)數(shù)量的索索引專用DBMS物物理上優(yōu)優(yōu)化數(shù)據(jù)據(jù)是為了了便于訪訪問(wèn)和分分析,而而通用DBMS優(yōu)化數(shù)數(shù)據(jù)是為為了事務(wù)務(wù)的訪問(wèn)問(wèn)24數(shù)據(jù)倉(cāng)庫(kù)庫(kù)專用DBMS是否應(yīng)該改變變DBMS技技術(shù)?是當(dāng)今可用的DBMS技術(shù)術(shù),當(dāng)數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)首次載入入數(shù)據(jù)時(shí)并不不合適數(shù)據(jù)倉(cāng)庫(kù)已經(jīng)經(jīng)變得非常之之大,以至于于應(yīng)該提出新新的技術(shù)方法法數(shù)據(jù)倉(cāng)庫(kù)的利利用已經(jīng)提高高許多,也改改變了許多,使得現(xiàn)在的的數(shù)據(jù)倉(cāng)庫(kù)的的DBMS技技術(shù)已經(jīng)不適適用了25數(shù)據(jù)倉(cāng)庫(kù)專用用DBMS是否應(yīng)該考慮慮找一種新的的DBMS技技術(shù)?新的DBMS技術(shù)是否滿滿足可預(yù)知的的需求?從舊的DBMS向新的DBMS的轉(zhuǎn)轉(zhuǎn)換應(yīng)該怎樣樣去做?轉(zhuǎn)換的程序應(yīng)應(yīng)該怎樣改變變?26多維DBMS和數(shù)據(jù)倉(cāng)庫(kù)27多維DBMS和數(shù)據(jù)倉(cāng)庫(kù)庫(kù)多維DBMS(有時(shí)也叫叫”數(shù)據(jù)集市市”)多維DBMS提供一種信信息系統(tǒng)結(jié)構(gòu)構(gòu),使得對(duì)數(shù)數(shù)據(jù)的訪問(wèn)非非常靈活,可可以以多種方方法對(duì)數(shù)據(jù)進(jìn)進(jìn)行分片、分割,動(dòng)態(tài)地考察匯匯總數(shù)據(jù)和細(xì)細(xì)節(jié)數(shù)據(jù)的關(guān)關(guān)系多維DBMS不僅提供了了靈活性,還還可以對(duì)終端端用戶進(jìn)行管管理多維DBMS和數(shù)據(jù)倉(cāng)庫(kù)庫(kù)有互補(bǔ)關(guān)系系28多維DBMS和數(shù)據(jù)倉(cāng)庫(kù)庫(kù)多維DBMS數(shù)據(jù)集市的的關(guān)系型基礎(chǔ)礎(chǔ)優(yōu)能支持大量數(shù)數(shù)據(jù)能支持?jǐn)?shù)據(jù)的的動(dòng)態(tài)連接已被證實(shí)是有有效的技術(shù)如果對(duì)數(shù)據(jù)的的使用模型不不清楚的話,關(guān)系型結(jié)構(gòu)構(gòu)與其他任何何結(jié)構(gòu)一樣好好劣性能上不是最最好的不能單獨(dú)對(duì)訪訪問(wèn)處理進(jìn)行行優(yōu)化29多維DBMS和數(shù)據(jù)倉(cāng)庫(kù)庫(kù)多維DBMS數(shù)據(jù)集市的的“立方體””基礎(chǔ)優(yōu)對(duì)于DSS處處理性能上是是優(yōu)化的能夠?qū)?shù)據(jù)的的快速訪問(wèn)進(jìn)進(jìn)行優(yōu)化如果已知數(shù)據(jù)據(jù)訪問(wèn)的模式式,則數(shù)據(jù)的的結(jié)構(gòu)可以優(yōu)優(yōu)化能夠很輕松地地”切片和分分塊”可以用多種方方法檢測(cè)劣幾乎不能處理理像標(biāo)準(zhǔn)的關(guān)關(guān)系模型那么么多的數(shù)據(jù)不支持通用的的更新處理裝入的時(shí)間很很長(zhǎng)如果對(duì)路徑的的訪問(wèn)不被數(shù)數(shù)據(jù)設(shè)計(jì)所支支持的話,這這種結(jié)構(gòu)就顯顯得不靈活對(duì)數(shù)據(jù)的動(dòng)態(tài)態(tài)連接的支持持是有問(wèn)題的的30數(shù)據(jù)倉(cāng)庫(kù)中的的元數(shù)據(jù)31數(shù)據(jù)倉(cāng)庫(kù)中的的元數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)中的的元數(shù)據(jù)包括括兩大部分：：有關(guān)集成的信信息數(shù)據(jù)倉(cāng)庫(kù)字典典32數(shù)據(jù)倉(cāng)庫(kù)中的的元數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)中元元數(shù)據(jù)特點(diǎn)服務(wù)于DSS專業(yè)人員,而不僅僅是是IT人員33數(shù)據(jù)倉(cāng)庫(kù)中的的元數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)中元元數(shù)據(jù)特點(diǎn)涉及到從操作作型環(huán)境到數(shù)數(shù)據(jù)倉(cāng)庫(kù)環(huán)境境的映射34數(shù)據(jù)倉(cāng)庫(kù)中的的元數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)中元元數(shù)據(jù)特點(diǎn)數(shù)據(jù)會(huì)存在一一段很長(zhǎng)的時(shí)時(shí)間35上下文維和上下文信息36上下文維和上上下文信息數(shù)據(jù)倉(cāng)庫(kù)中需需要上下文維維數(shù)據(jù)倉(cāng)庫(kù)的一一個(gè)重要特征征是能夠?qū)σ灰欢螘r(shí)間的信信息進(jìn)行存儲(chǔ)儲(chǔ)和管理為了理解和解解釋一段時(shí)間間內(nèi)的信息,需要信息發(fā)發(fā)生的背景三個(gè)級(jí)別的上上下文信息簡(jiǎn)單上下文信信息復(fù)雜上下文信信息外部上下文信信息37上下文維和上上下文信息簡(jiǎn)單上下文信信息與數(shù)據(jù)本身的的基本結(jié)構(gòu)有有關(guān),包括數(shù)據(jù)的結(jié)構(gòu)數(shù)據(jù)的編碼數(shù)據(jù)的命名約約定描述數(shù)據(jù)的度度量數(shù)據(jù)的多少數(shù)據(jù)增長(zhǎng)速度度數(shù)據(jù)的哪一部部分增長(zhǎng)數(shù)據(jù)是怎樣被被使用的簡(jiǎn)單上下文以以往是用字典典,目錄,系系統(tǒng)監(jiān)視器等等管理的38上下文維和上上下文信息復(fù)雜上下文信信息描述的是和簡(jiǎn)簡(jiǎn)單上下文相相同的數(shù)據(jù),但從不同的的側(cè)面描述,其強(qiáng)調(diào)下下面幾點(diǎn)產(chǎn)品定義市場(chǎng)領(lǐng)域定價(jià)包裝組織結(jié)構(gòu)分發(fā)復(fù)雜上下文信信息非常有用用但基本,但但非常難以捉捉摸,它令人人難以捉摸是是因?yàn)樗窍胂氘?dāng)然的,并并存在于背景景環(huán)境中39上下文維和上上下文信息外部上下文信信息是公司以外的的,但在理解解隨時(shí)間變化化的信息方面面起重要作用用的信息,實(shí)實(shí)例包括經(jīng)濟(jì)預(yù)測(cè)通貨膨脹金融稅務(wù)經(jīng)濟(jì)增長(zhǎng)政治信息競(jìng)爭(zhēng)信息技術(shù)進(jìn)展40上下文維和上上下文信息捕獲和管理上上下文信息復(fù)雜上下文信信息和外部上上下文信息是是非結(jié)構(gòu)化的的上下文信息變變化很快以往管理上下下文信息的方方法的缺點(diǎn)信息的管理針針對(duì)信息系統(tǒng)統(tǒng)的開(kāi)發(fā)者,而不是最終終用戶對(duì)上下文管理理的意圖是被被動(dòng)的對(duì)上下文管理理的意圖在很很多情況下會(huì)會(huì)從開(kāi)發(fā)計(jì)劃劃中刪除掉對(duì)上下文管理理的意圖僅局局限于簡(jiǎn)單上上下文41建立數(shù)據(jù)倉(cāng)庫(kù)庫(kù)42建立數(shù)據(jù)倉(cāng)庫(kù)庫(kù)建立數(shù)據(jù)倉(cāng)庫(kù)庫(kù)的任務(wù)就是是將數(shù)據(jù)源中中的數(shù)據(jù)整理理后按照數(shù)據(jù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)構(gòu),放入數(shù)據(jù)據(jù)倉(cāng)庫(kù)的物理理存儲(chǔ)介質(zhì)中中數(shù)據(jù)倉(cāng)庫(kù)的建建立分為三個(gè)個(gè)子任務(wù):抽取數(shù)據(jù)(extractingdata)轉(zhuǎn)換數(shù)據(jù)(transformingdata)加載數(shù)據(jù)(transporting/loadingdata)因此,建立數(shù)數(shù)據(jù)倉(cāng)庫(kù)的過(guò)過(guò)程也稱為ETT過(guò)程或或ETL過(guò)程程43建立數(shù)據(jù)倉(cāng)庫(kù)庫(kù)ETT過(guò)程ExtractsourcedataTransform/cleandataIndexandsummarizeLoaddataintoWHDetectchangesRefreshdataProgramsToolsETTOperational

systemsWarehouseBrowser:http://HollywoodX+Customers:arecorof