倉庫演播室(1)

1、Warehouse StudioWarehouse Studio是Sybase為其建樹性數(shù)據(jù)倉庫平臺起的名字，它用來進(jìn)行數(shù)據(jù)倉庫設(shè)計、多數(shù)據(jù)源集成、以簡便的方式實(shí)現(xiàn)數(shù)據(jù)管理、數(shù)據(jù)的具體化和管理整個環(huán)境。Sybase數(shù)據(jù)倉庫方案可以拓展成為某個指定應(yīng)用需求服務(wù)，這樣的一些附加性能將在下文中加以描述。圖四：Sybase數(shù)據(jù)倉庫產(chǎn)品包可用于建立數(shù)據(jù)倉庫和數(shù)據(jù)集市經(jīng)過不斷的努力，Sybase已經(jīng)擁有了一個數(shù)據(jù)倉庫建立方法，既可以支持?jǐn)?shù)據(jù)集市又可以支持集中式數(shù)據(jù)倉庫的建立。Sybase的Adaptive Server數(shù)據(jù)庫管理系統(tǒng)其關(guān)鍵的保證組件，表現(xiàn)為一個稱為Adaptive Server IQ的高性

2、能決策支持優(yōu)化數(shù)據(jù)庫，一個稱為企業(yè)級Adaptive Server的企業(yè)級聯(lián)合數(shù)據(jù)庫以及對已有DBMS進(jìn)行集成的連接組件。對這些數(shù)據(jù)庫的集成以及對元數(shù)據(jù)的高度集成和管理是Sybase能有效地支持?jǐn)?shù)據(jù)集市和集中式數(shù)據(jù)倉庫建立的主要原因，這種建立可以快速地實(shí)現(xiàn)，花費(fèi)也是有效的。Sybase的另一個重大成果是它將一系列簡單易用、強(qiáng)大和自動化支持工具進(jìn)行集成，減輕了系統(tǒng)集成難度，加快了實(shí)現(xiàn)過程。Sybase的數(shù)據(jù)倉庫建立方法是由業(yè)務(wù)應(yīng)用逆向進(jìn)行，從數(shù)據(jù)集市開始建立企業(yè)體系結(jié)構(gòu)。在開始時，為了使企業(yè)的需要與那些已建立有效數(shù)據(jù)集市的單個部門保持一致，Sybase提供了一個體系框架和一套自動化產(chǎn)品集。與大多

3、數(shù)數(shù)據(jù)倉庫供應(yīng)商比較起來，Sybase的數(shù)據(jù)集市方法、支持技術(shù)和方法能夠提供更大的靈活性、可擴(kuò)展能力、高性能和有效成本。在不犧牲各自利益的前提下，它可以幫助你避免因每個部門建立一個分離的數(shù)據(jù)集市而帶來的混亂。這種方法的基礎(chǔ)是貫穿于數(shù)據(jù)集市開發(fā)進(jìn)程中的元數(shù)據(jù)的采集和提煉。因而，使用了Sybase后，你可以建立獨(dú)立的數(shù)據(jù)集市，具有一個共同的基礎(chǔ)邏輯數(shù)據(jù)模型，在當(dāng)前或?qū)碓试S你構(gòu)筑一個多層的數(shù)據(jù)倉庫環(huán)境。在這一體系結(jié)構(gòu)中，一個中央數(shù)據(jù)倉庫建立功能函數(shù)被作為一層置于所有數(shù)據(jù)集市之上，支持它們的共同需求。例如，中央層將作為一個從數(shù)據(jù)源中進(jìn)行數(shù)據(jù)抽取和數(shù)據(jù)轉(zhuǎn)換的共同位置。在這個方案中，你可以將一套非依賴性

4、數(shù)據(jù)集市重構(gòu)為從一個共用數(shù)據(jù)倉庫獲得信息的依賴性數(shù)據(jù)集市系統(tǒng)。下面將介紹Warehouse Studio提供的建立和完成數(shù)據(jù)倉庫的功能和附加工具產(chǎn)品。設(shè)計和建模 WarehouseArchitect在任何一個企業(yè)體系中，關(guān)鍵的是要定義可在應(yīng)用之間進(jìn)行共享的數(shù)據(jù)元素。每個數(shù)據(jù)集市都需要盡可能迅速地建立起來，以適應(yīng)單個應(yīng)用需求，然而，IT部門必須具有一種企業(yè)級的眼光和擁有一個可擴(kuò)展的元數(shù)據(jù)模型。 對于數(shù)據(jù)倉庫數(shù)據(jù)設(shè)計來說，PowerDesigner WarehouseArchitect是個高度優(yōu)化的數(shù)據(jù)庫工具，廣泛用于數(shù)據(jù)源的逆向工程、建模、數(shù)據(jù)倉庫方案設(shè)計，以適應(yīng)每個業(yè)務(wù)需求。通過對邏輯設(shè)計、物

5、理設(shè)計和應(yīng)用建模進(jìn)行集成，WarehouseArchitect方便了數(shù)據(jù)倉庫的開發(fā)和實(shí)現(xiàn)。 利用WarehouseArchitect，數(shù)據(jù)集市或數(shù)據(jù)倉庫設(shè)計者可以自動地對產(chǎn)品數(shù)據(jù)庫進(jìn)行逆向工程，建立目標(biāo)數(shù)據(jù)庫設(shè)計、物理設(shè)計和DDL。它能夠支持包括星形模式、標(biāo)準(zhǔn)/非標(biāo)準(zhǔn)化ER圖和聚集等級模式在內(nèi)的所有業(yè)務(wù)模式，Wizards工具可以幫助數(shù)據(jù)庫設(shè)計者對一個模式進(jìn)行創(chuàng)建或修改，以最好地適于業(yè)務(wù)需求或業(yè)務(wù)模型。一旦產(chǎn)生了一個數(shù)據(jù)庫，數(shù)據(jù)倉庫體系可以直接從數(shù)據(jù)庫設(shè)計生成數(shù)據(jù)倉庫應(yīng)用，或者使用一種流行的的分析系統(tǒng)，或者通過生成Web頁模板。這些都可以在單一WIN95圖形環(huán)境中實(shí)現(xiàn)。 所有的設(shè)計、DDL和元

6、數(shù)據(jù)都被存放在中央數(shù)據(jù)倉庫里。這使得IT部門可以對設(shè)計進(jìn)行不斷修改，對先前的模式數(shù)據(jù)庫進(jìn)行重用和重構(gòu)。一個效果分析模塊被用來幫助開發(fā)者在數(shù)據(jù)集市中識別共用數(shù)據(jù)元素，以保障企業(yè)數(shù)據(jù)集市體系的堅固一致性。數(shù)據(jù)集成 在進(jìn)行數(shù)據(jù)倉庫或數(shù)據(jù)集市的建立時，最大的挑戰(zhàn)之一是如何將原始業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)化為一致的格式，使之更好地為決策支持服務(wù)。這包括對已有數(shù)據(jù)的準(zhǔn)確性和一致性進(jìn)行檢驗(yàn)、凈化，將數(shù)據(jù)進(jìn)行轉(zhuǎn)化、提取、轉(zhuǎn)換、裝載到數(shù)據(jù)集市或數(shù)據(jù)倉庫以及對其進(jìn)行定期更新和管理。由于這一工作的復(fù)雜性，適于這些任務(wù)的許多可用工具成本花費(fèi)又高，又需要相當(dāng)?shù)膶I(yè)技術(shù)。因?yàn)槟憧赡軙玫綆讉€既沒有很好地集成又不是圖形化的工具。這些工具在

7、培訓(xùn)和咨詢服務(wù)方面的投資成本對于一個小小的數(shù)據(jù)集市項(xiàng)目而言是過分昂貴的。另一個途徑是建立你自己的工具。這對于轉(zhuǎn)換和抽取需求相對簡單的情況來說可能足夠用了，而當(dāng)需求變得復(fù)雜時就會顯得效率低下。當(dāng)數(shù)據(jù)集市的規(guī)模激烈增長時，越來越多的數(shù)據(jù)源需要被訪問并維持一致性，越來越多的復(fù)雜轉(zhuǎn)換需要在數(shù)據(jù)上進(jìn)行處理。Sybase的數(shù)據(jù)倉庫平臺的特點(diǎn)之一是將你所需要的數(shù)據(jù)轉(zhuǎn)移工具的成本花費(fèi)維持在一個相對低廉的水平上。PowerStage與Ardent軟件公司合作開發(fā)的PowerStage，是Sybase為使用客戶/服務(wù)器數(shù)據(jù)源進(jìn)行項(xiàng)目建立而提供的。這些數(shù)據(jù)源包括運(yùn)行于Windows NT和UNIX平臺上的業(yè)務(wù)系統(tǒng)。

8、PowerStage既可以對由大型機(jī)或遺留的數(shù)據(jù)源抽取的展平文件(flat-file)中的數(shù)據(jù)進(jìn)行轉(zhuǎn)換，也可以對從Sybase中間件、企業(yè)級連接和復(fù)制服務(wù)器而來的數(shù)據(jù)進(jìn)行轉(zhuǎn)換。PowerStage是一套新的“第二代”數(shù)據(jù)移植工具，通過一個引擎進(jìn)行數(shù)據(jù)處理，而第一代產(chǎn)品使用COBOL代碼生成器。PowerStage通過一套緊密集成的工具使數(shù)據(jù)集市建立的步驟自動化，并且易于使用，具有強(qiáng)大的功能和性能。PowerStage使用了代碼重用工具組件，如裝載器、聚集器和抽取器等等。個別組件通過Sybase的DirectConnect工具可以對25個數(shù)據(jù)源進(jìn)行訪問，并且可以將數(shù)據(jù)變化捕捉到Sybase、Or

9、acle、DB2、IMS和其它的OLTP數(shù)據(jù)庫中，在將其裝入一個數(shù)據(jù)倉庫前對其進(jìn)行成批處理。這些組件和轉(zhuǎn)換過程中的步驟在下邊以圖形方式描繪出來，顯示了數(shù)據(jù)的處理方式。這些組件隨后被鏈接或配置，以便產(chǎn)生可以通過PowerStage引擎進(jìn)行運(yùn)行的批量任務(wù)。有了PowerStage，數(shù)據(jù)倉庫開發(fā)者可以使用產(chǎn)品的虛擬設(shè)計應(yīng)用直接對數(shù)據(jù)的移動和處理進(jìn)行建模。開發(fā)者不再需要進(jìn)行編碼，也不必使已有的轉(zhuǎn)換程序成為一個可重用組件。開發(fā)者建立一個處理模型，對每個數(shù)據(jù)移動或處理步驟進(jìn)行圖解，這個工程看起來就象一個流程圖。PowerStage不象一些數(shù)據(jù)集市方案那樣犧牲了易于使用的性能，它的建模性能提供了最大的設(shè)計靈

10、活性。這樣，不僅易于學(xué)習(xí)和使用，PowerStage還為數(shù)據(jù)倉庫開發(fā)者提供了一個圖形化的、高度面向客戶的方式來管理更加復(fù)雜的方案。PowerStage組件PowerStage在一個集成的開發(fā)套件中，為開發(fā)者提供了全面的設(shè)計、開發(fā)、編譯和運(yùn)行環(huán)境，它們包括：the Designer、the Repository Manager、the Director和the Administrator ，和基于NT平臺的服務(wù)器：l The Designer The Designer是圖形用戶界面，功能強(qiáng)大的開發(fā)工具，讓我們方便地、充滿信心地設(shè)計端到端的數(shù)據(jù)倉庫和數(shù)據(jù)集市的解決方案。它包括：一個轉(zhuǎn)換引擎、一個數(shù)

11、據(jù)和元數(shù)據(jù)的存儲庫和兩種編程語言(SQL 和BASIC)。使用The Designer中的Drag and Drop 功能，可以方便地設(shè)計在數(shù)據(jù)倉庫的準(zhǔn)備階段中需要的數(shù)據(jù)轉(zhuǎn)換過程模型，即不必關(guān)心不同操作系統(tǒng)帶給我們的干擾，也不必考慮系統(tǒng)的性能問題。l The Repository Manager The Repository Manager用來瀏覽、編輯和輸入在數(shù)據(jù)倉庫開發(fā)過程中的元數(shù)據(jù)。可能包括來自操作系統(tǒng)或目標(biāo)數(shù)據(jù)倉庫的元數(shù)據(jù)，也可能包括在項(xiàng)目開發(fā)過程中，由處理過程的結(jié)果而產(chǎn)生的元數(shù)據(jù)(例如：新數(shù)據(jù)類型的定義、新的數(shù)據(jù)轉(zhuǎn)換定義和新的商業(yè)規(guī)則定義等)。l The Director 使用The

12、 Director 和它的run-time引擎，操作人員可以自由地安排解決方案的運(yùn)行計劃，測試并調(diào)試組件，并可以監(jiān)視各可執(zhí)行版本的運(yùn)行結(jié)果(可以是隨機(jī)的或有計劃的)。l The Administrator 通過The Administrator，極大簡化了在數(shù)據(jù)倉庫開發(fā)過程中所需的各種管理工作。你可以為用戶或用戶組授權(quán)， 可針對PowerStage的客戶端程序或作業(yè)，指出哪一個用戶可以看哪一個，哪一個用戶可以運(yùn)行哪一個等，并可建立全局的設(shè)置，如：Log文件的自動清除。移動、更名、刪除工程項(xiàng)目，管理并發(fā)布作業(yè)。l The PowerStage Server PowerStage提供了一個具有出類

13、拔萃的性能和功能的基于Windows NT的服務(wù)器。它采用了ARDENT公司的成熟技術(shù)：高速轉(zhuǎn)換引擎、臨時數(shù)據(jù)存儲庫、關(guān)系型與非關(guān)系型數(shù)據(jù)結(jié)構(gòu)的支持、預(yù)定義的轉(zhuǎn)換模式等等。另外，the PowerStage Server通過對Windows NT上多處理器平臺的優(yōu)化為用戶提供了極佳的可擴(kuò)展性，支持?jǐn)?shù)據(jù)的多種輸入/輸出方法，并為增加新數(shù)據(jù)源和新的轉(zhuǎn)換方法提供了方便的途徑。數(shù)據(jù)倉庫的數(shù)據(jù)存儲一旦數(shù)據(jù)被抽取和轉(zhuǎn)換后，它必須在數(shù)據(jù)倉庫或者數(shù)據(jù)集市中得到分布和存儲。在這個方面，Sybase是獨(dú)一無二的。當(dāng)不同的負(fù)載在數(shù)據(jù)倉庫環(huán)境中出現(xiàn)時，它提供的適應(yīng)性服務(wù)器產(chǎn)品系列使用優(yōu)化的數(shù)據(jù)存儲技術(shù)使處理工作做的更

14、好。Sybase的新通用語言接口(Common Language Interface)和總目錄表(Global Catalog)服務(wù)于Adaptive Server Enterprise（原Sybase SQL Server）和Adaptive Server IQ（原Sybase IQ），為對象數(shù)據(jù)類型指定數(shù)據(jù)存儲，為遺留的數(shù)據(jù)源提供開放訪問。值得注意的是，有了適應(yīng)性服務(wù)器，Sybase的數(shù)據(jù)庫管理系統(tǒng)現(xiàn)在可以更好地協(xié)同工作，原因在于共享了復(fù)制和通用性管理(Sybase Central)等服務(wù)。雖然Sybase的數(shù)據(jù)存儲是為特定負(fù)載而進(jìn)行優(yōu)化的，但是它現(xiàn)在可以利用同樣的語言，應(yīng)用于單一應(yīng)用開發(fā)

15、環(huán)境。由于一個的單一的應(yīng)用開發(fā)環(huán)境和全球的數(shù)據(jù)目錄集成了數(shù)據(jù)倉庫的分布式處理，這種折衷是十分有效的。對于數(shù)據(jù)集成和分析來說，Sybase的數(shù)據(jù)存儲處理規(guī)?？梢赃_(dá)到TB一級。由于這些數(shù)據(jù)存儲為不同的處理任務(wù)進(jìn)行了優(yōu)化，對它們的聯(lián)合使用就可以保證所有的數(shù)據(jù)庫任務(wù)得到快速處理。l 企業(yè)級適應(yīng)性服務(wù)器(Adaptive Server Enterprise)它是一個強(qiáng)大的、可擴(kuò)展的企業(yè)級服務(wù)器，具有可擴(kuò)展的并行性能，對中央數(shù)據(jù)倉庫的數(shù)據(jù)集成和任務(wù)分布、混合負(fù)載以及實(shí)時數(shù)據(jù)倉庫的報表需求進(jìn)行處理。l 適應(yīng)性服務(wù)器IQ(Adaptive Server IQ)它是一個靈活的Data Store(數(shù)據(jù)存儲)，具

16、有專用性、非依賴性索引、縱向數(shù)據(jù)存儲等特征，用于交互式數(shù)據(jù)分析。對于使用數(shù)據(jù)集市服務(wù)器的客戶來說，它是一個理想的選擇。l 開放式數(shù)據(jù)訪問(Open Data Access)通過提供一個單一的語言，對其他的數(shù)據(jù)源如DB2、Oracle等進(jìn)行訪問，從而保證了數(shù)據(jù)倉庫的建立實(shí)現(xiàn)。數(shù)據(jù)不需要完整的、向上的附加。適應(yīng)性服務(wù)器具有很大的靈活性。數(shù)據(jù)倉庫環(huán)境隨著需求的變化而進(jìn)行變化，適應(yīng)性服務(wù)器方式可以保證對新需求的滿足。例如，一個機(jī)構(gòu)在開始時使用了一系列單一主題的數(shù)據(jù)集市。數(shù)據(jù)集市使用了Adaptive Server IQ 作為數(shù)據(jù)存儲，著重于靈活性的信息分析和獲得高性能的分析能力。接著，該機(jī)構(gòu)就可以建立

17、一個使用Adaptive Server Enterprise的數(shù)據(jù)庫，對數(shù)據(jù)倉庫的管理和維護(hù)也就變得大大簡化。Adaptive Server Enterprise 適應(yīng)性服務(wù)器的企業(yè)級數(shù)據(jù)存儲的設(shè)計用于滿足超大數(shù)據(jù)量數(shù)據(jù)倉庫的需求，進(jìn)行數(shù)據(jù)篩選、聯(lián)合和報表處理，同時它也用于實(shí)時數(shù)據(jù)倉庫，進(jìn)行信息捕捉，并使之迅速用于分析處理。為了滿足這些需求，Adaptive Server Enterprise 11.5提供了以下性能：l 在不可預(yù)期的環(huán)境下達(dá)到預(yù)期的性能對于需要實(shí)時和成批數(shù)據(jù)處理的數(shù)據(jù)倉庫環(huán)境來說，企業(yè)級適應(yīng)性服務(wù)器配備了邏輯處理管理和資源監(jiān)督機(jī)制，以提供可以預(yù)期的高性能。邏輯處理管理具有預(yù)裝

18、載平衡性能，數(shù)據(jù)庫服務(wù)器的工作負(fù)載很繁重，一個用戶接一個用戶，一個應(yīng)用接一個應(yīng)用，一個任務(wù)接一個任務(wù)，數(shù)據(jù)庫管理員可以在各個級別上對處理器資源進(jìn)行分配，以達(dá)到性能控制的目的。例如，DBA可以使用邏輯處理管理將一個具有12個處理器的系統(tǒng)中的10個處理器用于數(shù)據(jù)合并和轉(zhuǎn)換，其余2個用于成批查詢和報表處理。資源監(jiān)督可以申請一個人或者一個任務(wù)的目標(biāo)資源范圍，防止查詢失控。l 對VLDB和數(shù)據(jù)倉庫的可擴(kuò)展性企業(yè)級適應(yīng)性服務(wù)器11.5通過它的多線索體系、并行操作以及對系統(tǒng)的內(nèi)存、處理器和磁盤資源使用進(jìn)行控制，增強(qiáng)了資源利用率，為超大規(guī)模數(shù)據(jù)倉庫提供了行業(yè)中的強(qiáng)大性能。Sybase的多線索體系在不過分加重操

19、作系統(tǒng)負(fù)擔(dān)的情況下，使系統(tǒng)能平滑地管理并發(fā)查詢請求和數(shù)據(jù)集成任務(wù)。通過資源平衡，Adaptive Server Enterprise 11.5使一個單一的查詢、連接、掃描和聚集等等可以同時被多個處理器處理。這一技術(shù)使性能得到顯著提高。例如，如果有10個處理器對一個查詢進(jìn)行處理，一個需要時間為10分鐘的查詢?nèi)蝿?wù)可以在僅僅一分鐘的時間內(nèi)完成。在運(yùn)行時，優(yōu)化器決定并發(fā)處理的執(zhí)行時機(jī)，這會為系統(tǒng)帶來一種網(wǎng)絡(luò)性能收益。另外，使用工具為索引建立、備份、恢復(fù)和裝載帶來性能優(yōu)勢，這些對一個數(shù)據(jù)倉庫的成功是至關(guān)重要的。優(yōu)化器和實(shí)用工具都被包含在Adaptive Server Enterprise 11.5中，沒

20、有額外增加任務(wù)成本的開銷。Adaptive Server IQ 在Sybase的數(shù)據(jù)倉庫服務(wù)器產(chǎn)品系列中，優(yōu)化DSS數(shù)據(jù)庫是一個真正革新的組件，也就是Adaptive Server IQ。為一個數(shù)據(jù)集市進(jìn)行的數(shù)據(jù)庫設(shè)計必須為最終用戶訪問和分析進(jìn)行優(yōu)化。為了想更好地處理查詢，數(shù)據(jù)集市的設(shè)計與一個事務(wù)系統(tǒng)有著很大的區(qū)別。一個復(fù)雜的查詢需要對大量的記錄進(jìn)行訪問，存儲也是為面向記錄的數(shù)據(jù)登錄和訪問而優(yōu)化的。使用傳統(tǒng)的關(guān)系數(shù)據(jù)庫的問題在于，它們?yōu)槭聞?wù)處理而設(shè)計，不能很好地支持大數(shù)據(jù)量的數(shù)據(jù)查詢，尤其當(dāng)這種查詢是交互的或即席的查詢。用戶和供應(yīng)商為了克服關(guān)系數(shù)據(jù)庫的數(shù)據(jù)倉庫的局限性，在多個途徑上進(jìn)行了努力：

21、1） 使用星模式數(shù)據(jù)庫設(shè)計和索引；2） 使用特殊的專用多維數(shù)據(jù)庫（MDD）；3） 著重依賴于索引、預(yù)連接和摘要表；4） 使用高性能的并行硬件和數(shù)據(jù)庫。 這些途徑各自有其優(yōu)點(diǎn)，但因?yàn)槿狈`活性和成本、實(shí)現(xiàn)難度的增加而面臨著種種困境。Adaptive Server IQ是一個關(guān)系型數(shù)據(jù)庫，為高性能決策支持和數(shù)據(jù)倉庫的建立而進(jìn)行了優(yōu)化。IQ中的關(guān)鍵技術(shù)是縱向數(shù)據(jù)存儲（通過列而不是通過行來進(jìn)行）、Bit-Wise查詢索引和數(shù)據(jù)壓縮?？v向數(shù)據(jù)存儲: 這種存儲方法使查詢僅僅觸及所需要的字段或列。在一個典型的用戶查詢中，這將大大減少磁盤I/O。使用適應(yīng)性服務(wù)器IQ后，全表掃描和所有列的觸及被有效地防止了。

22、Bit-Wise索引: 這在其他數(shù)據(jù)庫的傳統(tǒng)索引和位圖基礎(chǔ)上邁進(jìn)了一大步。Bit-Wise索引技術(shù)是Sybase 的一項(xiàng)專利技術(shù)，它將所有的數(shù)據(jù)和值用特殊的二進(jìn)制結(jié)構(gòu)表示，可以高速進(jìn)行訪問、匯總、分組和比較操作。它可以管理各種各樣的數(shù)據(jù)類型，為數(shù)據(jù)使用而進(jìn)行優(yōu)化。另外，IQ與傳統(tǒng)數(shù)據(jù)庫或多維數(shù)據(jù)庫不同，它不需要復(fù)雜的摘要表。用戶需要的任何數(shù)據(jù)聚集可以實(shí)時得到處理。與傳統(tǒng)RDBMS產(chǎn)品相比較，Adaptive Server IQ在星形模式、展平表(flat table)或非標(biāo)準(zhǔn)化數(shù)據(jù)庫設(shè)計方面具有同樣快速性能。由于IQ數(shù)據(jù)庫是預(yù)先建立索引和基于數(shù)據(jù)特征優(yōu)化的，對于新的查詢不再需要復(fù)雜模式或經(jīng)常性

23、優(yōu)化。這就解決了DBA的一個最大難題，并且當(dāng)用戶有新的查詢和報表需求出現(xiàn)時，也會適應(yīng)這種經(jīng)常的增長變化。數(shù)據(jù)壓縮: 在管理大規(guī)模數(shù)據(jù)方面，Adaptive Server IQ以有效的成本和靈活的方式內(nèi)置了這一性能與傳統(tǒng)數(shù)據(jù)庫管理系統(tǒng)的存儲相比 （索引、聚集、摘要表大大加大了數(shù)據(jù)倉庫尺寸），IQ數(shù)據(jù)壓縮僅占其大小的20%。Sentry Market 研究機(jī)構(gòu)基于對700個用戶的調(diào)查，在1996年的一份報告中說，6575%的數(shù)據(jù)倉庫因充斥摘要表、索引和其他結(jié)構(gòu)而額外加大了數(shù)據(jù)庫原始數(shù)據(jù)長度。例如，一個僅有50GB的源系統(tǒng)，在數(shù)據(jù)集市中長達(dá)幾百GB，導(dǎo)致巨大的費(fèi)用開銷和管理負(fù)擔(dān)。經(jīng)過IQ壓縮后，數(shù)據(jù)

24、庫總長為2550GB，顯著節(jié)約了磁盤費(fèi)用開支。圖五：Adaptive Server IQ體積增長表在這個比較圖中，數(shù)據(jù)集市的初始大小為20GB源數(shù)據(jù)，并以每月10%的數(shù)據(jù)增長。由于適應(yīng)性服務(wù)器IQ內(nèi)置了壓縮機(jī)制，壓縮率在30%以上，因此它在不需要分離式索引和摘要表的情況下，將源數(shù)據(jù)大小降至14GB。對于其他數(shù)據(jù)庫而言，索引的運(yùn)用很容易地將數(shù)據(jù)集市的存儲增加了50%，其尺寸增至30GB。當(dāng)需要為提高查詢速度而加入摘要表時，我們原為20GB的源數(shù)據(jù)擴(kuò)張到50GB。如果假定每月的增長率為10%，18個月后的數(shù)據(jù)集市大小將大得驚人。適應(yīng)性服務(wù)器IQ降低了數(shù)據(jù)集市尺寸，因?yàn)闇p少了硬件成本、管理的負(fù)擔(dān)以及

25、復(fù)雜度。數(shù)據(jù)倉庫的用戶訪問Sybase 為數(shù)據(jù)倉庫/集市提供了靈活的開放式訪問，使用戶和開發(fā)人員可以在分析工具和特定業(yè)務(wù)應(yīng)用上作出選擇。它支持ODBC、CT-LIB和 DB-LIB上的應(yīng)用，同時也支持jCennect for ODBC，使你可以使用最好的工具進(jìn)行OLAP，從 Adaptive Server數(shù)據(jù)倉庫中進(jìn)行查詢、報表和數(shù)據(jù)挖掘。同時也支持Sybase的PowerBuilder（一個企業(yè)界領(lǐng)先的4GL客戶/服務(wù)器開發(fā)工具）和InfoMaker （快速、簡便實(shí)現(xiàn)查詢和報表功能）。Sybase充分認(rèn)識到，所有的用戶不同，他們的需求也不一樣。于是，Sybase既為初學(xué)者提供了工具，有為專業(yè)

26、分析人員提供了相應(yīng)工具。數(shù)據(jù)倉庫工作室提供的方案具有靈活性，它使數(shù)據(jù)訪問既可以應(yīng)用于每日英語語言問題，又可以用于在桌面或通過Internet的進(jìn)行復(fù)雜、熟練的業(yè)務(wù)建模和分析。English WizardSybase的Warehouse Studio包含了English Wizard，向業(yè)務(wù)用戶提供英文查詢和報表。English Wizard使用戶可以通過英文語句快速完整地從他們的數(shù)據(jù)倉庫或數(shù)據(jù)集市中實(shí)現(xiàn)業(yè)務(wù)收益。English Wizard支持自由格式交談的英文問題，并把它們迅速轉(zhuǎn)換成SQL語句。用戶可以立刻投入運(yùn)作，而不必先看看什么數(shù)據(jù)有用，然后再建立它們的查詢，在一些工具著眼于如何生成對數(shù)

27、據(jù)庫進(jìn)行訪問的復(fù)雜SQL時，English Wizard使用戶著眼于問題。由于不需開發(fā)數(shù)據(jù)的復(fù)雜目錄表和最終用戶視圖，English Wizard使管理和維護(hù)工作大大簡化。開發(fā)工作得到簡化和加快。IT機(jī)構(gòu)可以通過Internet或者與用戶桌面連接等方式支持大量的用戶。English Wizard中有一個強(qiáng)大的字典，它可以將英文問題翻譯成SQL語句對數(shù)據(jù)庫進(jìn)行訪問。在一個緊密集成的數(shù)據(jù)倉庫工作室環(huán)境中，這個字典可以被從元數(shù)據(jù)倉庫中自動遷移。English Wizard的性能包括：l 支持列表、查找和引用例如，可以支持這樣的問題：“我在CA和MA等地的所有潛在客戶的情況是什么樣子的？把他們的聯(lián)絡(luò)信

28、息告訴我”l 支持計數(shù)(count)、累加(sum)、平均值(average)和百分比（percent）例如，可以支持這樣的問題：“我的客戶中擁有最新版本的客戶所占的比例有多大？”l 支持分組(group)、排序(sort)、分級(rank)和最前幾個（top n）例如，可以支持這樣的問題：“把去年的總銷售額居于前十名的客戶列出來”l 支持子查詢例如，可以支持這樣的問題：“那個客戶購買了軟件而沒有購買服務(wù)”l 支持電子表格（spreadsheets）、圖表（charts）、交叉報表(cross tab report)、數(shù)據(jù)透視表（pivot table）、標(biāo)準(zhǔn)報表和比較數(shù)據(jù)倉庫管理Sybase

29、的Warehouse Studio在兩個級別上提供數(shù)據(jù)倉庫管理功能：l 對數(shù)據(jù)倉庫組件的管理l 與數(shù)據(jù)倉庫中數(shù)據(jù)相關(guān)的數(shù)據(jù)集市數(shù)據(jù)的管理Sybase Central在數(shù)據(jù)倉庫中，管理數(shù)據(jù)庫是一項(xiàng)有難度的工作。Sybase提供Sybase Central來處理Adaptive Server的日常管理和監(jiān)督工作。使用了GUI管理工具后，數(shù)據(jù)庫管理員可以瀏覽數(shù)據(jù)結(jié)構(gòu)、分配保密口令和權(quán)限，保證數(shù)據(jù)得到可靠管理并分發(fā)給最終用戶。管理工具也管理諸如復(fù)制等通用服務(wù)。這使得數(shù)據(jù)可以被實(shí)時地從各個數(shù)據(jù)源中采集并在被階段性裝入數(shù)據(jù)集市以前在企業(yè)級數(shù)據(jù)庫中發(fā)揮作用。Warehouse Control Center元

30、數(shù)據(jù)管理是企業(yè)級數(shù)據(jù)倉庫中的關(guān)鍵組件。用戶需要對所收到數(shù)據(jù)的歷史進(jìn)行了解，如從哪里來？流通時間有多長？對它已經(jīng)進(jìn)行了哪些計算、轉(zhuǎn)換和篩選等等。通過對元數(shù)據(jù)倉庫的集中管理，Sybase的Warehouse Control Center提供了數(shù)據(jù)倉庫解決方案的保證技術(shù)。從設(shè)計和開發(fā)到實(shí)現(xiàn)到最終用戶訪問，由工具和數(shù)據(jù)庫產(chǎn)生的對元數(shù)據(jù)的密集型集成和管理保證了真正企業(yè)級數(shù)據(jù)倉庫的建立。Warehouse Control Center是基于Intellidex技術(shù)的為數(shù)據(jù)倉庫開發(fā)人員提供的數(shù)據(jù)倉庫元數(shù)據(jù)管理工具，能夠在數(shù)據(jù)倉庫環(huán)境下進(jìn)行數(shù)據(jù)采集、捕捉、存儲、管理和發(fā)布邏輯的、物理的以及上下文相關(guān)的信息，而

31、不用去管它的物理存儲位置是在聯(lián)合數(shù)據(jù)倉庫上、分布式數(shù)據(jù)倉庫上還是二者兼有。業(yè)務(wù)用戶可以瀏覽根據(jù)其需求而生成的元數(shù)據(jù)對象，甚至可以使用發(fā)布和登記性能請求或選擇附加性能。在整個數(shù)據(jù)倉庫環(huán)境中，Warehouse Control Center可以從關(guān)鍵數(shù)據(jù)倉庫組件中收集元數(shù)據(jù)，以便向業(yè)務(wù)用戶傳遞正確的信息。它采集、集成和描述元數(shù)據(jù)的范圍十分廣泛，可以在設(shè)計和建模過程中，可以從抽取和轉(zhuǎn)換過程中，也可以從數(shù)據(jù)移植和移動過程，可以從數(shù)據(jù)庫/數(shù)據(jù)存儲組件，也可以從最終用戶工具。從面向主題的數(shù)據(jù)集市到企業(yè)范圍的數(shù)據(jù)倉庫環(huán)境，這種中心數(shù)據(jù)同步是保證Sybase數(shù)據(jù)倉庫平臺可擴(kuò)展性的關(guān)鍵因素。Warehouse

32、Studio的附加產(chǎn)品Warehouse Studio的附加產(chǎn)品拓展了Warehouse Studio建立數(shù)據(jù)倉庫和數(shù)據(jù)集市的性能，能夠適應(yīng)特定的應(yīng)用需求。大型機(jī)數(shù)據(jù)轉(zhuǎn)換Apertus|Carleton的產(chǎn)品PASSPORT對于想基于大型機(jī)數(shù)據(jù)生成一個數(shù)據(jù)倉庫的客戶來講，在大型機(jī)上進(jìn)行數(shù)據(jù)轉(zhuǎn)換也成為現(xiàn)實(shí)了。Sybase為此提供了Apertus|Carleton的產(chǎn)品-PASSPORT。Carleton（現(xiàn)為Apertus|Carleton）是進(jìn)行企業(yè)級數(shù)據(jù)倉庫的數(shù)據(jù)移植的三大供應(yīng)商之一。Carleton采用在大型機(jī)數(shù)據(jù)上的自動數(shù)據(jù)移植和轉(zhuǎn)換方案，由此確立了其地位。最初，由PASSPORT生成的

33、COBOL代碼只能運(yùn)行在大型機(jī)上。而現(xiàn)在，PASSPORT的生成應(yīng)用和數(shù)據(jù)集成，可使用于UNIX、NT和AS/400等系統(tǒng)上。產(chǎn)品的適用范圍擴(kuò)大了，更有一個易于使用的基于工作站的GUI接口，這些使得PASSPORT非常適于數(shù)據(jù)集市。在數(shù)據(jù)集市中，PASSPORT提供所需的所有篩選、轉(zhuǎn)換和數(shù)據(jù)操縱等性能。在大型機(jī)和遺留的數(shù)據(jù)環(huán)境中，抽取、轉(zhuǎn)換和篩選處理通常是相當(dāng)復(fù)雜的。PASSPORT可以對這些復(fù)雜性進(jìn)行處理，將數(shù)據(jù)轉(zhuǎn)換成為有用的業(yè)務(wù)信息。PASSPORT的數(shù)據(jù)轉(zhuǎn)換性能對簡單的和復(fù)雜的數(shù)據(jù)移植請求都可以提供支持。這個工具是元數(shù)據(jù)驅(qū)動的，與中央元數(shù)據(jù)數(shù)據(jù)倉庫進(jìn)行了有機(jī)的集成。從這個倉庫中，PASS

34、PORT使用元數(shù)據(jù)自動生成抽取程序，這些程序從遺留的系統(tǒng)中抽取數(shù)據(jù)，然后進(jìn)行處理、提煉和轉(zhuǎn)換，用于數(shù)據(jù)倉庫中。由于Carleton對企業(yè)級數(shù)據(jù)倉庫的軌跡記錄和PASSPORT的自動化以及其開放性，PASSPORT非常適合于那些希望建立企業(yè)級數(shù)據(jù)集市策略的客戶以及那些擁有一個到多個遺留的平臺，尤其有大型機(jī)數(shù)據(jù)源，想從中獲得數(shù)據(jù)的客戶。數(shù)據(jù)移動和訪問EnterpriseConnect (Sybase ODBC driver)數(shù)據(jù)倉庫中的數(shù)據(jù)必須時常更新。在某些應(yīng)用中需要按月更新，而另外一些應(yīng)用則可能需要按天或小時來更新。更新必須保持一致性，兩個具有相似信息的數(shù)據(jù)集市必須同步，數(shù)據(jù)集市必然要共享數(shù)據(jù)

35、轉(zhuǎn)換程序，這樣，復(fù)雜的篩選和轉(zhuǎn)換邏輯才能在多個應(yīng)用之間保持平衡。這就要求一個數(shù)據(jù)移動體系能訪問任何所需要的數(shù)據(jù)源，能夠處理成批的大數(shù)量級和事務(wù)級數(shù)據(jù)移動，或進(jìn)行更新數(shù)據(jù)的捕捉。通過與PowerStage或直接與適應(yīng)性服務(wù)器的連接，Sybase的EnterpriseConnect和復(fù)制服務(wù)器產(chǎn)品系列迎合了這些需求。復(fù)制服務(wù)器和EnterpriseConnect數(shù)據(jù)庫網(wǎng)關(guān)使用了高性能容錯體系，對數(shù)據(jù)從遺留的和客戶/服務(wù)器源到數(shù)據(jù)倉庫提供直接異種訪問和數(shù)據(jù)移動功能。EnterpriseConnect允許對25種最流行的關(guān)系/非關(guān)系數(shù)據(jù)源進(jìn)行訪問。在這些數(shù)據(jù)源中的數(shù)據(jù)可被動態(tài)選中，并與數(shù)據(jù)倉庫中的其他

36、數(shù)據(jù)進(jìn)行結(jié)合。這意味著在一些經(jīng)常使用的數(shù)據(jù)不必非移動到數(shù)據(jù)倉庫中的情況下，數(shù)據(jù)仍然能夠象在本地數(shù)據(jù)倉庫中一樣被瀏覽。Sybase的中間件使用起來就象一個網(wǎng)關(guān)，通過它，你可以象在本地數(shù)據(jù)倉庫的數(shù)據(jù)庫中一樣來進(jìn)行數(shù)據(jù)選定。通過運(yùn)用標(biāo)準(zhǔn)的select語句，EnterpriseConnect可以以其內(nèi)部格式訪問任何一個支持?jǐn)?shù)據(jù)庫。一旦原始數(shù)據(jù)被更新，復(fù)制服務(wù)器通過實(shí)時數(shù)據(jù)移動立即維護(hù)數(shù)據(jù)的流動。這使得機(jī)構(gòu)能夠保證數(shù)據(jù)集市中的數(shù)據(jù)總是最新的。復(fù)制服務(wù)器能夠不斷地在產(chǎn)品系統(tǒng)的數(shù)據(jù)發(fā)生更新時，使其階段性地轉(zhuǎn)載到數(shù)據(jù)倉庫或者數(shù)據(jù)集市。復(fù)制服務(wù)器使用了一種基于日志的數(shù)據(jù)變化捕捉方法，將企業(yè)在產(chǎn)品系統(tǒng)方面的日常開支降到最小限度。其他的數(shù)據(jù)移動產(chǎn)品由于依靠觸發(fā)子和SQL語句，導(dǎo)致了在產(chǎn)品系統(tǒng)方面的大量企業(yè)日常開支。復(fù)制服務(wù)器支持的數(shù)據(jù)源涵蓋Sybase、Oracle、DB2、Informix、VSAM和IMS。數(shù)據(jù)集市和數(shù)據(jù)倉庫必須能夠與用戶開發(fā)的或第三方廠家提供的數(shù)據(jù)移動和轉(zhuǎn)換程序進(jìn)行集成。EnterpriseConnec