DataStage技術(shù)方案

1、目錄2.附錄B：DataStage企業(yè)版內(nèi)嵌的擴(kuò)展Stage143.附錄C：擴(kuò)展連接191. 緒論DataStage企業(yè)版是Ascential Software公司所有企業(yè)整合系列產(chǎn)品中關(guān)鍵產(chǎn)品。企業(yè)版支持大容量數(shù)據(jù)的收集、整合和轉(zhuǎn)換，數(shù)據(jù)從簡單結(jié)構(gòu)到很復(fù)雜的結(jié)構(gòu)。基于高可擴(kuò)展性的軟件架購，企業(yè)版使得企業(yè)能夠通過高性能來解決大部分業(yè)務(wù)問題，并行處理大容量數(shù)據(jù)。強(qiáng)大的企業(yè)元數(shù)據(jù)管理能力使得可以在數(shù)據(jù)整合生命周期中在所有工具中共享和使用工具。DataStage企業(yè)版發(fā)布了四個核心功能來成功實施企業(yè)數(shù)據(jù)整合：先進(jìn)的開發(fā)和維護(hù)；完整的開發(fā)環(huán)境；企業(yè)級實施和管理；高擴(kuò)展的體系架構(gòu)；端對端的企業(yè)級元數(shù)據(jù)管

2、理。1.1 先進(jìn)的開發(fā)和維護(hù)DataStage企業(yè)版提供了全面的功能去最優(yōu)化用戶在建立、升級和管理數(shù)據(jù)整合架構(gòu)時的速度、靈活性和效率。DataStage企業(yè)版增強(qiáng)的功能減少了學(xué)習(xí)的周期、簡單化了管理和優(yōu)化了開發(fā)資源的使用，減少了數(shù)據(jù)整合應(yīng)用的開發(fā)和維護(hù)周期。結(jié)果，DataStage企業(yè)版使得企業(yè)能夠花更少的時間開發(fā)他們的整合應(yīng)用，更多的時間是不斷的從中受益。DataStage企業(yè)版使用了Client-server架構(gòu)，如下所示。圖一、DataState企業(yè)版Client-Server架構(gòu)用戶通過各個客戶端工具訪問DataStage企業(yè)版的開發(fā)、配置和維護(hù)功能。這些工具包括：Designer：用

3、來建立和編輯DataStage作業(yè)和表的定義。Designer中的“Job Sequencer”控制作業(yè)的執(zhí)行，其他作業(yè)成功完成（或失敗，等）的條件。Administrator：用來執(zhí)行管理任務(wù)，如建立DataStage用戶、建立和刪除工程并且建立清洗標(biāo)準(zhǔn)。Manager：用來編輯管理用戶工程的DataStage資料庫。Director：用來驗證、時序安排、運(yùn)行和監(jiān)測企業(yè)版作業(yè)。如圖一所示，DataSage企業(yè)版的服務(wù)器組件運(yùn)行在一系列的流行服務(wù)器上，如Unix、Windows等。1.2 完整的開發(fā)環(huán)境用戶使用DataStage企業(yè)版的Designer組件建立企業(yè)版數(shù)據(jù)整合應(yīng)用。企業(yè)版設(shè)計是基

4、于數(shù)據(jù)流的概念。數(shù)據(jù)流使得用戶非常容易建立和理解應(yīng)用。用戶在一個強(qiáng)大的圖形化調(diào)色板上通過一系列的功能組件（Stage）標(biāo)示數(shù)據(jù)集合的流程來構(gòu)建一個數(shù)據(jù)整合應(yīng)用。一個完整的數(shù)據(jù)流圖（DataStage作業(yè)），從一個永久存儲的數(shù)據(jù)源開始，并且執(zhí)行一系列的增值轉(zhuǎn)換和其他處理操作，最后加載數(shù)據(jù)到一個永久的存儲。但是，企業(yè)版Designer開始使用戶可以靈活從任何地方可以建立作業(yè)：從上到下、從下到上、從中間開始。一個完整的企業(yè)版數(shù)據(jù)流圖如圖二所示。圖二、DataStage企業(yè)版數(shù)據(jù)流圖示在建立一個企業(yè)版數(shù)據(jù)流圖表時，通過一系列的處理步驟對龐大的數(shù)據(jù)集合構(gòu)架順序流。用戶不需要擔(dān)心如何在多處理器計算機(jī)上運(yùn)行

5、該應(yīng)用。企業(yè)版對數(shù)據(jù)整合應(yīng)用工作流的順序描述和在生產(chǎn)環(huán)境中應(yīng)用的并行執(zhí)行做了一個清晰的區(qū)分。企業(yè)版處理數(shù)據(jù)集 (data set)。數(shù)據(jù)集就是對通過數(shù)據(jù)流程的記錄的收集。一個數(shù)據(jù)集可以是屋里放置在磁盤上，也可以是虛擬放置在內(nèi)存中。數(shù)據(jù)在數(shù)據(jù)流中的Stage中移動使用的是虛擬的數(shù)據(jù)集，這樣可以大大提高性能；分區(qū)（在后面介紹）是在Stage的屬性中設(shè)置的。企業(yè)版提供了多個內(nèi)嵌的Stage來執(zhí)行通用的數(shù)據(jù)整合任務(wù)，如Sort、Merge、join、filter、Transform和Aggregate。更完整的內(nèi)嵌Stage列表參考本文檔的Appendix A。每個企業(yè)版Stage是一個完整的功能組件

6、，已經(jīng)在多處理器系統(tǒng)中高吞吐量和高性能并行執(zhí)行過。這些Stage根除了為通常的數(shù)據(jù)處理應(yīng)用進(jìn)行編碼的需要。用戶可以在企業(yè)版Designer GUI中找到這些內(nèi)嵌的Stage。用戶可以使用Stage的下拉菜單來這只Stage的參數(shù)。企業(yè)版Aggregator Stage的編輯器如下所示。圖三、企業(yè)版編輯Aggregator Stage圖標(biāo)和Stage編輯器例子企業(yè)版Transformer Stage是一個強(qiáng)大和靈活的組件，允許用戶對input link輸入的數(shù)據(jù)進(jìn)行轉(zhuǎn)換。并且將數(shù)據(jù)傳到另一個活動的Stage或者將數(shù)據(jù)寫到目標(biāo)數(shù)據(jù)或文件。Transformer編輯器（如下所示）使得用戶可以在inp

7、ut link和output link間簡單建立mapping，并且可以使用BASIC等語言建立任意轉(zhuǎn)換。這些轉(zhuǎn)換可以并行執(zhí)行來提高吞吐量和性能。企業(yè)版提供了超過100個內(nèi)嵌的功能，另外可以用C或C+編寫的route在轉(zhuǎn)換中使用和進(jìn)行互操作。圖四、企業(yè)版Transformer Stage圖標(biāo)和Stage編輯器例子DataStage企業(yè)版內(nèi)嵌的Stage包括高性能訪問（加載和讀）關(guān)系型數(shù)據(jù)庫的強(qiáng)大組件，包括并行的關(guān)系型數(shù)據(jù)庫。例如，企業(yè)版的Oracle Stage提供了一個訪問Oracle表的高性能并行接口。Oracle Stage支持Load和Upsert寫方式和支持表和查詢的讀方式。企業(yè)版也

8、可以利用DB2強(qiáng)大的數(shù)據(jù)庫分區(qū)特性和Teradata的高性能、并行數(shù)據(jù)加載和導(dǎo)出。另外，DataStage企業(yè)版提供了一些Stage可以使得SAS用戶在大容量數(shù)據(jù)上執(zhí)行SAS。Parallel SAS Data Set Stage通過SAS Stage的連接從一個并行的SAS數(shù)據(jù)集中讀取和寫入數(shù)據(jù)。通過利用并行硬件執(zhí)行平臺和并行關(guān)系型數(shù)據(jù)庫，這些SAS Stage能夠?qū)⒋蟠笤鰪?qiáng)需要進(jìn)行處理和分析大數(shù)據(jù)量的SAS的吞吐量和性能。企業(yè)版的內(nèi)嵌擴(kuò)展Stage提供了數(shù)據(jù)整合應(yīng)用中80到90的最常用的邏輯需要。另外，企業(yè)版提供了許多機(jī)制用來建立自定義的Stage：n Wrapped允許并行執(zhí)行一個順序程

9、序。n Build允許自動并行執(zhí)行自定義Stage的C語言表達(dá)式。n Custom 提供了完整的CAPI，來開發(fā)復(fù)雜和擴(kuò)展的Stage?；诮M件架構(gòu)和擴(kuò)展內(nèi)嵌組件類庫的DataStage企業(yè)版消除了對傳統(tǒng)編碼方式的需要，最大化了組件的重復(fù)使用。對于可擴(kuò)展的數(shù)據(jù)整合應(yīng)用來說，企業(yè)版開放的和可擴(kuò)展的架構(gòu)使得整合第三方軟件工具和已存在的程序更加容易。Stage和作業(yè)的單獨(dú)分區(qū)，包括每一個Stage的聯(lián)合分區(qū)、元數(shù)據(jù)（表定義）和Transformer轉(zhuǎn)換定義，可以在共享容器 (Share Container) 中被其他用戶重復(fù)使用。共享容器允許用戶提高產(chǎn)品性和在用戶和工程間共享。作業(yè)模板 (Job T

10、emplate)進(jìn)一步提升了效率。用戶能夠比以前更快地啟用已定義好的模板。同時，標(biāo)準(zhǔn)化的模板也提供給用戶一個高效的起始點(diǎn)。智能幫助提供建造從簡單到復(fù)雜的作業(yè)。用戶通過一系列的詢問，智能幫助可以象魔術(shù)師一樣輸出一個DataStage企業(yè)版作業(yè)或作業(yè)序列。他們使用元數(shù)據(jù)智能提示用戶答案和輸出最后的結(jié)果。Ascential載入一些智能助手，一個建立緯度緩慢變化 (Slow Changing Dimension) 的星型架構(gòu) (Star Schema) 的數(shù)據(jù)庫（類型1、2、3支持）。1.3 企業(yè)級實施和管理許多大的公司都有他們自己在復(fù)雜生產(chǎn)環(huán)境下的配置、時間序列、監(jiān)測和管理應(yīng)用的標(biāo)準(zhǔn)。DataSta

11、ge企業(yè)版提供了靈活功能來迎合這些需要。首先，DataStage提供了一個圖形化的作業(yè)順序器 (Job Sequencer)，允許用戶定義作業(yè)執(zhí)行的序列。設(shè)計一個作業(yè)序列就象設(shè)計一個作業(yè)。用戶在DataStage中設(shè)計作業(yè)序列。從工具條增加一個Activities（相對于Stage），并且通過Trigger進(jìn)行連接用以定義控制流。每個activity都有屬性，可以在trigger表達(dá)式中測試并且傳到序列前面的其他的activity中。Activity也可以有參數(shù)，可以用來支持job參數(shù)或routine參數(shù)。Job序列可以有自己的屬性和參數(shù)，這些屬性和參數(shù)可以順序傳到activity中。序列也可

12、以包括控制信息，例如，序列中job的成功或失敗影響活動的走向。一旦job序列被定義完成，可以在任何提供的接口（下面做詳細(xì)的介紹）中建立時間順序和執(zhí)行。圖五、DataStage Job序列例子其次，企業(yè)版提供了Director和Manager的圖形化功能。象前面說過的，manager是用來管理工程的，包括導(dǎo)入和導(dǎo)出組件，用來將應(yīng)用配置到產(chǎn)品。Director用來建立時序，執(zhí)行和監(jiān)測job（或job序列）。另外，企業(yè)版提供了commandline、API和web services用來對應(yīng)用進(jìn)行配置、執(zhí)行、監(jiān)測和管理。Job能夠使用所有的工具進(jìn)行開始、停止和監(jiān)測?？梢蕴峁┧械墓ぞ卟榭碕ob監(jiān)測的詳

13、細(xì)內(nèi)容包括Director。企業(yè)版返回的信息包括每個并行分區(qū)的記錄條數(shù)、CPU使用率、開始/結(jié)束時間等。所有的這些都是在單獨(dú)的stage級別。這個命令行接口是：dsjob report <project> <job> <report type>report type = BASIC,DETAIL,XML可通過XML schema 和 XML style sheets對正在運(yùn)行的job進(jìn)行不同角度的查看。就算job已經(jīng)完成，這些信息仍然是可用的。這就是operational meta data。Command line和web service接口通過文本或XM

14、L方式返回出這些operational meta data。對于國際數(shù)據(jù)的需要，DataStage企業(yè)版可以處理和管理multi-byte的數(shù)據(jù)結(jié)構(gòu)。客戶端相應(yīng)（如屬性設(shè)置和表定義）可以使用用戶本地的語言。用戶可以根據(jù)國際校正規(guī)則建立客戶化的排序規(guī)則。1.4 高擴(kuò)展的體系架構(gòu)建立在高擴(kuò)展軟件架構(gòu)上的企業(yè)版提供了高級別的吞吐量和性能。象前面所描述的，用戶可以使用企業(yè)版的Designer工具建立簡單的順序數(shù)據(jù)流圖表。當(dāng)構(gòu)架出順序的數(shù)據(jù)流圖表，用戶不用擔(dān)心底層的硬件架構(gòu)和處理器的數(shù)量。一個專門的配置文件可以定義這些底層多處理器計算環(huán)境中的資源（處理器、內(nèi)存、磁盤）。這個配置可以在順序數(shù)據(jù)流圖表和應(yīng)用

15、的并行執(zhí)行之間建立一個清晰的分離。這樣就可以很簡單開發(fā)擴(kuò)展的數(shù)據(jù)整合系統(tǒng)并且并行執(zhí)行（如圖六所示）。DataStage企業(yè)版可在管道并行和分區(qū)并行的機(jī)制下執(zhí)行，這樣可以獲得高吞吐量和性能：n 數(shù)據(jù)管道 (Data Pipelining) 意味著應(yīng)用可以從源系統(tǒng)拉入數(shù)據(jù)并且在數(shù)據(jù)流圖表中定義的順序處理功能間移動。記錄通過管道進(jìn)行流動使用上面介紹過的數(shù)據(jù)集 (DataSet) 【虛擬】這樣使得記錄通過一系列的功能組件進(jìn)行流動而不需要將記錄加載到磁盤。n 數(shù)據(jù)分區(qū) (Data Partitioning) 是一種將記錄集分割到各個分區(qū)，或記錄子集的并行方法。數(shù)據(jù)分區(qū)通常提供了一種好的、可以線性增長的應(yīng)

16、用性能。企業(yè)版支持記錄集通過應(yīng)用流的自動分區(qū)，象DB2一樣使用hash、range、entire、random、round robin等方法。這個benchmark是在寫數(shù)據(jù)（每條記錄平均534 byte、50多個字段）之前進(jìn)行了15此的不同的轉(zhuǎn)換。圖8以1：1的比例顯示出處理器導(dǎo)致近乎線性的性能擴(kuò)展。Ascential Software可以提供充詳細(xì)及驗證過的性能benchmark報告。2. 附錄B：DataStage企業(yè)版內(nèi)嵌的擴(kuò)展StageStage描述Transformer對任何需要轉(zhuǎn)換的輸入的數(shù)據(jù)集合進(jìn)行轉(zhuǎn)換，并將數(shù)據(jù)傳輸?shù)狡渌顒拥腟tage中或一個將數(shù)據(jù)寫入數(shù)據(jù)庫或文件的Stag

17、eSort用來并行執(zhí)行更復(fù)雜的排序操作Merge將一個或多個排序的更新數(shù)據(jù)集合合并成一個排序的主數(shù)據(jù)集合Join在一個或多個輸入數(shù)據(jù)集合上執(zhí)行連接操作并輸出一個結(jié)果數(shù)據(jù)集，連接操作支持：Inner、Left Outer、Right Outer和 Full OuterExternal Filter允許指定一個作為處理數(shù)據(jù)過濾器的Unix命令行Aggregator對于單一的輸入數(shù)據(jù)記錄進(jìn)行分組并且計算每一組的合計和總計Make Vector組合輸入數(shù)據(jù)記錄中指定的字段到一個具有相同類型的字段矢量Make Subrecord組合指定的輸入數(shù)據(jù)集合中的矢量到子記錄的矢量，它的字段具有和原始矢量相同的名

18、字和類型Split Vector提升固定長度矢量的參數(shù)到一系列相似的命名頂級字段Combine Records組合那些主鍵字段值被指定的記錄到子記錄矢量Compare對兩個分揀輸入數(shù)據(jù)集合中的記錄進(jìn)行一個字段一個字段的檢查Lookup對包含在 Lookup File Set Stage中的查找表進(jìn)行查找操作Lookup File Set允許建立一個查找文件集或查找參考Funnel拷貝多個輸入數(shù)據(jù)集到一個輸出數(shù)據(jù)集；對于將分開的數(shù)據(jù)集合合并成一個大的數(shù)據(jù)集；支持持續(xù)的讀、排序、順序輸入數(shù)據(jù)集。Copy拷貝一個輸入數(shù)據(jù)集到多個輸出數(shù)據(jù)集；輸入數(shù)據(jù)集中的每一條記錄拷貝到每一個輸入的數(shù)據(jù)集中，而且不需

19、要修改Sample使用百分比或一段模式對輸入的數(shù)據(jù)集進(jìn)行取樣Peek將記錄字段值顯示到作業(yè)日志或分開的output link，就象Copy Stage將輸入的數(shù)據(jù)集拷貝到一個或多個輸出數(shù)據(jù)集Remove Duplicates對輸入的數(shù)據(jù)集進(jìn)行單一排序，刪除重復(fù)的記錄，并將結(jié)果寫入一個輸出的數(shù)據(jù)集Modify改變輸入字段定義到輸出數(shù)據(jù)集（如類型轉(zhuǎn)換或null處理/轉(zhuǎn)換等）；對于重新命名和類型轉(zhuǎn)換使非常有效率的Filter基于用戶指定的約束（“where子句”）將輸入數(shù)據(jù)集轉(zhuǎn)換到不同的輸出數(shù)據(jù)集（Link）。對于過濾記錄使非常有效率的。Switch根據(jù)選擇器字段的值，將一個輸入記錄分配到一個輸出的

20、Link，支持128個Output Link和1個Reject Link。Change Capture抓取兩個輸入數(shù)據(jù)集，表現(xiàn)為前和后，并且獲取后面的數(shù)據(jù)路輸出一個記錄表現(xiàn)已經(jīng)改變的數(shù)據(jù)集Change Apply抓取變化數(shù)據(jù)，包括前面或后面數(shù)據(jù)記錄變化，從Change Capture Stage并應(yīng)用編碼改變操作到前面數(shù)據(jù)集，計算一個后面數(shù)據(jù)集Head從一個輸入數(shù)據(jù)集合分區(qū)中選擇第一個N條記錄并且將選擇的記錄拷貝的輸出數(shù)據(jù)集中Tail從一個輸入數(shù)據(jù)集分區(qū)中選擇最后一個N條記錄并且將選擇的記錄拷貝的輸出數(shù)據(jù)集中WriteRange Map將數(shù)據(jù)寫入Range Map；抓取排序或排序產(chǎn)生的數(shù)據(jù)集合

21、，并寫入到一個文件用于范圍分區(qū)方法Encode使用支持的Unix編碼命令對一個數(shù)據(jù)集合進(jìn)行編碼；將一個順序數(shù)據(jù)集合轉(zhuǎn)換到?jīng)]有處理過的二進(jìn)制數(shù)據(jù)流Decode使用支持的Unix解碼命令對一個數(shù)據(jù)集合進(jìn)行解碼；將一個沒有處理過的二進(jìn)制數(shù)據(jù)流轉(zhuǎn)換到數(shù)據(jù)集合Compress使用Unix Compress或GZIP工具壓縮數(shù)據(jù)集合；將一個順序數(shù)據(jù)集合轉(zhuǎn)換到?jīng)]有處理過的二進(jìn)制數(shù)據(jù)流Expand使用Unix Uncompress或GZIP工具展開數(shù)據(jù)集合；將一個沒有處理過的二進(jìn)制數(shù)據(jù)流轉(zhuǎn)換預(yù)先壓縮的數(shù)據(jù)集合到一個數(shù)許數(shù)據(jù)集合Difference對兩個輸入的數(shù)據(jù)集合進(jìn)行逐條的對比，相同數(shù)據(jù)集合的不同轉(zhuǎn)換產(chǎn)生出

22、前面和后面的數(shù)據(jù)集合Column Import從一個字段導(dǎo)入數(shù)據(jù)并且輸出到一個或多個字段Column Export從多個不同類型的字段導(dǎo)出數(shù)據(jù)到一個字符類型或二進(jìn)制類型的字段Column Generator增加字段到輸入數(shù)據(jù)并且為處理的數(shù)據(jù)行字段產(chǎn)生假數(shù)據(jù)；輸出新的數(shù)據(jù)集合Row Generator產(chǎn)生一組適合指定表定義的假數(shù)據(jù)；對于不使用真實可用數(shù)據(jù)對作業(yè)進(jìn)行測試非常有用Data Set從一個數(shù)據(jù)集讀取數(shù)據(jù)或?qū)?shù)據(jù)寫入一個數(shù)據(jù)集；企業(yè)版隱藏了復(fù)雜的處理和在并行計算機(jī)上并行存儲數(shù)據(jù)到磁盤File Set從一個文件中讀取數(shù)據(jù)或?qū)?shù)據(jù)寫入文件；并行執(zhí)行Sequential File從一個Flat

23、File讀取數(shù)據(jù)或?qū)?shù)據(jù)寫入Flat File；通常是并行執(zhí)行和可以配置成順序執(zhí)行External Source從一個或多個源程序讀取數(shù)據(jù)External Target將數(shù)據(jù)寫入一個或多個目標(biāo)程序Parallel SAS Data Set從并行SAS 數(shù)據(jù)集合讀取數(shù)據(jù)或?qū)?shù)據(jù)寫入并行 SAS 數(shù)據(jù)集合；用于同 SAS stage進(jìn)行連接SAS用于并行執(zhí)行部分 SAS 應(yīng)用DB2IBM DB2 UDB訪問l 從DB2數(shù)據(jù)庫讀取數(shù)據(jù)或?qū)?shù)據(jù)寫入DB2數(shù)據(jù)庫l 順序執(zhí)行或并行執(zhí)行l(wèi) 支持DB2的 Hash分區(qū)l 支持 Write、Upsert和 Load的寫方法l 支持表、自動產(chǎn)生SQL和用戶定義SQL讀方法OracleOracle數(shù)據(jù)庫訪問l 從Oracle數(shù)據(jù)庫讀取數(shù)據(jù)或?qū)?shù)據(jù)寫入Oracle數(shù)據(jù)庫l 順序執(zhí)行或并行執(zhí)行l(wèi) 支持 Load和 Upsert寫方法l 支持Table和Q