DataStage培訓(xùn)經(jīng)典.pptVIP

DATASTAGE培訓(xùn) 內(nèi)容提要 一 datastage介紹二 如何安裝datastage三 配置datastage工程四 設(shè)計(jì)并運(yùn)行datastage的job五 操作元數(shù)據(jù)六 操作關(guān)聯(lián)數(shù)據(jù)七 操作約束條件及數(shù)據(jù)來(lái)源八 定義查找使用的哈希文件九 聚合數(shù)據(jù)十 job的運(yùn)行及調(diào)試十一 創(chuàng)建Basic表達(dá)式 一 datastage的介紹 本章主要講解ETL的概念 datastage的介紹 組成及主要功能 ETL概要 ETL包括數(shù)據(jù)抽取 Extract 數(shù)據(jù)轉(zhuǎn)換 Transform 以及數(shù)據(jù)加載 Load 3個(gè)階段 一般而言 這三個(gè)過(guò)程中有二次落地 生成中間文件 AscentialDataStage是一套專(zhuān)門(mén)對(duì)多種操作數(shù)據(jù)源的數(shù)據(jù)抽取 轉(zhuǎn)換和維護(hù)過(guò)程進(jìn)行簡(jiǎn)化和自動(dòng)化 并將其輸入數(shù)據(jù)集市或數(shù)據(jù)倉(cāng)庫(kù)目標(biāo)數(shù)據(jù)庫(kù)的集成工具 DataStage能夠處理多種數(shù)據(jù)源的數(shù)據(jù) 包括主機(jī)系統(tǒng)的大型數(shù)據(jù)庫(kù) 開(kāi)放系統(tǒng)上的關(guān)系數(shù)據(jù)庫(kù)和普通的文件系統(tǒng) 包括Oracle Sybase DB2 SQLServer Teradata FTP文件系統(tǒng) 文本文件等等 數(shù)據(jù)清洗 轉(zhuǎn)換 加載都可以在圖形化工具里完成 同樣可以靈活的被外部系統(tǒng)調(diào)度 提供專(zhuān)門(mén)的設(shè)計(jì)工具來(lái)設(shè)計(jì)轉(zhuǎn)換規(guī)則和清洗規(guī)則等 實(shí)現(xiàn)了增量抽取 任務(wù)調(diào)度等多種復(fù)雜而實(shí)用的功能 DS介紹 Datastage的組成 Datastage的服務(wù)器端和客戶(hù)端 Datastage是C S軟件 服務(wù)器端存儲(chǔ)所有的ds項(xiàng)目和元數(shù)據(jù) 由關(guān)系型數(shù)據(jù)庫(kù) RDBMS 組成 客戶(hù)端具有同服務(wù)端一樣的軟件接口 客戶(hù)端運(yùn)行于windows95或更高版本 服務(wù)端可運(yùn)行于windowsNT4 0或windows2000版本 datastage的很多版本都支持unix DSAdministrator在服務(wù)端管理ds的項(xiàng)目和服務(wù)端操作 主要用于工程的參數(shù)調(diào)整 變量設(shè)置 及command操作 DSDesigner建立ds的job并且編譯執(zhí)行的程序 主要用于job的開(kāi)發(fā)及編譯 DSDirector運(yùn)行和監(jiān)控ds的job 主要用于job調(diào)試 DSManager允許編輯和查看在ds中存儲(chǔ)的內(nèi)容 主要用于項(xiàng)目管理或job的導(dǎo)入 導(dǎo)出 備份 DataStage中的Administrator 默認(rèn)使用Administator來(lái)指定常規(guī)的服務(wù)端 用來(lái)增加或刪除DataStage工程 并且可以設(shè)置工程的屬性 Administator也對(duì)于總庫(kù)提供命令接口 使用Administator的 ProjectPropertities 工程屬性的窗口 可以進(jìn)行1 在 General 頁(yè)框中 設(shè)置Job監(jiān)控的一些限制信息和Director中的其他信息 2 在 Permission 頁(yè)框中 設(shè)置并分配開(kāi)發(fā)人員組的權(quán)限 3 在 Tracing 頁(yè)框中 設(shè)置或取消服務(wù)端進(jìn)行跟蹤 4 在 Schedule 頁(yè)框中 設(shè)置調(diào)度時(shí)運(yùn)行Job所用到的用戶(hù)名和口令 5 在 Tunables 頁(yè)框中 指定Hash文件Stage的讀寫(xiě)的緩存大小 在DataStage中的Administrator設(shè)置常用服務(wù)器的默認(rèn)值 1 改變Licence信息 2 設(shè)置服務(wù)端連接超時(shí)時(shí)間 DataStage中的Manager 使用DataStage中的Manager來(lái)存儲(chǔ)和管理Job的元數(shù)據(jù) 使之可以在DataStage中的Designer中再度被使用 元數(shù)據(jù)包括表單和文件結(jié)構(gòu)和導(dǎo)出數(shù)據(jù)的Routines的轉(zhuǎn)換等等 Manager是DataStage存儲(chǔ)的一個(gè)重要的部分 可以用來(lái)加入表單和文件的結(jié)構(gòu) 在左側(cè)分支樹(shù)中顯示Routines Transforms和Jobs 自定義的Routines和Transforms也在DataStage中的Manager里創(chuàng)建 DataStage中的Designer DataStage中的Designer允許使用熟練地拖拽圖標(biāo)和連線的方式來(lái)表示數(shù)據(jù)抽取 清洗 轉(zhuǎn)換 整合和加載的過(guò)程 并將數(shù)據(jù)導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)的表單之中 Designer提供一個(gè)數(shù)據(jù)流程的模式 輕松將設(shè)置和Job的設(shè)計(jì)有機(jī)的組成 使用Designer 可以 1 指定數(shù)據(jù)如何抽取 2 指定數(shù)據(jù)的轉(zhuǎn)換規(guī)則和進(jìn)行轉(zhuǎn)換 3 使用參考性質(zhì)的LookUp到數(shù)據(jù)集市中編輯數(shù)據(jù) a 例如 如果銷(xiāo)售的記錄集包括CustomerID 可以在CustomerMaster表中使用LookUp查找到Customer的名稱(chēng) b 當(dāng)需要連接數(shù)據(jù)集市并使用查詢(xún) 可以快速的進(jìn)行訪問(wèn) 4 對(duì)數(shù)據(jù)進(jìn)行整合 5 在定義的約束條件中將基礎(chǔ)數(shù)據(jù)分割成為多個(gè)輸出的連接 在Tools菜單中可以輕松的于Director Designer和Manager之間切換 DataStage中的Director 使用Datastage的Director可以對(duì)設(shè)計(jì)的job進(jìn)行驗(yàn)證 運(yùn)行 任務(wù)調(diào)度和監(jiān)控的工作 也可以針對(duì)job的運(yùn)行查看運(yùn)行的聚合統(tǒng)計(jì)情況 在Datastage中進(jìn)行開(kāi)發(fā) 在Administrator中定義全局的和項(xiàng)目屬性 在Datastage中的Manager里導(dǎo)入定義源的元數(shù)據(jù)和目標(biāo)的元數(shù)據(jù) 在Datastage中的Designer中驗(yàn)證和編譯job 在Datastage中的Director中驗(yàn)證 運(yùn)行 和監(jiān)控job 1 定義工程的屬性 在Administrator中 2 打開(kāi)工程 3 導(dǎo)入元數(shù)據(jù) 在job中定義格式 讀入或?qū)懭?在Manager中 4 設(shè)計(jì)job 在Designer中 a 定義數(shù)據(jù)的抽取 讀取 b 定義數(shù)據(jù)流程 c 定義數(shù)據(jù)的集合 d 定義數(shù)據(jù)的轉(zhuǎn)換 e 定義數(shù)據(jù)的約束條件 f 定義數(shù)據(jù)的加載 寫(xiě)入 g 定義數(shù)據(jù)的聚合 5 編譯和調(diào)試job 在Designer中 6 運(yùn)行和監(jiān)控job 在Director中 Datastage的工程管理 所有的工作都在一個(gè)工程中 在安裝過(guò)后 需要建立一個(gè)工程 這是安裝必選的項(xiàng)目 在使用它工作之前 要登錄這個(gè)工程 可以在工程間進(jìn)行導(dǎo)入和導(dǎo)出Datastage的項(xiàng)目?jī)?nèi)容 多個(gè)用戶(hù)可以在同一時(shí)間使用同一工程 但是不能同時(shí)編輯同一個(gè)項(xiàng)目 所有的工作都在Datastage的工程里進(jìn)行 在做任何事之前 那些具有同樣管理權(quán)限的人 都要先打開(kāi)一個(gè)工程 即進(jìn)行登錄 在安裝過(guò)程中 工程就要求創(chuàng)建 這是必須做的事情 可以在安裝之后 在Administrator中的Project頁(yè)框中另增加其它工程 一個(gè)工程關(guān)聯(lián)著一個(gè)目錄 這個(gè)工程目錄用來(lái)存儲(chǔ)jobs Datastage項(xiàng)目和元數(shù)據(jù) 在做任何操作前都要先打開(kāi)這個(gè)工程 即登錄這個(gè)工程 工程是自包含的很多的工程可以在同一時(shí)間被打開(kāi) 在各自單獨(dú)的環(huán)境打開(kāi) 可以在它們之間導(dǎo)入或?qū)С鲰?xiàng)目 多用戶(hù)可以在同一時(shí)間使用一個(gè)工程中工作 但是Datastage禁止在同一時(shí)間由多個(gè)用戶(hù)訪問(wèn)同一個(gè)job Datastage測(cè)試 問(wèn)題一 Datastage的Designer是用來(lái)建立和編譯job 用來(lái)進(jìn)行數(shù)據(jù)的抽取 轉(zhuǎn)換和加載即ETL Yes No 答案一 Yes Designer使用拖拽的方式將設(shè)計(jì)元素 習(xí)慣上叫stage 拖拽到設(shè)計(jì)區(qū)域中 經(jīng)過(guò)建立和編譯 Job就可以執(zhí)行 用來(lái)進(jìn)行數(shù)據(jù)的抽取 轉(zhuǎn)換和加載 問(wèn)題二 Datastage的Manager用來(lái)執(zhí)行編譯通過(guò)的Jobs Yes No 答案二 No Datastage的Manager是用來(lái)管理元數(shù)據(jù)的 如表單結(jié)構(gòu) 內(nèi)置和自定義Routines等的 使Datastage用來(lái)管理資源存儲(chǔ)的 問(wèn)題三 Datastage的Director用來(lái)執(zhí)行編譯通過(guò)的Jobs Yes No 答案三 Yes 使用Director來(lái)對(duì)編譯通過(guò)的job進(jìn)行驗(yàn)證或者運(yùn)行 也可以在jobs運(yùn)行過(guò)程中對(duì)其進(jìn)行監(jiān)控 問(wèn)題四 Datastage的Administrator是用來(lái)定義全局變量和設(shè)置工程屬性的 Yes No 答案四 Yes 可以在Administrator中設(shè)置工程中使用的全局變量和必要屬性 如連接數(shù)據(jù)庫(kù)超時(shí) 登錄者權(quán)限等等 第二章如何安裝Datastage 下面的講解中 將可以了解到 在Windows系統(tǒng)中安裝Datastage服務(wù)端 建立一個(gè)Datastage的工程 安裝Datastage的客戶(hù)端 Datastage的服務(wù)端要首先安裝 之后才可以安裝Datastage客戶(hù)端 服務(wù)端能都安裝在WinNT Windows2000或者UNIX系統(tǒng)中 這個(gè)模塊將介紹在Windows環(huán)境下進(jìn)行安裝 系統(tǒng)的具體配置依賴(lài)于所要安裝的Datastage版本 在安裝盤(pán)上找到最接近的系統(tǒng)需求配置 安裝Datastage服務(wù)端需要有哪些安裝盤(pán)和服務(wù)端的許可 這個(gè)許可包含以下信息 1 注冊(cè)號(hào) 序列號(hào) 2 工程數(shù)量 在Datastage服務(wù)端可以建立的最大工程數(shù)量 包括新建的工程 也包括對(duì)先前建立的工程進(jìn)行加上升級(jí) 3 到期時(shí)間 4 授權(quán)代碼 在許可信息中 這個(gè)信息必須被正確輸入的 安裝向?qū)?huì)指導(dǎo)通過(guò)以下步驟進(jìn)行 1 輸入許可信息 2 指定服務(wù)器的路徑 3 選擇程序的文件夾 4 創(chuàng)建一個(gè)新的工程或升級(jí)已經(jīng)存在的工程 安裝Datastage 首先安裝DatastageServer端 鼠標(biāo)點(diǎn)擊軟件會(huì)自動(dòng)安裝 安裝過(guò)程中系統(tǒng)提示使用者選擇安裝路徑和輸入產(chǎn)品序列號(hào) 在DatastageServer安裝的過(guò)程中會(huì)提示用戶(hù)建立一個(gè)工程 在安裝DatastageServer端以后 需要安裝DatastageClient端 鼠標(biāo)點(diǎn)擊軟件會(huì)自動(dòng)進(jìn)行安裝 安裝過(guò)程中系統(tǒng)提示使用者選擇安裝路徑和輸入產(chǎn)品序列號(hào) Datastage的服務(wù)端 安裝有Datastage服務(wù)端的機(jī)器 必須運(yùn)行著 需要運(yùn)行Datastage的客戶(hù)端 打開(kāi)Datastage的控制面板 來(lái)停止或啟動(dòng)服務(wù)端 當(dāng)再次安裝Datastage的時(shí)候 會(huì)停止服務(wù)端 為了保證Datastage客戶(hù)端程序的正常運(yùn)行 必須保證Datastage的服務(wù)器保持運(yùn)行狀態(tài) 在Windows2000的控制面板中打開(kāi)Datastage的控制面板 可以啟動(dòng)或停止全部的Datastage服務(wù) 點(diǎn)擊可以啟動(dòng)全部的服務(wù)或者停止全部的服務(wù) 在安裝或重新安裝Datastage的時(shí)候 這些服務(wù)一定要全部停止 安裝Datastage客戶(hù)端 在安裝Datastage服務(wù)端之后 可以安裝在WinNT Windows2000以及WinXP上 Datastage產(chǎn)品的許可用于安裝Datastage的客戶(hù)端 Datastage的操作許可只能用于安裝Director和Administrator Datastage的客戶(hù)端必須在Datastage的服務(wù)端安裝過(guò)后才可以進(jìn)行安裝 客戶(hù)端能夠安裝在Windows95 Windows98 WindowsNT Windows2000以及WindowsXP操作系統(tǒng)上 這里有倆個(gè)版本的Datastage 1 開(kāi)發(fā)版本的Datastage 包含了解所有的客戶(hù)端應(yīng)用程序 2 操作員版本的Datastage只包含了需要用到的運(yùn)行和監(jiān)控Job的應(yīng)用程序 即Director和Administrator 安裝開(kāi)發(fā)版本的Datastage 需要有Datastage開(kāi)發(fā)版的許可 安裝操作員版本的Datastage 需要有Datastage的Director的許可 許可包括以下幾個(gè)信息 1 序列號(hào)2 用戶(hù)限制3 到期時(shí)間4 授權(quán)認(rèn)可代碼這些信息必須是正確的數(shù)據(jù) 第三章配置Datastage工程 下面的講解中 將可以了解到 在Datastage的Administrator中設(shè)置工程屬性 在Datastage的Administrator中設(shè)置用戶(hù)的權(quán)限 Datastage工程屬性 建立或者刪除Datastage工程 設(shè)置Datastage工程的默認(rèn)屬性 修改Datastage工程屬性的方法 登錄Datastage的Administrator 選擇要修改屬性的工程 Datastage中所有的開(kāi)發(fā)工作都在一個(gè)Datastage的工程中 在安裝Datastage服務(wù)端時(shí) 默認(rèn)就已經(jīng)建立了一個(gè)工程 可以使用Administrator進(jìn)行工程的控制 每個(gè)工程都有其關(guān)聯(lián)的目錄 目錄存儲(chǔ)了在工程中建立的項(xiàng)目 如Jobs 元數(shù)據(jù) 自定義的Routines等等 在一個(gè)工程中工作之前 必須要先打開(kāi)它 即進(jìn)行登錄 在使用Datastage的Administrator時(shí) 可以設(shè)置默認(rèn)的工程屬性 設(shè)置Datastage工程屬性 選擇要進(jìn)行修改的工程 點(diǎn)擊 Properties 工程屬性的 General 頁(yè)框 點(diǎn)擊Datastage的Administrator的 Properties 按鈕 打開(kāi)工程屬性的窗口 這里有5個(gè)頁(yè)框 Mainframe 頁(yè)框只有在許可支持大型機(jī)的Jobs的時(shí)候可用 默認(rèn)打開(kāi)的 General 頁(yè)框 如果選擇 EnablejobadministratorinDirector 的選擇項(xiàng) 那么在不打開(kāi)Administrator的情況下在Datastage的Director中可以運(yùn)行一些管理級(jí)別的函數(shù) 在Director中運(yùn)行一個(gè)Job的時(shí)候 事件被寫(xiě)入Jobs的運(yùn)行的日志 例如 記錄了何時(shí)開(kāi)始運(yùn)行Jobs 何時(shí)停止 何時(shí)終止 日志記錄的事件增長(zhǎng)量很大 Auto purpeofjoblog 選擇框可以讓指定用什么條件來(lái)篩選這些事件 可以限制記錄時(shí)間的每天的數(shù)量或者運(yùn)行Jobs運(yùn)行的數(shù)量 工程屬性的 Permissions 頁(yè)框 使用這個(gè)頁(yè)框可以設(shè)置訪問(wèn)和使用Datastage的用戶(hù)組權(quán)限 所有的Datastage用戶(hù)中 在登錄Datastage之前 都必須擁有一個(gè)公認(rèn)的 屬于自己的用戶(hù)角色 使之用來(lái)進(jìn)行登錄 這樣可以用來(lái)防止匿名的方式使用Datastage工程 這里有三種Datastage用戶(hù)角色 1 DatastageDeveloper 可以訪問(wèn)Datastage工程全部的范圍 2 DatastageOperator 可以運(yùn)行 釋放 Datastage的Jobs 3 DatastageProductionManager 可以管理Datastage產(chǎn)品組件 工程屬性的 Tracing 頁(yè)框 在這個(gè)頁(yè)面設(shè)置是否在Datastage服務(wù)端進(jìn)行跟蹤處理 Datastage服務(wù)端進(jìn)行跟蹤處理默認(rèn)是無(wú)效的 當(dāng)使其有效 Datastage客戶(hù)端運(yùn)行項(xiàng)目的時(shí)候 所有的記錄信息都要在Datastage服務(wù)端進(jìn)行監(jiān)控 并寫(xiě)入監(jiān)控文件 使用這些底層系統(tǒng)知識(shí)可以幫助找到Datastage客戶(hù)端的問(wèn)題所在 如果跟蹤設(shè)置為有效 當(dāng)調(diào)用一個(gè)Datastage的客戶(hù)端的時(shí)候 用戶(hù)會(huì)收到一些警告的信息 警告 跟蹤會(huì)消耗Datastage服務(wù)器大量的系統(tǒng)資源 除非用戶(hù)需要診斷重大的問(wèn)題 一般不建議設(shè)置跟蹤有效 工程屬性的 Schedule 頁(yè)框 使用 Schedule 頁(yè)框 來(lái)指定在選擇的項(xiàng)目中運(yùn)行計(jì)劃任務(wù)的jobs的用戶(hù)名和口令 如果沒(méi)有指定 Jobs會(huì)在當(dāng)前系統(tǒng)的計(jì)劃任務(wù)的用戶(hù)名下運(yùn)行 工程屬性的 Tunables 頁(yè)框 在 Tunable 頁(yè)框中 可以指定當(dāng)用來(lái)讀取Hash文件記錄時(shí)的緩存的大小 Hash文件大多數(shù)用于查找操作 這部分介紹會(huì)在下面的介紹中進(jìn)行 第四章設(shè)計(jì)并運(yùn)行Datastage的Job 下面的講解中 將可以了解到 描述什么是Datastage的Job 一步步講述如何建立DatastageJob 描述Link和Stage 識(shí)別不同類(lèi)型的Stage 設(shè)計(jì)一個(gè)簡(jiǎn)單抽取和加載的Job 編譯 驗(yàn)證和運(yùn)行Job 監(jiān)控Job的執(zhí)行 什么是Job 一個(gè)Job就是一個(gè)Datastage的運(yùn)行程序 在Datastage中 可以設(shè)計(jì)并運(yùn)行Jobs 執(zhí)行一些有用的數(shù)據(jù)倉(cāng)庫(kù) 包括數(shù)據(jù)的抽取 轉(zhuǎn)換 聚合和數(shù)據(jù)加載等等 Datastage的Job是 1 在Designer中設(shè)計(jì)和編譯 2 在Director中進(jìn)行任務(wù)預(yù)定 調(diào)度和監(jiān)控Jobs 3 全部在Datastage的控制下執(zhí)行 Job開(kāi)發(fā)的瀏覽 在Manager 導(dǎo)入數(shù)據(jù)源和目標(biāo)數(shù)據(jù)庫(kù)的數(shù)據(jù)結(jié)構(gòu)定義 在Designer 加入Stage定義數(shù)據(jù)的抽取和加載 加入Transformer和其它的Stage來(lái)定義轉(zhuǎn)換 從源數(shù)據(jù)到目的數(shù)據(jù) 加入Link來(lái)定義數(shù)據(jù)的流向 編譯Job 在Director中 驗(yàn)證 運(yùn)行和監(jiān)控Job 在這個(gè)講解中 將通過(guò)一個(gè)單一Job的過(guò)程第一步 著手定義元數(shù)據(jù) Designer的工作區(qū)域 中間偏右是Datastage的設(shè)計(jì)區(qū)域 可以將Stage和Link從工具的板塊上拖動(dòng)過(guò)來(lái)放在上面 左邊是 Repository 存儲(chǔ) 窗口 顯示的是Manager中的分支 Manager中的分支 就像Jobs和表定義一樣可以直接拖拽到設(shè)計(jì)區(qū)域 點(diǎn)擊 View Repository 來(lái)顯示 Repository 窗口 點(diǎn)擊 View PropertyBrowser 來(lái)顯示 PropertyBrowser 窗口 顯示在設(shè)計(jì)區(qū)選擇的項(xiàng)目的屬性 Designer的工具欄 工具欄中的一些圖標(biāo)可以快捷的調(diào)用一些Datastage的內(nèi)部函數(shù) 更加方便進(jìn)行Jobs的設(shè)計(jì)工作 Designer的Stage工具面板 工具面板中包含描述的圖標(biāo) 可以將其加入到Jobs設(shè)計(jì)當(dāng)中 當(dāng)安裝Datastage的時(shí)候 很多的Stage都會(huì)自動(dòng)地進(jìn)行安裝 也可以根據(jù)特定的目的安裝另外的Stage 這些被叫做插件 例如 那個(gè)叫做 Sort 的插件就是用來(lái)對(duì)數(shù)據(jù)排序的 插件的介紹將在以后的講解來(lái)介紹 下面將部分的Stage進(jìn)行簡(jiǎn)單的說(shuō)明 有些Stage在普通應(yīng)用中并不常用 被動(dòng)Stage和主動(dòng)Stage 被動(dòng)Stage的定義是用來(lái)讀寫(xiě)數(shù)據(jù)源的Stage 被動(dòng)Stage包括 Sequential Odbc Hash文件的Stage 主動(dòng)Stage的定義是用來(lái)數(shù)據(jù)的篩選和轉(zhuǎn)換部分的Stage 主動(dòng)Stage包括 Transformer Aggregator和Sort的插件 這里有倆種類(lèi)型的Stage 被動(dòng)Stage 是用來(lái)讀寫(xiě)數(shù)據(jù)源的數(shù)據(jù)的 包括Sequential Odbc Hash文件的Stage 等等 主動(dòng)Stage 是用來(lái)篩選和轉(zhuǎn)換部分的Stage 包括Transformer Aggregator和Sort的插件 等等 Datastage測(cè)試 問(wèn)題一 SequentialStage是一個(gè)主動(dòng)地Stage Yes No 答案一 No 由于SequentialStage可以用于讀取數(shù)據(jù)源和寫(xiě)入數(shù)據(jù) 但是又不能對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換 所以不是主動(dòng)的Stage 而是被動(dòng)的Stage SequentialStage 導(dǎo)出數(shù)據(jù)或加載數(shù)據(jù)到一個(gè)Sequential文件 為Sequential指定完整的路徑 指定文件的格式 定義寬度或者分隔符 指定列的定義 指定寫(xiě)的形式 覆蓋 追加 Sequential文件時(shí)用來(lái)從一個(gè)Sequential文件導(dǎo)出或者加載到一個(gè)Sequential文件中 在修改Sequential文件的時(shí)候需要指定一下內(nèi)容 1 文件的路徑和名稱(chēng) 2 文件的格式 3 列的定義 4 如果SequentialStage被用作一個(gè)目標(biāo)的話 指定寫(xiě)入動(dòng)作時(shí)選擇 覆蓋已存在的文件或者在文件基礎(chǔ)上進(jìn)行追加 編輯目標(biāo)端的一個(gè)Sequential文件Stage 定義一個(gè)Sequential的目標(biāo)Stage類(lèi)似于定義一個(gè)源的SequentialStage 在輸入的Link中 定義數(shù)據(jù)導(dǎo)入到Stage的數(shù)據(jù)格式 從 InputBox 中輸入Link的列表進(jìn)行選擇 定義一個(gè)文件的Job 定義文件被寫(xiě)入 如果文件不存在 Datastage將會(huì)自動(dòng)建立 在 Updateaction 中指定數(shù)據(jù)文件是否覆蓋或者追加 General 頁(yè)框中的 FilterCommand 可以指定一個(gè)過(guò)濾程序 可以使用其在抽取數(shù)據(jù)的過(guò)程中進(jìn)行數(shù)據(jù)的過(guò)濾 舉例 在讀取數(shù)據(jù)之前要有一個(gè)解壓縮的過(guò)程 從中選擇類(lèi)型或者瀏覽從過(guò)濾程序中 在輸入框中指定命令行 只有在 General 頁(yè)框中的Stage頁(yè)面中選擇了 Stageusesfiltercommands 的選擇框 這個(gè)輸入框變?yōu)榭捎?如果指定了過(guò)濾命令 數(shù)據(jù)瀏覽沒(méi)有定義 那么 ViewData 按鈕不可用 在 Format 頁(yè)框中 指定不同格式的目標(biāo)文件 同指定源文件相同 如果目標(biāo)文件不存在 在Jobs運(yùn)行之后 才可以瀏覽數(shù)據(jù) 如果這時(shí)點(diǎn)擊了 ViewData 按鈕 Datastage將會(huì)返回一個(gè) FailedtoOpen 的錯(cuò)誤 在源數(shù)據(jù)的Stage里定義輸出數(shù)據(jù)的列定義 同時(shí)定義目標(biāo)Stage中的相應(yīng)的輸入Link 可以將Link想象成為一個(gè)通道 從一頭流到另外一頭 所以輸入和輸出的格式要保持一致 TransformerStage 很關(guān)鍵的主動(dòng)Stage 使用TransformerStage可以定義條件 來(lái)源和字段的對(duì)應(yīng)關(guān)系 輸入的列和輸出的列進(jìn)行對(duì)應(yīng) 在這個(gè)講解中 我們將定義列的對(duì)應(yīng) TransformerStage是一個(gè)重要的主動(dòng)Stage 其它主動(dòng)地Stage執(zhí)行很多指定類(lèi)型的轉(zhuǎn)換 在TransformerStage中可以指定 1 列的對(duì)應(yīng) 2 數(shù)據(jù)的來(lái)源 3 過(guò)濾條件 字段對(duì)應(yīng)是指輸入字段和輸出字段進(jìn)行對(duì)應(yīng) 從輸入列到輸出列數(shù)值直接通過(guò) 數(shù)據(jù)來(lái)源的值經(jīng)過(guò)計(jì)算寫(xiě)入到輸出的列 以輸入列為基礎(chǔ) 在引入的行將被寫(xiě)入到輸出的列 約束指定的條件將有效 TransformerStage元素 Transformer有以下元素 在上方 左邊的區(qū)域顯示輸入Link的列信息 如果有很多的輸入Link 就會(huì)有許多的列顯示 在上方 右邊的區(qū)域顯示的輸出Link的內(nèi)容 我們不能在這里定義字段 如果有很多的輸出Link 就會(huì)有很多的列顯示 現(xiàn)在 忽略右上方的 StageVariables 窗口 我們將在以后的講解進(jìn)行講述 下方顯示元數(shù)據(jù)的列定義 輸入和輸出的Link 如果有很多的輸入和輸出的Link 那么將出現(xiàn)很多的頁(yè)框 AnnotationStage 使用它來(lái)在Job上增加文本注釋 輸入框有不同格式的設(shè)置 當(dāng)Job打印的時(shí)候顯示 描述注釋的Stage將在下一節(jié)介紹 增加一個(gè)或多個(gè) Annotation 的Stage就像一個(gè)文本數(shù)據(jù)框一樣進(jìn)行設(shè)置 可以通過(guò)在工具欄上的設(shè)置要求其是否進(jìn)行顯示 這里有倆個(gè) Annotation 的Stage DescriptionAnnotationStage 將在下面一個(gè)講解中進(jìn)行講述 編輯AnnotationStage 輸入框內(nèi)輸入的是文本類(lèi)型 指定的設(shè)置有 1 文本的字體和顏色 2 輸入框的顏色 3 文字的橫縱位置 編譯Job 在運(yùn)行Jobs之前 必須要對(duì)其進(jìn)行編譯 在服務(wù)端的機(jī)器上產(chǎn)生可以運(yùn)行的編碼 對(duì)于編譯Jobs 點(diǎn)擊 File Compile 或者在工具欄上點(diǎn)擊 Compile 按鈕 編譯Jobs的窗口顯示Jobs編譯的情況 編譯如果發(fā)生錯(cuò)誤 點(diǎn)擊 Showerror 來(lái)定位錯(cuò)誤的位置 點(diǎn)擊 More 來(lái)返回關(guān)于錯(cuò)誤更多的信息 運(yùn)行Job 從Datastage的Designer切換到Director 在Director的列表中 選擇要運(yùn)行的Job點(diǎn)擊運(yùn)行 選擇運(yùn)行的屬性 驗(yàn)證這個(gè)Job 運(yùn)行Job 并在日志瀏覽中監(jiān)控Job運(yùn)行的過(guò)程 就像知道的那樣 在Datastage的Director中運(yùn)行Job 可以從Designer中的 Tools 菜單中啟動(dòng) Datastage的Director 可以通過(guò)這個(gè)方法在Director Manager和Designer之間進(jìn)行切換 這里有倆種方法運(yùn)行一個(gè)Job 1 直接運(yùn)行 可以在Designer運(yùn)行 也可以切換到Director中運(yùn)行 2 在以后的時(shí)間或日期里調(diào)用計(jì)劃任務(wù)執(zhí)行 對(duì)于直接運(yùn)行的Job 1 在列表中選擇需要運(yùn)行的Job 這個(gè)Job必須是經(jīng)過(guò)編譯的 2 點(diǎn)擊Job菜單中的運(yùn)行 或者點(diǎn)擊工具欄中的運(yùn)行 這是Job運(yùn)行時(shí)的設(shè)置窗口會(huì)顯示出來(lái) DatastageDirector 在Director中顯示Jobs狀況的列表 運(yùn)行一個(gè)Job 選擇一個(gè)而后點(diǎn)擊Job菜單中的運(yùn)行 其它查看內(nèi)容 1 Job的日志 從Job運(yùn)行產(chǎn)生的數(shù)量 2 計(jì)劃任務(wù) 預(yù)覽在計(jì)劃的時(shí)間或日期運(yùn)行Job 運(yùn)行參數(shù)設(shè)置 Director的日志瀏覽 在工具欄上點(diǎn)擊Log按鈕來(lái)查看Job的日志 Jobs日志集合了Jobs執(zhí)行期間的所有事件信息 這些事件 包括 控制事件 如 開(kāi)始 結(jié)束和中止 報(bào)告信息 警告信息 錯(cuò)誤信息 和程序發(fā)生信息 當(dāng)點(diǎn)擊Job菜單中運(yùn)行的時(shí)候 Job運(yùn)行設(shè)置的窗口會(huì)顯示出來(lái) 這個(gè)窗口允許用戶(hù)在以下情況下停止Job的運(yùn)行 1 指定行數(shù) 2 指定警告消息的數(shù)量 在運(yùn)行Job之前可以將其驗(yàn)證 驗(yàn)證是保證Job運(yùn)行成功地關(guān)鍵 包括 1 驗(yàn)證Link的數(shù)據(jù)源是否準(zhǔn)備好 2 驗(yàn)證文件是否被打開(kāi) 3 驗(yàn)證SQL是否可以查詢(xún)數(shù)據(jù) 經(jīng)過(guò)驗(yàn)證后點(diǎn)擊Run運(yùn)行Job 在Job運(yùn)行時(shí)列的狀況會(huì)顯示出來(lái) 第五章操作元數(shù)據(jù) 下面的講解中 將可以了解到 介紹DataStage的Manager的構(gòu)成和功能 導(dǎo)入和導(dǎo)出Datastage的項(xiàng)目 從Sequential文件中導(dǎo)入元數(shù)據(jù) 加載元數(shù)據(jù)到SequentialStage中 什么是元數(shù)據(jù) Datastage和Manager是一個(gè)圖形化管理Datastage項(xiàng)目存儲(chǔ)的工具 包括元數(shù)據(jù)和Datastage的其它構(gòu)成 如Jobs和Routines等等 元數(shù)據(jù)是數(shù)據(jù)源和目標(biāo)數(shù)據(jù)的描述的標(biāo)準(zhǔn)化 它包括諸如記錄列和分割的通用信息 分割標(biāo)志 還包括指定列的定義 等等 左邊的包括工程的樹(shù) 分了八大分支 但是可以在其下創(chuàng)建下一級(jí)文件夾 在工程樹(shù)下選擇一個(gè)文件夾顯示它的組成 在這個(gè)例子中 在工程里一個(gè)命名為 WHBI 的文件夾下創(chuàng)建很多Job DataElements 分支 列出內(nèi)置的和自定義的數(shù)據(jù)元素 數(shù)據(jù)元素是數(shù)據(jù)類(lèi)型的擴(kuò)展 將在下面講述 Jobs 分支 顯示在當(dāng)前工程的Jobs列表 Routines 分支 先是內(nèi)置和自定義的Routines Routines是DatastageBasic代碼的一部分 可以引入到一個(gè)Job中 ShareContainers 分支 共享容器就是Datastage的一個(gè)單獨(dú)的Satage的組成 StageType 分支 列出在一個(gè)Jobs中可用的Stage的類(lèi)型 內(nèi)置的Stage包括在Designer中的結(jié)果部分和轉(zhuǎn)換部分的Stage TableDefinitions 分支 顯示加載到一個(gè)Job的有效的表結(jié)構(gòu)定義 Transformer 分支 先是內(nèi)置和自定義的Transformer Transformer是可以用于Job的數(shù)據(jù)轉(zhuǎn)換函數(shù) Manager內(nèi)容 數(shù)據(jù)源和目標(biāo)數(shù)據(jù)的元數(shù)據(jù)描述 Datastage項(xiàng)目 Jobs Routines 表單 Datastage的Manager管理倆個(gè)不同類(lèi)型的項(xiàng)目 數(shù)據(jù)源和目標(biāo)數(shù)據(jù)的元數(shù)據(jù)描述 在Manager中叫做表單定義 Datastage表單定義用于描述各種類(lèi)型源的列定義的格式 結(jié)果 有關(guān)的 Hash文件等等 可以在Manager或者Designer中創(chuàng)建表單的定義 可以從源或者目的導(dǎo)入其結(jié)構(gòu) Datastage的構(gòu)成在Datastage中任何一個(gè)項(xiàng)目 Jobs Routines 表定義 等等 在Datastage中存儲(chǔ)Manager是接口用來(lái)存儲(chǔ) Datastage組成包括整個(gè)項(xiàng)目 都可以從導(dǎo)出的文件中導(dǎo)入到Manager中 Import和Export Manager中的所有項(xiàng)目 都可以導(dǎo)出成為一個(gè)文件 導(dǎo)出整個(gè)工程 用于備份用于版本控制 用于Datastage的項(xiàng)目從一個(gè)工程到其它工程的移動(dòng) 對(duì)于其它開(kāi)發(fā)者 用于共享Datastage的Job和項(xiàng)目 Datastage中的項(xiàng)目包括整個(gè)工程 全部都在Manager進(jìn)行存儲(chǔ) 可以將其導(dǎo)出成為一個(gè)文件 這個(gè)導(dǎo)出的文件能夠重新導(dǎo)入回Datastage 導(dǎo)入和導(dǎo)出能用作很多的目的 包括 備份Jobs和工程 維持不同Jobs或者工程的版本 從一個(gè)工程到另外一個(gè)工程 Datastage項(xiàng)目的移動(dòng) 將導(dǎo)出的項(xiàng)目 移動(dòng)到其它的工程 將其重新導(dǎo)入到新的工程里 在開(kāi)發(fā)者之間共享Jobs和工程 導(dǎo)出的文件 當(dāng)被壓縮以后 變得很小 很容易從一個(gè)開(kāi)發(fā)者到其他人之間傳遞 導(dǎo)出過(guò)程 在Manager中 點(diǎn)擊 Export DatastageComponents 選擇Datastage需要到導(dǎo)出的項(xiàng)目 指定導(dǎo)出的類(lèi)型 dsx xml 在客戶(hù)端機(jī)器上指定導(dǎo)出文件的路徑 在Manager中點(diǎn)擊 Export DatastageComponents 開(kāi)始導(dǎo)出的過(guò)程 在Manager中任何的項(xiàng)目都可以將其導(dǎo)出成為一個(gè)文件 使用這個(gè)程序可以對(duì)工作進(jìn)行備份或者將項(xiàng)目從一個(gè)工程移動(dòng)到另一個(gè)工程中 選擇導(dǎo)出文件的類(lèi)型 可以選擇整個(gè)工程或者在一個(gè)工程中的一部分項(xiàng)目 指定導(dǎo)出文件的類(lèi)型 默認(rèn)的 項(xiàng)目被導(dǎo)成一個(gè)文本格式的文件 默認(rèn)的導(dǎo)出文件是 Dsx 格式的 也可以將項(xiàng)目導(dǎo)出成為 XML 格式的文檔 導(dǎo)出的文件目錄是在Datastage的客戶(hù)端 而不是在服務(wù)器 Datastage測(cè)試問(wèn)題一 可以將Datastage工程中的Jobs導(dǎo)出來(lái) 但是卻不能將元數(shù)據(jù)導(dǎo)出 所以不能將元數(shù)據(jù)的定義導(dǎo)出成為一個(gè)文本 Yes No 答案一 No 元數(shù)據(jù)的定義的結(jié)構(gòu) 都存在于 TableDefinitions 中 而表單的定義是可以通過(guò)導(dǎo)入導(dǎo)出流通于各個(gè)工程之間 問(wèn)題二 Datastage工程導(dǎo)出的目的是存放在客戶(hù)端 而不是存放在服務(wù)器 Yes No 答案二 Yes 導(dǎo)出Datastage的項(xiàng)目 在Datastage的Manager的菜單上點(diǎn)擊 Export DatastageComponents 選擇 WholeProject 或根據(jù)需要進(jìn)行選擇 而后進(jìn)行導(dǎo)出 導(dǎo)入Datastage工程 在Manager中 點(diǎn)擊 Import DatastageComponents 選擇要導(dǎo)入的Datastage項(xiàng)目文件 選擇要導(dǎo)入的文件 點(diǎn)擊 ImportAll 開(kāi)始導(dǎo)入或者 ImportSelect 從瀏覽的項(xiàng)目中選擇一個(gè)導(dǎo)入 選擇 OverwriteWithnotQuery 按鈕來(lái)覆蓋那些同名但沒(méi)有警告的項(xiàng)目 導(dǎo)入元數(shù)據(jù) 從Sequential文件中導(dǎo)入格式和列的定義 導(dǎo)入關(guān)聯(lián)表的列的定義 導(dǎo)入Hash文件的列的定義 導(dǎo)入的信息在 TableDefinitions 在Job中Stage可以將表定義進(jìn)行加載進(jìn)來(lái) 表格定義對(duì)于一些變化的數(shù)據(jù)文件和表單進(jìn)行格式的定義 這些定義可以重復(fù)的是用于設(shè)計(jì)的Jobs 來(lái)指定數(shù)據(jù)的格式 舉例 可以導(dǎo)入 Customers txt 文件的格式和列的定義 可以將其加載到源的 SequentialStage 中 表示Job是從 Customers txt 中抽取數(shù)據(jù) 可以加載這些相同的元數(shù)據(jù)到其它的Stage中 用來(lái)訪問(wèn)同樣格式的數(shù)據(jù) 可以感覺(jué)到 元數(shù)據(jù)是可以再度使用的 它可以被用于格式相同的文件和數(shù)據(jù)上 如果需要的列定義很相似 可以編輯定義并將其保存在一個(gè)新的名字下面 也可以使用不同類(lèi)型的數(shù)據(jù)相同的表單定義使用同樣的格式 舉例 可以導(dǎo)入一個(gè)表單定義從一個(gè) Sequential 文件 并使其指定一個(gè)ODBC的表單的格式 可以清楚地看到元數(shù)據(jù)在格式定義上是寬松靈活的 可以導(dǎo)入和定義幾個(gè)不同類(lèi)型的表單定義 包括 Sequential 文件 ODBC數(shù)據(jù)源 Hash文件和全部的表單 Sequential文件導(dǎo)入過(guò)程 在DatastageManager中 點(diǎn)擊 Import TableDefinitions SequentialFileDefinistions 選擇指定的 Sequential 文件的目錄和名稱(chēng) 選擇Manager的分類(lèi) 檢查格式和列定義和編輯必要的信息 要開(kāi)始導(dǎo)入 點(diǎn)擊 Import TableDefinitions SequentialFileDefinitions ImportMetaData Sequential 窗體會(huì)出現(xiàn) 選擇目錄中包含的Sequential文件 在文件的列表中選擇需要導(dǎo)入的文件 選擇文件進(jìn)行導(dǎo)入 選擇指定的類(lèi)別 即文件夾 進(jìn)行導(dǎo)入1 格式為 類(lèi)別 子類(lèi)別 2 是在TableDefinitions下的第一級(jí)子目錄 3 是在目錄下的另外一層 在Manager中定義結(jié)構(gòu) 在Manager中 選擇 TableDefinition 的包含的類(lèi)別 在 TableDefinition 上雙擊 打開(kāi) TableDefinition 的窗口 單擊 Columns 的頁(yè)框?yàn)g覽和編輯列的定義 選擇 Format 頁(yè)框來(lái)編輯文件的格式說(shuō)明 導(dǎo)入Sequential元數(shù)據(jù)過(guò)程 加載表結(jié)構(gòu)定義 在導(dǎo)入了Sequential元數(shù)據(jù)結(jié)構(gòu)后 可以將元數(shù)據(jù)的結(jié)構(gòu)加載到 SequentialStage 中 第六章操作關(guān)聯(lián)數(shù)據(jù) 下面的講解中 將可以了解到 設(shè)置ODBC連接來(lái)關(guān)聯(lián)數(shù)據(jù)庫(kù) 導(dǎo)入關(guān)聯(lián)的元數(shù)據(jù) 從關(guān)聯(lián)表中抽取數(shù)據(jù) 加載數(shù)據(jù)到關(guān)聯(lián)表 操作關(guān)聯(lián)數(shù)據(jù) 在關(guān)聯(lián)的源數(shù)據(jù)表單中抽取 過(guò)濾 轉(zhuǎn)換數(shù)據(jù) 加載數(shù)據(jù)到關(guān)聯(lián)表單中 通過(guò)ODBCStage來(lái)進(jìn)行連接 支持用戶(hù)定義SQL 可以對(duì)關(guān)系型數(shù)據(jù)執(zhí)行就像對(duì)Sequential數(shù)據(jù)那樣的任務(wù) 可以對(duì)關(guān)系型數(shù)據(jù)表進(jìn)行抽取 過(guò)濾 轉(zhuǎn)換數(shù)據(jù) 也可以向關(guān)系型表單中加載數(shù)據(jù) 雖然可以通過(guò)本機(jī)得到驅(qū)動(dòng)來(lái)操作一些關(guān)系型數(shù)據(jù)庫(kù) 但Oracle等 也可以使用ODBC來(lái)訪問(wèn)這些關(guān)系型數(shù)據(jù)庫(kù) 使用ODBCStage 既可以指定在一個(gè)或多個(gè)表的關(guān)聯(lián)查詢(xún) 也可以定義查詢(xún) 還可以粘貼已經(jīng)存在的查詢(xún) 設(shè)置一個(gè)ODBC連接 在通過(guò)ODBC來(lái)訪問(wèn)數(shù)據(jù)之前 一定要先定義一個(gè)ODBC的數(shù)據(jù)源 在Windows中 在控制面板中定義并使用32位的ODBC數(shù)據(jù)源 ODBC數(shù)據(jù)源控制 有好幾個(gè)頁(yè)框 對(duì)于DataStage 我們需要將數(shù)據(jù)源定義在 系統(tǒng)DSN 中 而不是 用戶(hù)DSN 中 可以從dataStage安裝盤(pán)中 安裝更多的通用的關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)的驅(qū)動(dòng) 點(diǎn)擊 添加 來(lái)定義一個(gè)數(shù)據(jù)源 點(diǎn)擊 添加 后 會(huì)顯示出一系列的驅(qū)動(dòng)列表 選擇適當(dāng)?shù)尿?qū)動(dòng)而點(diǎn)擊 完成 不同關(guān)系型數(shù)據(jù)庫(kù)有不同的意圖 在這個(gè)例子中 定義一個(gè) MicrodoftAccess 作為數(shù)據(jù)源 1 在 數(shù)據(jù)源名稱(chēng) 輸入框中定義數(shù)據(jù)源的名稱(chēng) 2 點(diǎn)擊 選擇 選擇一個(gè)存在的數(shù)據(jù)庫(kù) 定義一個(gè)連接 3 點(diǎn)擊 創(chuàng)建 針對(duì)這個(gè)數(shù)據(jù)庫(kù)定義一個(gè)連接 導(dǎo)入ODBC元數(shù)據(jù) 從ODBC數(shù)據(jù)中導(dǎo)入表單定義 類(lèi)似于從 Sequntial 文件中導(dǎo)入結(jié)構(gòu)定義 在Manager中點(diǎn)擊菜單 Import TableDefinitions ODBCTableDefinitions 開(kāi)始進(jìn)行導(dǎo)入 DSN 列表顯示出DataStage服務(wù)端定義的數(shù)據(jù)源 選擇需要導(dǎo)入的數(shù)據(jù)源 如果需要 需要數(shù)據(jù)用戶(hù)名和口令 這時(shí) ImportMetadata 窗口顯示出來(lái) 列表顯示出數(shù)據(jù)庫(kù)中所有可以用到的表單 可供導(dǎo)入 選擇一個(gè)或多個(gè)表單核導(dǎo)入的列別 點(diǎn)擊 OK 即可 抽取關(guān)系型數(shù)據(jù) 從關(guān)系型數(shù)據(jù)庫(kù)表單中抽取數(shù)據(jù) 類(lèi)似于從一個(gè) Sequential 文件中抽取數(shù)據(jù) 除了使用ODBC的Stage代替了Sequential的Stage 在這個(gè)例子里 從一個(gè)關(guān)系型數(shù)據(jù)表單中抽取數(shù)據(jù) 加載到一個(gè) Sequential 文件中 設(shè)置ODBC的Stage 在ODBCStage的 General 頁(yè)框中 在 DataSourceName 輸入框中指定ODBC數(shù)據(jù)源名稱(chēng) 或輸入變量 可以點(diǎn)擊 GetSQLInfo 按鈕 重新從ODBC數(shù)據(jù)庫(kù)中獲得標(biāo)志和分割符 顯示表單列表 在 Outputs 頁(yè)框中的 General 頁(yè)框中 指定表單的名稱(chēng) 選擇 GeneralQuery 來(lái)定義SQL的聲明 在 Columns 和 Selection 頁(yè)框中選擇 User definedSQLQuery 來(lái)寫(xiě)自定義的SQL來(lái)連接數(shù)據(jù)庫(kù) 加載列定義 在 Columns 頁(yè)框iuazhong加載