KETTLE組件介紹與使用

1、KETTLE組件介紹與使用4.1 Kettle 使用Kettle 提供了資源庫的方式來整合所有的工作，；1）創(chuàng)建一個(gè)新的transformation ，點(diǎn)擊保存到本地路徑，例如保存到件名為 Trans， kettle 默認(rèn) transformation 文件保存后后綴名為ktr ；D:/etltest下，保存文2）創(chuàng)建一個(gè)新的job ，點(diǎn)擊保存到本地路徑，例如保存到kettle 默認(rèn) job 文件保存后后綴名為kjb ；D:/etltest下，保存文件名為Job，4.2 組件樹介紹的主對(duì)象樹和核心對(duì)象分別如下圖：Transformation 中的節(jié)點(diǎn)介紹如下：Main Tree ：菜單列出的是

2、一個(gè)transformation 中基本的屬性，可以通過各個(gè)節(jié)點(diǎn)來查看。DB 連接 ：顯示當(dāng)前transformation中的數(shù)據(jù)庫連接，每一個(gè)transformation的數(shù)據(jù)庫連接都需要單獨(dú)配置。Steps：一個(gè) transformation 中應(yīng)用到的環(huán)節(jié)列表Hops：一個(gè) transformation中應(yīng)用到的節(jié)點(diǎn)連接列表核心對(duì)象 菜單列出的是 transformation 中可以調(diào)用的環(huán)節(jié)列表，可以通過鼠標(biāo)拖動(dòng)的方式對(duì)環(huán)節(jié)進(jìn)行添加：Input ：輸入環(huán)節(jié)Output ：輸出環(huán)節(jié)Lookup ：查詢環(huán)節(jié)Transform ：轉(zhuǎn)化環(huán)節(jié)Joins：連接環(huán)節(jié)Scripting ：腳本環(huán)節(jié)的主

3、對(duì)象樹和核心對(duì)象分別如下圖：Main Tree 菜單列出的是一個(gè)Job 中基本的屬性，可以通過各個(gè)節(jié)點(diǎn)來查看。DB 連接 ：顯示當(dāng)前Job 中的數(shù)據(jù)庫連接，每一個(gè)Job entries/ 作業(yè)項(xiàng)目 ：一個(gè) Job 中引用的環(huán)節(jié)列表Job 的數(shù)據(jù)庫連接都需要單獨(dú)配置。核心對(duì)象 菜單列出的是 Job 中可以調(diào)用的環(huán)節(jié)列表， 可以通過鼠標(biāo)拖動(dòng)的方式對(duì)環(huán)節(jié)進(jìn)行添加。每一個(gè)環(huán)節(jié)可以通過鼠標(biāo)拖動(dòng)來將環(huán)節(jié)添加到主窗口中。并可通過shift+ 鼠標(biāo)拖動(dòng)，實(shí)現(xiàn)環(huán)節(jié)之間的連接。4.3 使用舉例 1建立轉(zhuǎn)換選中列表中的的“表輸入” 、“表輸出”、“插入 / 更新”，拖拽到右側(cè)工作區(qū)。鼠標(biāo)選中節(jié)點(diǎn)鍵盤按 shift

4、鍵，拖拽即可連線。下圖是一個(gè)轉(zhuǎn)換，有兩個(gè)動(dòng)作，一是直接從數(shù)據(jù)源表同步數(shù)據(jù)到目標(biāo)表，一是檢查源表的插入和更新，同步到目標(biāo)表。黑色線為生效，灰色線為失效，節(jié)點(diǎn)和連接可雙擊進(jìn)行編輯。可預(yù)覽數(shù)據(jù)是否正確。雙擊編輯表輸出動(dòng)作。操作的數(shù)據(jù)庫名要獲取的字段設(shè)置如下所示：點(diǎn)擊“ Enter field mapping/ 輸入字段映射”進(jìn)行字段選擇。選擇要用的字段后點(diǎn)確定，注意字段的約束條件。編輯好后點(diǎn)擊上面的執(zhí)行即可。左側(cè)參數(shù)暫不說明，執(zhí)行完成后可以觀看下方的日志。雙擊編輯“插入/ 更新”動(dòng)作。然后點(diǎn)擊運(yùn)行。執(zhí)行前， 在源庫里加條新紀(jì)錄。磁盤地址C: etl2.ktr 。確定作業(yè)執(zhí)行正常后可以保存作業(yè)，如保存

5、路徑到本地建立執(zhí)行的 JOB/作業(yè)建立 JOB的前提是有可以完整執(zhí)行的作業(yè)，上面步驟定制的作業(yè)進(jìn)行保存。從左側(cè)列表拖拽“START”，“Success”，“轉(zhuǎn)換”， “發(fā)送 ”到工作區(qū)并連接，如下圖。然后雙擊“ START”動(dòng)作進(jìn)行編輯。然后雙擊編輯“Transformation ”活動(dòng)。轉(zhuǎn)換文件名選擇上一步編輯好的.ktr 文件雙擊發(fā)送，參數(shù)設(shè)置如下：編輯完成后直接點(diǎn)擊運(yùn)行即可。運(yùn)行后查看日志。當(dāng)任務(wù)執(zhí)行以后可以查看相對(duì)應(yīng)的日志，也可自行配置日志。4.4 使用舉例 2本例是完成讀取目錄下的.log 文件，找出其中包含錯(cuò)誤代碼的行，并統(tǒng)計(jì)個(gè)數(shù)新建 Transformation本例所用到的步驟和

6、組件如下圖所示：連接圖如下所示：a)獲取文件名設(shè)置如下：其中已選擇的文件名稱的變量都需要手寫輸入， 可以點(diǎn)擊顯示文件名和預(yù)覽記錄檢查是否配置正確。b)文本文件輸入設(shè)置如下：文本文件輸入選項(xiàng)中選擇從 上一步驟獲取文件名， 其中 在輸入里的字段被當(dāng)做文件名一欄輸入 uri ，步驟讀取的文件名來自 填寫獲取文件名 2 容選項(xiàng)卡的設(shè)置如下：文件類型選擇CSV，分隔符自己定義，格式為mixed ，編碼方式選擇UTF-8字段選項(xiàng)可設(shè)置如下：需要手寫輸入str 名稱，設(shè)置類型為Stringc)獲取字符串設(shè)置如下：d)測試腳本設(shè)置如下其中可以點(diǎn)擊獲取變量和測試腳本來測試腳本的正確性點(diǎn)擊測試腳本界面如下：腳本代碼由JavaScript 編寫e)聚合記錄聚合記錄就是將上一步的結(jié)果進(jìn)行聚合， 這里的名稱字段是點(diǎn)擊獲取字段獲取的，己輸入的， new name 一列是制定新名字，可以自己輸入填寫，而不是自f) 文本文件輸出文本文件的輸出設(shè)置如下，其中字段屬性的設(shè)置名稱字段是點(diǎn)擊獲取字段自動(dòng)獲取的，不是