級(jí)數(shù)據(jù)實(shí)踐之kettle基礎(chǔ)

工作，以及主要負(fù)責(zé)2PB級(jí)別實(shí)時(shí)計(jì)算平臺(tái)建設(shè)和600TB級(jí)別大數(shù)據(jù)平臺(tái)升級(jí)、優(yōu)化。 數(shù)據(jù)庫(kù)（記錄數(shù)<1000W，記錄數(shù)>10000W）提供海量數(shù)據(jù)、批處理、實(shí)時(shí)查詢能力，如適應(yīng)數(shù)據(jù)準(zhǔn)備、連續(xù)批處理、提供海量數(shù)據(jù)實(shí)時(shí)計(jì)算能力，如適應(yīng)系統(tǒng)、實(shí)時(shí)分析、實(shí)時(shí)推薦等業(yè)務(wù)場(chǎng)景；（3）提供海量數(shù)據(jù)交互式能力，如適應(yīng)報(bào)表、下鉆、數(shù)據(jù)可視化、數(shù)據(jù)探WHYWENEED定義：ETL分別是“ExtractTransform“Load”三個(gè)單詞的首字母縮寫(xiě)。 OS：Windows/Linux32/64BIT安裝java環(huán)境1.6或以上版本 WindowsPDI執(zhí)行Spoon.batLinux平臺(tái)運(yùn)行PDI執(zhí)行spoon.sh沒(méi)有日志：不顯示任務(wù)輸出錯(cuò)誤日志：僅僅顯示錯(cuò)誤輸出最小日志：使用最小的日志基本日志：缺省的日志級(jí)別調(diào)試日志：調(diào)試日志的輸出單機(jī)運(yùn)行方 比如配合Addsequence可以生成一個(gè)指定序號(hào)的數(shù)據(jù)列。Tableoutput：輸出到目的表。XMLOutput：xml文件輸出。ExcelOutput：ExcelSelectvalues：Filterrows：sql語(yǔ)句現(xiàn)有rowsjoin)，可以生成序列表，如日期維度表(年、月、日)。JoinRows：對(duì)所有輸入流做笛卡兒乘積。JavaScriptvalue：使用mozilla的rhino作為 發(fā)送falsefalseTrue和false步驟必須指定。OutputStreamOutputStreamInputStream:一個(gè)InputStream是進(jìn)入一個(gè)步驟時(shí)的行的堆棧。 JobEntry:一個(gè)JobEntryHop:一個(gè)Hop代表兩個(gè)步驟之間的一個(gè)或者多個(gè)數(shù)據(jù)流。一個(gè)Hop總是代表著兩個(gè)JobEntryJobEntry設(shè)置，無(wú)條件