Informatica開發(fā)手冊

1、 深圳法本信息技術股份有限公司部門集市以及客服集市Informatica開發(fā)手冊 更新歷史：版本號更新人更新日期更新內容V0.1Anwha.huang(黃愛華)2015-04-23創(chuàng)建目錄部門集市以及客服集市Informatica開發(fā)手冊1一、Mapping開發(fā)31.源表（文件）結構導入32.目標表(文件)結構導入63.Mapping開發(fā)83.1.命名規(guī)則83.2.源表83.3.目標表83.4.參數定義83.5.表達式轉換器（客服）93.6.調度存儲過程（客服）10二、Workflow/Session開發(fā)111.Workflow/Seesion命名規(guī)則112.Workflow參數設定113.S

2、ession源文件設置123.1.源文件名稱設置123.2.源文件路徑設置123.3.核實源文件分隔符、語言環(huán)境設置124.Session目標表設置144.1.目標表名稱144.2.目標表數據裝載方式設置144.3.拒絕文件名設置144.4.目標文件名以及下發(fā)路徑設置（客服）155.存儲過程設置（客服）156.Lookup組件設置157.Session日志存儲數量設置158.Session一次提交的數據量的設置16三、Workflow導出/導入17一、 Mapping開發(fā)1. 源表（文件）結構導入1.1. 常用的數據源類型介紹目前在傳統行業(yè)中，使用Informatica進行ETL作業(yè)的源有兩種

3、，一種是數據庫中的表，一種是指定分隔符存儲的平面文件。源數據類型可以在創(chuàng)建源表的時候，可以進行選擇，包括DB2/ORACL/File等，如下圖：DB2數據庫 文件1.2. 常用的創(chuàng)建源表方式路徑Designer-工具-Source Analyzer-源1） 手工創(chuàng)建:在沒有現成測試文件、數據庫表的情況下，進行手工創(chuàng)建，設置字段名稱，字段類型，源數據類型。Step 1 手工創(chuàng)建源表，點擊“編輯”就可以進入創(chuàng)建源表的相關頁面。Step 2 設置表名，數據庫類型，數據庫名稱之后，雙擊該源表即可編輯該表的列屬性。2）從數據庫導入源結構：根據數據庫中已建好的表，進行導入，注意選擇ODBC數據源，數據庫的

4、賬號、密碼。Step 1 選擇從數據庫導入。Step 2 選擇該表所屬的數據庫，輸入用戶名、密碼以及表名。3）設置文件分隔符和語言環(huán)境：如果是以平面文件作為源數據的，需要設置源文件的分隔符以及語言環(huán)境。Step 1 選擇源表的數據庫類型為：Flat File Step 2 設置平面文件的分割符，語言環(huán)境。2. 目標表(文件)結構導入路徑Designer-工具-Source Analyzer-目標2.1數據庫中的表作為目標表：如果數據庫中有現成的表，則可以直接導入表結構。Step 1 創(chuàng)建目標表是，選擇從數據庫導入的方式。Step 2 選擇需要連接的數據庫，輸入用戶名、密碼以及表名。2.2以導出

5、平面文件作為目標的表:與數據源為平面文件的做法類似，如果數據庫有類似的結構可以直接從數據庫中導入，然后再修改數據庫類型為：Flat File，否則需要手工創(chuàng)建。Step 1 手工創(chuàng)建一個目標。Step 2 創(chuàng)建完成后，數據庫類型選擇Flat File（平面文件類型），并且設置分隔符以及語言環(huán)境。3. Mapping開發(fā)3.1. 命名規(guī)則路徑Designer-映射-創(chuàng)建3.1.1 Mapping的命名規(guī)則是：M_目標表名稱，例如 ：M_TW_CS_ECP_ORDR_ITEM_D3.1.2 在注釋欄里輸入相關的項目信息，包括項目名稱，開發(fā)人員，更新日志等。3.2. 源表從導航器相應的文件夾中，打開

6、源(SOURCE)子文件夾，選擇需要使用的源表，右鍵打開即可。3.3. 目標表從導航器相應的文件夾中，打開目標(TARGET)子文件夾，選擇需要使用的目標表，右鍵打開即可。3.4. 參數定義3.4.1 目前項目中有固定使用的幾個參數，這些參數的值通過Shell腳本進行賦值，在使用的時候可以根據具體的開發(fā)需要進行使用，具體參數名稱如下：$SOUR_FILE_DIR 源文件存放的路徑$SOUR_FILE_NAME 源文件名稱$TAR_TABLE_NAME 目標表名稱$CITY 從源文件名稱中截取的城市代碼，如 GZ(廣州) CZ（潮州）等21$YYMM 從源文件名稱中截取的年月信息，如201504

7、$DD從源文件名稱中截取的日信息，如313.4.2 如果Mapping中需要使用這些參數，則需要在參數設置中，進行創(chuàng)建，注意名稱要一致，類型要用string，長度最好在30以上。路徑工具欄-映射-參數和變量3.5. 表達式轉換器（客服）3.5.1. 新增日期列：部分需求是需要根據源文件的日期，在數據裝載時新增對應的日期列，例如源文件名稱是：TO_E_ECP_FIN_ORDR_ITM_D_20150401，那么該列的值就應該是20150401（使用參數$YYMM和$DD，進行傳遞）3.5.2. 數據類型轉換：不分需求是進行數據類型轉換的，則需要使用INFA自帶的幾個函數進行轉換，如 to_dat

8、e()/to_char()等，具體的使用方法可參考培訓資料。3.5.3. Decode的使用：目前需要通過Decode轉換的主要是根據地市編號，轉換為地市編碼，如001 則轉換為 GZ ，002 則轉換為 CZ。3.5.4. Isnull()的使用：根據需求，需要用于空值判斷時，可以使用該函數。3.6. 調度存儲過程（客服）存儲過程調度，可以直接參閱一下文檔二、 Workflow/Session開發(fā)1. Workflow/Seesion命名規(guī)則路徑Workflow Manager-工作流-創(chuàng)建1.1 Workflow的命名規(guī)則是：WF_+目標表名稱，如：WF_TO_E_ECP_ORDR_BAS

9、E_INF_D1.2 Session的命名規(guī)則是：s_+目標表名稱，如：s_ TO_E_ECP_ORDR_BASE_INF_D1.3 在Workflow注釋欄位上，注明開發(fā)的項目，源和目標以及更新歷史等信息。2. Workflow參數設定路徑工作流-編輯-變量2.1 Workflow的變量使用與Mapping的變量使用原來相同，首先在Workflow中定義相關的變量，然后才能使用。常用的變量以及相關設置可查閱如下截圖：3. Session源文件設置路徑雙擊Session-映射3.1. 源文件名稱設置源文件名稱是根據Shell腳本掃描在指定路徑下的文件信息，根據不同的文件名，調起不同的Workf

10、low，從而將相應的文件名稱作為參數插入到Workflow的參數文件中。所以在開發(fā)的工程中我們是用的源文件名稱即為$SOUR_FILE_NAME。3.2. 源文件路徑設置源文件路徑是根據Shell腳本在調起Workflow時，將路徑作為參數寫入參數文件中，所以在開發(fā)的過程中我們用的源文件路徑即為$SOUR_FILE_DIR。3.3. 核實源文件分隔符、語言環(huán)境設置在Session的映射設置中，如果源文件是平面文件，我們可以在查看并且修改該平面文件的分隔符和語言環(huán)境設置情況，如下圖：Step 1 點擊設置文件屬性Step 2 點擊高級進入相關的設置欄位。4. Session目標表設置4.1. 目

11、標表名稱目標表的名稱是根據源文件的信息和配置表信息，通過Shell在調度相應的Workflow的時候，將目標表作為參數寫入參數文件中。所以我們在開發(fā)過程中使用相應的參數即可，$TAR_TABLE_NAME。4.2. 目標表數據裝載方式設置如果目標表，是有主鍵的情況，在Session目標表設置中一定要設置Normal的方式，如果用bull的方式，則會報錯。4.3. 拒絕文件名設置如果數據在插入數據庫過程中，存在異常無法插入，那么這些將會存放在服務器相應的Reject文件夾下，為了方便查看拒絕文件，統一將拒絕文件名稱命名為：$SOUR_FILE_NAME4.4. 目標文件名以及下發(fā)路徑設置（客服）

12、在客服集市項目中，數據除了入庫之外，還需要導一份數據在指定的目錄下，并指定文件名稱。文件名稱命名方式根據需求進行設置，如下圖所示：5. 存儲過程設置（客服）客服集市有需求，需要調用存儲過程，如何在Session中設置存儲過程，請參閱第一章的3.6小節(jié)。6. Lookup組件設置在開發(fā)過程當中，為了滿足重跑的需要，又沒辦法確認刪除條件的情況下，可通過Lookup的方式開發(fā)。在Session中，Lookup的設置非常簡單，只需將目標表名稱設置為：$TAR_TABLE_NAME即可。7. Session日志存儲數量設置路徑Session-配置對象- Save session log for these