PowerCenter學(xué)習(xí)文檔+說明+手冊

1、1電話：電話SN： 2 產(chǎn)品體系介紹產(chǎn)品體系介紹 產(chǎn)品安裝配置產(chǎn)品安裝配置 系統(tǒng)管理介紹系統(tǒng)管理介紹 開發(fā)六大步驟開發(fā)六大步驟 數(shù)據(jù)轉(zhuǎn)換調(diào)試數(shù)據(jù)轉(zhuǎn)換調(diào)試3INFA產(chǎn)品線產(chǎn)品線4PowerCenter選件選件豐富的豐富的ETL功能功能 Real-Time 實(shí)時(shí)功能 Partitioning 分區(qū)功能 High Availability 高可靠性功能 Pushdown 功能 Enterprise Grid網(wǎng)格功能 Team-based Development 團(tuán)隊(duì)開發(fā)功能 Metadata Exchange 元數(shù)據(jù)交換功能 Unstructured Data 非結(jié)構(gòu)化數(shù)據(jù)

2、功能 Visio 模板Mapping生成器功能 Data Federation 數(shù)據(jù)聯(lián)邦功能 Data Profiling 數(shù)據(jù)質(zhì)量探查功能 異構(gòu)數(shù)據(jù)源，異構(gòu)目標(biāo) 實(shí)現(xiàn)多種緩慢變化維 全局變量及參數(shù)，參數(shù)文件 局部變量，前后記錄比較 條件匯總 異構(gòu)數(shù)據(jù)源關(guān)聯(lián) 行/列轉(zhuǎn)換 靜態(tài)、動態(tài)Lookup支持 ETL事務(wù)處理 自定義SQL Pre SQL和Post SQL 復(fù)用組件 復(fù)用Mapping 調(diào)用存儲過程 調(diào)用外部用戶自定義過程 可視化Debug 強(qiáng)大函數(shù)支持、豐富轉(zhuǎn)換語言 數(shù)據(jù)源為文件列表 Session Recovery 基于多目標(biāo)表約束裝載 錯(cuò)誤數(shù)量控制 FTP 源和FTP目標(biāo) ETL任務(wù)

3、分區(qū) 增量匯總 測試裝載 Bulk Loading External Loader (Oracle、DB2.) 復(fù)用Workflow 功能豐富的Workflow控制 任務(wù)串行、并行控制 基于時(shí)間、事件和指示文件觸發(fā) 任務(wù) Workflow中調(diào)用OS外部命令 Workflow中調(diào)用Email 多ETL Server協(xié)同工作 Informatica 8INFA8系列產(chǎn)品功能情況系列產(chǎn)品功能情況5Informatica客戶端客戶端數(shù)據(jù)源數(shù)據(jù)源ODBCNATIVE目標(biāo)目標(biāo)ODBCNATIVEDomainAdministrator ConsoleUNIX (AIX, HPUX, Solaris, Lin

4、ux) WindowsIntegration ServiceRepository Service-Repository AgentPowerCenter 服務(wù)端服務(wù)端TCP/IPTCP/IPTCP/IPNATIVENATIVE6數(shù)據(jù)源數(shù)據(jù)源源數(shù)據(jù)源數(shù)據(jù)目標(biāo)目標(biāo)已轉(zhuǎn)換數(shù)據(jù)已轉(zhuǎn)換數(shù)據(jù)資料庫資料庫PowerCenter Server來自元數(shù)來自元數(shù)據(jù)的指令據(jù)的指令PowerCenter Server、資料庫、源和目標(biāo)之間的處理路徑、資料庫、源和目標(biāo)之間的處理路徑7 服務(wù)端組件服務(wù)端組件 客戶端組件客戶端組件Informatica Service：PowerCenter服務(wù)引擎Integration

5、Service：數(shù)據(jù)抽取、轉(zhuǎn)換、裝載服務(wù)引擎Repository Service：知識庫Service，管理ETL過程中產(chǎn)生的元數(shù)據(jù)Administratortion Console：用于知識庫的建立與維護(hù)Repository Manager：知識庫管理，包括安全性管理等Desinger：設(shè)計(jì)開發(fā)環(huán)境，定義源及目標(biāo)數(shù)據(jù)結(jié)構(gòu)；設(shè)計(jì)轉(zhuǎn)換規(guī)則，生成ETL映射Workflow Manager：合理地實(shí)現(xiàn)復(fù)雜的ETL工作流，基于時(shí)間、事件的作業(yè)調(diào)度Workflow Monitor：監(jiān)控Workflow和Session運(yùn)行情況，生成日志和報(bào)告8 產(chǎn)品體系介紹產(chǎn)品體系介紹 產(chǎn)品安裝配置產(chǎn)品安裝配置 系統(tǒng)管理

6、介紹系統(tǒng)管理介紹 開發(fā)六大步驟開發(fā)六大步驟 數(shù)據(jù)轉(zhuǎn)換調(diào)試數(shù)據(jù)轉(zhuǎn)換調(diào)試9產(chǎn)品安裝產(chǎn)品安裝 服務(wù)器安裝 客戶端安裝 詳見安裝手冊樣例安裝樣例安裝 數(shù)據(jù)庫準(zhǔn)備 RDBU （資料庫數(shù)據(jù)庫） SDBU （樣例源數(shù)據(jù)庫） TDBU （樣例目標(biāo)數(shù)據(jù)庫） BDBU （樣例參考數(shù)據(jù)庫） 樣例數(shù)據(jù)準(zhǔn)備 樣例參考導(dǎo)入10 產(chǎn)品體系介紹產(chǎn)品體系介紹 產(chǎn)品安裝配置產(chǎn)品安裝配置 系統(tǒng)管理介紹系統(tǒng)管理介紹 開發(fā)六大步驟開發(fā)六大步驟 數(shù)據(jù)轉(zhuǎn)換調(diào)試數(shù)據(jù)轉(zhuǎn)換調(diào)試11 Informatica Server管理管理http:/localhost:6001Domain ManagerNode ManagerRepository Ser

7、vice ManagerIntegration Service ManagerLicense Manager 資料庫內(nèi)容管理資料庫內(nèi)容管理Repository ManagerFolder ManagerPrivilege Manager12 產(chǎn)品體系介紹產(chǎn)品體系介紹 產(chǎn)品安裝配置產(chǎn)品安裝配置 系統(tǒng)管理介紹系統(tǒng)管理介紹 開發(fā)六大步驟開發(fā)六大步驟 數(shù)據(jù)轉(zhuǎn)換調(diào)試數(shù)據(jù)轉(zhuǎn)換調(diào)試13S T ST WF M定義源定義目標(biāo)創(chuàng)建映射定義任務(wù)創(chuàng)建工作流工作流調(diào)度監(jiān)控Designer: Workflow Manager: Workflow Monitor: 14引入源的類型 Relational database

8、Flat file COBOL file XML object Application源分析器Informatica ServiceODBC Mapped DriveNFS MountingLocal DirectorySave Meta Data of Sources:OPB_SRCOPB_SRC_OPB_SRC_FLDOPB_SRC_FLD_15引入目標(biāo)的類型 Relational database Flat file COBOL file XML object Application目標(biāo)分析器Save Meta Data of Targets:OPB_TARGOPB_TARG_OPB_T

9、ARG_FLDOPB_TARG_FLD_ODBC Mapped DriveNFS MountingLocal DirectoryInformatica Service16目標(biāo)目標(biāo)源源轉(zhuǎn)換組件轉(zhuǎn)換組件17Session Task工作目錄工作目錄Task工作區(qū)工作區(qū)181920 產(chǎn)品體系介紹產(chǎn)品體系介紹 產(chǎn)品安裝配置產(chǎn)品安裝配置 系統(tǒng)管理介紹系統(tǒng)管理介紹 開發(fā)六大步驟開發(fā)六大步驟 數(shù)據(jù)轉(zhuǎn)換調(diào)試數(shù)據(jù)轉(zhuǎn)換調(diào)試21目標(biāo)裝載情況目標(biāo)裝載情況經(jīng)過每個(gè)調(diào)試的數(shù)據(jù)流經(jīng)過每個(gè)調(diào)試的數(shù)據(jù)流Flashingyellow SQLindicatorDebugger 模式模式Solid yellow arrow Curre

10、nt Transformationindicator調(diào)試日志調(diào)試日志22 組件介紹組件介紹 Expression組件組件 Filter與與Router Joiner與與Lookup Aggregator組件組件23 Source Qualifier: 從數(shù)據(jù)源讀取數(shù)據(jù) Expression: 行級轉(zhuǎn)換 Filter: 數(shù)據(jù)過濾 Sorter: 數(shù)據(jù)排序 Aggregator: 聚合 Joiner: 異構(gòu)數(shù)據(jù)關(guān)接連接 Lookup: 查詢連接 Update Strategy: 對目標(biāo)編輯 insert, update, delete, reject Router: 條件分發(fā) Sequence G

11、enerator: 序列號生成器24 Normalizer: 記錄規(guī)范化 Rank: 對記錄進(jìn)行TOPx Union: 數(shù)據(jù)合并 Transaction Control: 對裝載數(shù)據(jù)按條件進(jìn)行事務(wù)控制 Stored Procedure: 存儲過程組件 Custom: 用戶自定義組件 HTTP: WWW組件 Java: Java自編程組件4其它應(yīng)用組件其它應(yīng)用組件25Passive組件組件 流入流出組件的行數(shù)不發(fā)生變化 例如：Expression、Lookup、HTTP組件Active組件組件 流入流出組件的行數(shù)會發(fā)生變化 例如：Aggregator、Router、Filter組件PA26聚合函

12、數(shù)聚合函數(shù)字符串函數(shù)字符串函數(shù)轉(zhuǎn)換函數(shù)轉(zhuǎn)換函數(shù)數(shù)據(jù)清洗函數(shù)數(shù)據(jù)清洗函數(shù)日期函數(shù)日期函數(shù)編碼函數(shù)編碼函數(shù)財(cái)務(wù)函數(shù)財(cái)務(wù)函數(shù)數(shù)值函數(shù)數(shù)值函數(shù)數(shù)學(xué)函數(shù)數(shù)學(xué)函數(shù)特有函數(shù)特有函數(shù)判斷函數(shù)判斷函數(shù)用戶自定義函數(shù)用戶自定義函數(shù)2728 組件介紹組件介紹 Expression組件組件 Source Qualifier、 Filter與與Router Joiner與與Lookup Aggregator組件組件29組件功能組件功能 基于行級的數(shù)據(jù)項(xiàng)賦值、修改、計(jì)算 在同行記錄中可新增、減少數(shù)據(jù)項(xiàng)組件類型組件類型 Passive組件應(yīng)用范圍應(yīng)用范圍 數(shù)據(jù)類型轉(zhuǎn)換，例如Expression：to_date(Port1,

13、yyyymmdd) 數(shù)據(jù)項(xiàng)計(jì)算，例如Expression：(Port1+Port2)/Port3 新增變量，例如Expression： i=i+130當(dāng)數(shù)據(jù)項(xiàng)為空時(shí)的默認(rèn)值當(dāng)數(shù)據(jù)項(xiàng)為空時(shí)的默認(rèn)值流入組件的數(shù)據(jù)項(xiàng)流入組件的數(shù)據(jù)項(xiàng)流出組件的數(shù)據(jù)項(xiàng)流出組件的數(shù)據(jù)項(xiàng)組件中定義的變量組件中定義的變量31描述描述將原始客戶信息記錄轉(zhuǎn)換成合格標(biāo)準(zhǔn)的數(shù)據(jù)導(dǎo)入到暫存區(qū)。 源表： customer_east.txt customer_west.txt customer_central.txt目標(biāo)： TDBU.STG_CUSTOMERS要點(diǎn)要點(diǎn)姓與名合并為姓名；電話號碼轉(zhuǎn)換成易讀格式的電話號碼，如：(466)766

14、-283；性別轉(zhuǎn)換，將F 轉(zhuǎn)換成FEMALE、M 轉(zhuǎn)換成MALE、其它轉(zhuǎn)換成UNK；年齡分段，20 歲以下、2029、3039、4049、5060、60 歲以上；解決方案解決方案詳見m_LAB_0132 組件介紹組件介紹 Expression組件組件 Source Qualifier、Filter與與Router Joiner與與Lookup Aggregator組件組件33組件功能組件功能 對流入組件中的記錄數(shù)據(jù)進(jìn)行過濾 類似于關(guān)系型數(shù)據(jù)庫Where應(yīng)用 與Source Qualifier的過濾功能區(qū)別在執(zhí)行位置上組件類型組件類型 Active組件應(yīng)用范圍應(yīng)用范圍 數(shù)據(jù)過濾34流入組件的數(shù)據(jù)

15、項(xiàng)流入組件的數(shù)據(jù)項(xiàng)在日志中顯示詳細(xì)級別在日志中顯示詳細(xì)級別Source Qualifier組件中的過濾條件設(shè)置組件中的過濾條件設(shè)置注意：注意：在在Source Qualifier中的中的User Defined Join、Source Filter、Number of Sorted Ports中定中定義了義了SQL條件，那么，在條件，那么，在Sql Query中就不要在重寫相關(guān)的中就不要在重寫相關(guān)的SQL條件，否則，將不會生效。條件，否則，將不會生效。35組件功能組件功能 對流入組件中的記錄數(shù)據(jù)按照條件進(jìn)行分發(fā) 類似于Java語言中的Switch語句組件類型組件類型 Active組件應(yīng)用范圍應(yīng)

16、用范圍 數(shù)據(jù)分發(fā)36流入組件的數(shù)據(jù)項(xiàng)流入組件的數(shù)據(jù)項(xiàng)37描述描述將暫存區(qū)的客戶信息按照性別分別導(dǎo)入到男、女、性別不明三張表內(nèi)。 源表： TDBU.STG_CUSTOMERS目標(biāo)： TDBU.STG_CUSTOMERS_FEMALE TDBU.STG_CUSTOMERS_MALE TDBU.STG_CUSTOMERS_UNK要點(diǎn)要點(diǎn)償試用Filter組件多種方法對目標(biāo)進(jìn)行裝載解決方案解決方案 詳見m_LAB_0238描述描述將暫存區(qū)的客戶信息按照性別分別導(dǎo)入到男、女、性別不明三張表內(nèi)。源表： TDBU.STG_CUSTOMERS目標(biāo)： TDBU.STG_CUSTOMERS_FEMALE TDBU

17、.STG_CUSTOMERS_MALE TDBU.STG_CUSTOMERS_UNK要點(diǎn)要點(diǎn)使用Router組件對數(shù)據(jù)進(jìn)行分發(fā)比較Filter與Router各種方法的應(yīng)用特點(diǎn)、性能解決方案解決方案詳見m_LAB_0339 組件介紹組件介紹 Expression組件組件 Source Qualifier、 Filter與與Router Joiner與與Lookup Aggregator組件組件40組件功能組件功能 對異構(gòu)數(shù)據(jù)進(jìn)行關(guān)聯(lián)（同構(gòu)關(guān)聯(lián)用Source Qualify組件） 類似于SQL 中的Join語句組件類型組件類型 Active組件應(yīng)用范圍應(yīng)用范圍 2個(gè)異構(gòu)數(shù)據(jù)類型的表關(guān)聯(lián)41同構(gòu)同構(gòu)

18、Joins同種結(jié)構(gòu)數(shù)據(jù)Source Qualify組件從源直接Joinsn個(gè)源可用1個(gè)SQ組件在源中先定義連接關(guān)系異構(gòu)異構(gòu)Joins不同DB或Flat與Flat之間Joiner組件在PowerCenter中Joinsn-1個(gè)Joiner組件在Joiner中定義連接條件42MasterDetailMaster SourceDetail SourceJoinerJoin ResultsJoin條件：Master.ProductID = Detail.ProductID Join條件條件43流入組件的數(shù)據(jù)項(xiàng)流入組件的數(shù)據(jù)項(xiàng)MasterDetail=+MasterDetail=MasterDetail

19、+=MasterDetail+44描述描述將員工信息與員工工資2個(gè)異構(gòu)表關(guān)聯(lián)后，將關(guān)聯(lián)結(jié)果數(shù)據(jù)倒入到暫存區(qū)。源表：Employees_layout結(jié)構(gòu)Employees_list.txt文件目錄Employees_east.txtEmployees_west.txtEmployees_central.txt Salary.txt 目標(biāo)：TDBU.STG_EMPLOYEES要點(diǎn)要點(diǎn)用Joiner組件進(jìn)行Mapping設(shè)計(jì)注意Master與Detail的設(shè)置選擇(關(guān)聯(lián)時(shí)建議將數(shù)據(jù)量少的設(shè)置為關(guān)聯(lián)時(shí)建議將數(shù)據(jù)量少的設(shè)置為Master.)解決方案解決方案詳見m_LAB_0445描述描述將員工信息與員工

20、工資2個(gè)同構(gòu)表關(guān)聯(lián)后，將關(guān)聯(lián)結(jié)果數(shù)據(jù)倒入到暫存區(qū)。源表： SDBU.EMPLOYEES SDBU.SALARY目標(biāo)： TDBU.STG_ EMPLOYEES要點(diǎn)要點(diǎn)用Source Qualify組件進(jìn)行Mapping設(shè)計(jì)注意關(guān)聯(lián)關(guān)系設(shè)置建議建議N個(gè)同構(gòu)數(shù)據(jù)源只需用1個(gè)Source Qualifier組件關(guān)聯(lián)，關(guān)聯(lián)時(shí)建議將在Source設(shè)計(jì)區(qū)將需要關(guān)聯(lián)的源表手工用連線關(guān)聯(lián)起來，在Mapping設(shè)計(jì)區(qū)刪除各個(gè)源所帶的Source Qualifier組件，用一個(gè)新的Source Qualifier組件包含所有源的字段內(nèi)容。解決方案解決方案詳見m_LAB_0546組件功能組件功能對Flat File或

21、數(shù)據(jù)庫根據(jù)關(guān)聯(lián)的條件進(jìn)行查詢返回符合條件的值，否則為空連接關(guān)聯(lián)與非連接關(guān)聯(lián)類似于SQL 中的Join語句組件類型組件類型Passive組件應(yīng)用范圍應(yīng)用范圍查詢文本文件的關(guān)聯(lián)數(shù)據(jù)查詢數(shù)據(jù)庫的關(guān)聯(lián)數(shù)據(jù)47Lookup源源Lookup組件組件查詢條件：ITEM_ID = IN_ITEM_ID PRICE = IN_PRICE流入值查詢輸出值流入值查詢到的值Lookup組件組件組件組件查詢條件：IIF(ISNULL(customer_id),:lkp.MYLOOKUP(order_no),customer_id)是否查詢 Y返回查詢到的值48查詢的數(shù)據(jù)項(xiàng)，返回關(guān)聯(lián)的值查詢的數(shù)據(jù)項(xiàng)，返回關(guān)聯(lián)的值 返回值

22、返回值49描述描述將員工信息去員工工資文本文件查詢員工工資信息，未查到的工資默認(rèn)為0，最后將結(jié)果數(shù)據(jù)倒入到暫存區(qū)。源表：Employees_layout結(jié)構(gòu)Employees_list.txt文件目錄Employees_east.txtEmployees_west.txtEmployees_central.txtSalary.txt目標(biāo)：TDBU.STG_EMPLOYEES要點(diǎn)要點(diǎn)用連接Lookup組件進(jìn)行Mapping設(shè)計(jì)注意Salary（Flat File）的設(shè)置解決方案解決方案詳見m_LAB_0650描述描述將合格的員工信息去員工工資文本文件查詢員工工資信息，未查到的工資默認(rèn)為0，最后將

23、結(jié)果數(shù)據(jù)倒入到暫存區(qū)。源表：Employees_layout結(jié)構(gòu)Employees_list.txt文件目錄Employees_east.txtEmployees_west.txtEmployees_central.txtSalary.txt目標(biāo)：TDBU.STG_EMPLOYEES要點(diǎn)要點(diǎn)用非連接Lookup組件進(jìn)行Mapping設(shè)計(jì)注意Salary（Flat File）的設(shè)置注意數(shù)據(jù)查詢的條件解決方案解決方案詳見m_LAB_0751 組件介紹組件介紹 Expression組件組件 Source Qualifier、 Filter與與Router Joiner與與Lookup Aggrega

24、tor組件組件52組件功能組件功能 對數(shù)據(jù)集進(jìn)行聚合 聚合分有SUM、AVG、Count、Max、Min組件類型組件類型 Active組件應(yīng)用范圍應(yīng)用范圍 分組匯總 平均值、最大值53Group By 選項(xiàng)選項(xiàng)變量和流出數(shù)據(jù)項(xiàng)的表達(dá)式變量和流出數(shù)據(jù)項(xiàng)的表達(dá)式54注意區(qū)別：注意區(qū)別：SUM ( IN_count , IIF ( ID 20, IN_count) )將不符合條件的值默認(rèn)賦值為將不符合條件的值默認(rèn)賦值為nullIIF ( ID 20 , SUM ( IN_count ) )將不符合條件的值默認(rèn)賦值為將不符合條件的值默認(rèn)賦值為055參與參與Group By的字段是否經(jīng)過排序的字段是否經(jīng)

25、過排序參與聚集匯總的變量和輸出參與聚集匯總的變量和輸出數(shù)據(jù)項(xiàng)的表達(dá)式所占內(nèi)存數(shù)據(jù)項(xiàng)的表達(dá)式所占內(nèi)存參與參與Group By的字段所占用的字段所占用的內(nèi)存的內(nèi)存56IDNAMEQUANTITY1北京北京1002上海上海803北京北京904江蘇江蘇905北京北京120IDNAMEQUANTITY1北京北京1003北京北京905北京北京1202上海上海904江蘇江蘇90按北京分組指針按北京分組指針按北京分組指針按北京分組指針不對流入到不對流入到Aggregator組件的數(shù)據(jù)進(jìn)行排序組件的數(shù)據(jù)進(jìn)行排序?qū)α魅氲綄α魅氲紸ggregator組件的數(shù)據(jù)進(jìn)行排序組件的數(shù)據(jù)進(jìn)行排序57描述描述將采購清單按照數(shù)據(jù)

26、倉庫星型設(shè)計(jì)原則進(jìn)行標(biāo)準(zhǔn)化存儲，對貨物庫存量、訂單量和貨物費(fèi)用按照采購編號、貨物品名、代理商、訂單日期、接收日期和發(fā)貨日期進(jìn)行匯總。源表：TDBU.STG_INVENTORY目標(biāo)：TDBU.FACT_INVENTORYLOOKUP表：產(chǎn)品維表為DIM_PRODUCT日期維表為DIM_DATE 要點(diǎn)要點(diǎn)訂單文本文件與產(chǎn)品表的關(guān)聯(lián)匯總前排序分組匯總解決方案解決方案詳見m_LAB_0858 Update Strategy組件組件 User Defined Function Java Transformation組件組件 Stored Procedure組件組件59組件功能組件功能 對流過組件的每一條

27、記錄賦一個(gè)操作標(biāo)志 根據(jù)操作標(biāo)志對目標(biāo)關(guān)系型數(shù)據(jù)庫表生成SQL操作 操作標(biāo)志有DD_INSERT、DD_DELETE、DD_UPDATE、DD_REJECT組件類型組件類型 Active組件應(yīng)用范圍應(yīng)用范圍 數(shù)據(jù)增量更新 對目標(biāo)編輯60對記錄標(biāo)記對記錄標(biāo)記記錄是在當(dāng)前丟棄還是到下個(gè)組件丟棄記錄是在當(dāng)前丟棄還是到下個(gè)組件丟棄61描述描述將暫存區(qū)的發(fā)生變更了的員工信息倒入到員工維表中。 源表： TDBU.STG_EMPLOYEES 目標(biāo)： TDBU.DIM_EMPLOYEES要點(diǎn)要點(diǎn)使用Router組件對數(shù)據(jù)按不同要求進(jìn)行編輯操作償試用一個(gè)Update Strategy組件完成上述功能解決方案解決

28、方案詳見m_LAB_0962 Update Strategy組件組件 User Defined Function Java Transformation組件組件 Stored Procedure組件組件63User Defined Function函數(shù)介紹函數(shù)介紹 用戶自定義函數(shù)可以在Designer中定義，在Expression中使用 可以使用任何有效的函數(shù)（除了Aggregation函數(shù)），也可以使用在同一個(gè)文件夾里的其它UDFs 在FCS中UDFs不支持快捷鍵，也就是說它們只能在自己被創(chuàng)建的文件夾中被訪問組件類型組件類型 用戶自定義函數(shù)UDFs是文件夾級別的對象應(yīng)用范圍應(yīng)用范圍 較少的字

29、段形成的比較復(fù)雜的函數(shù)邏輯 此函數(shù)邏輯在多個(gè)mapping中都使用64User Defined Function65 Update Strategy組件組件 User Defined Function Java Transformation組件組件 Stored Procedure組件組件66組件功能組件功能 調(diào)用現(xiàn)有的java程序，提供java接口 對java程序進(jìn)行編譯，并提供編譯結(jié)果組件類型組件類型 Active or Passive應(yīng)用范圍應(yīng)用范圍 對復(fù)雜的業(yè)務(wù)邏輯如果有寫好的java程序 對于用infa實(shí)現(xiàn)比較麻煩的業(yè)務(wù)邏輯6768 Update Strategy組件組件 User

30、Defined Function Java Transformation組件組件 Stored Procedure組件組件69Stored Procedure組件組件組件功能組件功能 調(diào)用現(xiàn)有的存儲過程 被調(diào)用的存儲過程有無參數(shù)都可 一個(gè)mapping中可調(diào)用多個(gè)存儲過程，并可設(shè)定執(zhí)行順序組件類型組件類型 Active or Passive應(yīng)用范圍應(yīng)用范圍 對復(fù)雜的業(yè)務(wù)邏輯如果有寫好的存儲過程 對于用infa實(shí)現(xiàn)比較麻煩的業(yè)務(wù)邏輯70可以選擇執(zhí)行時(shí)間目標(biāo)表插入數(shù)據(jù)后執(zhí)行71實(shí)例描述實(shí)例描述將原始客戶信息記錄轉(zhuǎn)換成合格標(biāo)準(zhǔn)的數(shù)據(jù)倒入到暫存區(qū)，轉(zhuǎn)換處理在存儲過程中完成 源表： customer_e

31、ast.txt customer_west.txt customer_central.txt目標(biāo)： TDBU.STG_CUSTOMERS解決方案解決方案見存儲過程EMP_INFA_TRANSFORM詳見m_LAB_1372 增量抽取實(shí)例增量抽取實(shí)例 參數(shù)文件控制參數(shù)文件控制 斷點(diǎn)續(xù)傳實(shí)例斷點(diǎn)續(xù)傳實(shí)例 行列轉(zhuǎn)換實(shí)例行列轉(zhuǎn)換實(shí)例73實(shí)例描述實(shí)例描述 對流過組件的每一條記錄賦一個(gè)操作標(biāo)志 根據(jù)操作標(biāo)志對目標(biāo)關(guān)系型數(shù)據(jù)庫表生成SQL操作 操作標(biāo)志有DD_INSERT、DD_DELETE、DD_UPDATE、DD_REJECT解決方案解決方案 全表比較方法 時(shí)間戳方法詳見m_LAB_10 字段壓縮比較

32、PowerExchange74 增量抽取實(shí)例增量抽取實(shí)例 參數(shù)文件控制參數(shù)文件控制 斷點(diǎn)續(xù)傳實(shí)例斷點(diǎn)續(xù)傳實(shí)例 行列轉(zhuǎn)換實(shí)例行列轉(zhuǎn)換實(shí)例75系統(tǒng)級變量系統(tǒng)級變量 SYSDATE系統(tǒng)日期 SESSSTARTTIMESESSION啟動時(shí)間 $SessStartTime 返回Session啟動時(shí)間的字符串值Mapping級參數(shù)與變量級參數(shù)與變量 SETMAXVARIABLE($Variable,value)設(shè)置最大值變量 SETMINVARIABLE($Variable,value)設(shè)置最小值變量 SETVARIABLE($Variable,value)設(shè)置變量值 SETCOUNTVARIABLE($

33、Variable)設(shè)置遞增、減變量文件級參數(shù)與變量文件級參數(shù)與變量 固定格式76從Designer 中的Mappings/Mapplets 菜單中進(jìn)行定義在相應(yīng)的Mapping或Mapplet中進(jìn)行引用即可設(shè)置變量變化類型初始值設(shè)置變量或參數(shù)名稱定義：$類型設(shè)置77全局變量域級服務(wù)變量節(jié)點(diǎn)級服務(wù)處理變量Workflow級變量 優(yōu)先于前幾級定義的變量 78Task參數(shù)文件設(shè)置參數(shù)文件設(shè)置Workflow參數(shù)文件設(shè)置參數(shù)文件設(shè)置79GLOBALSERVICESERVICE PROCESSWORKFLOWSESSION使用范圍執(zhí)行優(yōu)先權(quán)高低低高80Mapping與與Workflow/Worklet之

34、間進(jìn)行變量傳遞之間進(jìn)行變量傳遞81使用不同參數(shù)文件并行運(yùn)行同一個(gè)使用不同參數(shù)文件并行運(yùn)行同一個(gè)Workflow82實(shí)例描述實(shí)例描述對源文本文件名進(jìn)行參數(shù)化對源表名進(jìn)行參數(shù)化對目標(biāo)輸出文本文件名進(jìn)行參數(shù)化對源與目標(biāo)的數(shù)據(jù)庫連接進(jìn)行參數(shù)化對日志文件及路徑進(jìn)行參數(shù)化解決方案解決方案詳見m_LAB_11注意事項(xiàng)注意事項(xiàng)注意變量的命名規(guī)則：特別是固定的前綴83 增量抽取實(shí)例增量抽取實(shí)例 參數(shù)文件控制參數(shù)文件控制 斷點(diǎn)續(xù)傳實(shí)例斷點(diǎn)續(xù)傳實(shí)例 行列轉(zhuǎn)換實(shí)例行列轉(zhuǎn)換實(shí)例84實(shí)例描述實(shí)例描述當(dāng)在數(shù)據(jù)抽取時(shí)，因意外致使數(shù)據(jù)抽取發(fā)生中斷，重新啟動服務(wù)時(shí)仍可從斷點(diǎn)執(zhí)行數(shù)據(jù)抽取解決方案解決方案通過表pm_recovery

35、和PM_TGT_RUN_ID記載最近提交點(diǎn)的位置，當(dāng)session失敗(或停止)后可從斷點(diǎn)處接著裝載數(shù)據(jù)，在monitor中，recover task。在源表數(shù)據(jù)未發(fā)生變化的前提下詳見m_LAB_12監(jiān)控腳本監(jiān)控腳本select * from pm_recovery ;select row_count from pm_recovery ;select * from PM_TGT_RUN_ID;select count(*) from SessionRecovery_Target ;truncate table SessionRecovery_Target ;8586 增量抽取實(shí)例增量抽取實(shí)例

36、參數(shù)文件控制參數(shù)文件控制 斷點(diǎn)續(xù)傳實(shí)例斷點(diǎn)續(xù)傳實(shí)例 行列轉(zhuǎn)換實(shí)例行列轉(zhuǎn)換實(shí)例87實(shí)例描述實(shí)例描述 源數(shù)據(jù)一條記錄有多個(gè)字段格式一樣，經(jīng)過格式化，到目標(biāo)生成多條記錄，并且只保留一個(gè)該格式字段。解決方案解決方案 使用Normalizer組件，實(shí)現(xiàn)列/行轉(zhuǎn)變 詳見m_LAB_14_1 行列轉(zhuǎn)轉(zhuǎn)用Aggregator組件實(shí)現(xiàn)， 詳見m_LAB_14_288 系統(tǒng)性能調(diào)優(yōu)系統(tǒng)性能調(diào)優(yōu) Partition功能功能 89 Source瓶頸瓶頸 Target瓶頸瓶頸 Mapping瓶頸瓶頸 Session瓶頸瓶頸 System瓶頸瓶頸90源為文本文件源為文本文件調(diào)優(yōu)Line Sequential Buffer Length(1024) 源為關(guān)系型數(shù)據(jù)庫源為關(guān)系型數(shù)據(jù)庫在Source Qualify優(yōu)化SQL在源數(shù)據(jù)增加索引增加Database network Packet size當(dāng)DB