Informatica完全快速學(xué)習(xí)手冊(cè)要點(diǎn)

Informatica學(xué)習(xí)快速入門文檔

1 Informatica概述 32 安裝Informatica8.6.1 32.1 服務(wù)端安裝 32.2 客戶端安裝 73 配置管理服務(wù)器 93.1 創(chuàng)建知識(shí)庫(kù)和集成服務(wù) 93.2 客戶端到集成服務(wù)端的連接 124 PowerCenterDesigner學(xué)習(xí) 134.1 概念和基本定義 134.2 Mapping設(shè)計(jì)和組件的使用 154.2.1 實(shí)例一：聚合抽取 154.2.2 實(shí)例二：取TOP前三條記錄 164.2.3 實(shí)例三：抽取XML源 194.3 WorkFlow的設(shè)計(jì)和使用 204.3.1 創(chuàng)建Session 204.3.2 設(shè)計(jì)WorkFlow 224.4 RepositoryManager 23

Informatica概述Informatica一直致力于為客戶提供具有強(qiáng)大的元數(shù)據(jù)管理、數(shù)據(jù)集成和個(gè)性化分析遞送功能的世界通行標(biāo)準(zhǔn)的統(tǒng)一數(shù)據(jù)服務(wù)平臺(tái)。Informatica的基礎(chǔ)設(shè)施產(chǎn)品以可伸縮的、可擴(kuò)展的企業(yè)級(jí)數(shù)據(jù)集成平臺(tái)為特點(diǎn)，并廣泛支持來(lái)自Informatica和其他的領(lǐng)先商務(wù)智能提供商的數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)設(shè)施和分析型應(yīng)用軟件的開(kāi)發(fā)和管理，提供元數(shù)據(jù)管理解決方案，幫助企業(yè)集成、優(yōu)化、審核信息資產(chǎn)以提高運(yùn)營(yíng)效率，增加客戶收益，取得競(jìng)爭(zhēng)優(yōu)勢(shì)。詳見(jiàn)文檔：安裝Informatica8.6.1這里以Informatica8.6.1為例：服務(wù)端安裝找到安裝目錄pc861_win32_x86.zip\Server\Windows\Disk1\InstData\VM下點(diǎn)擊安裝選擇安裝語(yǔ)言，這里以中文版為例點(diǎn)擊下一步，并選擇安裝PowerCenter8.6.1必須選擇事先準(zhǔn)備好的安裝密匙選擇安裝路徑HTTPS配置，配置管理控制臺(tái)與配置管理器的安全通信（如果沒(méi)有使用該端口就采用默認(rèn)）配置好Informatica域并進(jìn)行下一步，取掉為特定用戶啟動(dòng)InformaticaServices，點(diǎn)擊完成安裝客戶端安裝選擇安裝設(shè)置安裝路徑安裝完成后可以看到包含的所有工具配置管理服務(wù)器創(chuàng)建知識(shí)庫(kù)和集成服務(wù)接下來(lái)我們主要是配置知識(shí)庫(kù)管理服務(wù)器，PowerCenter數(shù)據(jù)整合引擎是基于元數(shù)據(jù)驅(qū)動(dòng)的，提供了基于元數(shù)據(jù)驅(qū)動(dòng)的元數(shù)據(jù)知識(shí)庫(kù)（Repository），知識(shí)庫(kù)是PowerCenter的核心。在InformaticaServices啟動(dòng)的的情況下，我們可以通過(guò)管理控制臺(tái)來(lái)操作。從控制臺(tái)里我們可以看到很多選項(xiàng)，我們主要是創(chuàng)建存儲(chǔ)庫(kù)服務(wù)（Repository）和集成服務(wù)，存儲(chǔ)庫(kù)服務(wù)（Repository）存儲(chǔ)所有的ETL元數(shù)據(jù)，包括：源、目標(biāo)表的物理和邏輯元數(shù)據(jù)，ETL轉(zhuǎn)換規(guī)則，知識(shí)庫(kù)用戶權(quán)限，ETL任務(wù)運(yùn)行歷史信息等元數(shù)據(jù)。首先我們創(chuàng)建一個(gè)用于測(cè)試學(xué)習(xí)的存儲(chǔ)服務(wù)器，事先在Oracle中建好要用到的數(shù)據(jù)庫(kù)此處如果無(wú)法創(chuàng)建成功有以下可能：需要設(shè)置環(huán)境變量，將C:\Informatica\PowerCenter8.6.1\Server\bin;C:\Informatica\PowerCenter8.6.1\RepositoryServer\bin;移到Path最前邊代碼頁(yè)一定要如下選擇設(shè)置知庫(kù)鏈接用的數(shù)據(jù)庫(kù)用戶要有DBA角色權(quán)限連接字符串設(shè)置為當(dāng)前的Oracle服務(wù)名接下來(lái)創(chuàng)建集成服務(wù)，因?yàn)榧煞?wù)是依賴于知識(shí)庫(kù)的，注意關(guān)聯(lián)的存儲(chǔ)庫(kù)服務(wù)選擇剛建好的學(xué)習(xí)測(cè)試存儲(chǔ)庫(kù)，存儲(chǔ)庫(kù)默認(rèn)要設(shè)置用戶名和密碼為：Administrator至次我們完成了服務(wù)端的基本配置，服務(wù)端可以對(duì)知識(shí)庫(kù)備份和恢復(fù)等很多功能，也可以建立其相應(yīng)的服務(wù)，這里不再多述！客戶端到集成服務(wù)端的連接我們開(kāi)發(fā)ETL要使用到PowerCenterDesigner工具，詳細(xì)的介紹在概述中有，接下我們配置好Designer與集成服務(wù)的連接:從客戶端工具中打開(kāi)PowerCenterRepositoryManager從菜單上選擇存儲(chǔ)庫(kù)>配置域如下:這樣就連接上集成測(cè)試用例庫(kù)，選擇學(xué)習(xí)測(cè)試用例庫(kù)，從文件夾選項(xiàng)目創(chuàng)建文件夾，相當(dāng)于在集成庫(kù)下的一層子目錄至此，打開(kāi)PowerCenterDesigner就可開(kāi)發(fā)使用了PowerCenterDesigner學(xué)習(xí)概念和基本定義最基本的ETL包括源的定義，目標(biāo)定義，和映射，另外我們還可以創(chuàng)建可以重用的Mapplet。使用到的工具如下源分析器：目標(biāo)設(shè)計(jì)器：映射設(shè)計(jì)：傳輸件設(shè)計(jì)：Mapplet組件設(shè)計(jì)：源分析器是用來(lái)定義源的結(jié)構(gòu)，這里的源雖然是從某個(gè)數(shù)據(jù)庫(kù)導(dǎo)出進(jìn)來(lái)的表結(jié)構(gòu)也可以是某個(gè)XSD定義的XML結(jié)構(gòu)等等，但是僅僅綁定了數(shù)據(jù)庫(kù)類型，并不是指定了鏈接要從那個(gè)數(shù)據(jù)庫(kù)里抽取數(shù)據(jù)。這里我們從菜單可以導(dǎo)入表結(jié)構(gòu)，Informatica提供了ODBC的方式鏈接多種數(shù)據(jù)源我們以一個(gè)DW事實(shí)表為例：同樣我們可以定義目標(biāo)結(jié)構(gòu)，常規(guī)也是導(dǎo)入表結(jié)構(gòu)，我們也可以在Mapping設(shè)計(jì)中自動(dòng)創(chuàng)建目標(biāo)表結(jié)構(gòu)，源定義和目標(biāo)定義中，我們可以對(duì)導(dǎo)進(jìn)來(lái)的表名以及表的結(jié)構(gòu)進(jìn)行修改以滿足我們的設(shè)計(jì)需求，但是我們?cè)赪orkFlow中實(shí)現(xiàn)數(shù)據(jù)抽取中對(duì)應(yīng)的源和目標(biāo)要和此結(jié)構(gòu)相同，如果要滿足變化的源和目標(biāo)，可以通過(guò)Visio設(shè)計(jì)來(lái)轉(zhuǎn)換為Mapping來(lái)實(shí)現(xiàn)。Mapping設(shè)計(jì)和組件的使用PowerCenterDesigner通過(guò)Mapping來(lái)完成從源到目標(biāo)的轉(zhuǎn)換，Mapping設(shè)計(jì)器中包含了大量的轉(zhuǎn)換組件關(guān)于組件詳盡的說(shuō)明，可以打開(kāi)文檔具體學(xué)習(xí)：轉(zhuǎn)換組件一般包含，轉(zhuǎn)換、端口、屬性、以及元數(shù)據(jù)擴(kuò)展轉(zhuǎn)換：可以對(duì)該轉(zhuǎn)換更改名稱和附加具體說(shuō)明。端口：轉(zhuǎn)換組件大都包含轉(zhuǎn)換輸入端口和輸出端口以及特定的操作或表達(dá)式。屬性：該轉(zhuǎn)換組件的特定設(shè)置元數(shù)據(jù)擴(kuò)展：下邊以兩個(gè)實(shí)例來(lái)講解組件的使用實(shí)例一：聚合抽取從源到目標(biāo)，我們中間用聚合組件，對(duì)OWE_CHARGE進(jìn)行SUM并按幾個(gè)維組來(lái)聚合，如下圖：從下圖我們可以看到該組件端口中字段屬包含：I、O、V、表達(dá)式、GroupBy等屬性，對(duì)于OWE_CHARGE字段我們僅設(shè)置輸入，創(chuàng)建自定義屬性端口SUM_OWE_CHARGE，其表達(dá)式為SUM(OWE_CHARGE),對(duì)于維度鍵勾選GroupBy，這樣實(shí)現(xiàn)了細(xì)粒度到粗粒度的聚合每種組件都有自己特定的屬性和特定的端口屬性，我們通過(guò)屬性設(shè)置或表達(dá)式來(lái)實(shí)現(xiàn)組件的特性，不同組件的搭配來(lái)完成整個(gè)Mapping的設(shè)計(jì)實(shí)例二：取TOP前三條記錄源表數(shù)據(jù)目標(biāo)：取Score1TOP前3條記錄、和Score2TOP前3條記錄實(shí)現(xiàn)：對(duì)源表分別用兩個(gè)Rank組件，Rank組件有分組排序取前N或后N條記錄的功能，如下圖端口屬性如下：RankIndex為自動(dòng)產(chǎn)生的Rownum,score1后的R表示以此排序組件屬性設(shè)置如下：top/bottom：取前或后NumberOfRanks：取多少位抽取結(jié)果：實(shí)例三：抽取XML源雇員DTD定義：設(shè)計(jì)如下：導(dǎo)入XML源結(jié)構(gòu)為源，通過(guò)SQ分別將雇員信息分解為雇員表，雇員電話，雇員郵件，雇員薪水，具體設(shè)計(jì)如下圖：WorkFlow的設(shè)計(jì)和使用創(chuàng)建Session在做完Mapping設(shè)計(jì)之后，我們要抽取數(shù)據(jù)，接下來(lái)的任務(wù)就是WorkFlow的設(shè)計(jì)，在WorkFlow設(shè)計(jì)器中，數(shù)據(jù)抽取的基本組件是Session，Session是映射的一個(gè)具體實(shí)例，在創(chuàng)建一個(gè)Session時(shí)必須指定一個(gè)映射，并由這個(gè)Session決定了數(shù)據(jù)抽取的默認(rèn)源和目標(biāo)。我們打開(kāi)WorkFlow設(shè)計(jì)工具，從工具上選擇，這樣我們就可以創(chuàng)建Session，從庫(kù)中選擇已經(jīng)設(shè)計(jì)好的Mapping，確定雙擊已經(jīng)創(chuàng)建好的Session，設(shè)置默認(rèn)的映射，源，以及目標(biāo)實(shí)例，例如在設(shè)計(jì)源的時(shí)候，我們的源是Oracle表結(jié)構(gòu)，在這里相應(yīng)的設(shè)置數(shù)據(jù)庫(kù)連接即可，如果源是文件，則要指定路徑和文件名，我們將源的TracingLevel設(shè)置為Normal，TracingLevel為數(shù)據(jù)抽取監(jiān)控日志的級(jí)別設(shè)計(jì)WorkFlow在完成Session創(chuàng)建后，點(diǎn)擊設(shè)計(jì)工作流，工作流是對(duì)Session在抽取流程上的定制，通過(guò)事件、變量、定時(shí)器、判斷等一系列組件來(lái)實(shí)現(xiàn)。如下圖，我們創(chuàng)建一個(gè)工作流，其中由啟動(dòng)連接到實(shí)例一中映射所實(shí)例的Session，這樣就實(shí)現(xiàn)了工作流接下來(lái)我們啟動(dòng)該WorkFlow從WorkFlowMonitor上可以看到動(dòng)行狀況并查看日志，至此，我們完成典型WorkFlow的開(kāi)發(fā)，在WorkFlow中，對(duì)于可重用的部分，我們可以在中定義，關(guān)于更多的WorkFlow組件使用這里就不在細(xì)述。RepositoryMa