




版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
1、DataServices培訓總結-操作手冊目錄一、DS簡介二、DS數據力口載方式 三、DS進行數據抽取模型開發(fā)的基本過程 四、DS創(chuàng)建數據源系統(tǒng)和目標系統(tǒng)的數據存儲 1、Oracle數據庫作為數據源系統(tǒng) 2、ECC乍為數據源系統(tǒng)3、HAN徽據庫作為目標系統(tǒng) 五、全量力口載過程 1、倉U建 Project 和 Job2、導入源表的元數據到資源庫 3、創(chuàng)建 Data Flow 4、設置源表和目標表 5、手工執(zhí)行 Job六、基于表比較的增量加載 1、在Job下定義工作流 2、在工作流中定義數據流 3、力口入 Table Comparison 控件4、設置 Table Comparison 控件七、基
2、于時間戳的增量加載 1、在Job下定義工作流 2、定義Script控件3、定義處理新增數據的數據流和處理更新數據的數據流.八、DS中常用控件介紹1、Key Generation 2、Case3、Merge4、Validation 5、設置過濾器和斷點 九、定義 Job 定期執(zhí)行 1、登錄 Data Services Management Console 2、定義 Batch Job Schedules 十、其他注意事項一、DS簡介SAP BusinessObjects Data Services 是通過 SAP HANAI證的 ETL工具。 采用數據批量處理的方式,定期執(zhí)行后臺作業(yè),將數據從多
3、個業(yè)務系統(tǒng)中抽取出來,并進行必要的處理(轉換,合并,過濾,清洗) ,然后再加載到HAN徽據庫中。DS的組件之間的關系:Management Consol :管理控制臺是網頁版DS管理工具,可以進行一些系統(tǒng)配置和定義Job執(zhí)行Designer :Designer是一個具有易于使用的圖形用戶界面的開發(fā)工具。它允許開發(fā)人員定義包括數據映射,轉換和控制邏輯的數據管理應用程序,創(chuàng)建包含工作流(作業(yè)執(zhí)行定義)和數據流(數據轉換定義)的應用程序Repository :應用程序設計器使用的本地資源庫用來存儲Data Services 對象(如項目,作業(yè),工作流,和數據流)的定義和源和目標的元數據Job ser
4、ver :作業(yè)服務器啟動數據移動的從多個不同種類的源集成數據的引擎,執(zhí)行復雜的數據轉換,并管理從ERP系統(tǒng)和其他源的抽取和事務2、 DS 數據加載方式全量加載增量上載a) 基于表比較作業(yè)在執(zhí)行時讀取數據源和目標中的全部數據,在服務器的內存中進行比較,計算數據差異b) 時間戳增量需要在數據源中添加時間戳字段,一般為創(chuàng)建時間和最后修改時間,在抽取作業(yè)中定義對兩個時間戳字段進行對比,符合條件的創(chuàng)建時間條目進行插入,符合條件的修改時間條目進行更新c) 利用數據庫CDC( changed data capture )首先需要開啟數據庫的 CDC服務,為數據庫實例啟用 CDC功能,為源表啟用CDC功能。在
5、這種模式下,DS的增量更新不再直接訪問源表,而是在與源表相關的變更記錄表中讀取增量3、 DS 進行數據抽取模型開發(fā)的基本過程為數據源創(chuàng)建數據存儲導入源表的元數據到資源庫為SAP HANAB標系統(tǒng)創(chuàng)建數據存儲新建DS項目和批量作業(yè)新 建 DS 數 據 流 : 定 義 源 表 和 目 標 表 , 定 義 變 量 、 編 輯 Query 和Map_CDC_Operation執(zhí)行批量作業(yè)4、 DS 創(chuàng)建數據源系統(tǒng)和目標系統(tǒng)的數據存儲1、 Oracle 數據庫作為數據源系統(tǒng)登錄Data Services Designer ,在本地對象庫的數據存儲頁簽中單擊鼠標右鍵,選擇新建菜單創(chuàng)建數據存儲"
6、EAM_TEST在彈出的對話框中輸入 EAM據庫的連接信息2、ECC作為數據源系統(tǒng)同樣在創(chuàng)建 DataStore時,輸入ECC勺連接信息3、HAN徽據庫作為目標系統(tǒng)在創(chuàng)建DataStore時,輸入HAN徽據庫的連接信息五、全量加載過程1、創(chuàng)建Project 和 Job在本地對象庫的project 頁簽中單擊鼠標右鍵,選擇新建菜單,創(chuàng)建項目 “ ERP_D”S。雙擊該項目,在“Project Area ”,可以在該項目下創(chuàng)建Job2、導入源表的元數據到資源庫在本地對象庫的數據存儲頁簽中,選擇源系統(tǒng)的數據存儲,單擊鼠標郵件,選擇“Import By Name",輸入需要導入到資源庫的表名
7、稱。導入成功后,在數據存儲的 table 目錄下可以看到導入的表3、創(chuàng)建Data Flow單擊 “ General ” Job, 在右邊空白區(qū)域單擊鼠標郵件,選擇 “ Add New” -“ Data Flow”4、設置源表和目標表單擊創(chuàng)建的Data Flow ,將需要導入到 HANA據庫中的源表拖入到 Data Flow區(qū)域中,將Data Flow 區(qū)域右側的工具條中的模版表拖入Data Flow 區(qū)域創(chuàng)建模版表輸入模版表名稱、HANA目標系統(tǒng)的數據存儲、HAN峨據庫存放DS抽取數據表的用戶名。連接源表和目標表雙擊模版表,設置“Options ”中的“Use NVARCHAR for VAR
8、CHA” R5、手工執(zhí)行Job選才Jo Job,單擊鼠標右鍵,選擇“ Execute”執(zhí)行成功之后,在 HAN徽據庫中的ERPDSUSER可以看到“ T161T',可以查看數 據表的內容。執(zhí)行過程信息和結果可以在監(jiān)控器中查看。六、基于表比較的增量加載1、在Job 下定義工作流2、在工作流中定義數據流在數據流中定義源表和模版表,執(zhí)行 Job, 執(zhí)行成功之后,在目標系統(tǒng)數據存儲的Template Table 目錄下可以看到創(chuàng)建的模版表3、加入Table_Comparison 控件選擇模版表,單擊鼠標郵件,選擇“Import Table ”。模版表會更新為Tables 目錄下的數據表。通過將
9、轉換- 數據集成中的“Table_Comparison ”控件拖入到數據流中的方式添加“ Table_Comparison ”控件將源表連接“Table_Comparison ”控件, “ Table_Comparison ”控件連接目標表。4、設置Table_Comparison 控件雙擊“ Table_Comparison ”控件,設置相關參數:比較的目標表、表的主鍵,需要比較的字段。當需要比較的字段為空時,會比較所有字段。建議按照需要填寫需要比較的字段,可以加快處理速度。保存后執(zhí)行Job。七、基于時間戳的增量加載1、在Job 下定義工作流在工作流中定義Script 控件,讀取數據抽取后最
10、新的創(chuàng)建時間和更改時間,定義一個處理新增數據的數據流和一個處理更新數據的數據流2、定義Script 控件在 Script 控件中需要使用變量存放讀取的最新的創(chuàng)建時間和最新的更改時間。選擇Job,在工具欄選擇“ Variables ”按鈕,創(chuàng)建全局變量雙擊“Script ”控件,編寫SQL語句,從HAN徽據庫表中讀取最新的創(chuàng)建時間和更改時間3、定義處理新增數據的數據流和處理更新數據的數據流雙擊“EBAN_NeW數據流,加載源表,Query, Map_CDC_Operation控件和目標表雙擊Query, 在輸出字段中增加“ Sequence” 和 “ Operation ”兩個字段?!?Sequ
11、ence”字段使用函數gen_row_num()進行賦值,“Operation ”賦值為 I '在Quey中設置Where條件雙擊 Map_CDC_Operation控件,設置 CDC Columns同樣的方式定義“ EBAN_Upd數據流,在Query的where條件中定義為在 Query 的數據結果中增加“ Sequence” 和 “ Operation ” 兩個字段。“ Sequence”字段使用函數gen_row_num()進行賦值,“Operation "賦值為U'保存后,執(zhí)行Job??梢酝ㄟ^修改源系統(tǒng)數據測試基于時間戳的增量加載。八、DS 中常用控件介紹1
12、、 Key_Generation在源表基礎上為目標表重新生成主鍵在Query中增加“ ID”字段,賦值為0。在 Key_Generation 控件中設置目標表、主鍵字段、主鍵值增加量2、 Case將源表根據規(guī)則進行拆分雙擊 Case 控件,設置拆分條件當 SOURCE = 1時,輸出 SPFLI_1,當 SOURCE =2寸,率出 SPFLI_23、 Merge將具有同樣數據結構的源表進行合并Source,在Query中增加輸出字段Source,賦值為1。在Queryl中增加輸出字段 賦值為2。在Merge中將兩個表的內容合并輸出。4、 Validation提取數據源表中的正確數據,將錯誤數據
13、單獨存放在其他表中雙擊 Validation 控件,設置“Validation Rule ”5、設置過濾器和斷點過濾器和斷點結合使用,用于設置Debug的條件選擇源表到目標表的連接線,單擊鼠標右鍵,選擇Set Filter/Breakpoint ,設置Debug條件(當滿足某種條件時進入斷點,或者在滿足過濾條件的同時執(zhí)行多少條數據后時進入斷點)選擇Job,單擊鼠標右鍵,選擇 Start debug工具欄上的按鈕可以控制執(zhí)行下一條數據、繼續(xù)執(zhí)行、終止DebugDebug過程中進入斷點后,可以一次查看數據加載結果九、定義Job 定期執(zhí)行1、登錄Data Services Management Co
14、nsole單擊工具欄的“Data Services Management Console ”按鈕進入 Data Services Management Console 的登錄界面單擊進入Administrator 界面2、定義Batch Job Schedules在 Batch Job Configuration 頁簽選擇Add Schedules進入批量執(zhí)行Job 的設置界面可以設置每周的某一天執(zhí)行(一周執(zhí)行一次)或則每月的某一天執(zhí)行(一個月執(zhí)行一次) ,也可以設置為每天都執(zhí)行。都選“Recurring ”則會定期循環(huán)執(zhí)行,否則只執(zhí)行一次。可以設置一天執(zhí)行一次,也可以一天執(zhí)行多次,設置開始執(zhí)
15、行時間。上圖中如果設置為一天多次執(zhí)行,開始時間為上午1 點,持續(xù)時間為600 分鐘,間隔時間為360 分鐘,則Job 會在一天的上午1 點和上午6 點各執(zhí)行一次。如果設置時間間隔為240 分鐘,則Job 會在一天的上午1 點、上午5 點和上午9 點各執(zhí)行一次。(總持續(xù)時間不超過10 小時) 。十、其他注意事項1、客戶端安裝包需要注意和服務器 DS版本一致2、在第一次登錄 CMS言息時,無法成功。ping sapdstest 也失敗,需要在 host 文件中添加對應的地址和域名3、 連接 Oracle 數據庫作為數據源時,需要在客戶端上安裝Oracle 客戶端, 設置tnsname.ora文件,設置環(huán)境變量ORACLE_HOMEW重啟服務器;連接HAN徽據庫時,需要安裝 HAN喈戶端4、在連接ECC作為數據源時,需要開啟系統(tǒng)跨客戶端編輯權
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
- 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 公司條線活動方案
- 公司紀念品策劃方案
- 公司精神文明活動方案
- 公司節(jié)日年度策劃方案
- 公司愛心衛(wèi)生間活動方案
- 公司節(jié)約能源活動方案
- 公司果園維護活動方案
- 公司求婚驚喜策劃方案
- 公司核心競爭力活動方案
- 公司芽莊旅游策劃方案
- 18 設計緊急避難路線圖(教案)人美版(北京)(2012)美術三年級下冊
- GB 9744-2024載重汽車輪胎
- ISO15614-1 2017 金屬材料焊接工藝規(guī)程及評定(中文版)
- 抖音來客商家門店經營
- 術后鎮(zhèn)痛慢性疼痛癌性疼痛診療標準規(guī)范及作業(yè)流程
- 2022AHA-ACC-HFSA心衰管理指南解讀
- 智慧能源管理云平臺方案智慧能源綜合服務方案智慧能源管理系統(tǒng)方案38-82
- 云計算和邊緣計算在工業(yè)互聯網中的融合
- 24年海南生物會考試卷
- 中南大學學科發(fā)展與規(guī)劃處
- 高危孕產婦管理課件培訓
評論
0/150
提交評論