數(shù)據(jù)倉庫-ETL開發(fā)流程.ppt

1、NCR-DW2_,張雷勇 上海天正軟件公司,數(shù)據(jù)倉庫-ETL開發(fā)流程,ETL開發(fā) 準備工作,ETL開發(fā) SDM設(shè)計,ETL開發(fā) 腳本開發(fā),ETL開發(fā) 腳本自測,ETL開發(fā) 流程圖,議程,ETL開發(fā) 提交物,議程,ETL上線包示例模板,ETL開發(fā)模板統(tǒng)一和規(guī)范,ETL開發(fā) 依賴關(guān)系配置,ETL開發(fā)流程圖,ETL開發(fā) 準備工作,主要任務： 確定開發(fā)所需資源是否具備 輸入： PDM變更完成，提交 CASENO實體DDL.DDL 完備實施方案，提交 CASENO實施方案計劃表.doc 輸出： 無,ETL開發(fā) SDM設(shè)計,主要任務： 完成SDM設(shè)計開發(fā) 按照SDM開發(fā)規(guī)范，確定實體加載策略，變更內(nèi)容，變

2、更記錄，能夠真實準確反應模型設(shè)計 輸入： SPDB-EDW-LDM.ER1(模型設(shè)計-邏輯模型成果) 變更實體表定義語句(模型設(shè)計-物理模型成果) 實施方案計劃表.doc 輸出： SPDB-DW-ETL-數(shù)據(jù)映射表(SDM)-主題.xls,ETL開發(fā) 腳本開發(fā),主要任務： 初始腳本開發(fā) 周期腳本開發(fā) 變更歷史數(shù)據(jù)處理腳本開發(fā) 變更相關(guān)代碼表開發(fā) 輸入： SPDB-DW-ETL-數(shù)據(jù)映射表(SDM)-主題.xls SPDB-EDW-LDM.ER1 實施方案計劃表.doc 實體DDL.DDL 輸出： 初始/周期/數(shù)據(jù)處理/代碼表腳本/SQL PERL 文件,ETL開發(fā) 腳本自測,主要任務： 開發(fā)人

3、員自測初始腳本 開發(fā)人員自測周期腳本 開發(fā)人員自測數(shù)據(jù)處理腳本 開發(fā)人員自測代碼表腳本 開發(fā)人員自測依賴關(guān)系腳本 輸入： 初始/周期/數(shù)據(jù)處理/代碼表腳本 輸出： 自測文檔.XLS 初始/周期/數(shù)據(jù)處理/代碼表腳本LOG日志文件,ETL開發(fā) 依賴關(guān)系配置,主要任務： 完成 SPDBPDM依賴關(guān)系配置 根據(jù)依賴關(guān)系配置生成知識庫變更SQL 填寫主要參考：SPDB-依賴關(guān)系填寫規(guī)范.doc 輸入： CASENO-依賴關(guān)系配置.xls 輸出： CASENO-依賴關(guān)系SQL.PL CASENO-依賴關(guān)系SQL.LOG,ETL開發(fā)提交物,主要任務： 進行上線資源整合工作 輸入： 初始，周期腳本和數(shù)據(jù)處理

4、腳本 變更視圖腳本 view_ddl.pl 變更代碼表腳本 code_sql.pl 變更初始化腳本 init.pl SPDBPDM依賴關(guān)系配置.xls 特殊上線步驟說明 輸出： CASENO上線包 CASENO上線包上線步驟 CASENO上線包腳本運行LOG日志,ETL開發(fā)上線包示例,主要任務： 主要介紹上線包結(jié)構(gòu)和實施步驟 圖示如下： 實施步驟： 上線影響資源備份 上線知識庫變更操作 上線初始化 上線變更操作 上線臨時資源清理操作 上線回滾操作,ETL開發(fā)上線包示例(續(xù)),主要任務： 主要介紹上線包文件組成 圖示如下：,ETL開發(fā)模板統(tǒng)一和規(guī)范,主要任務： 統(tǒng)一初始和周期開發(fā)腳本模板 統(tǒng)一數(shù)據(jù)處理變更腳本模板 統(tǒng)一應用開發(fā)腳本模板 統(tǒng)一SQL PERL 文件腳本模板 統(tǒng)一上線資源出口 統(tǒng)一SDM設(shè)計文檔模板 規(guī)范SDM填寫 規(guī)范數(shù)據(jù)類型轉(zhuǎn)換 規(guī)范歷史數(shù)據(jù)處理 規(guī)范腳本測試