數據倉庫化實施手冊

1、文件：標準數據倉庫標準化實施手冊起草 部門：數據分析事業(yè)部管理 部門：數據分析事業(yè)部起草人：修訂人：審核人：、湯宇航批準 人：發(fā) 布 日 期：2015 年 04 月 15 日修訂頁章節(jié)名稱修訂內容簡述修訂日期修訂前版本號修訂后版本號修訂人批準人1全篇創(chuàng)建2015-04-15V1.0目錄前言. -6-1. 硬件資源確認及環(huán)境檢查. -6-1.1確認服務器硬件資源. -6-1.2檢查數據庫服務器環(huán)境. -8-2. 數據倉庫部署. -11-2.1創(chuàng)建表空間及用戶. -11-2.2數據倉庫安裝. -14-3. 數據抽取部署及運維. -14-3.1標準化 ETL 工具部署. -14-3.1.1.首次部署

2、. -14-3.1.2.部署驗證. -15-3.2標準化 ETL 工具運行. -16-3.2.1.對象初始化（默認索引、數據準備區(qū)、分區(qū)調整） -16-3.2.2.作業(yè)流運行（多個作業(yè)）. -18-3.2.3.作業(yè)運行（單個作業(yè)）. -19-3.2.4.配置初始化或增量流程. -20-3.3抽取日常 -21-3.3.1.數據抽取調度（多個作業(yè)）：. -21-3.3.2.數據抽取調度（單個作業(yè)）：. -22-3.3.3.數據抽取運行（直接運行抽取過程）：. -22-3.4標準化 ETL 工具配置（需要時執(zhí)行配置）. -22-3.4.1.作業(yè)配置. -23-3.4.2.作業(yè)流配置. -27-3.5

3、統(tǒng)計信息收集. -28-4. 部署后驗證. -29-前言為實現快速實施部署，提高工作效率，降低實施成實施流程，特制訂本手冊1. 硬件資源確認及環(huán)境檢查現場實施在進行硬件資源確認及環(huán)境檢查工作前，先整備好基礎環(huán)境準備情況檢查表，表單內容可根據實際情況進行調整，及時將各項結果和存在的問題到表單中，并相關處理。1.1 確認服務器硬件資源1、 驗證服務器連通性根據甲方提供的硬件資源列表，使用 SSH 連接方式，確認所提供的服務器是否可正常連通。2、 檢查服務器主機名：主機名3、 檢查服務器CPU：#cat /prouinfo prosor : 0vendor_id: Genuineel cpu fam

4、ily: 6m42mname:el(R) Xeon(R) CPU E5-2660 0 2.20GHz step7#hostnameahdsj2app014、 檢查服務器內存：5、 檢查服務器磁盤:說明：根據甲方提供的硬件資源列表，按以上方法檢查各服務器的主機名、CPU、內存、硬盤容量是否符合前期規(guī)劃的硬件配置，并到基礎環(huán)境檢查表中。#df k文件系統(tǒng)1K-塊已用可用 已用% 掛載點/dev/sda3163112085371248 10111392 35% /tmpfs76677607667760% /dev/shm/dev/sda1162353 14% /boot/dev/sdb1524288

5、000 10742216 513545784 2% /weblogic#free mtotalusedfreesharedbufferscached Mem:65523-/+ buffers/cache:2371259Swap:409504095cpu MHz : 2693.880cache size: 3072 KB1.2 檢查數據庫服務器環(huán)境1、 檢查數據庫實例名及狀態(tài)：此處為實例名此處為實例狀說明：確認是否符合數據庫參數配置規(guī)范(只需檢查一個節(jié)點)，兩行 Open 說明兩個RAC 節(jié)點實例都是打開狀態(tài)。如果只有一個或沒有 Open 行說明數據庫未處于打開狀態(tài)。2、 檢查數據庫字符集：說明

6、：檢查確認字符集是否與征管系統(tǒng)的數據庫字符集一致 (只需檢查一個節(jié)點)。3、 檢查oracle 用戶環(huán)境變量：#su - oracle#su - oracle$sqlplus / as sysdbaSQL select userenv(language) from dual; USERENV(LANGUAGE)AMERICAN_AMERICA.ZHS16GBK#su - grid$crsctl sus res -t | grep -E .db|Open ora.ahdszcfx.dbONLINEONLINEhcu19-vp02OpenONLINEONLINEhcu20-vp02Open說明：主

7、要檢查 ORACLE_SID 和NLS_LANG 設置是否正確(兩個節(jié)點都要檢查)，如果執(zhí)行如上兩條命令時返回空行，則說明該環(huán)境變量未設置，請在oracle 用戶的.profile（linux 系統(tǒng)為.bash_profile）文件中設置。4、 檢查ASM 磁盤組設置：說明：主要檢查是否符合前期規(guī)劃的數據庫參數配置要求(只需檢查一個節(jié)點)；NAME：ASM 磁盤組名稱；TOTAL_MB：磁盤組空間總量(MB)； FREE_MB：磁盤組剩余空間(MB)。#su - grid$sqlplus / as sysdbaSQL select name,total_mb,free_mb from v$as

8、m_diskgroup; NAMETOTAL_MBFREE_MBOCR_VOTE1536014338FRA542720487084DATA43417604225240$echo $ORACLE_SID ahdszcfx1$echo $NLS_LANGAMERICAN_AMERICA.ZHS16GBK5、 檢查數據庫系統(tǒng)全局區(qū)(SGA)和程序全局區(qū)(PGA)：說明：確認 SGA、PGA 大小是否符合數據庫參數配置規(guī)范(兩個節(jié)點都要檢查)。6、 檢查數據庫連接數設置：說明：#su - oracle$sqlplus / as sysdbaSQL select value from v$paramet

9、er where name = proses; VALUE1000#su - oracle$sqlplus / as sysdba SQL sho parameter gaPGA 大小，要求為物理內存的NAMETYPEVALUE0.14 倍。lock_sgaFALSEpga_aggregate_bigeger8413M pre_page_sgaFALSEsga_max_sizebigeger25280MSGA 大小，要求為物理內存的sga_bigeger25280M0.56 倍。要求至少 1000(兩個節(jié)點都要檢查)。2. 數據倉庫部署2.1 創(chuàng)建表空間及用戶1、 創(chuàng)建表空間：創(chuàng)建以下兩個業(yè)務

10、表空間：TS_DAT_SJZBQ、TS_DAT_SJCK創(chuàng)建以下臨時表空間：TEMP_SJCK2、 創(chuàng)建用戶：創(chuàng)建sjzbq 用戶：- Create the usercreate user SJZBQidentified by sjzbqdefault tablespace TS_DAT_SJZBQtemporary tablespace TEMP_SJCKprofile DEFAULT;- Grant/Revoke role privilegesgrant connect to SJZBQ;grant dba to SJZBQ;grant resource to SJZBQ;- Grant/

11、Revoke system privilegesgrant alter any index to SJZBQ;grant alter any materialized view to SJZBQ;grant alter any table to SJZBQ;grant alter sesto SJZBQ;grant create any index to SJZBQ;grant create any materialized view to SJZBQ;grant create any procedure to SJZBQ;grant create any table to SJZBQ;gra

12、nt create database link to SJZBQ;grant create job to SJZBQ;grant create view to SJZBQ;grant delete any table to SJZBQ;grant drop any index to SJZBQ;grant drop any table to SJZBQ;grant execute any operator to SJZBQ;grant execute any procedure to SJZBQ;grant execute any program to SJZBQ;grant insert a

13、ny table to SJZBQ;grant select any sequence to SJZBQ;grant select any table to SJZBQ;grant unlimited tablespace to SJZBQ;grant update any table to SJZBQ;創(chuàng)建sjck 用戶：- Create the usercreate user SJCKidentified by sjckdefault tablespace TS_DAT_SJCKtemporary tablespace TEMP_SJCKprofile DEFAULT;- Grant/Re

14、voke role privilegesgrant connect to SJCK;grant dba to SJCK;grant resource to SJCK;- Grant/Revoke system privilegesgrant alter any materialized view to SJCK;grant alter any table to SJCK;grant alter sesto SJCK;grant create any materialized view to SJCK;grant create any procedure to SJCK;grant create

15、 any table to SJCK;grant create database link to SJCK;grant create job to SJCK;grant create view to SJCK;grant delete any table to SJCK;grant drop any table to SJCK;grant execute any procedure to SJCK;grant execute any program to SJCK;grant insert any table to SJCK;grant select any sequence to SJCK;

16、grant select any table to SJCK;grant unlimited tablespace to SJCK;grant update any table to SJCK;2.2 數據倉庫安裝按照標準數據倉庫安裝包說明進行即可3. 數據抽取部署及運維3.1 標準化 ETL 工具部署3.1.1. 首次部署標準化ETL 工具版本步驟：從產品實施組（數據團隊）出庫，在 PL/SQL 工具中部署，部署的1、運行創(chuàng)建用戶.sql2、運行創(chuàng)建對象.sql3、運行創(chuàng)建數據.Sql4、導入配置庫文件ETL_REP.pde（Tools-Improt Tables-PL/SQL Develo

17、per）3.1.2. 部署驗證1、確保部署的對象（過程、函數、包）都處于編譯成功狀態(tài)。2、標準化ETL 工具部署以后，確保下列表中的對象都存在。對象類型對象名對象說明包PKG_CTL_LOG日志功能包PKG_CTL_TOOL工具功能包PKG_ETL_QJ期間維度功能包PKG_ETL_S調度功能包PKG_ETL_TAB標準ETL 功能包序列SEQ_CTL_BATCH批號號SEQ_CTL_LOG日志IDSEQ_CTL_STEP步驟ID表T_CTL_FLOW_DEP作業(yè)依賴關系表T_CTL_FLOW_INFO作業(yè)流信息表T_CTL_FLOW_TAB工作流表T_CTL_INDEX_LIST索引生成T_

18、CTL_JOB_INFO作業(yè)信息表T_CTL_LOG_DEP作業(yè)依賴日志表3.2 標準化 ETL 工具運行3.2.1. 對象初始化（默認索引、數據準備區(qū)、分區(qū)調整）1、數據準備區(qū)初始化：首先將需要從源系統(tǒng)抽取的表、用戶名、服務器名，配置到 T_CTL_SJZBQ_LIST 表，然后運行過程PKG_CTL_TOOL.P_CTL_SJZBQ_TABLE，自動在建立數據準備區(qū)建立對應的表及描述、主鍵、索引、審計字段。例子：T_CTL_LOG_FLOW作業(yè)流日志表T_CTL_LOG_S作業(yè)狀態(tài)日志表T_CTL_LOG_STEP作業(yè)步驟日志表T_CTL_PERIOD周期信息表T_CTL_PROS系統(tǒng)信息

19、表T_CTL_SERVER服務器信息表T_ETL_COL_MAP字段信息表T_ETL_TAB_CONF表配置信息T_ETL_TAB_MAP表信息視圖V_CTL_LOG_FLOW作業(yè)流日志視圖V_CTL_LOG_DEP依賴日志視圖V_CTL_LOG_S狀態(tài)日志視圖V_CTL_LOG_STEP步驟日志視圖(1)、配置 T_CTL_SJZBQ_LIST(2)、運行過程在數據準備區(qū)中建立相應的表：beginpkg_ctl_tool.p_ctl_sjzbq_table;end;2、數據倉庫默認索引初始化：T_CTL_INDEX_LIST 包含數據倉庫中默認的索引，運行 PKG_CTL_TOOL.P_CT

20、L_DEFAULT_INDEX，自動在數據倉庫生成表中的索引。命令如下：beginpkg_ctl_tool.p_ctl_default_index;end;3、數據倉庫默認分區(qū)初始化：T_CTL_PART_LIST 包含數據倉庫中默認的分區(qū)表，運行PKG_CTL_TOOL.P_CTL_DEFAULT_PART，自動在調整數據倉庫的表為分區(qū)表。命令如下：beginpkg_ctl_tool.p_ctl_default_part;end;SOURCE_OWNERSOURCE_TABSOURCE_SERVERCREATE_FLAGENABLE_FLAGHX_DJDJ_NSRXXG3HX013.2.2.

21、 作業(yè)流運行（多個作業(yè)）作業(yè)流為多個作業(yè)的有機集合，作業(yè)之間有依賴關系，運行的方式有兩種方式：正常運行、斷點續(xù)跑。正常運行：PKG_ETL_TAB.P_ETL_S_FLOW（作業(yè)流調度外殼），輸入作業(yè)流 ID，運行即可；作業(yè)流調度外殼會作業(yè)流的并發(fā)數量，以及作業(yè)流中的依賴關系，依次運行，如果無作業(yè)可執(zhí)行或者作業(yè)執(zhí)行完畢，作業(yè)流調度外殼回結束運行。例如：運行納稅信用等級的作業(yè)流，在T_CTL_FLOW_INFO 表找到納稅信用等級對應的flow_id（ETL_NSXYDJ），命令如下：beginpkg_etl_s.p_etl_s_flow(ETL_NSXYDJ,null,null);end;斷點

22、續(xù)跑：PKG_ETL_TAB.P_ETL_S_FLOW（作業(yè)流調度外殼），輸入作業(yè)流 ID，批次類型為 2，批次類型為指定存在的批次號，運行；作業(yè)流調度外殼回作業(yè)流的并發(fā)數量，作業(yè)流依賴日志的依賴關系（對應批次號的歷史依賴），如果執(zhí)行成功的作業(yè)會跳過執(zhí)行，只執(zhí)行歷史中未運行及失敗的作業(yè)。如果無作業(yè)可執(zhí)行或者作業(yè)執(zhí)行完畢，作業(yè)流調度外殼回結束運行。例如：運行納稅信用等級的作業(yè)流，在T_CTL_FLOW_INFO 表找到納稅信用等級對應的flow_id（ETL_NSXYDJ），在 T_CTL_LOG_FLOW 表中找到需要續(xù)跑的BATCH_ID（9867），命令如下：beginpkg_etl_s.

23、p_etl_s_flow(ETL_NSXYDJ,2,9867);end;3.2.3. 作業(yè)運行（單個作業(yè)）當出現異常問題需要單獨調試時，單獨執(zhí)行作業(yè)運行有三種方式：作業(yè)調度外殼調用作業(yè)、標準過程、標準化 ETL過程直接運行作業(yè)調度外殼PKG_ETL_S.P_ETL_S_CALL 直接調用作業(yè)，輸入 i_job_name =作業(yè)名，運行。批次號可以默認為空，但是不能重復歷史存在。作業(yè)調度外殼會有兩個返回值，o_succ_flag 為作業(yè)的成功標志，1 為成功，0 為失敗。o_s_flag 為作業(yè)調度外殼的成功標志，1 為成功，0 為失敗。PKG_ETL_S.P_ETL_S_CALL 將會直接T_

24、CTL_JOB_INFO（作業(yè)信息表）的配置信息，如全量標志、增量時間，結束后根據作業(yè)狀態(tài)進行翻牌操作。先確定需要單獨調試的作業(yè)名（P_SJCQ_TEST_6），運行下面：declare o_succ_flag varchar(1); o_s_flag varchar(1); I_BATCH_ID NUMBER(10);begin I_BATCH_ID := nvl(I_BATCH_ID,SEQ_CTL_BATCH.NEXTVAL); pkg_etl_s.p_etl_s_call(P_SJCQ_TEST_6,I_BATCH_ID,o_succ_flag,o_s_flag);end;標準過程可以

25、直接運行，但是需要輸入增量時間、全量標志，數據開發(fā)規(guī)約定，全量標志為是，默認忽略增量時間，否則使用增量時間。在PL/SQL 中找到對應的過程，TEST，輸入參數，點擊運行標準化ETL過程，首先確保 T_CTL_JOB_INFO（作業(yè)信息表）中的 JOB_TYPE 為標準化ETL，再從 T_ETL_TAB_CONF 中找到對應，如果 PROC_TYPE 為時間戳處理，使用 PKG_ETL_TAB包中的P_ETL_TAB_TIME；如果 PROC_TYPE 為視圖日志處理，使用PKG_ETL_TAB 包中P_ETL_TAB_VIEW；如果 PROC_TYPE 為刷新物化視圖，使用 PKG_ETL_

26、TAB 包中的存的儲P_ETL_TAB_REFRESH； 使用參數的規(guī)則同標準過程。先在T_ETL_TAB_CONF 找到目標表對應JOB_NAME，在從 PKG_ETL_TAB 包中找到對應的存儲過程，TEST，輸入參數，點擊運行。3.2.4. 配置初始化或增量流程作業(yè)流外殼調度、作業(yè)外殼調度是使用到T_CTL_JOB_INFO（作業(yè)信息表）的配置信息，讀取ALL_FLAG、INC_BEGIN_DATE、INC_END_DATE，數據開發(fā)規(guī)約定如果ALL_FLAG 為全量，將忽略INC_BEGIN_DATE、INC_END_DATE，否則使用 INC_BEGIN_DATE、INC_END_D

27、ATE 作為增量范圍。初始化流程如下：通過下列 SQL 找出相關的作業(yè)，或者直接通過 T_CTL_JOB_INFO 找出相關的作業(yè)，將T_CTL_JOB_INFO 的字段ALL_FLAG 改為 1（此流程一般初始化才用到），運行作業(yè)流（見作業(yè)流運行章節(jié)）。select * from T_CTL_JOB_INFO t where t.job_name in(select a.job_name from T_CTL_FLOW_DEP a where a.flow_id = ETL_NSXYDJ)- ETL_NSXYDJ為納稅信用等級的作業(yè)流ID增量流程如下通過下列 SQL 找出相關的作業(yè)，或者直接

28、通過 T_CTL_JOB_INFO 找出相關的作業(yè)，確認T_CTL_JOB_INFO 的字段ALL_FLAG 是否為 0，運行作業(yè)流（見作業(yè)流運行章節(jié)）select * from T_CTL_JOB_INFO t where t.job_name in(select a.job_name from T_CTL_FLOW_DEP a where a.flow_id = ETL_NSXYDJ)- ETL_NSXYDJ為納稅信用等級的作業(yè)流ID標準過程、標準化ETL過程（PKG_ETL_TAB），手動傳入參數運行。數據開發(fā)規(guī)約定如果I_ALL_FLAG 為全量，將忽略 I_BEGIN_TIME、I_

29、END_DATE，否則使用 I_BEGIN_TIME、I_END_DATE 作為增量范圍。見作業(yè)流運行（多個作業(yè)）3.3 抽取日常3.3.1. 數據抽取調度（多個作業(yè)）：通過 PKG_ETL_S.P_ETL_S_FLOW 調度作業(yè)流運行，需要查看下列日志（以下 3 個日志都成功才算成功）：查看作業(yè)流日志視圖V_CTL_LOG_FLOW，按表中的批次號倒序查詢，最新的日志最近一次作業(yè)流運行的統(tǒng)計信息，flow_s最終的狀態(tài)，1 為成功，0 為失敗。us查看作業(yè)狀態(tài)日志表T_CTL_LOG_S，按表中的日志號倒序查詢，最新作業(yè)流中所有的作業(yè)運行狀態(tài)、運行時間、參數。JOB 狀態(tài)（0 為失敗、1 為

30、成功、2 為運行、3 未啟用、4 未運行、5 為超時）。查看作業(yè)步驟日志表T_CTL_LOG_STEP，按表中的步驟號倒序查詢，最新作業(yè)運行的詳細步驟，RUN_CODE、RUN_ERRM了失敗信息。3.3.2. 數據抽取調度（單個作業(yè)）：通過 PKG_ETL_S.P_ETL_S_CALL 調度作業(yè)運行，需要查看下列日志：查看作業(yè)狀態(tài)日志表T_CTL_LOG_S，按表中的日志號倒序查詢，作業(yè)運行狀態(tài)、運行時間、參數。JOB 狀態(tài)（0 為失敗、1 為成功、2 為運行、3 未啟用、4 未運行、5 為超時）。查看作業(yè)步驟日志表T_CTL_LOG_STEP，按表中的步驟號倒序查詢，作業(yè)運行的詳細步驟，R

31、UN_CODE、RUN_ERRM了失敗信息。3.3.3. 數據抽取運行（直接運行抽取過程）：直接運行標準過程、標準化 ETL過程（PKG_ETL_TAB），需要查看下列日志：查看作業(yè)步驟日志表T_CTL_LOG_STEP，按表中的步驟號倒序查詢，作業(yè)運行的詳細步驟，RUN_CODE、RUN_ERRM了失敗信息。3.4 標準化 ETL 工具配置（需要時執(zhí)行配置）如果有新增抽取時，才執(zhí)行以下步驟：先配置作業(yè)信息（作業(yè)信息表或者標準化ETL 相關三張表）配置作業(yè)流信息3.配置作業(yè)之間的依賴關系 作業(yè)配置標準過程：標準過程編譯成功后，只需要配置一張表（T_CTL_JOB_INFO），填寫

32、說明如下：T_CTL_JOB_INFO（作業(yè)信息表）字段名字段填寫說明job_id填寫：號job_name填寫：過程名job_type填寫：1（1過程、2 標準化 etl、3 數據補差異）all_flag增量標志（0 為增量、1 為全量），如果為 1，將忽略 inc_begin_date、inc_end_dateperiod_id周期類型（1 為小時、2 為天、3 為周、4 為月、5 為季、6 為半年、7 為年、0 為最新時間），跟 inc_begin_date、 inc_end_date 的翻牌有直接關系his_date歷史初始日期（使用默認值）back_offset向歷史偏移周期（周期類型

33、為最新時間時，偏移為分鐘，其他情況時跟周期類型一致）front_offset向未來偏移周期（周期類型為最新時間時，偏移為分鐘，其他情況時跟周期類型一致）fail_loop_num使用默認值fail_exec_e使用默認值inc_begin_date使用默認值inc_end_date使用默認值標準 ETL 配置標準化 ETL 配置，通過配置源表和目標表的對應關系、源字段和目標字段的對應關系，由PKG_ETL_TAB 標準化 ETL 功能包實現數據抽取功能，需要配置四張表（T_CTL_JOB_INFO、T_ETL_TAB_CONF、T_ETL_TAB_MAP、T_ETL_COL_MA

34、P）。T_CTL_JOB_INFO，作業(yè)的基本信息，填寫說明如下：T_CTL_JOB_INFO（作業(yè)信息表）字段名字段填寫說明job_id填寫：號job_name填寫：處理環(huán)節(jié) + 目標表名job_type填寫：2（1過程、2 標準化 etl、3 數據補差異）all_flag增量標志（0 為增量、1 為全量），如果為 1，將忽略 inc_begin_date、inc_end_dateperiod_id周期類型（1 為小時、2 為天、3 為周、4 為月、5 為季、6 為半年、7 為年、0 為最新時間），跟 inc_begin_date、 inc_end_date 的翻牌有直接關系his_date

35、歷史初始日期（使用默認值）back_offset向歷史偏移周期（周期類型為最新時間時，偏移為分鐘，PROS_ID處理環(huán)標表所屬層級：具體代碼見T_CTL_PROS）SERVER_ID所屬服務器（源表所屬服務器：具體代碼見 T_CTL_SERVER），數據準備區(qū)的數據歸屬到來源系統(tǒng)enable_flag啟用標記（1 為使用、0 為禁用）T_ETL_TAB_CONF，作業(yè)對應目標表的基本信息，填寫說明如下：T_ETL_TAB_CONF（表配置信息）字段名字段填寫說明TAB_ID表ID（跟 T_CTL_JOB_INFO 的 JOB_ID 保持一致）TAB_BATCH表批次（默認 1，如果來源不同的源

36、表，依次累加批次號）JOB_NAME作業(yè)名（跟 T_CTL_JOB_INFO 的 JOB_NAME 保持一致）PROC_TYPE處理方式（1 為時間戳處理、2 為 DSG 處理、3 為視圖日志處理、4 為自定義 insert、5 刷新物化視圖）_SERVER目標服務器其他情況時跟周期類型一致）front_offset向未來偏移周期（周期類型為最新時間時，偏移為分鐘，其他情況時跟周期類型一致）fail_loop_num使用默認值fail_exec_e使用默認值inc_begin_date使用默認值inc_end_date使用默認值PROS_ID處理環(huán)標表所屬層級：具體代碼見 T_CTL_PROS

37、）SERVER_ID所屬服務器（源表所屬服務器：具體代碼見 T_CTL_SERVER），數據準備區(qū)的數據歸屬到來源系統(tǒng)enable_flag啟用標記（1 為使用、0 為禁用）T_ETL_TAB_MAP，作業(yè)對應源表的關系，填寫說明如下：T_ETL_TAB_MAP（表信息）字段名字段填寫說明tab_id表id（對應 T_ETL_TAB_CONF 的 tab_id）TAB_BATCH表批次（對應 T_ETL_TAB_CONF 的 TAB_BATCH）source_owner源用戶source_tab源名稱source_alias源別名（每個表ID、表批次的源別名唯一）source_server源服

38、務器main_flag主表標志（1 為是、0 為否，每個表ID、表批次只有一個主表，主表必須具備物化視圖日志）mview_flag抽取數據完成后視圖日志標志（1 為清空、0 為無操作）_OWNER目標用戶_TAB目標名稱RELA_COND關聯(lián)條件，類似 where 表間關聯(lián)、過濾條件INC_COND增量條件，類似 where 后面的增量語句CUST_QUERY自定義查詢，單條 insert 且不包含 commit_H目標優(yōu)化提示SOURCE_H源優(yōu)化提示ENABLE_FLAG啟用標記（1 為使用、0 為禁用）暫時不使用T_ETL_COL_MAP，目標表對應源表的字段關系，填寫說明如下：3.4.

39、2. 作業(yè)流配置作業(yè)流信息配置T_CTL_FLOW_INFO，作業(yè)流信息，支持作業(yè)并發(fā)，填寫說明如下：T_ETL_COL_MAP（字段信息）字段名字段填寫說明tab_id表id（對應 T_ETL_TAB_CONF 的 tab_id）TAB_BATCH表批次（對應 T_ETL_TAB_CONF 的 TAB_BATCH）LOOP_ORDER表批次（默認唯一），支持同表不同列到目標表_col目標列source_col源列uk_col_flag唯一鍵標志（1 是、0 否）source_col源列cust_fun自定義函數（如 MAX）GROUP_COL_FLAG分組標志（1 是、0 否）

40、enable_flag啟用標記（1 為使用、0 為禁用）source_clean_type抽取數據完成后源方式（1 無操作、2 增量刪除、3 清空）uk_col唯一鍵列（視圖日志處理模式使用）enable_flag啟用標記（1 為使用、0 為禁用）暫時不使用作業(yè)依賴信息配置T_CTL_FLOW_INFO，作業(yè)流中作業(yè)之間的依賴信息，支持依賴多個作業(yè)，填寫說明如下：3.5 統(tǒng)計信息收集在sjck 用戶下執(zhí)行以下命令（時間可能會比較長）beginT_ETL_COL_MAP（字段信息）字段名字段填寫說明FLOW_ID作業(yè)流 IDJOB_NAME作業(yè)名DEP_JOB_NAME依賴作業(yè)名（開始作業(yè)的依賴作業(yè)名為 0）DEP_TYPE依賴類型（0 為失敗依賴、1 為成功依賴、2 為正常依賴）ENABLE_FLAG啟用標記（1 為使用、0 為禁用）T_ETL_COL_MAP（字段信息）字段名字段填寫說明FLOW_ID作業(yè)流 IDFLOW_NAME作業(yè)流名稱APP_PRODUCT應用產品(如納稅人信用等級系統(tǒng))PARALLEL