ETL調(diào)度細(xì)節(jié)說明

1、從興BI研發(fā)部BI系統(tǒng)系統(tǒng)調(diào)度運行調(diào)度運行細(xì)節(jié)說明細(xì)節(jié)說明BI培訓(xùn)2022年5月23日從興BI研發(fā)部第2頁調(diào)度程序參數(shù)概述調(diào)度程序參數(shù)概述n調(diào)度系統(tǒng)由schedmanager和schedserv共同組成，兩個程序都有各自的ini配置參數(shù)，通過修改相應(yīng)的參數(shù)，可以控制調(diào)度系統(tǒng)的運行方式和細(xì)節(jié)。nschedmanager啟動的時候會首先讀取schedmanager.ini中的參數(shù)；同樣，schedserv啟動的時候也會從prog.ini中讀取所需的參數(shù)。n除了ini參數(shù)，調(diào)度系統(tǒng)在運行的時候需要的依據(jù)參數(shù)表的參數(shù)和配置來執(zhí)行作業(yè)。nprog.ini必須置于$BIPROG_ROOT/config/下

2、。2022年5月23日從興BI研發(fā)部第3頁INI參數(shù)說明（一）參數(shù)說明（一）nschedmanager.iniucourselayerN=n配置為layerN的作業(yè)最大并行進(jìn)程數(shù)udb2ctlusername=usrname要連接的調(diào)度數(shù)據(jù)庫用戶名ctlpassword=password要連接的調(diào)度數(shù)據(jù)庫密碼ctldbname=dbname要連接的調(diào)度數(shù)據(jù)庫名稱utcpport=portnbr調(diào)度管理程序和調(diào)度程序通信的端口（必須大于1024，否則程序判斷為無效端口號）uthreadmin_thread=3最小線程數(shù)（目前不用）max_thread=5最大線程數(shù)（目前不用）thread_tim

3、eout=600線程超時時間（目前不用）2022年5月23日從興BI研發(fā)部第4頁INI參數(shù)說明（二）參數(shù)說明（二）nprog.ini (*INI文件中調(diào)度不使用的參數(shù)此處不列出)ucoursemaxpathcourse=n最大掃描路徑數(shù)maxfilecourse=n最大掃描文件數(shù)maxonline=n最大在線進(jìn)程數(shù)（只限本機(jī)有效）maxeventsize=n最大事件生成數(shù)filenumperdir=n每路徑最大掃描文件數(shù)minquescan=n(-1)最大隊列掃描數(shù)（-1表示不限）minquefilter=n(-1)最大隊列生成數(shù)（-1表示不限）branchcnt=n機(jī)構(gòu)數(shù)（市公司數(shù)）udb2

4、ctlusername=usrnam要連接的調(diào)度數(shù)據(jù)庫用戶名ctlpassword=pwd要連接的調(diào)度數(shù)據(jù)庫密碼ctldbname=dbnam要連接的調(diào)度數(shù)據(jù)庫名稱2022年5月23日從興BI研發(fā)部第5頁INI參數(shù)說明（三）參數(shù)說明（三）uproghostprogip=ip_addr本機(jī)主機(jī)IPhostname=host_name本機(jī)主機(jī)名（此處配置等同于IP）uerrlogfilefile=path/schedserv.log調(diào)度程序的日志文件uloadstartnode=n裝載起始節(jié)點endnode=n裝載終止節(jié)點maxfilenum=n起裝文件數(shù)maxfilesize=n起裝文件容量ms

5、gpath=path裝載的msg文件路徑logpath=path裝載的log文件路徑dumppath=path裝載的dump文件路徑tmpdumppath=path裝載的臨時dump文件路徑loadstarttime=hh:mm:ss處理裝載作業(yè)的開始時間loadendtime=hh:mm:ss處理裝載作業(yè)的結(jié)束時間loadper=x(x數(shù)據(jù)日期-普通優(yōu)先級來對作業(yè)排序。job_queueparam.dat，記錄了隊列中作業(yè)的參數(shù)，通過inst_id與queue中的作業(yè)形成多對一的關(guān)系。job_childcourse.dat，開出作業(yè)進(jìn)程的狀態(tài)，當(dāng)停機(jī)時候會記錄停機(jī)前所有在線作業(yè)的完成狀態(tài)。j

6、ob_event.dat，記錄了已經(jīng)完成的作業(yè)所產(chǎn)生的事件，當(dāng)事件滿足依賴約束后會形成隊列記錄，并刪除生成該隊列記錄的所有事件記錄。trans.log，記錄了調(diào)度程序的每一個操作，當(dāng)程序被非法終止的時候可以在下次啟動時回滾操作。2022年5月23日從興BI研發(fā)部第12頁作業(yè)運行的條件作業(yè)運行的條件n調(diào)度程序?qū)ψ鳂I(yè)的處理原則上都是文件觸發(fā)的，即掃描為所有作業(yè)的開端。u文件是否掃描可能需要滿足以下某些或全部條件：1）數(shù)據(jù)源生效日期小于當(dāng)前系統(tǒng)時間（即CTL.TA_ETL_DS_DEF中的ds_valid_date）2）數(shù)據(jù)源有效標(biāo)志置為有效（即CTL.TA_ETL_DS_DEF中的ds_valid

7、_flag）3）數(shù)據(jù)源主機(jī)關(guān)系定義條件（即CTL.TA_ETL_DS_HOST中的定義）u一個作業(yè)是否生成隊列記錄可能需要滿足以下某些或全部條件：1）邏輯依賴條件，即CTL.JOB_REF。2）裝載作業(yè)的起裝條件中的至少一個條件（設(shè)待裝文件數(shù)為file_cnt，最大文件數(shù)為max_cnt，已裝文件數(shù)為inst_cnt）：a) file_cnt=起裝文件數(shù)（即prog.ini中的maxfilenum）b) 待裝文件總?cè)萘窟_(dá)到起裝文件容量（即prog.ini中的maxfilesize）c) file_cnt=max_cnt-inst_cntd) file_cnt=(max_cnt-inst_cnt

8、)*起裝文件百分比+1（起裝文件百分比為prog.ini中的loadper）e) 該周期該作業(yè)的max_cnt機(jī)構(gòu)數(shù)（即prog.ini中的branchcnt）u隊列中的作業(yè)是否能運行可能需要滿足以下某些或全部條件：2）時間依賴條件，即CTL.JOB_TIME_REF。3）運行時限條件，即CTL.JOB_LIMIT。4）互斥條件，即CTL.JOB_OPR_OBJ。5）作業(yè)有效條件，即CTL.JOB_DEF中的JOB_VALID_FLAG(1為有效，0為失效)。6）進(jìn)程數(shù)控制條件，即prog.ini中的maxonline值以及CTL.JOB_DEF中該作業(yè)的max_instance。7）分類最大

9、進(jìn)程數(shù)控制條件，即schedmanager.ini中的layerN值。8）無優(yōu)先作業(yè)等待條件。2022年5月23日從興BI研發(fā)部第13頁事件處理和隊列處理事件處理和隊列處理n調(diào)度程序遵循事件觸發(fā)的作業(yè)處理機(jī)制，簡單的說就是根據(jù)依賴表，一個作業(yè)完成后將生成觸發(fā)后續(xù)作業(yè)的事件（通過CTL.JOB_EVENT表傳遞跨主機(jī)的事件）。當(dāng)事件（一個或多個事件記錄）滿足所有邏輯依賴條件的時候?qū)勺鳂I(yè)隊列記錄和相應(yīng)的參數(shù)記錄，同時刪除已成為后續(xù)作業(yè)的事件記錄，最后掃描隊列記錄，執(zhí)行滿足所有運行條件（時間依賴，運行時限，互斥，最大進(jìn)程數(shù)控制，分類進(jìn)程數(shù)控制）的作業(yè)。因此，我們可以得出結(jié)論：1）因各種原因未滿

10、足依賴條件的作業(yè)可以通過補(bǔ)事件記錄和（或）補(bǔ)充假定為已完成作業(yè)的實例、參數(shù)來實現(xiàn)運行該作業(yè)。2）因各種原因未滿足依賴條件的作業(yè)可以通過補(bǔ)隊列記錄和參數(shù)來運行該作業(yè)。3）手工補(bǔ)充的作業(yè)在完成后同樣會生成后續(xù)事件，存在繼續(xù)運行后續(xù)作業(yè)的可能性。4）由于事件的跨主機(jī)特性，一個作業(yè)的所有事件可能來自不同的主機(jī)，因此可以通過CTL.JOB_EVENT來手工添加事件。隊列的處理順序是從上到下掃描記錄，因此當(dāng)我們需要某隊列中的作業(yè)優(yōu)先運行時，必須遵循隊列的排序原則修改指定作業(yè)的優(yōu)先級（即job_queue.dat中的最后一個字段）。2022年5月23日從興BI研發(fā)部第14頁作業(yè)逾期未運行查詢作業(yè)逾期未運行查

11、詢n大部分作業(yè)逾期不能運行是由于前置計數(shù)依賴作業(yè)的計數(shù)不夠，查詢的入口都是從作業(yè)依賴定義表（CTL.JOB_REF）開始。n隊列中的作業(yè)不運行的原因前文已述，按照列出的幾種情況從實際情況判斷可能性最大的一種開始查，即可定位問題。nSCHEDMANAGER提供了同一作業(yè)號時間優(yōu)先等待的機(jī)制，當(dāng)job_queue.dat被刪除了記錄時，有可能出現(xiàn)無限等待的情況，此時可以通過schedconsole輸入4的命令切換SCHEDMANAGER的詳細(xì)日志，通過tail f該日志查詢作業(yè)執(zhí)行申請被拒絕的原因，從而定位錯誤。2022年5月23日從興BI研發(fā)部第15頁人工實現(xiàn)作業(yè)運行人工實現(xiàn)作業(yè)運行n有時候由于

12、升級時間較晚、數(shù)據(jù)源問題、需求緊急等各種原因需要調(diào)度強(qiáng)行運行前置條件不符合的作業(yè)，就需要我們手工干預(yù)。包括：手工添加表CTL.JOB_EVENT記錄和/或CTL.JOB_INST_1記錄手工添加文件job_queue.dat以及job_queueparam.dat的記錄（需要停調(diào)度）。手工添加CTL.JOB_INST_1記錄（滿足時間依賴）手工修正CTL.JOB_INST_2的計數(shù)、touch空文件和/或修正list文件并重新將其放如_EXF。手工添加CTL.JOB_MANUAL和CTL.JOB_MAN_PARAM記錄（例如一經(jīng)應(yīng)急作業(yè)），所添加的對應(yīng)作業(yè)在CTL.JOB_DEF中的manual_flag必須為12022年5月23日從興BI研發(fā)部第16頁運行注意事項運行注意事項n調(diào)度程序在運行的時候應(yīng)該注意