作業(yè)調(diào)度系統(tǒng)

1、作業(yè)調(diào)度系統(tǒng)內(nèi) 容任務(wù)管理系統(tǒng)概述作業(yè)調(diào)度系統(tǒng)PBS作業(yè)調(diào)度系統(tǒng)作業(yè)調(diào)度系統(tǒng)的使用機(jī)群使用中的問(wèn)題機(jī)群結(jié)構(gòu)的松散性（單一系統(tǒng)映象）節(jié)點(diǎn)類型的差別 （CPU類型、內(nèi)存大小、數(shù)量等）系統(tǒng)資源豐富（節(jié)點(diǎn)/CPU）用戶不同類型的作業(yè)（串行/并行）用戶可以使用資源的限制任務(wù)管理系統(tǒng)的功能單一系統(tǒng)映象機(jī)群松散的結(jié)構(gòu)的整合系統(tǒng)資源整合異構(gòu)系統(tǒng)的整合多用戶的管理用戶提交的任務(wù)的統(tǒng)一安排，避免沖突用戶權(quán)限的管理非授權(quán)用戶的控制任務(wù)管理系統(tǒng)的簡(jiǎn)史任務(wù)管理系統(tǒng)的分類基于進(jìn)程級(jí)別的調(diào)度由機(jī)群中的操作系統(tǒng)或者運(yùn)行時(shí)Runtime內(nèi)部支持，對(duì)運(yùn)行的作業(yè)進(jìn)行監(jiān)控；以實(shí)現(xiàn)機(jī)群內(nèi)的透明調(diào)度、以及自動(dòng)優(yōu)化進(jìn)程的分配和平衡負(fù)載 基

2、于作業(yè)級(jí)別的調(diào)度這種方式由獨(dú)立的作業(yè)管理系統(tǒng)實(shí)現(xiàn)。該系統(tǒng)通過(guò)專門的入口，接收用戶提交的任務(wù)，送入相應(yīng)的隊(duì)列等待調(diào)度；并在適當(dāng)?shù)臅r(shí)機(jī)分配資源，為任務(wù)創(chuàng)建作業(yè)，將作業(yè)提入運(yùn)行，在作業(yè)運(yùn)行結(jié)束后完成收尾工作，并提供記帳功能。管理員和用戶還可以在機(jī)群中查詢并預(yù)訂符合要求的資源，從而實(shí)現(xiàn)對(duì)作業(yè)和資源的全程交互控制。任務(wù)管理系統(tǒng)的比較管理實(shí)現(xiàn)級(jí)別 進(jìn)程級(jí)作業(yè)級(jí)調(diào)度方式透明，基于最小負(fù)載可以基于網(wǎng)絡(luò)拓?fù)?程序特性/負(fù)載/自定義策略調(diào)度管理層次 低級(jí)，僅根據(jù)局部信息 高級(jí)，根據(jù)全局信息負(fù)載均衡方式支持動(dòng)態(tài)負(fù)載均衡支持靜態(tài)負(fù)載均衡；如有checkpoint功能，可支持動(dòng)態(tài)負(fù)載均衡 資源共享僅能夠共享硬件資源可以

3、共享硬件、軟件和證書(shū)等資源服務(wù)質(zhì)量Qos可能造成大作業(yè)饑餓，無(wú)Qos只要策略適當(dāng)，可以保證Qos機(jī)群一致性的層次入口不一致，仍為多機(jī)系統(tǒng)；可以提供存儲(chǔ)一致性 提供單一系統(tǒng)入口和存儲(chǔ)一致性對(duì)用戶權(quán)限、資源和作業(yè)的高級(jí)管理策略無(wú)法實(shí)現(xiàn)能夠很好地實(shí)現(xiàn)系統(tǒng)結(jié)構(gòu)規(guī)模可擴(kuò)展 如果規(guī)模過(guò)大，會(huì)遇到前述的O（）的通訊問(wèn)題，難以擴(kuò)展 通訊量與系統(tǒng)規(guī)模成線形放縮，可以很好的擴(kuò)展對(duì)作業(yè)類型的限制如前述，不適合于系統(tǒng)調(diào)用較多的程序（如I/O密集型） 對(duì)程序類型無(wú)限制內(nèi) 容任務(wù)管理系統(tǒng)概述作業(yè)調(diào)度系統(tǒng)PBS作業(yè)調(diào)度系統(tǒng)作業(yè)調(diào)度系統(tǒng)的使用作業(yè)管理的組成資源管理器：管理集群的硬件資源及認(rèn)證信息等隊(duì)列管理器：管理當(dāng)前所有已提

4、交但還未完成的作業(yè)調(diào)度器：為作業(yè)分配資源作業(yè)管理系統(tǒng)的結(jié)構(gòu)作業(yè)特性比較系統(tǒng)特性 SGE LSF OPEN PBS PBS PRO支持異構(gòu)平臺(tái)Unix & NT，多硬件Unix & NT，多硬件僅Unix ，多硬件僅Unix ，多硬件用戶操作接口API/GUI/CLI/WEB，管理復(fù)雜API/GUI/CLI/WEB，管理方便API/GUI/CLI，功能少API/GUI/CLI/WEB ，管理方便支持DRMAA支持不支持支持支持支持POSIX批處理API標(biāo)準(zhǔn)支持不支持支持支持源代碼開(kāi)放開(kāi)放不開(kāi)放開(kāi)放付費(fèi)后開(kāi)放用戶文檔支持非常詳細(xì)非常詳細(xì)較簡(jiǎn)單詳細(xì)支持批處理作業(yè)支持支持支持支持支持交互式作業(yè)支持支持

5、不支持支持支持海量作業(yè)組支持支持不支持支持支持并行作業(yè)支持支持支持支持支持PVM/MPI支持，功能強(qiáng)支持，功能強(qiáng)大支持，功能弱支持，功能強(qiáng)內(nèi) 容任務(wù)管理系統(tǒng)概述作業(yè)調(diào)度系統(tǒng)PBS作業(yè)調(diào)度系統(tǒng)作業(yè)調(diào)度系統(tǒng)的使用PBS作業(yè)調(diào)度系統(tǒng) PBS最初由NASA的Ames研究中心開(kāi)發(fā)，為了提供一個(gè)能滿足異構(gòu)計(jì)算網(wǎng)絡(luò)需要的軟件包。它力求提供對(duì)批處理的初始化和調(diào)度執(zhí)行的控制，允許作業(yè)在不同主機(jī)間的路由。 PBS的技術(shù)特色力求控制對(duì)批處理的初始化和調(diào)度執(zhí)行，允許作業(yè)在不同主機(jī)間的路由。獨(dú)立的調(diào)度模塊存有各個(gè)可用的排隊(duì)作業(yè)、運(yùn)行作業(yè)和系統(tǒng)資源使用信息，并且允許系統(tǒng)管理員定義資源和每個(gè)作業(yè)可使用的數(shù)量。在作業(yè)調(diào)度策略

6、上，PBS提供了默認(rèn)的公平共享和獨(dú)占FIFO調(diào)度策略，還提供了TCL、BACL、C三種過(guò)程語(yǔ)言和調(diào)度類，與定義了一些調(diào)度需要的函數(shù)和完整的API，方便實(shí)現(xiàn)新的調(diào)度策略。提供文件傳送，F(xiàn)ile Stage-in 和Stage-out。滿足POSIX1003.2d 標(biāo)準(zhǔn)，支持作業(yè)依賴，和完整的安全認(rèn)證。提供用戶映射功能，使PBS 能用于用戶不一致的系統(tǒng)中。PBS的結(jié)構(gòu)PBS 的組成服務(wù)器:pbs_server調(diào)度器:pbs_sched執(zhí)行器:pbs_mom命令行:用戶腳本，管理命令等PBS 的基本原理PBS 的優(yōu)缺點(diǎn)支持系統(tǒng)級(jí)檢查點(diǎn)功能（需底層操作系統(tǒng)支持）很好的大規(guī)模擴(kuò)展性獨(dú)立的調(diào)度模塊*支持作

7、業(yè)依賴 符合POSIX 1003.2d 標(biāo)準(zhǔn)-只支持Unix類操作系統(tǒng)-多集群協(xié)作功能有限-不支持用戶級(jí)檢查點(diǎn)功能術(shù) 語(yǔ)節(jié)點(diǎn)(node) 一個(gè)單一的操作系統(tǒng)映像，一個(gè)統(tǒng)一的虛擬內(nèi)存映像一個(gè)個(gè)或多個(gè)cpu，一個(gè)或多個(gè)IP地址的計(jì)算機(jī)系統(tǒng)被稱之為一個(gè)節(jié)點(diǎn)。通常執(zhí)行主機(jī)(execution host)也被稱之為節(jié)點(diǎn)。節(jié)點(diǎn)屬性 隊(duì)列、服務(wù)器和節(jié)點(diǎn)都有與自己相關(guān)的屬性，這些屬性提供控制信息。與節(jié)點(diǎn)相關(guān)的屬性有：狀態(tài)、類型、虛擬處理器的個(gè)數(shù)、作業(yè)列表(本節(jié)點(diǎn)被分配給的作業(yè))以及節(jié)點(diǎn)的特性。 節(jié)點(diǎn)特性 為了提供一組節(jié)點(diǎn)的分配的方法，零個(gè)或者多個(gè)特性被賦給每個(gè)節(jié)點(diǎn)。這個(gè)特性不過(guò)是一串對(duì)于PBS沒(méi)有含義的字母和

8、數(shù)字的組合(第一個(gè)字符必須是字母)。PBS 安裝解壓源文件包 rootnode1 /public# tar -zxvf openpbs-2.3.16.tar.gz 編譯設(shè)置 rootnode1 /public/OpenPBS_2.3.16./configure -enable-gui -set-server_home=/var/spool/pbs -enable-docs -x-libraries=/usr/X11R6/lib64 其中，-x-libraries=/usr/X11R6/lib64是在X86_64 (AMD64或EM64T)上安裝時(shí)，需要指明系統(tǒng)64位庫(kù)的位置。 編譯安裝 roo

9、tnode1 /public/OpenPBS_2.3.16# make rootnode1 /public/OpenPBS_2.3.16# make install PBS在機(jī)群上安裝由于節(jié)點(diǎn)系統(tǒng)相同，因而可以用如下SHELL script在node2node8上安裝； #!/bin/bash for i in seq 2 8 do echo “node$i -“ rsh node$i “cd /public/openpbs; make install” echo “-“ echo “” done 服務(wù)進(jìn)程配置和啟動(dòng)文件系統(tǒng)配置文件/etc/pbs.conf #!/bin/sh pbs_hom

10、e=/var/spool/pbs 指定系統(tǒng)的pbs的設(shè)置的目錄位置 pbs_exec=/usr/local 指定pbs可執(zhí)行程序的目錄位置 start_server=1 start_sched=1 當(dāng)為1是表示守護(hù)進(jìn)程啟動(dòng)，0為守護(hù)進(jìn)程不啟動(dòng) start_mom=1 系統(tǒng)啟動(dòng)腳本 /etc/init.d/openpbs Server的系統(tǒng)啟動(dòng)腳本 /etc/init.d/pbs_server Scheduler系統(tǒng)啟動(dòng)腳本 /etc/init.d/pbs_sched Mom系統(tǒng)啟動(dòng)腳本 /etc/init.d/pbs_mom Server端設(shè)置初始化server: (第一次運(yùn)行或者重新配置)/

11、usr/local/sbin/pbs_server t createServer配置目錄/var/spool/pbs/server_priv/節(jié)點(diǎn)屬性聲明：/var/spool/pbs/nodesnode2 R220A np=2node3 R220A np=2node4 dualcore np=4node5 dualcore np=4node6 R4280A np=4node7 R4280A np=4mom端設(shè)置mom配置目錄： /var/spool/pbs/mom_priv/mom配置文件： /var/spool/pbs/mom_priv/config# MOM server configu

12、ration file # if more than one value, separate it by comma. # rule is defined by the name $ideal_load 1.5 $max_load 2 # host allowed to connect to Mom server on unprivileged port $restricted *. # log event : # 0 x1ff log all events + debug events # 0 x0ff just all events $logevent 0 x0ff # host allo

13、wed to connect to mom server on privileged port $clienthost node1 # alarm if the script hang or take very long time to execute $prologalarm 30 Server端的動(dòng)態(tài)設(shè)置PBS要能正常運(yùn)行還需要通過(guò)qmgr命令的server進(jìn)行配置，設(shè)置一些屬性。輸入qmgr命令進(jìn)入配置交互命令。下面是讓PBS可以正常運(yùn)行的一些步驟。創(chuàng)建隊(duì)列create queue 隊(duì)列名 queue_type = Excuttion打開(kāi)和啟動(dòng)隊(duì)列set queue 隊(duì)列名 enable

14、=t, started=t打開(kāi)調(diào)度set server scheduling=t設(shè)置默認(rèn)隊(duì)列set server default_queue=隊(duì)列名qmgr命令（管理員使用）輸入qmgr進(jìn)入交互式模式后即可輸入各種命令 qmgr動(dòng)作：對(duì)象類型和操作符 動(dòng)作 對(duì)象類型 對(duì)象名 屬性 操作符 值（，屬性 操作符 值）create創(chuàng)建一個(gè)對(duì)象delete刪除一個(gè)對(duì)象set設(shè)置對(duì)象的屬性u(píng)nset除去對(duì)象的屬性print打印對(duì)象的屬性list列出對(duì)象的屬性server服務(wù)器queue隊(duì)列node節(jié)點(diǎn)PBS隊(duì)列設(shè)置導(dǎo)入server配置文件：rootnode1 root# qmgr queue.conf配

15、置文件例子： create queue defaultset queue default queue_type = executionset queue default max_running = 20set queue default enabled = Trueset queue default started = Trueset server scheduling = Trueset server max_user_run = 20set server default_queue = default set server query_other_jobs = TrueScheduler調(diào)

16、度行為配置Scheduler的行為由配置目錄下的sched_priv/sched_config文件進(jìn)行控制Sort_by關(guān)鍵字控制調(diào)度算法可以選擇的選項(xiàng)為 no_sort ，shortest_job_first，longest_job_first ，smallest_memory_first，largest_memory_first，high_priority_first，low_priority_first，multi_sort，fair_share，large_walltime_first，short_walltime_first修改這個(gè)文件后重新啟動(dòng)scheduler即可。內(nèi) 容任務(wù)管理

17、系統(tǒng)概述作業(yè)調(diào)度系統(tǒng)PBS作業(yè)調(diào)度系統(tǒng)作業(yè)調(diào)度系統(tǒng)的使用PBS的使用步驟準(zhǔn)備：編寫描述改作業(yè)的腳本，包括作業(yè)名，需要的資源等。提交：使用qsub命令將該作業(yè)提交給PBS服務(wù)器排隊(duì)：服務(wù)器將該任務(wù)排入適當(dāng)?shù)年?duì)列調(diào)度：服務(wù)器檢查各工作節(jié)點(diǎn)的狀態(tài)是否符合該作業(yè)的要求，并進(jìn)行調(diào)度。執(zhí)行：當(dāng)條件滿足時(shí)，作業(yè)被發(fā)給相應(yīng)的執(zhí)行服務(wù)器執(zhí)行。程序運(yùn)行時(shí)執(zhí)行服務(wù)器會(huì)收集程序的標(biāo)準(zhǔn)輸出和標(biāo)準(zhǔn)錯(cuò)誤流，等程序結(jié)束時(shí)，將這些信息返回給用戶。查詢和調(diào)整：當(dāng)作業(yè)在運(yùn)行時(shí)，用戶可以使用qstat進(jìn)行狀態(tài)查詢。用戶發(fā)現(xiàn)作業(yè)提交錯(cuò)誤時(shí)，可以使用qdel刪除正在運(yùn)行的作業(yè)。查看結(jié)果：使用文本編輯軟件vi或者系統(tǒng)命令cat, less

18、等查看輸出及錯(cuò)誤信息顯示。PBS 的基本命令在PBS系統(tǒng)中，用戶使用qsub 命令提交用戶程序。用戶運(yùn)行程序的命令及PBS環(huán)境變量設(shè)置組成PBS作業(yè)腳本，作業(yè)腳本使用如下格式提交到PBS系統(tǒng)運(yùn)行：zhaocsnode1 $ qsub qsub運(yùn)行參數(shù)運(yùn) 行 參 數(shù)說(shuō) 明-a 向PBS系統(tǒng)指定作業(yè)運(yùn)行的開(kāi)始時(shí)間。作業(yè)運(yùn)行時(shí)間格式為： CCYYMMDDhhmm.SS-A 使用不同的用戶來(lái)提交作業(yè)，缺省使用當(dāng)前用戶名-o -e 該參數(shù)指定標(biāo)準(zhǔn)錯(cuò)誤輸出的位置，缺省的情況下，PBS系統(tǒng)把標(biāo)準(zhǔn)輸出和標(biāo)準(zhǔn)錯(cuò)誤輸出放在用戶qsub命令提交作業(yè)的目錄下。標(biāo)準(zhǔn)錯(cuò)誤輸出：.o標(biāo)準(zhǔn)錯(cuò)誤輸出：.e路徑使用如下格式標(biāo)準(zhǔn)：

19、 :-N 指定提交的作業(yè)名-q 指定作業(yè)提交的目標(biāo)隊(duì)列，其中目標(biāo)隊(duì)列可以是目標(biāo)隊(duì)列、目標(biāo)節(jié)點(diǎn)名或者是目標(biāo)節(jié)點(diǎn)上的隊(duì)列。如果目標(biāo)隊(duì)列是一個(gè)路由隊(duì)列，那么服務(wù)器可能把作業(yè)路由到新的隊(duì)列中。如果該參數(shù)沒(méi)有指定，命令qsub會(huì)把作業(yè)腳本提交到缺省的隊(duì)列中。-l 該參數(shù)指定作業(yè)腳本申請(qǐng)的PBS系統(tǒng)資源列表。申請(qǐng)資源列表使用如下格式： =,資源名=， .例如作業(yè)希望申請(qǐng)?jiān)陔p路節(jié)點(diǎn)上申請(qǐng)5個(gè)CPU資源的情況，則可以在腳本中如下：#PBS l nodes=2:ppn=2+:ppn=1PBS 作業(yè)腳本注釋,以“#”開(kāi)頭PBS指令,以“#PBS”開(kāi)頭SHELL命令#PBS N vasp.Hg#PBS l node

20、s=8:ppn=2echo This jobs is $PBS_JOBID$PBS_QUEUE cd $PBS_O_WORKDIRmpirun -np 16 -machinefile $PBS_NODEFILE ./vaspPBS的環(huán)境變量變 量 名說(shuō) 明登陸SHELL繼承來(lái)的變量包括$HOME，$LANG，$LOGNAME，$PATH，$MAIL，$SHELL和$TZ。$PBS_O_HOSTqsub提交的節(jié)點(diǎn)名稱$PBS_O_QUEUEqsub提交的作業(yè)的最初隊(duì)列名稱$PBS_O_WORKDIRqsub提交的作業(yè)的絕對(duì)路徑$PBS_JOBID作業(yè)被PBS系統(tǒng)指定的作業(yè)號(hào)$PBS_JOBNAM

21、E用戶指定的作業(yè)名，可以在作業(yè)提交的時(shí)候用qsub N 指定，或者在PBS腳本中加入#PBS N 。$PBS_NODEFILEPBS系統(tǒng)指定的作業(yè)運(yùn)行的節(jié)點(diǎn)名。該變量在并行機(jī)和機(jī)群中使用。當(dāng)在PBS腳本中用#PBS l nodes=2:ppn=2指定程序運(yùn)行的節(jié)點(diǎn)數(shù)時(shí)，可以使用$PBS_NODEFILE在腳本中引用PBS系統(tǒng)指定的作業(yè)運(yùn)行的節(jié)點(diǎn)名。比如：#PBS l nodes=2:ppn=2mpirun np 4 machinefile $PBS_NODEFILE $PBS_QUEUEPBS腳本在執(zhí)行時(shí)的隊(duì)列名PBS 作業(yè)腳本注釋,以“#”開(kāi)頭PBS指令,以“#PBS”開(kāi)頭SHELL命令#P

22、BS N vasp.Hg#PBS l nodes=8:ppn=2#PBS q node1echo This jobs is $PBS_JOBID$PBS_QUEUE cd $PBS_O_WORKDIRmpirun -np 16 -machinefile $PBS_NODEFILE ./vaspPBS 作業(yè)腳本舉例# 這是一個(gè)串行作業(yè)腳本的例子#PBS N Loop.out#PBS l nodes=1:ppn=1cd /public/home/zhaocs/test/./a.out $HOME/result/a.result# 這是一個(gè)并行作業(yè)腳本的例子#PBS N vasp.Hg#PBS l

23、nodes=8:ppn=2#PBS q node1echo This jobs is $PBS_JOBID$PBS_QUEUE cd $PBS_O_WORKDIRmpirun -np 16 -machinefile $PBS_NODEFILE ./vasp一個(gè)復(fù)雜的PBS作業(yè)腳本#!/bin/bash#PBS -N jobname#PBS -l nodes=4:ppn=2cat echo $PBS_NODEFILE $HOME/$PBS_JOBID.nodesfor node in cat $HOME/$PBS_JOBID.nodes do rsh $node mkdir /tmp/$PBS_JOBID rsh $node cp -rf $PBS_O_WORKDIR/* /tmp/$PBS_JOBID/ donecd /tmp/$PBS_JOBIDmpirun -np 8 -machinefile $PBS_NODEFILE $HOME/bin/vaspcp -rf /tmp/$PBS_JOBID/* $PBS_O_WORKDIR/for node in cat $HOME/$PBS_JOBID.nodes