高性能集群作業(yè)調(diào)度系統(tǒng)

1、高性能集群作業(yè)調(diào)度系統(tǒng)曙光信息產(chǎn)業(yè)股份有限公司 提綱一作業(yè)調(diào)度系統(tǒng)概述二PBS作業(yè)調(diào)度系統(tǒng)三Maui調(diào)度器四曙光Gridview作業(yè)調(diào)度中間件五Q&A1. 1 集群使用中存在的問題節(jié)點多用戶多任務多 系統(tǒng)資源整合 異構資源，軟硬件資源的整合 任務綜合管理 用戶提交的任務的統(tǒng)一安排 用戶權限的管理 對用戶進行各類權限控制1.2 作業(yè)調(diào)度系統(tǒng)的功能 資源管理器：管理集群的軟硬件資源及認證信息等 隊列管理器：管理當前所有已提交但還未完成的作業(yè) 調(diào)度器：為作業(yè)分配資源1.3 作業(yè)調(diào)度系統(tǒng)的組成作業(yè)調(diào)度系統(tǒng)的結構1.3 作業(yè)調(diào)度系統(tǒng)的組成1.4 作業(yè)調(diào)度系統(tǒng)的發(fā)展歷史 提綱一作業(yè)調(diào)度系統(tǒng)概述二PBS作業(yè)

2、調(diào)度系統(tǒng)三Maui調(diào)度器四曙光Gridview作業(yè)調(diào)度中間件五Q&A PBS（Portable Batch System）, 最初由NASA的Ames研究中心開發(fā)，設計為一個能滿足異構計算網(wǎng)絡需要的軟件包。它力求提供對批處理的初始化和調(diào)度執(zhí)行的控制，允許作業(yè)在不同主機間的路由。 PBS的開源版本為OpenPBS，目前已經(jīng)停止開發(fā)。 PBS的商業(yè)版為PBS Pro，由Altair公司開發(fā)和維護。 TORQUE( Tera-scale Open-source Resource and Queue manager ）為 OpenPBS的后續(xù)開源版本，修正了OpenPBS的很多bug，功能和可擴展性都

3、有很大提高。2.1 PBS作業(yè)調(diào)度系統(tǒng)服務器: pbs_server調(diào)度器: pbs_sched執(zhí)行器: pbs_mom2.2 PBS的組成解壓源文件包 tar zxvf torque-2.5.12.tar.gz 編譯設置 cd torque-2.5.12 ./configure -prefix= /usr/local -with-server-home= /var/spool/torque -enable-syslog -with-scp -enable-docs 默認情況下，TORQUE將可執(zhí)行文件安裝在/usr/local/bin和/usr/local/sbin下。其余的配置文件和運行時

4、環(huán)境將安裝在/var/spool/torque下編譯和安裝makemake install2.3 PBS的安裝（Torque Server端）節(jié)點操作系統(tǒng)相同，可以用如下SHELL腳本在計算節(jié)點（torque客戶端）上安裝#在管理節(jié)點上make packages#!/bin/bash for i in seq 1 20; do echo =node$i= ssh node$i /public/sourcecode/torque-2.5.12/ torque-package-mom-linux-*.sh -install Done2.3 PBS的安裝（Torque Client端）p 以root

5、作為torque的管理員賬號創(chuàng)建作業(yè)隊列在torque的安裝源文件根目錄中，執(zhí)行./torque.setup rootp Server配置目錄 /var/spool/torque/server_priv/p 計算節(jié)點列表及屬性：/var/spool/torque/server_priv/nodesnode2 np=12 amd chemnode3 np=12 amd chemnode4 np=8 intel chemnode5 np=8 intel chemnode6 np=4 intel bio gpunode7 np=4 intel bio gpu2.3 PBS Server配置Serve

6、r的系統(tǒng)啟動腳本 /etc/init.d/pbs_server Scheduler系統(tǒng)啟動腳本 /etc/init.d/pbs_sched Mom系統(tǒng)啟動腳本 /etc/init.d/pbs_momTorque服務端 chkconfig pbs_server on chkconfig pbs_sched on service pbs_server start service pbs_sched startTorque客戶端 chkconfig pbs_mom on service pbs_mom start2.3 PBS系統(tǒng)服務2.4 PBS主要操作隊列設置節(jié)點查看提交作業(yè)查看作業(yè)作業(yè)其他操作

7、PBS要能正常運行還需要通過qmgr命令在server進行配置，設置一些屬性。輸入qmgr命令進入配置交互命令，格式為 qmgr動作 對象類型和操作符 動作 對象類型 對象名 屬性 操作符 值（，屬性 操作符 值）create創(chuàng)建一個對象delete刪除一個對象set設置對象的屬性unset除去對象的屬性print打印對象的屬性list列出對象的屬性server服務器queue隊列node節(jié)點2.4.1 PBS的隊列設置創(chuàng)建隊列create queue 隊列名 queue_type = execution打開和啟動隊列set queue 隊列名 enable=t, started=t打開調(diào)度s

8、et server scheduling=t設置默認隊列set server default_queue=隊列名2.4.1 PBS的隊列設置下面是讓PBS可以正常運行的基本設置 導入server配置文件qmgr queue.conf 配置文件例子 create queue default set queue default queue_type = execution set queue default max_running = 10 set queue default enabled = True set queue default started = True set server sc

9、heduling = True set server default_queue = default set server query_other_jobs = True2.4.1 PBS的隊列設置 資源和用戶限制resources_default.cput 該隊列默認的作業(yè)的CPU時間，格式：時:分:秒注意：該CPU時間為：進程數(shù)*（結束時間-開始時間）resources_default.walltime該隊列默認的墻上時間，格式：時:分:秒max_running某隊列最多可運行的作業(yè)數(shù)，如果該項為0或沒有該項，表示沒有限制max_user_run一個用戶最多可以運行的作業(yè)數(shù)acl_user

10、_enable是否啟用用戶訪問控制，如果acl_user_enable = True，則在acl_users中列出的用戶才能使用該隊列acl_users格式：，用戶名不接受通配符acl_host_enable如果acl_host_enable = True，則acl_hosts屬性中列出的主機才能使用該隊列acl_hosts該隊列可以使用的節(jié)點列表2.4.1 PBS的隊列設置dawningnode1 $ pbsnodespbsnodes -a -anode2 statestate=free npnp=12 ntypentype=cluster status =rectime=134734483

11、9,varattr=,jobs=,state=free,netload=1994804223313,gres=,loadave=0.15,ncpusncpus=32,physmem=132133404kb,availmemavailmem=147084788kb,totmem=148910612kb,idletime=1721946,nusers=1,nsessions=1,sessions=2455,uname=Linux node2 2.6.32-220.el6.x86_64 #1 SMP Wed Nov 9 08:03:13 EST 2011 x86_64,opsys=linux gpu

12、sgpus = 0node3 state=down np=12 ntype=cluster 2.4.2 PBS查看節(jié)點狀態(tài)pbsnodes命令的主要參數(shù)-a 列出所有結點及其屬性，屬性包括“state”和“status”-o 將指定結點的狀態(tài)標記為“offline”。這將幫助管理員暫時停止某些結點的服務-l 以行的方式列出被標記的結點的狀態(tài)，如 -l free，-l offline-c 清除結點列表中的“offline”或“down”狀態(tài)設置，使結點可以被分配給作業(yè)-r 清除指定結點的“offline”狀態(tài)2.4.2 PBS查看節(jié)點狀態(tài)步驟：1.準備：編寫描述該作業(yè)的腳本，包括作業(yè)名，需要的資

13、源等。2.提交：使用qsub命令將該作業(yè)提交給PBS服務器3.排隊：服務器將該任務排入適當?shù)年犃?.調(diào)度：服務器檢查各工作節(jié)點的狀態(tài)是否符合該作業(yè)的要求，并進行調(diào)度。5.執(zhí)行：當條件滿足時，作業(yè)被發(fā)給相應的執(zhí)行服務器執(zhí)行。程序運行時執(zhí)行服務器會收集程序的標準輸出和標準錯誤流，等程序結束時，將這些信息返回給用戶。6.查詢和調(diào)整：當作業(yè)在運行時，用戶可以使用qstat進行狀態(tài)查詢。用戶發(fā)現(xiàn)作業(yè)提交錯誤時，可以使用qdel刪除正在運行的作業(yè)。7.查看結果：使用文本編輯軟件vi或者系統(tǒng)命令cat, less等查看輸出及錯誤信息顯示。2.4.3 PBS作業(yè)提交 在PBS系統(tǒng)中，用戶使用 qsub 命令提

14、交用戶程序。用戶運行程序的命令及PBS環(huán)境變量設置組成PBS作業(yè)腳本，如下qsub 2.4.3 PBS作業(yè)提交基本命令#PBS -N vasp#PBS -l nodes=2:ppn=1#PBS -l walltime=12:00:00#PBS -q default cd $PBS_O_WORKDIR./test.exe作業(yè)腳本使用如下格式提交到PBS系統(tǒng)運行運運 行行 參參 數(shù)數(shù)說說 明明-a 向PBS系統(tǒng)指定作業(yè)運行的開始時間。作業(yè)運行時間格式為： CCYYMMDDhhmm.SS-A 使用不同的用戶來提交作業(yè)，缺省使用當前用戶名-o -e 該參數(shù)指定標準錯誤輸出的位置，缺省的情況下，PBS系

15、統(tǒng)把標準輸出和標準錯誤輸出放在用戶qsub命令提交作業(yè)的目錄下。標準錯誤輸出：.o標準錯誤輸出：.e路徑使用如下格式標準： :-N 指定提交的作業(yè)名-q 指定作業(yè)提交的目標隊列。如果該參數(shù)沒有指定，命令qsub會把作業(yè)腳本提交到缺省的隊列中。-l 該參數(shù)指定作業(yè)腳本申請的PBS系統(tǒng)資源列表。申請資源列表使用如下格式： =,資源名=， .例如作業(yè)希望申請在雙路節(jié)點上申請4個CPU資源的情況，則可以在腳本中如下：#PBS l nodes=2:ppn=2運行參數(shù)在 PBS 腳本和 qsub 命令行中均有效，qsub命令行參數(shù)的優(yōu)先級更高2.4.3 PBS 運行參數(shù)變變 量量 名名說說 明明登陸登陸S

16、HELL繼承來的變量繼承來的變量包括$HOME，$LANG，$LOGNAME，$PATH，$MAIL，$SHELL和$TZ。$PBS_O_HOSTqsub提交的節(jié)點名稱$PBS_O_QUEUEqsub提交的作業(yè)的最初隊列名稱$PBS_O_WORKDIRqsub提交的作業(yè)的絕對路徑$PBS_JOBID作業(yè)被PBS系統(tǒng)指定的作業(yè)號$PBS_JOBNAME用戶指定的作業(yè)名，可以在作業(yè)提交的時候用qsub N 指定，或者在PBS腳本中加入#PBS N 。$PBS_NODEFILEPBS系統(tǒng)指定的作業(yè)運行的節(jié)點名。該變量在并行機和機群中使用。當在PBS腳本中用#PBS l nodes=2:ppn=2指定

17、程序運行的節(jié)點數(shù)時，可以使用$PBS_NODEFILE在腳本中引用PBS系統(tǒng)指定的作業(yè)運行的節(jié)點名。比如：#PBS l nodes=2:ppn=2mpirun np 4 machinefile $PBS_NODEFILE $PBS_QUEUEPBS腳本在執(zhí)行時的隊列名2.4.3 PBS 環(huán)境變量# 這是一個串行作業(yè)腳本的例子#PBS -N test#PBS -l nodes=1:ppn=1cd $HOME/test/./a.out $HOME/result/a.result# 這是一個并行作業(yè)腳本的例子#PBS -N vasp_job#PBS -l nodes=2:ppn=2#PBS -q l

18、owecho This job is $PBS_JOBID$PBS_QUEUE cd $PBS_O_WORKDIRmpirun -np 16 -machinefile $PBS_NODEFILE ./vasp2.4.3 PBS 腳本舉例#PBS -l nodes=2:ppn=4:amd:chem#PBS -l nodes=1:ppn=8:chem+1:ppn=8:bio#PBS -l nodes=node1:ppn=8+node2:ppn=8指定節(jié)點特性p 一些軟件有特殊的節(jié)點指定格式，比如ANSYS的命令行參數(shù)格式為： ansys121 -dis -machines node1:2:node

19、2:2 -i test.inp -o test.logp 這時我們可以對 $PBS_NODEFILE 進行字符處理，得到需要的格式2.4.3 PBS 腳本舉例# 這是一個ANSYS并行作業(yè)的例子#PBS -N ansys_job#PBS -l nodes=2:ppn=8#PBS -q lowINPUTFILE=test.inpOUTPUTFILE=test.loghosts=cat $PBS_NODEFILE | uniq -c | awk print $2:$1 | tr n : | sed s/:$/cd $PBS_O_WORKDIRansys121 -dis -machines $hos

20、ts -i $INPUTFILE -o $OUTPUTFILE作業(yè)提交后，會生成一個作業(yè)號，如：dawningnode1 $ qsub test.pbs93.node1查看集群作業(yè)運行狀態(tài)：dawningnode1 $ qstat Job id Name User Time Use S Queue- - - - - -93.node1 test.pbs test 0 R default95.node1 vasp.Hg vasp 0 E default111.node1 structure amber 0 Q default2.4.4 PBS 查看作業(yè)狀態(tài)E：退出 Q：排隊H：掛起 R ：運行C

21、：結束查詢某個作業(yè)運行狀態(tài)：qstat 93.node1 (或者 qstat 93)顯示作業(yè)運行在哪些節(jié)點上:qstat -n 93.node1 顯示作業(yè)運行詳細信息:qstat -f 93.node1dawningnode1 $ qstat Job id Name User Time Use S Queue- - - - - -93.node1 test.pbs zhaocs 0 R default95.node1 vasp.Hg vasp 0 E default111.node1 structure amber 0 Q defaultqdel 93.node1注：用戶只能刪除自己的作業(yè)，管

22、理員可以刪除所有用戶作業(yè)2.4.5 PBS 作業(yè)其他操作刪除作業(yè)dawningnode1 $ qstat Job id Name User Time Use S Queue- - - - - -93.node1 test.pbs zhaocs 0 R default95.node1 vasp.Hg vasp 0 E default111.node1 structure amber 0 Q default掛起作業(yè)：qhold 111.node1取消作業(yè)掛起qrls 111.node1作業(yè)掛起及取消2.4.5 PBS 作業(yè)其他操作dawningnode1 $ qstat Job id Name U

23、ser Time Use S Queue- - - - - -93.node1 test.pbs zhaocs 0 R default95.node1 vasp.Hg vasp 0 E default111.node1 structure amber 0 Q default更改作業(yè)2.4.5 PBS 作業(yè)其他操作更改作業(yè)運行隊列：qmove high 111.node1更改作業(yè)資源屬性：qalter -l walltime=10:00:00 111.node1交換作業(yè)順序2.4.5 PBS 作業(yè)其他操作dawningnode1 $ qstat Job id Name User Time Use

24、 S Queue- - - - - -93.node1 test.pbs zhaocs 0 R default95.node1 vasp.Hg vasp 0 E default111.node1 structure amber 0 Q default112.node1 gaussian gauss 0 Q default交換兩個作業(yè)的排隊順序：qorder 111.node1 112.node1dawningnode1 $ qstat Job id Name User Time Use S Queue- - - - - -93.node1 test.pbs zhaocs 0 R default

25、95.node1 vasp.Hg vasp 0 E default112.node1 gaussian gauss 0 Q default111.node1 structure amber 0 Q default2.4.5 PBS 作業(yè)其他操作 PBS腳本中可以指定多個作業(yè)之間的依賴關系，比如作業(yè)提交前另一個作業(yè)必須完成，否則處于排隊狀態(tài)#PBS -N step2#PBS -l nodes=4:ppn=4#PBS -q high#PBS -W depend=after: #PBS -N job_rerun#PBS -l nodes=4:ppn=4#PBS -q high#PBS -W depe

26、nd=afternotok: 當指定作業(yè)非正常結束，作業(yè)才能提交運行一作業(yè)調(diào)度系統(tǒng)概述二PBS作業(yè)調(diào)度系統(tǒng)三Maui調(diào)度器四曙光Gridview作業(yè)調(diào)度中間件五Q&A 提綱 Torque帶有自己的默認調(diào)度策略器（pbs_sched），但是這個最基本的調(diào)度策略并不高級。它根據(jù)fifo的原則安排作業(yè)，對一般的集群管理應該是足夠了，但如果你的集群有幾百個以上節(jié)點，分成若干個隊列，那pbs_sched就力不從心了。 為此，可以使用一系列第三方的調(diào)度策略進行補充。Maui就是被廣泛使用的調(diào)度策略之一。3.1 Maui調(diào)度器介紹3.1 Maui調(diào)度器介紹 Maui采用積極的調(diào)度策略優(yōu)化資源的利用和減少作業(yè)

27、的響應時間。 Maui的資源和負載管理允許高級的參數(shù)配置：作業(yè)優(yōu)先級(Job Priority)、調(diào)度和分配(Scheduling and Allocation)、公平性和公平共享(Fairness and Fairshare)和預留策略(Reservation Policy)。Maui的QoS機制允許資源和服務的直接傳遞、策略解除(Policy Exemption)和指定特征的受限訪問。 Maui需要資源管理器和其配合使用。我們可以把Maui想象為PBS中的一個插入部件。 集群已安裝配置好Torque解壓源文件包 tar zxvf maui-3.2.6p17.tar.gz 編譯設置 cd m

28、aui-3.2.6p17 ./configure -with-pbs=/usr/local -with-pbs指定Torque安裝目錄編譯和安裝 make make install 3.1 Maui安裝(Server)p 編輯啟動腳本 cd maui-3.2.6p17 cp etc/maui.d /etc/init.d/ vim /etc/init.d/maui.d 修改其中的” MAUI_PREFIX=/usr/local/maui” (maui的安裝目錄)p 停用pbs_sched，啟用maui chkconfig pbs_sched off chkconfig maui.d on ser

29、vice pbs_sched stop service maui.d start3.1 Maui安裝(Server)Maui的配置參數(shù)都寫在配置文件maui.cfg中，配置參數(shù)可以參考官方手冊Maui Administrators Guide主要參數(shù)如下： vim maui.cfg # 設置Maui服務器主機名SERVERHOST server # 一級權限用戶，擁有Maui所有控制權限，包括更改調(diào)度策略，更改作業(yè)屬性 ADMIN1 root # 二級權限用戶，不能更改調(diào)度策略，但能更改作業(yè)屬性 ADMIN2 zhang wang zhao # 三級權限用戶，只有查看權限，ALL表示所有賬戶

30、ADMIN3 ALL3.2 Maui配置# 定義資源管理器（Resource Manager），指定類型為PBS，以及Torque服務器主機名，刷新資源信息的時間，端口號 RMCFG0 TYPE=PBS HOST=server RMPOLLINTERVAL 00:00:30 SERVERPORT 42559 SERVERMODE NORMAL# 日志設置 LOGFILE maui.log LOGFILEMAXSIZE 10000000 LOGLEVEL 3 3.2 Maui配置#設置Fair share策略 #FSPOLICY PSDEDICATED #FSDEPTH 7 #FSINTERVA

31、L 86400 #FSDECAY 0.80#設置回填（Backfill）策略 BACKFILLPOLICY FIRSTFIT RESERVATIONPOLICY CURRENTHIGHEST#節(jié)點分配策略 #NODEALLOCATIONPOLICY MINRESOURCE #NODEALLOCATIONPOLICY CPULOAD #NODEALLOCATIONPOLICY SHARED NODEALLOCATIONPOLICY FIRSTAVAILABLE 3.2 Maui配置# QOS配置 QOSCFGpreemptor QFLAGS=PREEMPTOR QOSCFGpreemptee Q

32、FLAGS=PREEMPTEE CLASSCFGhigh PRIORITY=11000 QDEF=preemptor CLASSCFGlow PRIORITY=6000 QDEF=preemptee CLASSCFGmiddle PRIORITY=9000 QDEF=preemptee#用戶優(yōu)先級設置 USERCFGroot MAXPROC=400 MAXNODE=100 MAXJOB=100 USERCFGtest PRIORITY=100 MAXPROC=200 MAXJOB=10 USERCFGDEFAULT PRIORITY=100 MAXPROC=100 MAXJOB=43.2 Ma

33、ui配置一作業(yè)調(diào)度系統(tǒng)概述二PBS作業(yè)調(diào)度系統(tǒng)三Maui調(diào)度器四曙光Gridview作業(yè)調(diào)度中間件五Q&A 提綱 4 曙光Gridview作業(yè)調(diào)度中間件介紹功能中間件應用使用方法作業(yè)調(diào)度中間件結構圖4.1 曙光Gridview作業(yè)調(diào)度中間件增加節(jié)點修改節(jié)點刪除節(jié)點創(chuàng)建隊列修改隊列刪除隊列隊列節(jié)點用戶修改用戶身份修改用戶等級修改用戶權限強大的資源管理4.2 作業(yè)調(diào)度中間件功能基于WEB圖形界面集成度高,嵌入到Gridview中流程簡單界面友好1423輕巧的專業(yè)應用提交4.2 作業(yè)調(diào)度中間件功能管理多個集群1提供完善的參數(shù)設置2靈活的提交方式34.2 作業(yè)調(diào)度中間件功能作業(yè)提交提供作業(yè)監(jiān)控功能1提

34、供修改作業(yè)狀態(tài)功能2提供多集群作業(yè)監(jiān)控34.2 作業(yè)調(diào)度中間件功能作業(yè)管理實用的用戶管理和記賬功能4.2 作業(yè)調(diào)度中間件功能穩(wěn)定性高4.2 作業(yè)調(diào)度中間件功能代碼保護審查嚴格備份作業(yè)調(diào)度系統(tǒng)恢復作業(yè)調(diào)度系統(tǒng)功能穩(wěn)定測試嚴格具有備份功能l單元測試嚴格l集成測試嚴格l兼容性測試嚴格MPI程序,例如:Vasp、WRF、mpiBLAST 等等典型的商業(yè)軟件，例如：Gaussian、Fluent、Ansys等等應用與作業(yè)調(diào)度系統(tǒng)相結合常用的mpi程序常用的商業(yè)軟件用戶自己開發(fā)的串行并行程序4.3 GridView作業(yè)調(diào)度的應用常用軟件DOCK MPIBLAST常用軟件常用軟件工程量子力學生物常用軟件AM

35、BERCHARMMGROMACSNAMDLAMMPS分子動力學應用與作業(yè)調(diào)度系統(tǒng)相結合高性能主要領域主要業(yè)務軟件得到各個領域的首席工程師的驗證4.3 GridView作業(yè)調(diào)度的應用ANSYSLSDYNA CFXCOMSOLFLUENTABINITGAUSSIANPWSCFVASP4.4 GridView作業(yè)調(diào)度的使用4.4.1 節(jié)點監(jiān)控節(jié)點監(jiān)控提供以下幾個功能(1)監(jiān)控節(jié)點狀態(tài)(2)增加節(jié)點(3)刪除節(jié)點(4)重啟節(jié)點進程4.4.1 節(jié)點監(jiān)控4.4.2 隊列管理 隊列管理主要包含對隊列的創(chuàng)建、刪除、修改和查看等操作。 只有root用戶和用戶管理中規(guī)定的管理員才能打開隊列管理的主頁面，從而操作控

36、制隊列。4.4.2 隊列管理4.4.2 隊列管理4.4.3 用戶設置 用戶管理主要是對用戶在作業(yè)調(diào)度系統(tǒng)中的身份、優(yōu)先級，以及在作業(yè)調(diào)度系統(tǒng)對資源的使用和使用上限進行設置、修改和查看。這里的用戶是指已經(jīng)存在于操作系統(tǒng)中的一般用戶，不包括root用戶和用戶ID小于500的系統(tǒng)用戶。 4.4.3 用戶設置4.4.4 作業(yè)提交 該作業(yè)調(diào)度系統(tǒng)主要通過web頁面將作業(yè)提交給調(diào)度器。系統(tǒng)中有三種提交方式：(1)Portal提交(2)腳本方式提交(3)命令行方式提交 每次只能選擇一種方式提交，在打開提交窗口時，默認是第一種提交方式。4.4.4.1 portal提交 根據(jù)應用特點定制，目前集成了19種軟件，

37、具體使用方法見手冊Gridview_應用Portal_用戶手冊4.4.4.1 portal提交4.4.4.1 portal提交用戶針對應用特殊配置 每個應用在$HOME/ .clusportal /目錄下有個對應的 .setting文件 ，前綴為應用名。Fluentfluent.setting# run settingprog_default=/public/software/ansys_inc/v121/fluent/bin/fluentprog_list=/public/software/ansys_inc/v121/fluent/bin/fluent:# runfile settingF

38、luent_ENVFILE=/public/software/profile.d/fluent-env.sh4.4.4.2 腳本和命令行提交4.4.4.2 腳本和命令行提交4.4.4.1 portal提交機群上作業(yè)情況my job id is 326.node1run nodes is following:node4node4node4node4begin time is Tue Aug 21 11:09:34 CST 2012/public/software/ansys_inc/v121/fluent/fluent12.1.4/bin/fluent -r12.1.4 2d -g -t4 -cnf=/opt/gridview/pbs/dispatcher/aux/326.node1 -ssh -mpi=openmpi -i /home/shenj/work/fluent/3/cavity.jou parallel/timer/usagePerformance Timer for 300 iterations on 4 compute nodes Average wall-clock time per iteration: 0.002 sec Glo