大學(xué)高性能集群系統(tǒng)用戶培訓(xùn)

1、曙光高性能集群系統(tǒng)用戶培訓(xùn)常州大學(xué)曙光江蘇分公司技術(shù)支持中心崔波濤、王亞強(qiáng)2013年10月16日學(xué)校搭建高性能計(jì)算集群系統(tǒng)介紹Linux基礎(chǔ)知識(shí)曙光高性能集群系統(tǒng)介紹PBS介紹和使用已安裝計(jì)算軟件的提交腳本使用說明交流與答疑上機(jī)實(shí)踐操作學(xué)校搭建高性能計(jì)算集群系統(tǒng)介紹常州大學(xué)網(wǎng)絡(luò)中心曙光高性能計(jì)算集群共計(jì)10個(gè)節(jié)點(diǎn)，node1node10，其中node10是登錄和管理節(jié)點(diǎn)，計(jì)算節(jié)點(diǎn)主要為其余9個(gè)節(jié)點(diǎn)。node1-node7為刀片集群，配置有IB高速計(jì)算網(wǎng)絡(luò)，每個(gè)節(jié)點(diǎn)分別有16個(gè)計(jì)算核心，采用intel E5處理器架構(gòu)，適用于大規(guī)?？绻?jié)點(diǎn)并行計(jì)算。node8node9為機(jī)架式服務(wù)器2臺(tái)，配置有IB

2、高速計(jì)算網(wǎng)絡(luò)，每個(gè)節(jié)點(diǎn)分別有64個(gè)核心，采用amd Opteron處理器架構(gòu)，適用于大內(nèi)存程序的并行計(jì)算任務(wù)，由于node8為集群每個(gè)計(jì)算節(jié)點(diǎn)提供公共存儲(chǔ)服務(wù)，IO讀寫上會(huì)占用部分CPU資源，所以node8實(shí)際可用計(jì)算核心為60，node9則為64。學(xué)校搭建高性能計(jì)算集群系統(tǒng)介紹以下為集群中已安裝的軟件其中主要的行業(yè)軟件如下：Fluent-6.3.26Gaussian09MATLAB_R2011bMeep-1.2OpenFOAM-2.1.1Vasp-5.2學(xué)校搭建高性能計(jì)算集群系統(tǒng)介紹隊(duì)列說明 集群建議通過PBS的方式進(jìn)行作業(yè)的提交，由于本集群是異構(gòu)系統(tǒng)（intel&amd），故集群推薦使用如

3、下3個(gè)隊(duì)列：隊(duì)列intel，此隊(duì)列只能使用node1-node7節(jié)點(diǎn)，每節(jié)點(diǎn)分別可使用16個(gè)計(jì)算核心，共計(jì)112個(gè)計(jì)算核心。隊(duì)列amd，此隊(duì)列只能使用node8-node9節(jié)點(diǎn)，node8可使用計(jì)算核心數(shù)為60，node9為64，共計(jì)124個(gè)計(jì)算核心。隊(duì)列node10，此隊(duì)列只能使用node10節(jié)點(diǎn)，由于node10對(duì)位提供登錄、對(duì)內(nèi)進(jìn)行管理，所以會(huì)消耗一定的CPU資源，所以只有12個(gè)計(jì)算核心。其中intel是默認(rèn)隊(duì)列，所以如果需要使用大內(nèi)存節(jié)點(diǎn)進(jìn)行計(jì)算，則需要在作業(yè)提交腳本中加入“#PBS -q amd”行以指定其計(jì)算節(jié)點(diǎn)。學(xué)校搭建高性能計(jì)算集群系統(tǒng)介紹Linux基礎(chǔ)知識(shí)Linux 之所以受

4、到廣大計(jì)算機(jī)愛好者的喜愛，其主要原因有兩個(gè)：一是它屬于自由軟件，用戶不用支付任何費(fèi)用就可以獲得它和它的源代碼，并且可以根據(jù)自己的需要對(duì)它進(jìn)行必要的修改。另一個(gè)原因是，它具有 Unix 的全部功能，任何使用 Unix 操作系統(tǒng)或想要學(xué)習(xí) Unix 操作系統(tǒng)的人都可以從 Linux 中獲益。 高效、靈活、多用戶、多任務(wù)。Linux操作系統(tǒng)的特點(diǎn)Linux操作系統(tǒng)結(jié)構(gòu)Kernel系統(tǒng)啟動(dòng)時(shí)將內(nèi)核裝入內(nèi)存管理系統(tǒng)各種資源Shell用戶界面，提供用戶與內(nèi)核交互處理接口是命令解釋器，提供強(qiáng)大的編程環(huán)境bash,ash,pdksh,tcsh,ksh,sh,csh,zsh.Utility提供各種管理工具，應(yīng)用

5、程序Linux系統(tǒng)主要分區(qū)介紹/swapSwap空間的作用當(dāng)系統(tǒng)的物理內(nèi)存不夠用的時(shí)候，就需要將物理內(nèi)存中的一部分空間釋放出來，以供當(dāng)前運(yùn)行的程序使用。那些被釋放的空間可能來自一些很長時(shí)間沒有什么操作的程序，這些被釋放的空間被臨時(shí)保存到Swap空間中，等到那些程序要運(yùn)行時(shí)，再從Swap中恢復(fù)保存的數(shù)據(jù)到內(nèi)存中。這樣，系統(tǒng)總是在物理內(nèi)存不夠時(shí)，才進(jìn)行Swap交換。有一點(diǎn)要聲明的是，并不是所有從物理內(nèi)存中交換出來的數(shù)據(jù)都會(huì)被放到Swap中（如果這樣的話，Swap會(huì)不堪重負(fù)），有相當(dāng)一部分的數(shù)據(jù)直接交換到文件系統(tǒng) 分區(qū)規(guī)則：Swap space 比內(nèi)存要慢5-6個(gè)數(shù)量級(jí)在安裝時(shí)，系統(tǒng)會(huì)嘗試將交換分區(qū)

6、安裝到磁盤外端當(dāng)有多個(gè)磁盤控制器時(shí)，在每個(gè)磁盤上都建立交換分區(qū)盡量將交換分區(qū)安裝在訪問最頻繁的數(shù)據(jù)區(qū)附近Linux系統(tǒng)分區(qū)介紹/根目錄 /root 超級(jí)用戶主目錄 /bin基本命令/bootkernel 和boot配置文件 /etc各種配置文件/usr用戶程序 /opt- 附加的應(yīng)用軟件包/home用戶目錄 /mnt- 設(shè)備/文件系統(tǒng)掛載點(diǎn)/tmp臨時(shí)文件/var可變信息區(qū)（file spool,logs,requests,mail,etc.)/proc進(jìn)程信息 /dev設(shè)備 /sbin系統(tǒng)管理員執(zhí)行程序 /lib- 基本的共享庫和核心模塊文件：是用來存儲(chǔ)信息的基本結(jié)構(gòu)，它是被命名（文件名）的

7、存儲(chǔ)在某種介質(zhì)（磁盤，光盤，磁帶等）上的一組信息的集合。從技術(shù)上講，文件不能存貯任何數(shù)據(jù)，它只是一個(gè)用來指向它們相應(yīng)的索引節(jié)點(diǎn)(inode)的名字，索引節(jié)點(diǎn)包含了文件的真正信息。文件名：是文件的標(biāo)識(shí)，由字母，數(shù)字，下劃線，圓點(diǎn)組成。擴(kuò)展名：為了便于識(shí)別和管理，用擴(kuò)展名作為文件名的一部分，中間用.隔開目錄文件：用來管理和組織大量的文件，常稱為目錄文件與目錄的基本概念普通文件文本文件：ASCII碼形式存儲(chǔ) 開頭，如：-rw-r-r- 1 root root 39599 Mar 8 12:15 x二進(jìn)制文件：以二進(jìn)制形式存儲(chǔ)在計(jì)算機(jī)中，不可直接讀，要通過相應(yīng)的軟件讀取 開頭，如：-rwxrwxrwx

8、 1 root root 46888960 Dec 9 2005 x.sh目錄文件：d字母開頭 如：drwxr-xr-x 2 root root 4096 Aug 2 2006 bin設(shè)備文件塊設(shè)備文件：b字母開頭 如：brw-rw- 1 root disk 3, 1 Jan 30 2003 hda1字符設(shè)備文件：c字母開頭 如：crw- 1 root root 4, 1 Jul 31 13:49 tty1Linux文件類型的定義Linux文件權(quán)限的定義rootzhz home# ls -ltotal 32drwxrwxrwx 38 down root 4096 Jul 5 19:09 dow

9、ndrwx- 9 glh glh 4096 Mar 26 19:08 glhdrwx- 4 lei lei 4096 Mar 21 08:40 leidrwxr-xr-x 5 root root 4096 Apr 12 2006 softwareLinux文件或目錄的權(quán)限位由 9 個(gè)權(quán)限位來控制，每三位為一組，它們分別是：文件屬主(Ower)的讀r、寫w、執(zhí)行x用戶組(Group)的讀r、寫w、執(zhí)行x其它用戶(Other) 的讀r、寫w、執(zhí)行x；如果權(quán)限位不可讀、不可寫、不可執(zhí)行，是用-來表示。 超級(jí)用戶root (password 在安裝時(shí)已設(shè)定）root為系統(tǒng)管理員，具有完全的系統(tǒng)控制權(quán)限

10、；建議除了必要的系統(tǒng)維護(hù)之外，平常盡量避免用root登錄，以免誤操作；login: rootpassword: *rootlocalhost root#普通用戶同樣需要輸入name & password xyzlocalhost xyz$用戶登錄Putty一款免費(fèi)的Telnet和SSH客戶端實(shí)現(xiàn),可使用在Win32平臺(tái)下。Xmanager一個(gè)簡單易用的運(yùn)行在Windows平臺(tái)上的X Server軟件。它能把遠(yuǎn)端Unix/Linux的桌面帶到你的Windows上。用戶登錄（遠(yuǎn)程）完全免費(fèi);在Windows 9x/NT/2000下運(yùn)行的都非常好;全面支持ssh1和ssh2；綠色軟件，無需安裝，下載

11、后在桌面建個(gè)快捷方式即可使用；體積很小，僅364KB (0.54 beta版本)；操作簡單，所有的操作都在一個(gè)控制面板中實(shí)現(xiàn)。Putty(1)Putty(2)Putty登錄終端Xmanager(1)WinSCP是一個(gè)Windows環(huán)境下使用SSH的開源圖形化SFTP客戶端，并支持SCP協(xié)議。它的主要功能就是在本地Windows與遠(yuǎn)程Linux服務(wù)器之間安全地復(fù)制文件。上傳下載數(shù)據(jù)-WinSCP簡介WinSCP登錄界面WinSCP登錄界面WinSCP操作界面SSHSecureShellSSHSecureShell瀏覽文件命令cat：顯示一個(gè)文本文件的全部內(nèi)容；more/less：瀏覽文本文件的內(nèi)

12、容，沒有編輯功能； head/tail：顯示文本文件的頭/尾若干行，默認(rèn)為10行；目錄操作命令mkdir：創(chuàng)建目錄；rmdir ：刪除目錄；文件操作命令touch：創(chuàng)建一個(gè)空文件，或者將指定文件的時(shí)間戳改為當(dāng)前時(shí)間；rm：刪除文件；“rm -rf”可以迭代方式刪除整個(gè)目錄，慎用；cp：拷貝文件；mv：移動(dòng)文件，或者將文件重命名；ln -s：創(chuàng)建文件軟鏈接，類似于快捷方式；tar：將一組文件、目錄打包或解包，通過參數(shù)可設(shè)定是否壓縮文件；文件目錄類命令進(jìn)入vi的命令 vi filename :打開或新建文件，并將光標(biāo)置于第一行首 vi +n filename ：打開文件，并將光標(biāo)置于第n行首 vi

13、 + filename ：打開文件，并將光標(biāo)置于最后一行首 vi +/pattern filename：打開文件，并將光標(biāo)置于第一個(gè)與pattern匹配的串處 vi -r filename ：在上次正用vi編輯時(shí)發(fā)生系統(tǒng)崩潰，恢復(fù)filename vi filename.filename ：打開多個(gè)文件，依次進(jìn)行編輯 移動(dòng)光標(biāo)類命令 w或W ：光標(biāo)右移一個(gè)字至字首b或B ：光標(biāo)左移一個(gè)字至字首 e或E ：光標(biāo)右移一個(gè)字至字尾 ) ：光標(biāo)移至句尾vi命令詳解屏幕翻滾類命令 Ctrl+u：向文件首翻半屏 Ctrl+d：向文件尾翻半屏 Ctrl+f：向文件尾翻一屏 Ctrlb；向文件首翻一屏 nz：

14、將第n行滾至屏幕頂部，不指定n時(shí)將當(dāng)前行滾至屏幕頂部。 插入文本類命令 i ：在光標(biāo)前 I ：在當(dāng)前行首 a：光標(biāo)后 A：在當(dāng)前行尾 o：在當(dāng)前行之下新開一行 O：在當(dāng)前行之上新開一行 r：替換當(dāng)前字符 R：替換當(dāng)前字符及其后的字符，直至按ESC鍵 s：從當(dāng)前光標(biāo)位置處開始，以輸入的文本替代指定數(shù)目的字符 S：刪除指定數(shù)目的行，并以所輸入文本代替之 ncw或nCW：修改指定數(shù)目的字 nCC：修改指定數(shù)目的行 vi命令詳解vi常用操作命令 ：n1,n2 co n3：將n1行到n2行之間的內(nèi)容拷貝到第n3行下 ：n1,n2 m n3：將n1行到n2行之間的內(nèi)容移至到第n3行下 ：n1,n2 d ：

15、將n1行到n2行之間的內(nèi)容刪除 ：w ：保存當(dāng)前文件 ：e filename：打開文件filename進(jìn)行編輯 ：x：保存當(dāng)前文件并退出 ：q：退出vi ：q!：不保存文件并退出vi ：!command：執(zhí)行shell命令command ：r!command：將命令command的輸出結(jié)果放到當(dāng)前行：n1,n2 w!command：將文件中n1行至n2行的內(nèi)容作為command的輸入并執(zhí)行；若不指定n1，n2，則表示將整個(gè)文件內(nèi)容作為command的輸入 vi命令詳解什么是環(huán)境變量？Linux是一個(gè)多用戶的操作系統(tǒng)。多用戶意味著每個(gè)用戶登錄系統(tǒng)后，都有自己專用的運(yùn)行環(huán)境。而這個(gè)環(huán)境是由一組變量

16、所定義,這組變量被稱為環(huán)境變量。用戶可以對(duì)自己的環(huán)境變量進(jìn)行修改以達(dá)到對(duì)環(huán)境的要求。定制環(huán)境變量環(huán)境變量是和Shell緊密相關(guān)的，它是通過Shell命令來設(shè)置的。環(huán)境變量又可以被所有當(dāng)前用戶所運(yùn)行的程序所使用。對(duì)于bash來說，可以通過變量名來訪問相應(yīng)的環(huán)境變量。全局環(huán)境變量/etc/profile、/etc/profile.d/*.sh這些文件中設(shè)置的環(huán)境變量對(duì)所有用戶都起作用，登錄時(shí)自動(dòng)生效，稱為全局環(huán)境變量。全局環(huán)境變量可用來設(shè)定一些默認(rèn)的應(yīng)用環(huán)境，如指定編譯器、MPI并行庫等。用戶環(huán)境變量安裝一個(gè)應(yīng)用程序后，相關(guān)的環(huán)境參數(shù)盡量不要加入的全局環(huán)境變量，避免版本沖突?？稍?public/s

17、oftware/profile.d/目錄下創(chuàng)建相應(yīng)的env文件，讓用戶在/.bashrc 或PBS腳本中自由選擇source。Linux的環(huán)境變量曙光高性能集群系統(tǒng)介紹集群系統(tǒng)是利用高性能通信網(wǎng)絡(luò)將一組計(jì)算機(jī)（節(jié)點(diǎn)）按某種結(jié)構(gòu)連接起來，在并行化設(shè)計(jì)及可視化人機(jī)交互集成開發(fā)環(huán)境支持下，統(tǒng)一調(diào)度、協(xié)調(diào)處理，實(shí)現(xiàn)高效并行處理的系統(tǒng)所有計(jì)算機(jī)節(jié)點(diǎn)一起工作如同一個(gè)單一集成的系統(tǒng)資源，實(shí)現(xiàn)單一系統(tǒng)映像（SSI）集群是目前高性能計(jì)算機(jī)三大體系結(jié)構(gòu)之一，是目前最主流的和最有生命力的體系結(jié)構(gòu)集群是目前性能價(jià)格比最高的高性能計(jì)算機(jī)體系結(jié)構(gòu)集群特點(diǎn)：容易實(shí)現(xiàn)、容易維護(hù)、較好用的高性能計(jì)算機(jī)什么是集群曙光集群曙光集群

18、是使用Infiniband、Myrinet等高速網(wǎng)絡(luò)或者千兆網(wǎng)絡(luò)節(jié)點(diǎn)機(jī)網(wǎng)絡(luò)連接，進(jìn)行高性能并行計(jì)算；使用千兆網(wǎng)絡(luò)連接，進(jìn)行網(wǎng)絡(luò)管理監(jiān)控；一個(gè)節(jié)點(diǎn)就是一臺(tái)機(jī)器，N臺(tái)機(jī)器通過連接高速網(wǎng)、安裝系統(tǒng)（系統(tǒng)的一致性，即系統(tǒng)配置必須一致）、調(diào)試并行環(huán)境、安裝應(yīng)用軟件來進(jìn)行計(jì)算；曙光集群曙光集群可擴(kuò)展性強(qiáng)，如果現(xiàn)有的計(jì)算資源無法滿足需要，可以根據(jù)實(shí)際需求，動(dòng)態(tài)增加計(jì)算節(jié)點(diǎn)；曙光集群的易管理性：GridView、CloudView等監(jiān)控管理軟件，協(xié)助管理集群系統(tǒng)；曙光集群硬件系統(tǒng)的基本架構(gòu)基于節(jié)點(diǎn)的集群CPU：AMD 系列Opteron、Intel系列Xeon高中低端產(chǎn)品： 八路、四路、雙路、單路外圍設(shè)備：機(jī)

19、柜系統(tǒng)網(wǎng)絡(luò)系統(tǒng)集群監(jiān)控系統(tǒng)集群管理系統(tǒng)視頻管理系統(tǒng)集群系統(tǒng)的硬件組成集群系統(tǒng)的體系結(jié)構(gòu)集群系統(tǒng)的物理架構(gòu)曙光集群的計(jì)算系統(tǒng) 計(jì)算系統(tǒng)內(nèi)容計(jì)算節(jié)點(diǎn)一般為雙路或四路刀片或機(jī)架式服務(wù)器，為計(jì)算系統(tǒng)的主力。GPGPU節(jié)點(diǎn)GPU即圖形處理單元，GPGPU的意思為使用顯卡做通用計(jì)算，由于GPU卡具有更多計(jì)算核心數(shù)，更高的能效比和更強(qiáng)的浮點(diǎn)計(jì)算能力，所以對(duì)于適合GPU，并在GPU上移植成功的應(yīng)用軟件提供更高的性能SMP 胖節(jié)點(diǎn)一般用于一些有大內(nèi)存、高IO或單機(jī)多核處理的需求，滿足一些特殊應(yīng)用的需求。曙光集群功能節(jié)點(diǎn)管理節(jié)點(diǎn)IO節(jié)點(diǎn)用于運(yùn)行系統(tǒng)級(jí)的管理軟件，性能要求不高，但可靠性要求高，數(shù)量少用于連接存儲(chǔ)設(shè)備

20、，提供共享存儲(chǔ)空間。小型項(xiàng)目，使用單一IO節(jié)點(diǎn)提供NFS解決。大中型，使用并行文件系統(tǒng)，多個(gè)IO節(jié)點(diǎn)和存儲(chǔ)空間解決IO瓶頸登陸節(jié)點(diǎn)用于用戶登陸集群，在集群上實(shí)現(xiàn)作業(yè)提交，文件上傳，編輯，程序編譯等操作?？煽啃砸蟾撸瑪?shù)量少管理節(jié)點(diǎn)登陸節(jié)點(diǎn) IO節(jié)點(diǎn)曙光集群物理視圖登錄節(jié)點(diǎn)管理節(jié)點(diǎn)IO節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)SMP胖節(jié)點(diǎn)曙光集群網(wǎng)絡(luò)拓?fù)鋱DPBS介紹和使用力求控制對(duì)批處理的初始化和調(diào)度執(zhí)行，允許作業(yè)在不同主機(jī)間的路由。獨(dú)立的調(diào)度模塊存有各個(gè)可用的排隊(duì)作業(yè)、運(yùn)行作業(yè)和系統(tǒng)資源使用信息，并且允許系統(tǒng)管理員定義資源和每個(gè)作業(yè)可使用的數(shù)量。在作業(yè)調(diào)度策略上，PBS提供了默認(rèn)的公平共享和獨(dú)占FIFO調(diào)度策略，還提供了T

21、CL、BACL、C三種過程語言和調(diào)度類，并定義了一些調(diào)度需要的函數(shù)和完整的API，方便實(shí)現(xiàn)新的調(diào)度策略。提供文件傳送，F(xiàn)ile Stage-in 和Stage-out。滿足POSIX1003.2d 標(biāo)準(zhǔn)，支持作業(yè)依賴，和完整的安全認(rèn)證。提供用戶映射功能，使PBS 能用于用戶不一致的系統(tǒng)中。PBS作業(yè)調(diào)度系統(tǒng) PBS的基本原理準(zhǔn)備：編寫描述改作業(yè)的腳本，包括作業(yè)名，需要的資源等。提交：使用qsub命令將該作業(yè)提交給PBS服務(wù)器排隊(duì)：服務(wù)器將該任務(wù)排入適當(dāng)?shù)年?duì)列調(diào)度：服務(wù)器檢查各工作節(jié)點(diǎn)的狀態(tài)是否符合該作業(yè)的要求，并進(jìn)行調(diào)度。執(zhí)行：當(dāng)條件滿足時(shí)，作業(yè)被發(fā)給相應(yīng)的執(zhí)行服務(wù)器執(zhí)行。程序運(yùn)行時(shí)執(zhí)行服務(wù)器

22、會(huì)收集程序的標(biāo)準(zhǔn)輸出和標(biāo)準(zhǔn)錯(cuò)誤流，等程序結(jié)束時(shí)，將這些信息返回給用戶。查詢和調(diào)整：當(dāng)作業(yè)在運(yùn)行時(shí)，用戶可以使用qstat進(jìn)行狀態(tài)查詢。用戶發(fā)現(xiàn)作業(yè)提交錯(cuò)誤時(shí)，可以使用qdel刪除正在運(yùn)行的作業(yè)。查看結(jié)果：使用文本編輯軟件vi或者系統(tǒng)命令cat, less等查看輸出及錯(cuò)誤信息顯示。PBS的使用步驟PBS的基本命令在PBS系統(tǒng)中，用戶使用qsub 命令提交用戶程序。用戶運(yùn)行程序的命令及PBS環(huán)境變量設(shè)置組成PBS作業(yè)腳本，作業(yè)腳本使用如下格式提交到PBS系統(tǒng)運(yùn)行：Qsub運(yùn)行參數(shù)PBS作業(yè)腳本注釋,以“#”開頭PBS指令,以“#PBS”開頭SHELL命令PBS的環(huán)境變量PBS作業(yè)腳本舉例編輯PBS

23、腳本內(nèi)容如下：（注意，#PBS行不是注釋，所有說明行均以#開始，即紅色字體部分）#聲明作業(yè)名為mpi#PBS -N mpi #申請(qǐng)資源數(shù)為10個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)16個(gè)cpu #PBS -l nodes=10:ppn=16#將標(biāo)準(zhǔn)輸出信息與標(biāo)準(zhǔn)錯(cuò)誤信息合并輸出到文件中#PBS -j oe#指定作業(yè)提交到low隊(duì)列#PBS q low#估計(jì)最大運(yùn)算時(shí)間為1000小時(shí)，若沒有設(shè)置這項(xiàng)，系統(tǒng)為自動(dòng)按所在隊(duì)列默認(rèn)walltime處理#PBS -l walltime=1000:00:00詳細(xì)實(shí)例#在作業(yè)結(jié)束時(shí)，給用戶發(fā)郵件#PBS -m e#聲明郵箱地址，如test#PBS -M test#進(jìn)入作業(yè)調(diào)度目錄

24、cd $PBS_O_WORKDIR#計(jì)算申請(qǐng)的cpu數(shù)目NP=cat $PBS_NODEFILE | wc -l#設(shè)置計(jì)算所需要的環(huán)境變量，如使用GNU版OpenMPI運(yùn)行程序source /public/software/mpi/openmpi1.4-gnu.sh#程序運(yùn)行部分mpirun -np $NP -machinefile $PBS_NODEFILE cpi-openmpi詳細(xì)實(shí)例查詢和取消作業(yè)查詢作業(yè)運(yùn)行的位置作業(yè)提交后處于排隊(duì)狀態(tài) 沒有可用的節(jié)點(diǎn)，也就是節(jié)點(diǎn)資源被其他作業(yè)使用； 節(jié)點(diǎn)處于忙狀態(tài); 調(diào)度器失效; 指定的節(jié)點(diǎn)失效，或者節(jié)點(diǎn)上的mom失效作業(yè)提交后異常結(jié)束 腳本文件使用

25、的是windows格式 腳本中使用一些命令路徑問題 腳本退出但是作業(yè)沒有退出 用戶使用的文件的權(quán)限問題處理方法的原則是查看作業(yè)的標(biāo)準(zhǔn)輸入和標(biāo)準(zhǔn)錯(cuò)誤輸出的結(jié)果錯(cuò)誤處理已安裝計(jì)算軟件的提交腳本使用說明#!/bin/bash#PBS -N fluent.test#PBS -l nodes=1:ppn=32#PBS -l walltime=600:00:00#PBS -j oe#PBS -q amd#PBS -m abe#PBS -M your_emailFluent作業(yè)腳本說明source /public/software-a840/profile.d/fluent-env.sh#The versi

26、on of fluent solverFLUENTSOLVER=2d #The name of joufilejoufile=myjob.jou id=echo $PBS_JOBID|awk -F. print $1output=$id.logcd $PBS_O_WORKDIR rm -f pnodes pnodes=cat $PBS_NODEFILE | sort pnodes ncpus=cat pnodes | wc -l echo cpu num is $ncpus $outputecho cat $PBS_NODEFILE $outputdos2unix $joufilefluent

27、 -ssh $FLUENTSOLVER -t$ncpus -cnf=./pnodes -p -g -i $joufile $output 2&1Fluent作業(yè)腳本說明#PBS -S /bin/bash#PBS -N gaussian.test#PBS -j oe#PBS -l walltime=200:00:00#PBS -l nodes=1:ppn=8#PBS -q amd#PBS -V#PBS -m abe#PBS -M your_emailGaussian09作業(yè)腳本說明INFILE=#INFILE=test_gaussian.inp# Define the location wher

28、e Gaussian was installed and run a setup script, file.source /public/software/profile.d/g09-env.shcd $PBS_O_WORKDIR#Run a Gaussian command fileecho Starting Gaussian run at datetime g09 $INFILE $PBS_JOBID.$INFILE.logecho Finished Gaussian run at dateecho Job running in :echo $PBS_O_WORKDIRecho The s

29、crdir is:echo $GAUSS_SCRDIRGaussian09作業(yè)腳本說明#!/bin/sh#$ -S /bin/bash#PBS -N matlab.test#PBS -l walltime=1000:00:00 #PBS -j oe#PBS -q intel#PBS -m abe#PBS -M your_email#PBS -l nodes=1:ppn=16Matlab作業(yè)腳本說明cd $PBS_O_WORKDIR# Run MATLAB with no GUI elements, no splash screen, no Java# Virtual Machine. Upon

30、 starting MATLAB, create no more than 4# compute threads, then run the program in matlabdemo.m#/public/software/matlab/R2012a/bin/matlab -nodisplay -nosplash -nojvm source /public/software/profile.d/matlab-env.shmatlab -nodisplay -nosplash -nojvm -r matlabdemoMatlab作業(yè)腳本說明#!/bin/bash#PBS -N meep.test

31、#PBS -l nodes=1:ppn=8#PBS -l walltime 400:00:00#PBS -q amd#PBS -j oe#PBS -m abe#PBS -M your_emailMeep作業(yè)腳本說明source /public/software-a840/profile.d/meep-env.shcd $PBS_O_WORKDIRNP=cat $PBS_NODEFILE | wc -lmpirun -np 4 -mca btl self,tcp meep-mpi fcen=0.118 df=0.01 ring.ctlh5topng -RZc dkbluered -C ring-eps-000000.00.h5 ring-ez-*.h5convert ring-ez-*.png ring-ez-0.118.gifMeep作