MATLAB分布式并行計(jì)算服務(wù)器配置和使用方法

1、Windows下MATLAB分布式并行計(jì)算服務(wù)器配置和使用方法1 MATLAB分布式并行計(jì)算服務(wù)器介紹MATLAB Distributed Computing Server可以使并行計(jì)算工具箱應(yīng)用程序得到擴(kuò)展，從而可以使用運(yùn)行在任意數(shù)量計(jì)算機(jī)上的任意數(shù)量的worker。MATLAB Distributed Computing Server還支持交互式和批處理工作流。此外，使用 Parallel Computing Toolbox 函數(shù)的 MATLAB 應(yīng)用程序還可利用 MATLAB Compiler（MATLAB 編譯器）編入獨(dú)立的可執(zhí)行程序和共享軟件組件，以進(jìn)行免費(fèi)特許分發(fā)。這些可執(zhí)行應(yīng)用程

2、序和共享庫可以連接至 MATLAB Distributed Computing Server的worker，并在計(jì)算機(jī)集群上執(zhí)行MATLAB同時(shí)計(jì)算，加快大型作業(yè)執(zhí)行速度，節(jié)省運(yùn)行時(shí)間。 MATLAB Distributed Computing Server 支持多個(gè)調(diào)度程序：MathWorks 作業(yè)管理器（隨產(chǎn)品提供）或任何其他第三方調(diào)度程序，例如 Platform LSF、Microsoft Windows Compute Cluster Server（CCS）、Altair PBS Pro，以及TORQUE。 使用工具箱中的 Configurations Manager（配置管理器），可

3、以維護(hù)指定的設(shè)置，例如調(diào)度程序類型、路徑設(shè)置，以及集群使用政策。通常，僅需更改配置名稱即可在集群間或調(diào)度程序間切換。 MATLAB Distributed Computing Server 會(huì)在應(yīng)用程序運(yùn)行時(shí)在基于用戶配置文件的集群上動(dòng)態(tài)啟用所需的許可證。這樣，管理員便只需在集群上管理一個(gè)服務(wù)器許可證，而無需針對(duì)每位集群用戶在集群上管理單獨(dú)的工具箱和模塊集許可證。作業(yè)（Job）是在MATLAB中大量的操作運(yùn)算。一個(gè)作業(yè)可以分解不同的部分稱為任務(wù)（Task），客戶可以決定如何更好的劃分任務(wù)，各任務(wù)可以相同也可以不同。MALAB中定義并建立作業(yè)及其任務(wù)的會(huì)話（Session）被稱為客戶端會(huì)話，通常

4、這是在你用來編寫程序那臺(tái)機(jī)器上進(jìn)行的。客戶端用并行計(jì)算工具箱來定義和建立作業(yè)及其任務(wù)，MDCE通過計(jì)算各個(gè)任務(wù)來執(zhí)行作業(yè)并負(fù)責(zé)把結(jié)果返回客戶端。作業(yè)管理器（Job Manager）是MDCE的一個(gè)組成部分，用來協(xié)調(diào)各個(gè)作業(yè)及其任務(wù)在各個(gè)woker上的執(zhí)行。如圖所示，MATLAB客戶端（Client）與調(diào)度或作業(yè)管理器（Sheudler/Jobmanager）和計(jì)算節(jié)點(diǎn)（Worker）之間的關(guān)系。2 MATLAB分布式并行計(jì)算服務(wù)器配置方法要求參與并行運(yùn)算的機(jī)器matlab版本相同，操作系統(tǒng)可以不同（待考證）。2.1 配置主機(jī)2.1.1 Windows防火墻設(shè)置a. 以管理員權(quán)限登陸計(jì)算機(jī)b.

5、將matlab添加到防火墻，在DOS命令窗口下執(zhí)行以下命令matlabroottoolboxdistcompbinaddMatlabToWindowsFirewall.bat其中matlabroot是指matlab安裝位置，比如在我的計(jì)算機(jī)里是C:Program FilesMATLABR2013a。若這樣添加兩臺(tái)機(jī)器依然無法ping通，請(qǐng)將防火墻關(guān)閉，關(guān)閉方法見附錄。2.1.2 配置多用戶電腦若某機(jī)器是多用戶的，則需要進(jìn)行如下配置。目前測試成功的機(jī)器不需要這一步，所以這一步暫時(shí)可以忽略。a. 編輯配置文檔mdce_def.batmatlabroottoolboxdistcompbinmdce_

6、def.batb. 找到MDCEUSER參數(shù)，按照domainusername的形式進(jìn)行配置set MDCEUSER=mydomainmyusernamemydomain可以是電腦ip地址，myusername是電腦的用戶名。c. 找到并配置MDCEPASSset MDCEPASS=passwordpassword是電腦的登陸密碼。d. 保存文檔。2.2 關(guān)閉老版本matlab的mdce服務(wù)器配置a. 以必要的權(quán)限打開DOS命令窗口。Win7下開啟方法是以管理員身份運(yùn)行cmd.exe程序。開始->搜索cmd->以管理員的身份運(yùn)行。b. 在DOS窗口下打開老版本matlab的目錄，命

7、令是：cd oldmatlabroottoolboxdistcompbinc. 停止老版本的mdce服務(wù)并移除關(guān)聯(lián)文件。命令是：mdce uninstall -cleand. 在所有的worker節(jié)點(diǎn)上重復(fù)以上步奏。2.3 安裝mdce等服務(wù)，配置節(jié)點(diǎn)，開啟MJS、worker2.3.1 安裝和開啟mdce服務(wù)a. 以管理員身份運(yùn)行cmd.exe。b. 如果matlab沒有安裝在C盤，則需要指定matlab安裝盤。如安裝在D盤，則輸入“D：”c. 輸入mdce服務(wù)命令文件所在目錄，格式是：“cd matlabroottoolboxdistcompbin ”。d. 輸入mdce install

8、安裝mdce服務(wù)。e. 輸入mdce start 開啟mdce 服務(wù)。f. 開啟RPC服務(wù)。開始->搜索->服務(wù)->以管理員身份運(yùn)行。將下圖紅色圈內(nèi)的兩項(xiàng)服務(wù)開啟并設(shè)為自動(dòng)開啟。根據(jù)目前測試，該步驟可忽略。2.3.2 配置節(jié)點(diǎn)a. 找到matlab目錄atlabroottoolboxdistcompbin，運(yùn)行admincenter.bat文件。b. 點(diǎn)擊Add or Find。Add or Find Hosts 對(duì)話窗口被打開c. 選擇Enter Hostname or IP Addresses，并輸入?yún)⑴c并行計(jì)算的機(jī)器的IP地址或主機(jī)名稱。d. 點(diǎn)擊OK打開Start m

9、dce service 對(duì)話窗口。一直點(diǎn)擊next直到出現(xiàn)start the services，點(diǎn)擊以開啟服務(wù)。若Status欄是紅色，則查看任務(wù)管理器->服務(wù)里 mdced服務(wù)是否是開啟狀態(tài)。若服務(wù)沒有開啟則需要手動(dòng)開啟服務(wù)。開始->搜索->服務(wù)->以管理員身份運(yùn)行，找到對(duì)應(yīng)的服務(wù)并開啟。e. 點(diǎn)擊 Test connectivity 并查看測試結(jié)果。紅色圈處顯示Passed表示連接測試通過。2.4 開啟MJSa. 在MJS（Matlab Job Scheduler）模塊單擊Start。b. 點(diǎn)擊OK以繼續(xù)。2.5 開啟Workersa. 在Workers模塊點(diǎn)擊St

10、art。b. 在彈出的Start Workers對(duì)話框內(nèi)Workers欄輸入每臺(tái)機(jī)器開啟的Workers數(shù)。該數(shù)目與計(jì)算機(jī)核數(shù)一直效率最高。c. 選擇要運(yùn)行Workers的主機(jī)。d. 點(diǎn)擊OK以繼續(xù)。此后會(huì)初始化Workers，此過程需要幾分鐘時(shí)間。3 MDCE server 的使用3.1 找到clustersa. 點(diǎn)擊matlab工具欄Parallel右下角的三角符號(hào)，并選擇Discover Clusters.b. 勾選On your network 并按next。c. 選擇之前建立的Cluster并按next。d. 如紅線所示顯示成功后勾選“Set new cluster profile

11、as default”將其作為默認(rèn)設(shè)置，點(diǎn)擊finish。3.2 管理并檢測Cluster配置文件a. 點(diǎn)擊matlab工具欄Parallel右下角的三角符號(hào)，并選擇Manage Cluster Profiles。b. 在Cluster Profile欄選擇上一步中設(shè)為默認(rèn)的Profile（紅線處），在Properties欄可以編輯一些屬性，不編輯則使用默認(rèn)屬性。在Validation Results欄可以進(jìn)行有效性檢測。點(diǎn)擊右下角Validate進(jìn)行檢測，若通過則如下圖所示。3.3 Monitor Jobsa. 點(diǎn)擊matlab工具欄Parallel右下角的三角符號(hào)，并選擇Monitor J

12、obs。b. 在新出現(xiàn)的Job Monitor窗口中選擇默認(rèn)的profile。之后就可以通過此窗口觀察Job的狀態(tài)。3.4 進(jìn)行并行計(jì)算a. 開啟并行。在matlab命令窗口輸入matlabpool open，開啟所有的works。此時(shí)Job Monitor窗口會(huì)顯示工作狀態(tài)。b. 運(yùn)行并行程序。c. 關(guān)閉并行。在matlab命令窗口輸入matlabpool close。4 測試結(jié)果4.1 仿真程序 圖 41 示例1 圖 42 示例24.2 仿真參數(shù)兩臺(tái)機(jī)器，每臺(tái)機(jī)器開2個(gè)Workers，共4個(gè)Workers。4.3 仿真結(jié)果表格 41 示例1仿真結(jié)果仿真結(jié)果runtimes無并行仿真時(shí)間（S）有并行仿真時(shí)間（S）加速比1E80.480.481.001E94.493.681.221E1090.8936.052.521E11913.73362