Centos55下MPI并行計算環(huán)境的建立

1、一、配置前的準(zhǔn)備工作假設(shè)機(jī)群是2個節(jié)點,分別為c1,c2。1.安裝Linux(CentOS 5.5)系統(tǒng)，并保證每個節(jié)點的sshd服務(wù)能正常啟動。筆者并沒采用真實的2臺機(jī)器，而是利用虛擬機(jī)(Hyper-v)在一臺裝有Windows server 2008 R2系統(tǒng)的機(jī)器上安裝多個Linux系統(tǒng)進(jìn)行模擬。注意事項：（1）因為筆者采用，此版本對gcc、autoconf等軟件包版本要求較高，為避免出錯，盡量安裝最新的Linux系統(tǒng)。（2）在使用Hyper-v安裝時，會發(fā)現(xiàn)進(jìn)入Centos系統(tǒng)后，網(wǎng)卡無法識別的問題。所以在剛創(chuàng)建完虛擬機(jī)時，要將原來默認(rèn)創(chuàng)建的網(wǎng)卡移除，操作“設(shè)置à硬件

2、4;添加硬件à舊版網(wǎng)絡(luò)適配器”，這樣才可以正常使用。2.為每個節(jié)點分配IP地址c1:172.20.20.169, 3.配置/etc/hosts文件，該文件可以實現(xiàn)IP地址和機(jī)器的對應(yīng)解析，所有節(jié)點的該文件均要按下面的內(nèi)容修改：172.20.c1172.20.c2同時一定要注銷或者刪除這一行：127.0.0.1 localhost，否則在用命令同時開啟各節(jié)點mpd服務(wù)時，會出現(xiàn)“mpdboot_c1 (handle_mpd_output 412): failed to handshake with mpd on c2; recvd output=”的錯誤通過以上配置后節(jié)點之間能夠通過各

3、節(jié)點的機(jī)器名稱相互訪問。例如，可以通過ping c2進(jìn)行測試。注意事項：該測試必須在關(guān)閉Linux防火墻的條件下進(jìn)行，否則可能失敗。永久生效：chkconfig iptables on/off（重啟生效）即時生效：service iptables start/stop（重啟失效）二、掛載NFS文件系統(tǒng)由于MPICH的安裝目錄和用戶可執(zhí)行程序在并行計算時需要在所有節(jié)點保存副本，而且目錄要相互對應(yīng)，每次一個節(jié)點一個節(jié)點的復(fù)制非常麻煩，采用NFS文件系統(tǒng)后可以實現(xiàn)所有節(jié)點內(nèi)容與主節(jié)點內(nèi)容同步更新，并自動實現(xiàn)目錄的對應(yīng)。NFS文件系統(tǒng)使得所有機(jī)器都能以同樣的路徑訪問服務(wù)器上保存的文件，訪問方法如同對本

4、地文件的訪問。通常我們會將MPICH的安裝目錄及并行程序存放目錄配置為NFS共享目錄，這樣可以省去將文件向各個節(jié)點復(fù)制的麻煩，大大提高工作效率。NFS文件系統(tǒng)的配置方法示例如下（我們在c1上設(shè)置NFS服務(wù)器，配置需要在root用戶下完成）。1.服務(wù)器端配置方法（下面的配置只在主節(jié)點進(jìn)行）（1）/etc/exports文件配置在文件/etc/exports中增加以下幾行：/root 172.20.20.0/255.255.255.0(rw,sync,no_root_squash,no_subtree_check)/usr/local 172.20.20.0/255.255.255.0(rw,sy

5、nc,no_root_squash,no_subtree_check)(為什么共享這兩個目錄，mpich2需要安裝在c1的/usr/local目錄下，要使c2也直接使用，所以要把這個目錄共享出來；/root目錄下有.bashrc文件，是設(shè)置環(huán)境變量用的，如果c1修改了該文件，而又沒有將/root目錄共享出來給c2使用，c2就無法運行mpich2了)這幾行文字表明NFS服務(wù)器網(wǎng)段的節(jié)點共享其/usr/cluster目錄（目錄必須存在），并使這些節(jié)點具有相應(yīng)的權(quán)限（可查詢相關(guān)的文檔）。如有更多的節(jié)點可按此方法填寫。如果期間有修改共享文件夾目錄，則需要用以下命令刷新一下：exportfs -rv（2

6、）啟動NFS服務(wù)啟動NFS服務(wù)只需要以下兩個命令：service portmap start（該服務(wù)在Centos中已經(jīng)自動運行，可不是用）注：在最新的內(nèi)核中，NFS守護(hù)進(jìn)程改為rpcbind，如是新內(nèi)核，啟動NFS守護(hù)進(jìn)程的命令是“service rpcbind start”。service nfs start到此c1服務(wù)器已可以向其他兩個節(jié)點提供/usr/local 和/root目錄的文件共享。2.客戶端c2配置方法（需要在所有子節(jié)點做同樣的配置）。（1）建立共享目錄。建立與服務(wù)器相同的共享目錄用于共享服務(wù)器文件：由于我NFS服務(wù)器共享的2個目錄是已經(jīng)存在的，所以這一步可以省略。（2）查看

7、服務(wù)器已有的共享目錄（這步可省略）。通過這條命令我們可以查看IP地址為服務(wù)器可以共享的目錄情況。（3）掛載共享目錄。mount -t nfs c1:/usr/local /usr/localmount -t nfs c1:/root /root這2條命令將NFS服務(wù)器c1上的共享目錄掛載到本地/usr/local和/root目錄下。我們也可在所有子節(jié)點的/etc/fstab文件中輸入以下的代碼，使文件系統(tǒng)在啟動時實現(xiàn)自動掛載NFS：c1:/usr/local /usr/local nfs defaults0 0c1:/root/rootnfs defaults 0 0至此我們已可以實現(xiàn)對NFS

8、共享目錄的本地訪問，c2的/root和/usr/local文件夾都共享了NFS服務(wù)器的同名文件夾的內(nèi)容，我們可以像訪問本地文件一樣訪問共享文件。MPICH的安裝目錄和用戶存放并行程序的文件夾都需要實現(xiàn)NFS共享，從而避免了每次向各節(jié)點發(fā)送程序副本。（4）查看c2掛載NFS目錄情況三、配置ssh實現(xiàn)MPI節(jié)點間用戶的無密碼訪問由于MPI并行程序需要在各節(jié)點間進(jìn)行信息傳遞，所以必須實現(xiàn)所有節(jié)點兩兩之間能無密碼訪問。節(jié)點間的無密碼訪問是通過配置ssh公鑰認(rèn)證來實現(xiàn)的。例如，對新用戶user配置ssh公鑰認(rèn)證，先在c1上做以下操作。（1）生成了私鑰id_dsa和公鑰，具體操作方法如下。ssh-keyg

9、en -t rsa系統(tǒng)顯示一些信息，遇到系統(tǒng)詢問直接回車即可。（2）將該密鑰用作認(rèn)證，進(jìn)行訪問授權(quán)。按如下命令在c1執(zhí)行。cp /.ssh/id_dsa.pub /.ssh/authorized_keys由于我們使用的是root用戶，所以代表/root，（3）將/.ssh目錄下的文件復(fù)制到所有節(jié)點。scp -r /.ssh/* c2:/root/.ssh（4）檢查是否可以直接（不需要密碼）登錄其他節(jié)點。ssh c2如能兩兩之間不需要密碼登錄其他節(jié)點，則表明配置成功。四、安裝MPICH2前期準(zhǔn)備：MPICH2安裝時，需要gcc的支持，否則會報錯。命令是：yum install gcc* -y1.

10、下載并解壓MPICH2壓縮包。解壓完成后將在當(dāng)前目錄生成一個MPICH文件目錄。2.進(jìn)入MPICH解壓后的目錄，配置安裝目錄。注意事項：最新版本mpich2的進(jìn)程管理默認(rèn)使用hydra，而不是mpd。如果你要使用mpd，使用./configure -with-pm=mpd:hydra ./configure -prefix=/usr/local/mpich2 -with-pm=mpd:hydra根據(jù)以上配置MPICH將安裝在目錄/usr/local/mpich2，并確保所有節(jié)點已建立針對該目錄的NFS共享。3.編譯安裝MPICH2。進(jìn)入解壓后的MPICH文件目錄，分別執(zhí)行make和make i

11、nstall指令，這會花一段較長的時間。4.在當(dāng)前用戶主目錄/root下建立并編輯配置文件。將所有你允許訪問本機(jī)進(jìn)行并行計算的機(jī)器名填入，一行一個機(jī)器名，如果該機(jī)器上有兩個CPU，就將它的名字加入兩次，以此類型。c1c2注意，文中包含自己的目的是為了在只有一個節(jié)點時也可以模擬并行計算環(huán)境。5.配置環(huán)境變量。編輯用戶主目錄下的/.bashrc文件，增加一行：PATH="$PATH:/usr/local/mpich2/bin"這一行代碼將MPI的安裝路徑加入用戶的當(dāng)前路徑列表。重新打開命令行窗口后生效。6.啟動mpd守護(hù)進(jìn)程。運行mpirun，首先要運行mpd。在啟動mpd守護(hù)進(jìn)程前要在各個節(jié)點的安裝目錄（）生成一個文件，內(nèi)容為：secretword=111111其中，“111111”為識別口令，在所有節(jié)點中都建立該文件并保持口令一致，口令可自己設(shè)定。進(jìn)入/usr/local/mpich2/etc/目錄執(zhí)行以下命令mpd &mpd &為啟動本地mpd的命令，我們也可以采用以下命令同時啟動中所列節(jié)點的mpd。mpdboot -n <節(jié)點個數(shù)這一命令將同時在文件中所指定的節(jié)點上啟動mpd管理器。mpd啟動