![架構高性價比的分布式計算機集群_第1頁](http://file3.renrendoc.com/fileroot_temp3/2022-1/23/29d93715-22b5-466e-a50a-078ef72f979e/29d93715-22b5-466e-a50a-078ef72f979e1.gif)
![架構高性價比的分布式計算機集群_第2頁](http://file3.renrendoc.com/fileroot_temp3/2022-1/23/29d93715-22b5-466e-a50a-078ef72f979e/29d93715-22b5-466e-a50a-078ef72f979e2.gif)
![架構高性價比的分布式計算機集群_第3頁](http://file3.renrendoc.com/fileroot_temp3/2022-1/23/29d93715-22b5-466e-a50a-078ef72f979e/29d93715-22b5-466e-a50a-078ef72f979e3.gif)
![架構高性價比的分布式計算機集群_第4頁](http://file3.renrendoc.com/fileroot_temp3/2022-1/23/29d93715-22b5-466e-a50a-078ef72f979e/29d93715-22b5-466e-a50a-078ef72f979e4.gif)
![架構高性價比的分布式計算機集群_第5頁](http://file3.renrendoc.com/fileroot_temp3/2022-1/23/29d93715-22b5-466e-a50a-078ef72f979e/29d93715-22b5-466e-a50a-078ef72f979e5.gif)
版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
1、架構高性價比的分布式計算機集群.txt機會就像禿子頭上一根毛,你抓住就抓住了,抓不住 就沒了。我和你說了 10分鐘的話,但卻沒有和你產生任何爭論。那么,我們之間一定有個人 變得虛偽無比!過錯是短暫的遺憾,錯過是永遠的遺憾。相遇是緣,相知是份,相愛是約定, 相守才是真愛。架構高性價比的分布式計算機集群.txt我這輩子只有兩件事不會:這也不會, 那也不會。人家有的是背景,而我有的是背影。肉的理想,白菜的命。肉的理想,白菜的命。 白馬啊 你死去哪了!是不是你把王子弄丟了不敢來見我了。架構高性價比的分布式計算機集群 正如你所看到的一樣,你的機器在絕大多數(shù)時間是空閑的,如果你在Windows下用任務管理
2、 器或其他的Linux平臺的工具(例如top, xload)觀察CPU,你會看到CPU的使用率常見在 12機事實上,如果你有更多的計算機,這種浪費會加劇,在一個有300臺計算機的部門里, CPU的空閑率是驚人的。然而這些部門還是需要強大的服務器用來編譯或模擬計算,這樣的 情況還會加劇,不止需要一臺,因為隨著用戶的增加,即使是8個CPU的服務器,滿負荷時 也不能把任務交給另外的空閑服務器,因為用戶很少會改變習慣去登陸另外一臺服務器。如 果能利用現(xiàn)有的計算資源,把空閑的CPU利用起來,或者能讓服務器智能的遷移負荷,就是 你看下去的理由。集群的基本單位是單獨的計算機,稱為節(jié)點(node)。其可增長的
3、特性,稱為延展性(Scale), 也就是向集群中加入計算機。集群沒有嚴格的定義,可以說就是許多利用高速聯(lián)接的,具有 高速運算能力的,具有單一用戶界面的計算機組合。這并不是集群的定義,而是表面現(xiàn)象的 描述。集群中的節(jié)點需要硬件盡可能的一致,不一致的硬件集群稱為異構集群,雖然這并不 能改變集群的特性,但是異構導致集群會花費額外的時間來處理由于異構帶來的延遲,另一 方面這也是集群的優(yōu)勢,任何其他的多CPU系統(tǒng)都是嚴格要求CPU是一致的,集群就有足夠 的自由度增減節(jié)點,不受類型的限制。本文選擇M0SIX作為集群的方案,并使用無盤方點。架構集群并沒有想象中那樣復雜,參考 下面的步驟可以一步步的架構集群,
4、整個的方案并不是很昂貴,而且便于擴展。使用RedHat 是因為在中國這是最有權威的版本,不論是初學者還是專業(yè)工作者,都可以在RedHat Linux 中定制自己的版本。使用終端服務器LTSP是因為結構簡單,便于快速擴展。使用的硬件是可 以改進的,比如使用雙CPU的主板和至強處理器,這樣單一機柜中處理器就密集到48塊CPU, 本例中可以使用24塊CPU。除了 CPU以外,還可以使用千兆網(wǎng)卡或光纖網(wǎng)卡,交換機可以使 用光纖交換機,內存總數(shù)可以達到48GB。但是隨著硬件的升級,整體價格就會過高,而性能 的提升并不是按比例的,因此本例的配置是性價比較好的組合。M0SIX是利用給內核源代碼 加補丁的辦法
5、,增加內核的功能來達到內核級的集群支持,通過編譯后的內核啟動的系統(tǒng)間 類似SMP多處理器的系統(tǒng),從外而的角度看只有一臺有很多處理器的龐大機器,但是內部是 用很多機器架構成的。而M0SIX集群的特點是對用戶透明,原有的應用程序不需要修改代碼 即可以在集群中分布計算。有幾種情況是不需要使用集群系統(tǒng)的,使用類似網(wǎng)格計算的腳本就可以完成計算,比如三維 動畫的渲染,這類計算可以使用不同的行點,不需要對稱的硬件,不需要一致的操作系統(tǒng)(需 要應用具有支持不同操作系統(tǒng)的版本),只需要按照處理器來分割渲染的任務段,在每個節(jié)點 上運行相應的任務段,然后合成所有節(jié)點的計算結果。因為計算數(shù)據(jù)是離散的(結果的連續(xù) 是視
6、覺的連續(xù)),因此用類似網(wǎng)格計算的腳本也可以完成。這類計算不需要使用集群也可以完 成。下而本文將告訴你如何準備硬件和軟機環(huán)境。首先是規(guī)劃你的計算環(huán)境。規(guī)劃計算環(huán)境硬件環(huán)境:1.49U標準機柜,安裝1U的交換機,24臺2U機架式機箱。2. 1U的24 口 100MB交換機(不是集線器)3. Intel P4 2GHz CPU, 1GB DDR, Intel 845D 主板,軟驅,NVIDIA 顯卡(能啟動 X Windows 就可以),2U機架式機箱,3C905B 10/100MB自適應網(wǎng)卡,網(wǎng)關需要配置光驅,80GB硬盤和 雙網(wǎng)卡。4. 5類線,按照693A壓3米網(wǎng)線24根。5. 顯示器,鍵盤,
7、鼠標僅在安裝時使用。軟件環(huán)境和必要的安裝包(除特殊說明外,高版本不一定適用):1. Redhat 7. 2 CD1 和 CD2 安裝光盤2. dhcp-3. 0. Irc9-1. i386. rpm是支持啟動內核調用的DHCP版本3. dhcpcd-1. 3. 22pll-7. i386. rpm 是 DHCPD 守護進程4. mknbi-1. 2-6. noarch, rpm是制作客戶端啟動內核的必要軟件包5. M0SIX-1. 6. 0. tar. gz是原始的M0SIX文件,最新的版本是1.7. 06. M0SKRN-1. 6. 0. tar. gz是原始M0SIX內核文件,最新的版本是
8、1. 7. 07. openmosix-kernel-2. 4. 18-openmosix2. 1386. rpm 是 MOSIX 分支版本的通用內核,最新的 版本是2. 4. 198. openmosix-kernel-2. 4. 18-openmosix2. 1686. rpm 是 MOSIX 分支版本的新處理器內核,最 新的版本是2.4. 199. openmosix-kernel-smp-2. 4. 18-openmosix2. i686. rpm是XOSIX分支版本的多處理器內核, 最新的版本是2.4.1910. openmosix-kernel-2. 4. 18-openmosix
9、2. src. rpm 是 MOSIX 分支版本的源代碼11. openmosix-tools-O. 2. 2-1. i386. rpm 是 MOSIX 分支版本的客戶端工具12. ltsp_core-3. 0-11. i386. rpm 是 LTSP 的核心文件13. ltsp_kernel-3. 0-3. i386. rpm 是 LTSP 的內核14. ltsp_floppyd-3. 0. 0-2. i386. rpm 是 LTSP 的軟盤工具15. ltsp_initrd_kit-3. 0. l-i386. tgz 是 LTSP 的啟動制作工具16. linux_kernel-2. 4.
10、 18. tar. gz是需要編譯的內核源碼網(wǎng)絡配置環(huán)境:1 .網(wǎng)關對外網(wǎng)卡配置10. 193. 15. 169,子網(wǎng)掩碼255. 255. 255.0給內部網(wǎng)使用,用于登錄和 提交進程。2 .網(wǎng)關對內網(wǎng)卡配置192.168. 0.254,子網(wǎng)掩碼255. 255.255. 0,網(wǎng)關為10.193.15. 169給 集群用于DHCP服務器,NFS服務器,LTSP服務器。3 .網(wǎng)關對內網(wǎng)卡配置DHCP,分配地址從00到192. 168.0. 253,子網(wǎng)掩碼 255. 255. 255.0,都是 C 類。當以上條件都具備時,可以開始架構MOSIX集群。1.安裝所有硬件,并能
11、確??梢詮墓獗P啟動網(wǎng)關服務器系統(tǒng),5點可以使用軟盤啟動,檢查 BIOS的啟動設置,并確認可以正確啟動。將所有節(jié)點和交換機安裝到機柜上,用網(wǎng)線連接交 換機和各h.點,網(wǎng)關需要額外的網(wǎng)線連接到局域網(wǎng),因為可以稱集群計算環(huán)境為沖算場 (Computing Farm),因此對應局域網(wǎng)稱集群系統(tǒng)的網(wǎng)絡為計算網(wǎng)絡。連接好電源后,使用兩 套顯示器和鍵盤鼠標,分別連接一臺節(jié)點機和網(wǎng)關服務器。安裝RedHat 7. 2版本在具有兩塊網(wǎng)卡的網(wǎng)關服務器上,分區(qū)使用自動分區(qū)(比較簡單,本文 不討論Linux其他問題),選擇定制安裝,但不要安裝所有的軟件包,除缺省的選擇外,需要 額外選擇軟件開發(fā)和內核開發(fā)兩組軟件包,安
12、裝時沒有選擇的軟件包,可以在系統(tǒng)正常啟動 后參考如何編譯內核中的軟件包來安裝。安裝到網(wǎng)絡配置時,按照網(wǎng)絡環(huán)境配置IP地址, 需要配置DNS的需要修改對外網(wǎng)卡的設置,使用小寫mosix為主機名。安裝完后需要驗證網(wǎng) 關服務器可以正常啟動,按照個人喜好來設定系統(tǒng),推薦使用文本模式,圖形模式資源消耗 較大。另外需要連接到RedHat網(wǎng)站升級有缺陷的軟件包,減少系統(tǒng)漏洞,注意別把內核也升 級了,并不是因為本文的操作,而是內核升級后,系統(tǒng)很可能啟動失敗,本文將自己編譯內 核。升級完成后重啟,再次確認系統(tǒng)沒有任何錯誤。3.安裝MOSIX包(openmosix的安裝是另外的分支)需要很多步驟,注意操作步驟的準
13、確性:A,將所有下載的軟件包上載到服務器的/usr/src/tmp目錄下,確認下載的軟件包是完整的,確認md5的校驗結果一致:su -cd /usr/src/makdir tmpmd5 package.B,將RedHat 7.2 CD2放入到光驅。參考以下操作確認編譯內核需要的軟件包已經(jīng)存在:mount /dev/cdrom /mnt/cdromcd /mnt/redhat/RPMrpm -Uvh kerne1-headers*rpm -Uvh kernel-source*rpm -Uvh kernel-doc*rpm -Uvh dev86*rpm -Uvh make-*:rpm -Uvh g
14、libc-devel*rpm -Uvh cpp*rpm -Uvh ncurses-devel*rpm -Uvh binutils*rpm -Uvh gcc-2*rpm -Uvh t /usr/srcumount /mnt/cdromC,安裝需要的軟件包,展開所有的tar. gz軟件包:tar xvfz MOSIX-1. 6. 0. tar. gz tar xvfz MOSKRN-1. 6. 0. tar. gz tar xvfz linux-2. 4. 18. tar. gzD,如果展開文件沒有錯誤,將各個軟件展開目錄移到正確的位置:mv MOSIX-1. 6. 0 /usr/src/mv M
15、OSKRN-1. 6. 0 /usr/src/ mv linux /usr/src/linux-2. 4. 18chmod goa+x /usr/src/MOSIX-1. 6. 0/inst/add_kernel_to_grub mkdir /usr/local/manF,下面才是真正有趣和讓人著迷的步驟,首先要創(chuàng)建編譯內核配置文件的目錄,這是個好習 慣, 因為每次的編 cd /usr/src mkdir config, backuped /usr/src/linux-2. 4. 7-10/configsepkernel-2. 4 7-i686. config /usr/sre/config,
16、 backup/kerne1-2. 4. 18. configcd /usr/src/cp config, backup/kerne1-2. 4. 18.config linux-2. 4. 18/. configH,根據(jù)你的情況修改Makefiles的EXTRAVERSION部分,原值為18,可改為mosix來標明編 譯后的內核版本,cd /usr/src/linux-2. 4. 18vi Make = 18cd /usr/src/MOSIX-1. 6. 0. /mosix. installJ,安裝開始后會有一些問題,除新內核加入LILO或GRUB一問回答為G以外的問題都用回車 使用缺省選擇
17、(大寫的字母為缺省值)。問題依次為內核源代碼的路徑,新內核的啟動選項添 加在那個啟動程序中,內核所包含的庫文件連接,MOSIX服務的啟動級別,創(chuàng)建MFS裝載目 錄,啟動那種內核編譯配置菜單,是否顯示內核編譯詳細過程,是否顯示用戶級編譯詳細過 程。隨后系統(tǒng)開始給內核源代碼加補丁,啟動內核編譯配置菜單。K,在內核編譯配置菜單中,你可以看到新增加的MOSIX選項。L,選擇進入MOSIX選項并添加直接文件系統(tǒng)訪問(Direct Access)和MOSIX文件系統(tǒng) (MOSIX ) o用ESC鍵推出當前選單。M,添加塊設備(Block devices)的內存虛擬盤的支持(RAM disk support
18、)和使用初始化 進程初始化內存虛擬盤(Initial RAM disk (initrd) support)兩項。N,在網(wǎng)絡選項(Networking options)中增加對IP內核級自動配置(IP: kernel level autoconfiguration), IP 動態(tài)地址支持(IP: DHCP support), IP 啟動地址綁定支持(IP: BOOTP support)o0,建議除去SCSI的支持,本例中沒采用SCSI設備,并且可以避免內核編譯失敗。建議除去 聲卡支持。P,在網(wǎng)絡文件系統(tǒng)(Network )中增加NFS支持根文件系統(tǒng)(Root on NFS)Q,最后多按一次ESC
19、鍵,提示保存配置文件,選擇Yes。系統(tǒng)將開始編譯內核,編譯模塊, 安裝內核,安裝模塊。該過程可能會產生一些警告,只要編譯沒退出,并正常完成回到提示 符狀態(tài)就完成了編譯。R,先不要忙于重啟,需要修改/boot/grub/grub, conf文件中MOSIX的內核路徑一行,原路 徑為/boot/vmlimiz-2. 4. 18-mosix,修改為/vmlinuz-2. 4. 18-mosix。修改完后鍵入 reboot 可以重新啟動。S,這時的啟動菜單中出現(xiàn)Mosix 1.6.0 (2. 4. 18),選擇該項啟動MOSIX系統(tǒng)。T,系統(tǒng)啟動中會出現(xiàn)若干錯誤,圖中第一個是由于沒有創(chuàng)建/mfs引起的
20、,第二個是由于YOSIX 更改了 sshd服務的權限,而沒啟動另外的MOSIX的sshd引起的。第一次啟動MOSIX系統(tǒng), 會要求配置mosix. map文件,回車選擇缺省的編輯器進入編輯。U,配置文件修改完成后,系統(tǒng)會提示節(jié)點的IP地址有變化時需要修改mosix. map文件中的 節(jié)點號。因為網(wǎng)關服務器是192. 168. 0. 254因此定義為節(jié)點1,其他的節(jié)點從192.168. 0.1 開始共有253個節(jié)點,節(jié)點號從2開始。V,進入系統(tǒng)后,啟動MOSIX,顯示初始化MOSIX, MOSIX配置完成。service mosix start4.因為MOSIX有另外的分支openmosix,因
21、為版權問題不同(后面將會介紹),openmosix 更開放一些,而且openmosix的安裝相對簡單,推薦沒有經(jīng)驗的初學者使用,下而是openmosix 的安裝和基于openmosix的客戶端配置注意:MOSIX和openmosix雖然都是MOSIX原理卜 的軟件,但是互相是不能通訊的,因此一個集群系統(tǒng)里要統(tǒng)一使用一種平臺。openmosix是 使用rpm為安裝包的,事實上只是把編譯好的內核直接掛接到系統(tǒng)里,并沒有經(jīng)過你自己的 編譯,對于初學者而言要方便許多。以下操作是在剛安裝完RedHat Linux 7. 2的系統(tǒng)上完成 的,除。penmosix的軟件包外,不需要其他任何的軟件包,缺省目錄
22、在Aisr/src/下。可根據(jù) 情況安裝 SMP 版本,openmosix-kernel-2. 4. 18-openmosix2. i386. rpm 版本適合于所有 X86 體系的處理器,openmosix-kernel-2. 4. 18-openmosix2. 1686. rpm 版本適合本例, openmosix-kernel-2. 4. 18-openmosix2. src. rpm 是包含 kernel-2. 4. 18 和 openmosix 內核補 丁的源代碼。當安裝完成后啟動時就可以看到openmosix的啟動項。cd /usr/src/rpm -Uvh openmosix-k
23、ernel-2. 4. 18-openmosix2. i686. rpmrpm -Uvh openmosix-kernel-2. 4. 18-openmosix2. src. rpmrpm-Uvhopenmosix-tools-O. 2. 2-1. i386. rpmrpm -Uvh dhcp-3. 0. Irc9-1. i386. rpmrpm -Uvh dhcpcd-1. 3. 22pll-7. 1386. rpmrpm -Uvh mknbi-1. 2-6. noarch, rpmrpm -Uvh ltsp_core-3. 0-11. i386. rpm rpm -Uvh ltsp_ker
24、nel-3. 0-3. i386. rpm rpm -Uvh ltsp_floppyd-3. 0. 0-2. i386. rpm rpm -Uvh ltsp_initrd_kit-3. 0. l-i386. tgz mv ltsp_initrd_kit /usr/src/6 .因為使用的是openmosix,你需要單獨展開的linux-2. 4. 18. tar. gz文件和openmosix的 補 文件,需要將 openmosix 的補丁加入,你在安裝 openmosix-kernel-2. 4. 18-openmosix2. src. rpm 時,源文件會存在于 /usr/src/redh
25、at/SOURCES/目錄下,同時還有內核補文件。cd /usr/src/redhat/SOURCES/tar xvfz linux-2. 4. 18. tar. gzmv /usr/src/redhat/SOURCES/1inux /usr/src/linux-2. 4. 18-om27 .將內核補丁文件展開并加入內核源文件,并作編譯前準備,將舊的內核編譯中間結果清理 干凈:cp /usr/src/redhat/SOURCE/openMosix-2. 4. 18-2. gz /usr/src/linux-2. 4. 18-om2,/gunzip /usr/src/linux-2. 4. 18
26、-om2/openMosix-2. 4. 18-2. gzcd /usr/src/1inux-2. 4. 18-om2patch -Npl 直接文件系統(tǒng)訪問(Direct Access) openmosix 文件系統(tǒng)(OpenMosix ),注意 不要選擇內核調試(Kernel Debugger) o其他的配置根據(jù)具體需要,沒有SCSI硬盤可以去掉 SCSI選項,不需要聲卡,也可以去掉。make menuconfig11 .編譯內核一般分為編譯庫(make dep),編譯啟動映象(make bzImage),編譯模塊(make modules)和安裝模塊(make Diodules_insta
27、ll)。系統(tǒng)可以連續(xù)完成幾步操作: make dep & make bzlmage & make modules & make modules_install12 .如果系統(tǒng)沒有提示錯誤并中止,將會顯示新的內核映象的大小,模塊編譯完成并安裝等 信息。編譯完成的內核將作為客戶端的內核系統(tǒng),因此需要將模塊復制到LTSP的目錄下:cp -R /lib/modules/2. 4.18-om2 /opt/ltsp/i386/lib/modules/13 .完成后將創(chuàng)建符合無盤啟動的系統(tǒng),使用LTSP的初始化工具就可以完成,進入/usr/src/ltsp_initrd_kit 目 cd /usr/src/
28、ltsp_initrd_kit/vi buildk# prepare_kernel /usr/src/1inux-2. 4. 9-ltsp2. 4. 9-ltsp-5# prepare_kernel /usr/src/1inux-2. 4. 9-ltsp-lpp 2.4.9-ltsp-lpp-5 lppprepare_kernel /usr/src/1inux-2. 4. 18-om2 2. 4. 18-om214 .修改完后運行buildk將會在/t下創(chuàng)建新的內核啟動文件。./buildk15 . cd /t -s vmlinuz-2. 4. 18-om2 vnnlinuz-openmosi
29、x16 .修改/etc/dhcpd.conf文件,使動態(tài)地址分配支持新的啟動內核。修改內核啟動文件的 名稱和路徑,如果該文 cd /etc/vi dhcpd. conf /Its/vmlinuz-openmosix;17 .隨后你可以添加自動分配主機名,這樣每臺客戶機啟動時自動生成主機名,注意主機名 要和你的 hosts 文件對應 vi dhcpd. conf ”/Its/vmlinuz-openmosix”; option host-name = concat(node”, binary-to-ascii( 10, 8, substring (reverse ( 1, leased-addr
30、ess), 0, 1);chkconfig t dhcpd onservice dhcpd restartservice xinetd restartcd /etc/vi mosix. mapl 54 12 192.168. 0.1 253cp /etc/mosix. map /opt/ltsp/i386/etc/20 .復制。penmosix的工具到客戶端的目錄中。cp /sbin/setpe/opt/ltsp/1386/sbin/cp/bin/mosrun /opt/ltsp/i386./bin/cp/bin/mosmon/opt/ltsp/i386/bin/cp /
31、bin/mosctl /opt/ltsp/i386/bin/cp /bin/migrate /opt/ltsp/i386/bin/21 .因為/opt/ltsp/i386目錄最后是客戶端的根文件系統(tǒng),需要的工具都可以復制到相應的 目錄中。因為/opt/ltsp/i386/etc/hosts文件是連接,因此需要先刪除后復制新文件。cp /bin/touch /opt/ltsp/i386/binrm -f /opt/ltsp/i386/etc/hostscp /etc/hosts /opt/ltsp/i386/etc/cp /etc/rc. d,/init. d/openmosix /opt/lt
32、sp/1386/etc/rc. openmosixmkdir /opt/ltsp/i386/mfs23 .修改客戶端文件系統(tǒng)配置文件,加入mfs的配置:cd /opt/ltsp/i386/etcvi fstabnone /mfs mfs dfsa =10024 .修改客戶端啟動進程腳本,加入啟動openmosix的配置,禁止客戶端提交集群計算的設 置,和裝載/mfs文件系統(tǒng)的配置。vi /opt/ltsp/i386/etc/rc. local# OpenMosix startup section# we dont want any terminal processes to migrateec
33、ho 1 /proc/mosix/admin/lstay# start mosix/etc/rc. openmosix start# mount mfs . doesnt work when done earliermount /mfs# End OpenMosix Startup Section25 .配置完成后準備軟盤制作以太啟網(wǎng)啟動盤。訪問網(wǎng)站,選擇網(wǎng)卡類型生成以太網(wǎng)啟動芯 片的映象,保存到Linux上,使用cat生成啟動軟盤。本例中使用3c905B。放入一張空白三 時軟盤。cat eb-5l. 0. 7-3c905b-tpol00. Izdsk /dev/fdO26 .修改LTSP客戶
34、端啟動配置文件/opt/ltsp/i386/etc/lts.conf,禁止啟動X Windows, 修改參數(shù)X_USBMOUSE_BUTTONS = 3,即啟動文本界面,27 .確認/etc/exports文件包含共享客戶端根文件系統(tǒng)和交換區(qū)內容:more /etc/exports/opt/ltsp/1386192. 168. 0.0/255. 255. 255. 0(ro, no_root_squash)/var/opt/ltsp/s192. 168. 0. 0/255. 255. 255. 0 (rw, no_root_squash)28 .將以太啟動軟盤放入客戶端,開機并確認正常啟動,正
35、常獲得動態(tài)地址,加載內核成功, 初始化腳本正常運行,主機名自動生成,。penmosix正常初始化,沒有任何錯誤提示。29 .回到服務器,通過檢查/mfs文件系統(tǒng)來檢查mfs文件系統(tǒng)。30 .啟動mosmon監(jiān)控程序來檢查通訊是否有效,這是剛加入3個節(jié)點時,啟動setiathome 計算的狀態(tài)。將下載的應用展開在/dw目錄下,注意命令的格式。mosrun -jl-3 /mfs/1/dw/set iathome1 -nolock31 .制作啟動盤,陸續(xù)加入節(jié)點,MOSIX集群就創(chuàng)建完了。典型的配置文件/etc/mosix. map1 192. 168. 0. 254 12 192. 168. 0.
36、 1 253/etc/dhcpd. confdefault-lease-time 21600;max-lease-time 21600;ddns-update-style none;allow booting;allow bootp;option subnet-mask 255.255. 255. 0;option broadcast-address 55;option routers 192.168. 0. 254;option domain-name-servers 54;option domain-name “mosix”;option roo
37、t-path z/192. 168. 0. 254:/opt/ltsp/i386z/;shared-network NODES (subnet 192. 168. 0. 0 netmask 255. 255. 255. 0 range dynamic-bootp 192. 168. 0. 100 192. 168. 0. 253;use-host-decl-names on;option log-servers 54;if substring (option vendor-class-identifier, 0, 9) = ,/PXEClient /z/lts/pxe/p
38、xelinux. bin”;)else/11s/vm 1 inuz-2. 4. 18-mosix”;option host-name = concat(node” , binary-to-ascii ( 10, 8, substring (reverse ( 1, leased-address), 0, 1);)group use-host-decl-names on;option log-servers 54;host nodeOOl hardware ethernet 00:E0:06:E8:00:84;fixed-address 192.168. 0. 1;/Its
39、/boot/bootp/vmlinuz. eeprolOO. bootp”;)host node002 hardware ethernet 000:09:30:6A:IC;fixed-address 192.168.0. 2;/z/lts/boot/bootp/vmlinuz. tulip, bootp”;)host node003 hardware ethernet 000:09:30:28:B2;fixed-address 192.168.0. 3;# kernels are specified in /t/z/lts/boot/pxe/pxelinux. bin”;)/etc/expor
40、ts/opt/ltsp/i386 192. 168. 0. 0/255. 255. 255. 0(ro, no_root_squash)/var/opt/ltsp/s 192. 168. 0. 0/255. 255. 255. 0(rw, no_root_squash)/etc/hosts 和 /opt/ltsp/i386/etc/hosts192. 168. 0. 254 mosix192. 168. 0. 1 nodeOOl192. 168. 0. 2 node002192. 168. 0. 3 node003192. 168. 0. 4 node004省略一部分192. 168. 0.
41、253 node253 localhost, localdomain localhost/opt/ltsp/i386/etc/fstabnone /mfs mfs dfsa=l 0 0/opt/ltsp/i386/etc/lts. confDefaultSERVER = 192. 168. 0. 254XSERVER = offXJIOUSE.PROTOCOL = PS/2”XJIOUSE.DEVICE = /dev/psauxX.MOUSE.RESOLUTION = 400X.MOUSE.BUTTONS = 3X_USBMOUSE_PROTOCOL= PS/2”X_USBM
42、OUSE_DEVICE = /dev/input/miceX.USBMOUSE.RESOLUTION = 400X.USBMOUSE.BUTTONS = 3USE.XFS = NLOCAL.APPS = NRUNLEVEL = 3SOUND = YVOLUME = 75常見問題和解決方法內核編譯失敗怎么辦?編譯內核是MOSIX集群的最大操作,對于沒有編譯過內核的人會遇到很多編譯失敗的問題。對于經(jīng)常出現(xiàn)的問題和解決辦法如下:編譯失敗在SCSI設備時,如果沒有SCSI設備,在編譯配置菜單中除去SCSI選項。編譯失敗在SiS芯片時,如果沒使用SiS芯片組的主板,在編譯菜單中除去SiS芯片支持選 項。
43、更改編譯文件后仍然編譯失敗時,注意將上一次編譯的中間文件清理干凈,使用如下命令(不 要忘記備份.config文件):cd /usr/src/1inux-2. 4. 18-om2cp . config/usr/src/conf ig. backup/conf ig-newkerneImake mrproperDHCP為什么不能正確讀取配置文件?確認你的DHCP版本要3. 0. 1以上,可以到RedHat的網(wǎng)站上下載。另外檢查/etc/dhcpd. conf 文件配置是否有錯誤,可以參考本例的文件。配置完啟動時出現(xiàn)sshd加載失敗時怎么辦?該情況出現(xiàn)在MOSIX修改sshd的屬性后出現(xiàn),你可以加載
44、MOSIX的ssd守護進程,操作如下:chkconfig sshd. pre-mosix onservice sshd. pre-mosix start首次啟動MOSIX時提示Host name lookup failure是什么原因?這是由于/etc/hosts文件沒有正確標出主機名對應的地址造成的,修改/etc/hosts文件正確 就可以。首次啟動MOSIX時提示以下錯誤是什么原因?setpe: the supplied table is well-formatted,but my IP address () is not there!這是由于RedHat Linux的h
45、ost文件缺省只有對應主機名,可以將/etc/hosts 文件中的127. 0. 0. 1 mosix localhost分開描述:vi /etc/hostsl92. 168. 0. 254 mosixl27. 0. 0. 1 localhost制作LTSP啟動內核映象失敗注意使用的LTSP初始化工具是ltsp_initrd_kit-3. 0. l-i386. tgz版本,其他的版本因為修 改了初始化腳本,目前沒有方法可以初始化成功。另外制作啟動內核映象時必須有mknbi-1. 2-6. noarch, rpm包,從RedHat的網(wǎng)站上可以卜載 最新的版本。配置Itsp客戶端
46、DHCP啟動失敗 檢查/etc/dhcpd.conf文件指向的啟動內核路徑正確,確認物理連接正確,確認軟盤未損壞, 確認LTSP內核啟動文件正常編譯。確認安裝并啟動了 tftp守護進程,確認/etc/exports文 件共享了正確的客戶端根文件系統(tǒng)路徑。配置Itsp客戶端啟動X Windows失敗如果需要在客戶端啟動X Windows,需要安裝LTSP的X包,并根據(jù)顯示卡的不同安裝不同的 X服務器版本。rpm -Uvh ltsp_x_core_3. 0. 1-1. i386. rpmrpm -Uvh ltsp_x_fonts_3. 0. 0-0. i386. rpm下載連接是:如果并不需要啟動
47、X Windws 需要修改/opt/ltsp/i386/etc/lts. conf文件中 X_USBMOUSE_BUTTONS = 3即可啟動文本界面。LTSP客戶端啟動后找不到主機名或不能解析主機名確認/opt/ltsp/i386/hosts文件不是符號連接,并且和/etc/hosts文件一致,確認 /etc/dhcpd. conf文件中加入自動生成主機名配置,確認生成的主機名與hosts文件中的一 致。LTSP客戶端啟動后不能啟動mosix確認/etc/mosix. map fl/opt/ltsp/1386/etc/mosix. map 文件一致。啟動mosix后沒找到mfs目錄手動創(chuàng)建/
48、mfs目錄:mkdir /mfsmkdir /opt/ltsp/i386/mfs背景資料:相關名詞SMP:對稱多處理器LTSP: Linux 終端服務器項目(Linux Terminal Server Project)Kernel:內核Ramdisk:內存虛擬盤Etherboot:以太啟動Bootrom:網(wǎng)卡啟動芯片 大型主機(Mainframes),超級計算機(Supercomputers)和集群(Clusters)縱觀計算機的歷史,最先讓人了解的就是大型主機和超級計算機,這是計算機歷史的一部分, 沒有這些大家伙,就沒有今天的個人電腦。這些大家伙通常是一個或幾個有強大研發(fā)隊伍和 資金的廠商完
49、成,最初的目的是軍方或政府的需要,很多大學的研發(fā)也促成了這些大家伙更 強大。一般情況下,大型主機和超級計算機都使用超過8個,多達上百個的CPU和自己的專 用操作系統(tǒng),計算機歷史上很多的重要成員都和這些大家伙有關,IBM, DEC, Cray, SGI, HAL 大型主機己經(jīng)成為歷史,而超級計算機成了各國技術實力的爭奪焦點,但是目前個人電腦的 發(fā)展使集群成為競爭超級計算機的強大對手,集群的CPU數(shù)和浮點能力和超級計算機的差距 已經(jīng)越來越近。 Cluster集群系統(tǒng),也有成為機群和群集系統(tǒng)的。集群主要分為三類:容錯集群(Fail-over Cluster), 負載均衡集群(Load balanci
50、ng Cluster),高性能計算集群(High Performance Computing) ()容錯集群是指兩臺主機通過兩個或兩個以上網(wǎng)路連接的系統(tǒng),其中一個連接稱為心跳線 (heartbeat),利用每臺主機上的服務進程監(jiān)控對方主機的狀態(tài),一旦發(fā)現(xiàn)對方主機宕機或 出現(xiàn)不能正常工作的情況,心跳線會反映給互為備份的另外一臺主機,該主機則會接替出問 題的主機。典型的使用場景是空軍的雷達追蹤系統(tǒng)。負載均衡集群一般用于相應網(wǎng)絡請求的網(wǎng)頁服務器,代理服務器。這種集群可以在接到請求 時,檢查接受請求較少,不繁忙的服務器,并把請求轉到這些服務器上。從檢查其他服務器 狀態(tài)這一點上看,負載均衡和容錯集群很接
51、近,不同之處是數(shù)量上更多。高性能計算集群是指具有響應大量計算的性能,可以作為數(shù)據(jù)中心使用的計算機的集合。比 如壓縮mp3,氣象云圖的分析等。 集群模式(N)UMA非一致性內存訪問(Non-)Uniform Memory Access 一般是指通過執(zhí)行特殊的程序代碼 對內存的共享訪問。在Linux內核中,可以執(zhí)行對訪問時間內的不同內存區(qū)域進行交叉訪問, 也就是內核進程可以使用接近CPU使用時的內存。對正在使用內存區(qū)域的訪問,才可以共享。 線性的內存訪問是無法共享的。PVM/MPI 是指并行虛擬機(Parallel Virrual Machine)和信息傳遞界而(Message Passing I
52、nterface) o在Beowulf的世界里最常提到的就是這兩個概念,該軟件包已經(jīng)提供了多平臺 的版本。通過開放式的標準信息傳遞庫,并行機之間可以通訊,事實上PVM也是一組庫,程 序可以使用這些編譯庫來改造程序適應并行系統(tǒng)。但是這些都要相應的修改源程序,系統(tǒng)內 核事實上并沒有發(fā)生改變。其他模式:Turbo Linux EnFuzion. Platform等網(wǎng)格計算(Grid Computing)不必討論這類集 群不是單純意義的集群,以Enfuzion為例,EnFuzion是Turbo Linux收購的一個軟件改良 版(前身就叫Cluster),因為使用了 Java,可以跨平臺,使用駐留系統(tǒng)服
53、務來監(jiān)控集群間的 通訊,事實上是任務分發(fā)和監(jiān)控器,依賴于計算數(shù)據(jù)離散性,對于數(shù)據(jù)不可分的程序,無能 為力。也就是說每個行點都運行相同的程序,但處理的數(shù)據(jù)是不同的,該集群提供了控制這 些程序的界面,跨平臺性也只是依賴于計算的應用有跨平臺版本,而其只提供跨平臺的監(jiān)控。 主要集中在CPU空閑的監(jiān)控和計算的再分配。 數(shù)據(jù)可分和程序可分集群計算中最重要的就是分布,根據(jù)不同的應用,分為兩種:數(shù)據(jù)可分和程序可分。數(shù)據(jù)可分是指數(shù)據(jù)間沒有必然聯(lián)系或聯(lián)系在結果的基礎上,比如mp3的壓縮,每個單獨的mp3 互不關聯(lián),或者有限元計算的某個步驟,單一的曲面計算生成結果再參加后面的關聯(lián)計算, 更著名的是SETIhome通
54、過分析射電望遠鏡的信號尋找外星人,這是典型的將中間分析結果 傳遞給下一部分析,這就是數(shù)據(jù)可分,這最適合網(wǎng)格計算。程序可分,用過ANSYS的人都知道商業(yè)軟件分為單處理器和多處理器版本,因為計算量大, 所以支持SMP的計算軟件和使用單一 CPU的軟件是不同的,多CPU共同運算時也要考慮到內 存的訪問,處理通訊和負載均衡,除非操作系統(tǒng)支持,不然使用DOS和Windows9x很難用到 第二個CPU (甚至不可見),有了操作系統(tǒng)的支持,應用程序也要支持,即使操作系統(tǒng)支持并 行,應用程序不可分的話,只能使用1/n (CPU數(shù)量)的處理能力,典型的例子就是2CPU 的WindowsNT/2000下使用單處理
55、器版本的ANSYS,處理器進程顯示50%,但是2CPU共同生效。 而使用多處理器版本時,2CPU都可以在98席的使用率。因此程序可分是奧群重要的應用基礎, 即使程序本身不可分,而集群支持子進程的遷移,也意味著類似SMP系統(tǒng)支持程序可分。 SETIhome在家尋找外星人計戈”,這是NASA全球計劃之一,位于波多黎各西北的一個火山口中垂直對天 的射電望遠鏡Arecibo(007黃金眼中最后決戰(zhàn)的地點和X-files第二部第一集中收到外星人 電波的天線,直徑305米,接收器高約30米,約位于130米高處),用于收集來自宇宙的無 線電信號,就像TCP/IP網(wǎng)中的sniffer,這是宇宙中的一個嗅探器,
56、通過收集信號,來分析 由智慧生物發(fā)出的,有一定規(guī)律的無線電。比如,第一臺電視的信號和貓王歌曲在多年前通 過收音機發(fā)送的無線電信號,至今還在宇宙中遨游,雖然可能很微弱了,但是還可以接收到。 這個計劃就是接受類似外星人的無線電信號,具體的步驟是讓個人電腦的用戶下載客戶端程 序,一個屏幕保護程序,或一個命令行程序,然后在連接互聯(lián)網(wǎng)時下載大約330KB的數(shù)據(jù)包, 然后利用處理器空閑時間計算。該數(shù)據(jù)包只是龐雜數(shù)據(jù)中的一小部分,但是全球目前加入的 上億臺計算機就構成了最大的超級計算機,當計算完成后,在連接互聯(lián)網(wǎng)時上載結果,并下 載新的數(shù)據(jù)包,根據(jù)其目前的計算形式,Intel稱為P2P計算,其實是網(wǎng)格計算的
57、一種。上 載的數(shù)據(jù)不是最終數(shù)據(jù),經(jīng)過和其他人加工的數(shù)據(jù)整合,會產生新的結果,這時可能要繼續(xù) 計算,也可能就此產生階段報告,每天SETIhome的主頁上都會有新的成果,當然不一定是 發(fā)現(xiàn)外星人的報告。筆者的成績因為借助了自己設計的網(wǎng)格計算,全球4055845位排名1787 名左右,還在向前靠攏,大約是完成了 23096個數(shù)據(jù)包。波多黎各一個火山口中的Arecibo射電望遠鏡記得那個著名的007鏡頭嗎?相關連接:SETIShome 的主頁:筆者的成績:openMosix小組的成績:波多黎各Arecibo射電望遠鏡: 需要強大計算的應用財務與社會行為分析,使用數(shù)學模型模擬的計算。音樂,圖象等多媒體數(shù)據(jù)處理,例如mp3壓縮,動畫渲染,后期處理。流體力學,有限元分析,例如樂高玩具的數(shù)字模擬強度
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025年成都房產預約買賣居間服務合同
- 2025年公司租賃共享協(xié)議模板
- 2025年報廢汽車收購與再利用諒解協(xié)議
- 2025年建筑工人雇傭合同樣本
- 2025年建設銀行二手住房貸款合同
- 2025年全球研發(fā)合作與專利授權合同范本
- 2025年工程退款協(xié)議書模板下載
- 2025年專業(yè)清潔服務勞動合同范本
- 2025年分公司之間業(yè)務合作與分工的策劃協(xié)議
- 2025年交通工具抵債協(xié)議
- 攝影測量學實習指導書
- 安全生產事故調查與案例分析(第3版)課件 呂淑然 第5章 事故案例評析
- 2023版交安A、B、C證考試題庫含答案
- 樓梯 欄桿 欄板(一)22J403-1
- 學生綜合素質評定與職業(yè)規(guī)劃的關聯(lián)性分析
- 2025云南省貴金屬新材料控股集團限公司面向高校畢業(yè)生專項招聘144人高頻重點提升(共500題)附帶答案詳解
- 勞動法培訓課件
- 香港及內地傳真號碼
- 湖北中煙工業(yè)限責任公司2025年招聘(技術類和業(yè)務類崗位)【43人】高頻重點提升(共500題)附帶答案詳解
- 2024-2025學年成都市成華區(qū)七年級上英語期末考試題(含答案)
- 石家莊市長安區(qū)學年三年級數(shù)學第一學期期末檢測試題含解析
評論
0/150
提交評論