基于虛擬化技術(shù)的Rocks高性能集群的建立與應(yīng)用

1、2009年第5期福建電腦基于虛擬化技術(shù)的Rocks高性能集群的建立與應(yīng)用周鐵成(浙江水利水電?？茖W(xué)校網(wǎng)絡(luò)中心浙江杭州310018【摘要】:集群是目前高性能計(jì)算機(jī)系統(tǒng)主要的解決方案。隨著集群規(guī)模的擴(kuò)大,也出現(xiàn)了不易安裝與管理、故障率高、缺乏方便的并行程序開發(fā)調(diào)試環(huán)境等問題。本文在集群安裝軟件包Rocks的基礎(chǔ)上,結(jié)合Xen虛擬化技術(shù)構(gòu)建了一個(gè)高性能虛擬集群,從而簡化了集群的組建與管理,并提高了系統(tǒng)可靠性與容錯(cuò)性能及并行程序開發(fā)效率?！娟P(guān)鍵詞】:高性能集群;虛擬化技術(shù);Rocks0、引言在現(xiàn)有的高性能計(jì)算機(jī)體系結(jié)構(gòu)中,集群因其擁有極強(qiáng)的靈活性和可擴(kuò)展性,同時(shí)在建造成本上更具優(yōu)勢,已逐漸占主導(dǎo)地位。

2、集群是一組相互獨(dú)立、通過高速網(wǎng)絡(luò)互聯(lián)的計(jì)算機(jī),并以單一系統(tǒng)的模式加以管理12。以往,面對大規(guī)模的集群,軟件的安裝、維護(hù)與監(jiān)控都很困難,Rocks集群軟件整合了高性能計(jì)算集群的安裝、管理,使普通用戶也能建立和管理集群。高性能計(jì)算隨著發(fā)展也面臨著不少問題,如1高性能計(jì)算應(yīng)用日益多樣化造成體系結(jié)構(gòu)的異構(gòu)化,在一個(gè)高性能計(jì)算系統(tǒng)中會(huì)出現(xiàn)不同類型CPU,給建立統(tǒng)一的編程模型帶來困難。2高性能計(jì)算程序與運(yùn)算環(huán)境的規(guī)模相關(guān),不同規(guī)模環(huán)境的運(yùn)行效果相差很大,如通信的開銷。小規(guī)模下開發(fā)的程序在大規(guī)模環(huán)境下有可能無法運(yùn)行,并行程序的規(guī)模移植要花費(fèi)大量時(shí)間,并行程序開發(fā)效率不高。3高性能計(jì)算應(yīng)用對軟件環(huán)境的復(fù)雜需求

3、,因?qū)Σ煌瑧?yīng)用作了不同的優(yōu)化配置,不同應(yīng)用的切換運(yùn)行也需要管理員切換相應(yīng)的環(huán)境。虛擬化技術(shù)是解決這些問題很好的途徑。在Rocks的基礎(chǔ)上,結(jié)合Xen虛擬化技術(shù)來構(gòu)建高性能虛擬集群,即可以快速地部署與簡便管理大規(guī)模的集群,又可以應(yīng)用虛擬化技術(shù)來解決高性能計(jì)算發(fā)展遇到的問題。1、Rocks與Xen的功能介紹1.1RocksRocks是一組用來創(chuàng)建和管理高性能計(jì)算集群的工具包,基于CentOS Linux,包含了用于高性能計(jì)算的許多開源工具軟件,如作業(yè)調(diào)度SGE、集群監(jiān)控ganglia等,Rocks的特點(diǎn)是軟件包以稱為Roll的形式組織,如HPC Roll、SGE Roll等等3,Roll除了Roc

4、ks已提供的外,也可以用戶自已創(chuàng)建Roll。這樣用戶安裝時(shí)除了基本的軟件包外通過加入不同的Roll,來定制自已的集群。Rocks集群通過Red Hat kickstart來進(jìn)行大規(guī)模的節(jié)點(diǎn)自動(dòng)安裝,kickstart腳本文件描述了集群節(jié)點(diǎn)安裝所需的軟件及軟件配置。Rocks通過Kickstart圖結(jié)構(gòu)來生成計(jì)算節(jié)點(diǎn)自動(dòng)安裝所需的kickstart腳本文件,Kickstart圖由結(jié)點(diǎn)及邊組成,結(jié)點(diǎn)和邊使用XML來描述。圖中的結(jié)點(diǎn)代表單一的功能模塊和對應(yīng)的kickstart腳本片斷,Rocks現(xiàn)在有將近200種結(jié)點(diǎn)可以選擇。邊來連接結(jié)點(diǎn),在圖中穿過結(jié)點(diǎn)生成完整的kickstart腳本文件。Rock

5、s采用這種方式可以靈活地生成kickstart腳本文件,適應(yīng)不同類型集群結(jié)點(diǎn)的安裝。節(jié)點(diǎn)的地址、類型信息、集群配置信息都存儲(chǔ)在MySQL數(shù)據(jù)庫中,Rocks生成kickstart腳本文件時(shí),也會(huì)讀取數(shù)據(jù)庫中的相關(guān)信息。1.2Xen虛擬化技術(shù)虛擬化技術(shù)使得一臺(tái)物理機(jī)可以同時(shí)運(yùn)行多個(gè)不同操作系統(tǒng)的虛擬機(jī),虛擬機(jī)共享物理機(jī)的資源。虛擬化技術(shù)在服務(wù)器領(lǐng)域內(nèi)應(yīng)用越來越廣泛,可以提高資源利用率,降低建設(shè)與運(yùn)行成本,簡化管理,并實(shí)現(xiàn)數(shù)據(jù)快速恢復(fù)等等。目前,虛擬化技術(shù)在高性能計(jì)算領(lǐng)域的應(yīng)用還不多,主要原因是,高性能計(jì)算對性能有苛刻的要求,虛擬化會(huì)帶來些性能的損失。隨著以Xen為代表的半虛擬化技術(shù)的發(fā)展,虛擬機(jī)

6、性能得到了很大的提升,加州大學(xué)的研究人員經(jīng)過測試證明Xen應(yīng)用于高性能計(jì)算,并不會(huì)導(dǎo)致嚴(yán)重的額外系統(tǒng)開銷4。虛擬化技術(shù)與高性能計(jì)算結(jié)合會(huì)越來越緊密,虛擬化技術(shù)為高性能計(jì)算領(lǐng)域的諸多困難提供了新的解決方法。Xen是由劍橋大學(xué)開發(fā)的開源系統(tǒng)級(jí)虛擬化軟件,對CPU、內(nèi)存以及I/O設(shè)備的虛擬都采用了半虛擬化技術(shù),Hypervisor(虛擬機(jī)管理器直接運(yùn)行在硬件平臺(tái)上,使用硬件接口,完成資源虛擬化和虛擬機(jī)管理,客戶操作系統(tǒng)運(yùn)行在Hypervisor之上,使用Hypervisor提供的指令集和設(shè)備接口,使客戶操作系統(tǒng)能獲得接近直接在裸機(jī)上運(yùn)行的性能,但Xen需要少量修改客戶端操作系統(tǒng)內(nèi)核與Hypervis

7、or協(xié)同工作。2、基于Xen虛擬機(jī)的Rocks集群的安裝Rocks把集群的節(jié)點(diǎn)分為兩類:前端節(jié)點(diǎn)與計(jì)算節(jié)點(diǎn)。前端節(jié)點(diǎn)是外界訪問集群的入口及管理節(jié)點(diǎn),運(yùn)行集群的各種服務(wù)(NFS,NIS,DHCP,NTP,MySQL,用戶通過登錄前端節(jié)點(diǎn)進(jìn)行遞交作業(yè),編譯程序代碼等等。前端節(jié)點(diǎn)須有兩塊網(wǎng)卡,一塊與外界通訊,一塊與計(jì)算節(jié)點(diǎn)通訊,組成集群內(nèi)部私有網(wǎng)絡(luò)。計(jì)算節(jié)點(diǎn)負(fù)責(zé)計(jì)算任務(wù)的運(yùn)行。Rocks集群結(jié)構(gòu)如圖1所示。圖1Rocks系統(tǒng)結(jié)構(gòu)基于Xen虛擬機(jī)的Rocks集群,有兩種類型,一是前端節(jié)點(diǎn)仍然運(yùn)行在物理機(jī)上,而計(jì)算節(jié)點(diǎn)運(yùn)行在虛擬機(jī)上,這樣在一臺(tái)物理機(jī)上可以安裝多個(gè)計(jì)算節(jié)點(diǎn),與原來的物理集群相比,計(jì)算節(jié)點(diǎn)

8、數(shù)量更靈活。第二種類型是前端節(jié)點(diǎn)與計(jì)算機(jī)節(jié)點(diǎn)都運(yùn)行在Xen虛擬機(jī)上,構(gòu)成虛擬集群,一個(gè)物理集群可以分解為多個(gè)虛擬集群,運(yùn)行不同的計(jì)算任務(wù)。安裝基于Xen虛擬機(jī)的Rocks集群,我們需下載Rocks相應(yīng)的安裝包,包括Kernel/Boot Roll、Core Roll、OS Roll-disk1、OS Roll-disk2,其中Core Roll包含Area51(系統(tǒng)安全相關(guān)的工具、HPC(高性能計(jì)算及測試軟件、Ganglia(集群監(jiān)控軟件、SGE (作業(yè)調(diào)度軟件、Java(Java SDK及Xen(Xen虛擬化軟件。我們以前端節(jié)點(diǎn)在物理機(jī)上,計(jì)算節(jié)點(diǎn)在虛擬機(jī)上的集群為例,安裝步驟如下:安裝前端

9、節(jié)點(diǎn):1用Kernel/Boot光盤引導(dǎo)服務(wù)器,出現(xiàn)選擇安裝前端節(jié)點(diǎn)與計(jì)算節(jié)點(diǎn)界面時(shí),輸入build,進(jìn)行前端節(jié)點(diǎn)的安裝;2在Roll選擇界面,依次選定所需的功能包,Xen必須選擇,以使Rocks增加虛擬化支持;3填寫集群相關(guān)信息,如集群名、域名等 ;1112009年第5期福建電腦4設(shè)置前端節(jié)點(diǎn)內(nèi)外網(wǎng)卡的IP地址、網(wǎng)關(guān)、域名服務(wù)器等;5磁盤分區(qū)設(shè)置后,開始安裝系統(tǒng)。安裝計(jì)算節(jié)點(diǎn):計(jì)算節(jié)點(diǎn)運(yùn)行在Xen虛擬機(jī)上,安裝虛擬節(jié)點(diǎn)的物理節(jié)點(diǎn)需加入Xen虛擬化支持,這樣的物理節(jié)點(diǎn)稱為VM Container。1在前端節(jié)點(diǎn)終端上輸入insert-ethers命令,命令界面如圖2所示,選擇VM Contain

10、er。前端節(jié)點(diǎn)啟動(dòng)偵測程序,等待子節(jié)點(diǎn)發(fā)送DHCP請求。圖2insert-ethers命令界面2用Kernel/Boot光盤引導(dǎo)啟動(dòng)物理節(jié)點(diǎn)服務(wù)器,物理節(jié)點(diǎn)服務(wù)器向前端節(jié)點(diǎn)發(fā)出DHCP請求,請求IP地址與自動(dòng)安裝所需的kickstart文件URL。前端節(jié)點(diǎn)收到DHCP請求后,分配IP 地址和主機(jī)名(默認(rèn)格式為vm-container-0-x給物理節(jié)點(diǎn),并將相關(guān)信息寫入數(shù)據(jù)庫,同時(shí)發(fā)送kickstart URL。3物理節(jié)點(diǎn)根據(jù)kickstart腳本文件,從前端節(jié)點(diǎn)獲取相應(yīng)的安裝文件,自動(dòng)安裝。4物理節(jié)點(diǎn)安裝完后,回到前端節(jié)點(diǎn)終端,通過Rocks相關(guān)命令來添加、安裝虛擬計(jì)算節(jié)點(diǎn)。5添加一個(gè)虛擬計(jì)算

11、節(jié)點(diǎn):rocks add host vm vm-container-0-x membership="Compute",執(zhí)行后,將虛擬計(jì)算節(jié)點(diǎn)的信息寫入數(shù)據(jù)庫,并分配MAC地址給虛擬節(jié)點(diǎn)。6安裝虛擬計(jì)算節(jié)點(diǎn):rocks start host vm compute-0-1-0 install=yes,這樣,主機(jī)名為"compute-0-1-0"虛擬計(jì)算節(jié)點(diǎn)開始安裝,用戶可以執(zhí)行rocks-console compute-0-1-0命令來監(jiān)控安裝過程。根據(jù)物理節(jié)點(diǎn)的硬件資源,按以上的方法添加任意的虛擬計(jì)算節(jié)點(diǎn)5。3、Rocks虛擬集群的管理圖3Virtual

12、Machine Manager界面Rocks集群引入虛擬節(jié)點(diǎn)后,須對虛擬節(jié)點(diǎn)進(jìn)行有效管理,如調(diào)整虛擬機(jī)的硬件資源,監(jiān)控虛擬機(jī)資源情況等等。Rocks自帶的Red Hat Virtual Machine Manager(VMM提供了虛擬機(jī)管理圖形化視圖。在前端節(jié)點(diǎn)運(yùn)行VMM后,再連接到各個(gè)VM Container,統(tǒng)一管理集群所有的虛擬節(jié)點(diǎn)。VMM界面如圖3所示。Rocks對整個(gè)集群的管理監(jiān)控通過Ganglia實(shí)現(xiàn),Ganglia是一個(gè)分布式的監(jiān)控工具,實(shí)現(xiàn)集群節(jié)點(diǎn)的資源監(jiān)控。Ganglia提供Web界面可以看到每個(gè)節(jié)點(diǎn)的狀態(tài),包括CPU、磁盤利用率,以及節(jié)點(diǎn)是否在線等等。結(jié)合Ganglia,在

13、虛擬集群中,可以快速進(jìn)行負(fù)載均衡,可以將負(fù)載較重物理機(jī)上的虛擬節(jié)點(diǎn)遷移到負(fù)載較輕的物理機(jī)上。4、Rocks虛擬集群的應(yīng)用4.1系統(tǒng)容錯(cuò)MPI是Rocks集群最通用的編程環(huán)境,但其運(yùn)行環(huán)境經(jīng)常會(huì)因?yàn)楣?jié)點(diǎn)的故障而出現(xiàn)錯(cuò)誤,傳統(tǒng)的容錯(cuò)是采取響應(yīng)策略從錯(cuò)誤中恢復(fù)過來,通常依賴于檢查點(diǎn)的保存與恢復(fù)機(jī)制6。在Rocks集群引入Xen虛擬化后,可以提高容錯(cuò)性能。虛擬計(jì)算節(jié)點(diǎn)運(yùn)行在Xen的虛擬機(jī)管理器上,當(dāng)虛擬機(jī)管理器監(jiān)測到一個(gè)虛擬計(jì)算節(jié)點(diǎn)出現(xiàn)故障時(shí),可以重啟虛擬計(jì)算節(jié)點(diǎn)或者新建一個(gè)新的虛擬計(jì)算節(jié)點(diǎn)代替,這樣,故障就被自動(dòng)修復(fù)。4.2構(gòu)建虛擬開發(fā)環(huán)境高性能計(jì)算程序和運(yùn)算環(huán)境的規(guī)模相關(guān),在大規(guī)模環(huán)境中的運(yùn)行效果

14、和小規(guī)模的運(yùn)行效果可能相差很大,并行程序的規(guī)模移植要花費(fèi)大量的時(shí)間。在Rocks虛擬集群中,一個(gè)物理節(jié)點(diǎn)上可以構(gòu)建大量的虛擬計(jì)算節(jié)點(diǎn),就能為大規(guī)模的高性能計(jì)算提供虛擬環(huán)境,還能為MPI編程環(huán)境定制專門的配置。這大大提高了高性能計(jì)算程序的開發(fā)效率。4.3快速部署系統(tǒng)軟件不同的高性能計(jì)算應(yīng)用可能需要配置不同的操作系統(tǒng)與系統(tǒng)軟件,在物理集群中,都需要一一部署,完成部署后還需要重啟整個(gè)系統(tǒng)。而在Rocks虛擬集群中,可以將操作系統(tǒng)、高性能計(jì)算應(yīng)用和系統(tǒng)軟件打包成Virtual Appliance(虛擬機(jī)映像,將新的Virtual Appliance通過網(wǎng)絡(luò)部署到節(jié)點(diǎn)上,然后重啟節(jié)點(diǎn),就完成了高性能計(jì)算

15、應(yīng)用及相關(guān)系統(tǒng)軟件的快速部署。5、結(jié)束語本文利用Rocks與Xen虛擬化技術(shù)構(gòu)建的高性能虛擬集群,即方便了用戶的使用與管理,又在系統(tǒng)容錯(cuò)、高性能應(yīng)用環(huán)境切換、并行程序開發(fā)效率等方面優(yōu)于物理集群。隨著虛擬化技術(shù)在高性能計(jì)算領(lǐng)域研究與應(yīng)用的不斷深入,虛擬化技術(shù)與高性能計(jì)算將結(jié)合得越來越緊密。參考文獻(xiàn):1.王鵬,呂爽,聶治,等.并行計(jì)算應(yīng)用及實(shí)戰(zhàn)M.北京:電子工業(yè)出版社,2007.2.車靜光.微機(jī)集群組建、優(yōu)化和管理M.北京:機(jī)械工業(yè)出版社,2004.3.Papadopoulos P M,Katz M J,Bruno Greg.NPACI Rocks:Tools and Techniques for

16、 Easily Dep-loying Manageable LinuxClustersC/Proc of the Cluster2001:IEEE International Conferecnce on Cluster Computing, 2001.4.Youseff L,Wolski R,Gorda B,et al.Paravirtu-alization for HPC SystemsC/Proc of the Workshop on XEN in HPC Cluster and Grid C-omput-ing Environments,2006.5.UCSD.Xen Roll:Users Guide