低成本高性能計(jì)算的實(shí)現(xiàn)與測試

1、低成本高性能計(jì)算的實(shí)現(xiàn)與測試 昆明理工大學(xué)云南省計(jì)算機(jī)技術(shù)應(yīng)用重點(diǎn)實(shí)驗(yàn)室譚偉良2008-11-272實(shí)驗(yàn)室介紹 昆明理工大學(xué)云南省計(jì)算機(jī)技術(shù)應(yīng)用重點(diǎn)實(shí)驗(yàn)室是云南省在信息技術(shù)方向唯一的一所省級重點(diǎn)實(shí)驗(yàn)室。目前擁有教授級研究人員19人,中職21人,普通計(jì)算機(jī)人員80多名。多年來，在社會各界的大力支持下，云南省計(jì)算機(jī)技術(shù)應(yīng)用重點(diǎn)實(shí)驗(yàn)室在承擔(dān)、完成科研項(xiàng)目方面及實(shí)驗(yàn)室的開放運(yùn)行、隊(duì)伍建設(shè)、培養(yǎng)人才、實(shí)驗(yàn)室管理等方面，都取得了不少成績，其科研的規(guī)模和水平均已具備較強(qiáng)的實(shí)力。 研究所擁有一個由21臺曙光服務(wù)器構(gòu)成的理論峰值每秒超過1萬億次浮點(diǎn)運(yùn)算能力的高性能計(jì)算集群,2臺Sun的小型機(jī),4臺Sun服務(wù)器,

2、4臺Dell的服務(wù)器,6臺HP服務(wù)器,7臺IBM服務(wù)器,臺機(jī)40臺，筆記本15臺,擁有四個網(wǎng)絡(luò)出口：校園網(wǎng)1G,網(wǎng)通150M,電信150M,聯(lián)通150M。3概要相關(guān)介紹環(huán)境搭建性能測試心得體會4相關(guān)介紹 目前，HPC的應(yīng)用范圍越來越廣，除了一些特殊的應(yīng)用需要高性能計(jì)算外，一些如：數(shù)據(jù)挖掘應(yīng)用、圖像處理業(yè)務(wù)、基因測序比對處理等領(lǐng)域也越來越需要高性能計(jì)算?？茖W(xué)計(jì)算領(lǐng)域科學(xué)計(jì)算領(lǐng)域更快的速度更高的精度更大的范圍信息服務(wù)領(lǐng)域信息服務(wù)領(lǐng)域更好地整合、提高可管理性更高的吞吐率更高的可靠性5面臨的問題 但是，想要得到一個高性能解決方案，往往意味著要投入大量的金錢。國內(nèi)：曙光4000A（10萬億次運(yùn)算能力），

3、市場價格約為1億人民幣。 曙光5000A （200萬億次運(yùn)算能力），市場價格約為2億人民幣。國外能達(dá)到相同計(jì)算規(guī)模的超級計(jì)算機(jī)，價格大約是國內(nèi)的56倍。一個小規(guī)模的高性能解決方案，也需要花上百萬乃至上千萬的成本投入。6低成本高性能計(jì)算的產(chǎn)生 一方面是有限的成本投入，一方面是對高性能計(jì)算的迫切需要。怎樣在這兩者之間取得一個平衡點(diǎn)？ 因此，構(gòu)建一個低成本、高性能的解決方案由此產(chǎn)生。7多種結(jié)構(gòu)的比較多種結(jié)構(gòu)的比較 結(jié)構(gòu)結(jié)構(gòu)特性特性SMPSMPDSMDSMMPPMPPClusterCluster可擴(kuò)展性可擴(kuò)展性最差最差差差強(qiáng)強(qiáng)很強(qiáng)很強(qiáng)易管理性易管理性很強(qiáng)很強(qiáng)很強(qiáng)很強(qiáng)一般一般較差較差網(wǎng)絡(luò)能力網(wǎng)絡(luò)能力無需

4、網(wǎng)絡(luò)無需網(wǎng)絡(luò)無需網(wǎng)絡(luò)無需網(wǎng)絡(luò)很強(qiáng)很強(qiáng)強(qiáng)強(qiáng)并行編程并行編程方式方式共享變量共享變量共享變量、共享變量、消息傳遞消息傳遞消息傳遞消息傳遞消息傳遞消息傳遞價格價格貴貴昂貴昂貴昂貴昂貴較低較低8環(huán)境搭建硬件環(huán)境搭建軟件環(huán)境搭建低成本考慮：1）從硬件上降低成本2）從軟件上降低成本3）從日常維護(hù)費(fèi)用上降低成本高性能考慮：1）使用高頻、多核CPU2）使用優(yōu)化的數(shù)學(xué)庫3）優(yōu)化網(wǎng)絡(luò)環(huán)境9硬件環(huán)境搭建硬件選購：1）計(jì)算節(jié)點(diǎn)： 對大量集群環(huán)境配置的經(jīng)驗(yàn)性研究顯示小型SMP平臺最適合構(gòu)建HPC集群，并且現(xiàn)在的多核技術(shù)已經(jīng)達(dá)到平民化的程度，因此使用多路處理器的節(jié)點(diǎn)成為首選。10選用AMD處理器 在很多領(lǐng)域中，需要對大量

5、的數(shù)據(jù)進(jìn)行處理。 這種模式對每個節(jié)點(diǎn)上的性能及I/O吞吐量提出了很高要求。AMD皓龍?zhí)幚砥鞯闹边B架構(gòu)和超傳輸總線（HyperTransport）技術(shù)，保證了低內(nèi)存延時和緩存的一致性，避免了系統(tǒng)擴(kuò)展帶來的性能瓶頸，可實(shí)現(xiàn)處理器核心之間的高速數(shù)據(jù)交換，提升節(jié)點(diǎn)性能，滿足了應(yīng)用的需求。以及其相對低廉的價格，是搭建一個低成本解決方案的重要因素。（更適合多核單節(jié)點(diǎn)的情況）112）網(wǎng)絡(luò) 一般在大中型集群中，往往會使用InfiniBand，Myrinet等高速網(wǎng)絡(luò)。但是他們的價格都不菲，針對于小型的集群搭建，使用千兆網(wǎng)絡(luò)已經(jīng)能夠滿足小型集群的網(wǎng)絡(luò)通訊的需要。12網(wǎng)絡(luò)比較1314硬件材料清單21臺曙光A620

6、r-F服務(wù)器每臺服務(wù)器的主要參數(shù)： 2個AMD Opteron 2352 2.1G CPU 4G內(nèi)存 250G SATA2硬盤 600W 2U單電源 曙光A系列雙路主板一臺華為千兆交換機(jī)若干千兆網(wǎng)線15與同配置的其它服務(wù)器對比與HP、SUN的服務(wù)器相比，使用曙光服務(wù)器更具有價格優(yōu)勢。比曙光服務(wù)器高至少一倍的價格。16網(wǎng)絡(luò)拓?fù)?7實(shí)際運(yùn)行中的機(jī)器18軟件環(huán)境基本搭建（盡可能使用開源軟件）操作系統(tǒng)：RHEL4 U5并行環(huán)境：MPI 1.2.7作業(yè)管理：OpenPBS 2.3.16 監(jiān)控軟件：Ganglia 3.0.6數(shù)學(xué)庫：GotoBLAS、Atlas、ACML19考慮因素 考慮到成本與實(shí)際環(huán)境的

7、因素，我們使用開源軟件對我們這個集群進(jìn)行管理和相關(guān)的應(yīng)用。 因?yàn)殚_源軟件自身的局限性，不可能提供很好的集群管理機(jī)制。因此在較大規(guī)模集群方案中，如果還是使用開源的軟件去對集群進(jìn)行管理，日常的維護(hù)工作量就會明顯增多。（建議使用專門的集群管理軟件：CSM（Linux）、 SUN Cluster 3.0、 DCMM系統(tǒng)監(jiān)控DCMS集群管理 ） 20軟件 系統(tǒng)配置有標(biāo)準(zhǔn)的C、C+、Fortran和Java等主流編譯器，將來還要在這基礎(chǔ)上安裝其它的并行編程環(huán)境，如PVM、HPF、OpenMP、串行程序自動并行化工具、并行調(diào)試器、并行程序監(jiān)控工具和并行數(shù)學(xué)庫函數(shù)。還可以安裝一些針對與某些領(lǐng)域的應(yīng)用軟件，如A

8、ccelrys Material Studio材料計(jì)算軟件等。21開發(fā)模式支持串行程序、消息傳遞程序、SMP多線程程序、HPF數(shù)據(jù)并行程序、分布式共享虛存等多種編程模型。根據(jù)所提供的編程環(huán)境，能夠很快的進(jìn)行并行程序的開發(fā)。22適用于VO的函數(shù)庫以及軟件數(shù)學(xué)庫：MKL、ACML、GotoBLAS、Atlas、BLAS、FFTW、IMSL 、Lapack 等編程環(huán)境：MPICH（MPI）/PVM ，C、C+、Fortran77、Fortran90、 Fortran99等程序的編譯器可用軟件：MM5大規(guī)模天氣數(shù)值預(yù)報(bào)模擬軟件等其它：Matlab在多核及集群計(jì)算機(jī)上的并行計(jì)算工具箱3.3：Parall

9、el Computing Toolbox 3.323性能測試測試軟件：Linpack（hpl 1.0a）測試數(shù)學(xué)庫：GotoBLAS 1.26、Atlas 3.6.0、MKL 10、ACML 4.0。24測試結(jié)果根據(jù)曙光工程師曹振南先生在如何做Linpack測試及性能優(yōu)化所提供的思路，進(jìn)行了相關(guān)的測試。分別對單節(jié)點(diǎn)，雙節(jié)點(diǎn)，四節(jié)點(diǎn)，八節(jié)點(diǎn)，全部節(jié)點(diǎn)進(jìn)行了測試。在單節(jié)點(diǎn)上，能達(dá)到75%的運(yùn)算效率，但在多節(jié)點(diǎn)上，就達(dá)不到這個效率（如：網(wǎng)絡(luò)因素）。 優(yōu)化前：總體運(yùn)算速度達(dá)到3000億次，效率約為22%。 進(jìn)一步優(yōu)化：預(yù)計(jì)總體運(yùn)算速度會達(dá)到7000億次，效率約為50%25工作效率的提高使用一臺普通的計(jì)

10、算機(jī)要進(jìn)行40個小時的運(yùn)算，理論上在本集群環(huán)境內(nèi)可以縮短至1個小時。26測試結(jié)果（續(xù)）不同數(shù)學(xué)庫：GotoBLASMKLacmlAtlas不同的MPI：MPI 1 MPI 227測試注意問題因?yàn)槲覀兪鞘褂煤诵氖荁arceiona的AMD 四核處理器，在使用GotoBLAS數(shù)學(xué)庫時，必須使用最新的1.26版本。使用GotoBLAS數(shù)學(xué)庫測試，在單節(jié)點(diǎn)上配置運(yùn)行測試參數(shù)時，只需要配置如下：mpirun np 1 xhpl。則會同時調(diào)用8個核心進(jìn)行計(jì)算。而使用其它數(shù)學(xué)庫，要讓8核同時進(jìn)行計(jì)算，則需要明確配置8進(jìn)程，如： mpirun np 8 xhpl 。28相關(guān)數(shù)據(jù)對比以單位成本上所能獲取的運(yùn)算速

11、度作對比。曙光4000A： 0.001億次/秒/元 曙光5000A： 0.01億次/秒/元 優(yōu)化前：0.01億次/秒/元 優(yōu)化后：0.02億次/秒/元 29優(yōu)點(diǎn)1.建設(shè)成本低廉，運(yùn)算速度能達(dá)到中型計(jì)算的規(guī)模。2.建設(shè)周期短。3.結(jié)構(gòu)易于變化，容易適應(yīng)需求的改動。因此很容易通過擴(kuò)展，升級，獲得更好的性能。4.目前通過Web進(jìn)行監(jiān)控，預(yù)計(jì)會通過web進(jìn)行遠(yuǎn)程管理等工作。5.維護(hù)工作量少，運(yùn)行成本低。30心得1.經(jīng)過以上的對比，怎樣去選擇一個合理的方案去搭建一個低價格高性能的集群需要多方面的考慮。2.如果確實(shí)需要達(dá)到比較大的運(yùn)算速度，采用更好的網(wǎng)絡(luò)環(huán)境，更多的運(yùn)算節(jié)點(diǎn)和更快的cpu是最直接的方式。313.單臺內(nèi)集成更多的運(yùn)算核心會得到更好的效果，但是瓶頸在于CPU訪問內(nèi)存的帶寬并不能隨著CPU個數(shù)的增加而有效增長，所以怎樣在價格和性能上做一個很好的平衡，將是必