并行計(jì)算概述詳解

并行計(jì)算概述詳解演示文稿當(dāng)前1頁(yè)，總共27頁(yè)。（優(yōu)選）并行計(jì)算概述當(dāng)前2頁(yè)，總共27頁(yè)。并行計(jì)算概述3并行:古老的思想!“...并行計(jì)算并不是什么新的思想,只是將它擴(kuò)展應(yīng)用于計(jì)算機(jī)而已”.作者也不認(rèn)為這種擴(kuò)展應(yīng)用會(huì)存在什么無(wú)法克服的困難.但也不要期待有效的并行編程方法與技術(shù)能夠在一夜之間誕生.期間還需要有許多的工作和實(shí)驗(yàn)要做.畢竟,今天的編程技術(shù)(串行)是若干年來(lái)艱苦的探索才取得的.現(xiàn)在編程工作似乎成了一種令人單調(diào)乏味的工作,事實(shí)上,并行編程的出現(xiàn)將會(huì)使重新恢復(fù)編程工作者們的探索精神...”(Gill,S.(1958),“ParallelProgramming”

TheComputerJournal,vol.1,April,pp.2-10.)ParallelProgrammingwithMPIbyPeterPacheco(2000)當(dāng)前3頁(yè)，總共27頁(yè)。并行計(jì)算--高性能計(jì)算并行計(jì)算(ParallelComputing）

高端計(jì)算(High-endParallelComputing)

高性能計(jì)算(HighPerformanceComputing)

超級(jí)計(jì)算(SuperComputing)

任何高性能計(jì)算和超級(jí)計(jì)算都離不開(kāi)使用并行技術(shù)Thesimultaneoususeofmorethanonecomputertosolveaproblem.由由運(yùn)行在多個(gè)部件上的小任務(wù)合作來(lái)求解一個(gè)規(guī)模很大的計(jì)算問(wèn)題的一種方法4當(dāng)前4頁(yè)，總共27頁(yè)。什么是高性能并行計(jì)算機(jī)由多個(gè)計(jì)算單元組成，運(yùn)算速度快、存儲(chǔ)容量大、可靠性高的計(jì)算機(jī)系統(tǒng)。也稱為：巨型計(jì)算機(jī)、超級(jí)計(jì)算機(jī)目前任何高性能計(jì)算和超級(jí)計(jì)算都離不開(kāi)使用并行技術(shù)，所以高性能計(jì)算機(jī)肯定是并行計(jì)算機(jī)。5當(dāng)前5頁(yè)，總共27頁(yè)。并行計(jì)算的概念6當(dāng)前6頁(yè)，總共27頁(yè)。串行計(jì)算與并行計(jì)算并行計(jì)算概述7當(dāng)前7頁(yè)，總共27頁(yè)。為什么要做并行計(jì)算？

－－應(yīng)用需求8當(dāng)前8頁(yè)，總共27頁(yè)。9當(dāng)前9頁(yè)，總共27頁(yè)。計(jì)算科學(xué)與傳統(tǒng)的兩種科學(xué)，即理論科學(xué)和實(shí)驗(yàn)科學(xué)，并列被認(rèn)為是人類認(rèn)識(shí)自然的三大支柱，他們彼此相輔相成地推動(dòng)科學(xué)發(fā)展與社會(huì)進(jìn)步。在許多情況下，或者是理論模型復(fù)雜甚至理論尚未建立，或者實(shí)驗(yàn)費(fèi)用昂貴甚至無(wú)法進(jìn)行時(shí)，計(jì)算就成了求解問(wèn)題的唯一或主要的手段。為什么要做并行計(jì)算？

－－應(yīng)用需求10當(dāng)前10頁(yè)，總共27頁(yè)。為什么要做并行計(jì)算？人類對(duì)計(jì)算及性能的要求是無(wú)止境的從系統(tǒng)的角度：集成系統(tǒng)資源，以滿足不斷增長(zhǎng)的對(duì)性能和功能的要求

從應(yīng)用的角度：適當(dāng)分解應(yīng)用，以實(shí)現(xiàn)更大規(guī)模或更細(xì)致的計(jì)算11當(dāng)前11頁(yè)，總共27頁(yè)。為什么要做并行計(jì)算？問(wèn)題:科學(xué)和工程問(wèn)題的數(shù)值模擬與仿真計(jì)算密集數(shù)據(jù)密集網(wǎng)絡(luò)密集三種混合要求:在合理的時(shí)限內(nèi)完成計(jì)算任務(wù)秒級(jí) 制造業(yè)分鐘級(jí) 短時(shí)天氣預(yù)報(bào)(當(dāng)天)小時(shí)級(jí) 中期天氣預(yù)報(bào)(3~10日)盡可能快 長(zhǎng)期天氣預(yù)報(bào)(氣候)可計(jì)算 湍流模擬12當(dāng)前12頁(yè)，總共27頁(yè)。13當(dāng)前13頁(yè)，總共27頁(yè)。其發(fā)展歷程可以簡(jiǎn)單的分為兩個(gè)時(shí)代專用時(shí)代

包括向量機(jī)，MPP系統(tǒng)，SGINUMA系統(tǒng)，SUN大型SMP系統(tǒng)，也包括我國(guó)的神威，銀河，曙光1000等。

之所以稱為“專用”，并不是說(shuō)它們只能運(yùn)行某種應(yīng)用，是指它們的組成部件是專門設(shè)計(jì)的，它們的CPU板，內(nèi)存板，I/O板，甚至操作系統(tǒng)，都是不能在其它系統(tǒng)中使用的。由于技術(shù)上桌面系統(tǒng)與高端系統(tǒng)的巨大差異，和用戶群窄小。普及時(shí)代

高性能計(jì)算機(jī)價(jià)格下降，應(yīng)用門檻降低，應(yīng)用開(kāi)始普及。兩個(gè)技術(shù)趨勢(shì)起到重要作用。

商品化趨勢(shì)使得大量生產(chǎn)的商品部件接近了高性能計(jì)算機(jī)專有部件

標(biāo)準(zhǔn)化趨勢(shì)使得這些部件之間能夠集成一個(gè)系統(tǒng)中，其中X86處理器、以太網(wǎng)、內(nèi)存部件、Linux都起到?jīng)Q定性作用。

機(jī)群系統(tǒng)是高性能計(jì)算機(jī)的一種，它的技術(shù)基礎(chǔ)和工業(yè)基礎(chǔ)都是商品化和標(biāo)準(zhǔn)化。14當(dāng)前14頁(yè)，總共27頁(yè)。Top500中的超級(jí)計(jì)算機(jī)地球模擬器ASCIQASCIWhite15當(dāng)前15頁(yè)，總共27頁(yè)。EarthSimulatorEarthsimulatorcenterNecRmax:35.86Tflops8*8*640當(dāng)前16頁(yè)，總共27頁(yè)。EarthSimulator當(dāng)前17頁(yè)，總共27頁(yè)。EarthSimulator當(dāng)前18頁(yè)，總共27頁(yè)。ASCIQ1024nodes8cpu/node10240Gflops7727Gflops當(dāng)前19頁(yè)，總共27頁(yè)。ASCIwhiteLLNLIBMSPpower3Rmax7.22Tflops當(dāng)前20頁(yè)，總共27頁(yè)。曙光1000曙光1000有36個(gè)結(jié)點(diǎn)機(jī);峰值計(jì)算速度為浮點(diǎn)25.6億次/秒，實(shí)際達(dá)到15.8億次/秒；內(nèi)存容量為1024兆字節(jié)；基于Wormhole機(jī)制的二維Mesh通訊網(wǎng)，結(jié)點(diǎn)與網(wǎng)絡(luò)通訊總帶寬為2.88GB/秒；采用基于UNIX的并行操作系統(tǒng)和并行文件系統(tǒng)；當(dāng)前21頁(yè)，總共27頁(yè)。并行計(jì)算機(jī)-CRAYSystemName Jaguar1059000GFlopsSystemFamily CrayXTOperatingSystemCNLInterconnect XT4InternalInterconnectProcessor AMDOpteronQuadCore2300MHz(9.2GFlops)當(dāng)前22頁(yè)，總共27頁(yè)。并行計(jì)算機(jī)-IBMSystemName Roadrunner1105000GFlopsSystemFamily IBMClusterOperatingSystemLinuxInterconnect InfinibandProcessor PowerXCell8i3200MHz(12.8GFlops)當(dāng)前23頁(yè)，總共27頁(yè)。并行計(jì)算機(jī)-DAWNINGSystemName Dawning5000A 180600GFlopsSystemFamily DawningClusterOperatingSystemWindowsHPCserver2008andSUSEInterconnect InfinibandDDRProcessor AMDOpteronQuadCore1900MHz(7.6GFlops)當(dāng)前24頁(yè)，總共27頁(yè)。并行計(jì)算機(jī)所用的處理器AMDOpteronXeonNoconaIntelItaniumCompaqAlphaHPPA-RISCSunUltraSPARCIBMPOWER5+,POWER6IBMBlueGeneprocessorMIPSR10000龍芯當(dāng)前25頁(yè)，總共27頁(yè)。最新TOP500cpu分布當(dāng)前26頁(yè)，總共27頁(yè)。并行機(jī)處理器-AMDPERFORMANCE1-WAYPERFORMANCE2-WAYPERFORMANCE4-WAYAND8-WAYAMDOpteron?200Series&2000SeriesProcessorsDesignedfor2-wayServer/WorkstationsolutionsFirstnativex86dual-coresolutionfor2-waycomputingAMDOpteron?100Series&1000SeriesProcessorsDesignedfor1-wayServer/WorkstationsolutionsFirstnativex86dual-coresolutionfor1-waycomputingAMDOpteron?800Series&8000Series