計(jì)算機(jī)組成與體系結(jié)構(gòu) 課件 13多處理機(jī)系統(tǒng)

多處理機(jī)系統(tǒng)計(jì)算機(jī)組成與體系結(jié)構(gòu)進(jìn)程并行減少進(jìn)程間的資源共享可不共享的資源CPU存儲(chǔ)器I/O必須共享的資源（進(jìn)程間通信）互連結(jié)構(gòu)多處理機(jī)系統(tǒng)(multiprocessorsystem)，多處理器系統(tǒng)、多處理機(jī)多處理機(jī)系統(tǒng)分類(lèi)多處理機(jī)系統(tǒng)SIMD單指令多數(shù)據(jù)流機(jī)SIMD(SingleInstructionMultipleData)MIMD并行向量處理機(jī)PVP(ParallelVectorProcessor)對(duì)稱(chēng)多處理機(jī)SMP(SymmetricMultiprocessor)大規(guī)模并行處理機(jī)MPP(MassivelyParallelProcessor)工作站集群COW(ClusterofWorkstation)分布式共享存儲(chǔ)DSM(DistributedSharedMemory)多處理機(jī)SIMD體系結(jié)構(gòu)控制器指令流運(yùn)算器存儲(chǔ)運(yùn)算器存儲(chǔ)…………數(shù)據(jù)流數(shù)據(jù)流從前端機(jī)裝入的數(shù)據(jù)從前端機(jī)裝入的程序MIMD的優(yōu)勢(shì)MIMD靈活性強(qiáng)。在必要的軟件和硬件支持下，MIMD既能作為單用戶(hù)多處理器為單一應(yīng)用程序提供高性能（向量處理器除外，且目前使用向量處理器的MIMD很少），又可作為同時(shí)運(yùn)行多個(gè)任務(wù)的多道程序多處理器系統(tǒng)使用，甚至可以提供這兩種任務(wù)相結(jié)合的應(yīng)用MIMD能夠充分利用現(xiàn)有微處理器的性?xún)r(jià)比優(yōu)勢(shì)。實(shí)際上，當(dāng)今幾乎所有的商用多處理器系統(tǒng)所使用的微處理器與工作站及單處理器服務(wù)器所使用的微處理器都是相同的。此外，多核芯片通過(guò)復(fù)制方式可以有效降低單處理器內(nèi)核的設(shè)計(jì)成本并行向量處理機(jī)PVP對(duì)于處理特定的向量計(jì)算有很高的速度，但其通用性較差Cray系列、NECSX4、銀河-I型（峰值速度1億次/秒）銀河-II型（峰值速度10億次/秒）對(duì)稱(chēng)多處理機(jī)SMPIBMR50、SGIPowerChallenge、DECAlpha服務(wù)器8400、曙光1號(hào)大規(guī)模并行處理機(jī)MPPIntelParagon、IBMSP2、IntelTFLOPS、曙光-1000主要應(yīng)用是科學(xué)計(jì)算、工程模擬和信號(hào)處理等以計(jì)算為主的領(lǐng)域分布式共享存儲(chǔ)多處理機(jī)DSMStanfordDASH、CrayT3D和SGI/GrayOrigin2000等工作站集群COWBerkeleyNOW、AlphaFarm、DigitalTruCluster等公用結(jié)構(gòu)五種結(jié)構(gòu)特性一覽表屬性PVPSMPMPPDSMCOW結(jié)構(gòu)類(lèi)型MIMDMIMDMIMDMIMDMIMD處理器類(lèi)型專(zhuān)用定制商用商用商用商用互連網(wǎng)絡(luò)定制交叉開(kāi)關(guān)總線、交叉開(kāi)關(guān)定制網(wǎng)絡(luò)定制網(wǎng)絡(luò)商用網(wǎng)絡(luò)（以太ATM）通信機(jī)制共享變量共享變量消息傳遞共享變量消息傳遞地址空間單地址空間單地址空間多地址空間單地址空間多地址空間系統(tǒng)存儲(chǔ)器集中共享集中共享分布非共享分布共享分布非共享訪存模型UMAUMANORMANUMANORMA代表機(jī)器CrayC-90，CrayT-90，銀河1號(hào)IBMR50，SGIPowerChallenge，曙光1號(hào)IntelParagon，

IBMSP2，曙光1000/2000StanfordDASH，CrayT3DBerkeleyNOW，AlphaFarm并行計(jì)算機(jī)訪存模型UMA(UniformMemoryAccess)

NUMA(NonuniformMemoryAccess)COMA(Cache-OnlyMemoryAccess)CC-NUMA(Coherent-CacheNonuniformMemoryAccess)

NORMA(No-RemoteMemoryAccess)

UMA均勻存儲(chǔ)訪問(wèn)模型物理存儲(chǔ)器被所有處理器均勻共享；所有處理器訪問(wèn)任何存儲(chǔ)字取相同的時(shí)間；每臺(tái)處理器可帶私有高速緩存；外圍設(shè)備也可以一定形式共享。UMA多處理機(jī)模型NUMA非均勻存儲(chǔ)訪問(wèn)模型被共享的存儲(chǔ)器在物理上是分布在所有的處理器中的，其所有本地存儲(chǔ)器的集合就組成了全局地址空間；處理器訪問(wèn)存儲(chǔ)器的時(shí)間是不一樣的；訪問(wèn)本地存儲(chǔ)器LM或群內(nèi)共享存儲(chǔ)器CSM較快，而訪問(wèn)外地的存儲(chǔ)器或全局共享存儲(chǔ)器GSM較慢（此即非均勻存儲(chǔ)訪問(wèn)名稱(chēng)的由來(lái)）；每臺(tái)處理器照例可帶私有高速緩存，外設(shè)也可以某種形式共享。NUMA多處理機(jī)模型LM1P1LM2P2LMnPn互連網(wǎng)絡(luò)(a)共享本地存儲(chǔ)模型全局互連網(wǎng)絡(luò)(b)層次式集群模型GSMGSMGSM…………PCINCSMPPCSMCSM群1……PCINCSM群NPPCSMCSM……COMA全高速緩存存儲(chǔ)訪問(wèn)各處理器節(jié)點(diǎn)中沒(méi)有存儲(chǔ)層次結(jié)構(gòu)，全部高速緩存組成了全局地址空間；利用分布的高速緩存目錄D進(jìn)行遠(yuǎn)程高速緩存的訪問(wèn);COMA中的高速緩存容量一般都大于2級(jí)高速緩存容量；使用COMA時(shí)，數(shù)據(jù)開(kāi)始時(shí)可任意分配，因?yàn)樵谶\(yùn)行時(shí)它最終會(huì)被遷移到要用到它們的地方。COMA多處理機(jī)模型CC-NUMA高速緩存一致性非均勻存儲(chǔ)訪問(wèn)大多數(shù)使用基于目錄的高速緩存一致性協(xié)議保留SMP結(jié)構(gòu)易于編程的優(yōu)點(diǎn)，也改善常規(guī)SMP的可擴(kuò)展性CC-NUMA實(shí)際上是一個(gè)分布共享存儲(chǔ)的DSM多處理機(jī)系統(tǒng)它最顯著的優(yōu)點(diǎn)是程序員無(wú)需明確地在節(jié)點(diǎn)上分配數(shù)據(jù)，系統(tǒng)的硬件和軟件開(kāi)始時(shí)自動(dòng)在各節(jié)點(diǎn)分配數(shù)據(jù)，在運(yùn)行期間，高速緩存一致性硬件會(huì)自動(dòng)地將數(shù)據(jù)遷移至要用到它的地方CC-NUMA多處理機(jī)模型NORMA非遠(yuǎn)程存儲(chǔ)訪問(wèn)所有存儲(chǔ)器是私有的；絕大數(shù)NORMA都不支持遠(yuǎn)程存儲(chǔ)器的訪問(wèn)；在DSM中，NORMA就消失了。消息傳遞多處理機(jī)一般模型并行機(jī)訪存模型總結(jié)物理上分布的存儲(chǔ)器從編程的觀點(diǎn)看可以是共享的或非共享的共享結(jié)構(gòu)（多處理器）可以同時(shí)支持共享存儲(chǔ)和消息傳遞編程模型共享存儲(chǔ)的編程模型可同時(shí)執(zhí)行于共享存儲(chǔ)結(jié)構(gòu)和分布式存儲(chǔ)結(jié)構(gòu)（多計(jì)算機(jī)）上并行機(jī)系統(tǒng)的不同存儲(chǔ)結(jié)構(gòu)主流并行計(jì)算機(jī)系統(tǒng)SMPMPPClusterSMP特性(1)SMP：通常采用商用微處理器，通常有片上和片外Cache，基于總線連接，集中式共享存儲(chǔ)，UMA結(jié)構(gòu)。SMP特性(2)優(yōu)點(diǎn)對(duì)稱(chēng)性單地址空間，易編程性，動(dòng)態(tài)負(fù)載平衡，無(wú)需顯示數(shù)據(jù)分配高速緩存及其一致性，數(shù)據(jù)局部性，硬件維持一致性低通信延遲，Load/Store完成問(wèn)題欠可靠，易產(chǎn)生單點(diǎn)失效，如BUS、OS、SM通信延遲，單次通信延遲要低，但總線競(jìng)爭(zhēng)加劇慢速增加的帶寬（MBdouble/3年，IOB則更慢）不可擴(kuò)展性，限制了SMP最大的處理器數(shù)。為了增大系統(tǒng)的規(guī)模，可改用交叉開(kāi)關(guān)連接，或改用CC-NUMA或集群結(jié)構(gòu)典型SMP系統(tǒng)系統(tǒng)特性DECAlphaserver84005/440HP9000/T600IBMRS600/R40SunUltraEnterprise6000SGIPowerChallengeXL處理器數(shù)目121283036處理器類(lèi)型437MHzAlpha21164180MHzPA8000112MHzPowerPC604167MHzUltraSPARCI195MHzMIPSR10000處理器片外Cache容量4MB8MB1MB512MB4MB最大主存容量28GB16GB2GB30GB16GB互連網(wǎng)絡(luò)及帶寬BUS2.1GB/sBUS960MB/sBUS+Crossbar1.8GB/sBUS+Crossbar2.6GB/sBUS1.2GB/s外存容量192GB168GB38GB63GB144GBI/O通道12PCI，每個(gè)133MB/sN/A2MCA，每個(gè)160MB/s30Sbus，每個(gè)200MB/s6PowerChannel-2HIO，每個(gè)320MB/sI/O槽144PCI槽112HP-PB槽15MCA45Sbus槽12HIO槽I/O帶寬1.2GB/s1GB/s320MB/s2.6GB/s每個(gè)HIO槽320MB/sMPP系統(tǒng)MPP并沒(méi)有一個(gè)明確的定義，典型的MPP系統(tǒng)中包含成百上千乃至上萬(wàn)個(gè)處理器，并用專(zhuān)用的高速互聯(lián)網(wǎng)絡(luò)把大量的計(jì)算結(jié)點(diǎn)連接在一起，組成的大型計(jì)算機(jī)系統(tǒng)，進(jìn)行并行處理“計(jì)算結(jié)點(diǎn)”并不只是處理器，計(jì)算結(jié)點(diǎn)內(nèi)包含除了CPU外的其他私有的資源，如總線，內(nèi)存等MPP系統(tǒng)包含的計(jì)算結(jié)點(diǎn)數(shù)很多，故其可以達(dá)到很高的峰值速度典型的MPP體系結(jié)構(gòu)P/CP/CMEM局部總線或互聯(lián)網(wǎng)絡(luò)NICI/OP/CP/CMEM局部總線或互聯(lián)網(wǎng)絡(luò)NICI/O高性能互聯(lián)網(wǎng)絡(luò)I/OMPP的特征由數(shù)百個(gè)乃至數(shù)千個(gè)計(jì)算結(jié)點(diǎn)和I/O結(jié)點(diǎn)組成，這些結(jié)點(diǎn)由局部網(wǎng)卡（NIC）通過(guò)高性能互聯(lián)網(wǎng)絡(luò)相互聯(lián)接每個(gè)結(jié)點(diǎn)相對(duì)獨(dú)立，并擁有一個(gè)或多個(gè)微處理器（P/C）MPP的各個(gè)結(jié)點(diǎn)均擁有不同的操作系統(tǒng)映像各個(gè)結(jié)點(diǎn)間的內(nèi)存模塊相互獨(dú)立，且不存在全局內(nèi)存單元的統(tǒng)一硬件編址MPP分類(lèi)DM-MPP。每個(gè)結(jié)點(diǎn)僅包含一個(gè)微處理器，早期的MPP均屬于這一類(lèi)。例如CRAYT3D、CRAYT3E、IntelParagon、IBMSP-2、YH-3等。SMP-MPP。每個(gè)結(jié)點(diǎn)是一臺(tái)SMP并行機(jī)，例如當(dāng)前位于Top500排名前列的多臺(tái)MPP并行機(jī)均屬于這一類(lèi)，其中包括IBMASCIWhite、IntelASCIRed、IBMBluePacific等；DSM-MPP。每個(gè)結(jié)點(diǎn)是一臺(tái)DSM并行機(jī)，其典型代表為包含6144臺(tái)處理器的ASCIBlueMountainMPP并行機(jī)，它由48臺(tái)Origin2000構(gòu)成，其中每臺(tái)含128個(gè)微處理器。MPP的固有問(wèn)題通信效率問(wèn)題。在處理器數(shù)目很多的情況下，通信開(kāi)銷(xiāo)是影響系統(tǒng)加速比的重要因素可靠性問(wèn)題。MPP包含有大量的處理器等硬件，這使得系統(tǒng)發(fā)生故障的概率大大提高成本問(wèn)題。大量的計(jì)算結(jié)點(diǎn)，專(zhuān)用的高帶寬、低延遲互連網(wǎng)絡(luò)，使得MPP的成本很容易就達(dá)到幾千萬(wàn)美元。MPP項(xiàng)目的研發(fā)往往耗資巨大，主要由各國(guó)政府資助，很少有商業(yè)公司涉足，MPP系統(tǒng)也主要用于專(zhuān)業(yè)領(lǐng)域，也很少有商用MPP系統(tǒng)出現(xiàn)。典型MPP系統(tǒng)MPP模型Intel/SandiaASCIOptionRedIBMSP2SGI/CrayOrigin2000一個(gè)大型樣機(jī)的配置9072個(gè)處理器，1.8Tflop/s(NSL)400個(gè)處理器，100Gflop/s(MHPCC)128個(gè)處理器，51Gflop/s(NCSA)問(wèn)世日期1996年12月1994年9月1996年10月處理器類(lèi)型200MHz,200Mflop/sPentiumPro67MHz，267Mflop/sPOWER2200MHz，400Mflop/sMIPSR10000節(jié)點(diǎn)體系結(jié)構(gòu)和數(shù)據(jù)存儲(chǔ)器2個(gè)處理器，32到256MB主存，共享磁盤(pán)1個(gè)處理器，64MB到2GB本地主存，1GB到14.5GB本地磁盤(pán)2個(gè)處理器，64MB到256MB分布共享主存和共享磁盤(pán)互連網(wǎng)絡(luò)和主存模型分離兩維網(wǎng)孔，NORMA多級(jí)網(wǎng)絡(luò)，NORMA胖超立方體網(wǎng)絡(luò)，CC-NUMA節(jié)點(diǎn)操作系統(tǒng)輕量級(jí)內(nèi)核（LWK）完全AIX（IBMUNIX）微內(nèi)核CellularIRIX自然編程機(jī)制基于PUMAPortals的MPIMPI和PVMPowerC，PowerFortran其他編程模型Nx，PVM，HPFHPF，LindaMPI，PVMCluster(1)分類(lèi)：大規(guī)模并行處理系統(tǒng)MPP集群工作站集群COW（ClusterofWorkstations）MPP集群設(shè)計(jì)策略：集群體系結(jié)構(gòu)標(biāo)準(zhǔn)環(huán)境標(biāo)準(zhǔn)編程模型系統(tǒng)可用性精選的單一系統(tǒng)映像Cluster(2)COW特征：分布式存儲(chǔ)，MIMD，工作站+商用互連網(wǎng)絡(luò)，每個(gè)節(jié)點(diǎn)是一個(gè)完整的計(jì)算機(jī)，有自己的磁盤(pán)和操作系統(tǒng)，使用SPMD（SingleProgramMultipleData）編程方式。COW優(yōu)點(diǎn)：投資風(fēng)險(xiǎn)小編程方便系統(tǒng)結(jié)構(gòu)靈活性能/價(jià)格比高能充分利用分散的計(jì)算資源可擴(kuò)展性好COW需解決的問(wèn)題通信性能。盡管使用商品網(wǎng)絡(luò)可以降低集群系統(tǒng)的造價(jià)，使其獲得很高的性能/價(jià)格比，但商品網(wǎng)絡(luò)的通信性能有限，往往滿(mǎn)足不了一些對(duì)通信性能要求高的領(lǐng)域。并行應(yīng)用性能的提升。集群系統(tǒng)可以通過(guò)增加結(jié)點(diǎn)來(lái)達(dá)到更高的峰值運(yùn)算速度，但運(yùn)行在其上的并行應(yīng)用并不能不加修改的獲得更佳的性能。造成這種現(xiàn)象的主要原因是，用于集群的并行編程環(huán)境還不能實(shí)現(xiàn)自動(dòng)的數(shù)據(jù)分配和負(fù)載均衡。典型的集群系統(tǒng)典型的集群系統(tǒng)特點(diǎn)一覽表名稱(chēng)系統(tǒng)特點(diǎn)Princeton:SHRIMPPC商用組件，通過(guò)專(zhuān)用網(wǎng)絡(luò)接口達(dá)到共享虛擬存儲(chǔ)，支持有效通信Karsruhe:Parastation用于分布并行處理的有效通信網(wǎng)絡(luò)和軟件開(kāi)