系統(tǒng)結(jié)構(gòu)1-并行概念

上海超級(jí)計(jì)算中心2007年7月計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)講座

并行計(jì)算基本概念什么是并行計(jì)算機(jī)?AparallelcomputerisacollectionofprocessingelementsthatcooperatetosolvelargeproblemsfastDavidE.Culler U.C.Berkeley四個(gè)要素有許多處理單元 →計(jì)算結(jié)點(diǎn)，存儲(chǔ)空間，I/O…形成一個(gè)整體 →互連網(wǎng)絡(luò)，通信機(jī)制…解決一個(gè)大的問(wèn)題 →并行算法，并行編程，作業(yè)調(diào)度…解決得快 →算法優(yōu)化，編譯優(yōu)化，負(fù)載均衡…開(kāi)發(fā)并行程序4步曲DecompositionofcomputationintasksAssignmentoftaskstoprocessesOrchestrationofdataaccess,comm,synch.MappingprocessestoprocessorsSequentialcomputationProcessesp0p1p2p3AssignmentTasksDecompositionP0ProcessorsP1P2P3Mappingp0p1p2p3ParallelprogramOrchestration并行機(jī)的分類(lèi)從指令系統(tǒng)和處理器結(jié)構(gòu)來(lái)分標(biāo)量計(jì)算機(jī)（ScalarComputer）向量計(jì)算機(jī)（VectorComputer）從程序設(shè)計(jì)的角度來(lái)分單指令流多數(shù)據(jù)流計(jì)算機(jī)（SIMD）多指令流多數(shù)據(jù)流計(jì)算機(jī)（MIMD）從體系結(jié)構(gòu)的角度來(lái)分共享存儲(chǔ)多處理機(jī)（SMP）分布存儲(chǔ)多處理機(jī)（DMP）分布共享存儲(chǔ)多處理機(jī)（DSM）P1SwitchMainmemoryPn(Interleaved)(Interleaved)2nd-level$SharedCacheP1$Interconnectionnetwork$PnMemMemDistributedMemory(NUMA)Scale并行機(jī)的分類(lèi)P1$Interconnectionnetwork$PnMemMemCentralizedMemoryDanceHall,UMAUMA—SMP集中存儲(chǔ)器結(jié)構(gòu)，共享存儲(chǔ)器結(jié)構(gòu)每個(gè)處理器訪問(wèn)存儲(chǔ)器的延遲相等，稱(chēng)為

UMA——UniformMemoryAccess

（DanceHall）必須解決Cache一致性問(wèn)題按UMA結(jié)構(gòu)建造的計(jì)算機(jī)稱(chēng)為SMP機(jī)SMP——Shared-memoryMultiProcessor ——SymmetricMultiProcessorSymmetric每個(gè)處理器的地位相等訪問(wèn)存儲(chǔ)器的延遲相等訪問(wèn)I/O的延遲相等使用共享區(qū)實(shí)現(xiàn)進(jìn)程間的通信使用鎖實(shí)現(xiàn)進(jìn)程間的同步P1$Interconnectionnetwork$PnMemMemCentralizedMemoryDanceHall,UMA不需要考慮程序和數(shù)據(jù)的放置公共的程序和數(shù)據(jù)結(jié)構(gòu)便于共享存儲(chǔ)器管理和負(fù)載均衡非常方便實(shí)現(xiàn)了單一系統(tǒng)映象（SSI—SingleSystemImage），易于編程在小規(guī)?？茖W(xué)計(jì)算及事務(wù)處理等諸多領(lǐng)域獲得了廣泛的應(yīng)用UMA—SMPSMP面臨的挑戰(zhàn)總線結(jié)構(gòu)在長(zhǎng)度、頻率上都受到限制，且一次只能實(shí)現(xiàn)一個(gè)連接即使是交叉開(kāi)關(guān)，模塊數(shù)也受到限制兩個(gè)瓶頸——對(duì)共享存儲(chǔ)器的訪問(wèn)

對(duì)I/O資源的訪問(wèn)SMP最大弱點(diǎn)——難以擴(kuò)展UMA—SMPNUMAP1$Interconnectionnetwork$PnMemMemDistributedMemory(NUMA)分布存儲(chǔ)器結(jié)構(gòu)處理器訪問(wèn)不同存儲(chǔ)器的延遲不相等，稱(chēng)為

NUMA——NonUniformMemoryAccess按NUMA結(jié)構(gòu)建造的計(jì)算機(jī)稱(chēng)為MPP機(jī)MPP——MassivelyParallelProdessing使用消息實(shí)現(xiàn)進(jìn)程間的通信和同步盡管可以實(shí)現(xiàn)全局統(tǒng)一編址，處理器訪問(wèn)遠(yuǎn)地存儲(chǔ)器只能通過(guò)消息來(lái)實(shí)現(xiàn)NUMA解決了可擴(kuò)展性，但共享存儲(chǔ)特性實(shí)際上是多了一個(gè)層次Cc-NUMAP1$Interconnectionnetwork$PnMemMemDistributedSharedMemory(cc-NUMA)在NUMA結(jié)構(gòu)上，增加了Cache一致性管理，稱(chēng)為

cc-NUMA——CacheCoherence-NonUniformMemoryAccess按cc-NUMA結(jié)構(gòu)建造的計(jì)算機(jī)稱(chēng)為DSM機(jī)Cache一致性管理可以由軟件實(shí)現(xiàn)可以由硬件實(shí)現(xiàn)進(jìn)程間的通信和同步又可以回到SMP模式全局統(tǒng)一編址，處理器可以訪問(wèn)任意存儲(chǔ)器克服了UMA難以擴(kuò)展的弱點(diǎn)遠(yuǎn)程訪問(wèn)的數(shù)據(jù)能進(jìn)入本地Cache，并保持多副本一致性，繼承了SMP的可編程性可擴(kuò)展的SMP——SSMP:ScalableShared-memoryMultiProcessor遠(yuǎn)程存儲(chǔ)器訪問(wèn)的延遲仍是一個(gè)重要問(wèn)題采用頁(yè)面遷移和復(fù)制技術(shù)(如Origin2000)設(shè)置NodeCache（NUMA-Q）SGIAltix4700512CPU規(guī)模的SSMPCc-NUMACluster什么是Cluster商品化結(jié)點(diǎn)商品化互連Linux消息傳送倒底屬于那一種系統(tǒng)結(jié)構(gòu)？屬于NUMA結(jié)構(gòu)Cluster與MPP的區(qū)別？Cluster只能是從I/O總線實(shí)現(xiàn)互連MPP必定是從專(zhuān)門(mén)設(shè)計(jì)的網(wǎng)絡(luò)接口進(jìn)行互連的，網(wǎng)絡(luò)接口的帶寬通常與內(nèi)存帶寬在一個(gè)數(shù)量級(jí)上P1$Interconnectionnetwork$PnMemMemDistributedMemory(NUMA)Cluster，MPP，Constellation視結(jié)點(diǎn)情況而定結(jié)點(diǎn)是商品化主板，就是Cluster結(jié)點(diǎn)是SMP，就是Constellation結(jié)點(diǎn)CPU是向量處理器，就是PVP，歸入MPP類(lèi)TOP500中只剩下3種系統(tǒng)結(jié)構(gòu)ClusterMPPConstellationP1$Interconnectionnetwork$PnMemMemDistributedM