并行計(jì)算-硬件基礎(chǔ)及性能評(píng)測(cè)概要課件

并行計(jì)算

ParallelComputing基本概念2023/1/81并行計(jì)算

ParallelComputing基本概念202如何滿足不斷增長的計(jì)算力需求？用速度更快的硬件，也就是減少每一條指令所需時(shí)間優(yōu)化算法（或者優(yōu)化編譯）用多個(gè)處理機(jī)(器)同時(shí)解決一個(gè)問題并行計(jì)算2023/1/82如何滿足不斷增長的計(jì)算力需求？用速度更快的硬件，也就是減少每串行計(jì)算與并行計(jì)算2023/1/83串行計(jì)算與并行計(jì)算2023/1/73并行的層次程序級(jí)并行子程序級(jí)并行語句級(jí)并行操作級(jí)并行微操作級(jí)并行并行粒度粗細(xì)2023/1/84并行的層次程序級(jí)并行并行粒度粗細(xì)2023/1/74FLOPSFloatingpointnumberOperationsPerSecond--每個(gè)時(shí)鐘周期執(zhí)行浮點(diǎn)運(yùn)算的次數(shù)理論峰值＝CPU主頻＊每時(shí)鐘周期執(zhí)行浮點(diǎn)運(yùn)算數(shù)＊CPU數(shù)目部分處理器每時(shí)鐘周期執(zhí)行浮點(diǎn)運(yùn)算數(shù)：2023/1/85FLOPSFloatingpointnumberOpe2023/1/862023/1/76Top500—2007年11月高居榜首的依然是來自IBM的“藍(lán)色基因/L”。自從2004年11月以來，該系統(tǒng)已經(jīng)連續(xù)三年遙遙領(lǐng)先，而且計(jì)算能力不斷提升，Linpack基準(zhǔn)測(cè)試性能478.2TFlop/s(每秒478.2萬億次運(yùn)算)，而半年前還是280.6TFlop/s拿下亞軍位置的還是IBM，不過換成了一臺(tái)落成不久的“藍(lán)色基因/P”。位于德國尤里希研究中心的這套新系統(tǒng)運(yùn)算能力167.3TFlop/s，不過按照IBM的設(shè)計(jì)規(guī)劃，藍(lán)色基因/P的性能將有望突破1TFlop/s大關(guān)，即每秒一千萬億次運(yùn)算。2023/1/87Top500—2007年11月高居榜首的依然是來自IBM的“Top500—2007年11月第三名也是個(gè)新面孔，同時(shí)也是新墨西哥計(jì)算應(yīng)用中心(NMCAC)的第一套超級(jí)計(jì)算機(jī)，由SGI基于AltixICE8200打造，計(jì)算能力126.9TFlop/s。同時(shí)印度史上首次殺入了TOP10行列，印度計(jì)算研究實(shí)驗(yàn)室的HPClusterPlatform3000BL460c以117.9TFlop/s的性能拿到了第四位2023/1/88Top500—2007年11月第三名也是個(gè)新面孔，同時(shí)也是新供應(yīng)商－系統(tǒng)數(shù)量2023/1/89供應(yīng)商－系統(tǒng)數(shù)量2023/1/79供應(yīng)商－計(jì)算能力2023/1/810供應(yīng)商－計(jì)算能力2023/1/710國家分布－系統(tǒng)數(shù)量2023/1/811國家分布－系統(tǒng)數(shù)量2023/1/711國家分布－計(jì)算能力2023/1/812國家分布－計(jì)算能力2023/1/712體系結(jié)構(gòu)－系統(tǒng)數(shù)量2023/1/813體系結(jié)構(gòu)－系統(tǒng)數(shù)量2023/1/713體系結(jié)構(gòu)－計(jì)算能力2023/1/814體系結(jié)構(gòu)－計(jì)算能力2023/1/714應(yīng)用領(lǐng)域－系統(tǒng)數(shù)量2023/1/815應(yīng)用領(lǐng)域－系統(tǒng)數(shù)量2023/1/715應(yīng)用領(lǐng)域－計(jì)算能力2023/1/816應(yīng)用領(lǐng)域－計(jì)算能力2023/1/716操作系統(tǒng)－系統(tǒng)數(shù)量2023/1/817操作系統(tǒng)－系統(tǒng)數(shù)量2023/1/717操作系統(tǒng)－計(jì)算能力2023/1/818操作系統(tǒng)－計(jì)算能力2023/1/718處理器家族－系統(tǒng)數(shù)量2023/1/819處理器家族－系統(tǒng)數(shù)量2023/1/719處理器家族－計(jì)算能力2023/1/820處理器家族－計(jì)算能力2023/1/720系統(tǒng)數(shù)量2023/1/821系統(tǒng)數(shù)量2023/1/721計(jì)算能力2023/1/822計(jì)算能力2023/1/7222007年中國高性能計(jì)算機(jī)性能TOP100

2023/1/8232007年中國高性能計(jì)算機(jī)性能TOP1002023/1/7并行化方法域分解（Domaindecomposition）任務(wù)分解（Taskdecomposition）流水線（Pipelining）2023/1/824并行化方法域分解（Domaindecomposition）域分解First,decidehowdataelementsshouldbedivided amongprocessorsSecond,decidewhichtaskseachprocessorshouldbedoingExample:Vectoraddition2023/1/825域分解First,decidehowdataelem域分解Findthelargestelementofanarray2023/1/826域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/827域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/828域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/829域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/830域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/831域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU

32023/1/832域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/833域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/834域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/835域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/836域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU

2CPU

32023/1/837域分解Findthelargestelementof任務(wù)（功能）分解First,dividetasksamongprocessorsSecond,decidewhichdataelementsaregoingtobeaccessed(readand/orwritten)bywhichprocessorsExample:Event-handlerforGUI2023/1/838任務(wù)（功能）分解First,dividetasksam任務(wù)分解f()s()r()q()h()g()2023/1/839任務(wù)分解f()s()r()q()h()g()2023/1/7任務(wù)分解f()s()r()q()h()g()CPU0CPU2CPU

12023/1/840任務(wù)分解f()s()r()q()h()g()CPU0CPU任務(wù)分解f()s()r()q()h()g()CPU0CPU2CPU12023/1/841任務(wù)分解f()s()r()q()h()g()CPU0CPU任務(wù)分解f()s()r()q()h()g()CPU0CPU2CPU12023/1/842任務(wù)分解f()s()r()q()h()g()CPU0CPU任務(wù)分解f()s()r()q()h()g()CPU0CPU2CPU12023/1/843任務(wù)分解f()s()r()q()h()g()CPU0CPU任務(wù)分解f()s()r()q()h()g()CPU0CPU2CPU12023/1/844任務(wù)分解f()s()r()q()h()g()CPU0CPU流水線Specialkindoftaskdecomposition“Assemblyline”parallelismExample:3DrenderingincomputergraphicsRasterizeClipProjectModelInputOutput2023/1/845流水線SpecialkindoftaskdecompProcessingOneDataSet(Step1)RasterizeClipProjectModel2023/1/846ProcessingOneDataSet(StepProcessingOneDataSet(Step2)RasterizeClipProjectModel2023/1/847ProcessingOneDataSet(StepProcessingOneDataSet(Step3)RasterizeClipProjectModel2023/1/848ProcessingOneDataSet(StepProcessingOneDataSet(Step4)RasterizeClipProjectModelThepipelineprocesses1datasetin4steps2023/1/849ProcessingOneDataSet(StepProcessingTwoDataSets(Step1)RasterizeClipProjectModel2023/1/850ProcessingTwoDataSets(StepProcessingTwoDataSets(Time2)RasterizeClipProjectModel2023/1/851ProcessingTwoDataSets(TimeProcessingTwoDataSets(Step3)RasterizeClipProjectModel2023/1/852ProcessingTwoDataSets(StepProcessingTwoDataSets(Step4)RasterizeClipProjectModel2023/1/853ProcessingTwoDataSets(StepProcessingTwoDataSets(Step5)RasterizeClipProjectModelThepipelineprocesses2datasetsin5steps2023/1/854ProcessingTwoDataSets(StepPipeliningFiveDataSets(Step1)Dataset0Dataset1Dataset2Dataset3Dataset4CPU0CPU1CPU2CPU32023/1/855PipeliningFiveDataSets(StePipeliningFiveDataSets(Step2)Dataset0Dataset1Dataset2Dataset3Dataset4CPU0CPU1CPU2CPU32023/1/856PipeliningFiveDataSets(StePipeliningFiveDataSets(Step3)Dataset0Dataset1Dataset2Dataset3Dataset4CPU0CPU1CPU2CPU32023/1/857PipeliningFiveDataSets(StePipeliningFiveDataSets(Step4)Dataset0Dataset1Dataset2Dataset3Dataset4CPU0CPU1CPU2CPU32023/1/858PipeliningFiveDataSets(StePipeliningFiveDataSets(Step5)Dataset0Dataset1Dataset2Dataset3Dataset4CPU0CPU1CPU2CPU32023/1/859PipeliningFiveDataSets(StePipeliningFiveDataSets(Step6)Dataset0Dataset1Dataset2Dataset3Dataset4CPU0CPU1CPU2CPU32023/1/860PipeliningFiveDataSets(StePipeliningFiveDataSets(Step7)Dataset0Dataset1Dataset2Dataset3Dataset4CPU0CPU1CPU2CPU32023/1/861PipeliningFiveDataSets(StePipeliningFiveDataSets(Step8)Dataset0Dataset1Dataset2Dataset3Dataset4CPU0CPU1CPU2CPU32023/1/862PipeliningFiveDataSets(Ste并行計(jì)算

ParallelComputing基本概念2023/1/863并行計(jì)算

ParallelComputing基本概念202如何滿足不斷增長的計(jì)算力需求？用速度更快的硬件，也就是減少每一條指令所需時(shí)間優(yōu)化算法（或者優(yōu)化編譯）用多個(gè)處理機(jī)(器)同時(shí)解決一個(gè)問題并行計(jì)算2023/1/864如何滿足不斷增長的計(jì)算力需求？用速度更快的硬件，也就是減少每串行計(jì)算與并行計(jì)算2023/1/865串行計(jì)算與并行計(jì)算2023/1/73并行的層次程序級(jí)并行子程序級(jí)并行語句級(jí)并行操作級(jí)并行微操作級(jí)并行并行粒度粗細(xì)2023/1/866并行的層次程序級(jí)并行并行粒度粗細(xì)2023/1/74FLOPSFloatingpointnumberOperationsPerSecond--每個(gè)時(shí)鐘周期執(zhí)行浮點(diǎn)運(yùn)算的次數(shù)理論峰值＝CPU主頻＊每時(shí)鐘周期執(zhí)行浮點(diǎn)運(yùn)算數(shù)＊CPU數(shù)目部分處理器每時(shí)鐘周期執(zhí)行浮點(diǎn)運(yùn)算數(shù)：2023/1/867FLOPSFloatingpointnumberOpe2023/1/8682023/1/76Top500—2007年11月高居榜首的依然是來自IBM的“藍(lán)色基因/L”。自從2004年11月以來，該系統(tǒng)已經(jīng)連續(xù)三年遙遙領(lǐng)先，而且計(jì)算能力不斷提升，Linpack基準(zhǔn)測(cè)試性能478.2TFlop/s(每秒478.2萬億次運(yùn)算)，而半年前還是280.6TFlop/s拿下亞軍位置的還是IBM，不過換成了一臺(tái)落成不久的“藍(lán)色基因/P”。位于德國尤里希研究中心的這套新系統(tǒng)運(yùn)算能力167.3TFlop/s，不過按照IBM的設(shè)計(jì)規(guī)劃，藍(lán)色基因/P的性能將有望突破1TFlop/s大關(guān)，即每秒一千萬億次運(yùn)算。2023/1/869Top500—2007年11月高居榜首的依然是來自IBM的“Top500—2007年11月第三名也是個(gè)新面孔，同時(shí)也是新墨西哥計(jì)算應(yīng)用中心(NMCAC)的第一套超級(jí)計(jì)算機(jī)，由SGI基于AltixICE8200打造，計(jì)算能力126.9TFlop/s。同時(shí)印度史上首次殺入了TOP10行列，印度計(jì)算研究實(shí)驗(yàn)室的HPClusterPlatform3000BL460c以117.9TFlop/s的性能拿到了第四位2023/1/870Top500—2007年11月第三名也是個(gè)新面孔，同時(shí)也是新供應(yīng)商－系統(tǒng)數(shù)量2023/1/871供應(yīng)商－系統(tǒng)數(shù)量2023/1/79供應(yīng)商－計(jì)算能力2023/1/872供應(yīng)商－計(jì)算能力2023/1/710國家分布－系統(tǒng)數(shù)量2023/1/873國家分布－系統(tǒng)數(shù)量2023/1/711國家分布－計(jì)算能力2023/1/874國家分布－計(jì)算能力2023/1/712體系結(jié)構(gòu)－系統(tǒng)數(shù)量2023/1/875體系結(jié)構(gòu)－系統(tǒng)數(shù)量2023/1/713體系結(jié)構(gòu)－計(jì)算能力2023/1/876體系結(jié)構(gòu)－計(jì)算能力2023/1/714應(yīng)用領(lǐng)域－系統(tǒng)數(shù)量2023/1/877應(yīng)用領(lǐng)域－系統(tǒng)數(shù)量2023/1/715應(yīng)用領(lǐng)域－計(jì)算能力2023/1/878應(yīng)用領(lǐng)域－計(jì)算能力2023/1/716操作系統(tǒng)－系統(tǒng)數(shù)量2023/1/879操作系統(tǒng)－系統(tǒng)數(shù)量2023/1/717操作系統(tǒng)－計(jì)算能力2023/1/880操作系統(tǒng)－計(jì)算能力2023/1/718處理器家族－系統(tǒng)數(shù)量2023/1/881處理器家族－系統(tǒng)數(shù)量2023/1/719處理器家族－計(jì)算能力2023/1/882處理器家族－計(jì)算能力2023/1/720系統(tǒng)數(shù)量2023/1/883系統(tǒng)數(shù)量2023/1/721計(jì)算能力2023/1/884計(jì)算能力2023/1/7222007年中國高性能計(jì)算機(jī)性能TOP100

2023/1/8852007年中國高性能計(jì)算機(jī)性能TOP1002023/1/7并行化方法域分解（Domaindecomposition）任務(wù)分解（Taskdecomposition）流水線（Pipelining）2023/1/886并行化方法域分解（Domaindecomposition）域分解First,decidehowdataelementsshouldbedivided amongprocessorsSecond,decidewhichtaskseachprocessorshouldbedoingExample:Vectoraddition2023/1/887域分解First,decidehowdataelem域分解Findthelargestelementofanarray2023/1/888域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/889域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/890域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/891域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/892域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/893域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU

32023/1/894域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/895域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/896域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/897域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/898域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU

2CPU

32023/1/899域分解Findthelargestelementof任務(wù)（功能）分解First,dividetasksamongprocessorsSecond,decidewhichdataelementsaregoingtobeaccessed(readand/orwritten)bywhichprocessorsExample:Event-handlerforGUI2023/1/8100任務(wù)（功能）分解First,dividetasksam任務(wù)分解f()s()r()q()h()g()2023/1/8101任務(wù)分解f()s()r()q()h()g()2023/1/7任務(wù)分解f()s()r()q()h()g()CPU0CPU2CPU

12023/1/8102任務(wù)分解f()s()r()q()h()g()CPU0CPU任務(wù)分解f()s()r()q()h()g()CPU0CPU2CPU12023/1/8103任務(wù)分解f()s()r()q()h()g()CPU0CPU任務(wù)分解f()s()r()q()h()g()CPU0CPU2CPU12023/1/8104任務(wù)分解f()s()r()q()h()g()CPU0CPU任務(wù)分解f()s()r()q()h()g()CPU0CPU2CPU12023/1/8105任務(wù)分解f()s()r()q()h()g()CPU0CPU任務(wù)分解f()s()r()q()h()g()CPU0CPU2CPU12023/1/8106任務(wù)分解f()s()r()q()h()g()CPU0CPU流水線Specialkindoftaskdecomposition“Assemblyline”parallelismExample:3DrenderingincomputergraphicsRasterizeClipProjectModelInputOutput2023/1/8107流水線SpecialkindoftaskdecompProcessingOneDataSet(Step1)RasterizeClipProjectModel2023/1/8108ProcessingOneDataSet(StepProcessingOneDataSet(Step2)RasterizeClipProjectModel2023/1/8109ProcessingOneDataSet(StepProcessingOneDataSet(Step3)RasterizeClipProjectModel2023/1/8110ProcessingOneDataSet(StepProcessingOneDataSet(Step4)RasterizeClipProjectModelThepipelineprocesses1datasetin4steps2023/1/8111ProcessingOneDataSet(StepProcessingTwoDataSets(Step1)RasterizeClipProjectModel2023/1/8112ProcessingTwoDataSets(StepProcessingTwoDataSets(Time2)RasterizeClipProjectModel2023/1/8113ProcessingTwoDataSets(TimeProcessingTwoDataSets(Step3)RasterizeClipProjectModel2023/1/8114ProcessingTwoDataSets(StepProcessingTwoDataSets(Step4)RasterizeClipProjectModel2023/1/8115ProcessingTwoDataSets(StepProcessingTwoDataSets(Step5)RasterizeClipProjectModelThepipelineprocesses2datasetsin5s