混合架構(gòu)超算并行程序設(shè)計(jì)與應(yīng)用-習(xí)題及答案ch02

第二章異構(gòu)混合架構(gòu)概述1.查詢最新的TOP500榜單，統(tǒng)計(jì)超算使用的芯片類型、廠商和數(shù)量。在本次超算500強(qiáng)榜單當(dāng)中，采用AMD芯片的超算系統(tǒng)總量增加到了101套，正式突破了一百大關(guān)，同比增加達(dá)到38%。在本次榜單當(dāng)中，第一次進(jìn)入榜單的超算系統(tǒng)當(dāng)中，有84%的超算系統(tǒng)采用了AMD芯片。除了在整體數(shù)量和新進(jìn)數(shù)量方面表現(xiàn)亮眼之外，在頂尖排名當(dāng)中，AMD的表現(xiàn)也十分不俗，在前十當(dāng)中，AMD芯片占據(jù)了四位，在前二十當(dāng)中，AMD芯片占據(jù)了12位。本次排名第一的全球頂尖超算依然是美國的Frontier，而這一臺超算是搭載了全套的AMD方案。處理器采用了第三代的EPYC，加速卡則是AMD的InstinctMI250X。再加上AMD剛發(fā)布不久的第四代EPYC剛開始上市就被中東部署的ShaheenIII所采用。2.目前TOP500榜單，最有名的是按照浮點(diǎn)計(jì)算性能排行。思考是否還有其他排序標(biāo)準(zhǔn)，以及它們側(cè)重點(diǎn)的區(qū)別。除性能排行榜TOP500榜單為，大會還公布了側(cè)重能效的Green500（全球最高能效超級計(jì)算機(jī)）榜單，排在首位的則是Henri超算。它是基于聯(lián)想ThinkSystemSR670V2。CPU為Intel的Icelake架構(gòu)至強(qiáng)Platinum8362，GPU則是NVIDIA的H10080GBPCIe顯卡。3.查閱相關(guān)資料，比較GPU、DCU等加速設(shè)備之間的不同點(diǎn)及優(yōu)缺點(diǎn)。CPU對于現(xiàn)代計(jì)算任務(wù)有幾個(gè)明顯的優(yōu)勢：靈活性——CPU是一種通用處理器，可以處理許多任務(wù)，以及多個(gè)活動之間的多任務(wù)。在許多情況下更快——在處理RAM中的數(shù)據(jù)處理、I/O操作和操作系統(tǒng)管理等操作時(shí)，CPU比GPU更快。精度——CPU可以支持比GPU精度更高的中等數(shù)學(xué)運(yùn)算，這對于許多用例來說都很重要。高速緩存——CPU有一個(gè)很大的本地高速緩存，這讓它們可以處理大量的線性指令。硬件兼容性——CPU兼容所有類型的主板和系統(tǒng)設(shè)計(jì)，而GPU需要專門的硬件支持。與GPU相比，CPU有以下缺點(diǎn)：并行處理——CPU不太擅長處理需要數(shù)百萬個(gè)相同操作的任務(wù)，因?yàn)樗鼈兊牟⑿行杂邢?。發(fā)展較慢——CPU是一項(xiàng)非常成熟的技術(shù)，已經(jīng)達(dá)到其發(fā)展的極|限，而GPU有更大的改進(jìn)潛力。兼容性——幾種類型的CPU，包括x86和ARM處理器，以及軟件可能不兼容所有類型。GPU的獨(dú)特優(yōu)勢包括：高數(shù)據(jù)吞吐量——GPU可以對許多數(shù)據(jù)點(diǎn)并行執(zhí)行相同的操作，因此它可以以CPU無法比擬的速度處理大量數(shù)據(jù)。大規(guī)模并行—個(gè)GPU有數(shù)百個(gè)核心，使其能夠執(zhí)行大規(guī)模并行計(jì)算。適用于專門的用例——GPU可以為深度學(xué)習(xí)、大數(shù)據(jù)分析、基因組測序等專門任務(wù)提供巨大的加速。與CPU相比，GPU的缺點(diǎn)包括：多任務(wù)——GPU可以大規(guī)模執(zhí)行一項(xiàng)任務(wù)，但不能執(zhí)行通用計(jì)算任務(wù)。成本——單個(gè)GPU目前比CPU貴得多。專門的大型GPU系統(tǒng)成本可達(dá)數(shù)十萬美元。處理復(fù)雜性——GPU可能難以處理結(jié)構(gòu)不完善的任務(wù)。它們無法有效地處理分支邏輯、順序操作或其他復(fù)雜的編程模式。4.查閱相關(guān)資料，選擇3個(gè)先進(jìn)超算，比較它們針對數(shù)值模擬機(jī)器學(xué)習(xí)等專業(yè)領(lǐng)域，在芯片設(shè)計(jì)、指令集等方面做出的優(yōu)化。日本的富岳超級計(jì)算機(jī)在排名中較為靠前，但是，該計(jì)算機(jī)出現(xiàn)了排名不確定的問題。富岳超級計(jì)算機(jī)是由日本國家信息通信技術(shù)研究所開發(fā)的，用于芯片設(shè)計(jì)、天氣預(yù)報(bào)等領(lǐng)域。但是，在2019年的超級計(jì)算機(jī)排名中，該計(jì)算機(jī)的排名不確定，因?yàn)樵撚?jì)算機(jī)的數(shù)據(jù)存在錯(cuò)誤。此外，光環(huán)計(jì)算機(jī)研究中心研發(fā)的日本京超計(jì)算機(jī)也曾遭遇排名不確定的問題。中國的超級計(jì)算機(jī)曾經(jīng)得過多次冠軍。但是，在2023年的排名中，中國的超級計(jì)算機(jī)排名居于第七的位置。需要指出的是，中國的超級計(jì)算機(jī)的性能已經(jīng)更新了至少超過2代以上，性能的速度之快被譽(yù)為世界最快，但是排名的確存在一定的不確定性。5.訪問超算中心主頁，查詢手冊，了解超算資源的申請方式，以及計(jì)算節(jié)點(diǎn)的登錄和使用方式。一、申請賬號首先，需要在超級計(jì)算機(jī)的官方網(wǎng)站上申請賬號。申請時(shí)需要提供個(gè)人信息和研究領(lǐng)域等相關(guān)信息。申請通過后，會收到一封郵件，其中包含賬號和密碼等信息。二、登錄系統(tǒng)使用超級計(jì)算機(jī)需要通過SSH協(xié)議登錄系統(tǒng)。在Windows系統(tǒng)中，可以使用PuTTY等SSH客戶端軟件進(jìn)行登錄。在Linux和Mac系統(tǒng)中，可以使用終端進(jìn)行登錄。登錄時(shí)需要輸入賬號和密碼。6.完成單機(jī)的Linpack性能測試(建議使用HPL)，有條件可采用多機(jī)互連實(shí)現(xiàn)。linpack測試包括三類，linpack100、linpack1000和hpl。在上述三種測試中，linpack100對數(shù)組的求解規(guī)模為100階的稠密線性代數(shù)方程組，它只允許采用編譯優(yōu)化選項(xiàng)進(jìn)行優(yōu)化，不得更改代碼，甚至代碼中的注釋也不得修改。linpack1000的求解規(guī)模為1000階的線性代數(shù)方程組，為了達(dá)到指定的精度要求，可以在不改變計(jì)算量的前提下做算法和代碼上做優(yōu)化。而hpl即highperformancelinpack，也叫高度并行計(jì)算基準(zhǔn)測試，它對階次n沒有限制，即求解規(guī)?？梢愿淖?，除基本算法(計(jì)算量)不可改變外，可以采用其它任何優(yōu)化方法。前兩種測試運(yùn)行規(guī)模較小，已不是很適合現(xiàn)代計(jì)算機(jī)的發(fā)展，因此現(xiàn)在使用較多的測試標(biāo)準(zhǔn)為hpl，而且階次n也是linpack測試必須指明的參數(shù)。目前l(fā)inpack測試中，hpl配置文件中n的取值往往會根據(jù)測試者的經(jīng)驗(yàn)，根據(jù)內(nèi)存容量的80％左右相應(yīng)地取值。但由于各類服務(wù)器的實(shí)際配置和應(yīng)用場景的不同，對應(yīng)的最佳性能往往會存在一定偏差，使得測試結(jié)果不能達(dá)到最優(yōu)。因此，需要提出一種linpack測試的優(yōu)化方法，通過相應(yīng)的算法在測試中選出最優(yōu)的階次n從而得到最優(yōu)的測試結(jié)果。7.用OpenMP、MPI分別實(shí)現(xiàn)計(jì)算值的并行程序，記錄串行程序和并行程序的執(zhí)行時(shí)間及使用的核數(shù)。MPI可以在多個(gè)計(jì)算節(jié)點(diǎn)之間傳遞數(shù)據(jù)，并使這些節(jié)點(diǎn)在同一時(shí)間執(zhí)行不同的計(jì)算任務(wù)，從而實(shí)現(xiàn)并行計(jì)算。在使用MPI進(jìn)行并行計(jì)算開發(fā)時(shí)，需要將計(jì)算任務(wù)劃分為多個(gè)子任務(wù)，并將這些子任務(wù)分配給不同的計(jì)算節(jié)點(diǎn)。每個(gè)節(jié)點(diǎn)都需要執(zhí)行自己的計(jì)算任務(wù)，并將計(jì)算結(jié)果傳遞給其他節(jié)點(diǎn)。這需要使用MPI提供的一些函數(shù)來實(shí)現(xiàn)8.討OpenMP+MPI并行(節(jié)點(diǎn)內(nèi)用OpenMP，節(jié)點(diǎn)間用MPI)和純MPI(節(jié)點(diǎn)內(nèi)和節(jié)點(diǎn)間都用MPI)并行兩種方案的優(yōu)劣。MPI和OpenMP是兩種常用的并行計(jì)算技術(shù)，它們分別用于分布式計(jì)算機(jī)系統(tǒng)和共享內(nèi)存計(jì)算機(jī)系統(tǒng)中。使用這些技術(shù)可以將計(jì)算任務(wù)劃分為多個(gè)子任務(wù)，并將這些子任務(wù)分配給不同的計(jì)算節(jié)點(diǎn)或CPU核心。這些技術(shù)提供了一些函數(shù)或指令來實(shí)現(xiàn)數(shù)據(jù)傳輸和任務(wù)分配。在實(shí)現(xiàn)并行計(jì)算應(yīng)用時(shí)，需