高性能計(jì)算發(fā)展現(xiàn)狀分析

1、 高性能計(jì)算發(fā)展現(xiàn)狀分析目 錄 TOC o 1-3 h z u HYPERLINK l _Toc530404618 1.1 高性能計(jì)算的發(fā)展現(xiàn)狀 PAGEREF _Toc530404618 h 3 HYPERLINK l _Toc530404619 1.1.1 高性能計(jì)算概述 PAGEREF _Toc530404619 h 3 HYPERLINK l _Toc530404620 1.1.2 高性能計(jì)算的應(yīng)用需求 PAGEREF _Toc530404620 h 3 HYPERLINK l _Toc530404621 1.1.3 國(guó)外高性能計(jì)算發(fā)展現(xiàn)狀 PAGEREF _Toc530404621

2、h 4 HYPERLINK l _Toc530404622 1.1.4 國(guó)內(nèi)高性能計(jì)算發(fā)展現(xiàn)狀 PAGEREF _Toc530404622 h 5 HYPERLINK l _Toc530404623 1.1.5 高性能計(jì)算機(jī)關(guān)鍵技術(shù)發(fā)展現(xiàn)狀 PAGEREF _Toc530404623 h 7高性能計(jì)算的發(fā)展現(xiàn)狀高性能計(jì)算概述高性能計(jì)算（High Performance Computing，簡(jiǎn)稱HPC）是計(jì)算機(jī)科學(xué)的一個(gè)分支，研究并行算法和開發(fā)相關(guān)軟件，致力于開發(fā)高性能計(jì)算機(jī)（High Performance Computer），滿足科學(xué)計(jì)算、工程計(jì)算、海量數(shù)據(jù)處理等需要。自從1946年設(shè)計(jì)用于

3、導(dǎo)彈彈道計(jì)算的世界上第一臺(tái)現(xiàn)代計(jì)算機(jī)誕生開始，計(jì)算技術(shù)應(yīng)用領(lǐng)域不斷擴(kuò)大，各應(yīng)用領(lǐng)域?qū)τ?jì)算機(jī)的處理能力需求越來越高，這也促使了高性能計(jì)算機(jī)和高性能計(jì)算技術(shù)不斷向前發(fā)展。隨著信息化社會(huì)的飛速發(fā)展，人類對(duì)信息處理能力的要求越來越高，不僅石油勘探、氣象預(yù)報(bào)、航天國(guó)防、科學(xué)研究等需求高性能計(jì)算機(jī)，而金融、政府信息化、教育、企業(yè)、網(wǎng)絡(luò)游戲等更廣泛的領(lǐng)域?qū)Ω咝阅苡?jì)算的需求也迅猛增長(zhǎng)。高性能計(jì)算的應(yīng)用需求應(yīng)用需求是高性能計(jì)算技術(shù)發(fā)展的根本動(dòng)力。傳統(tǒng)的高性能計(jì)算應(yīng)用領(lǐng)域包括：量子化學(xué)、分子模擬、氣象預(yù)報(bào)、天氣研究、油氣勘探、流體力學(xué)、結(jié)構(gòu)力學(xué)、核反應(yīng)等。隨著經(jīng)濟(jì)發(fā)展和社會(huì)進(jìn)步，科學(xué)研究、經(jīng)濟(jì)建設(shè)、國(guó)防安全等領(lǐng)域

4、對(duì)高性能計(jì)算設(shè)施及環(huán)境提出了越來越高的需求，不僅高性能計(jì)算的應(yīng)用需求急劇增大，而且應(yīng)用范圍從傳統(tǒng)領(lǐng)域不斷擴(kuò)大到資源環(huán)境、航空航天、新材料、新能源、醫(yī)療衛(wèi)生、金融、互聯(lián)網(wǎng)、文化產(chǎn)業(yè)等經(jīng)濟(jì)和社會(huì)發(fā)展的眾多領(lǐng)域。當(dāng)前，世界和中國(guó)面臨諸多重大挑戰(zhàn)性問題。比如，全球氣候出現(xiàn)快速增溫的事實(shí)使“應(yīng)對(duì)氣候變化”成為各國(guó)政治、經(jīng)濟(jì)和社會(huì)發(fā)展的重大課題，為了進(jìn)一步消減“溫室效應(yīng)”和減少碳排放，實(shí)現(xiàn)可持續(xù)發(fā)展的低碳經(jīng)濟(jì)，新材料的發(fā)現(xiàn)、設(shè)計(jì)與應(yīng)用迫在眉睫；隨著化石能源的日益枯竭和環(huán)境的日趨惡化，新能源的開發(fā)勢(shì)在必行；隨著科技的發(fā)展，人類邁向太空的腳步逐漸加快，空間資源的爭(zhēng)奪和戰(zhàn)略性部署竟然愈發(fā)激烈，航空航天領(lǐng)域作為此

5、項(xiàng)重大科研技術(shù)活動(dòng)的基礎(chǔ)支撐，投入將持續(xù)擴(kuò)大；為了攻克重大疾病、進(jìn)一步提高人口健康質(zhì)量，生命科學(xué)與新藥制造已成為技術(shù)發(fā)展和經(jīng)濟(jì)投入的重要增長(zhǎng)點(diǎn)；隨著互聯(lián)網(wǎng)技術(shù)不斷發(fā)展，借助海量數(shù)據(jù)與高性能計(jì)算的力量使得人工智能研究不斷取得新的突破，各大互聯(lián)網(wǎng)企業(yè)對(duì)高性能計(jì)算的投入將持續(xù)增加；在國(guó)際競(jìng)爭(zhēng)的大環(huán)境下，基礎(chǔ)科研實(shí)力是高新技術(shù)發(fā)展的重要源泉，是未來科學(xué)和技術(shù)發(fā)展的內(nèi)在動(dòng)力，也是實(shí)現(xiàn)國(guó)家經(jīng)濟(jì)、社會(huì)和環(huán)境可持續(xù)性發(fā)展的重要途徑，基礎(chǔ)科學(xué)研究的投入也將持續(xù)增長(zhǎng)。解決上述關(guān)系國(guó)家戰(zhàn)略和國(guó)計(jì)民生的重大挑戰(zhàn)性問題都離不開高性能計(jì)算的強(qiáng)力支撐，可以預(yù)見在戰(zhàn)略層面，各國(guó)對(duì)高性能計(jì)算的投入會(huì)持續(xù)增長(zhǎng)，而中國(guó)將更加發(fā)力；

6、在技術(shù)層面上，高性能計(jì)算的應(yīng)用范圍將越來越廣，反過來應(yīng)用需求也將催生高性能計(jì)算新技術(shù)的誕生與發(fā)展。圖：全球HPC TOP500統(tǒng)計(jì)數(shù)據(jù)顯示高性能計(jì)算能力成倍增長(zhǎng)國(guó)外高性能計(jì)算發(fā)展現(xiàn)狀高性能計(jì)算作為國(guó)家實(shí)力的重要體現(xiàn)，是一個(gè)國(guó)家最尖端的信息技術(shù)綜合體。發(fā)達(dá)國(guó)家政府（美日歐）普遍將高性能計(jì)算作為國(guó)家戰(zhàn)略，給予高度重視并進(jìn)行持續(xù)投入。美國(guó)是世界上最重視高性能計(jì)算、投入最多、受益最大的國(guó)家。近數(shù)十年來，美國(guó)政府持續(xù)實(shí)施了SCP（戰(zhàn)略計(jì)算機(jī)計(jì)劃）、HPCC（高性能計(jì)算和通信）、ASCI（加速戰(zhàn)略計(jì)算）、ASC（先進(jìn)模擬和計(jì)算）、HPCS（高生產(chǎn)率計(jì)算機(jī)）等多個(gè)國(guó)家計(jì)劃，從而確保了美國(guó)在高性能計(jì)算領(lǐng)域長(zhǎng)期

7、處于領(lǐng)先地位。2015年7月，美國(guó)政府提出了建立“國(guó)家戰(zhàn)略計(jì)算項(xiàng)目”(NSCI)，目的是創(chuàng)建美國(guó)高性能計(jì)算的研發(fā)地位，研制世界上第一臺(tái)百億億次計(jì)算系統(tǒng)，此舉的目標(biāo)就是奪回2013年以來被中國(guó)奪走的計(jì)算速度頭名的寶座。2015年6月統(tǒng)計(jì)的全球性能最高的500臺(tái)高性能計(jì)算機(jī)有233臺(tái)安裝在美國(guó)，其中性能最高的10臺(tái)計(jì)算機(jī)中有5臺(tái)部署于美國(guó)。美國(guó)在高性能計(jì)算領(lǐng)域的領(lǐng)先優(yōu)勢(shì)十分明顯，為美國(guó)在科技創(chuàng)新和經(jīng)濟(jì)發(fā)展方面處于世界領(lǐng)先地位做出了重大貢獻(xiàn)。當(dāng)前，美國(guó)政府仍在繼續(xù)加強(qiáng)其在高性能計(jì)算領(lǐng)域的研發(fā)投入。正在實(shí)施的UHPC（普適高性能計(jì)算）計(jì)劃，目標(biāo)是研究革命性的設(shè)計(jì)方法來滿足不斷增長(zhǎng)的國(guó)防應(yīng)用對(duì)高性能計(jì)算

8、的需求，包括開發(fā)超高并發(fā)性的高性能計(jì)算機(jī)、有效提升系統(tǒng)能效比、簡(jiǎn)化并行應(yīng)用設(shè)計(jì)方法和提升應(yīng)用的容錯(cuò)能力等，為實(shí)現(xiàn)百億億次（ExaFlops）計(jì)算奠定基礎(chǔ)。日本一直以來位列高性能計(jì)算大國(guó)，與美國(guó)類似，日本政府非常重視高性能計(jì)算技術(shù)，不斷加強(qiáng)其在高性能計(jì)算領(lǐng)域的研發(fā)投入。早在1990年，日本NEC公司研制的SX-3/44R系統(tǒng)就成為當(dāng)時(shí)全球速度最快的高性能計(jì)算機(jī)。之后的1993年，F(xiàn)ujitsu公司開發(fā)的“數(shù)值風(fēng)洞”系統(tǒng)，以及2004年NEC的“地球模擬器”再次位列全球第一。在2015年6月統(tǒng)計(jì)的全球TOP 500高性能計(jì)算機(jī)中，日本占據(jù)40席，其中Fujitsu公司研制的“K計(jì)算機(jī)”位列世界第四

9、，“K計(jì)算機(jī)”將落戶日本理化學(xué)研究所（RIKEN），服務(wù)于物理、化學(xué)、生物、醫(yī)學(xué)、材料、能源等領(lǐng)域科學(xué)研究。此外，日本正在進(jìn)行Exascale Supercomputer Project（E級(jí)高性能計(jì)算）項(xiàng)目，該項(xiàng)目目標(biāo)是建設(shè)E級(jí)的高性能計(jì)算與軟件系統(tǒng)的來替換現(xiàn)有的“K計(jì)算機(jī)”，該系統(tǒng)將服務(wù)于未來日本科學(xué)技術(shù)研究如藥物設(shè)計(jì)、地震影響研究等。歐洲也一直是高性能計(jì)算的活躍區(qū)域。2002年，7個(gè)歐洲國(guó)家的11個(gè)高性能計(jì)算中心就聯(lián)合發(fā)起DEISA項(xiàng)目，旨在建立泛歐洲的高性能計(jì)算基礎(chǔ)設(shè)施。在2015年6月統(tǒng)計(jì)的全球TOP 500高性能計(jì)算機(jī)中，歐洲占據(jù)了28%的席位。面向百億億次（ExaFlops）計(jì)算

10、需求，歐洲提出了EESI和MareIncognito超算計(jì)劃，主要從并行編程模型和和應(yīng)用算法方面突破百億億次級(jí)計(jì)算的關(guān)鍵技術(shù)，包括編程模型、負(fù)載均衡技術(shù)、微處理器/結(jié)點(diǎn)技術(shù)、性能分析工具、互連技術(shù)和高性能應(yīng)用等。國(guó)內(nèi)高性能計(jì)算發(fā)展現(xiàn)狀“九五”以來，在國(guó)家及相關(guān)政府的持續(xù)支持和IT企業(yè)的積極參與下，我國(guó)高性能計(jì)算機(jī)有了長(zhǎng)足的發(fā)展，研制隊(duì)伍不斷發(fā)展和壯大，主要的研制單位有：國(guó)家并行計(jì)算機(jī)工程技術(shù)研究中心、中科院計(jì)算技術(shù)研究所國(guó)家智能中心、國(guó)防科技大學(xué)計(jì)算機(jī)學(xué)院、曙光公司等，是數(shù)十年積聚起來的我國(guó)高性能計(jì)算機(jī)技術(shù)研發(fā)的中堅(jiān)力量?！笆晃濉逼陂g，在國(guó)家863計(jì)劃“高效能計(jì)算機(jī)及網(wǎng)格服務(wù)環(huán)境”重大項(xiàng)目的

11、支持下，我國(guó)先后研制成功若干臺(tái)百萬億次和千萬億次超級(jí)計(jì)算機(jī)系統(tǒng)。2008年，聯(lián)想公司和曙光公司分別研制成功“深騰7000”和“曙光5000”百萬億次計(jì)算機(jī)；2009年，國(guó)防科技大學(xué)研制成功“天河一號(hào)”千萬億次計(jì)算機(jī)，使我國(guó)成為繼美國(guó)之后世界上第二個(gè)研制成功千萬億次計(jì)算機(jī)的國(guó)家；2010年6月，曙光公司研制成功“星云”千萬億次計(jì)算機(jī)，性能列世界TOP500第二位。2010年11月，升級(jí)后的“天河-1A”系統(tǒng)創(chuàng)造了超級(jí)計(jì)算機(jī)全球排名第一的最好成績(jī)?；谧灾鰿PU芯片研制超級(jí)計(jì)算機(jī)也取得了重大突破，神威藍(lán)光于2010年底成為第一個(gè)全部采用國(guó)產(chǎn)CPU實(shí)現(xiàn)的千萬億次超級(jí)計(jì)算機(jī)。進(jìn)入“十二五”以來，我國(guó)的

12、超級(jí)計(jì)算機(jī)研制繼續(xù)發(fā)展，天河2號(hào)連續(xù)四次位居TOP500第一名。預(yù)計(jì)到“十二五”末，我國(guó)還將推出2套峰值性能超過10億億次（100PFLOPS）的超級(jí)計(jì)算機(jī)系統(tǒng)，有望繼續(xù)在TOP500排行榜中名列前茅。在2013年國(guó)務(wù)院發(fā)布的國(guó)家重大科技基礎(chǔ)設(shè)施建設(shè)中長(zhǎng)期規(guī)劃(2012-2030年)中，多個(gè)基礎(chǔ)設(shè)施的建設(shè)都離不開高性能計(jì)算系統(tǒng)如海底科學(xué)觀測(cè)網(wǎng)、轉(zhuǎn)化醫(yī)學(xué)研究設(shè)施。其中，地球系統(tǒng)數(shù)值模擬器通過超級(jí)計(jì)算及存儲(chǔ)專用系統(tǒng)的建設(shè)，并結(jié)合超級(jí)模擬支撐與管理軟件系統(tǒng)、地球各層圈過程模擬軟件系統(tǒng)等來實(shí)現(xiàn)模擬地球系統(tǒng)圈層變化和長(zhǎng)期氣候變化，精細(xì)描述和預(yù)測(cè)地球物理化學(xué)及生物過程，提高我國(guó)地球系統(tǒng)模擬的整體能力和重大

13、自然災(zāi)害預(yù)測(cè)預(yù)警、氣候變化預(yù)估的研究水平。圖：TOP500系統(tǒng)國(guó)家分布?xì)v史統(tǒng)計(jì)我國(guó)在高性能計(jì)算機(jī)系統(tǒng)相關(guān)的基礎(chǔ)性支撐技術(shù)方面也有了很大進(jìn)步。在處理器方面，國(guó)內(nèi)自主研制的“龍芯”、“神威”、“飛騰”等系列的多核處理器方面已有所突破，相關(guān)的生態(tài)環(huán)境正在逐步完善；在異構(gòu)協(xié)同與并行優(yōu)化方面，國(guó)內(nèi)在CPU/GPU混合結(jié)構(gòu)的應(yīng)用研究，比如生命科學(xué)領(lǐng)域的基因比對(duì)、分子動(dòng)力學(xué)、電鏡數(shù)據(jù)處理石油勘探領(lǐng)域的電子斷層三維重構(gòu)、疊前時(shí)間偏移、深度學(xué)習(xí)等方面均取得突破。在系統(tǒng)軟件及環(huán)境方面，國(guó)內(nèi)在大規(guī)模異構(gòu)系統(tǒng)的管理和監(jiān)控、大規(guī)模系統(tǒng)的快速部署以及高效系統(tǒng)虛擬化等關(guān)鍵技術(shù)上也取得了很大進(jìn)展。“十一五”期間，在國(guó)家863

14、計(jì)劃“高效能計(jì)算機(jī)及網(wǎng)格服務(wù)環(huán)境”重大項(xiàng)目的支持下，成功開發(fā)具有自主知識(shí)產(chǎn)權(quán)的中國(guó)國(guó)家網(wǎng)格軟件GOS（Grid Operating System），突破了廣域資源共享和協(xié)同工作的關(guān)鍵技術(shù)，其功能和性能已達(dá)到并超越國(guó)際同類軟件水平。此外，863計(jì)劃還先后重點(diǎn)支持了化學(xué)、天文、氣象、生物醫(yī)藥、流體、激光聚變、大飛機(jī)、石油勘探地震成像等領(lǐng)域的高性能計(jì)算應(yīng)用，形成了若干可利用上千以上的處理器核進(jìn)行計(jì)算模擬的應(yīng)用實(shí)例。高性能計(jì)算機(jī)關(guān)鍵技術(shù)發(fā)展現(xiàn)狀體系架構(gòu)作為高性能計(jì)算基礎(chǔ)設(shè)施的核心，現(xiàn)代高性能計(jì)算機(jī)的發(fā)展從20世紀(jì)70年代的向量計(jì)算機(jī)開始，也已經(jīng)有了幾十年的發(fā)展歷程。先后出現(xiàn)了向量機(jī)、多處理器并行向量機(jī)

15、、MPP大規(guī)模并行處理機(jī)、SMP對(duì)稱多處理機(jī)、DSM分布式共享存儲(chǔ)計(jì)算機(jī)、Constellation星群系統(tǒng)、Cluster集群系統(tǒng)、混和系統(tǒng)等多種主體的體系架構(gòu)，并分別在不同的時(shí)期占據(jù)著應(yīng)用的主流。其中，計(jì)算機(jī)集群（簡(jiǎn)稱集群、Cluster）是一種計(jì)算機(jī)系統(tǒng)，它通過一組松散集成的計(jì)算機(jī)軟件和/或硬件連接起來高度緊密地協(xié)作完成計(jì)算工作。在某種意義上，他們可以被看作是一臺(tái)計(jì)算機(jī)。集群系統(tǒng)中的單個(gè)計(jì)算機(jī)通常稱為節(jié)點(diǎn)，通過內(nèi)部網(wǎng)絡(luò)連接。高性能計(jì)算集群采用將計(jì)算任務(wù)分配到集群的不同計(jì)算節(jié)點(diǎn)而提高計(jì)算能力。比較流行的高性能計(jì)算集群采用Linux操作系統(tǒng)和其它一些標(biāo)準(zhǔn)軟件來完成并行運(yùn)算，這一集群配置通常被

16、稱為Beowulf集群。這類集群通常運(yùn)行特定的程序以發(fā)揮高性能計(jì)算集群的并行能力，這類程序一般使用特定的運(yùn)行庫，比如MPI等。相比于MPP等一些專有高性能計(jì)算系統(tǒng)，集群系統(tǒng)具有明顯的優(yōu)勢(shì)，包括：集群的標(biāo)準(zhǔn)化程度高高性能計(jì)算集群一般都是采用工業(yè)標(biāo)準(zhǔn)的硬件和軟件系統(tǒng)，比如采用標(biāo)準(zhǔn)的x86架構(gòu)處理器；工業(yè)標(biāo)準(zhǔn)的互聯(lián)網(wǎng)絡(luò)，比如InfiniBand、萬兆網(wǎng)絡(luò)等；通用的Linux操作系統(tǒng)；通用的并行編程標(biāo)準(zhǔn)和模型；通用的作業(yè)分發(fā)調(diào)度系統(tǒng)等。靈活性、可擴(kuò)展性好集群是一個(gè)松散的架構(gòu)，由計(jì)算節(jié)點(diǎn)通過互聯(lián)網(wǎng)絡(luò)連接而成，一個(gè)集群可以方便地進(jìn)行擴(kuò)展；同樣的，一個(gè)集群也可以靈活的進(jìn)行物理或邏輯上的拆分。MPP等一些專有

17、定制系統(tǒng)就很難做到這樣的靈活可擴(kuò)展性。性能高集群?jiǎn)蝹€(gè)計(jì)算節(jié)點(diǎn)性能在不斷提升、集群互聯(lián)網(wǎng)絡(luò)技術(shù)發(fā)展迅猛、集群可擴(kuò)展性也越來越好、集群的并行編程技術(shù)不斷進(jìn)步，集群已經(jīng)成為高性能計(jì)算的代名詞。性價(jià)比高由于集群采用的是標(biāo)準(zhǔn)化的軟硬件系統(tǒng)，采用的是大規(guī)模工業(yè)生產(chǎn)的設(shè)備部件，可以極大程度降低高性能計(jì)算系統(tǒng)的建設(shè)成本，相應(yīng)的，集群的運(yùn)維和維護(hù)成本也要小很多。投資風(fēng)險(xiǎn)小集群技術(shù)經(jīng)過多年的發(fā)展，其硬件和軟件技術(shù)已經(jīng)發(fā)展得非常成熟，建設(shè)和維護(hù)需要的設(shè)備器件有充足的市場(chǎng)保障；絕大部分高性能計(jì)算應(yīng)用在集群架構(gòu)上開發(fā)和調(diào)試，應(yīng)用支持程度高，可以確保高性能計(jì)算平臺(tái)的建設(shè)成功。正是因?yàn)榫哂械倪@些優(yōu)勢(shì)，集群在高性能計(jì)算領(lǐng)域發(fā)

18、展迅猛，目前已經(jīng)成為高性能計(jì)算的主流架構(gòu)。從2012年起，TOP500榜單中關(guān)于體系架構(gòu)就只剩下Cluster和MPP兩位角色，其中Cluster一直占據(jù)超過80的裝機(jī)份額，在中小規(guī)模高性能計(jì)算系統(tǒng)中更是占統(tǒng)治地位。圖：TOP500中體系架構(gòu)份額歷史統(tǒng)計(jì)處理器處理器是高性能計(jì)算機(jī)的核心，很大程度上決定了高性能計(jì)算機(jī)的計(jì)算性能。隨著x86處理器在PC消費(fèi)級(jí)市場(chǎng)的繁榮，其觸角逐漸延伸到高性能計(jì)算領(lǐng)域。另一方面，隨著開放式集群架構(gòu)在高性能計(jì)算領(lǐng)域的統(tǒng)治地位確立，市場(chǎng)占有率大、性價(jià)比高的x86處理器也成為自然合理的選擇。自2000年開始，Intel和AMD的x86處理器在高性能計(jì)算市場(chǎng)占有率迅速擴(kuò)大，

19、逐漸蠶食掉了Alpha、MIPS、Power、SPARC、PA-RISC等RISC處理器的市場(chǎng)。2015年6月發(fā)布的TOP500榜單中，共有427臺(tái)系統(tǒng)（占比85.4）采用Intel處理器，其中僅Intel Xeon處理器E5家族就貢獻(xiàn)了80，令其他廠商望塵莫及。IBM Power處理器的份額穩(wěn)定在35臺(tái)，占比7；AMD Opteron家族的占有量是20臺(tái)（占比4）。從處理器多核角度來看，目前有96的系統(tǒng)采用6核及以上核心，85的系統(tǒng)采用8核及以上核心，39的系統(tǒng)采用10核及以上核心。從趨勢(shì)來看，雖然8核仍是HPC系統(tǒng)的主流配置但應(yīng)用逐步收窄，而10核和12核處理器的市場(chǎng)份額將會(huì)進(jìn)一步擴(kuò)大。圖

20、：TOP500中處理器份額歷史統(tǒng)計(jì)此外，隨著GPU、Intel MIC、FPGA等加速器/協(xié)處理器的出現(xiàn)，CPU不再是高性能計(jì)算領(lǐng)域計(jì)算單元的唯一選擇。相比于CPU，這些協(xié)處理器的浮點(diǎn)運(yùn)算能力更強(qiáng)、任務(wù)處理模式更簡(jiǎn)單，非常適合部分高性能計(jì)算應(yīng)用。使用協(xié)處理器可以大大提升高性能計(jì)算機(jī)的計(jì)算性能，分擔(dān)CPU的處理負(fù)載。全球HPC TOP500中協(xié)處理器的使用越來越多，其中包括2015年6月連續(xù)四次蟬聯(lián)TOP500第一的天河二號(hào)，2012年11月TOP500全球第一的Titan，2010年11月全球第一的天河-1A，以及2010年6月全球第二的曙光星云系統(tǒng)。在協(xié)處理器的市場(chǎng)份額中，Nvidia GP

21、U占據(jù)主導(dǎo)，AMD ATI GPU也有一定市場(chǎng)， Intel MIC（Xeon Phi）增長(zhǎng)迅速，以PEZY-SC為代表的其它類型協(xié)處理器在高性能計(jì)算中嶄露頭角。另外，以FPGA為代表的可定制化的SOC具有浮點(diǎn)計(jì)算能力強(qiáng)、整體功耗低的特點(diǎn)，未來會(huì)快速增長(zhǎng)。圖：TOP500中使用協(xié)處理器的系統(tǒng)越來越多并行編程模型現(xiàn)代高性能計(jì)算機(jī)都是并行計(jì)算機(jī)，通過并行計(jì)算，降低單個(gè)任務(wù)的計(jì)算時(shí)間、提高任務(wù)的求解精度、或者擴(kuò)大問題的處理規(guī)模，這些都是高性能計(jì)算機(jī)的根本目標(biāo)，也是高性能計(jì)算技術(shù)發(fā)展的驅(qū)動(dòng)力。高性能計(jì)算機(jī)上的并行編程模型與計(jì)算機(jī)體系架構(gòu)緊密相關(guān)。當(dāng)前主流的并行編程模型與主流的高性能計(jì)算集群架構(gòu)相匹配。

22、從進(jìn)程或線程的交互方式角度劃分，并行編程模型主要有共享內(nèi)存編程模型（Share Memory）和消息傳遞編程模型（Message Passing）。共享內(nèi)存編程模型一般應(yīng)用在共享內(nèi)存體系結(jié)構(gòu)上，比如SMP、DSM、NUMA。它具有單地址空間，線程級(jí)并行，主要實(shí)現(xiàn)有OpenMP和Pthreads。共享內(nèi)存編程模型具有并行效率高、編程容易（特別是采用編譯制導(dǎo)的OpenMP模型）等優(yōu)點(diǎn)，但它的可移植性和可擴(kuò)展性不好。當(dāng)前高性能計(jì)算集群架構(gòu)的計(jì)算節(jié)點(diǎn)通常都是采用多路多核架構(gòu)，計(jì)算節(jié)點(diǎn)本身為SMP或NUMA結(jié)構(gòu)。因此，共享內(nèi)存編程模型可以在單個(gè)集群計(jì)算節(jié)點(diǎn)內(nèi)實(shí)現(xiàn)并行計(jì)算。消息傳遞編程模型是分布式內(nèi)存編程

23、模型的一種，主要應(yīng)用在分布式內(nèi)存體系結(jié)構(gòu)下，以早期的PVM（Parallel Virtual Machine）和目前主流的MPI（Message Passing Interface）為代表。傳遞編程模型的特點(diǎn)是多地址空間、進(jìn)程級(jí)并行、編程相對(duì)困難、可移植性好、可擴(kuò)展性好?？梢詮V泛應(yīng)用在高性能集群體系架構(gòu)上，可以實(shí)現(xiàn)集群跨節(jié)點(diǎn)并行計(jì)算。當(dāng)前高性能集群的多層次結(jié)構(gòu)，使得集群系統(tǒng)同時(shí)具備了共享內(nèi)存和分布式共享內(nèi)存兩種體系結(jié)構(gòu)的特點(diǎn)。根據(jù)現(xiàn)代集群多級(jí)并行結(jié)構(gòu)的特點(diǎn)，很自然地考慮到可以將共享內(nèi)存編程模型與分布式內(nèi)存編程模型相結(jié)合。因此，MPI+OpenMP的混合編程模型得到了廣泛的應(yīng)用?；旌暇幊棠Ｐ吞峁┝斯?jié)點(diǎn)間和節(jié)點(diǎn)內(nèi)的兩級(jí)并行機(jī)制，它的優(yōu)勢(shì)在于結(jié)合了進(jìn)程級(jí)的粗粒度并行（例如區(qū)域分解）和線程級(jí)的細(xì)粒度并行（如循環(huán)并行）的優(yōu)點(diǎn)。實(shí)踐證明，在很多情況下，其執(zhí)行效率和可擴(kuò)展性高于純MPI和OpenMP程序。互聯(lián)網(wǎng)絡(luò)高性能計(jì)算集群是一個(gè)通過內(nèi)部互聯(lián)網(wǎng)絡(luò)將松散的計(jì)算節(jié)點(diǎn)有效整合起來的系統(tǒng)架構(gòu)，內(nèi)部互聯(lián)網(wǎng)絡(luò)是高性能計(jì)算集群的核心技術(shù)之一。集群系統(tǒng)內(nèi)部互聯(lián)網(wǎng)絡(luò)主要用于以MPI為代表的并行計(jì)算程序節(jié)點(diǎn)間的數(shù)據(jù)網(wǎng)絡(luò)通信，即作為計(jì)算網(wǎng)絡(luò)使用。不同計(jì)算方法和計(jì)算程序的數(shù)據(jù)通信特征不盡相同，從類型看，有的數(shù)據(jù)交換以小數(shù)據(jù)包為主，有的大數(shù)據(jù)包交換較多。小數(shù)據(jù)包交換較多時(shí)，計(jì)算性能和效率對(duì)計(jì)算網(wǎng)絡(luò)的延