高性能計(jì)算及高性能計(jì)算機(jī)-青能所超級(jí)計(jì)算中心

高性能計(jì)算與高性能計(jì)算機(jī)總結(jié)什么是高性能計(jì)算和高性能計(jì)算機(jī)什么是集群(Cluster)，怎么配置集群什么樣的用戶需要高性能計(jì)算機(jī)高性能用戶都關(guān)心哪些問題高性能計(jì)算機(jī)銷售和一般服務(wù)器銷售的區(qū)別提綱高性能市場(chǎng)概要曙光和高性能計(jì)算機(jī)什么是高性能計(jì)算什么是高性能計(jì)算機(jī)集群系統(tǒng)高性能計(jì)算市場(chǎng)IDC對(duì)08年服務(wù)器市場(chǎng)的預(yù)測(cè)：08年，全球服務(wù)器產(chǎn)業(yè)預(yù)計(jì)以接近9%的速度發(fā)展，HPC產(chǎn)業(yè)預(yù)計(jì)的發(fā)展速度將會(huì)超過12%

在中國，HPC市場(chǎng)的發(fā)展速度將會(huì)超過20%HPC市場(chǎng)既是一個(gè)傳統(tǒng)的市場(chǎng)，又是一個(gè)新興的、高速發(fā)展的市場(chǎng)高：定位高端用戶標(biāo)桿項(xiàng)目，影響力大平民化趨勢(shì)快速發(fā)展高性能計(jì)算市場(chǎng)一些廠商的表現(xiàn)例如：Intel國家的政策自主創(chuàng)新………技術(shù)的發(fā)展CPU多核化的趨勢(shì)多進(jìn)程、多線程并行化的趨勢(shì)其他并行計(jì)算機(jī)上的廣泛應(yīng)用高端下移………高性能計(jì)算的市場(chǎng)正處于發(fā)展階段提綱高性能市場(chǎng)概要曙光和高性能計(jì)算機(jī)什么是高性能計(jì)算什么是高性能計(jì)算機(jī)集群系統(tǒng)計(jì)算所/曙光和高性能計(jì)算1956年成立，我國第一個(gè)計(jì)算技術(shù)研究所，被譽(yù)為“我國計(jì)算機(jī)事業(yè)的搖籃”第一臺(tái)電子管計(jì)算機(jī)（103機(jī)）第一臺(tái)大型晶體管計(jì)算機(jī)（109機(jī)）第一臺(tái)大型集成電路計(jì)算機(jī)（111機(jī)）第一臺(tái)向量計(jì)算機(jī)（757機(jī)）第一臺(tái)大規(guī)模并行計(jì)算機(jī)（曙光1000）被國防部門譽(yù)為“功勛機(jī)”109丙機(jī)，為兩彈一星做出過重要貢獻(xiàn)計(jì)算所/曙光和高性能計(jì)算1993.10

曙光一號(hào)16個(gè)處理器，每秒6.4億次使中國成為少數(shù)能生產(chǎn)制造MPP的國家之一1995.5

曙光100036個(gè)節(jié)點(diǎn)機(jī)，每秒25.6億次1998.12

曙光2000I68個(gè)節(jié)點(diǎn)機(jī)，每秒200億次2000.1

曙光2000II164個(gè)CPU，每秒1117億次中國第一個(gè)SMP集群計(jì)算所/曙光和高性能計(jì)算2001.10

曙光3000每秒4032億次SUMA標(biāo)準(zhǔn)誕生2003.3

曙光4000L644個(gè)CPU，每秒3萬億次2004.6

曙光4000A2560顆CPU，每秒10萬億次名列世界第十，成為除美日以外第一個(gè)進(jìn)入世界“top500”前10名的國家計(jì)算所/曙光和高性能計(jì)算運(yùn)算速度超過百萬億次的曙光5000，將使中國成為美國之后第二個(gè)能生產(chǎn)百萬億次超級(jí)計(jì)算機(jī)的國家

曙光5000共采用3萬顆CPU核，峰值230萬億次，Linpack效率超過70%

曙光5000計(jì)算能力超過曙光4000A十多倍，而體積、功耗與曙光4000A相同，代表了中國高性能計(jì)算機(jī)發(fā)展的最高水平中國登峰造極的最高性能的計(jì)算機(jī)系統(tǒng)計(jì)算所/曙光和高性能計(jì)算2005年2006年2007年提綱高性能市場(chǎng)概要曙光和高性能計(jì)算機(jī)什么是高性能計(jì)算什么是高性能計(jì)算機(jī)集群系統(tǒng)什么是高性能計(jì)算？高性能計(jì)算HPC：HighPerformanceCompute高性能計(jì)算---并行計(jì)算并行計(jì)算(ParallelComputing）高端計(jì)算(High-endParallelComputing)高性能計(jì)算(HighPerformanceComputing)超級(jí)計(jì)算(SuperComputing)什么是高性能計(jì)算？計(jì)算科學(xué)與傳統(tǒng)的兩種科學(xué)，即理論科學(xué)和實(shí)驗(yàn)科學(xué)，并立被認(rèn)為是人類認(rèn)識(shí)自然的三大支柱，他們彼此相輔相成地推動(dòng)科學(xué)發(fā)展與社會(huì)進(jìn)步。在許多情況下，或者是理論模型復(fù)雜甚至理論尚未建立，或者實(shí)驗(yàn)費(fèi)用昂貴甚至無法進(jìn)行時(shí)，計(jì)算就成了求解問題的唯一或主要的手段。為什么要做高性能計(jì)算

——應(yīng)用需求為什么要做高性能計(jì)算人類對(duì)計(jì)算及性能的要求是無止境的從系統(tǒng)的角度：集成系統(tǒng)資源，以滿足不斷增長的對(duì)性能和功能的要求從應(yīng)用的角度：適當(dāng)分解應(yīng)用，以實(shí)現(xiàn)更大規(guī)?；蚋?xì)致的計(jì)算問題:科學(xué)和工程問題的數(shù)值模擬與仿真計(jì)算密集數(shù)據(jù)密集網(wǎng)絡(luò)密集三種混合什么人需要高性能計(jì)算高性能計(jì)算機(jī)都在什么地方使用？都賣到哪兒去？國外狀況國內(nèi)狀況提綱高性能市場(chǎng)概要曙光和高性能計(jì)算機(jī)什么是高性能計(jì)算什么是高性能計(jì)算機(jī)集群系統(tǒng)什么是高性能計(jì)算機(jī)？由多個(gè)計(jì)算單元組成，運(yùn)算速度快、存儲(chǔ)容量大、可靠性高的計(jì)算機(jī)系統(tǒng)。也稱為：巨型計(jì)算機(jī)、超級(jí)計(jì)算機(jī)目前任何高性能計(jì)算和超級(jí)計(jì)算都離不開使用并行技術(shù)，所以高性能計(jì)算機(jī)肯定是并行計(jì)算機(jī)。其發(fā)展歷程可以簡(jiǎn)單的分為兩個(gè)時(shí)代專用時(shí)代

包括向量機(jī)，MPP系統(tǒng)，SGINUMA系統(tǒng)，SUN大型SMP系統(tǒng)，也包括我國的神威，銀河，曙光1000等。

之所以稱為“專用”，并不是說它們只能運(yùn)行某種應(yīng)用，是指它們的組成部件是專門設(shè)計(jì)的，它們的CPU板，內(nèi)存板，I/O板，操作系統(tǒng)，甚至I/O系統(tǒng)，都是不能在其它系統(tǒng)中使用的。由于技術(shù)上桌面系統(tǒng)與高端系統(tǒng)的巨大差異，和用戶群窄小。普及時(shí)代

高性能計(jì)算機(jī)價(jià)格下降，應(yīng)用門檻降低，應(yīng)用開始普及。兩個(gè)技術(shù)趨勢(shì)起到重要作用。

商品化趨勢(shì)使得大量生產(chǎn)的商品部件接近了高性能計(jì)算機(jī)專有部件

標(biāo)準(zhǔn)化趨勢(shì)使得這些部件之間能夠集成一個(gè)系統(tǒng)中，其中X86處理器、以太網(wǎng)、內(nèi)存部件、Linux都起到?jīng)Q定性作用。

機(jī)群系統(tǒng)是高性能計(jì)算機(jī)的一種，它的技術(shù)基礎(chǔ)和工業(yè)基礎(chǔ)都是商品化和標(biāo)準(zhǔn)化。高性能計(jì)算機(jī)系統(tǒng)架構(gòu)并行向量機(jī)SMPDSM（NUMA）MPP，節(jié)點(diǎn)可以是單處理器的節(jié)點(diǎn)，也可以是SMP，DSMClusterConstellation

高性能計(jì)算機(jī)的制造廠商CraySGIIBM曙光銀河神威并行計(jì)算機(jī)系統(tǒng)類型Flynn分類：SISD,SIMD,MIMD,MISD結(jié)構(gòu)模型：PVP,SMP,MPP,DSM,COW訪存模型：UMA,NUMA,COMA,CC-NUMA,NORMA并行計(jì)算機(jī)分類Flynn分類Flynn(1972)提出指令流、數(shù)據(jù)流和多倍性概念，把不同的計(jì)算機(jī)分為四大類：SISD（Single-InstructionSingle-Data）SIMD（Single-InstructionMulti-Data）MISD（Multi-InstructionSingle-Data）MIMD（Multi-InstructionMulti-Data）現(xiàn)代高性能計(jì)算機(jī)都屬于MIMD。MIMD從結(jié)構(gòu)上和訪存方式上，又可以分為：結(jié)構(gòu)模型：PVP,SMP,MPP,DSM,COW訪存模型：UMA,NUMA,COMA,CC-NUMA,NORMA結(jié)構(gòu)模型對(duì)稱多處理機(jī)系統(tǒng)(SMP)SMP對(duì)稱式共享存儲(chǔ):任意處理器可直接訪問任意內(nèi)存地址,且訪問延遲、帶寬、機(jī)率都是等價(jià)的;系統(tǒng)是對(duì)稱的；微處理器:一般少于64個(gè);處理器不能太多,總線和交叉開關(guān)的一旦作成難于擴(kuò)展；例子:IBMR50,SGIPowerChallenge,SUNEnterprise,曙光一號(hào);分布式共享存儲(chǔ)系統(tǒng)(DSM)DSM分布共享存儲(chǔ):內(nèi)存模塊物理上局部于各個(gè)處理器內(nèi)部,但邏輯上(用戶)是共享存儲(chǔ)的;這種結(jié)構(gòu)也稱為基于Cache目錄的非一致內(nèi)存訪問(CC-NUMA)結(jié)構(gòu);局部與遠(yuǎn)程內(nèi)存訪問的延遲和帶寬不一致,3-10倍高性能并行程序設(shè)計(jì)注意;與SMP的主要區(qū)別：DSM在物理上有分布在各個(gè)節(jié)點(diǎn)的局部內(nèi)存從而形成一個(gè)共享的存儲(chǔ)器；微處理器:16-128個(gè),幾百到千億次;代表:SGIOrigin2000,CrayT3D;大規(guī)模并行計(jì)算機(jī)系統(tǒng)(MPP)MPP物理和邏輯上均是分布內(nèi)存能擴(kuò)展至成百上千個(gè)處理器(微處理器或向量處理器)采用高通信帶寬和低延遲的互聯(lián)網(wǎng)絡(luò)(專門設(shè)計(jì)和定制的)一種異步的MIMD機(jī)器；程序系由多個(gè)進(jìn)程組成，每個(gè)都有其私有地址空間，進(jìn)程間采用傳遞消息相互作用；代表:CRAYT3E(2048),ASCIRed(3072),IBMSP2,曙光1000機(jī)群系統(tǒng)(Cluster)Cluster每個(gè)節(jié)點(diǎn)都是一個(gè)完整的計(jì)算機(jī)各個(gè)節(jié)點(diǎn)通過高性能網(wǎng)絡(luò)相互連接網(wǎng)絡(luò)接口和I/O總線松耦合連接每個(gè)節(jié)點(diǎn)有完整的操作系統(tǒng)曙光2000、3000、4000,ASCIBlueMountain訪存模型UMA:NORMA:NUMA:多處理機(jī)（單地址空間共享存儲(chǔ)器）

UMA:UniformMemoryAccessNUMA:NonuniformMemoryAccess多計(jì)算機(jī)（多地址空間非共享存儲(chǔ)器）

NORMA:No-RemoteMemoryAccess結(jié)構(gòu)模型－－訪存模型UMA:NUMA:NORMA:多處理機(jī)&&多計(jì)算機(jī)UMA:NUMA:NORMA:多處理機(jī)(共享存儲(chǔ))

多計(jì)算機(jī)(分布式存儲(chǔ))并行計(jì)算機(jī)的性能指標(biāo)名稱符號(hào)含意單位機(jī)器規(guī)模n處理器的數(shù)目無量綱時(shí)鐘速率f時(shí)鐘周期長度的倒數(shù)MHZ工作負(fù)載W計(jì)算操作的數(shù)目Mflop順序執(zhí)行時(shí)間T1程序在單處理機(jī)上的運(yùn)行時(shí)間s（秒）并行執(zhí)行時(shí)間Tn程序在并行機(jī)上的運(yùn)行時(shí)間s（秒）速度Rn=W/Tn每秒百萬次浮點(diǎn)運(yùn)算Mflop/s加速Sn=T1/Tn衡量并行機(jī)有多快無量綱效率En=Sn/n衡量處理器的利用率無量綱峰值速度Rpeak=nR’

peak所有處理器峰值速度之積，R’peak為一個(gè)處理器的峰值速度Mflop/s利用率U=Rn/Rpeak可達(dá)速度與峰值速度之比無量綱通信延遲to傳送0-字節(jié)或單字的時(shí)間Μs漸近帶寬r∞傳送長消息通信速率MB/s衡量系統(tǒng)性能的主要指標(biāo)(1)MIPS（百萬條指令每秒）理論計(jì)算：處理器的時(shí)鐘頻率與平均每條指令所需的時(shí)鐘周期（CyclesPerInstruction）的比值

MIPS＝clockrate/CPI=(numberofInstructions)/(CPUtime)實(shí)際數(shù)值：對(duì)于一個(gè)應(yīng)用（程序），指令數(shù)目與運(yùn)行時(shí)間的比值

MIPS’＝(numberofInstructions)/(executiontime)衡量系統(tǒng)性能的主要指標(biāo)(2)MFLOPS（百萬次浮點(diǎn)運(yùn)算每秒）理論計(jì)算：系統(tǒng)的浮點(diǎn)計(jì)算部件每秒可以做的浮點(diǎn)計(jì)算次數(shù)；

MFLOPS=(numberofFloatingPointcomputeUnit)×NN為每個(gè)浮點(diǎn)計(jì)算部件一個(gè)周期內(nèi)可以做的最多浮點(diǎn)操作數(shù)，對(duì)于目前常見的微處理器，一般為1－4；實(shí)際數(shù)值：對(duì)于一個(gè)應(yīng)用，浮點(diǎn)運(yùn)算數(shù)目與運(yùn)行時(shí)間的比值；

MFLOPS’=(numberoffloatingoperations)/(executiontime)兩個(gè)指標(biāo)的缺點(diǎn)都不能全面表征系統(tǒng)的性能MIPS指標(biāo)比較適用于事務(wù)處理領(lǐng)域；不同系統(tǒng)的指令不同，一條指令的功能和復(fù)雜度差別很大，如IBM的大型主機(jī)（Mainframe），價(jià)格達(dá)到千萬元的大型機(jī)（含配套軟件），其MIPS值一般為5－10，不及價(jià)值數(shù)千元的Pentium4PC；非計(jì)算密集型的應(yīng)用（事務(wù)處理）對(duì)I/O要求高，計(jì)算密集型的應(yīng)用（圖形程序）對(duì)主頻要求高。用戶對(duì)可靠性等特殊要求；應(yīng)用的需求不同，高性能計(jì)算領(lǐng)域也是“通才”難求，各有所長；某些特殊類型計(jì)算機(jī)適合特定的應(yīng)用。兩個(gè)指標(biāo)的缺點(diǎn)理論計(jì)算和實(shí)際測(cè)試的差別對(duì)于一個(gè)具體的應(yīng)用，可獲得的實(shí)際性能與理論峰值有相當(dāng)大的差距，即效率低的問題；應(yīng)用效率成為高性能計(jì)算的核心問題之一，受到普遍關(guān)注。加速比定律在并行計(jì)算系統(tǒng)，并行算法（并行程序）的執(zhí)行速度相對(duì)于串行算法（串行程序）加快的倍數(shù)，就是該并行算法（并行程序）的加速比；加速比是衡量“并行收益”的重要指標(biāo)；Amdahl定律適用于固定計(jì)算規(guī)模的加速比性能描述，Gustafson定律適用于可擴(kuò)展問題。

Amdahl定律S=(WS+WP)/(WS+WP/p)=1/(1/p+f(1-1/p))顯然，當(dāng)p→∞時(shí)，S=1/f，即對(duì)于固定規(guī)模的問題，并行系統(tǒng)所能達(dá)到的加速上限為1/f一度引發(fā)了并行界部分人士的悲觀情緒Gustafson定律S‘=（WS+pwp）/（WS+WP）

=p-f（p-1）=f+p（1-f）并行計(jì)算是為了解決大規(guī)模并行問題，可并行部分的比例是可擴(kuò)大的加速比與處理器數(shù)成斜率為（1-f）的線性關(guān)系這樣串行比例f就不再是程序擴(kuò)展性的瓶頸，當(dāng)然，f越低，斜率會(huì)越大，加速性能越好。Linpack采用主元高斯消去法求解雙精度稠密線性代數(shù)方程組，結(jié)果按每秒浮點(diǎn)運(yùn)算次數(shù)（flops）表示。包含三類測(cè)試，問題規(guī)模與優(yōu)化選擇各不相同：100×100測(cè)試，在該測(cè)試中，不允許對(duì)Linpack測(cè)試程序進(jìn)行任何修改（包括注釋行）1000×1000測(cè)試，在該測(cè)試中，允許對(duì)算法和軟件進(jìn)行修改或替換，并盡量利用系統(tǒng)的硬件特點(diǎn)，以達(dá)到盡可能高的性能。但是所有的優(yōu)化都必須保持和標(biāo)準(zhǔn)算法如高斯消去法相同的相對(duì)精度，而且必須使用Linpack的主程序進(jìn)行調(diào)用。Linpack（續(xù)）HPL測(cè)試

針對(duì)大規(guī)模并行計(jì)算系統(tǒng)的測(cè)試，其名稱為HighPerformanceLinpack(HPL)，是第一個(gè)標(biāo)準(zhǔn)的公開版本并行Linpack測(cè)試軟件包，用于TOP500與國內(nèi)TOP100排名依據(jù)。使用者可以改變問題規(guī)模。有相當(dāng)大的優(yōu)化空間。NASParallelBenchmarkNPB套件由八個(gè)程序組成每個(gè)基準(zhǔn)測(cè)試有五類：A、B、C、D、W(工作站)。A最小，D最大NPB套件以每秒百萬次運(yùn)算為單位輸出結(jié)果。整數(shù)排序(IS)快速Fourier變換（FT）多柵格基準(zhǔn)測(cè)試（MG）

共軛梯度(CG)基準(zhǔn)測(cè)試

稀疏矩陣分解（LU）

五對(duì)角方程（SP）和塊狀三角(BT)求解

密集并行(EP)高性能計(jì)算機(jī)的最新發(fā)展?fàn)顩r頂天立地高端：低端：從單純關(guān)注性能到綜合評(píng)價(jià)高性能vs高效能性能vs使用硬件建設(shè)vs綜合建設(shè)提綱高性能市場(chǎng)概要曙光和高性能計(jì)算機(jī)什么是高性能計(jì)算什么是高性能計(jì)算機(jī)集群系統(tǒng)什么是機(jī)群系統(tǒng)機(jī)群系統(tǒng)（Cluster）

利用標(biāo)準(zhǔn)網(wǎng)絡(luò)將一臺(tái)臺(tái)普通服務(wù)器或者PC機(jī)連接起來，為使用者提供更高的計(jì)算能力和存儲(chǔ)能力并為使用者提供單一系統(tǒng)映象的系統(tǒng)。單一系統(tǒng)映象

使用者在使用機(jī)群系統(tǒng)的時(shí)候感覺上就象使用一個(gè)單獨(dú)的計(jì)算機(jī)系統(tǒng)一樣。

單一系統(tǒng)映象實(shí)現(xiàn)方法：硬件層、操作系