華為高性能計(jì)算解決方案售前技術(shù)FAQ

DOCPROPERTY"Product&ProjectName"FusionCompute（2.0）DOCPROPERTYDocumentName產(chǎn)品概述頁高性能計(jì)算HPC基礎(chǔ)篇HPC是什么？高性能計(jì)算(Highperformancecomputing，縮寫HPC)指通常使用很多處理器（作為單個(gè)機(jī)器的一部分）或者某一集群中組織的幾臺(tái)計(jì)算機(jī)（作為單個(gè)計(jì)算資源操作）的計(jì)算系統(tǒng)和環(huán)境。有許多類型的HPC系統(tǒng)，其范圍從標(biāo)準(zhǔn)計(jì)算機(jī)的大型集群，到高度專用的硬件。大多數(shù)基于集群的HPC系統(tǒng)使用高性能網(wǎng)絡(luò)互連，基本的網(wǎng)絡(luò)拓?fù)浜徒M織可以使用一個(gè)簡(jiǎn)單的總線拓?fù)涓咝阅苡?jì)算HPC系統(tǒng)主要有那幾部分組成？HPC系統(tǒng)由計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、集群軟件四部分組成：典型高性能計(jì)算HPC組網(wǎng)拓?fù)鋱D高性能計(jì)算HPC系統(tǒng)技術(shù)特點(diǎn)是什么？HPC系統(tǒng)目前主流處理器是X86處理器，操作系統(tǒng)是linux系統(tǒng)、構(gòu)建方式采用刀片系統(tǒng)，互聯(lián)網(wǎng)絡(luò)使用IB和10GE。高性能計(jì)算HPC系統(tǒng)技術(shù)之計(jì)算高性能計(jì)算HPC集群中計(jì)算節(jié)點(diǎn)分幾種？一般分3種，MPI節(jié)點(diǎn)、胖節(jié)點(diǎn)、GPU加速節(jié)點(diǎn)。MPI節(jié)點(diǎn)和胖節(jié)點(diǎn)的差異是什么？雙路節(jié)點(diǎn)稱為瘦節(jié)點(diǎn)（MPI節(jié)點(diǎn)），雙路以上稱為胖節(jié)點(diǎn)；胖節(jié)點(diǎn)配置大容量?jī)?nèi)存；集群中胖節(jié)點(diǎn)的數(shù)量要根據(jù)實(shí)際應(yīng)用需求而定。GPU是什么？GPU英文全稱GraphicProcessingUnit，中文翻譯為“圖形處理器”。在浮點(diǎn)運(yùn)算、并行計(jì)算等部分計(jì)算方面，GPU可以提供數(shù)十倍乃至于上百倍于CPU的性能。GPU加速節(jié)點(diǎn)有哪些廠家？目前GPU廠家只有三家NvidiaGPU/AMDGPU/IntelXeonPHI。可選擇的GPU種類比較少。目前市場(chǎng)上可銷售的GPU卡有哪些？NVIDA的GPU卡分圖形卡和計(jì)算卡，圖形卡有NVIDAK2000與K4000，計(jì)算卡K20X/K40M/K80。Intel的GPU是IntelXeonPhi系列，屬于計(jì)算卡，主要產(chǎn)品有Phi5110P、Phi3210P、Phi7120P、Phi31S1P。AMD的GPU是圖形和計(jì)算合一，主要產(chǎn)品有W5000、W9100、S7000、S9000、S10000。在HPC系統(tǒng)中，主要使用時(shí)計(jì)算卡。計(jì)算性能的衡量指標(biāo)？一個(gè)MFLOPS（megaFLOPS）等于每秒一佰萬（=10^6）次的浮點(diǎn)運(yùn)算，一個(gè)GFLOPS（gigaFLOPS）等于每秒拾億（=10^9）次的浮點(diǎn)運(yùn)算，一個(gè)TFLOPS（teraFLOPS）等于每秒一萬億（=10^12）次的浮點(diǎn)運(yùn)算，(1太拉)，一個(gè)PFLOPS（petaFLOPS）等于每秒一千萬億（=10^15）次的浮點(diǎn)運(yùn)算，一個(gè)EFLOPS（exaFLOPS）等于每秒一佰京（=10^18）次的浮點(diǎn)運(yùn)算。LinpackHPC什么？LinpackHPC是性能測(cè)試工具。LINPACK是線性系統(tǒng)軟件包(Linearsystempackage)的縮寫，主要開始于1974年4月，美國Argonne國家實(shí)驗(yàn)室應(yīng)用數(shù)學(xué)所主任JimPool，在一系列非正式的討論會(huì)中評(píng)估，建立一套專門解線性系統(tǒng)問題之?dāng)?shù)學(xué)軟件的可能性。業(yè)界還有其他多種測(cè)試基準(zhǔn)，有的是基于實(shí)際的應(yīng)用種類如TPC-C，有的是測(cè)試系統(tǒng)的某一部分的性能，如測(cè)試硬盤吞吐能力的IOmeter，測(cè)試內(nèi)存帶寬的stream。至目前為止，LINPACK還是廣泛地應(yīng)用于解各種數(shù)學(xué)和工程問題。也由于它高效率的運(yùn)算，使得其它幾種數(shù)學(xué)軟件例如IMSL、MATLAB紛紛加以引用來處理矩陣問題，所以足見其在科學(xué)計(jì)算上有舉足輕重的地位。Linpack現(xiàn)在在國際上已經(jīng)成為最流行的用于測(cè)試高性能計(jì)算機(jī)系統(tǒng)浮點(diǎn)性能的benchmark。通過利用高性能計(jì)算機(jī)，用高斯消元法求解N元一次稠密線性代數(shù)方程組的測(cè)試，評(píng)價(jià)高性能計(jì)算機(jī)的浮點(diǎn)性能。雙列直插式內(nèi)存(DIMM)有幾種類型？有三種DIMM內(nèi)存可用：UDIMM內(nèi)存、RDIMM內(nèi)存和LRDIMM內(nèi)存。在處理較大型工作負(fù)載時(shí)，無緩沖DIMM(UDIMM)速度快、廉價(jià)但不穩(wěn)定。寄存器式DIMM(RDIMM)內(nèi)存穩(wěn)定、擴(kuò)展性好、昂貴，而且對(duì)內(nèi)存控制器的電氣壓力小。它們同樣在許多傳統(tǒng)服務(wù)器上使用。降載DIMM(LRDIMM)內(nèi)存是寄存器式內(nèi)存(RDIMM)的替代品，它們能提供高內(nèi)存速度，降低服務(wù)器內(nèi)存總線的負(fù)載，而且功耗更低。LRDIMM內(nèi)存成本比RDIMM內(nèi)存高非常多，但在高性能計(jì)算架構(gòu)中十分常見。NVDIMM是什么？NVDIMM由BBU(BatteryBackedUp)DIMM演變而來。BBU采用后備電池以維持普通揮發(fā)性內(nèi)存中的內(nèi)容幾小時(shí)之久。但是，電池含有重金屬，廢棄處置和對(duì)環(huán)境的污染，不符合綠色能源的要求。由超級(jí)電容作為動(dòng)力源的NVDIMM應(yīng)運(yùn)而生。并且NVDIMM使用非揮發(fā)性的flash存儲(chǔ)介質(zhì)來保存數(shù)據(jù)，數(shù)據(jù)能夠保存的時(shí)間更長。高性能計(jì)算HPC系統(tǒng)技術(shù)之互聯(lián)網(wǎng)路IB是什么？InfiniBand架構(gòu)是一種支持多并發(fā)鏈接的“轉(zhuǎn)換線纜”技術(shù)，InfiniBand技術(shù)不是用于一般網(wǎng)絡(luò)連接的，它的主要設(shè)計(jì)目的是針對(duì)服務(wù)器端的連接問題的。因此，InfiniBand技術(shù)將會(huì)被應(yīng)用于服務(wù)器與服務(wù)器（比如復(fù)制，分布式工作等），服務(wù)器和存儲(chǔ)設(shè)備（比如SAN和直接存儲(chǔ)附件）以及服務(wù)器和網(wǎng)絡(luò)之間（比如LAN，WANs和theInternet）的通信。高性能計(jì)算HPC系統(tǒng)為什么要使用IB互聯(lián)？IB協(xié)議棧簡(jiǎn)單，處理效率高，管理簡(jiǎn)單，對(duì)RDMA支持好，功耗低，時(shí)延低。RDMA是什么？RDMA(RemoteDirectMemoryAccess)技術(shù)全稱遠(yuǎn)程直接數(shù)據(jù)存取，就是為了解決網(wǎng)絡(luò)傳輸中服務(wù)器端數(shù)據(jù)處理的延遲而產(chǎn)生的。RDMA通過網(wǎng)絡(luò)把數(shù)據(jù)直接傳入計(jì)算機(jī)的存儲(chǔ)區(qū)，將數(shù)據(jù)從一個(gè)系統(tǒng)快速移動(dòng)到遠(yuǎn)程系統(tǒng)存儲(chǔ)器中，實(shí)現(xiàn)ZERO-COPY。IB的互聯(lián)數(shù)率多大？IB目前支持FDR和QDR，華為可以提供56Gb/s互聯(lián)解決方案。IB的產(chǎn)品主要有哪些？目前只有Mexllaon、Intel、Qlogic提供IB產(chǎn)品，Mexllaon是主要玩家，處于主導(dǎo)地位。什么是HCA？HostChannelAdapters(HCA)，IB連接的設(shè)備終結(jié)點(diǎn)，提供傳輸功能和Verb接口。TargetChannelAdapters(TCA)，HCA的子集，基本上用于存儲(chǔ)。iWARP是什么？iWARP(Internetwide-areaRDMAprotocol)是由IETF組織定義的一種能在以太網(wǎng)上使用RDMA技術(shù)的網(wǎng)絡(luò)技術(shù)。iWARPisRDMAoverEthernetoverTCP/IP。RoCE是什么？RoCE是由IBTA標(biāo)準(zhǔn)化組織定義的一種在以太網(wǎng)上采用RDMA技術(shù)的網(wǎng)絡(luò)互聯(lián)技術(shù)。RoCE網(wǎng)絡(luò)的傳輸層和網(wǎng)絡(luò)層采用InfiniBand網(wǎng)絡(luò)的傳輸層和網(wǎng)絡(luò)層，在鏈路層用Ethernet的鏈路層替換InfiniBand網(wǎng)絡(luò)的鏈路層。這樣它既具有InfiniBand網(wǎng)絡(luò)的低時(shí)延、低CPU利用率等特點(diǎn)，又能夠很好的兼容于Ethernet網(wǎng)絡(luò)，和InfiniBand使用相同的verbs對(duì)應(yīng)用提供服務(wù)。高性能計(jì)算HPC系統(tǒng)技術(shù)之存儲(chǔ)TOP500HPC系統(tǒng)中存儲(chǔ)主要使用分布式文件系統(tǒng),分布式文件系統(tǒng)（DistributedFileSystem）可以有效解決數(shù)據(jù)的存儲(chǔ)和管理難題：將固定于某個(gè)地點(diǎn)的某個(gè)文件系統(tǒng)，擴(kuò)展到任意多個(gè)地點(diǎn)/多個(gè)文件系統(tǒng)，眾多的節(jié)點(diǎn)組成一個(gè)文件系統(tǒng)網(wǎng)絡(luò)。每個(gè)節(jié)點(diǎn)可以分布在不同的地點(diǎn)，通過網(wǎng)絡(luò)進(jìn)行節(jié)點(diǎn)間的通信和數(shù)據(jù)傳輸。人們?cè)谑褂梅植际轿募到y(tǒng)時(shí)，無需關(guān)心數(shù)據(jù)是存儲(chǔ)在哪個(gè)節(jié)點(diǎn)上、或者是從哪個(gè)節(jié)點(diǎn)從獲取的，只需要像使用本地文件系統(tǒng)一樣管理和存儲(chǔ)文件系統(tǒng)中的數(shù)據(jù)。分布式文件系統(tǒng)的設(shè)計(jì)基于客戶機(jī)/服務(wù)器模式。一個(gè)典型的網(wǎng)絡(luò)可能包括多個(gè)供多用戶訪問的服務(wù)器。當(dāng)前比較流行的分布式文件系統(tǒng)包括：Lustre、Hadoop、MogileFS、FreeNAS、FastDFS、NFS、OpenAFS、MooseFS、pNFS、以及GoogleFS什么是lustre？Lustre體系結(jié)構(gòu)是一個(gè)為集群設(shè)計(jì)的存儲(chǔ)體系結(jié)構(gòu)。其核心組件是運(yùn)行在Linux操作系統(tǒng)上、支持標(biāo)準(zhǔn)的POSIX*UNIX文件系統(tǒng)接口、并遵循GPL2.0許可的Lustre文件系統(tǒng)。據(jù)IDC的統(tǒng)計(jì)，Lustre是在HPC領(lǐng)域應(yīng)用最廣的文件系統(tǒng)，世界上最快的50個(gè)超算網(wǎng)站有60%都使用Lustre。Lustre的文件系統(tǒng)有哪些組件？Lustre文件系統(tǒng)的主要組件有：MDS、MDT、OSS、OST、Client。各個(gè)組件間的鏈接關(guān)系如圖所示。MDS、MDT、OSS、OST是什么？MDS（MetadataServer）：MDS負(fù)責(zé)管理Lustre文件系統(tǒng)的文件名、目錄、權(quán)限、文件結(jié)構(gòu)等元數(shù)據(jù)信息，MDS生成的元數(shù)據(jù)存儲(chǔ)在一個(gè)或者多個(gè)MDT上，并為每個(gè)Client提供服務(wù)。MDS可以有多個(gè)，但只有一個(gè)為主MDS，其余MDS工作在備份模式。MDT（MetadataTarget）：每個(gè)文件系統(tǒng)都有一個(gè)MDT，MDT可以是MDS本地硬盤（只有一個(gè)MDS時(shí)）、也可以是遠(yuǎn)端存儲(chǔ)的一個(gè)LUN設(shè)備。一個(gè)MDT可以通過同時(shí)映射給兩臺(tái)主機(jī)，供多個(gè)MDS進(jìn)行訪問，但同一時(shí)刻只能有一個(gè)MDS進(jìn)行訪問，通過這種方式可以實(shí)現(xiàn)MDS的高可用性。OSS（ObjectStorageServers）：OSS為Client提供文件I/O服務(wù)，客戶端從MDS獲取元數(shù)據(jù)信息后，從OSS訪問文件數(shù)據(jù)，文件數(shù)據(jù)最終存儲(chǔ)在與OSS相連的OST上。OST（ObjectStorageTarget）：用戶文件存儲(chǔ)在一個(gè)或者多個(gè)對(duì)象中，每個(gè)對(duì)象對(duì)應(yīng)一個(gè)獨(dú)立的OST，每個(gè)文件可以存儲(chǔ)在一個(gè)OST上，也可以跨越多個(gè)OST進(jìn)行存儲(chǔ)。一個(gè)OST可以通過同時(shí)映射給兩臺(tái)主機(jī)實(shí)現(xiàn)OSS的高可用性。Panasas是什么？Panasas是業(yè)界最早的基于對(duì)象技術(shù)的高性能存儲(chǔ)系統(tǒng)。和所有基于對(duì)象存儲(chǔ)的并行存儲(chǔ)系統(tǒng)一樣，Panasas也由client端、管理節(jié)點(diǎn)、數(shù)據(jù)節(jié)點(diǎn)（對(duì)象存儲(chǔ)節(jié)點(diǎn)）組成。但和其它系統(tǒng)不同的是，Panasas是包括定制硬件設(shè)計(jì)的性能優(yōu)越、功能完善、成熟的商業(yè)產(chǎn)品。GPFS是什么？GPFS(GeneralParallelFileSystem,GPFS)是IBM公司第一個(gè)共享文件系統(tǒng)，起源于IBMSP系統(tǒng)上使用的虛擬共享磁盤技術(shù)(VSD)。作為這項(xiàng)技術(shù)的核心，GPFS是一個(gè)并行的磁盤文件系統(tǒng)，它保證在資源組內(nèi)的所有節(jié)點(diǎn)可以并行訪問整個(gè)文件系統(tǒng)；而且針對(duì)此文件系統(tǒng)的服務(wù)操作，可以同時(shí)安全地在使用此文件系統(tǒng)的多個(gè)節(jié)點(diǎn)上實(shí)現(xiàn)。IBM在HPC方案的存儲(chǔ)方案推薦GPFS。高性能計(jì)算HPC系統(tǒng)技術(shù)之集群軟件集群軟件一般具有哪些功能？作業(yè)調(diào)度、集群監(jiān)控、集群管理、能耗管理、統(tǒng)計(jì)分析、告警管理、流程管理、故障管理目前當(dāng)前市場(chǎng)主要有哪些集群軟件？BCM（BrightClusterManager）、CHESS(ClustertechHPCEnvironmentSoftwareStack)、JH、IBMPlatformHPC、CMU（HP）、Gridview（曙光）。高性能計(jì)算HPC系統(tǒng)技術(shù)之應(yīng)用（客戶）軟件MPI、OpenMPI和OpenMP的區(qū)別MPI:英文全稱是MessagePassingInterface，信息傳遞接口，是獨(dú)立于語言的通信協(xié)議（標(biāo)準(zhǔn)）。MPI的實(shí)現(xiàn)有MPICH，MPI-1，MPI-2，openMPI，intelMPI，platformMPI等等openMPI：英文全稱是openMessagePassingInterface。openMPI是MPI的一種實(shí)現(xiàn)，一種庫項(xiàng)目。OpenMP：英文全稱是OpenMultiprocessing，一種應(yīng)用程序界面（API，即ApplicationProgramInterface），是一種并行的實(shí)現(xiàn)和方法，也可以認(rèn)為是共享存儲(chǔ)結(jié)構(gòu)上的一種編程模型，可用于共享內(nèi)存并行系統(tǒng)的多線程程序設(shè)計(jì)的一套指導(dǎo)性注釋（CompilerDirective）。在當(dāng)前的并行機(jī)子中，openMP和openMPI都是需要的，openMP用于本地的并行計(jì)算（共享內(nèi)存內(nèi)存架構(gòu)），支持目前所有平臺(tái)上的c,fortran等的共享內(nèi)存式并行計(jì)算，它相當(dāng)于是給出了一個(gè)讓并行編程更加容易實(shí)現(xiàn)的模型，而openMPI則是用于機(jī)器之間的通信（分布式內(nèi)存架構(gòu)）。SMP、NUMA、MPP體系結(jié)構(gòu)介紹從系統(tǒng)架構(gòu)來看，目前的商用服務(wù)器大體可以分為三類，即對(duì)稱多處理器結(jié)構(gòu)(SMP：SymmetricMulti-Processor)，非一致存儲(chǔ)訪問結(jié)構(gòu)(NUMA：Non-UniformMemoryAccess)，以及海量并行處理結(jié)構(gòu)(MPP：MassiveParallelProcessing)。它們的特征分別描述如下：1.SMP(SymmetricMulti-Processor)SMP(SymmetricMultiProcessing),對(duì)稱多處理系統(tǒng)內(nèi)有許多緊耦合多處理器，在這樣的系統(tǒng)中，所有的CPU共享全部資源，如總線，內(nèi)存和I/O系統(tǒng)等，操作系統(tǒng)或管理數(shù)據(jù)庫的復(fù)本只有一個(gè)，這種系統(tǒng)有一個(gè)最大的特點(diǎn)就是共享所有資源。多個(gè)CPU之間沒有區(qū)別，平等地訪問內(nèi)存、外設(shè)、一個(gè)操作系統(tǒng)。操作系統(tǒng)管理著一個(gè)隊(duì)列，每個(gè)處理器依次處理隊(duì)列中的進(jìn)程。如果兩個(gè)處理器同時(shí)請(qǐng)求訪問一個(gè)資源（例如同一段內(nèi)存地址），由硬件、軟件的鎖機(jī)制去解決資源爭(zhēng)用問題。AccesstoRAMisserialized;thisandcachecoherencyissuescausesperformancetolagslightlybehindthenumberofadditionalprocessorsinthesystem.圖1.SMP服務(wù)器CPU利用率狀態(tài)所謂對(duì)稱多處理器結(jié)構(gòu)，是指服務(wù)器中多個(gè)CPU對(duì)稱工作，無主次或從屬關(guān)系。各CPU共享相同的物理內(nèi)存，每個(gè)CPU訪問內(nèi)存中的任何地址所需時(shí)間是相同的，因此SMP也被稱為一致存儲(chǔ)器訪問結(jié)構(gòu)(UMA：UniformMemoryAccess)。對(duì)SMP服務(wù)器進(jìn)行擴(kuò)展的方式包括增加內(nèi)存、使用更快的CPU、增加CPU、擴(kuò)充I/O(槽口數(shù)與總線數(shù))以及添加更多的外部設(shè)備(通常是磁盤存儲(chǔ))。SMP服務(wù)器的主要特征是共享，系統(tǒng)中所有資源(CPU、內(nèi)存、I/O等)都是共享的。也正是由于這種特征，導(dǎo)致了SMP服務(wù)器的主要問題，那就是它的擴(kuò)展能力非常有限。對(duì)于SMP服務(wù)器而言，每一個(gè)共享的環(huán)節(jié)都可能造成SMP服務(wù)器擴(kuò)展時(shí)的瓶頸，而最受限制的則是內(nèi)存。由于每個(gè)CPU必須通過相同的內(nèi)存總線訪問相同的內(nèi)存資源，因此隨著CPU數(shù)量的增加，內(nèi)存訪問沖突將迅速增加，最終會(huì)造成CPU資源的浪費(fèi)，使CPU性能的有效性大大降低。實(shí)驗(yàn)證明，SMP服務(wù)器CPU利用率最好的情況是2至4個(gè)CPU。2.NUMA(Non-UniformMemoryAccess)由于SMP在擴(kuò)展能力上的限制，人們開始探究如何進(jìn)行有效地?cái)U(kuò)展從而構(gòu)建大型系統(tǒng)的技術(shù)，NUMA就是這種努力下的結(jié)果之一。利用NUMA技術(shù)，可以把幾十個(gè)CPU(甚至上百個(gè)CPU)組合在一個(gè)服務(wù)器內(nèi)。其CPU模塊結(jié)構(gòu)如圖2所示：圖2.NUMA服務(wù)器CPU模塊結(jié)構(gòu)NUMA服務(wù)器的基本特征是具有多個(gè)CPU模塊，每個(gè)CPU模塊由多個(gè)CPU(如4個(gè))組成，并且具有獨(dú)立的本地內(nèi)存、I/O槽口等。由于其節(jié)點(diǎn)之間可以通過互聯(lián)模塊(如稱為CrossbarSwitch)進(jìn)行連接和信息交互，因此每個(gè)CPU可以訪問整個(gè)系統(tǒng)的內(nèi)存(這是NUMA系統(tǒng)與MPP系統(tǒng)的重要差別)。顯然，訪問本地內(nèi)存的速度將遠(yuǎn)遠(yuǎn)高于訪問遠(yuǎn)地內(nèi)存(系統(tǒng)內(nèi)其它節(jié)點(diǎn)的內(nèi)存)的速度，這也是非一致存儲(chǔ)訪問NUMA的由來。由于這個(gè)特點(diǎn)，為了更好地發(fā)揮系統(tǒng)性能，開發(fā)應(yīng)用程序時(shí)需要盡量減少不同CPU模塊之間的信息交互。利用NUMA技術(shù)，可以較好地解決原來SMP系統(tǒng)的擴(kuò)展問題，在一個(gè)物理服務(wù)器內(nèi)可以支持上百個(gè)CPU。比較典型的NUMA服務(wù)器的例子包括HP的Superdome、SUN15K、IBMp690等。但NUMA技術(shù)同樣有一定缺陷，由于訪問遠(yuǎn)地內(nèi)存的延時(shí)遠(yuǎn)遠(yuǎn)超過本地內(nèi)存，因此當(dāng)CPU數(shù)量增加時(shí)，系統(tǒng)性能無法線性增加。如HP公司發(fā)布Superdome服務(wù)器時(shí)，曾公布了它與HP其它UNIX服務(wù)器的相對(duì)性能值，結(jié)果發(fā)現(xiàn)，64路CPU的Superdome(NUMA結(jié)構(gòu))的相對(duì)性能值是20，而8路N4000(共享的SMP結(jié)構(gòu))的相對(duì)性能值是6.3。從這個(gè)結(jié)果可以看到，8倍數(shù)量的CPU換來的只是3倍性能的提升。3.MPP(MassiveParallelProcessing)和NUMA不同，MPP提供了另外一種進(jìn)行系統(tǒng)擴(kuò)展的方式，它由多個(gè)SMP服務(wù)器通過一定的節(jié)點(diǎn)互聯(lián)網(wǎng)絡(luò)進(jìn)行連接，協(xié)同工作，完成相同的任務(wù)，從用戶的角度來看是一個(gè)服務(wù)器系統(tǒng)。其基本特征是由多個(gè)SMP服務(wù)器(每個(gè)SMP服務(wù)器稱節(jié)點(diǎn))通過節(jié)點(diǎn)互聯(lián)網(wǎng)絡(luò)連接而成，每個(gè)節(jié)點(diǎn)只訪問自己的本地資源(內(nèi)存、存儲(chǔ)等)，是一種完全無共享(ShareNothing)結(jié)構(gòu)，因而擴(kuò)展能力最好，理論上其擴(kuò)展無限制，目前的技術(shù)可實(shí)現(xiàn)512個(gè)節(jié)點(diǎn)互聯(lián)，數(shù)千個(gè)CPU。目前業(yè)界對(duì)節(jié)點(diǎn)互聯(lián)網(wǎng)絡(luò)暫無標(biāo)準(zhǔn)，如NCR的Bynet，IBM的SPSwitch，它們都采用了不同的內(nèi)部實(shí)現(xiàn)機(jī)制。但節(jié)點(diǎn)互聯(lián)網(wǎng)僅供MPP服務(wù)器內(nèi)部使用，對(duì)用戶而言是透明的。在MPP系統(tǒng)中，每個(gè)SMP節(jié)點(diǎn)也可以運(yùn)行自己的操作系統(tǒng)、數(shù)據(jù)庫等。但和NUMA不同的是，它不存在異地內(nèi)存訪問的問題。換言之，每個(gè)節(jié)點(diǎn)內(nèi)的CPU不能訪問另一個(gè)節(jié)點(diǎn)的內(nèi)存。節(jié)點(diǎn)之間的信息交互是通過節(jié)點(diǎn)互聯(lián)網(wǎng)絡(luò)實(shí)現(xiàn)的，這個(gè)過程一般稱為數(shù)據(jù)重分配(DataRedistribution)。但是MPP服務(wù)器需要一種復(fù)雜的機(jī)制來調(diào)度和平衡各個(gè)節(jié)點(diǎn)的負(fù)載和并行處理過程。目前一些基于MPP技術(shù)的服務(wù)器往往通過系統(tǒng)級(jí)軟件(如數(shù)據(jù)庫)來屏蔽這種復(fù)雜性。舉例來說，NCR的Teradata就是基于MPP技術(shù)的一個(gè)關(guān)系數(shù)據(jù)庫軟件，基于此數(shù)據(jù)庫來開發(fā)應(yīng)用時(shí)，不管后臺(tái)服務(wù)器由多少個(gè)節(jié)點(diǎn)組成，開發(fā)人員所面對(duì)的都是同一個(gè)數(shù)據(jù)庫系統(tǒng)，而不需要考慮如何調(diào)度其中某幾個(gè)節(jié)點(diǎn)的負(fù)載。MPP(MassivelyParallelProcessing)，大規(guī)模并行處理系統(tǒng)，這樣的系統(tǒng)是由許多松耦合的處理單元組成的，要注意的是這里指的是處理單元而不是處理器。每個(gè)單元內(nèi)的CPU都有自己私有的資源，如總線，內(nèi)存，硬盤等。在每個(gè)單元內(nèi)都有操作系統(tǒng)和管理數(shù)據(jù)庫的實(shí)例復(fù)本。這種結(jié)構(gòu)最大的特點(diǎn)在于不共享資源。4.NUMA、MPP、SMP之間性能的區(qū)別NUMA的節(jié)點(diǎn)互聯(lián)機(jī)制是在同一個(gè)物理服務(wù)器內(nèi)部實(shí)現(xiàn)的，當(dāng)某個(gè)CPU需要進(jìn)行遠(yuǎn)地內(nèi)存訪問時(shí)，它必須等待，這也是NUMA服務(wù)器無法實(shí)現(xiàn)CPU增加時(shí)性能線性擴(kuò)展。MPP的節(jié)點(diǎn)互聯(lián)機(jī)制是在不同的SMP服務(wù)器外部通過I/O實(shí)現(xiàn)的，每個(gè)節(jié)點(diǎn)只訪問本地內(nèi)存和存儲(chǔ)，節(jié)點(diǎn)之間的信息交互與節(jié)點(diǎn)本身的處理是并行進(jìn)行的。因此MPP在增加節(jié)點(diǎn)時(shí)性能基本上可以實(shí)現(xiàn)線性擴(kuò)展。SMP所有的CPU資源是共享的，因此完全實(shí)現(xiàn)線性擴(kuò)展。5.MPP和SMP、NUMA應(yīng)用之間的區(qū)別NUMA架構(gòu)的優(yōu)勢(shì)：NUMA架構(gòu)來看，它可以在一個(gè)物理服務(wù)器內(nèi)集成許多CPU，使系統(tǒng)具有較高的事務(wù)處理能力，由于遠(yuǎn)地內(nèi)存訪問時(shí)延遠(yuǎn)長于本地內(nèi)存訪問，因此需要盡量減少不同CPU模塊之間的數(shù)據(jù)交互。顯然，NUMA架構(gòu)更適用于OLTP事務(wù)處理環(huán)境，當(dāng)用于數(shù)據(jù)倉庫環(huán)境時(shí)，由于大量復(fù)雜的數(shù)據(jù)處理必然導(dǎo)致大量的數(shù)據(jù)交互，將使CPU的利用率大大降低。MPP的優(yōu)勢(shì)：MPP系統(tǒng)不共享資源，因此對(duì)它而言，資源比SMP要多，當(dāng)需要處理的事務(wù)達(dá)到一定規(guī)模時(shí)，MPP的效率要比SMP好。由于MPP系統(tǒng)因?yàn)橐诓煌幚韱卧g傳送信息，在通訊時(shí)間少的時(shí)候，那MPP系統(tǒng)可以充分發(fā)揮資源的優(yōu)勢(shì)，達(dá)到高效率。也就是說：操作相互之間沒有什么關(guān)系，處理單元之間需要進(jìn)行的通信比較少，那采用MPP系統(tǒng)就要好。因此，MPP系統(tǒng)在決策支持和數(shù)據(jù)挖掘方面顯示了優(yōu)勢(shì)。SMP的優(yōu)勢(shì)：MPP系統(tǒng)因?yàn)橐诓煌幚韱卧g傳送信息，所以它的效率要比SMP要差一點(diǎn)。在通訊時(shí)間多的時(shí)候，那MPP系統(tǒng)可以充分發(fā)揮資源的優(yōu)勢(shì)。因此當(dāng)前使用的OTLP程序中，用戶訪問一個(gè)中心數(shù)據(jù)庫，如果采用SMP系統(tǒng)結(jié)構(gòu)，它的效率要比采用MPP結(jié)構(gòu)要快得多。高能能計(jì)算集群應(yīng)用分幾類？按應(yīng)用類型分為如下4類：科學(xué)計(jì)算型集群、負(fù)載均衡型集群、高可用型集群、并行數(shù)據(jù)庫型集群應(yīng)用需求對(duì)應(yīng)的應(yīng)用領(lǐng)域：計(jì)算密集型應(yīng)用（Computing-intensive)：大型科學(xué)工程計(jì)算，數(shù)值模擬等。應(yīng)用領(lǐng)域：石油、氣象、CAE、核能、制藥、環(huán)境監(jiān)測(cè)分析、系統(tǒng)仿真等。數(shù)據(jù)密集型應(yīng)用（Data-intensive)：數(shù)字圖書館，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘，計(jì)算可視化等。應(yīng)用領(lǐng)域：圖書館、銀行、證券、稅務(wù)、決策支持系統(tǒng)等。通信密集型應(yīng)用（Network-intensive)：協(xié)同工作，網(wǎng)格計(jì)算，遙控和遠(yuǎn)程診斷等。應(yīng)用領(lǐng)域：網(wǎng)站、信息中心、搜索引擎、電信、流媒體等。高能能計(jì)算HPC常用種應(yīng)用領(lǐng)域有哪些？CAE仿真、動(dòng)漫渲染、物理化學(xué)、石油勘探、生命科學(xué)、氣象環(huán)境。CAE仿真軟件主要有哪些？類別公司軟件介紹流體動(dòng)力AnsysFluentCFD分析的領(lǐng)導(dǎo)者，航空、汽車、建筑等，應(yīng)用范圍廣。AnsysCFXAnsys收購的另外一款CFD軟件，強(qiáng)項(xiàng)在于旋轉(zhuǎn)機(jī)械。OpenFOAM開源軟件，在教育領(lǐng)域有著比較廣泛的應(yīng)用。CD-adapcoStar-CCM+STAR-CCM+不僅僅只是一個(gè)CFD求解器，它還是一個(gè)解決流體或固體流、傳熱和應(yīng)力等相關(guān)問題的完整工程過程。和Fluent競(jìng)爭(zhēng)EXAPowerflow能夠進(jìn)行流體的瞬態(tài)仿真，需要資源高，在汽車噪聲仿真的細(xì)分領(lǐng)域有著獨(dú)特優(yōu)勢(shì)。結(jié)構(gòu)力學(xué)Abaqus包含顯式求解器、隱式求解器、前后處理工具AnsysMechanicalAnsys的主要結(jié)構(gòu)仿真軟件。LS-dynaLS-DYNA是最常用的汽車碰撞模擬軟件，是功能齊全的幾何非線性(大位移、大轉(zhuǎn)動(dòng)和大應(yīng)變)、材料非線性(200多種材料動(dòng)態(tài)模型)和接觸非線性(80多種)軟件。NastranMSCNastran的是世界上使用最廣泛的有限元分析（FEA）求解器。當(dāng)涉及到模擬壓力，動(dòng)力，還是現(xiàn)實(shí)世界的震動(dòng)以及復(fù)雜的系統(tǒng)時(shí)，MSCNastran仍然是目前世界上最好的和最值得信賴的軟件。Pam-CrashPam-Crash為ESI公司的汽車碰撞仿真軟件。和Dyna為兩大主流碰撞軟件。電磁仿真AgilentADSADS內(nèi)含momentum(基于第三種經(jīng)典算法－矩量法),是一種對(duì)第三維度進(jìn)行簡(jiǎn)化的電磁場(chǎng)仿真器。AgilentEmpro使用頻域和時(shí)域三維電磁場(chǎng)仿真技術(shù)設(shè)置和運(yùn)行分析：有限元方法（FEM）和時(shí)