GPU在高性能并行計算中的應用

1、GPU在高性能并行計算中的應用摘要：在科學研究領域以及深度學習領域中，需要進行大規(guī)模的并行計算。而傳統(tǒng)的CPU計算不能滿足這一需求，而計算機圖形處理器（即GPU，Graphic Processing Unit）由于其由大量的運算單元（核心）組成，并行計算能力遠高于 CPU。同時 GPU 擁有較普通內(nèi)存位寬更大、頻率更高的專用內(nèi)存，即顯存，適合處理大規(guī)模數(shù)據(jù)。所以計算正在從 CPU中央處理向 CPU 與 GPU協(xié)同處理的方向發(fā)展。而本文則主要介紹GPU計算中常見架構之一：NVIDIA推出的（Compute Unified Device Architecture）架構。關鍵字：、并行計算、. 背景

2、隨著顯卡的發(fā)展，GPU越來越強大，而且GPU為顯示圖像做了優(yōu)化。在計算上已經(jīng)超越了通用的CPU。如此強大的芯片如果只是作為顯卡就太浪費了,所以越來越多的科學研究機構已經(jīng)開始選擇部署大型GPU集群來進行科學計算。隨著GPU的可編程性不斷增強，GPU的應用能力已經(jīng)遠遠超出了圖形渲染任務，利用GPU完成通用計算的研究逐漸活躍起來，將GPU用于圖形渲染以外領域的計算成為GPGPU(General Purpose computing on graphics processing units，基于GPU的通用計算)。而與此同時CPU則遇到了一些障礙，CPU為了追求通用性，將其中大部分晶體管主要用于構建控制

3、電路(比如分支預測等)和Cache，只有少部分的晶體管來完成實際的運算工作。CPU + GPU 是一個強大的組合，因為 CPU 包含幾個專為串行處理而優(yōu)化的核心，而 GPU 則由數(shù)以千計更小、更節(jié)能的核心組成，這些核心專為提供強勁的并行性能而設計。程序的串行部分在 CPU 上運行，而并行部分則在 GPU上運行。GPU 已經(jīng)發(fā)展到成熟階段，可輕松執(zhí)行現(xiàn)實生活中的各種應用程序，而且程序運行速度已遠遠超過使用多核系統(tǒng)時的情形。未來計算架構將是并行核心 GPU 與多核 CPU 共同運行的混合型系統(tǒng)。雖然GPU并不適用于所有問題的求解，但是我們發(fā)現(xiàn)那些對運算力量耗費巨大的科學命題都具備天然的“圖形計算”

4、特色。這類程序在運行時擁有極高的運算密度、并發(fā)線程數(shù)量和頻繁地存儲器訪問，無論是在音頻處理、視覺仿真還是到分子動力學模擬和金融風險評估領域都有大量涉及。這種問題如果能夠順利遷移到GPU為主的運算環(huán)境中，將為我們帶來更高效的解決方案。傳統(tǒng)意義上的GPU不善于運行分支代碼，但是ATI和NVIDIA經(jīng)過長期改進其內(nèi)部架構已經(jīng)使得GPU可以較為高效地運行分支、循環(huán)等復雜代碼。同時因為GPU屬于并行機范疇，相同的運算可以應用到每個數(shù)據(jù)元素的時候，它們可以達到最好的性能。在CPU編程環(huán)境中，寫出每個輸入數(shù)據(jù)元素有不同數(shù)量的輸入的程序很容易，但在GPU這種并行機上還是有不少麻煩。2. 發(fā)展現(xiàn)狀當今最常用的G

5、PU的并行和異構計算環(huán)境主要是NVIDIA的CUDA和蘋果公司提出的OpenCL，還有微軟的C+ AMP平臺。下面是這幾個平臺的介紹：2.1CUDA(Compute Unified Device Architecture)CUDA是顯卡廠商Nvidia于2007年推出的業(yè)界第一款異構并行編程框架。在Nvidia的大力支持下，CUDA擁有良好的開發(fā)環(huán)境，豐富的函數(shù)庫，優(yōu)秀的性能。但是CUDA只能被用于在Nvidia的顯卡上進行異構編程，有先天的局限性。但是CUDA對程序開發(fā)員更加的友好。原因在于其統(tǒng)一的開發(fā)套件(CUDAToolkit, NVIDIA GPU Computing SDK以及NSight等等)、非常豐富的庫(cuFFT,cuBLAS, cuSPARSE, cuRAND, NPP, Thrust)以及NVCC(NVIDIA的CUDA編譯器)所具備的PTX(一種SSA中間