FPGA較傳統(tǒng)CPU強在哪里？竟獲得了微軟的青睞

FPGA較傳統(tǒng)CPU強在哪里？竟獲得了微軟的青睞！微軟數(shù)據(jù)中心里的服務器仍然由傳統(tǒng)的英特爾CPU主宰，但根據(jù)我們早前的報道，微軟現(xiàn)在正計劃采用現(xiàn)場可編程陣列或現(xiàn)場可編程門陣列（FPGA）來代替原有的處理器架構，讓微軟可以采用自主軟件專門修改并為自己服務。據(jù)悉，這些FPGA制定電路目前已經(jīng)出現(xiàn)在市場上，微軟正在與一家名為Altera的公司商洽采購事宜。一、為什么使用FPGA？眾所周知，通用處理器（CPU）的摩爾定律已入暮年，而機器學習和Web服務的規(guī)模卻在指數(shù)級增長。人們使用定制硬件來加速常見的計算任務，然而日新月異的行業(yè)又要求這些定制的硬件可被重新編程來執(zhí)行新類型的計算任務。FPGA（FieldProgrammableGateArray）正是一種硬件可重構的體系結構，常年來被用作專用芯片（ASIC）的小批量替代品，然而近年來在微軟、百度等公司的數(shù)據(jù)中心大規(guī)模部署，以同時提供強大的計算能力和足夠的靈活性。FPGA為什么快？「都是同行襯托得好」。CPU、GPU都屬于馮·諾依曼結構，指令譯碼執(zhí)行、共享內存。FPGA之所以比CPU甚至GPU能效高，本質上是無指令、無需共享內存的體系結構帶來的福利。馮氏結構中，由于執(zhí)行單元（如CPU核）可能執(zhí)行任意指令，就需要有指令存儲器、譯碼器、各種指令的運算器、分支跳轉處理邏輯。由于指令流的控制邏輯復雜，不可能有太多條獨立的指令流，因此GPU使用SIMD（單指令流多數(shù)據(jù)流）來讓多個執(zhí)行單元以同樣的步調處理不同的數(shù)據(jù)，CPU也支持SIMD指令。而FPGA每個邏輯單元的功能在重編程（燒寫）時就已經(jīng)確定，不需要指令。馮氏結構中使用內存有兩種作用。一是保存狀態(tài)，二是在執(zhí)行單元間通信。由于內存是共享的，就需要做訪問仲裁；為了利用訪問局部性，每個執(zhí)行單元有一個私有的緩存，這就要維持執(zhí)行部件間緩存的一致性。對于保存狀態(tài)的需求，F(xiàn)PGA中的寄存器和片上內存（BRAM）是屬于各自的控制邏輯的，無需不必要的仲裁和緩存。對于通信的需求，F(xiàn)PGA每個邏輯單元與周圍邏輯單元的連接在重編程（燒寫）時就已經(jīng)確定，并不需要通過共享內存來通信。說了這么多三千英尺高度的話，F(xiàn)PGA實際的表現(xiàn)如何呢？我們分別來看計算密集型任務和通信密集型任務。計算密集型任務的例子包括矩陣運算、圖像處理、機器學習、壓縮、非對稱加密、Bing搜索的排序等。這類任務一般是CPU把任務卸載（offload）給FPGA去執(zhí)行。對這類任務，目前我們正在用的Altera（似乎應該叫Intel了，我還是習慣叫Altera……）StratixVFPGA的整數(shù)乘法運算性能與20核的CPU基本相當，浮點乘法運算性能與8核的CPU基本相當，而比GPU低一個數(shù)量級。我們即將用上的下一代FPGA，Stratix10，將配備更多的乘法器和硬件浮點運算部件，從而理論上可達到與現(xiàn)在的頂級GPU計算卡旗鼓相當?shù)挠嬎隳芰ΑPGA的整數(shù)乘法運算能力（估計）

FPGA的浮點乘法運算能力（估計）在數(shù)據(jù)中心，F(xiàn)PGA相比GPU的核心優(yōu)勢在于延遲。像Bing搜索排序這樣的任務，要盡可能快地返回搜索結果，就需要盡可能降低每一步的延遲。如果使用GPU來加速，要想充分利用GPU的計算能力，batchsize就不能太小，延遲將高達毫秒量級。使用FPGA來加速的話，只需要微秒級的PCIe延遲（我們現(xiàn)在的FPGA是作為一塊PCIe加速卡）。未來Intel推出通過QPI連接的Xeon+FPGA之后，CPU和FPGA之間的延遲更可以降到100納秒以下，跟訪問主存沒什么區(qū)別了。FPGA為什么比GPU的延遲低這么多？這本質上是體系結構的區(qū)別。FPGA同時擁有流水線并行和數(shù)據(jù)并行，而GPU幾乎只有數(shù)據(jù)并行（流水線深度受限）。例如處理一個數(shù)據(jù)包有10個步驟，F(xiàn)PGA可以搭建一個10級流水線，流水線的不同級在處理不同的數(shù)據(jù)包，每個數(shù)據(jù)包流經(jīng)10級之后處理完成。每處理完成一個數(shù)據(jù)包，就能馬上輸出。而GPU的數(shù)據(jù)并行方法是做10個計算單元，每個計算單元也在處理不同的數(shù)據(jù)包，然而所有的計算單元必須按照統(tǒng)一的步調，做相同的事情（SIMD，SingleInstructionMultipleData）。這就要求10個數(shù)據(jù)包必須一起輸入、一起輸出，輸入輸出的延遲增加了。當任務是逐個而非成批到達的時候，流水線并行比數(shù)據(jù)并行可實現(xiàn)更低的延遲。因此對流式計算的任務，F(xiàn)PGA比GPU天生有延遲方面的優(yōu)勢。ASIC專用芯片在吞吐量、延遲和功耗三方面都無可指摘，但微軟并沒有采用，出于兩個原因：1.數(shù)據(jù)中心的計算任務是靈活多變的，而ASIC研發(fā)成本高、周期長。好不容易大規(guī)模部署了一批某種神經(jīng)網(wǎng)絡的加速卡，結果另一種神經(jīng)網(wǎng)絡更火了，錢就白費了。FPGA只需要幾百毫秒就可以更新邏輯功能。FPGA的靈活性可以保護投資，事實上，微軟現(xiàn)在的FPGA玩法與最初的設想大不相同。2.數(shù)據(jù)中心是租給不同的租戶使用的，如果有的機器上有神經(jīng)網(wǎng)絡加速卡，有的機器上有Bing搜索加速卡，有的機器上有網(wǎng)絡虛擬化加速卡，任務的調度和服務器的運維會很麻煩。使用FPGA可以保持數(shù)據(jù)中心的同構性。接下來看通信密集型任務。相比計算密集型任務，通信密集型任務對每個輸入數(shù)據(jù)的處理不甚復雜，基本上簡單算算就輸出了，這時通信往往會成為瓶頸。對稱加密、防火墻、網(wǎng)絡虛擬化都是通信密集型的例子。對通信密集型任務，F(xiàn)PGA相比CPU、GPU的優(yōu)勢就更大了。從吞吐量上講，F(xiàn)PGA上的收發(fā)器可以直接接上40Gbps甚至100Gbps的網(wǎng)線，以線速處理任意大小的數(shù)據(jù)包；而CPU需要從網(wǎng)卡把數(shù)據(jù)包收上來才能處理，很多網(wǎng)卡是不能線速處理64字節(jié)的小數(shù)據(jù)包的。盡管可以通過插多塊網(wǎng)卡來達到高性能，但CPU和主板支持的PCIe插槽數(shù)量往往有限，而且網(wǎng)卡、交換機本身也價格不菲。從延遲上講，網(wǎng)卡把數(shù)據(jù)包收到CPU，CPU再發(fā)給網(wǎng)卡，即使使用DPDK這樣高性能的數(shù)據(jù)包處理框架，延遲也有4~5微秒。更嚴重的問題是，通用CPU的延遲不夠穩(wěn)定。例如當負載較高時，轉發(fā)延遲可能升到幾十微秒甚至更高（如下圖所示）；現(xiàn)代操作系統(tǒng)中的時鐘中斷和任務調度也增加了延遲的不確定性。雖然GPU也可以高性能處理數(shù)據(jù)包，但GPU是沒有網(wǎng)口的，意味著需要首先把數(shù)據(jù)包由網(wǎng)卡收上來，再讓GPU去做處理。這樣吞吐量受到CPU和/或網(wǎng)卡的限制。GPU本身的延遲就更不必說了。那么為什么不把這些網(wǎng)絡功能做進網(wǎng)卡，或者