給 AI 換個“大動力小心臟”之 CNN 加速設(shè)計

【W(wǎng)ord版本下載可任意編輯】給AI換個“大動力小心臟”之CNN加速設(shè)計K

U115芯片由兩個DIE對堆疊而成，加速器平行放置了兩組處理單元PE。每個PE由4組32x16=512的MAC計算DSP組成的XBAR構(gòu)成，設(shè)計的關(guān)鍵在于提升設(shè)計中的數(shù)據(jù)復(fù)用降低帶寬，實現(xiàn)模型權(quán)重復(fù)用和各layerfeaturemap的復(fù)用，提升計算效率。

應(yīng)用場景及性能比照

當(dāng)前深度學(xué)習(xí)主流使用GPU做深度學(xué)習(xí)中的Training過程，而線上Inference部署時需綜合考慮實時性、低成本以及低功耗特性選擇加速平臺。按深度學(xué)習(xí)落地場景分類，廣告推薦、語音識別、圖片/視頻內(nèi)容實時監(jiān)測等屬于實時性AI服務(wù)以及智慧交通、智能音箱以及無人駕駛等終端實時低功耗的場景，F(xiàn)PGA相較于GPU能夠為業(yè)務(wù)提供強有力的實時高性能的支撐。

對于使用者而言，平臺性能、開發(fā)周期以及易用性終究如何呢?

加速性能

以實際googlenetv1模型為例，CPU測試環(huán)境：2個6核CPU(E5-2620v3)，64G內(nèi)存。

將整機CPU打滿，單張基于KU115的加速器相較于CPU性能提升16倍，單張圖片檢測延時從250ms降低到4ms，TCO成本降低90%。

同時，F(xiàn)PGA預(yù)測性能略強于Nvidia的GPUP4，但延時上有一個數(shù)量級的優(yōu)化。

開發(fā)周期

通用的CNNFPGA加速架構(gòu)，能夠支持業(yè)務(wù)快速迭代持續(xù)演進中的深度學(xué)習(xí)模型，包括Googlenet/VGG/Resnet/ShuffleNet/MobileNet等經(jīng)典模型以及新的模型變種。

對于經(jīng)典模型以及基于標(biāo)準(zhǔn)layer自研的算法變種，現(xiàn)有加速架構(gòu)已經(jīng)可以支持，可以在一天內(nèi)通過編譯器實現(xiàn)模型對應(yīng)指令集，實現(xiàn)部署上線。

對于自研的特殊模型，例如不對稱卷積算子和不對稱pooling操作等，需要根據(jù)實際模型構(gòu)造在本平臺上開展相關(guān)算子迭代開發(fā)，開發(fā)周期可縮短在一到兩周之內(nèi)開展支持。

易用性

FPGACNN加速器對底層加速過程開展封裝，向上對加速平臺的業(yè)務(wù)方提供易用SDK。業(yè)務(wù)方調(diào)用簡單的API函數(shù)即可完成加速操作，對業(yè)務(wù)自身邏輯幾乎無任何改動。

結(jié)語

基于FPGA的通用CNN加速設(shè)計，可以大大縮短FPGA開發(fā)周期，支持業(yè)務(wù)深度學(xué)習(xí)算法快速迭代;提供與GPU相媲美的計算性能，但擁有相較于GPU數(shù)量級的延時優(yōu)勢。通用的RNN/DNN平臺正在緊張研發(fā)過程中，F(xiàn)PGA加速器為業(yè)務(wù)構(gòu)建強勁的實時AI服務(wù)能力。

在云端，20**年初，我們在**云首發(fā)了國內(nèi)臺FPGA公有云服務(wù)器，我們將會逐步把根底AI加速能力推出到公有云上。

AI異構(gòu)加速的戰(zhàn)場很大很精彩，為公司內(nèi)及云上業(yè)務(wù)提供的解決方案是架平FPGA團隊持續(xù)努力的方向。