《計(jì)算機(jī)深度學(xué)習(xí)問(wèn)題研究5800字（論文）》

計(jì)算機(jī)深度學(xué)習(xí)綜述報(bào)告1深度學(xué)習(xí)概述1.1深度學(xué)習(xí)發(fā)展史眾所周知，深度學(xué)習(xí)已經(jīng)成為了當(dāng)下最流行的技術(shù)詞匯，似乎是一項(xiàng)才剛剛發(fā)明的新技術(shù)。但是事實(shí)上，有關(guān)深度學(xué)習(xí)的研究歷史(表1)可以追溯到1943年由WarrenMcCulloch教授和WalterPitts教授提出的McCulloch-PittsNeuron單神經(jīng)元計(jì)算結(jié)構(gòu)[1]。該結(jié)構(gòu)會(huì)通過(guò)N個(gè)權(quán)重與N個(gè)輸入來(lái)計(jì)算加權(quán)和作為輸出，是現(xiàn)代神經(jīng)元結(jié)構(gòu)的雛形。1958年FrankRosenblatt教授提出的感知器模型(Perceptron)[2]是首個(gè)可以根據(jù)樣本數(shù)據(jù)來(lái)學(xué)習(xí)特征權(quán)重的模型，對(duì)現(xiàn)代機(jī)器學(xué)習(xí)的發(fā)展產(chǎn)生了巨大影響。1969年MarvinMinsky教授在書(shū)[3]中證明感知器模型只能解決線性可分問(wèn)題，無(wú)法解決異或問(wèn)題，并且給出“基于感知器的研究注定將失敗”的結(jié)論。導(dǎo)致神經(jīng)網(wǎng)絡(luò)的研究一度停滯不前。表1.1深度學(xué)習(xí)發(fā)展史上的重大科學(xué)及新聞事件時(shí)間階段時(shí)間1943第一階段單神經(jīng)元計(jì)算結(jié)構(gòu)1958感知器模型1969神經(jīng)網(wǎng)絡(luò)第一次重大低潮80年代末第二階段分布式知識(shí)表達(dá)與反向傳播算法90年代初CNN，RNN，LSTM得到很好發(fā)展2012第三階段AlexNet獲得ILSVRC冠軍2013深度學(xué)習(xí)被MIT評(píng)為“年度十大科技突破之一”2015特斯拉將自動(dòng)駕駛功能投入商用2016AlphaGo擊敗世界圍棋冠軍李世石2017AlphaGo擊敗世界排名第一的圍棋高手柯潔2019AlphaStar戰(zhàn)勝《星際爭(zhēng)霸》職業(yè)選手這期間人們?cè)谡J(rèn)知生物學(xué)領(lǐng)域取得了重要進(jìn)展，發(fā)現(xiàn)了認(rèn)知的兩個(gè)重要機(jī)制：一個(gè)是抽象，另一個(gè)是迭代。從原始信號(hào)，做低層抽象，逐漸向高層抽象迭代，在迭代中抽象出更高層的模式[4]。到了20世界80年代末，分布式知識(shí)表達(dá)(DistributedRepresentation)[5]和反向傳播算法(BackPropagation)[6]的提出開(kāi)啟了神經(jīng)網(wǎng)絡(luò)研究的第二階段的序幕。分布式知識(shí)表達(dá)是深度學(xué)習(xí)的重要性質(zhì)，基本思想是先讓每個(gè)神經(jīng)元表達(dá)簡(jiǎn)單的特征，再把神經(jīng)元組合起來(lái)用于描述復(fù)雜的特征。相比本地式知識(shí)表達(dá)(即一個(gè)特征對(duì)應(yīng)一個(gè)神經(jīng)元)，分布式表達(dá)描述相同大小的特征空間需要的神經(jīng)數(shù)量少很多，極大節(jié)約了存儲(chǔ)空間。時(shí)至今日，反向傳播算法仍然是訓(xùn)練深層神經(jīng)網(wǎng)絡(luò)的主要方法。到了2010年左右，計(jì)算機(jī)性能的極大提升和大數(shù)據(jù)互聯(lián)網(wǎng)+的發(fā)展，使得曾經(jīng)阻礙神經(jīng)網(wǎng)絡(luò)發(fā)展的計(jì)算力和訓(xùn)練樣本量問(wèn)題得到了解決，從此深度學(xué)習(xí)的發(fā)展一日千里。2012年ImageNet舉辦的ILSVRC圖像分類(lèi)競(jìng)賽中，由AlexKrizhevsky教授實(shí)現(xiàn)的深度學(xué)習(xí)系統(tǒng)AlexNet贏得了冠軍[6]。此后，深度學(xué)習(xí)算法的性能在圖像識(shí)別領(lǐng)域已經(jīng)完全碾壓了傳統(tǒng)機(jī)器學(xué)習(xí)算法[7](如支持向量機(jī)SVM等)，并且在2013年之后的ILSVRC中基本就只有深度學(xué)習(xí)算法參賽了。2013年，深度學(xué)習(xí)被麻省理工(MIT)評(píng)為“年度十大科技突破之一”。2016和2017年Google的子公司DeepMind基于深度學(xué)習(xí)研發(fā)的AlphaGo擊敗了圍棋大師李世石和柯潔，一度引發(fā)了全世界對(duì)人工智能的恐慌。2019年1月DeepMind研發(fā)的AlphaStar擊敗了經(jīng)典戰(zhàn)略游戲《星際爭(zhēng)霸》的職業(yè)電競(jìng)選手，標(biāo)志著人工智能在部分信息博弈中已經(jīng)可以戰(zhàn)勝人類(lèi)了。1.2深層神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)(DL)是“一類(lèi)通過(guò)多層非線性變換對(duì)高復(fù)雜性數(shù)據(jù)建模算法的合集”，深層神經(jīng)網(wǎng)絡(luò)(DNN)是實(shí)現(xiàn)“多層非線性變換”的最常用的一種方式，兩者互為代名詞。DNN的兩個(gè)非常重要的特征是多層和非線性[8]，多層是為了符合分布式知識(shí)表達(dá)(1.1節(jié))的要求，非線性是為了解決更加復(fù)雜的問(wèn)題。因?yàn)樵诂F(xiàn)實(shí)世界中，絕大部分的問(wèn)題都是無(wú)法線性分割的，而任何線性模型的組合仍然還是線性的。為DNN提供非線性表達(dá)能力的是激活函數(shù)(ActivationFunction)。圖1.1展示了一個(gè)神經(jīng)元的輸出是輸入數(shù)據(jù)加權(quán)和與偏置加和之后經(jīng)過(guò)激活函數(shù)非線性變換得到的結(jié)果。激活函數(shù)的特點(diǎn)是可微分并且單調(diào)。常用的激活函數(shù)有Sign、Sigmoid、Tanh、ReLU、P-ReLU、Leaky-ReLU、ELU、Maxout等。損失函數(shù)(LossFunction)是用于度量DNN輸出結(jié)果向量與樣本期望向量之間差距的函數(shù)。常用的損失函數(shù)有交叉熵(CrossEntropy)、均方差(MeanSquareError，MSE)、Log、L1Loss、L2Loss、ElasticNet等。構(gòu)造一個(gè)深層神經(jīng)網(wǎng)絡(luò)就是確定網(wǎng)絡(luò)的三個(gè)組成部分：DNN的架構(gòu)(或稱為拓?fù)浣Y(jié)構(gòu))、激活函數(shù)與損失函數(shù)、訓(xùn)練DNN的算法。DNN的使用一般分為訓(xùn)練和推理兩個(gè)階段。訓(xùn)練DNN即為網(wǎng)絡(luò)中的神經(jīng)元找到最優(yōu)權(quán)值配置，主流的訓(xùn)練算法是梯度下降算法[9]和反向傳播算法(1.1節(jié))。訓(xùn)練得到的網(wǎng)絡(luò)也稱為推理網(wǎng)絡(luò)(InferenceNetwork)，可以用于對(duì)測(cè)試數(shù)據(jù)集或?qū)嶋H數(shù)據(jù)的推理。圖1.1含有激活函數(shù)的神經(jīng)元CNN網(wǎng)絡(luò)的架構(gòu)可以用公式[10]來(lái)表示：輸入層→(卷積層+→池化層?)+→全連接層+，其中“卷積層+”表示一層或多層卷積層(CONV)，“池化層?”表示沒(méi)有或一層池化層(POOL)。卷積層的核心是卷積核，尺寸一般為3×3、5×5、7×7。相比全連接方式，卷積核的參數(shù)非常少，各層通過(guò)卷積核共享機(jī)制可以極大減少訓(xùn)練階段需要優(yōu)化的總參數(shù)量。當(dāng)前主流的DNN開(kāi)發(fā)及運(yùn)行框架包括：TensorFlow(Google)[11]、PyTorch(Facebook)[12]、Caffe(Berkeley大學(xué))[13]。其它DNN框架如Theano(Montreal大學(xué))、Keras(Keras-Team)、MXNet(Amazon)、CNTK(Microsoft)的用戶基礎(chǔ)遠(yuǎn)比不上前三種。DNN框架的運(yùn)行原理，以TensorFlow[14]為例，首先將用戶基于應(yīng)用層API編寫(xiě)的、以神經(jīng)網(wǎng)絡(luò)算法為代表訓(xùn)練或推理過(guò)程表達(dá)為數(shù)據(jù)流圖計(jì)算；在運(yùn)行時(shí)把數(shù)據(jù)流圖轉(zhuǎn)換成C++核心層的細(xì)粒度、抽象化運(yùn)行時(shí)狀態(tài)，進(jìn)而在計(jì)算設(shè)備(CPU或GPU)上以一致而有效的方式調(diào)度執(zhí)行。主流的DNN框架能夠支持在個(gè)人電腦、大型數(shù)據(jù)中心的服務(wù)器、嵌入式設(shè)備等多種平臺(tái)。1.3神經(jīng)網(wǎng)絡(luò)加速器近十年以來(lái)，深度學(xué)習(xí)的飛速發(fā)展得益于CPU和GPU算力的巨大進(jìn)步。反過(guò)來(lái)，DNN計(jì)算時(shí)的高負(fù)載特性也促使CPU和GPU改進(jìn)其體系結(jié)構(gòu)以進(jìn)一步提高計(jì)算效率，例如，Intel最新的XeonPhiKnightsMill處理器增加了對(duì)浮點(diǎn)運(yùn)算“可變精度”的支持，NIVIDA最新的Volte架構(gòu)增加了專門(mén)的TensorCore用于快速處理DNN任務(wù)中的被密集調(diào)用的“矩陣乘與累加”(MultiplyandAccumulate，MAC)操作。不過(guò)，這兩種通用計(jì)算芯片所包含的部分功能模塊(如多級(jí)緩存、分支處理、內(nèi)存管理、線程調(diào)度等)在處理DNN任務(wù)時(shí)并不會(huì)被用到，反而占用芯片的面積，這就限制了在處理DNN任務(wù)時(shí)每單位芯片面積計(jì)算性能與能效比的提升[15]。于是，人們研發(fā)了專用于處理深度學(xué)習(xí)任務(wù)的神經(jīng)網(wǎng)絡(luò)加速器，包括基于DSP或FPGA兩種通用型芯片改進(jìn)而來(lái)的加速器，還有TPU(TensorProcessingUnit)、NPU(NeuralNetworkProcessingUnit)等采用為深度學(xué)習(xí)任務(wù)而定制體系架構(gòu)的專用神經(jīng)網(wǎng)絡(luò)加速器。DSP(DigialSignalProcessor)即數(shù)字信號(hào)處理芯片，具有強(qiáng)大的浮點(diǎn)運(yùn)算能力。DSP芯片通過(guò)在架構(gòu)中加入神經(jīng)網(wǎng)絡(luò)處理核心成為了一種實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)加速的可編程可擴(kuò)展的有效平臺(tái)。主流的DSP加速產(chǎn)品包括EV6x(Synopsys)、VIP8000(VeriSilicon)等，它們都支持當(dāng)前主流的網(wǎng)絡(luò)模型和框架。FPGA(FieldProgrammableGateArray)即現(xiàn)場(chǎng)可編程門(mén)陣列芯片，能夠?qū)崿F(xiàn)快速的硬件功能驗(yàn)證和評(píng)估，從而加快設(shè)計(jì)的迭代速度。FPGA憑借可編程陣列的特性，利用VHDL或Verilog語(yǔ)言可以設(shè)計(jì)新的硬件結(jié)構(gòu)，更好地匹配神經(jīng)網(wǎng)絡(luò)的計(jì)算特點(diǎn)，比如針對(duì)CNN卷積層硬件實(shí)現(xiàn)各類(lèi)優(yōu)化的卷積方法[16]。FPGA在能耗方面更優(yōu)于GPU，但浮點(diǎn)運(yùn)算性能遜于GPU，因?yàn)槟壳暗腄NN計(jì)算還是重度依賴密集的浮點(diǎn)矩陣乘法(GeneralMatrixMultiplication，GEMM)，而GEMM更利于映射到GPU上(常規(guī)并行性)。相比通用芯片，專用神經(jīng)網(wǎng)絡(luò)加速芯片(TPU、NPU等)在處理DNN計(jì)算時(shí)能耗更低，性能更高(芯片的面積和功耗僅為GPU的百分之一量級(jí))。專用加速器片內(nèi)主要包括針對(duì)DNN計(jì)算特點(diǎn)而特別設(shè)計(jì)的運(yùn)算單元和存儲(chǔ)單元，并且一般會(huì)設(shè)計(jì)專用的復(fù)雜指令集(ComplexInstructionSet，CISC)來(lái)處理復(fù)雜的神經(jīng)元操作，提升了速度同時(shí)減少了功耗。運(yùn)算單元有兩種主流的結(jié)構(gòu)：(1)樹(shù)狀結(jié)構(gòu)，包括DianNao/DaDianNao/PuDianNaoNPU(寒武紀(jì))等；(2)脈動(dòng)陣列結(jié)構(gòu)，包括TPU(Google)、Scaledeep(普渡大學(xué))、Eyeriss(MIT)、ShiDianNao(寒武紀(jì))、昇騰AtlasNPU(華為海思)等。存儲(chǔ)單元用來(lái)存儲(chǔ)神經(jīng)網(wǎng)絡(luò)每一層的輸入值、權(quán)重和輸出值等參數(shù)。隨著神經(jīng)網(wǎng)絡(luò)規(guī)模變大，傳統(tǒng)2D存儲(chǔ)結(jié)構(gòu)的DDR技術(shù)已經(jīng)不能適應(yīng)高帶寬的要求，研究者已開(kāi)始把最新的3D存儲(chǔ)技術(shù)引入到加速器設(shè)計(jì)中[17]。同時(shí)，為了最小化數(shù)據(jù)搬移，緩解帶寬瓶頸，運(yùn)算器和存儲(chǔ)器正朝著一體化的方向發(fā)展(憶阻器)[18]。除此以外，專用神經(jīng)網(wǎng)絡(luò)加速器未來(lái)還將支持更多的神經(jīng)網(wǎng)絡(luò)框架，并采用非馮·諾依曼體系架構(gòu)來(lái)大幅度提高整體運(yùn)算性能、降低功耗。2DNN性能優(yōu)化2.1輕量化神經(jīng)網(wǎng)絡(luò)本節(jié)陳述的DNN網(wǎng)絡(luò)層性能優(yōu)化相關(guān)研究工作主要是提高網(wǎng)絡(luò)的平均性能，而非實(shí)時(shí)性能?；谏鲜鯠NN性能分析結(jié)論，DNN任務(wù)性能優(yōu)化方向是減少模型中冗余參數(shù)，優(yōu)化卷積核的計(jì)算結(jié)構(gòu)。設(shè)計(jì)輕量化的神經(jīng)網(wǎng)絡(luò)方法包括人工手動(dòng)優(yōu)化DNN模型和自動(dòng)化設(shè)計(jì)方式優(yōu)化DNN模型。手動(dòng)優(yōu)化DNN模型包括：深度學(xué)習(xí)模型壓縮、設(shè)計(jì)輕量化網(wǎng)絡(luò)、優(yōu)化卷積計(jì)算方式和網(wǎng)絡(luò)中卷積層池化層搭配的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)。自動(dòng)化設(shè)計(jì)方式是指，采用神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方式，基于多目標(biāo)優(yōu)化約束自動(dòng)化設(shè)計(jì)網(wǎng)絡(luò)。(1)深度學(xué)習(xí)模型壓縮技術(shù)將現(xiàn)有神經(jīng)網(wǎng)絡(luò)模型部署在資源受限的實(shí)時(shí)嵌入式系統(tǒng)的主要挑戰(zhàn)之一是同時(shí)滿足嚴(yán)格的運(yùn)行時(shí)限要求和受限的SWaP(Size，Weight，andPower)要求[19]。該問(wèn)題尚未得到有效解決，近年來(lái)許多研究機(jī)構(gòu)從軟件層面研究復(fù)雜深度學(xué)習(xí)網(wǎng)絡(luò)的精簡(jiǎn)問(wèn)題，提出了一些輕量化的神經(jīng)網(wǎng)絡(luò)模型。DNN輕量化技術(shù)是指采用模型的近似化技術(shù)保證網(wǎng)絡(luò)輸出精度不損失或損失在可接受范圍內(nèi)的情況下，使得網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)參數(shù)盡可能的精簡(jiǎn)，實(shí)現(xiàn)系統(tǒng)模型的輕量化[20]。網(wǎng)絡(luò)模型近似操作常采用的三種方式是：模型壓縮、剪枝、矩陣分解。經(jīng)過(guò)模型近似技術(shù)處理過(guò)的模型稱為近似模型，該模型在許多實(shí)際環(huán)境中已被證明表現(xiàn)出足夠的精度[21]。模型近似操作的目標(biāo)是為了探索更高效的基礎(chǔ)架構(gòu)。已有的工作聚焦于剪枝、壓縮以及低比特方法來(lái)表示基本的網(wǎng)絡(luò)架構(gòu)。Denil等學(xué)者證明了深度學(xué)習(xí)模型的參數(shù)化存在明顯的冗余，并且參數(shù)值可以通過(guò)預(yù)測(cè)得到。在MNIST數(shù)據(jù)集上測(cè)試，該方法在最好情況下可以預(yù)測(cè)出多層神經(jīng)網(wǎng)絡(luò)的95%的參數(shù)，同時(shí)驗(yàn)證了網(wǎng)絡(luò)模型參數(shù)的冗余性。Han等學(xué)者提出使用10%的精度關(guān)鍵數(shù)據(jù)快速訓(xùn)練DNN，可以實(shí)現(xiàn)網(wǎng)絡(luò)98%的精度，這個(gè)結(jié)論再次證明了DNN網(wǎng)絡(luò)存在一定的冗余性，說(shuō)明了DNN模型壓縮技術(shù)具有一定的可行性。Han等學(xué)者嘗試將訓(xùn)練好的模型通過(guò)剪枝和權(quán)重共享增加權(quán)重稀疏性、降低存儲(chǔ)量的方法，使得神經(jīng)網(wǎng)絡(luò)的存儲(chǔ)需求減少35~49倍卻不損失網(wǎng)絡(luò)的準(zhǔn)確性。Jaderberg等學(xué)者嘗試使用降秩技術(shù)來(lái)加速卷積神經(jīng)網(wǎng)絡(luò)，并且在場(chǎng)景字符分類(lèi)數(shù)據(jù)集上訓(xùn)練的4層CNN精度下降不到1%，卻獲得了4.5倍的加速。Zhang等學(xué)者提出了一種多層逼近時(shí)減小累積誤差的算法，將非線性響應(yīng)的重構(gòu)誤差降至最小，并采用低秩約束來(lái)降低了濾波器的復(fù)雜度。ImageNet數(shù)據(jù)集上的標(biāo)準(zhǔn)測(cè)試結(jié)果表明，通過(guò)該算法壓縮SPPNet得到的加速模型比原SPPNet的推理速度快了4倍。雖然加速模型的top-5誤差率比原模型增加了0。9%，但是其推理精度相比AlexNet還是提高了4.7%。在DNN網(wǎng)絡(luò)參數(shù)的線性量化方面，二值化神經(jīng)網(wǎng)絡(luò)(BinaryNeuralNetwork，BNN)具有高模型壓縮率和快計(jì)算速度的潛在優(yōu)勢(shì)，近幾年格外受到重視，成為深度學(xué)習(xí)的熱門(mén)研究方向。二值化網(wǎng)絡(luò)的方法是通過(guò)將單精度浮點(diǎn)型權(quán)重矩陣二值化，其中一個(gè)權(quán)重值只用一個(gè)比特來(lái)表示。二值化方法根據(jù)權(quán)重值和激活函數(shù)值的符號(hào)決定在{+1，-1}取值，數(shù)值大于等于0則取+1，否則取為-1。對(duì)于原來(lái)32位浮點(diǎn)型數(shù)的乘加運(yùn)算，二值化之后的權(quán)重值和激活函數(shù)值可以通過(guò)一次異或運(yùn)算(xnor)和一次POPCNT位運(yùn)算指令實(shí)現(xiàn)。二值化方法在網(wǎng)絡(luò)模型的內(nèi)存消耗理論上能減少32倍，可以看出二值化神經(jīng)網(wǎng)絡(luò)在模型壓縮上具有很大的優(yōu)勢(shì)。研究二值化神經(jīng)網(wǎng)絡(luò)對(duì)解決當(dāng)前浮點(diǎn)型神經(jīng)網(wǎng)絡(luò)應(yīng)用到實(shí)時(shí)嵌入式系統(tǒng)中存在的模型過(guò)大，計(jì)算密度過(guò)高等問(wèn)題，具有很重大的意義。(2)神經(jīng)網(wǎng)絡(luò)輕量化設(shè)計(jì)然而上述在已訓(xùn)練模型上進(jìn)行因式分解和稀疏卷積技術(shù)沒(méi)有從根本上實(shí)現(xiàn)網(wǎng)絡(luò)的高效輕量化，研究者們從網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)出發(fā)，設(shè)計(jì)出了適用于移動(dòng)設(shè)備的輕量級(jí)神經(jīng)網(wǎng)絡(luò)。如表1.2所示，其中最早于2016年2月加州大學(xué)伯克利分校和斯坦福大學(xué)提出輕量化網(wǎng)絡(luò)SqueezeNet模型。該模型具有新的網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)降低大型卷積核的輸入通道數(shù)量，新的網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)了不同大小卷積核的通道連接來(lái)特征提取。同年10月份Google提出Xception模型。2017年4月，Google所提出的MobileNet模型具有一種新穎的卷積結(jié)構(gòu)。該卷積結(jié)構(gòu)的特點(diǎn)是在保證特征的非線性表示情況下，深度分離卷積式的卷積結(jié)構(gòu)，充分解耦了傳統(tǒng)卷積模型，將卷積分為深度卷積和逐點(diǎn)卷積。這種卷積改進(jìn)方式可以極大降低計(jì)算量和參數(shù)量，并且適配于移動(dòng)設(shè)備。2018年Google和Face++分別相繼發(fā)布MobileNetV2和ShuffleNetV2，兩個(gè)輕量化網(wǎng)絡(luò)均是在之前模型的改進(jìn)模型。輕量化網(wǎng)絡(luò)極大地降低了深度學(xué)習(xí)模型的參數(shù)量和計(jì)算量，同時(shí)在很大程度上保證了特征的高度抽象提取，在一定程度上保證了模型的精確度。表1.2輕量化網(wǎng)絡(luò)發(fā)展時(shí)間軸時(shí)間提出單位輕量化模型2016.02UCBerkeley&StanfordUniversitySqueezeNet2016.10GoogleXception2017.04GoogleMobileNet2017.07Face++ShuffleNet2018.01GoogleMobileNet2018.07Face++ShuffleNet實(shí)現(xiàn)輕量化網(wǎng)絡(luò)的技術(shù)方法主要包括：利用卷積核分解方法使用1×N網(wǎng)絡(luò)和N×1網(wǎng)絡(luò)代替N×N卷積核；輕量化網(wǎng)絡(luò)與傳統(tǒng)DNN網(wǎng)絡(luò)相比具有諸多優(yōu)點(diǎn)，網(wǎng)絡(luò)模型的精簡(jiǎn)有助于整個(gè)系統(tǒng)的優(yōu)化。比如，在分布式訓(xùn)練中，輕量化網(wǎng)絡(luò)與服務(wù)器通訊需求較小，由于網(wǎng)絡(luò)模型的參數(shù)少，從云端下載模型較快。在人工智能應(yīng)用的實(shí)時(shí)嵌入式系統(tǒng)中，硬實(shí)時(shí)不僅僅關(guān)注網(wǎng)絡(luò)推理時(shí)間，還必須關(guān)注網(wǎng)絡(luò)預(yù)測(cè)精度，因此，采用輕量化網(wǎng)絡(luò)給系統(tǒng)的減少了任務(wù)執(zhí)行時(shí)間，提高了系統(tǒng)性能。SqueezeNet模型和Alexnet模型在ImageNet數(shù)據(jù)集上的推理精度相當(dāng)，但是前者比后者的參數(shù)數(shù)量減少了50，并且SqueezeNet模型的尺寸小于0.5MB。3總結(jié)與展望隨著深度學(xué)習(xí)算法、嵌入式計(jì)算硬件、5G、物聯(lián)網(wǎng)的不斷發(fā)展，以深度學(xué)習(xí)為主要手段的人工智能技術(shù)必將在嵌入式應(yīng)用領(lǐng)域得到更加廣泛的應(yīng)用。因此，如何構(gòu)建可信人工智能系統(tǒng)已經(jīng)成為了學(xué)術(shù)界和工業(yè)界的一個(gè)研究熱點(diǎn)。本文對(duì)現(xiàn)有的面向?qū)崟r(shí)應(yīng)用的深度學(xué)習(xí)研究工作進(jìn)行了綜述，并從深層神經(jīng)網(wǎng)絡(luò)的輕量化設(shè)計(jì)出發(fā)綜述了近5年來(lái)的研究進(jìn)展。雖然學(xué)術(shù)界取得了一定的成果，但仍然存在一些問(wèn)題需要進(jìn)一步研究和完善。下面將總結(jié)這些具體問(wèn)題并展望進(jìn)一步的研究方向。DNN輕量化設(shè)計(jì)問(wèn)題:當(dāng)前對(duì)DNN的性能分析和優(yōu)化以實(shí)驗(yàn)為主要手段，缺少基于形式化的DNN任務(wù)建模與分析框架。在DNN輕量化的研究方面，缺乏描述精度和實(shí)時(shí)性之間權(quán)衡關(guān)系的量化表達(dá)方法，也沒(méi)有建立DNN輕量化技術(shù)的方法論。在DNN運(yùn)行框架方面，現(xiàn)有的主流框架如TensorFlow、Caffe等尚無(wú)法滿足實(shí)時(shí)系統(tǒng)對(duì)DNN任務(wù)運(yùn)行時(shí)間確定性的要求。針對(duì)這些問(wèn)題，需要進(jìn)一步研究DNN任務(wù)性能分析模型、DNN輕量化設(shè)計(jì)方法論、DNN實(shí)時(shí)運(yùn)行框架。其中實(shí)時(shí)框架的開(kāi)發(fā)涉及硬件、驅(qū)動(dòng)、庫(kù)、框架等多個(gè)層次，是個(gè)復(fù)雜的系統(tǒng)工程。參考文獻(xiàn)[1]McCullochWS,PittsW.Alogicalcalculusoftheideasimmanentinnervousactivity.Thebulletinofmathematicalbiophysics,1943,5(4):115–133.[2]RosenblattF.Theperceptron:aprobabilisticmodelforinformationstorageandorganizationinthebrain.PsychologicalReview,1958:65–386.[3]MinskyM,PapertS.Perceptrons-anintroductiontocomputationalgeometry.MITPress,1987.[4]SejnowskiTT.Thedeeplearningrevolution.MITPress,2018.[5]HintonGE.Learningdistributedrepresentationsofconcepts.8thAnnualConferenceoftheCognitiveScienceSociety.OxfordUniversityPress,1986:112.[6]DavidE.Rumelhart,GeoffreyE.HintonRJW.Learningrepresentationbyback-propagationerrors.Nature,1986,323:533–536.[7]KrizhevskyA,SutskeverI,HintonGE.ImageNetclassificationwithdeepconvolutionalneuralnetworks.PereiraF,BurgesCJC,BottouL,WeinbergerKQ.AdvancesinNeuralInformationProcessingSystems25.CurranAssociates,Inc.,2012:1097–1105.[8]ZhouZ.Machinelearning.TsinghuaUniversityPress(TUP),2016.[9]NielsenM.Neuralnetworksanddeeplearning.DeterminationPress,2015.[10]GoodfellowI,BengioY,CourvilleA.Deeplearning.MITPress,2016.[11]Caicloud,ZhengZYGS.TensorFlow:apracticalgoogledeeplearningframework.PublishingHouseofElectronicIndustry(PHEI),2017.[12]TensorFlow../.[13]PyTorch../.[14]Caffe../.[15]PengJT,LinJBX.In-depthunderstandingoftensorflowarchitecturedesignandimplementationprinciples.Posts&TelecomPress,2018.[16]GLC,SM,YG.Asurveyofhardware-acceleratedneuralnetworks.JournalofComputerResearchandDevelopment,2019:1–22.[17]FarabetC,MartiniB,CordaB,AkselrodP,CulurcielloE,LeCunY.NeuFlow:aruntimereconfigurabledataflowprocessorforvision.IEEEConferenceonComputerVisionandPatternRecognition(CVPR