計算機行業(yè)深度學(xué)習(xí)算法發(fā)展：從多樣到統(tǒng)一

211220220320220620220920211220220320220620220920券研究報告計算機組計算機行業(yè)研究買入(維持評級)買入行業(yè)深度研究市場數(shù)據(jù)(人民幣)17343954316822102046 國金行業(yè)滬深300相關(guān)報告新四化”，龍頭布局時-計算機5.《金融科技板塊21年報及22Q1梳理-深度學(xué)習(xí)算法發(fā)展：從多樣到統(tǒng)一投資建議1行業(yè)策略：深度學(xué)習(xí)的三要素包括算法、數(shù)據(jù)和算力，本文主要對算法的演進歷程進行了回顧，認(rèn)為深度學(xué)習(xí)底層算法被統(tǒng)一為Transformer之后發(fā)展放緩；而算法的行業(yè)落地應(yīng)用、大數(shù)據(jù)的生成與處理、高算力芯片成為重點發(fā)展方向。1推薦組合：建議關(guān)注受益于人工智能算法進步，并能成功實現(xiàn)商業(yè)化應(yīng)用的?？低?、科大訊飛、中科創(chuàng)達、商湯科技等公司，以及關(guān)注可提供大算力行業(yè)觀點1神經(jīng)網(wǎng)絡(luò)的發(fā)展以Relu激活函數(shù)的提出為分水嶺，可分為淺層神經(jīng)網(wǎng)絡(luò)和題，在這個問題未被妥善解決之前，神經(jīng)網(wǎng)絡(luò)受限于激活函數(shù)梯度過大或過小、以及神經(jīng)元全連接對高算力的要求，因此應(yīng)用性能不佳，而屬于非神經(jīng)網(wǎng)絡(luò)的支持向量機(SVM)是當(dāng)時解決人工智能模式識別的主流方法。1過去10年，深度學(xué)習(xí)經(jīng)歷了從多樣化發(fā)展到融合統(tǒng)一的階段。深度學(xué)習(xí)時此后深度學(xué)習(xí)算法和應(yīng)用的發(fā)展均突飛猛進。最初卷積神經(jīng)網(wǎng)絡(luò)(CNN)通分類等任務(wù)；循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)通過對時序信息的提取，擅長文字、語音識別和理解等任務(wù)。Transformer的提出讓深度學(xué)習(xí)進入了多模態(tài)時代。由于Transformer在大1深度學(xué)習(xí)底層算法發(fā)展放緩，數(shù)據(jù)無監(jiān)督學(xué)習(xí)、數(shù)據(jù)生成以及高算力芯片成絡(luò)來進行分支網(wǎng)絡(luò)的創(chuàng)新。如OpenAI在多模態(tài)主干網(wǎng)絡(luò)CLIP的基礎(chǔ)上引入擴散模型，即訓(xùn)練出能完成語義圖像生成和編輯的DALL〃E2，引發(fā)GPT網(wǎng)用戶的注意。但隨著Transformer基本完成底層算法統(tǒng)一之后，整個行業(yè)Transformer對大數(shù)據(jù)的需求，催生了無監(jiān)督學(xué)習(xí)、高算力芯片的發(fā)展。風(fēng)險提示件使用受限；骨干網(wǎng)絡(luò)創(chuàng)新放緩；應(yīng)用落地不及預(yù)期王倩雯孟燦wangqianwen＠m(xù)engcan＠明研究-2-明內(nèi)容目錄 圖表目錄 CLIP..................11研究-3-明 研究深度學(xué)習(xí)的三要素包括算法、數(shù)據(jù)和算力，本文主要對算法的演進過程進行了個階段。1在淺層神經(jīng)網(wǎng)絡(luò)階段，最重要的任務(wù)就是解決梯度不穩(wěn)定的問題。在這個問題未被妥善解決之前，神經(jīng)網(wǎng)絡(luò)應(yīng)用性能不佳，而屬于非神經(jīng)網(wǎng)絡(luò)的支持向量機算法(SVM)是解決人工智能模式識別的主流方法。12011年Relu激活函數(shù)被提出、梯度消失問題被大幅緩解之后，神經(jīng)網(wǎng)絡(luò)進入深度學(xué)習(xí)時代，算法和應(yīng)用的發(fā)展均突飛猛進。最初CNN、RNN等er目前深度學(xué)習(xí)算法主要是基于Transformer骨干網(wǎng)絡(luò)進行分支網(wǎng)絡(luò)的創(chuàng)新，如強化學(xué)習(xí)等方法。整個行業(yè)算法發(fā)展速度放緩，靜待骨干網(wǎng)絡(luò)1.感知機：第一個神經(jīng)網(wǎng)絡(luò)att單層的神經(jīng)網(wǎng)絡(luò)模型，由輸入值、權(quán)重、求和函數(shù)及激活函數(shù)三部分組成。整個模型對輸入值進行有監(jiān)督學(xué)習(xí)，權(quán)重部分是可訓(xùn)練參數(shù)；將對應(yīng)輸入與權(quán)重相乘求和，得到的求和值與常數(shù)比對，判斷是否觸發(fā)激活函數(shù)，最終依據(jù)輸出1感知機提出了用神經(jīng)網(wǎng)絡(luò)模型解決人工智能任務(wù)。但作為神經(jīng)網(wǎng)絡(luò)模型的存在以下問題：2)感知機只能處理線性可分?jǐn)?shù)據(jù)，無法處理線性不可分的數(shù)據(jù)，而線性不可分?jǐn)?shù)據(jù)是現(xiàn)實世界中的常態(tài)。該嚴(yán)重缺陷由Minsky于1969年提圖表1：感知機二元分類過程圖表2：數(shù)據(jù)的線性可分性2.多層感知機與BP算法——神經(jīng)網(wǎng)絡(luò)的再興起2.1多層感知機解決了多元分類問題20世紀(jì)80年代，多層感知機(MLP)被提出。模型由輸入層、輸出層和至少一層的隱藏層構(gòu)成，是一種全連接神經(jīng)網(wǎng)絡(luò)，即每一個神經(jīng)元都會和上下兩層所有的神經(jīng)元相連接。各隱藏層中的神經(jīng)元可接收相鄰前序隱藏層中神經(jīng)元傳-4-明研究-5-明1)解決了感知機的二元分類問題：引入隱藏層，并采用非線性激活函數(shù)1多層感知機的發(fā)展受到算力限制。由于多層感知機是全連接神經(jīng)網(wǎng)絡(luò)，所需算力隨著神經(jīng)元的增加呈幾何增長。而在算力相對匱乏20世紀(jì)80年代，算力瓶頸阻礙了多層感知機的進一步發(fā)展。2.2BP算法：神經(jīng)網(wǎng)絡(luò)訓(xùn)練的基本算法整。性激活函數(shù)應(yīng)用廣泛，而這兩種激活函數(shù)都存在一定范圍內(nèi)梯度過大或過的問題。神經(jīng)網(wǎng)絡(luò)停留在淺層時，連乘次數(shù)少、梯度較為穩(wěn)定；而當(dāng)神因此，有效緩解梯度不穩(wěn)定現(xiàn)象是神經(jīng)網(wǎng)絡(luò)向深層次邁進前必須解決的問題。常訓(xùn)練og研究3.淺層神經(jīng)網(wǎng)絡(luò)在多應(yīng)用領(lǐng)域各自演進多層感知機的出現(xiàn)奠定了神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)，也使得神經(jīng)網(wǎng)絡(luò)的應(yīng)用范圍不再局限于圖像識別，而是向自然語言處理、語音識別等其他領(lǐng)域拓展。由于各個領(lǐng)域的任務(wù)具有不同特點，神經(jīng)網(wǎng)絡(luò)產(chǎn)生了眾多分支模型。這一階段分支網(wǎng)絡(luò)探索各自領(lǐng)域的任務(wù)特點，通過機制創(chuàng)新使神經(jīng)網(wǎng)絡(luò)獲得對應(yīng)的特征提取能人類在進行圖像識別時，能夠從細小的特征推理得知事物的全貌，即“窺一斑因此丟失了圖像的空間特征信息。為了使神經(jīng)網(wǎng)絡(luò)獲得從特征到全局的圖像識NN卷積層對特征進行提取和壓縮，得到較為可靠的高層次特征，最終輸出的特征進行卷積操作提取關(guān)鍵特征。卷積核的尺寸比輸入圖像小得多，無需像多層感知機一樣學(xué)習(xí)完整圖2)池化層：對特征進行約減，從而提取主要特征，比如將卷積層的輸出劃分為若干矩形區(qū)域，取各區(qū)域的平均值或最大值，從而簡化網(wǎng)絡(luò)計3)全連接層：對提取到的特征進行匯總，將多維的特征映射為二維輸出。圖表5：卷積神經(jīng)網(wǎng)絡(luò)典型結(jié)構(gòu)圖表6：卷積的實質(zhì)是提取關(guān)鍵特征2)圖像識別能力增強：利用卷積思想，使神經(jīng)網(wǎng)絡(luò)具備了局部特征提取3)平移不變性：由于卷積核會在輸入圖像上滑動，所以無論被檢測物體。聯(lián)系上下文進行輔助理解。在多層感知機時代，所有的輸入彼此獨立，模型僅。為了使神經(jīng)網(wǎng)絡(luò)獲得時序信息提取能力，1986年循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)被提信息、也接受上一時刻神經(jīng)元的輸出信息，使神經(jīng)網(wǎng)絡(luò)具備了時序特征提取能-6-明研究-7-明3.3支持向量機：深度學(xué)習(xí)出現(xiàn)之前的主流算法支持向量機(SVM)是傳統(tǒng)機器學(xué)習(xí)中最重要的分類算法之一，作為有監(jiān)督的分類器，其核心思想與感知機類似，但對目標(biāo)函數(shù)進行了改進：目標(biāo)函數(shù)：錯誤分類點到超平面的距離之和最小化。1支持向量機目標(biāo)函數(shù)：支持向量(距離超平面最近的正反例)到超平面的數(shù)不同Vapnik90年代經(jīng)過多次模型和算法改進，能夠解決感知機的線性不可分和多元分類等缺陷，并可應(yīng)用于理論提出者理論提出者理理論內(nèi)容Vapnik等在解決模式識別問題時提出支持向量方法構(gòu)造基于支持向量構(gòu)建核空間的方法，可用于解決線性不可分問題Yang等將支持向量方法用于人體動作識別，最高準(zhǔn)確度達96.05%Vapnik等提出“Chunking”的塊算法，正式命名為“支持向量機”，并將其用于手寫數(shù)字識別研究-8-明Blanz等將SVM用于物體識別dt將SVM用于說話人識別Osuna等提出分解算法，并將SVM用于人臉識別s將SVM用于文本識別Weston等構(gòu)造多值分類模型，可用SVM處理多元分類任務(wù)將SVM應(yīng)用于基因表達微陣列數(shù)據(jù)分類AtutorialonsupportvectormachinesforpatternrecognitionBurges98)，《Molecularclassificationofcancer:classdiscoveryandclasspredictionbygeneexpressionmonitoring》(Golub等，由于支持向量機方法基本上不涉及概率測度及大數(shù)定律，具有更嚴(yán)格的理論和數(shù)學(xué)基礎(chǔ)，因而擁有泛化能力強、收斂到全局最優(yōu)、維數(shù)不敏感等優(yōu)點。作為更高的精度，是解決人工智能任務(wù)的主流方法。支持向量機的最大瓶頸在于不適合進行多維度和大樣本訓(xùn)練。其本質(zhì)是借助二次規(guī)劃獲得最優(yōu)解，當(dāng)樣本量過大時會極大增加機器內(nèi)存和運算時間。4.梯度消失問題的解決使神經(jīng)網(wǎng)絡(luò)向深層邁進4.1逐層無監(jiān)督是深度學(xué)習(xí)的初次探索Hinton是深度Hinton，深度學(xué)習(xí)方法在學(xué)術(shù)界引起了巨大的反響，但由于此時模型的應(yīng)用表現(xiàn)較為一般，因此深度學(xué)習(xí)tsHinton4.2ReLu激活函數(shù)的提出開啟了深度學(xué)習(xí)時代研究Lu入值進行有監(jiān)督學(xué)習(xí)(摒棄了此前的逐層無監(jiān)督方法)、并采用GPU對訓(xùn)et來源：PaddleEdu，國金證券研究所nKaimingHet由于殘差學(xué)習(xí)能很好地緩解梯度消失問題，在之后的Transformer架構(gòu)中5.Transformer統(tǒng)一了各任務(wù)底層算法，開啟多模態(tài)和大模型時代2017年，Google將注意力機制引入神經(jīng)網(wǎng)絡(luò)，提出了新一代深度學(xué)習(xí)底層算率超過CNN、RNN等傳統(tǒng)算法，且能應(yīng)用于CV、NLP等多個模態(tài)，因而RNN采用并行計算加速-9-明研究-10-明圖表13：Transformer示意圖1由于在處理大數(shù)據(jù)方面具備顯著優(yōu)勢，Transformer的出現(xiàn)開啟了深度學(xué)習(xí)的“大模型”時代。如OpenAI發(fā)布的GPT-3，該模型在多個任務(wù)中都取得了第一的成績，而其在算法結(jié)構(gòu)上與前代的GPT、GPT-2沒有明顯差別，最大的區(qū)別是采用海量數(shù)據(jù)進行模型訓(xùn)練，生動地詮釋了“大就是好”圖表14：GPT系列模型參數(shù)呈指數(shù)級增長模型名稱發(fā)布時間參數(shù)量/億訓(xùn)練數(shù)據(jù)大小/GB算力消耗/pfs-day2018年6月5962019年2月4042020年5月45,000,640as這標(biāo)志著自然語言處理、計算機視覺兩個最重要的深度學(xué)習(xí)領(lǐng)域?qū)崿F(xiàn)了底統(tǒng)一。ViT的核心思想是把圖像當(dāng)作文本處理，即將完整的圖像劃分為若干各個小塊，把各個小塊視為詞語，把各個小塊構(gòu)成的完整圖像視為語句，在此基礎(chǔ)之上進行神經(jīng)網(wǎng)絡(luò)訓(xùn)練。ViT型將圖像當(dāng)作文本進行處理來源：《AnImageisWorth16x16Words:TransformersforImageRecognitionatScale》(Dosovitskiy等，研究明1)計算量降低：注意力機制的引入使得神經(jīng)網(wǎng)絡(luò)可以將有限算力應(yīng)用于的空間依賴關(guān)系，能夠依靠多個局部特征之間的空間關(guān)系輔助推理，和局部感知性，因而需要更大的訓(xùn)練樣本獲得對局部特征的學(xué)習(xí)。在SwinTransformer成為目前通用ViT終進行16*16patch的全局建模不同，每層Swin操作，用于縮小分辨率，有效地降低了模型的計算復(fù)雜度。目前SwinTransformer在圖像分類、語義分割、目標(biāo)識別等領(lǐng)域均刷新了最優(yōu)記錄。圖表16：每層SwinTransformer之間進行了類似CNN的patchmerging來源：《SwinTransformer:HierarchicalVisionTransformerusingShiftedWindows》(ZeLiu等，2021)，國金證券研究所6.探索多模態(tài)主干網(wǎng)絡(luò)ViT開啟多模態(tài)時代之后，學(xué)術(shù)界開始嘗試使用圖像以及其對應(yīng)的文本信息對訓(xùn)練，優(yōu)點在于使神經(jīng)網(wǎng)絡(luò)不僅關(guān)注特征之間的空間聯(lián)系，而且還會關(guān)注特征之間的語義聯(lián)系，使得神經(jīng)網(wǎng)研究-12-明閱讀理解等經(jīng)典自然語言處理任務(wù)。其主要目的是通過引入文本信息幫助神經(jīng)網(wǎng)絡(luò)更好地完成傳統(tǒng)視覺任務(wù)，并且使神經(jīng)網(wǎng)絡(luò)能夠處理圖文檢索、語義圖像生成、語義圖像編輯等跨模態(tài)任務(wù)，拓寬深度學(xué)習(xí)能夠面向的下域。圖表18：目前主流的多模態(tài)主干網(wǎng)絡(luò)公司發(fā)布時間模型名稱多模態(tài)任務(wù)OpenAI2021年1月圖文檢索、地理定位、視頻動作識別微軟2021年8月視覺推理、視覺問答、圖像描述、圖文檢索探索Transformer時代的分支網(wǎng)絡(luò)Transformer統(tǒng)一了多模態(tài)、多任務(wù)的骨干網(wǎng)絡(luò)，這也使得其分支網(wǎng)絡(luò)數(shù)量相對較少，往往是“Transformer+其他現(xiàn)有算法”的形式，學(xué)術(shù)界算法創(chuàng)新速度放緩。人工智能生成內(nèi)容(AIGC)是指由人工智能進行創(chuàng)意創(chuàng)作，主要包括文學(xué)創(chuàng)作、代碼生成、圖像生成、視頻生成等。其中文學(xué)創(chuàng)作和代碼生成屬于單一模態(tài)任務(wù)、難度較低，基于Transformer主干網(wǎng)絡(luò)建立的大規(guī)模語言模型即可較好地適應(yīng)這類任務(wù)。而圖像生成、視頻生成等任務(wù)難度較高，僅靠Transformer主合而成的分支網(wǎng)絡(luò)。1擴散模型是一種圖像生成方法，其核心思想是污染與重構(gòu)。擴散模型最早擴散模型在訓(xùn)練時包括前向擴散和反向生成過程兩個階段。在前向擴散過程中，高斯噪音被逐步添加至圖像中，直到圖像成為完全隨機噪聲；在反向生成過程中，模型在每一個時間節(jié)點對噪聲的概率分布進行預(yù)測，并嘗ienceDALLE。該模型能夠完成語義圖像生成、語義圖像編輯、圖像風(fēng)格遷移等多種任務(wù)，而用戶無需任何計算機知識，研究-13-明圖表20：DDPM在AIGC領(lǐng)域的前沿成果公司公司發(fā)布時間發(fā)布時間模型名稱多模態(tài)任務(wù)OpenAI2022年4月語義圖像生成2022年8月語義圖像編輯2022年9月語義視頻生成/編輯、圖像視頻生成a基于強化學(xué)習(xí)方法訓(xùn)練得到的。圖表21：強化學(xué)習(xí)模型示意：清華大數(shù)據(jù)軟件團隊公眾號，國金證券研究所個基于InstructGPT模型，能通過與人類互動進行強化學(xué)習(xí)的語言網(wǎng)絡(luò)。相較GPTInstructGPTRLHF)的RLHF是強化學(xué)習(xí)的一種，其核心思想是將人類提供的范例作為學(xué)習(xí)目標(biāo)，當(dāng)RLHF優(yōu)點是能夠幫助模型后續(xù)迭代升級。隨著ChatGPT免費開放給公眾使用，廣大用戶形成的對話資料在經(jīng)過數(shù)據(jù)處理后，將成為最好的訓(xùn)練數(shù)據(jù)，助力模型智能水平進提升。8.小結(jié)及投資建議深度學(xué)習(xí)的三要素包括算法、數(shù)據(jù)和算力，本文主要對算法的演進過程進行了1在淺層神經(jīng)網(wǎng)絡(luò)階段，最重要的任務(wù)就是解決梯度不穩(wěn)定的問題。在這個問題未被妥善解決之前，神經(jīng)網(wǎng)絡(luò)應(yīng)用性能不佳，而屬于非神經(jīng)網(wǎng)絡(luò)的支持向量機算法(SVM)是解決人工智能模式識別的主流方法。12011年Relu激活函數(shù)被提出、梯度消失問題被大幅緩解之后，神經(jīng)網(wǎng)絡(luò)發(fā)展均突飛猛進。最初CNN、RNN等er目前深度學(xué)習(xí)算法主要是基于Transformer骨干網(wǎng)絡(luò)進行分支網(wǎng)絡(luò)的創(chuàng)新，如引入擴散模型、強化學(xué)習(xí)等方法催生出AIGC、ChatGPT等應(yīng)用熱點。但隨著Transformer基本完成底層算法統(tǒng)一之后，整個行業(yè)底層算法發(fā)展速度放緩，靜待骨干網(wǎng)絡(luò)的下一次突破。同時基于Transformer對大數(shù)據(jù)的需求，催生了研究-14-明段經(jīng)典模型梳理時代模型核心思想優(yōu)點缺點1958年通過激活函數(shù)進行二神經(jīng)網(wǎng)絡(luò)發(fā)展的起點無法處理多維線性不可980s引入隱藏層及非線性可擬合非線性函數(shù)，處理所有輸入彼此獨立，缺1986年每個神經(jīng)元既接受當(dāng)時刻神經(jīng)息解決了時序信息的丟失問計算量大大降低準(zhǔn)確率待提升，尤其是CNNLeNet1998年通過多個卷積層對特高層次特征解決了空間信息的丟失問計算量大大降低準(zhǔn)確率待提升，尤其是NLP-2006年用逐層無監(jiān)督初始化緩解梯度消失問題實際應(yīng)用表現(xiàn)一般2012年CNN+ReLu激活函值有監(jiān)督學(xué)GPU練訓(xùn)練速度提升NLP表現(xiàn)不佳former-2017年引入注意力機制，對賦予不同的權(quán)重開啟了大模型時代，可并大數(shù)據(jù)，訓(xùn)練時間加強了對時序特征的提取缺少平移不變性和局部要更大的訓(xùn)不能處理圖像識別問題2020年分割圖像當(dāng)作文本處理計算量降低需要更大的訓(xùn)練樣本2020年前向逐步添加高斯噪程布模型穩(wěn)定、數(shù)據(jù)生成更加訓(xùn)練和推理速度慢truct2021年與人類互動進行強化訓(xùn)練數(shù)據(jù)更真實，輸出接投資建議：建議關(guān)注受益于人工智能算法進步，并能成功實現(xiàn)商業(yè)化應(yīng)用的?？低?、大華股份、科大訊飛、中科創(chuàng)達、商湯科技、四維圖新、虹軟科技等9.風(fēng)險提示海外基礎(chǔ)軟硬件使用受限若因國際關(guān)系等原因，高算力GPU等基礎(chǔ)硬件或計算框架等基礎(chǔ)軟件使骨干網(wǎng)絡(luò)創(chuàng)新放緩應(yīng)用落地不及預(yù)期若相關(guān)應(yīng)用公司不能找到人工智能算法較好的商業(yè)應(yīng)用落地場景，或相關(guān)研究-15-明研究-16-明公司投資評級的說明：行業(yè)投資評級的說明：研究-17-明特別聲明：本報告版權(quán)歸“國金證券股份有限公司”(以下簡稱“國金證券”)所有，未經(jīng)事先書面授權(quán)，任何機構(gòu)和個人均不