【深度神經(jīng)網(wǎng)絡(luò)相關(guān)算法介紹2900字】VIP

深度神經(jīng)網(wǎng)絡(luò)相關(guān)算法介紹綜述目錄TOC\o"1-3"\h\u12156深度神經(jīng)網(wǎng)絡(luò)相關(guān)算法介紹綜述 1253301.1深度神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介 1234401.2卷積神經(jīng)網(wǎng)絡(luò) 1319081.2.1卷積層 2278511.2.2池化層 214411.3循環(huán)神經(jīng)網(wǎng)絡(luò) 353621.4長(zhǎng)短期記憶網(wǎng)絡(luò) 5226461.4.1遺忘門 6319241.4.2輸入門 7148561.4.3輸出門 8247181.4.4LSTM總結(jié) 91.1深度神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介人工神經(jīng)網(wǎng)絡(luò)的起源可以追溯到上世紀(jì)四十年代。1943年代科學(xué)家們美從生物神經(jīng)網(wǎng)絡(luò)的工作機(jī)制當(dāng)中獲得啟發(fā)，提出了MP模型，后來又有科學(xué)家在其基礎(chǔ)上提出一種前饋神經(jīng)網(wǎng)絡(luò)。其結(jié)構(gòu)較為簡(jiǎn)單，只有輸入層和輸出層，但是已經(jīng)具備了自動(dòng)學(xué)習(xí)權(quán)重，損失函數(shù)，梯度下降算法，優(yōu)化器等當(dāng)下神經(jīng)網(wǎng)絡(luò)的主要思想。感知機(jī)相當(dāng)于生物神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元，通常以實(shí)數(shù)值向量作為輸入，計(jì)算這些輸入的線性組合。神經(jīng)網(wǎng)絡(luò)就由這些感知機(jī)所組成，單個(gè)感知機(jī)就構(gòu)成了最簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)。后來的神經(jīng)網(wǎng)絡(luò)在輸入層和輸出層之間加入了隱藏層。加入了多層隱藏層之后就產(chǎn)生了后來的深度神經(jīng)網(wǎng)絡(luò)。1.2卷積神經(jīng)網(wǎng)絡(luò)上世紀(jì)六十年代科學(xué)家們從貓的腦皮層結(jié)構(gòu)中得到靈感，設(shè)計(jì)了卷積神經(jīng)網(wǎng)絡(luò)模型（ConvolutionalNerualNetworks，CNN）。CNN是一種基于卷積計(jì)算的神經(jīng)網(wǎng)絡(luò)，主要用來識(shí)別具有類似網(wǎng)格結(jié)構(gòu)的二維圖形。CNN在計(jì)算機(jī)視覺領(lǐng)域取得了優(yōu)秀的成果，后來也逐漸被移植到情感分析中來。CNN的神經(jīng)元之間是非全連接的，這一點(diǎn)和人的生物神經(jīng)網(wǎng)絡(luò)類似。非全連接的結(jié)構(gòu)使其具有局部相關(guān)性，即某些相近神經(jīng)元之間的權(quán)重是共享的。這種特點(diǎn)有效降低了參數(shù)的規(guī)模和模型復(fù)雜度[7]。完整的CNN網(wǎng)絡(luò)結(jié)構(gòu)包含若干交替存在的卷積層和池化層，最后和全連接層相連。其是一種監(jiān)督學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，CNN通過卷積層提取特征，提取后的特征和其他特征的位置關(guān)系是確定的。每個(gè)卷積層后面緊跟一個(gè)池化層來進(jìn)行特征映射。1.2.1卷積層卷積是一種局部操作，其執(zhí)行的工作是將輸入層和權(quán)重矩陣進(jìn)行卷積運(yùn)算，通常還會(huì)設(shè)置偏置來增強(qiáng)模型的擬合能力。卷積計(jì)算過程如圖3-1所示，左邊是輸入層的特征圖，最外層灰色的區(qū)域是填充部分，邊界填充能使得原本的邊界特征得到充分利用。圖中設(shè)置的卷積核大小為3x3，步長(zhǎng)是窗口每次移動(dòng)的格數(shù)。卷積尺寸越小，步長(zhǎng)越小，對(duì)特征圖的特征提取就越精細(xì)[8]。中間兩層為濾波器，由權(quán)重矩陣所組成。執(zhí)行卷積操作時(shí)窗口在輸入的特征圖上進(jìn)行滑動(dòng)，并和濾波器中的權(quán)重矩陣進(jìn)行計(jì)算，輸出結(jié)果到對(duì)應(yīng)的位置中。圖3-1卷積層計(jì)算過程1.2.2池化層經(jīng)過卷積運(yùn)算之后的矩陣要經(jīng)過池化處理。池化層的作用是壓縮特征圖，常用的方法有最大池化和平均池化。池化層所作的只是篩選和過濾，不包含計(jì)算，可以降低網(wǎng)絡(luò)模型的復(fù)雜度，同時(shí)提高模型的魯棒性。如圖3-2所示是最大池化處理，選取一片區(qū)域內(nèi)的最大特征值，其最大優(yōu)點(diǎn)是其不變性，此區(qū)域的其他值如果有微小的移動(dòng)變化，池化后的結(jié)果依然保持不變。池化層之后是全連接層。前面說到CNN的神經(jīng)元之間的非全連接的，但是最終的輸出元素仍是通過所有輸入元素進(jìn)行線性計(jì)算得到的，因此通常我們也把它叫做全連接層。在全連接層中，前面提取到的所有特征會(huì)被綜合起來，相當(dāng)于對(duì)特征進(jìn)一步的提純，方便最后的分類器進(jìn)行分類。圖3-2最大池化過程1.3循環(huán)神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeraulNetworks，RNN）的出現(xiàn)本身就是為了解決傳統(tǒng)深度神經(jīng)網(wǎng)絡(luò)無法對(duì)時(shí)間序列變化做出反應(yīng)的問題，因此其很擅長(zhǎng)處理序列化信息，包括時(shí)間序列和結(jié)構(gòu)序列。由于RNN的這種特性，使它成為處理自然語言最自然的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。RNN的結(jié)構(gòu)比較特殊，其展開是一個(gè)鏈?zhǔn)浇Y(jié)構(gòu)。不同于傳統(tǒng)深度神經(jīng)網(wǎng)絡(luò)或者卷積神經(jīng)網(wǎng)絡(luò)，RNN的隱藏層是相互連接的，上一層的權(quán)重值會(huì)傳遞到下一層進(jìn)行計(jì)算更新，每一層的輸出都會(huì)輸入到下一個(gè)隱藏層，影響下一層的輸出[9]。圖3-3RNN展開結(jié)構(gòu)圖如圖3-3是RNN的展開結(jié)構(gòu)圖，RNN是按照時(shí)間進(jìn)行傳遞的，每個(gè)時(shí)刻的輸入都會(huì)結(jié)合當(dāng)前模型狀態(tài)進(jìn)行計(jì)算然后輸出，然后選擇最后一層的輸出結(jié)果。圖3-4循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)的整體結(jié)構(gòu)如圖3-4所示，首先輸入向量x和權(quán)重矩陣U運(yùn)算后進(jìn)入隱藏層s。在隱藏層數(shù)據(jù)有兩種傳遞方向，一種是經(jīng)過權(quán)重矩陣V到達(dá)輸出層，這是神經(jīng)網(wǎng)絡(luò)中最基本的處理流程。除此以外，還有另一個(gè)權(quán)重矩陣W，W在隱藏層之間傳遞，是為了對(duì)隱藏層上次的權(quán)重進(jìn)行更新，然后作為下次輸入權(quán)重的一部分。RNN在任意時(shí)刻的權(quán)重參數(shù)都是共享的，因此具有聯(lián)系上下信息之間關(guān)系的能力。但由于梯度消失和梯度爆炸的存在，其很難保持長(zhǎng)時(shí)間的記憶，不能解決長(zhǎng)時(shí)期依賴的問題[10]。1.4長(zhǎng)短期記憶網(wǎng)絡(luò)上面的介紹中講到，RNN可以挖掘到數(shù)據(jù)的語義信息和時(shí)序信息，根據(jù)過去的信息來理解當(dāng)前時(shí)刻，考慮到前后信息的相關(guān)性。但是由于梯度消失的原因，對(duì)于間隔跨度較大的前后信息，RNNs則不能捕捉到其中的聯(lián)系，即長(zhǎng)時(shí)間依賴（long-termdependency）的問題。在此基礎(chǔ)上Hochreiter&Schmidhuber(1997)提出提出了LSTM（LongShort-TermMemory，LSTM），其針對(duì)的就是長(zhǎng)時(shí)間依賴的問題。圖3-5和圖3-6是RNN和LSTM的展開結(jié)構(gòu)對(duì)比。LSTM本質(zhì)仍是一種循環(huán)神經(jīng)網(wǎng)絡(luò)，結(jié)構(gòu)與標(biāo)準(zhǔn)RNN類似，仍是將上一層的輸出作為下一層的輸入。在標(biāo)準(zhǔn)RNN中，神經(jīng)元內(nèi)部的結(jié)構(gòu)非常簡(jiǎn)單，每個(gè)神經(jīng)元有兩個(gè)輸入，上個(gè)神經(jīng)元傳來的t-1時(shí)刻的狀態(tài)信息ht-1和當(dāng)前時(shí)刻的輸入xt，和權(quán)重聚合之后經(jīng)過激活函數(shù)tanh輸出當(dāng)前時(shí)刻的狀態(tài)信息[11]。LSTM在其基礎(chǔ)上增添了門結(jié)構(gòu)，內(nèi)部神經(jīng)元結(jié)構(gòu)如圖3-7所示，增添了遺忘門，輸入門和輸出門。通過門來控制狀態(tài)信息，使LSTM具備選擇性記憶和遺忘的能力，從而具備長(zhǎng)時(shí)間的記憶。各個(gè)門的作用分別為：遺忘門：控制上一個(gè)神經(jīng)元的信息有多少會(huì)被保存到當(dāng)前神經(jīng)元中。輸入門：控制輸入神經(jīng)元的信息比重。輸出門：控制輸出到隱藏狀態(tài)的信息比重。圖3-5RNN內(nèi)部結(jié)構(gòu)圖3-6LSTM展開結(jié)構(gòu)圖3-7LSTM神經(jīng)元結(jié)構(gòu)1.4.1遺忘門圖3-8細(xì)胞狀態(tài)傳輸通道相比于RNN結(jié)構(gòu)，LSTM神經(jīng)元中多出來的那條貫穿整個(gè)神經(jīng)元的橫線就是最關(guān)鍵的部分，如圖3-8所示。它代表的是細(xì)胞的狀態(tài)。輸入的Ct-1在神經(jīng)元中實(shí)際上只進(jìn)行了少量的線性交互。信息在其上面?zhèn)鬏斈茏龅介L(zhǎng)時(shí)間的保留。這條橫線結(jié)構(gòu)只承載信息，對(duì)信息的控制則通過門結(jié)構(gòu)來實(shí)現(xiàn)。圖3-9遺忘門遺忘門是LSTM模型算法中特有的一種結(jié)構(gòu)，如圖3-9所示。這部分的作用是決定哪些信息被保存，哪些信息需要被丟棄。激活函數(shù)sigmoid層的作用是加入非線性因素，增強(qiáng)模型的表達(dá)能力。輸入的ht-1和xt和權(quán)重矩陣聚合，bf是偏置，表示接受的誤差范圍，之后經(jīng)過sigmoid層輸出一個(gè)0~1之間的向量，“0”和“1”分別代表“丟棄所有信息”和“保留所有信息”，所以得到的這個(gè)輸出向量就代表保留信息的比重。1.4.2輸入門圖3-10輸入門神經(jīng)元中輸入門的部分如圖3-10所示，其作用是更新信息，輸入們層中同樣用到sigmoid層對(duì)輸入ht-1和xt進(jìn)行處理獲得輸入狀態(tài)it。tanh層則是生成向量EQ\*jc0\*"Font:TimesNewRoman"\*hps12\o\ad(\s\up11(~),C)t，其是一個(gè)備用更新的內(nèi)容，我們用它來和輸入狀態(tài)it結(jié)合起來，對(duì)細(xì)胞狀態(tài)進(jìn)行更新。圖3-11狀態(tài)更新更新過程如圖3-11所示，我們將上個(gè)細(xì)胞的狀態(tài)Ct-1與遺忘門中輸出的ft進(jìn)行矩陣元素相乘，忘記不想保留的信息，加上輸入狀態(tài)it和備用更新信息C^t的乘積，這部分乘積即是新的需要添加的內(nèi)容，得到最終更新后當(dāng)前時(shí)刻的細(xì)胞狀態(tài)Ct。1.4.3輸出門圖3-12輸出門圖3-12展示了輸出門的結(jié)構(gòu)，和前兩步一樣，輸出層同樣需要用到sigmoid層處理的一個(gè)輸出比重，在這里是ot。之前計(jì)算得到的當(dāng)前時(shí)刻的細(xì)胞狀態(tài)Ct經(jīng)過tanh層進(jìn)行非線性操作，輸出一個(gè)-1和1之間的數(shù)值。將這個(gè)輸出和ot進(jìn)行權(quán)重矩陣相乘，決定最終被輸出的信息。得到最終的結(jié)果ht。1.4.4LSTM總結(jié)綜上所述，LSTM的核心運(yùn)算由以下幾個(gè)公式概括：ft=σ（Wf?[ht-1，xt]+bf）it=σ（Wi?[ht-1，xt]+bi）EQ\*jc0\*"Font:TimesNe