深度學(xué)習(xí)筆記

1、1 DNN（深度神經(jīng)網(wǎng)絡(luò)） 1. 深度學(xué)習(xí)是以含有兩個以上隱含層的神經(jīng)網(wǎng)絡(luò)對輸入進行非線性變換或者表示學(xué)習(xí)的 技術(shù)。深度學(xué)習(xí)包括多種結(jié)構(gòu)：MLP（多層神經(jīng)網(wǎng)絡(luò)），CNN（深度卷積神經(jīng)網(wǎng)絡(luò)），RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)），LSTM（時間遞歸神經(jīng)網(wǎng)絡(luò)）。（1） 全連接層 相當(dāng)于內(nèi)積運算，輸出層的神經(jīng)元和輸入層的每個神經(jīng)元都相連：得名“全”連接。 forWord運算：Backward運算：（2） 卷積層 2D卷積的數(shù)學(xué)形式： 離散卷積： Caffe實現(xiàn)： 如上圖所示：input是一個3*4的矩陣，Kernol是一個2*2的矩陣，經(jīng)過卷積之后得到的結(jié)果output是一個2*3的矩陣。即：input：M*N,

2、 Kernol: A*B, 則輸出output： (M-A+1)*(N-B+1)。 多層卷積運算：如上圖所示為一個多維矩陣的卷積運算，input為一個7*7*3的矩陣，但是本次計算選取局部為一個5*5*3的樣本矩陣，將樣本矩陣經(jīng)過3*3*3的濾波器處理（卷積運算）得到最終輸出output是一個3*3*1的矩陣。如上圖所示，有兩個濾波器對同一個樣本進行處理，所以得到一個3*3*2的結(jié)果。 反卷積層：卷積的逆過程，實現(xiàn)圖像的復(fù)原，實現(xiàn)上采樣。（3） Pooling（池化）層 一般配合卷積層使用，可以減少數(shù)據(jù)處理量，保持（局部特征）不變性；減小下一層輸入大小，減小計算量和參數(shù)個數(shù)；獲得定長輸出，由于

3、文本分類的時候輸入是不定長的，可以通過池化獲得定長輸出；防止過擬合或可能會帶來欠擬合。 如上圖所示，有一個4*4的輸入矩陣input，Kernel為一個2*2的矩陣。（input=N*kernel , N為正整數(shù)）。Max pooling獲得的是Kernel矩陣覆蓋區(qū)域的最大值，最后用作此次輸出；mean pooling則是獲得kernel矩陣覆蓋區(qū)域的均值作為輸出；概率矩陣是求取kernel矩陣覆蓋區(qū)域每個元素在該區(qū)域內(nèi)的概率大小，隨機pooling則是在kernel覆蓋區(qū)域隨機取一個元素作為輸出，具有不確定性。（4） 激活函數(shù) 激活函數(shù)，并不是要去激活什么， 而是指如何把“激活的神經(jīng)元特征

4、”通過函數(shù)把特征保留并映射出來，即：保留特征，去除一些數(shù)據(jù)中的冗余。線性模型的表達力不夠，激活函數(shù)就用來加入非線性因素，而這就是神經(jīng)網(wǎng)絡(luò)用來解決非線性問題的關(guān)鍵。 Sigmoid函數(shù)： Tanh函數(shù)： ReLU函數(shù)： PReLU函數(shù)：在特征相差較大時，使用tanh激活函數(shù)，循環(huán)過程中會不斷擴大特征效果顯示出來；在特征相差較小時，使用sigmoid函數(shù)，能更細微的分類判斷。 注：使用tanh或者sigmoid函數(shù)作為激活函數(shù)時，一定要注意對輸入input進行歸一化，否則激活后的值都會進入平坦區(qū)，使隱層的輸出全部趨同，但是ReLU并不需要輸入貴哦一花來防止它們達到飽和。（5） Dropout Dr

5、opout是指在模型訓(xùn)練時隨機讓網(wǎng)絡(luò)某些隱含層節(jié)點的權(quán)重不工作，不工作的那些節(jié)點可以暫時認為不是網(wǎng)絡(luò)結(jié)構(gòu)的一部分，但是它的權(quán)重得保留下來（只是暫時不更新而已），因為下次樣本輸入時它可能又得工作了。dropout的意義是，由于隨機的讓一些節(jié)點不工作了，因此可以避免某些特征只在固定的組合下才生效，有意識的讓網(wǎng)絡(luò)去學(xué)習(xí)一些普遍的共性，而不是某些訓(xùn)練樣本的一些特性。Dropout的隨機意味著每次訓(xùn)練只訓(xùn)練了一部分，相當(dāng)于訓(xùn)練了多個模型，實際使用時，采用了模型的平均作為輸出。 加入隨機參數(shù)u,p，對輸入進行加權(quán)，防止過擬合。 （6）BN（Batch Normalization）層 逐層尺度歸一，避免了梯

6、度消失和梯度溢出；加速收斂5x20x，同時作為一種正則化技術(shù)也提高了泛化能力。對每個神經(jīng)元作歸一化處理。 （7）RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)） 如上圖所示，x為輸入，s為隱含神經(jīng)元，o為輸出神經(jīng)元,U,V為需要學(xué)習(xí)的參數(shù)。上面展開圖中，Ot的計算流程，看到隱藏層神經(jīng)元st的輸入包含了兩個：來時xt的輸入、來自st-1的輸入。于是RNN，t時刻的計算公式如下： (1) t時刻，隱藏層神經(jīng)元的激活值為：(2) t時刻，輸出層的激活值為：（8） CNN（卷積神經(jīng)網(wǎng)絡(luò)） 卷積神經(jīng)網(wǎng)絡(luò)是一個多層的神經(jīng)網(wǎng)絡(luò)，每層由多個二維平面組成，而每個平面由多個獨立神經(jīng)元組成。 如上圖：卷積神經(jīng)網(wǎng)絡(luò)的概念示范：輸入圖像通過和三

7、個可訓(xùn)練的濾波器和可加偏置進行卷積，濾波過程如圖一，卷積后在C1層產(chǎn)生三個特征映射圖，然后特征映射圖中每組的四個像素再進行求和，加權(quán)值，加偏置，通過一個Sigmoid函數(shù)得到三個S2層的特征映射圖。這些映射圖再進過濾波得到C3層。這個層級結(jié)構(gòu)再和S2一樣產(chǎn)生S4。最終，這些像素值被光柵化，并連接成一個向量輸入到傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，得到輸出。如圖：卷積和子采樣過程：卷積過程包括：用一個可訓(xùn)練的濾波器fx去卷積一個輸入的圖像（第一階段是輸入的圖像，后面的階段就是卷積特征map了），然后加一個偏置bx，得到卷積層Cx。子采樣過程包括：每鄰域四個像素求和變?yōu)橐粋€像素，然后通過標(biāo)量Wx+1加權(quán)，再增加偏置bx+1，然后通過一個sigmoid激活函數(shù)，產(chǎn)生一個大概縮小四倍的特征映射圖Sx+1。 CNN訓(xùn)練: 第一階段，向前傳播階段： a）從樣本集中取一個樣本(X,Yp)，將X輸入網(wǎng)絡(luò)； b）計算相應(yīng)的實際輸出Op。 在此階段，信息從輸入層經(jīng)過逐級的變換，傳送到輸出層。這個過程也是網(wǎng)絡(luò)在完成訓(xùn)練后正常運行時執(zhí)行的過程。在此過程中，網(wǎng)絡(luò)執(zhí)行的是計算（實際上