《深度學習》第4章正反向傳播課件

1、高級大數(shù)據(jù)人才培養(yǎng)叢書之一，大數(shù)據(jù)挖掘技術(shù)與應(yīng)用劉鵬 主編 趙海峰 副主編BIG DATA劉 鵬 張 燕 總主編深度學習第1頁，共34頁。第四章深度學習基本過程概述4.1正向?qū)W習過程4.2反向調(diào)整過程4.3 手寫體數(shù)字識別實例全國高校標準教材云計算姊妹篇，剖析大數(shù)據(jù)核心技術(shù)和實戰(zhàn)應(yīng)用of412習題第2頁，共34頁。概述第四章 深度學習基本過程of413深度學習的基本過程是用訓練數(shù)據(jù)去訓練神經(jīng)網(wǎng)絡(luò)的模型去并得到所需模型的過程，主要包括正向?qū)W習和反向調(diào)整兩個過程。反向調(diào)整就是將預(yù)測結(jié)果和標簽進行對比，反向調(diào)整模型參數(shù)的過程。正向?qū)W習就是從輸入層開始，自底向上進行特征學習，最后在輸出層輸出預(yù)測結(jié)果。

2、第3頁，共34頁。第四章深度學習基本過程概述4.1正向?qū)W習過程4.2反向調(diào)整過程4.3 手寫體數(shù)字識別實例全國高校標準教材云計算姊妹篇，剖析大數(shù)據(jù)核心技術(shù)和實戰(zhàn)應(yīng)用of414習題第4頁，共34頁。4.1正向?qū)W習過程4.1.1正向?qū)W習過程概述of415第四章 深度學習基本過程樣本由輸入層傳入第一層layer，經(jīng)第一層每個節(jié)點計算，每個節(jié)點得到一個輸出，其輸出繼續(xù)作為下一層的輸入，向前傳播，直到輸出層輸出預(yù)測的結(jié)果。初次正向傳播會先初始化網(wǎng)絡(luò)的權(quán)值，得到的輸出值并不一定正確值。第5頁，共34頁。4.1正向?qū)W習過程of416第四章 深度學習基本過程4.1.2正向傳播的流程若把深度學習的網(wǎng)絡(luò)看做一個若

3、干層的系統(tǒng)，I為輸入，O為輸出，若經(jīng)過若干變換，輸出仍能正確表達輸入，就認為模型學到了一條正確表達輸入的規(guī)律。第6頁，共34頁。4.1正向?qū)W習過程of417第四章 深度學習基本過程4.1.3 正向傳播的詳細原理基本單元：神經(jīng)元深度學習網(wǎng)絡(luò)的實質(zhì)是人工神經(jīng)網(wǎng)絡(luò)發(fā)展到多隱層的狀態(tài)，其基本單元仍是神經(jīng)元。第7頁，共34頁。4.1正向?qū)W習過程of418第四章 深度學習基本過程4.1.3 正向傳播的詳細原理以此類推，假設(shè)l-1層，共有m個神經(jīng)元，則對于l-1層的第j個神經(jīng)元有：第8頁，共34頁。4.1正向?qū)W習過程of419第四章 深度學習基本過程4.1.3 正向傳播的詳細原理數(shù)據(jù)輸入網(wǎng)絡(luò) 向前傳播 so

4、ftmax分類器 輸出每類的預(yù)測結(jié)果第9頁，共34頁。第四章深度學習基本過程概述4.1正向?qū)W習過程4.2反向調(diào)整過程4.3 手寫體數(shù)字識別實例全國高校標準教材云計算姊妹篇，剖析大數(shù)據(jù)核心技術(shù)和實戰(zhàn)應(yīng)用of4110習題第10頁，共34頁。4.2反向調(diào)整過程of4111第四章 深度學習基本過程4.2.1反向調(diào)整概述正向傳播后，輸入獲得了一個對應(yīng)的輸出，將輸出與輸入的label相對比，計算誤差值。誤差值與各層參數(shù)相關(guān)，反向傳播，將誤差分攤到各層，修正各層參數(shù)，從而最小化誤差值，優(yōu)化模型參數(shù)。第11頁，共34頁。4.2反向調(diào)整過程of4112第四章 深度學習基本過程4.2.2反向傳播過程詳解反向傳播原

5、理：對比期望輸出和實際輸出，得到代價（誤差）函數(shù)。為了最小化代價函數(shù)，利用鏈式求導(dǎo)，將誤差向前傳，修正各層參數(shù)。鏈式求導(dǎo)：多元函數(shù)鏈式法則：若 在 處可為微， 每個函數(shù) 在點 處可微分，則：第12頁，共34頁。4.2反向調(diào)整過程of4113第四章 深度學習基本過程4.2.2反向傳播過程詳解梯度下降法：梯度下降法是最常用的神經(jīng)網(wǎng)絡(luò)優(yōu)化算法。若將代價函數(shù)簡單可視化，代價函數(shù)相當于一個崎嶇不平的盆地，有高峰也有低谷（最小值）。梯度下降的目標是取得最小值，每次沿著最陡峭的方向（梯度方向），下降一定的距離（步長）。第13頁，共34頁。4.2反向調(diào)整過程of6514第四章 深度學習基本過程4.2.2反向傳

6、播過程詳解梯度下降法：梯度下降的步長不是一直不變的，當下降接近底部的時候，需要調(diào)整步子的大小，小心試探。當步子太大時，容易跨過最低點，在底部來回震蕩。步子過小，下降速度會較慢。在梯度下降過程中，節(jié)點i和j之間連接的權(quán)重 的更新如下：其中為學習速率，用于控制步長的變化。第14頁，共34頁。4.2反向調(diào)整過程of4115第四章 深度學習基本過程4.2.2反向傳播過程詳解由于初始化函數(shù)不同，初始下降點也會不同，下降路線也會不同。所以梯度下降有可能會得到局部最小值，而不是全局最小值。第15頁，共34頁。4.2反向調(diào)整過程of4116第四章 深度學習基本過程4.2.3深層模型反向調(diào)整的問題與對策反向傳播

7、的問題梯度彌散：由于sigmod函數(shù)在趨于無限大時，梯度會逐漸消失，隨著傳播深度的增加（如7層以上），殘差傳播到底層時已經(jīng)變得太小，梯度的幅度也會急劇減小，導(dǎo)致淺層神經(jīng)元的權(quán)重更新非常緩慢，無法有效進行學習。深層模型也就變成了前幾層幾乎固定，只能調(diào)節(jié)后幾層的淺層模型，形成梯度彌散（vanishing gradient）。局部最優(yōu)：深層模型的每個神經(jīng)元都是非線性變換，代價函數(shù)是高度非凸函數(shù)，與淺層模型的目標函數(shù)不同。所以采用梯度下降的方法容易陷入局部最優(yōu)。第16頁，共34頁。4.2反向調(diào)整過程of4117第四章 深度學習基本過程4.2.3深層模型反向調(diào)整的問題與對策解決方案逐層初始化：2006年

8、，機器學習的大牛Geoffrey Hinton提出了逐層初始化的解決方案。第17頁，共34頁。4.2反向調(diào)整過程of4118第四章 深度學習基本過程4.2.3深層模型反向調(diào)整的問題與對策梯度下降的效率批量梯度下降（Batch Gradient Descent）：批量梯度下降中，每計算一次梯度，需要計算所有數(shù)據(jù)。優(yōu)點是可以更準確的從正確的方向下降，缺點是訓練緩慢，時間開銷大。隨機梯度下降（Stochastic Gradient Descent）：隨機梯度下降，在每一輪迭代中，隨機優(yōu)化某一條訓練數(shù)據(jù)的。其缺點是，數(shù)據(jù)的減少使其較難達到最優(yōu)解，優(yōu)點是速度有很大提升，且少量數(shù)據(jù)訓練的模型效果的泛化能力

9、更強，在新的數(shù)據(jù)上，效果不錯。最小批量梯度下降（Mini-Batch Gradient Descent）：實際使用中，現(xiàn)在更多的應(yīng)用的是最小批量梯度下降，保證速度的同時，其結(jié)果也更接近最優(yōu)解。第18頁，共34頁。第四章深度學習基本過程概述4.1正向?qū)W習過程4.2反向調(diào)整過程4.3 手寫體數(shù)字識別實例全國高校標準教材云計算姊妹篇，剖析大數(shù)據(jù)核心技術(shù)和實戰(zhàn)應(yīng)用of4119習題第19頁，共34頁。4.3手寫體數(shù)字識別實例of4120第四章 深度學習基本過程4.3.1 數(shù)據(jù)準備本節(jié)主要實現(xiàn)基于Caffe的MNIST手寫體識別：數(shù)據(jù)集包含了0到9,十個數(shù)字。其中包括60000多個訓練樣本和10000個測

10、試樣本。其中每張圖片的大小為28*28。數(shù)據(jù)集下載：# ./data/mnist/get_mnist.sh第20頁，共34頁。4.3手寫體數(shù)字識別實例of4121第四章 深度學習基本過程4.3.1 數(shù)據(jù)準備轉(zhuǎn)化為LMDB格式，命令如下，轉(zhuǎn)換完成后，在caffe/examples/mnist下生成兩個文件夾：mnist_train_lmdb，mnist_test_lmdb 。# ./examples/mnist/create_mnist.sh第21頁，共34頁。4.3手寫體數(shù)字識別實例of4122第四章 深度學習基本過程4.3.1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計本節(jié)實例使用的網(wǎng)絡(luò)為LeNet，網(wǎng)絡(luò)結(jié)構(gòu)定義在exa

11、mples/mnist/lenet_train_totxt中。網(wǎng)絡(luò)包含兩個卷積層，兩個池化層，和兩個全連接層。第22頁，共34頁。4.3手寫體數(shù)字識別實例of4123第四章 深度學習基本過程4.3.1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計輸入層：name: LeNetlayer name: mnist type: Data top: data top: label include phase: TRAIN transform_param scale: 0.00390625 data_param source: examples/mnist/mnist_train_lmdb batch_size: 64

12、 backend: LMDB name : 定義了一個層，層的名字為“mnist”type : 層的類型是“Data”top : 層的輸出blob為“data”和“l(fā)abel”include : 這個層僅作用在train階段transform_param：變換的參數(shù)scale : 縮放因子為0.00390625即1/256data_param ： 數(shù)據(jù)參數(shù)source：訓練數(shù)據(jù)集的路徑batch_size : 輸入每次輸入網(wǎng)絡(luò)的圖片數(shù)量為64backend : 訓練數(shù)據(jù)的格式為LMDB第23頁，共34頁。4.3手寫體數(shù)字識別實例of4124第四章 深度學習基本過程4.3.1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計卷積層

13、：layer name: conv1 type: Convolution bottom: data top: conv1 param lr_mult: 1 param lr_mult: 2 convolution_param num_output: 20 kernel_size: 5 stride: 1 weight_filler type: xavier bias_filler type: constant name : 定義了一個層，層的名字為“conv1”type : 層的 類型是“Convolution”bottom : 層的輸入blob為“data”top : 層的輸出blob為“c

14、onv1” lr_mult（第一個） : 權(quán)值的學習率為1 lr_mult（第二個） : 偏置的學習率為2convolution_param：卷積的參數(shù)num_output : 輸出的feature map的個數(shù)為20kernel_size ： 卷積核的大小為5stride：步長為1weight_filler : 權(quán)重初始化采用xavier填充器bias_filler : 偏置初始化采用constant，常數(shù)填充器第24頁，共34頁。4.3手寫體數(shù)字識別實例of4125第四章 深度學習基本過程4.3.1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計池化層：layer name: pool1 type: Pooling bot

15、tom: conv1 top: pool1 pooling_param pool: MAX kernel_size: 2 stride: 2 name : 定義了一個層，層的名字為“pool1”type : 層的 類型是“Pooling”bottom : 層的輸入blob為“conv1”top : 層的輸出為blob“pool1” pooling_param : 池化參數(shù)pool : 池化的類型采用最大池化kernel_size : 池化的大小為2stride : 步長為2 第25頁，共34頁。4.3手寫體數(shù)字識別實例of4126第四章 深度學習基本過程4.3.1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計全連接層：lay

16、er name: ip1 type: InnerProduct bottom: pool2 top: ip1 param lr_mult: 1 param lr_mult: 2 inner_product_param num_output: 500 weight_filler type: xavier bias_filler type: constant name : 定義了一個層，層的名字為“ip1”type : 層的 類型是“InnerProduct”bottom : 層的輸入blob為“pool2”top : 層的輸出為blob“ip1”num_output ：輸出個數(shù)為500第26頁，

17、共34頁。4.3手寫體數(shù)字識別實例of4127第四章 深度學習基本過程4.3.1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計非線性層：layer name: relu1 type: ReLU bottom: ip1 top: ip1定義了一個非線性層，使用ReLU方法name : 定義了一個層，層的名字為“relu1”type : 層的 類型是“ReLU”bottom : 層的輸入blob為“pool2”top : 層的輸出為blob“ip1”num_output ：輸出個數(shù)為500第27頁，共34頁。4.3手寫體數(shù)字識別實例of4128第四章 深度學習基本過程4.3.2 模型訓練模型訓練方法如下，其中主要調(diào)用了訓練超參文

18、件caffe/examples/mnist/lenet_totxt# ./examples/mnist/train_lenet.sh第28頁，共34頁。4.3手寫體數(shù)字識別實例of4129第四章 深度學習基本過程4.3.3 模型測試# ./build/tools/caffe test -model examples/mnist/lenet_train_totxt -weights examples/mnist/lenet_iter_10000.caffemodel -iterations 100命令的“test”參數(shù)表示，只進行預(yù)測，不盡興參數(shù)更新，迭代的次

19、數(shù)為100次。模型測試最終準確率達到99.02%。第29頁，共34頁。4.3手寫體數(shù)字識別實例of4130第四章 深度學習基本過程4.3.3 模型測試模型生成后，可以利用./build/examples/cpp_classification/classification.bin對單張圖片進行簡單分類測試。需要準備5個文件。（1）測試網(wǎng)絡(luò)測試網(wǎng)絡(luò)位于examples/mnist/totxt，和訓練網(wǎng)絡(luò)有些許不同，首先測試網(wǎng)絡(luò)去掉了結(jié)尾的loss層和accuracy層，并將輸入部分修改如下。name: LeNetlayer name: data type: Input top: data input_param shape: dim: 64 dim: 1 dim: 28 dim: 28 第30頁，共34頁。4.3手寫體數(shù)字識別實例of4131第四章 深度學習基本過程4.3.3 模型測試（2）模型文件：訓練后，模型文件已生成，位于example/mnist/ lenet_iter_10000.caffemodel。（3）均值文件：均值文件生成方法如下，生成后保存在examp