深度學習及自動駕駛應用 課件 第4章 網(wǎng)絡優(yōu)化與正則化

Chapter4網(wǎng)絡優(yōu)化與正則化第四章DeepLearningAndAutonomousDriving深度學習與自動駕駛應用DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第2頁4.4數(shù)據(jù)預處理4.1網(wǎng)絡優(yōu)化4.3參數(shù)初始化方法4.2優(yōu)化方法4.5逐層歸一化目錄Content4.6超參數(shù)優(yōu)化4.7網(wǎng)絡正則化DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第3頁深度學習的矛與盾正則化優(yōu)化降低模型復雜度經(jīng)驗風險最小DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第4頁4.1網(wǎng)絡優(yōu)化結(jié)構(gòu)差異大沒有通用的優(yōu)化算法超參數(shù)多非凸優(yōu)化問題參數(shù)初始化逃離局部最優(yōu)梯度消失（爆炸）問題平坦最小值（FlatMinima）一個平坦最小值的鄰域內(nèi)，所有點對應的訓練損失都比較接近大部分的局部最小解是等價的局部最小解對應的訓練損失都可能非常接近于全局最小解對應的訓練損失DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第5頁4.1網(wǎng)絡優(yōu)化高維空間的非凸優(yōu)化問題鞍點（SaddlePoint）駐點（StationaryPoint）：梯度為0的點DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第6頁4.1網(wǎng)絡優(yōu)化VISUALIZINGTHELOSSLANDSCAPEOFNNwithoutskipconnectionswithskipconnectionsLiH,XuZ,TaylorG,etal.Visualizingthelosslandscapeofneuralnets[C]//AdvancesinNeuralInformationProcessingSystems.2018:6389-6399.DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第7頁4.1網(wǎng)絡優(yōu)化神經(jīng)網(wǎng)絡優(yōu)化的改善方法更有效的優(yōu)化算法來提高優(yōu)化方法的效率和穩(wěn)定性動態(tài)學習率調(diào)整梯度估計修正更好的參數(shù)初始化方法、數(shù)據(jù)預處理方法來提高優(yōu)化效率修改網(wǎng)絡結(jié)構(gòu)來得到更好的優(yōu)化地形優(yōu)化地形（OptimizationLandscape）指在高維空間中損失函數(shù)的曲面形狀好的優(yōu)化地形通常比較平滑使用ReLU激活函數(shù)、殘差連接、逐層歸一化等使用更好的超參數(shù)優(yōu)化方法DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第8頁4.2優(yōu)化方法隨機梯度下降DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第9頁4.2優(yōu)化方法小批量隨機梯度下降minibatch

幾個關鍵因素：小批量樣本數(shù)量梯度學習率DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第10頁4.2優(yōu)化方法批量大小的影響批量大小不影響隨機梯度的期望，但是會影響隨機梯度的方差批量越大，隨機梯度的方差越小，引入的噪聲也越小，訓練也越穩(wěn)定，因此可以設置較大的學習率而批量較小時，需要設置較小的學習率，否則模型會不收斂4種批量大小對應的學習率設置不同，因此并不是嚴格對比小批量梯度下降中，每次選取樣本數(shù)量對損失下降的影響DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第11頁4.2優(yōu)化方法改進方法標準的（小批量）梯度下降學習率學習率衰減AdagradAdadeltaRMSprop梯度Momentum計算負梯度的“加權(quán)移動平均”作為參數(shù)的更新方向Nesterovacceleratedgradient梯度截斷Adamisbetterchoice!Adam梯度方向?qū)嶋H更新方向DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第12頁4.2優(yōu)化方法學習率的影響DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第13頁4.2優(yōu)化方法學習率的衰減梯級衰減（stepdecay）線性衰減（LinearDecay）衰減示意圖DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第14頁4.2優(yōu)化方法周期性學習率的調(diào)整DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第15頁4.2優(yōu)化方法CyclicalLearningRatesDeepLearningAndAutonomousDriving深度學習與自動駕駛應用第16頁4.2優(yōu)化方法自適應學習率AdagradRMSpropAdadeltaDeepLearningAndAutonomousDriving深度學習與自動駕駛應用第17頁5.2優(yōu)化方法梯度方向優(yōu)化動量法（MomentumMethod）用之前積累動量來替代真正的梯度。每次迭代的梯度可以看作是加速度DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第18頁4.2優(yōu)化方法梯度方向優(yōu)化Nesterov加速梯度DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第19頁4.2優(yōu)化方法梯度方向優(yōu)化Adam算法≈動量法+RMSprop先計算兩個移動平均偏差修正更新DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第20頁4.2優(yōu)化方法鞍點幾種方法的對比DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第21頁4.2優(yōu)化方法梯度截斷梯度截斷是一種比較簡單的啟發(fā)式方法，把梯度的模限定在一個區(qū)間，當梯度的模小于或大于這個區(qū)間時就進行截斷按值截斷按模截斷DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第22頁4.2優(yōu)化方法小結(jié)大部分優(yōu)化算法可以使用下面公式來統(tǒng)一描述概括：gt為第t步的梯度αt為第t步的學習率DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第23頁4.3參數(shù)初始化方法參數(shù)初始化參數(shù)不能初始化為0！為什么？對稱權(quán)重問題！初始化方法預訓練初始化隨機初始化固定值初始化偏置（Bias）通常用0來初始化DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第24頁4.3參數(shù)初始化方法隨機初始化Gaussian分布初始化

Gaussian初始化方法是最簡單的初始化方法，參數(shù)從一個固定均值（比如0）和固定方差（比如0.01）的Gaussian分布進行隨機初始化。均勻分布初始化參數(shù)可以在區(qū)間[?r,r]內(nèi)采用均勻分布進行初始化。DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第25頁4.3參數(shù)初始化方法隨機初始化范數(shù)保持性（Norm-Preserving）一個??層的等寬線性網(wǎng)絡為了避免梯度消失或梯度爆炸問題，我們希望誤差項基于方差縮放的參數(shù)初始化正交初始化DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第26頁5.3參數(shù)初始化方法隨機初始化基于方差縮放的參數(shù)初始化Xavier初始化和He初始化正交初始化1）用均值為0、方差為1的高斯分布初始化一個矩陣2）將這個矩陣用奇異值分解得到兩個正交矩陣，并使用其中之一作為權(quán)重矩陣DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第27頁5.4數(shù)據(jù)預處理5.1網(wǎng)絡優(yōu)化5.3參數(shù)初始化方法5.2優(yōu)化方法5.5逐層歸一化目錄Content5.6超參數(shù)優(yōu)化5.7網(wǎng)絡正則化DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第28頁5.4數(shù)據(jù)預處理數(shù)據(jù)歸一化

數(shù)據(jù)歸一化最小最大值歸一化標準化PCA

數(shù)據(jù)歸一化對梯度的影響DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第29頁5.5逐層歸一化逐層歸一化

目的更好的尺度不變性內(nèi)部協(xié)變量偏移更平滑的優(yōu)化地形

歸一化方法批量歸一化（BatchNormalization，BN）層歸一化（LayerNormalization）權(quán)重歸一化（WeightNormalization）局部響應歸一化（LocalResponseNormalization，LRN）DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第30頁5.5逐層歸一化批量歸一化給定一個包含K個樣本的小批量樣本集合，計算均值和方差批量歸一化DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第31頁5.5逐層歸一化層歸一化

DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第32頁5.5逐層歸一化批量歸一化VS層歸一化DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第33頁5.5逐層歸一化其他歸一化方法DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第34頁5.4數(shù)據(jù)預處理5.1網(wǎng)絡優(yōu)化5.3參數(shù)初始化方法5.2優(yōu)化方法5.5逐層歸一化目錄Content5.6超參數(shù)優(yōu)化5.7網(wǎng)絡正則化DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第35頁5.6超參數(shù)優(yōu)化超參數(shù)層數(shù)每層神經(jīng)元個數(shù)激活函數(shù)學習率（以及動態(tài)調(diào)整算法）正則化系數(shù)mini-batch大小優(yōu)化方法網(wǎng)格搜索隨機搜索貝葉斯優(yōu)化動態(tài)資源分配神經(jīng)架構(gòu)搜索DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第36頁5.6超參數(shù)優(yōu)化超參數(shù)假設總共有K個超參數(shù)，第k個超參數(shù)的可以取??_??個值如果參數(shù)是連續(xù)的，可以將參數(shù)離散化，選擇幾個“經(jīng)驗”值。比如學習率α，我們可以設置

這些超參數(shù)可以有??_1×??_2×···×??_??個取值組合網(wǎng)格搜索α∈{0.01,0.1,0.5,1.0}DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第37頁4.7網(wǎng)絡正則化神經(jīng)網(wǎng)絡過度參數(shù)化擬合能力強泛化性差ZhangC,BengioS,HardtM,etal.Understandingdeeplearningrequiresrethinkinggeneralization[J].arXivpreprintarXiv:1611.03530,2016.DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第38頁5.7網(wǎng)絡正則化L1/L2約束、數(shù)據(jù)增強權(quán)重衰減、隨機梯度下降、提前停止所有損害優(yōu)化的方法都是正則化。增加優(yōu)化約束干擾優(yōu)化過程DeepLearningAndAutonomousDriving深度學習與自動駕駛應用4.7網(wǎng)絡正則化

DeepLearningAndAutonomousDriving深度學習與自動駕駛應用5.7網(wǎng)絡正則化L1和L2正則化

DeepLearningAndAutonomousDriving深度學習與自動駕駛應用4.7網(wǎng)絡正則化神經(jīng)網(wǎng)絡示例不同的正則化系數(shù)DeepLearningAndAutonomousDriving深度學習與自動駕駛應用4.7網(wǎng)絡正則化提前停止我們使用一個驗證集（ValidationDataset）來測試每一次迭代的參數(shù)在驗證集上是否最優(yōu)。如果在驗證集上的錯誤率不再下降，就停止迭代DeepLearningAndAutonomousDriving深度學習與自動駕駛應用5.7網(wǎng)絡正則化權(quán)重衰減

DeepLearningAndAutonomousDriving深度學習與自動駕駛應用4.7網(wǎng)絡正則化丟棄法（DropoutMethod）

DeepLearningAndAutonomousDriving深度學習與自動駕駛應用4.7網(wǎng)絡正則化循環(huán)神經(jīng)網(wǎng)絡上的丟棄法（DropoutMethod）當在循環(huán)神經(jīng)網(wǎng)絡上應用丟棄法，不能直接對每個時刻的隱狀態(tài)進行隨機丟棄，這樣會損害循環(huán)網(wǎng)絡在時間維度上記憶能力變分Dropout根據(jù)貝葉斯學習的解釋，丟棄法是一種對參數(shù)θ的采樣每次采樣的參數(shù)需要