深度學(xué)習(xí)及自動(dòng)駕駛應(yīng)用 課件 第3-5章 卷積神經(jīng)網(wǎng)絡(luò)理論及實(shí)踐、網(wǎng)絡(luò)優(yōu)化與正則化、基于CNN的自動(dòng)駕駛目標(biāo)檢測(cè)理論與實(shí)踐

Chapter3卷積神經(jīng)網(wǎng)絡(luò)理論及實(shí)踐第三章DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用3.4實(shí)踐斑馬線檢測(cè)3.1深層全連接神經(jīng)網(wǎng)絡(luò)的問題3.3卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用示例3.2卷積神經(jīng)網(wǎng)絡(luò)詳解目錄Content第2頁全連接神經(jīng)網(wǎng)絡(luò)模型回顧問題導(dǎo)入建立模型損失函數(shù)參數(shù)學(xué)習(xí)第3頁問題導(dǎo)入全連接神經(jīng)網(wǎng)絡(luò)(DNN)模型存在哪些不足？思考第4頁建立模型損失函數(shù)參數(shù)學(xué)習(xí)Step1Step2Step3問題導(dǎo)入模型不足模型架構(gòu)不夠靈活模型參數(shù)過多第5頁……………………………………y1y2ymx1x2xn…………問題導(dǎo)入16x16=256256個(gè)神經(jīng)元1000個(gè)神經(jīng)元1000個(gè)神經(jīng)元10個(gè)神經(jīng)元假設(shè)對(duì)16x16的圖片進(jìn)行分類手寫字體識(shí)別任務(wù)，設(shè)計(jì)了如上所示的網(wǎng)絡(luò)。那對(duì)100*100的圖片做相同的任務(wù)，只有通過增加每層的神經(jīng)元個(gè)數(shù)或者增加網(wǎng)絡(luò)的層數(shù)來完成。模型結(jié)構(gòu)不夠靈活網(wǎng)絡(luò)結(jié)構(gòu)不夠靈活第6頁……………………………………y1y2ymx1x2xn…………問題導(dǎo)入16x16=256256X103權(quán)重參數(shù)106權(quán)重參數(shù)104權(quán)重參數(shù)256個(gè)神經(jīng)元例如：輸入為16x16的圖片，輸入層為256個(gè)神經(jīng)元，隱藏層每層1000個(gè)神經(jīng)元，輸出層10個(gè)神經(jīng)元。假設(shè)共5層，則共需要學(xué)習(xí)（256*103+106+106+104）個(gè)w再加（1000+1000+1000+10）個(gè)b。模型參數(shù)太多1000個(gè)神經(jīng)元1000個(gè)神經(jīng)元10個(gè)神經(jīng)元第7頁……………………………………y1y2ymx1x2xn…………16x16=256256X103權(quán)重參數(shù)106權(quán)重參數(shù)104權(quán)重參數(shù)如果輸入為100*100的圖片或者更大的圖片呢？如果網(wǎng)絡(luò)的層數(shù)為十層呢？參數(shù)爆炸?。?！1000個(gè)神經(jīng)元1000個(gè)神經(jīng)元10個(gè)神經(jīng)元256個(gè)神經(jīng)元問題導(dǎo)入例如：輸入為16x16的圖片，輸入層為256個(gè)神經(jīng)元，隱藏層每層1000個(gè)神經(jīng)元，輸出層10個(gè)神經(jīng)元。假設(shè)共5層，則共需要學(xué)習(xí)（256*103+106+106+104）個(gè)w再加（1000+1000+1000+10）個(gè)b。模型參數(shù)太多第8頁問題導(dǎo)入如何改進(jìn)？思考第9頁圖像模式的特性一

應(yīng)用一次該方法只能提取一個(gè)特征所以對(duì)應(yīng)同一張圖片輸入，應(yīng)該應(yīng)用多次該方法圖像模式的特征第一個(gè)發(fā)現(xiàn)：鳶尾花僅出現(xiàn)在圖像局部區(qū)域并不是所有具有相似形態(tài)特征的鳶尾花都位于圖像的同一個(gè)位置如何應(yīng)用這個(gè)發(fā)現(xiàn)？可能的做法：定義一種提取局部的特征的方法，可有效響應(yīng)特定局部模式用這種方法遍歷整張圖片第10頁第二個(gè)發(fā)現(xiàn)：大小改變，鳶尾花仍然可以有效區(qū)分如何利用這個(gè)特性？可能的做法：在神經(jīng)網(wǎng)絡(luò)逐層累加的過程中，可以直接對(duì)圖像進(jìn)行縮放;縮放到適當(dāng)大小后，可以在特征提取過程中得到有效響應(yīng)。圖像模式的特性二圖像模式的特征第11頁建立模型損失函數(shù)參數(shù)學(xué)習(xí)模型改進(jìn)如何改進(jìn)？Step1全連接神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)第12頁目錄深層全連接神經(jīng)網(wǎng)絡(luò)的問題卷積神經(jīng)網(wǎng)絡(luò)詳解卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用示例實(shí)踐：斑馬線檢測(cè)第13頁第一個(gè)發(fā)現(xiàn)對(duì)應(yīng)的可能的做法：定義一種提取局部的特征的方法，可有效響應(yīng)特定局部模式；用這種方法遍歷整張圖片。第二個(gè)發(fā)現(xiàn)對(duì)應(yīng)的可能的做法：在神經(jīng)網(wǎng)絡(luò)逐層累加的過程中，可以直接對(duì)圖像進(jìn)行縮放。池化：下采樣被檢測(cè)物體不變模式卷積：平移不變模式圖像模式的特性——小結(jié)卷積和池化那是不是卷積和池化操作就夠了？我們是不是還需要更深的模型？第14頁卷積層+激活函數(shù)+池化層+全連接層

CNN基礎(chǔ)結(jié)構(gòu)CNN應(yīng)用圖像模式的一般框架（以分類為例）在最后出現(xiàn)一次或多次，用于做分類出現(xiàn)多次，用于提取特征第15頁建立模型卷積神經(jīng)網(wǎng)絡(luò)（CNN）卷積層Pooling層損失函數(shù)參數(shù)學(xué)習(xí)使用步驟第16頁建立模型卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上的三大特性局部連接權(quán)重共享下采樣減少網(wǎng)絡(luò)參數(shù)，加快訓(xùn)練速度第17頁建立模型局部連接全連接神經(jīng)元卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)元在進(jìn)行圖像識(shí)別的時(shí)候，不需要對(duì)整個(gè)圖像進(jìn)行處理，只需要關(guān)注圖像中某些特殊的區(qū)域640x480640x480

輸入為640x480個(gè)像素

輸入為16x16個(gè)像素16x16第18頁640x480建立模型權(quán)重共享…………

卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)元

只依靠局部連接就足以減少參數(shù)？每個(gè)神經(jīng)元起作用的只是局部區(qū)域，為了使各部分都起作用，就需要增加神經(jīng)元的個(gè)數(shù)第19頁建立模型下采樣下采樣對(duì)圖像像素進(jìn)行下采樣，并不會(huì)對(duì)物體進(jìn)行改變。雖然下采樣之后的圖像尺寸變小了，但是并不影響我們對(duì)圖像中物體的識(shí)別。640x480320x240第20頁全連接神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)相同顏色的箭頭代表相同的權(quán)重參數(shù)卷積核大小：2X1建立模型對(duì)比示例兩層卷積第21頁建立模型卷積神經(jīng)網(wǎng)絡(luò)（CNN）卷積層Pooling層使用步驟損失函數(shù)參數(shù)學(xué)習(xí)第22頁101010101010101010101010101010101010000000000000000000*=121000-1-2-10建立模型卷積核inputimage(輸入圖像)kernel(卷積核)featuremap(特征映射層)

注：*為卷積操作第23頁101010101010101010101010101010101010000000000000000000*=121000-1-2-100建立模型卷積核

inputimagekernelfeaturemap注：*為卷積操作第24頁101010101010101010101010101010101010000000000000000000*=121000-1-2-1000建立模型卷積核

inputimagekernelfeaturemap注：*為卷積操作第25頁101010101010101010101010101010101010000000000000000000*=121000-1-2-10000建立模型卷積核

inputimagekernelfeaturemap注：*為卷積操作第26頁101010101010101010101010101010101010000000000000000000*=121000-1-2-1000040建立模型卷積核

注：*為卷積操作inputimagekernelfeaturemap第27頁建立模型卷積核*=121000-1-2-1404040404040000101010101010101010101010101010101010000000000000000000

00004040inputimagekernelfeaturemap注：*為卷積操作第28頁101010101010101010101010101010101010000000000000000000*=121000-1-2-1000040404040404040400000建立模型卷積核

注：*為卷積操作inputimagekernelfeaturemap第29頁101010101010101010101010101010101010000000000000000000*=121000-1-2-1000040404040404040400000建立模型卷積核注：*為卷積操作inputimagekernelfeaturemap

卷積核在網(wǎng)絡(luò)連接里面相當(dāng)于是神經(jīng)元，里面的9個(gè)值是權(quán)重參數(shù)值，卷積核中的參數(shù)需要在訓(xùn)練的過程學(xué)習(xí)第30頁建立模型卷積層*=ABCDkernelfeature

mapinputimage456789123123456789

權(quán)重共享局部連接注：*為卷積操作第31頁123456789建立模型卷積層*=456789123

kernelfeature

mapinputimage權(quán)重共享局部連接注：*為卷積操作第32頁123456789建立模型卷積層*=456789123

kernelfeature

mapinputimage權(quán)重共享局部連接注：*為卷積操作第33頁建立模型卷積層123456789*=456789123權(quán)重共享

kernelfeature

mapinputimage局部連接注：*為卷積操作第34頁featuremapinputimage建立模型卷積層123456789*=456789123全連接output

kernelfeature

mapinputimage權(quán)重共享局部連接注：*為卷積操作第35頁建立模型卷積層123456789*=456789123一次卷積，只需學(xué)習(xí)kernel

size大小的參數(shù)個(gè)數(shù)，如上所示的例子，從input

image到feature

map只需要學(xué)習(xí)4個(gè)參數(shù)。全連接

kernelfeature

mapinputimagefeaturemapinputimageoutput卷積大大減少了模型所需學(xué)習(xí)的參數(shù)量?。?！權(quán)重共享局部連接注：*為卷積操作,未考慮bias.第36頁建立模型卷積層123456789*=456789123全連接單個(gè)卷積核相當(dāng)于只能提取單一特征，如何利用卷積核提取更復(fù)雜的特征？注：*為卷積操作

kernelfeature

mapinputimagefeaturemapinputimageoutput權(quán)重共享局部連接第37頁

建立模型卷積層123456789*=456789123一個(gè)卷積核可以提取圖像的一種特征==多個(gè)卷積核提取多種特征。同一kernel權(quán)重共享注：*為卷積操作

3

kernels

3

feature

mapsinputimage

3

featuremapsinputimage全連接

output局部連接第38頁

建立模型卷積層123456789*=456789123==同一kernel權(quán)重共享全連接

對(duì)于如上size為3*3的image，如需提取3個(gè)特征，卷積層需要3個(gè)卷積核，假設(shè)卷積核大小為4，則共需4*3=12個(gè)參數(shù)。

3

feature

mapsinputimage

3

featuremapsinputimageoutput局部連接

3

kernels如何對(duì)feature

maps繼續(xù)進(jìn)行卷積操作？第39頁建立模型多通道卷積*=注：*為卷積操作

kernel

feature

map

feature

maps假設(shè)上一個(gè)卷積層已得到3個(gè)3x3的feature

maps,可表示為具有三個(gè)通道的feature

map，大小為3x3x33個(gè)2x2的卷積核，可表示為具有三個(gè)通道卷積核立方體，大小為3x2x2生成一個(gè)2x2大小的feature

map卷積核通常表示為一個(gè)立方體

第40頁建立模型多通道卷積*=注：*為卷積操作

kernel

feature

map

feature

maps卷積核通常表示為一個(gè)立方體卷積核通常表示為一個(gè)立方體輸出為對(duì)應(yīng)通道在滑動(dòng)窗口內(nèi)的卷積的和3個(gè)3X3的feature

maps

3個(gè)2x2的卷積核生成一個(gè)2X2大小的feature

map

第41頁建立模型多通道卷積*=注：*為卷積操作

kernel

feature

map

feature

maps卷積核通常表示為一個(gè)立方體輸出為對(duì)應(yīng)通道在滑動(dòng)窗口內(nèi)的卷積的和3個(gè)3X3的feature

maps3個(gè)2x2的卷積核生成一個(gè)2X2大小的feature

map

第42頁建立模型多通道卷積*=注：*為卷積操作

kernel

feature

map

feature

maps卷積核通常表示為一個(gè)立方體輸出為對(duì)應(yīng)通道在滑動(dòng)窗口內(nèi)的卷積的和3個(gè)3X3的feature

maps3個(gè)2x2的卷積核生成一個(gè)2X2大小的feature

map

第43頁建立模型多通道卷積*=注：*為卷積操作

kernel

feature

map

feature

maps卷積核通常表示為一個(gè)立方體輸出為對(duì)應(yīng)通道在滑動(dòng)窗口內(nèi)的卷積的和3個(gè)3X3的feature

maps

3個(gè)2x2的卷積核生成一個(gè)2X2大小的feature

map

第44頁建立模型多通道多核卷積*=注：*為卷積操作

n

kernels

n

feature

maps

feature

mapsn個(gè)卷積核立方體生成n個(gè)feature

maps==……n個(gè)2X2的feature

maps…3個(gè)3X3的feature

maps第45頁建立模型卷積神經(jīng)網(wǎng)絡(luò)（CNN）卷積層Pooling層使用步驟損失函數(shù)參數(shù)學(xué)習(xí)第46頁10101081091010101010101010101071000010000001000000000*=121000-1-2-10-2-1540302030403017240102010Poolinginputimagekernelfeaturemap通過下采樣縮減feature

map尺度。常用max

pooling和average

pooling.Max

pooling下采樣后的featuremap下采樣注：*為卷積操作640x480320x240建立模型池化層又叫下采樣層，目的是壓縮數(shù)據(jù)，降低數(shù)據(jù)維度第47頁10101081091010101010101010101071000010000001000000000*=121000-1-2-10-2-1540302030403017240102010Poolinginputimagekernelfeaturemap通過下采樣縮減feature

map尺度。常用max

pooling和average

pooling.Max

pooling40下采樣后的featuremap下采樣注：*為卷積操作640x480320x240建立模型第48頁10101081091010101010101010101071000010000001000000000*=121000-1-2-10-2-1540302030403017240102010Pooling通過下采樣縮減feature

map尺度。常用max

pooling和average

pooling.Max

pooling4030下采樣注：*為卷積操作inputimagekernelfeaturemap下采樣后的featuremap640x480320x240建立模型第49頁10101081091010101010101010101071000010000001000000000*=121000-1-2-10-2-1540302030403017240102010Pooling通過下采樣縮減feature

map尺度。常用max

pooling和average

pooling.Max

pooling403040下采樣注：*為卷積操作inputimagekernelfeaturemap下采樣后的featuremap640x480320x240建立模型第50頁10101081091010101010101010101071000010000001000000000*=121000-1-2-10-2-1540302030403017240102010Pooling通過下采樣縮減feature

map尺度。常用max

pooling和average

pooling.Max

pooling40304024下采樣增大感受野:經(jīng)過pooling后，一個(gè)數(shù)字的感受野增大了，前一層每一個(gè)數(shù)字感受的信息范圍比較窄，下一層放大數(shù)字的感受范圍，每一層的語義信息的力度都不一樣。注：*為卷積操作inputimagekernelfeaturemap下采樣后的featuremap640x480320x240建立模型第51頁1.卷積層+激活函數(shù)+池化層的組合多次出現(xiàn)提取特征2.多個(gè)全連接層或特殊的CNN結(jié)構(gòu)做為輸出層

做分類器/檢測(cè)器/分割器CNN網(wǎng)絡(luò)搭建小結(jié)卷積神經(jīng)網(wǎng)絡(luò)的一般結(jié)構(gòu)第52頁建立模型卷積神經(jīng)網(wǎng)絡(luò)（CNN）卷積層Pooling層使用步驟損失函數(shù)參數(shù)學(xué)習(xí)第53頁建立模型卷積神經(jīng)網(wǎng)絡(luò)（CNN）卷積層Pooling層使用步驟損失函數(shù)參數(shù)學(xué)習(xí)第54頁損失函數(shù)分類損失回歸損失損失函數(shù)的設(shè)計(jì)依賴于具體的任務(wù)常用：交叉熵?fù)p失函數(shù)常用：平方損失函數(shù)第55頁損失函數(shù)多分類損失CarscoreTrunkscoreMotorscoref(w?x+b)1.隨機(jī)賦值w,b的情形下，模型的初始計(jì)算結(jié)果必然和對(duì)應(yīng)的標(biāo)簽不一致；2.如何定義損失函數(shù)，衡量網(wǎng)絡(luò)計(jì)算結(jié)果與標(biāo)簽值的差異？+B:一般初始賦值為0，待優(yōu)化label第56頁損失函數(shù)多分類損失交叉熵?fù)p失函數(shù)&SoftMax概率歸一化normalize交叉熵用來衡量?jī)蓚€(gè)分布間的差異性：根據(jù)網(wǎng)絡(luò)輸出結(jié)果和標(biāo)簽(p(x)代表標(biāo)簽的真實(shí)概率分布，q(x)代表模型概率分布如何根據(jù)損失函數(shù)對(duì)網(wǎng)絡(luò)的權(quán)重參數(shù)w和b進(jìn)行更新?label1.7960.1990.452q(x)log(q(x))p(x)交叉熵explog第57頁建立模型卷積神經(jīng)網(wǎng)絡(luò)（CNN）卷積層Pooling層使用步驟損失函數(shù)參數(shù)學(xué)習(xí)第58頁梯度下降法選擇一個(gè)初始值w，Random,RBMpre-train

η

是“學(xué)習(xí)率”迭代參數(shù)學(xué)習(xí)

第59頁梯度下降法

η

是“學(xué)習(xí)率”參數(shù)學(xué)習(xí)每一步都沿著損失下降就快的方向進(jìn)行；一步一步走下去，直到所在的位置非常接近最低點(diǎn)；學(xué)習(xí)率(超參數(shù))：每次更新的步幅大小。第60頁梯度下降法使用樣本方式的變種參數(shù)學(xué)習(xí)第61頁梯度下降方式的優(yōu)化參數(shù)學(xué)習(xí)

第62頁反向傳播算法參數(shù)學(xué)習(xí)第63頁目錄卷積神經(jīng)網(wǎng)絡(luò)詳解卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用示例深層全連接神經(jīng)網(wǎng)絡(luò)的問題實(shí)踐：斑馬線檢測(cè)第64頁經(jīng)典模型(LeNet-5)應(yīng)用示例LeNet-5由LeCun等人提出于1998年提出，主要用于手寫數(shù)字識(shí)別和英文字母識(shí)別的經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)，LeNet雖小，各模塊齊全，是學(xué)習(xí)CNN的基礎(chǔ)。在MNIST上的準(zhǔn)確率達(dá)到約99%。參考：/exdb/lenet/第65頁MNIST數(shù)據(jù)集：計(jì)算機(jī)視覺領(lǐng)域的一個(gè)經(jīng)典案例，0~9的手寫數(shù)字識(shí)別數(shù)據(jù)集，輸入的原始圖像是28x28x1的灰度圖像，要從中識(shí)別出圖片是0~9這10個(gè)數(shù)字中哪一個(gè)。MNIST一般會(huì)被當(dāng)著深度學(xué)習(xí)中的基本練習(xí)，類似于學(xué)習(xí)編程時(shí)的“HelloWorld”。MNIST數(shù)據(jù)集應(yīng)用示例第66頁經(jīng)典模型(LeNet-5)應(yīng)用示例用字母C代表卷積層（Convolutional

layer),用字母S代表下采樣層（Sub-samplinglayer），整個(gè)網(wǎng)絡(luò)中共有C1、S2、C3、S4、C5共5個(gè)卷積加池化層構(gòu)成了特征提取的主干部分，因此把該網(wǎng)聯(lián)稱為L(zhǎng)eNet-5。第67頁C1層（卷積層）：6個(gè)卷積核，卷積核大小為5×5,步長(zhǎng)為1，featuremap的大小為

32-5+1=28，得到6個(gè)大小為32-5+1=28的特征圖，也就是神經(jīng)元的個(gè)數(shù)為6×28×28=4704；6個(gè)卷積核，卷積核大小為5×5，共有6×25+6=156個(gè)參數(shù)（加了6個(gè)偏置）。應(yīng)用示例經(jīng)典模型(LeNet-5)第68頁S2層（pooling層）：池化核大小選擇2?2，每個(gè)下采樣節(jié)點(diǎn)的4個(gè)輸入節(jié)點(diǎn)求和后乘上一個(gè)權(quán)重參數(shù)，再加上一個(gè)偏置參數(shù)作為激活函數(shù)的輸入，激活函數(shù)的輸出即是節(jié)點(diǎn)的值，得到6個(gè)14×14大小的feature

map；每個(gè)feature

map的權(quán)值和偏置值都是一樣的，則共有6×2=12個(gè)參數(shù)。經(jīng)典模型(LeNet-5)應(yīng)用示例第69頁C3層(卷積層)：C3層有16個(gè)10x10的特征圖，

共有60個(gè)卷積核，C3跟S2并不是全連接的，具體連接方式如右上表所示，每個(gè)卷積核大小為5×5；則共有60×25+16=1516個(gè)參數(shù)（加16個(gè)偏置）。經(jīng)典模型(LeNet-5)應(yīng)用示例第70頁C3層(卷積層)：

C3與S2中前3個(gè)圖相連的卷積結(jié)構(gòu)。經(jīng)典模型(LeNet-5)應(yīng)用示例第71頁S4層(下采樣層)：對(duì)C3的16張10×10特征圖進(jìn)行最大池化，池化核大小為2×2，得到16張大小為5×5的特征圖，神經(jīng)元個(gè)數(shù)已經(jīng)減少為:16×5×5=400；每個(gè)下采樣節(jié)點(diǎn)的4個(gè)輸入節(jié)點(diǎn)求和后乘上一個(gè)權(quán)重參數(shù)加上一個(gè)偏置參數(shù)作為sigmoid激活函數(shù)的輸入，激活函數(shù)的輸出即是節(jié)點(diǎn)的值，每個(gè)特征圖的權(quán)值和偏置值都是一樣的，則共有16×2=32個(gè)參數(shù)。經(jīng)典模型(LeNet-5)應(yīng)用示例第72頁C5層(卷積層)：用5×5的卷積核進(jìn)行卷積，然后我們希望得到120個(gè)特征圖，特征圖大小為5-5+1=1，神經(jīng)元個(gè)數(shù)為120（這里實(shí)際上用卷積實(shí)現(xiàn)了全連接）；由S4中的16個(gè)5×5大小的特征圖變?yōu)?20個(gè)1×1的特征圖，S4和C5的所有特征圖之間全部相連，有120×16=1920個(gè)卷積核，每個(gè)卷積核大小為5×5；則共有1920×25+120=48120個(gè)參數(shù)。經(jīng)典模型(LeNet-5)應(yīng)用示例第73頁F6層(全連接層)：有84個(gè)節(jié)點(diǎn)，該層的訓(xùn)練參數(shù)和連接數(shù)都(120+1)×84=10164。Output層(輸出層)：共有10個(gè)節(jié)點(diǎn)，分別代表數(shù)字0到9，該層的訓(xùn)練參數(shù)和連接數(shù)都(84+1)×10=850。采用的是徑向基函數(shù)(RBF)的網(wǎng)絡(luò)連接方式（現(xiàn)在已經(jīng)變?yōu)閟oftmax）。經(jīng)典模型(LeNet-5)應(yīng)用示例第74頁一般池化操作是沒有參數(shù)的，LeNet-5中在池化層整體增加了權(quán)重參數(shù)和偏置；卷積層的參數(shù)相對(duì)較少，大量的參數(shù)都存在于全連接層；隨著神經(jīng)網(wǎng)絡(luò)的加深，激活值尺寸會(huì)逐漸變小，但是，如果激活值尺寸下降太快，會(huì)影響神經(jīng)網(wǎng)絡(luò)的性能。經(jīng)典模型(LeNet-5)應(yīng)用示例ActivationShapeActivationUnitSizeParameters輸入層（32，32，1）1024C1層（28，28，6）4704(5x5x1+1)x6=156S2層（14，14，6）11762x6=12C3層（10，10，16）1600

60×25+16=1516S4層（5，5，16）4002x16=32C5層（120，1）120（400+1）x120=48120F6層（84，1）84（120+1）x84=10164輸出層（10，1）10（84+1）x10=850第75頁在卷積神經(jīng)網(wǎng)絡(luò)中，卷積核大小、卷積核個(gè)數(shù)(特征圖需要多少個(gè))、池化核大小(采樣率多少)這些參數(shù)都是變化的，這就是所謂的CNN調(diào)參，需要學(xué)會(huì)根據(jù)需要進(jìn)行不同的選擇。經(jīng)典模型(LeNet-5)應(yīng)用示例ActivationShapeActivationUnitSizeParameters輸入層（32，32，1）1024C1層（28，28，6）4704(5x5x1+1)x6=156S2層（14，14，6）11762x6=12C3層（10，10，16）160016×(6×(5×5)+1)=2416S4層（5，5，16）4002x16=32C5層（120，1）120（400+1）x120=48120F6層（84，1）84（120+1）x84=10164輸出層（10，1）10（84+1）x10=850第76頁LeNet-5網(wǎng)絡(luò)要求的輸入圖像的尺寸是32x32x1,需要對(duì)原始尺寸為28x28x1的MNIST數(shù)據(jù)集中的圖像進(jìn)行一些預(yù)處理，比如在原始圖像周邊填充上足量的0，或者對(duì)原始圖像使用插值法來調(diào)整尺寸。LeNet-5用于MNIST數(shù)據(jù)集應(yīng)用示例第77頁經(jīng)典模型(AlexNet)應(yīng)用示例1、AlexNet由多倫多大學(xué)的AlexKrizhevsky等人與2012年在ImageNet圖像分類競(jìng)賽中提出的用于圖像識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)，并取得了當(dāng)年的ImageNet大規(guī)模視覺識(shí)別競(jìng)賽冠軍。2、AlexNet是用于ImageNet圖像分類競(jìng)賽的，而ImageNet是由李飛飛團(tuán)隊(duì)創(chuàng)建的一個(gè)用于圖像識(shí)別的大型圖像數(shù)據(jù)庫(kù)，包含了超過1400萬張帶標(biāo)簽的圖像。3、相較于LeNet用于處理的手寫數(shù)字識(shí)別問題，ImageNet圖像分類很明顯數(shù)據(jù)量更加龐大，任務(wù)難度提升巨大，因此要求神經(jīng)網(wǎng)絡(luò)的性能也就更加強(qiáng)大。第78頁經(jīng)典模型(AlexNet)應(yīng)用示例AlexNet的網(wǎng)絡(luò)結(jié)構(gòu)，包括1個(gè)輸入層、5個(gè)卷積層、2個(gè)全連接層以及1個(gè)輸出層。此外，AlexNet的網(wǎng)絡(luò)訓(xùn)練也與之前的神經(jīng)網(wǎng)絡(luò)有所不同，由于參數(shù)量相較之前極為龐大，為了提升訓(xùn)練速度，作者使用2塊GPU并行訓(xùn)練網(wǎng)絡(luò)模型。第79頁經(jīng)典模型(AlexNet)應(yīng)用示例相較于LeNet，AlexNet結(jié)構(gòu)明顯變得更加復(fù)雜，需要計(jì)算的參數(shù)量也更加龐大。共有大約65萬個(gè)神經(jīng)元以及6千萬個(gè)參數(shù)。第80頁經(jīng)典模型(AlexNet)應(yīng)用示例AlexNet相較于之前的其他網(wǎng)絡(luò)的創(chuàng)新之處在于：1）使用了兩種數(shù)據(jù)增強(qiáng)方法，分別是鏡像加隨機(jī)剪裁和改變訓(xùn)練樣本RGB通道的強(qiáng)度值，通過使用數(shù)據(jù)增強(qiáng)方法能夠從數(shù)據(jù)集方面增加多樣性，從而增強(qiáng)網(wǎng)絡(luò)的泛化能力；2）激活函數(shù)使用ReLU，相較于tanh等飽和的非線性函數(shù)，ReLU在梯度下降計(jì)算的時(shí)候會(huì)比它們速度更快。而且ReLU函數(shù)會(huì)使部分神經(jīng)元的輸出為0，可以提高網(wǎng)絡(luò)的稀疏性，并且減少參數(shù)之間的相關(guān)性，也可以一定程度上減少網(wǎng)絡(luò)的過擬合；3）使用局部響應(yīng)歸一化對(duì)局部神經(jīng)元?jiǎng)?chuàng)建競(jìng)爭(zhēng)機(jī)制，使得響應(yīng)較大的值更大，響應(yīng)較小的神經(jīng)元受到抑制，增強(qiáng)模型泛化能力；4）引入dropout，對(duì)于一層的神經(jīng)元，按照定義的概率將部分神經(jīng)元輸出置零，即該神經(jīng)元不參與前向及后向傳播，同時(shí)也保證輸入層與輸出層的神經(jīng)元個(gè)數(shù)不變。從另一種角度看，dropout由于是隨機(jī)置零部分神經(jīng)元，因此也可以看成是不同模型之間的組合，可以有效的防止模型過擬合。第81頁經(jīng)典模型(AlexNet)應(yīng)用示例模型代碼示例：/projectdetail/5422835第82頁經(jīng)典模型(VGGNet)應(yīng)用示例VGG是2014年ILSVRC分類任務(wù)比賽的亞軍，由Simonyan等人在AlexNet的基礎(chǔ)上針對(duì)卷積神經(jīng)網(wǎng)絡(luò)的深度進(jìn)行改進(jìn)提出的卷積神經(jīng)網(wǎng)絡(luò)。VGG的結(jié)構(gòu)與AlexNet的結(jié)構(gòu)及其相似，區(qū)別在于其網(wǎng)絡(luò)深度更深，并且基本采用3×3的卷積核，因此從形式上看更加簡(jiǎn)單。第83頁經(jīng)典模型(VGGNet)應(yīng)用示例原作者通過對(duì)比不同深度的網(wǎng)絡(luò)在圖像分類中的性能證明了卷積神經(jīng)網(wǎng)絡(luò)的深度提升有利于提高圖像分類的準(zhǔn)確率，但是深度加深并非是沒有限制的，當(dāng)神經(jīng)網(wǎng)絡(luò)的深度加深到一定程度后繼續(xù)加深網(wǎng)絡(luò)會(huì)導(dǎo)致網(wǎng)絡(luò)性能的退化，因此，經(jīng)過對(duì)比，VGG網(wǎng)絡(luò)的深度最終被確定在了16~19層之間。第84頁經(jīng)典模型(VGGNet)應(yīng)用示例第85頁InputImageAA-LRNBCDE11layers11layers13layers16layers16layers19layersInput(224×224×3RGBimage)Conv3-64Conv3-64LRNConv3-64Conv3-64Conv3-64Conv3-64Conv3-64Conv3-64Conv3-64Conv3-64MaxpoolConv3-128Conv3-128Conv3-128Conv3-128Conv3-128Conv3-128Conv3-128Conv3-128Conv3-128Conv3-128MaxpoolConv3-256Conv3-256Conv3-256Conv3-256Conv3-256Conv3-256Conv3-256Conv3-256Conv1-256Conv3-256Conv3-256Conv3-256Conv3-256Conv3-256Conv3-256Conv3-256MaxpoolConv3-512Conv3-512Conv3-512Conv3-512Conv3-512Conv3-512Conv3-512Conv3-512Conv1-512Conv3-512Conv3-512Conv3-512Conv3-512Conv3-512Conv3-512Conv3-512MaxpoolConv3-512Conv3-512Conv3-512Conv3-512Conv3-512Conv3-512Conv3-512Conv3-512Conv1-512Conv3-512Conv3-512Conv3-512Conv3-512Conv3-512Conv3-512Conv3-512MaxpoolFC-4096FC-4096FC-4096softmax經(jīng)典模型(VGGNet)應(yīng)用示例第86頁以上六種網(wǎng)絡(luò)結(jié)構(gòu)相似，都是由5層卷積層加上3層全連接層組成，區(qū)別在于每層卷積的子卷積層數(shù)量和卷積核大小不一樣，由A到E網(wǎng)絡(luò)層數(shù)由11層逐漸增加至19層。表格中conv3-64表示64個(gè)卷積核大小為3×3的卷積層，大卷積層之間由最大池化maxpool隔開，F(xiàn)C-4096表示由4096個(gè)神經(jīng)元構(gòu)成的全連接層，最終輸出層為softmax層。在這六種網(wǎng)絡(luò)中，D為著名的VGG16，E為VGG19。經(jīng)典模型(VGGNet)應(yīng)用示例第87頁圖為最經(jīng)典的VGG16網(wǎng)絡(luò)結(jié)構(gòu)，VGG16總共包含16個(gè)子層，VGG16的輸入層為224×224×3的三通道RGB圖像，第1層卷積層由2個(gè)conv3-64組成，第2層卷積層由2個(gè)conv3-128組成，第3層卷積層由3個(gè)conv3-256組成，第4層卷積層由3個(gè)conv3-512組成，第5層卷積層由3個(gè)conv3-512組成，然后是2個(gè)FC4096的全連接層，1個(gè)FC1000的全連接層，總共16層。經(jīng)典模型(VGGNet)應(yīng)用示例第88頁VGG模型示例：/projectdetail/2799241?contributionType=1經(jīng)典模型(GoogleNet)應(yīng)用示例第89頁VGGNet獲得了2014年的ILSVRC分類比賽的亞軍，而獲得當(dāng)年分類任務(wù)比賽冠軍的則是GoogleNet。與VGGNet模型相比較，GoogleNet模型的網(wǎng)絡(luò)深度已經(jīng)達(dá)到了22層，如果只計(jì)算有參數(shù)的網(wǎng)絡(luò)層，GoogleNet網(wǎng)絡(luò)有22層，如果加上池化層的話則有27層，并且在網(wǎng)絡(luò)架構(gòu)中引入了Inception單元，從而進(jìn)一步地提升了模型整體的性能。雖然GoogleNet的深度達(dá)到了22層，但參數(shù)量卻比AlexNet和VGGNet小得多，GoogleNet參數(shù)總量約為500萬個(gè)，而VGG16參數(shù)約為138million個(gè)，是GoogleNet的27倍多，是AlexNet的兩倍多。經(jīng)典模型(GoogleNet)應(yīng)用示例第90頁如圖為Inception模塊最初的版本，其基本組成結(jié)構(gòu)包含4個(gè)部分：1×1卷積、3×3卷積、5×5卷積以及3×3最大池化，分別經(jīng)過這四個(gè)部分計(jì)算之后的結(jié)果再進(jìn)通道上的組合就得到最終的輸出。經(jīng)典模型(GoogleNet)應(yīng)用示例第91頁NaiveInception模塊有兩個(gè)問題：1、所有卷積層直接和前一層輸入的數(shù)據(jù)對(duì)接會(huì)造成卷積層中的計(jì)算量很大；2、在這個(gè)模塊中使用的最大池化層保留了輸入數(shù)據(jù)的特征圖的深度，所以在最后進(jìn)行合并時(shí)，總的輸出的特征圖的深度只會(huì)增加，這樣就增加了該模塊之后的網(wǎng)絡(luò)結(jié)構(gòu)的計(jì)算量。因此，為了減少參數(shù)量和減少計(jì)算量，Google團(tuán)隊(duì)提出了在GoogleNet模型中使用的InceptionV1模塊。經(jīng)典模型(GoogleNet)應(yīng)用示例第92頁相較于NaiveInception模塊，InceptionV1模塊加入了3個(gè)1×1卷積，其主要目的在于壓縮降維，減少參數(shù)量，從而讓整個(gè)網(wǎng)絡(luò)更深、更寬、更好地提取圖像特征，同時(shí)由于增加的1×1卷積也會(huì)有非線性激活函數(shù)，因此也提升了網(wǎng)絡(luò)模型的表達(dá)能力。經(jīng)典模型(GoogleNet)應(yīng)用示例第93頁GoogleNet的網(wǎng)絡(luò)模型就是利用InceptionV1模塊搭建起來的，如圖所示，總共有22層深，如果包括池化層，則總共有27層深。經(jīng)典模型(GoogleNet)應(yīng)用示例第94頁GoogleNet的網(wǎng)絡(luò)模型就是利用InceptionV1模塊搭建起來的，如圖所示，總共有22層深，如果包括池化層，則總共有27層深。經(jīng)典模型(GoogleNet)應(yīng)用示例第95頁經(jīng)典模型(GoogleNet)應(yīng)用示例第96頁經(jīng)典模型(GoogleNet)應(yīng)用示例第97頁經(jīng)典模型(GoogleNet)應(yīng)用示例第98頁經(jīng)典模型(GoogleNet)應(yīng)用示例第99頁GoogleNet網(wǎng)絡(luò)中還有兩個(gè)用于前向傳導(dǎo)梯度的softmax函數(shù)，也就是輔助分類器，主要是為了避免梯度消失。這兩個(gè)輔助分類器只在訓(xùn)練時(shí)使用，是為了網(wǎng)絡(luò)模型的訓(xùn)練能夠更穩(wěn)定、能夠收斂得更快，但是在模型進(jìn)行預(yù)測(cè)時(shí)則會(huì)去掉這兩個(gè)輔助分類器經(jīng)典模型(GoogleNet)應(yīng)用示例第100頁除了上述模型所用到的InceptionV1模塊，Google團(tuán)隊(duì)之后還提出了InceptionV2模塊以及InceptionV3模塊等。經(jīng)典模型(GoogleNet)應(yīng)用示例第101頁經(jīng)典模型(GoogleNet)應(yīng)用示例第102頁GoogleNet模型示例：/projectdetail/6282074經(jīng)典模型(ResNet)應(yīng)用示例第103頁GoogleNet網(wǎng)絡(luò)中還有兩個(gè)用于前向傳導(dǎo)梯度的softmax函數(shù)，也就是輔助分類器，主要是為了避免梯度消失。這兩個(gè)輔助分類器只在訓(xùn)練時(shí)使用，是為了網(wǎng)絡(luò)模型的訓(xùn)練能夠更穩(wěn)定、能夠收斂得更快，但是在模型進(jìn)行預(yù)測(cè)時(shí)則會(huì)去掉這兩個(gè)輔助分類器。經(jīng)典模型(ResNet)應(yīng)用示例第104頁無論是VGGNet還是GoogleNet可以說都通過增加網(wǎng)絡(luò)深度從而使得網(wǎng)絡(luò)獲得了性能上的巨大成功，但是事實(shí)上并不能簡(jiǎn)單地通過在深度上堆疊網(wǎng)絡(luò)來達(dá)到獲得性能更好的網(wǎng)絡(luò)模型的目的，其原因有二：1、增加網(wǎng)絡(luò)深度會(huì)帶來梯度消失和梯度爆炸的問題，當(dāng)然這可以通過歸一化初始化和BatchNormalization得到很大程度的解決；2、退化問題，即隨著網(wǎng)絡(luò)深度增加，精度達(dá)到飽和，繼續(xù)增加深度，導(dǎo)致精度快速下降。經(jīng)典模型(ResNet)應(yīng)用示例第105頁退化問題表明并不是所有的網(wǎng)絡(luò)模型都能被很簡(jiǎn)單的優(yōu)化。ResNet的作者認(rèn)為，至少深層的網(wǎng)絡(luò)不應(yīng)該比淺層網(wǎng)絡(luò)表現(xiàn)更差，原因是可以設(shè)置這樣一個(gè)網(wǎng)絡(luò)：在淺層網(wǎng)絡(luò)中堆疊恒等映射層(identitymapping)來增加網(wǎng)絡(luò)深度，這些恒等映射層保持輸入和輸出一致即可，這樣的網(wǎng)絡(luò)可以保證深層網(wǎng)絡(luò)效果不會(huì)比淺層網(wǎng)絡(luò)更差。如果能夠讓神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到這種恒等映射，也許就可以解決退化問題，至少能保證深層網(wǎng)絡(luò)不會(huì)比淺層網(wǎng)絡(luò)的表現(xiàn)更差?；谏鲜鲈O(shè)想，ResNet的作者提出了shortcut連接，即在某層特征圖之前加上前面某層的特征圖。經(jīng)典模型(ResNet)應(yīng)用示例第106頁如圖，為一個(gè)瓶頸結(jié)構(gòu)，也叫bottleneck，首先用1×1卷積，將特征圖通道數(shù)壓縮到原先的四分之一，然后經(jīng)過3×3的卷積計(jì)算，最后再用1×1的卷積將特征圖通道數(shù)還原成原來的大?。ɑ蛘呤窃就ǖ罃?shù)的2倍）。經(jīng)典模型(ResNet)應(yīng)用示例第107頁ResNet模型實(shí)例：/projectdetail/4230690目錄深層全連接神經(jīng)網(wǎng)絡(luò)的問題卷積神經(jīng)網(wǎng)絡(luò)詳解實(shí)踐：基于CNN的自動(dòng)駕駛數(shù)據(jù)集分類卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用示例第108頁感謝聆聽有什么問題嗎？Chapter4網(wǎng)絡(luò)優(yōu)化與正則化第四章DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第111頁4.4數(shù)據(jù)預(yù)處理4.1網(wǎng)絡(luò)優(yōu)化4.3參數(shù)初始化方法4.2優(yōu)化方法4.5逐層歸一化目錄Content4.6超參數(shù)優(yōu)化4.7網(wǎng)絡(luò)正則化DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第112頁深度學(xué)習(xí)的矛與盾正則化優(yōu)化降低模型復(fù)雜度經(jīng)驗(yàn)風(fēng)險(xiǎn)最小DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第113頁4.1網(wǎng)絡(luò)優(yōu)化結(jié)構(gòu)差異大沒有通用的優(yōu)化算法超參數(shù)多非凸優(yōu)化問題參數(shù)初始化逃離局部最優(yōu)梯度消失（爆炸）問題平坦最小值（FlatMinima）一個(gè)平坦最小值的鄰域內(nèi)，所有點(diǎn)對(duì)應(yīng)的訓(xùn)練損失都比較接近大部分的局部最小解是等價(jià)的局部最小解對(duì)應(yīng)的訓(xùn)練損失都可能非常接近于全局最小解對(duì)應(yīng)的訓(xùn)練損失DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第114頁4.1網(wǎng)絡(luò)優(yōu)化高維空間的非凸優(yōu)化問題鞍點(diǎn)（SaddlePoint）駐點(diǎn)（StationaryPoint）：梯度為0的點(diǎn)DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第115頁4.1網(wǎng)絡(luò)優(yōu)化VISUALIZINGTHELOSSLANDSCAPEOFNNwithoutskipconnectionswithskipconnectionsLiH,XuZ,TaylorG,etal.Visualizingthelosslandscapeofneuralnets[C]//AdvancesinNeuralInformationProcessingSystems.2018:6389-6399.DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第116頁4.1網(wǎng)絡(luò)優(yōu)化神經(jīng)網(wǎng)絡(luò)優(yōu)化的改善方法更有效的優(yōu)化算法來提高優(yōu)化方法的效率和穩(wěn)定性動(dòng)態(tài)學(xué)習(xí)率調(diào)整梯度估計(jì)修正更好的參數(shù)初始化方法、數(shù)據(jù)預(yù)處理方法來提高優(yōu)化效率修改網(wǎng)絡(luò)結(jié)構(gòu)來得到更好的優(yōu)化地形優(yōu)化地形（OptimizationLandscape）指在高維空間中損失函數(shù)的曲面形狀好的優(yōu)化地形通常比較平滑使用ReLU激活函數(shù)、殘差連接、逐層歸一化等使用更好的超參數(shù)優(yōu)化方法DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第117頁4.2優(yōu)化方法隨機(jī)梯度下降DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第118頁4.2優(yōu)化方法小批量隨機(jī)梯度下降minibatch

幾個(gè)關(guān)鍵因素：小批量樣本數(shù)量梯度學(xué)習(xí)率DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第119頁4.2優(yōu)化方法批量大小的影響批量大小不影響隨機(jī)梯度的期望，但是會(huì)影響隨機(jī)梯度的方差批量越大，隨機(jī)梯度的方差越小，引入的噪聲也越小，訓(xùn)練也越穩(wěn)定，因此可以設(shè)置較大的學(xué)習(xí)率而批量較小時(shí)，需要設(shè)置較小的學(xué)習(xí)率，否則模型會(huì)不收斂4種批量大小對(duì)應(yīng)的學(xué)習(xí)率設(shè)置不同，因此并不是嚴(yán)格對(duì)比小批量梯度下降中，每次選取樣本數(shù)量對(duì)損失下降的影響DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第120頁4.2優(yōu)化方法改進(jìn)方法標(biāo)準(zhǔn)的（小批量）梯度下降學(xué)習(xí)率學(xué)習(xí)率衰減AdagradAdadeltaRMSprop梯度Momentum計(jì)算負(fù)梯度的“加權(quán)移動(dòng)平均”作為參數(shù)的更新方向Nesterovacceleratedgradient梯度截?cái)郃damisbetterchoice!Adam梯度方向?qū)嶋H更新方向DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第121頁4.2優(yōu)化方法學(xué)習(xí)率的影響DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第122頁4.2優(yōu)化方法學(xué)習(xí)率的衰減梯級(jí)衰減（stepdecay）線性衰減（LinearDecay）衰減示意圖DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第123頁4.2優(yōu)化方法周期性學(xué)習(xí)率的調(diào)整DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第124頁4.2優(yōu)化方法CyclicalLearningRatesDeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第125頁4.2優(yōu)化方法自適應(yīng)學(xué)習(xí)率AdagradRMSpropAdadeltaDeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第126頁5.2優(yōu)化方法梯度方向優(yōu)化動(dòng)量法（MomentumMethod）用之前積累動(dòng)量來替代真正的梯度。每次迭代的梯度可以看作是加速度DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第127頁4.2優(yōu)化方法梯度方向優(yōu)化Nesterov加速梯度DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第128頁4.2優(yōu)化方法梯度方向優(yōu)化Adam算法≈動(dòng)量法+RMSprop先計(jì)算兩個(gè)移動(dòng)平均偏差修正更新DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第129頁4.2優(yōu)化方法鞍點(diǎn)幾種方法的對(duì)比DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第130頁4.2優(yōu)化方法梯度截?cái)嗵荻冉財(cái)嗍且环N比較簡(jiǎn)單的啟發(fā)式方法，把梯度的模限定在一個(gè)區(qū)間，當(dāng)梯度的模小于或大于這個(gè)區(qū)間時(shí)就進(jìn)行截?cái)喟粗到財(cái)喟茨＝財(cái)郉eepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第131頁4.2優(yōu)化方法小結(jié)大部分優(yōu)化算法可以使用下面公式來統(tǒng)一描述概括：gt為第t步的梯度αt為第t步的學(xué)習(xí)率DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第132頁4.3參數(shù)初始化方法參數(shù)初始化參數(shù)不能初始化為0！為什么？對(duì)稱權(quán)重問題！初始化方法預(yù)訓(xùn)練初始化隨機(jī)初始化固定值初始化偏置（Bias）通常用0來初始化DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第133頁4.3參數(shù)初始化方法隨機(jī)初始化Gaussian分布初始化

Gaussian初始化方法是最簡(jiǎn)單的初始化方法，參數(shù)從一個(gè)固定均值（比如0）和固定方差（比如0.01）的Gaussian分布進(jìn)行隨機(jī)初始化。均勻分布初始化參數(shù)可以在區(qū)間[?r,r]內(nèi)采用均勻分布進(jìn)行初始化。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第134頁4.3參數(shù)初始化方法隨機(jī)初始化范數(shù)保持性（Norm-Preserving）一個(gè)??層的等寬線性網(wǎng)絡(luò)為了避免梯度消失或梯度爆炸問題，我們希望誤差項(xiàng)基于方差縮放的參數(shù)初始化正交初始化DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第135頁5.3參數(shù)初始化方法隨機(jī)初始化基于方差縮放的參數(shù)初始化Xavier初始化和He初始化正交初始化1）用均值為0、方差為1的高斯分布初始化一個(gè)矩陣2）將這個(gè)矩陣用奇異值分解得到兩個(gè)正交矩陣，并使用其中之一作為權(quán)重矩陣DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第136頁5.4數(shù)據(jù)預(yù)處理5.1網(wǎng)絡(luò)優(yōu)化5.3參數(shù)初始化方法5.2優(yōu)化方法5.5逐層歸一化目錄Content5.6超參數(shù)優(yōu)化5.7網(wǎng)絡(luò)正則化DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第137頁5.4數(shù)據(jù)預(yù)處理數(shù)據(jù)歸一化

數(shù)據(jù)歸一化最小最大值歸一化標(biāo)準(zhǔn)化PCA

數(shù)據(jù)歸一化對(duì)梯度的影響DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第138頁5.5逐層歸一化逐層歸一化

目的更好的尺度不變性內(nèi)部協(xié)變量偏移更平滑的優(yōu)化地形

歸一化方法批量歸一化（BatchNormalization，BN）層歸一化（LayerNormalization）權(quán)重歸一化（WeightNormalization）局部響應(yīng)歸一化（LocalResponseNormalization，LRN）DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第139頁5.5逐層歸一化批量歸一化給定一個(gè)包含K個(gè)樣本的小批量樣本集合，計(jì)算均值和方差批量歸一化DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第140頁5.5逐層歸一化層歸一化

DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第141頁5.5逐層歸一化批量歸一化VS層歸一化DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第142頁5.5逐層歸一化其他歸一化方法DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第143頁5.4數(shù)據(jù)預(yù)處理5.1網(wǎng)絡(luò)優(yōu)化5.3參數(shù)初始化方法5.2優(yōu)化方法5.5逐層歸一化目錄Content5.6超參數(shù)優(yōu)化5.7網(wǎng)絡(luò)正則化DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第144頁5.6超參數(shù)優(yōu)化超參數(shù)層數(shù)每層神經(jīng)元個(gè)數(shù)激活函數(shù)學(xué)習(xí)率（以及動(dòng)態(tài)調(diào)整算法）正則化系數(shù)mini-batch大小優(yōu)化方法網(wǎng)格搜索隨機(jī)搜索貝葉斯優(yōu)化動(dòng)態(tài)資源分配神經(jīng)架構(gòu)搜索DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第145頁5.6超參數(shù)優(yōu)化超參數(shù)假設(shè)總共有K個(gè)超參數(shù)，第k個(gè)超參數(shù)的可以取??_??個(gè)值如果參數(shù)是連續(xù)的，可以將參數(shù)離散化，選擇幾個(gè)“經(jīng)驗(yàn)”值。比如學(xué)習(xí)率α，我們可以設(shè)置

這些超參數(shù)可以有??_1×??_2×···×??_??個(gè)取值組合網(wǎng)格搜索α∈{0.01,0.1,0.5,1.0}DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第146頁4.7網(wǎng)絡(luò)正則化神經(jīng)網(wǎng)絡(luò)過度參數(shù)化擬合能力強(qiáng)泛化性差ZhangC,BengioS,HardtM,etal.Understandingdeeplearningrequiresrethinkinggeneralization[J].arXivpreprintarXiv:1611.03530,2016.DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第147頁5.7網(wǎng)絡(luò)正則化L1/L2約束、數(shù)據(jù)增強(qiáng)權(quán)重衰減、隨機(jī)梯度下降、提前停止所有損害優(yōu)化的方法都是正則化。增加優(yōu)化約束干擾優(yōu)化過程DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用4.7網(wǎng)絡(luò)正則化

DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用5.7網(wǎng)絡(luò)正則化L1和L2正則化

DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用4.7網(wǎng)絡(luò)正則化神經(jīng)網(wǎng)絡(luò)示例不同的正則化系數(shù)DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用4.7網(wǎng)絡(luò)正則化提前停止我們使用一個(gè)驗(yàn)證集（ValidationDataset）來測(cè)試每一次迭代的參數(shù)在驗(yàn)證集上是否最優(yōu)。如果在驗(yàn)證集上的錯(cuò)誤率不再下降，就停止迭代DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用5.7網(wǎng)絡(luò)正則化權(quán)重衰減

DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用4.7網(wǎng)絡(luò)正則化丟棄法（DropoutMethod）

DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用4.7網(wǎng)絡(luò)正則化循環(huán)神經(jīng)網(wǎng)絡(luò)上的丟棄法（DropoutMethod）當(dāng)在循環(huán)神經(jīng)網(wǎng)絡(luò)上應(yīng)用丟棄法，不能直接對(duì)每個(gè)時(shí)刻的隱狀態(tài)進(jìn)行隨機(jī)丟棄，這樣會(huì)損害循環(huán)網(wǎng)絡(luò)在時(shí)間維度上記憶能力變分Dropout根據(jù)貝葉斯學(xué)習(xí)的解釋，丟棄法是一種對(duì)參數(shù)θ的采樣每次采樣的參數(shù)需要在每個(gè)時(shí)刻保持不變。因此，在對(duì)循環(huán)神經(jīng)網(wǎng)絡(luò)上使用丟棄法時(shí)，需要對(duì)參數(shù)矩陣的每個(gè)元素進(jìn)行隨機(jī)丟棄，并在所有時(shí)刻都使用相同的丟棄掩碼虛線邊表示進(jìn)行隨機(jī)丟棄，不同的顏色表示不同的丟棄掩碼。相同顏色表示使用相同的丟棄掩碼DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用4.7網(wǎng)絡(luò)正則化數(shù)據(jù)增強(qiáng)（DataAugmentation）圖像數(shù)據(jù)的增強(qiáng)主要是通過算法對(duì)圖像進(jìn)行轉(zhuǎn)變，引入噪聲等方法來增加數(shù)據(jù)的多樣性圖像數(shù)據(jù)的增強(qiáng)方法：旋轉(zhuǎn)（Rotation）：將圖像按順時(shí)針或逆時(shí)針方向隨機(jī)旋轉(zhuǎn)一定角度；翻轉(zhuǎn)（Flip）：將圖像沿水平或垂直方法隨機(jī)翻轉(zhuǎn)一定角度；縮放（ZoomIn/Out）：將圖像放大或縮小一定比例；平移（Shift）：將圖像沿水平或垂直方法平移一定步長(zhǎng)；加噪聲（Noise）：加入隨機(jī)噪聲。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用4.7網(wǎng)絡(luò)正則化標(biāo)簽平滑（LabelSmoothing）在輸出標(biāo)簽中添加噪聲來避免模型過擬合。一個(gè)樣本x的標(biāo)簽一般用onehot向量表示引入一個(gè)噪聲對(duì)標(biāo)簽進(jìn)行平滑，即假設(shè)樣本以?的概率為其它類。平滑后的標(biāo)簽為硬目標(biāo)（HardTargets）Thanks!DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第157頁第四章網(wǎng)絡(luò)優(yōu)化與正則化謝謝！本章總結(jié)與答疑Chapter5基于CNN的自動(dòng)駕駛目標(biāo)檢測(cè)理論與實(shí)踐第五章DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第159頁5.4AnchorFree目標(biāo)檢測(cè)算法5.1目標(biāo)檢測(cè)概述5.3單階段目標(biāo)檢測(cè)算法5.2兩階段目標(biāo)檢測(cè)算法5.5自動(dòng)駕駛目標(biāo)檢測(cè)技術(shù)應(yīng)用及案例介紹

目錄Content5.6實(shí)踐項(xiàng)目DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第160頁5.1目標(biāo)檢測(cè)概述本節(jié)內(nèi)容：

（1）目標(biāo)檢測(cè)的基本介紹

（2）目標(biāo)檢測(cè)的發(fā)展

（3）數(shù)據(jù)格式與評(píng)估指標(biāo)DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第161頁目標(biāo)檢測(cè)的基本介紹目標(biāo)檢測(cè)是計(jì)算機(jī)圖形學(xué)領(lǐng)域里一個(gè)重要的研究方向。其主要任務(wù)是判斷數(shù)字圖像中是否具有目標(biāo)對(duì)象的區(qū)域，并輸出該區(qū)域的位置和該區(qū)域是此目標(biāo)對(duì)象的置信度。目標(biāo)檢測(cè)包含兩個(gè)子任務(wù)：物體定位和物體分類。目標(biāo)檢測(cè)方法已在眾多領(lǐng)域得到應(yīng)用。商品識(shí)別病變組織識(shí)別交通標(biāo)志識(shí)別行人車輛識(shí)別DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第162頁目標(biāo)檢測(cè)的基本介紹采用傳統(tǒng)的目標(biāo)檢測(cè)方法，模型的可解釋性好、但適應(yīng)能力較差、模型較為復(fù)雜；

隨著對(duì)樣本數(shù)量的增加，模型的復(fù)雜程度也在增加，而準(zhǔn)確度卻并沒有明顯的提升?；谏疃葘W(xué)習(xí)的目標(biāo)檢測(cè)算法，則要求相當(dāng)規(guī)模的訓(xùn)練樣本數(shù)量，模型訓(xùn)練對(duì)硬件算力的要求也較高；

但方法簡(jiǎn)單、方便增刪分類數(shù)量、適應(yīng)性好；

且隨著樣本數(shù)量的增加，算法的準(zhǔn)確度也逐漸提高。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第163頁目標(biāo)檢測(cè)的發(fā)展根據(jù)特征提取的方式，目標(biāo)檢測(cè)算法可以分為：

傳統(tǒng)的目標(biāo)檢測(cè)算法、

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第164頁目標(biāo)檢測(cè)數(shù)據(jù)格式常用的數(shù)據(jù)格式：PASCALVOC格式和COCO格式。VOC格式來自于同名的競(jìng)賽，該數(shù)據(jù)集格式定義了數(shù)據(jù)存放的目錄結(jié)構(gòu)；其中，一個(gè)xml文件對(duì)應(yīng)一張圖片，用于保存圖片的標(biāo)注信息。COCO格式是微軟構(gòu)建的一種目標(biāo)檢測(cè)大型基準(zhǔn)數(shù)據(jù)集，其與VOC數(shù)據(jù)集最大的不同在于整個(gè)訓(xùn)練集的標(biāo)注信息都存放在一個(gè)json文件內(nèi)。VOC數(shù)據(jù)集文件結(jié)構(gòu)COCO格式j(luò)son文件內(nèi)容DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第165頁目標(biāo)檢測(cè)評(píng)價(jià)指標(biāo)評(píng)價(jià)一種目標(biāo)檢測(cè)算法可以從兩個(gè)角度考慮

一是目標(biāo)檢測(cè)模型的復(fù)雜度，二是目標(biāo)檢測(cè)模型的性能。前者反映了模型在應(yīng)用時(shí)需要的存儲(chǔ)空間大小、計(jì)算資源多少、運(yùn)行時(shí)間長(zhǎng)短。

常用指標(biāo)有：

FLOPS（浮點(diǎn)運(yùn)算數(shù)量）：反映算法大致所需資源。

FPS（每秒幀數(shù)）：反映模型執(zhí)行過程中的執(zhí)行速度。后者反映了目標(biāo)檢測(cè)算法的預(yù)測(cè)結(jié)果與真實(shí)值的接近程度。

其可再細(xì)化為：輸出位置的準(zhǔn)確性、輸出類型的準(zhǔn)確性

因此，引入以下指標(biāo)：

位置相關(guān)：中心距離、圖像重疊程度、倒角距離

類型相關(guān)：準(zhǔn)確率、精準(zhǔn)率、召回率、平均正確率、均值平均精度DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第166頁目標(biāo)檢測(cè)評(píng)價(jià)指標(biāo)與類型相關(guān)的評(píng)價(jià)指標(biāo)：

準(zhǔn)確率（Accuracy）、精準(zhǔn)率（Precision，P）、召回率（Recall，R