從神經(jīng)網(wǎng)絡到深度學習

深度學習與計算機視覺ZJUAI主講人：羅浩時間：10.16~10.27主辦單位：控制科學與工程學院承辦單位：浙江大學學生人工智能協(xié)會課程大綱2時間課程主講人10月16日19:00~21:00從神經(jīng)網(wǎng)絡到深度學習羅浩10月18日19:00~21:00卷積神經(jīng)網(wǎng)絡與模型壓縮羅浩、孟讓10月20日19:00~21:00遞歸神經(jīng)網(wǎng)絡與常用硬件環(huán)境配置羅浩、李楊10月23日19:00~21:00Pytorch介紹與代碼實踐羅浩10月25日19:00~21:00TensorFlow介紹與代碼實踐洪瀾10月27日19:00~21:00計算機視覺應用——分割、檢測、識別等羅浩、陳汐地點：教九101直播（繳納會費加入）從神經(jīng)網(wǎng)絡到深度學習CHAPTER1主講人：羅浩時間：10.16主辦單位：控制科學與工程學院承辦單位：浙江大學學生人工智能協(xié)會THEMAINCONTENTS01機器學習與神經(jīng)網(wǎng)絡04深度學習框架03卷積神經(jīng)網(wǎng)絡02深度學習第部分1機器學習與神經(jīng)網(wǎng)絡機器學習與神經(jīng)網(wǎng)絡6模型驅(qū)動數(shù)據(jù)驅(qū)動機器學習與神經(jīng)網(wǎng)絡7解決問題模型驅(qū)動數(shù)據(jù)驅(qū)動牛頓力學化學方程機器學習數(shù)據(jù)可視化數(shù)據(jù)挖掘機器學習與神經(jīng)網(wǎng)絡8機器學習≈尋找一個映射SpeechRecognition

ImageRecognition

AlphaGo

DialogueSystem

(whattheusersaid)(systemresponse)機器學習與神經(jīng)網(wǎng)絡9機器學習機器學習與神經(jīng)網(wǎng)絡10機器學習機器學習與神經(jīng)網(wǎng)絡11訓練數(shù)據(jù)(trainingdata)顧名思義，訓練數(shù)據(jù)用于訓練學習模型，通常比例不低于總數(shù)據(jù)量的一半。交叉驗證數(shù)據(jù)(crossvalidationdata)交叉驗證數(shù)據(jù)用于衡量訓練過程中模型的好壞，因為機器學習算法大部分都不是通過解析法得到的，而是通過不斷迭代來慢慢優(yōu)化模型，所以交叉驗證數(shù)據(jù)就可以用來監(jiān)視模型訓練時候的性能變化。測試數(shù)據(jù)(testingdata)在模型訓練好了之后，測試數(shù)據(jù)用于衡量最終模型的性能好壞，這也是模型性能好壞的衡量指標，交叉驗證的指標只能用于監(jiān)視和輔助模型訓練，不能用來代表模型好壞，所以哪怕交叉驗證的準確度是100%而測試數(shù)據(jù)的準確度是10%，那么模型也是不能被認可的。通常交叉驗證和測試數(shù)據(jù)的比例各占一小半。機器學習機器學習與神經(jīng)網(wǎng)絡1212標注數(shù)據(jù)未標注數(shù)據(jù)標注數(shù)據(jù)未標注數(shù)據(jù)監(jiān)督學習

半監(jiān)督學習

無監(jiān)督學習訓練集的差異機器學習機器學習與神經(jīng)網(wǎng)絡13源域→目標域數(shù)據(jù)分布自適應：通過一些變換，將不同的數(shù)據(jù)分布的距離拉近特征選擇：假設源域和目標域中均含有一部分公共的特征子空間學習：假設源域和目標域數(shù)據(jù)在變換后的子空間中會有著相似的分布遷移學習機器學習與神經(jīng)網(wǎng)絡14解決問題模型驅(qū)動數(shù)據(jù)驅(qū)動牛頓力學化學方程機器學習數(shù)據(jù)可視化數(shù)據(jù)挖掘神經(jīng)網(wǎng)絡支持向量機貝葉斯學習遺傳算法機器學習機器學習與神經(jīng)網(wǎng)絡15連接和信息傳遞神經(jīng)元—神經(jīng)網(wǎng)絡的基本運算單位機器學習與神經(jīng)網(wǎng)絡16輸入：權重：偏置：輸出：非線性激活函數(shù)單層感知機（神經(jīng)元）機器學習與神經(jīng)網(wǎng)絡17

常用激活函數(shù)機器學習與神經(jīng)網(wǎng)絡18一個神經(jīng)元接收四個其他神經(jīng)元的輸入，每一個的激勵水平是10，-20，4以及-2。每一個神經(jīng)元的突觸權重是0.9，0.2，-1.0以及-0.9。于是神經(jīng)元的輸出可以計算如下：假設激勵函數(shù)是Sigmoid,偏置為0.1:

神經(jīng)元運算舉例機器學習與神經(jīng)網(wǎng)絡19單個神經(jīng)元的計算能力有限，無法處理大規(guī)模的運算輸入層隱層輸出層1

2

3

4多個神經(jīng)元的集合叫層單向的層內(nèi)也可以存在連接神經(jīng)元->神經(jīng)網(wǎng)絡機器學習與神經(jīng)網(wǎng)絡20前饋：輸出：通用：怎么訓練？預測≈標簽損失函數(shù)min多層前饋神經(jīng)網(wǎng)絡機器學習與神經(jīng)網(wǎng)絡21abcf=d*c=12d=a+b=-32-5-4通過梯度來更新每一層的網(wǎng)絡的參數(shù)W

反向傳播(BackwardPropagation)機器學習與神經(jīng)網(wǎng)絡22鏈式法則反傳意味著計算關于網(wǎng)絡參數(shù)的導數(shù)abc2-5-4

機器學習與神經(jīng)網(wǎng)絡23梯度反傳計算損失函數(shù)L關于輸出層的梯度：第k-1層第k層標簽Y最后一層輸出Loss第k+1層機器學習與神經(jīng)網(wǎng)絡24梯度反傳關于每一個輸出節(jié)點：關于每一層網(wǎng)絡權重：第k-1層第k層標簽Y最后一層輸出Loss第k+1層機器學習與神經(jīng)網(wǎng)絡25反向傳播推導示例——梯度下降25其中Update機器學習與神經(jīng)網(wǎng)絡26神經(jīng)網(wǎng)絡的缺陷局部最優(yōu)梯度彌散參數(shù)量指數(shù)級增加層數(shù)過多無法訓練機器學習與神經(jīng)網(wǎng)絡27神經(jīng)網(wǎng)絡的優(yōu)缺點神經(jīng)元細胞神經(jīng)網(wǎng)絡可以擬合任何非線性模型，實現(xiàn)分類、回歸基于梯度訓練，方便編程實現(xiàn)擴展層數(shù)過多會出現(xiàn)梯度彌散，無法訓練為了降低輸入的維度，通常需要對原始數(shù)據(jù)進行人工特征提取…機器學習與神經(jīng)網(wǎng)絡28神經(jīng)網(wǎng)絡訓練過程為了得到所有點的導數(shù)：1.前向傳遞計算每一個節(jié)點的輸出2.從輸出層反向依次計算每一個節(jié)點的梯度3.利用梯度下降來更新連接權重：

是學習率，也就是步長

是梯度下降方向

機器學習與神經(jīng)網(wǎng)絡29過擬合與欠擬合抑制過擬合的方式Dropout正則化數(shù)據(jù)增廣減小網(wǎng)絡；Earlystopping…機器學習與神經(jīng)網(wǎng)絡30到底是什么限制了神經(jīng)網(wǎng)絡的發(fā)展？第部分2深度學習深度學習32為什么要深度？層數(shù)越多，表達能力越強深度學習33深度學習的發(fā)展Hinton發(fā)表了第一篇深度學習論文

Afastlearningalgorithmfordeepbeliefnets誕生（DNN,DBN）2006谷歌旗下DeepMind公司的圍棋機器人AlphaGo擊敗李世石，后以Master身份連續(xù)60場不敗.爆發(fā)（AlphaGo）2016Hinton學生在2012年ImageNet比賽中大幅刷新準確度ImageNetClassificationwithDeepConvolutionalNeuralNetworks.首次應用（CNN）谷歌利用Recurrentneuralnetwork實現(xiàn)圖文轉(zhuǎn)換.時序列（RNN）20122014第部分3卷積神經(jīng)網(wǎng)絡卷積神經(jīng)網(wǎng)絡35深度學習解決問題模型驅(qū)動數(shù)據(jù)驅(qū)動牛頓力學化學方程機器學習數(shù)據(jù)可視化數(shù)據(jù)挖掘神經(jīng)網(wǎng)絡支持向量機貝葉斯學習深度學習遺傳算法卷積神經(jīng)網(wǎng)絡36卷積神經(jīng)網(wǎng)絡——卷積一維卷積二維卷積卷積神經(jīng)網(wǎng)絡37卷積神經(jīng)網(wǎng)絡——卷積一維卷積原圖整體邊緣濾波器橫向邊緣濾波器縱向邊緣濾波器卷積神經(jīng)網(wǎng)絡38卷積神經(jīng)網(wǎng)絡三特性——局部連接人類神經(jīng)元感受野減少參數(shù)根據(jù)視覺神經(jīng)相關研究的表明，我們的視覺神經(jīng)元是有層次感，低層的視覺神經(jīng)元更加關注具體的局部細節(jié)（例如邊緣，紋理等），而高層視覺神經(jīng)元更加關注高層特征等（例如輪廓、空間關系等）。而低層神經(jīng)元的實現(xiàn)就是通過局部連接的思想實現(xiàn)。卷積神經(jīng)網(wǎng)絡39卷積神經(jīng)網(wǎng)絡三特性——權值共享權值共享不僅僅是直接的參數(shù)量大大縮小，它也是擁有充分論證的物理意義的，在圖像處理領域一次卷積操作就是一次特征提取減少參數(shù)提取特征卷積神經(jīng)網(wǎng)絡40卷積神經(jīng)網(wǎng)絡三特性——池化采樣擴大感受野層次特征淺層關注的是局部的細節(jié)特征——紋理、顏色高層關注的是更加抽象的全局特征——輪廓、類別卷積神經(jīng)網(wǎng)絡41感受野感受野是指一個神經(jīng)元與輸入層連接神經(jīng)元組成的區(qū)域感受野的計算卷積神經(jīng)網(wǎng)絡42為什么要深度？層數(shù)越多，表達能力越強寬度vs深度！卷積神經(jīng)網(wǎng)絡43深度卷積網(wǎng)絡的構成卷積層(convolutionlayer)池化層(poolinglayer)全連接層(fullyconnectedlayer)輔助層(supportlayer)卷積神經(jīng)網(wǎng)絡44卷積層建模沿著空間位置計算卷積特征圖，作為下一層的輸入RGB圖像6x6

3=1*1+0*-1+0*-1+0*-1+1*1+0*-1+0*-1+0*-1+1*1-1=0*1+0*-1+0*-1+1*-1+1*1+0*-1+0*-1+0*-1+1*13-1一個卷積核的情況卷積神經(jīng)網(wǎng)絡45卷積層建模卷積運算輸入圖像卷積核(kernelsize=5)卷積核特征圖多個卷積核的情況卷積神經(jīng)網(wǎng)絡46卷積層可視化

第一層和第二層：角點，邊緣后者顏色信息卷積神經(jīng)網(wǎng)絡47卷積層可視化第三層：相似的紋理卷積神經(jīng)網(wǎng)絡48卷積層可視化第四層,第五層卷積層可視化

卷積神經(jīng)網(wǎng)絡49池化層

池化層沒有任何需要學習的參數(shù)32203122253826705361池化大小是2x2,步長是1AveragepoolingMaxpooling22033267036532258867586745

卷積神經(jīng)網(wǎng)絡50池化層

32203122253826705361xypooling224x224x64112x112x64224224下采樣112112

卷積神經(jīng)網(wǎng)絡51全連接層全連接權重是W輸出輸入本質(zhì)上也是卷積層，卷積核的大小和輸入數(shù)據(jù)大小一致比如W1=(w*h)*Nfc1,Nfc1表示第一個全連接層節(jié)點個數(shù)全連接層之間，可以看做是1*1的卷積W2=Nfc1*（1*1）*Nfc2W1W2fc2卷積神經(jīng)網(wǎng)絡52輔助層：反卷積層卷積反卷積可學習的上采樣層，在圖像分割，圖像生成中廣泛應用卷積神經(jīng)網(wǎng)絡53輔助層：反卷積層MirzaM,OsinderoS.ConditionalGenerativeAdversarialNets[J].arXiv:Learning,2014.卷積神經(jīng)網(wǎng)絡54輔助層：BatchNormalization層IoffeS,SzegedyC.BatchNormalization:AcceleratingDeepNetworkTrainingbyReducingInternalCovariateShift[J].internationalconferenceonmachinelearning,2015:448-456前向傳導過程：輸入數(shù)據(jù)歸一化：

//

mini-batch

mean//mini-batchvariance//normalize//scaleandshift卷積神經(jīng)網(wǎng)絡55輔助層：Dropout層

卷積神經(jīng)網(wǎng)絡56卷積神經(jīng)網(wǎng)絡示例——LeNetmodel=Sequential()model.add(Conv2D(6,kernel_size=(5,5),activation='relu',input_shape=input_shape))model.add(MaxPooling2D(pool_size=(2,2)))model.add(Conv2D(16,(5,5),activation='relu’))model.add(MaxPooling2D(pool_size=(2,2)))model.add(Flatten())model.add(Dense(120,activation='relu’))model.add(Dense(num_classes,activation='softmax'))卷積神經(jīng)網(wǎng)絡57卷積神經(jīng)網(wǎng)絡Dem