《深度學(xué)習(xí)：基于PyTorch 》 課件 第3、4章：前饋神經(jīng)網(wǎng)絡(luò)、神經(jīng)網(wǎng)絡(luò)的Pytorch實(shí)現(xiàn)

第三章：前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)目標(biāo)前饋神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)常見激活函數(shù)及其優(yōu)缺點(diǎn)常見損失函數(shù)的設(shè)置梯度下降算法及其擴(kuò)展反向傳播算法原理過擬合及其常用處理方法前饋神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)M-P神經(jīng)元模型M-P神經(jīng)元模型：首個(gè)模擬生物神經(jīng)元的結(jié)構(gòu)和工作原理構(gòu)造出來的一個(gè)抽象和簡(jiǎn)化了的數(shù)學(xué)模型。它由心理學(xué)家沃倫·麥卡洛克（WarrenMcCulloch）和數(shù)理邏輯學(xué)家沃爾特·皮茲（WalterPitts）在1943年提出并以二人的名字命名。該模型旨在模擬從多輸入到單輸出的信息處理單元。M-P模型的工作步驟：神經(jīng)元接受n個(gè)輸入信號(hào)。將輸入與權(quán)值參數(shù)進(jìn)行加權(quán)求和并經(jīng)過階躍函數(shù)激活。將激活結(jié)果作為結(jié)果輸出。人為設(shè)定參數(shù)值神經(jīng)元

激活函數(shù)激活函數(shù)就是指非線性變換。對(duì)線性組合的結(jié)果施加一個(gè)非線性變換，就為神經(jīng)網(wǎng)絡(luò)各層之間的連接方式提供了一種非線性的變換方式，而非線性變換打破了“線性組合的線性組合”這樣一種循環(huán)，多層神經(jīng)網(wǎng)絡(luò)相比于單層網(wǎng)絡(luò)有了更豐富的函數(shù)形式。 常用的激活函數(shù)：Sigmoid激活函數(shù)Tanh激活函數(shù)ReLu激活函數(shù)其他激活函數(shù)：leakyReLU、elu、cReLU、selu、ReLU6、softplus、softsign……Sigmoid激活函數(shù)值域有界，神經(jīng)元的輸出不會(huì)爆炸輸出非負(fù)，可以直接看做概率分布。連續(xù)可導(dǎo)，梯度可以顯式計(jì)算原函數(shù)導(dǎo)數(shù)無法實(shí)現(xiàn)神經(jīng)元的激活值為負(fù)有可能會(huì)發(fā)生梯度退化或消失對(duì)于復(fù)雜網(wǎng)絡(luò)求解梯度十分復(fù)雜Tanh激活函數(shù)繼承了Sigmoid函數(shù)一系列優(yōu)缺點(diǎn)區(qū)別在于Tanh函數(shù)更適合讓神經(jīng)元產(chǎn)生與輸入符號(hào)一致的非概率輸出原函數(shù)導(dǎo)數(shù)ReLU激活函數(shù)原函數(shù)導(dǎo)數(shù)導(dǎo)數(shù)簡(jiǎn)單，計(jì)算和優(yōu)化將更高效不是兩端飽和函數(shù)，緩解梯度消失問題舍棄神經(jīng)元負(fù)信號(hào)，使神經(jīng)網(wǎng)絡(luò)具有稀疏的特點(diǎn)神經(jīng)元的輸入與輸出之間存在均值偏移有可能導(dǎo)致神經(jīng)元“死亡”的現(xiàn)象LeakyReLU緩解神經(jīng)元“死亡”現(xiàn)象四種激活函數(shù)示意圖前饋神經(jīng)網(wǎng)絡(luò)的構(gòu)成前饋神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的擬合能力，用具有有限多的隱藏層神經(jīng)元可以逼近任意的有限區(qū)間內(nèi)的曲線這被稱之為通用逼近定理UniversalApproximationTheorem

損失函數(shù)與梯度下降算法損失函數(shù)

梯度下降算法

小批量梯度下降算法

ImageNet14,197,122

images小批量梯度下降算法

小批量梯度下降算法

梯度下降算法的改進(jìn)梯度估計(jì)修正在MGD算法中，如果批量數(shù)比較小，損失會(huì)呈現(xiàn)震蕩的方式下降，說明每次迭代的梯度估計(jì)和整個(gè)訓(xùn)練集上的最優(yōu)梯度不一致，具有一定的隨機(jī)性，此時(shí)可以進(jìn)行梯度估計(jì)修正改進(jìn)算法：動(dòng)量梯度下降、梯度加速法學(xué)習(xí)率調(diào)整學(xué)習(xí)率的設(shè)置也很重要，過大可能不會(huì)收斂，過小可能收斂太慢自適應(yīng)學(xué)習(xí)率調(diào)整算法：AdaGrad、AdaDelta、RMSprop綜合法Adam：動(dòng)量法+RMSprop法的結(jié)合動(dòng)量梯度下降算法

Nesterov梯度加速算法

AdaGrad算法

AdaGrad算法（續(xù)）優(yōu)點(diǎn)：可以進(jìn)行學(xué)習(xí)率的自適應(yīng)調(diào)整缺點(diǎn)：分母是所有歷史信息的求和，因此會(huì)隨著迭代變得越來越大，從而使得學(xué)習(xí)率衰減過快AdaDelta算法更新公式：解決AdaGrad中歷史梯度累積平方和單調(diào)遞增的問題AdaDelta不再使用全部歷史信息，而是使用某個(gè)固定窗寬內(nèi)的歷史梯度信息計(jì)算累計(jì)平方和。計(jì)算固定窗寬內(nèi)的梯度累積平方和需要存儲(chǔ)多個(gè)歷史梯度平方的信息，AdaDelta轉(zhuǎn)而使用指數(shù)加權(quán)的方式累積歷史信息AdaDelta作者指出此前梯度類算法參數(shù)的單位沒有保持一致，因此又更新了第二階段的AdaDelta算法，詳見教材公式

均方根加速（RMSprop）更新公式：與AdaDelta算法思路十分相似，同年提出（但未發(fā)表），與第一階段AdaDelta公式一致。

Adam算法更新公式：將動(dòng)量法與RMSprop結(jié)合起來考慮的算法

各種算法的收斂過程推薦閱讀材料：/dl2017/html/lesson2-week2.html反向傳播算法：?jiǎn)蝹€(gè)神經(jīng)元

反向傳播算法：?jiǎn)蝹€(gè)神經(jīng)元反向傳播算法：?jiǎn)蝹€(gè)神經(jīng)元

反向傳播算法：兩層神經(jīng)網(wǎng)絡(luò)

反向傳播算法：兩層神經(jīng)網(wǎng)絡(luò)

反向傳播算法：兩層神經(jīng)網(wǎng)絡(luò)

反向傳播算法：兩層神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練流程初始化參數(shù)。常用的初始化方法有常數(shù)初始化、正態(tài)分布類初始化、均勻分布類初始化等。切分batch數(shù)據(jù)。神經(jīng)網(wǎng)絡(luò)每一輪訓(xùn)練不是用全部數(shù)據(jù)，而是選取一定量的數(shù)據(jù)樣本作為輸入，這部分?jǐn)?shù)據(jù)樣本稱為一個(gè)batch。前向傳播建立損失函數(shù)反向傳播是否達(dá)到迭代次數(shù)，如果達(dá)到，則結(jié)束本輪訓(xùn)練，如果未達(dá)到，則繼續(xù)重復(fù)前面的步驟進(jìn)行新一輪迭代。神經(jīng)網(wǎng)絡(luò)的過擬合及處理方法過擬合

期望損失的極小值

過擬合欠擬合過擬合適度擬合過擬合（Overfitting）是指在模型訓(xùn)練過程中，模型對(duì)訓(xùn)練數(shù)據(jù)學(xué)習(xí)過度，將數(shù)據(jù)中包含的噪聲和誤差也學(xué)習(xí)了，使得模型在訓(xùn)練集上表現(xiàn)很好，而在測(cè)試集上表現(xiàn)很差的現(xiàn)象。偏差-方差分解

無法通過模型改變的理論下界

偏差-方差分解

偏差方差偏差：一個(gè)模型在不同訓(xùn)練集上的平均性能與最優(yōu)模型的差異，衡量模型的擬合能力。方差：一個(gè)模型在不同訓(xùn)練集上的差異，衡量一個(gè)模型是否容易過擬合。偏差-方差分解左上角：最理想的情況左下角：泛化能力很好，但擬合能力不足右上角：擬合能力很好，但泛化能力較差右下角：最差的情況訓(xùn)練誤差V.S.測(cè)試誤差判斷是否存在高偏差或高方差的關(guān)鍵：訓(xùn)練誤差V.S.測(cè)試誤差訓(xùn)練誤差5%20%20%1%測(cè)試誤差20%5%30%2%高方差高偏差高偏差&高方差低偏差&低方差高偏差：換一個(gè)更復(fù)雜的網(wǎng)絡(luò)或更先進(jìn)的算法、增加數(shù)據(jù)特征等高方差：降低模型復(fù)雜度、增加更多的數(shù)據(jù)集、集成模型等正則化方法

正則化方法權(quán)重衰減

Dropout方法Dropout方法由辛頓（Hinton）教授團(tuán)隊(duì)提出，它是指在神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過程中，將某一層的單元（不包括輸出層的單元）數(shù)據(jù)隨機(jī)丟棄一部分。目的：簡(jiǎn)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，防止神經(jīng)網(wǎng)絡(luò)過擬合原理：對(duì)每一層的神經(jīng)元，設(shè)定一個(gè)失活（Drop）概率帶dropout的神經(jīng)網(wǎng)絡(luò)帶dropout的神經(jīng)網(wǎng)絡(luò)模型的分類效果推薦學(xué)習(xí)資料：/dl2017/html/lesson2-week1.html第四章：神經(jīng)網(wǎng)絡(luò)的Pytorch實(shí)現(xiàn)1.利用神經(jīng)網(wǎng)絡(luò)進(jìn)行回歸任務(wù)的設(shè)計(jì)思路2.利用神經(jīng)網(wǎng)絡(luò)進(jìn)行分類任務(wù)的設(shè)計(jì)思路3.線性回歸案例：顏值打分模型4.二分類案例：性別預(yù)測(cè)模型5.多分類案例：Fashion-MNIST數(shù)據(jù)集分類學(xué)習(xí)目標(biāo)線性回歸案例：顏值打分

線性回歸模型數(shù)據(jù)介紹：圖像來源：本案例使用的數(shù)據(jù)來自華南理工大學(xué)在2018年發(fā)布的SCUT-FBP5500-Database數(shù)據(jù)集及相關(guān)論文，該數(shù)據(jù)集包含共5500張彩色正面人臉圖片，其中2000張亞洲男性，2000張亞洲女性，750張高加索男性，750張高加索女性。因變量：研究組招募了60名志愿者給隨機(jī)展示的人臉照片進(jìn)行1-5打分（得分越高代表越好看）。為了演示本案例的顏值打分模型，我們將每張照片的得分取平均值作為該張照片的最終顏值得分。案例：顏值打分

案例：顏值打分定義Dataset類可以定義自己的數(shù)據(jù)類用于原始數(shù)據(jù)的讀取和預(yù)處理也可以繼承pytorch中的Dataset類提供一種方式去獲取數(shù)據(jù)及其對(duì)應(yīng)的真實(shí)Label

案例：顏值打分模板：一般在類中首先需要寫的是__init__方法，此方法用于對(duì)象實(shí)例化，提供類中需要使用的變量，其中self可以當(dāng)做類中的全局變量idx是index的簡(jiǎn)稱，就是一個(gè)編號(hào)，用于對(duì)我們初始化中得到的文件名列表進(jìn)行索引訪問統(tǒng)計(jì)數(shù)據(jù)集中的數(shù)據(jù)數(shù)量

案例：顏值打分構(gòu)建dataset類用于讀取：圖片數(shù)據(jù)：X顏值打分：Y

案例：顏值打分對(duì)圖片數(shù)據(jù)進(jìn)行必要的預(yù)處理，并劃分訓(xùn)練集和驗(yàn)證集

案例：顏值打分盡管Dataset類可以通過迭代的方式讀取每一個(gè)數(shù)據(jù)，但是很難實(shí)現(xiàn)多線程讀?。醋x取batch數(shù)據(jù)）迭代次數(shù)（iteration）=樣本總數(shù)（epoch）/批尺寸（batchszie）DataLoader的使用用來處理模型輸入數(shù)據(jù)的一個(gè)工具類。組合了數(shù)據(jù)集（dataset）+采樣器(sampler)，并在數(shù)據(jù)集上提供單線程或多線程(num_workers)的可迭代對(duì)象。

案例：顏值打分在進(jìn)行后續(xù)建模前，首先要展示下讀取的數(shù)據(jù)是否正確，一般進(jìn)行可視化展示

案例：顏值打分構(gòu)建線性回歸模型Pytorch里編寫神經(jīng)網(wǎng)絡(luò)模型的組件：nn.Module模板如下：所有模型的構(gòu)建從nn.Module繼承建立一個(gè)計(jì)算圖，結(jié)構(gòu)可以復(fù)用多次案例：顏值打分輸出層形狀該層參數(shù)量案例：顏值打分開始模型訓(xùn)練首先定義驗(yàn)證集的損失和評(píng)估指標(biāo)案例：顏值打分定義主函數(shù)：模型訓(xùn)練案例：顏值打分模型訓(xùn)練過程展示案例：顏值打分模型預(yù)測(cè)：給定一張照片，給出預(yù)測(cè)的顏值得分作業(yè)：美食評(píng)分模型作業(yè)：美食評(píng)分模型數(shù)據(jù)介紹：圖像來源：Flickr上收集用戶上傳的經(jīng)人工篩選后的196張食物圖像因變量：由5人小組對(duì)每張美食圖像進(jìn)行1～5評(píng)分，最后取平均分作為每張圖像的最終得分（其中1分代表圖像非常不吸引人，5分代表圖像非常吸引人）邏輯回歸模型的Pytorch實(shí)現(xiàn)

邏輯回歸模型

案例：性別識(shí)別自定義Dataset類此時(shí)的Y是二分類

案例：性別識(shí)別構(gòu)建邏輯回歸模型也可以采取Sigmoid函數(shù)案例：性別識(shí)別分類模型的評(píng)估指標(biāo)：Accuracy案例：性別識(shí)別模型預(yù)測(cè)

Softmax回歸模型數(shù)據(jù)集介紹：Fashion-MNIST數(shù)據(jù)集包含了10個(gè)類別的圖像，分別是：t-shirt（T恤），trou