人工智能深度學習綜合實踐 課件1.深度學習全連接神經(jīng)網(wǎng)絡應用-深度學習分類任務、2.深度學習卷積神經(jīng)網(wǎng)絡應用-卷積神經(jīng)網(wǎng)絡的基本原理

深度學習卷積神經(jīng)網(wǎng)絡實戰(zhàn)深度學習模型訓練項目目標（1）熟悉卷積神經(jīng)網(wǎng)絡的基本概念。（2）了解卷積神經(jīng)網(wǎng)絡的組成結(jié)構(gòu)和基本原理。（3）掌握卷積神經(jīng)網(wǎng)絡的訓練流程。（4）能夠基于手寫數(shù)字識別案例搭建卷積神經(jīng)網(wǎng)絡。項目描述在本項目中，首先回顧深度學習的分類任務，接著對全連接層、激活函數(shù)和交叉熵損失做了詳細的介紹，最后將會以手寫數(shù)字識別任務來詳細介紹全連接神經(jīng)網(wǎng)絡及其訓練流程。讀取數(shù)據(jù)初步處理抽象處理進一步抽象處理卷積神經(jīng)網(wǎng)絡的基本原理1981年諾貝爾醫(yī)學獎得主：DavidHubel和TorstenWiesel發(fā)現(xiàn)了視覺系統(tǒng)的信息處理規(guī)律：可視皮層是分級的。例如當我們的眼睛看到一張人臉圖像到大腦最終識別為人臉的過程中，將經(jīng)過以下幾個步驟：卷積神經(jīng)網(wǎng)絡的基本原理（1）讀取數(shù)據(jù)：瞳孔從光源中攝入圖像中的像素信息。（2）初步處理：大腦皮層某些細胞發(fā)現(xiàn)像素信息中的邊緣和方向等。（3）抽象處理：大腦判定眼前的圖像中的特征，如鼻子、眼睛等。（4）進一步抽象處理：大腦進一步將特征進行組合，判定特征組合是人臉。LeNet-5卷積神經(jīng)網(wǎng)絡卷積神經(jīng)網(wǎng)絡的基本原理如圖所示，LeNet-5一共包含7層網(wǎng)絡結(jié)構(gòu)，分別由2個卷積層、2個池化層和3個連接層組成。圖像數(shù)據(jù)將通過卷積計算逐層提取出圖像的特征，同時通過池化縮小數(shù)據(jù)的規(guī)模。同時卷積計算使網(wǎng)絡的權(quán)值能夠共享，有效減少了網(wǎng)絡的參數(shù)，也使到參數(shù)的使用更加高效，減輕了訓練的負擔。卷積神經(jīng)網(wǎng)絡的基本原理如下圖，對于不同的物體，人類視覺也是通過這樣逐層分級來進行認知的。從處理過程中可以看到，在最底層特征基本上是類似的，就是各種邊緣。越進行抽象處理，就越能提取出此類物體的一些特征，如眼睛、輪子、軀干等。到最上層，不同的高級特征最終組合成相應的圖像，從而能夠讓人類準確的區(qū)分不同的物體?！竽X對像素信息的分層處理?卷積神經(jīng)網(wǎng)絡的基本原理結(jié)合視覺系統(tǒng)的信息處理規(guī)律，LeCun提出了一種用于識別手寫數(shù)字和機器印刷字符的卷積神經(jīng)網(wǎng)絡：LeNet-5。LeNet-5神經(jīng)網(wǎng)絡組合了卷積、池化和激活函數(shù)的特性，通過參數(shù)共享的卷積操作提取圖像中像素特征之間的相關性。LeNet-5卷積池化激活函數(shù)卷積層卷積核對目標數(shù)據(jù)的處理，其實就是使目標矩陣與卷積核相同位置上的元素相乘之后求和。將卷積核“蓋”在目標矩陣上，并使兩個矩陣相同位置上的元素相乘再求和，便能得到處理后的結(jié)果。卷積核運作的過程1卷積層處理完一處數(shù)據(jù)后，卷積核將向其他區(qū)域繼續(xù)滑動，直到“掃描”完整個目標矩陣為止，這個過程就是“卷積”。如圖所示，6×6的矩陣經(jīng)過尺寸為3×3的卷積核處理后，將生成

4×4的矩陣結(jié)果。對比卷積處理前后的矩陣，可以看到原先左右分布的數(shù)字矩陣變成了中間分布的數(shù)字矩陣。卷積核運作的過程2卷積層在滑動卷積核的過程中，卷積核每次滑動的行數(shù)或列數(shù)稱為步長。前面所介紹的卷積計算例子的默認步長都為1，實際上可以設置步長為其他值。如圖所示，使用3×3的卷積核對

6×6的輸入矩陣進行卷積，如果步長為3，則輸出為2×2的矩陣。步長為3的卷積核運作的過程卷積層在下圖卷積計算的例子中，目標矩陣在經(jīng)過卷積核卷積之后，矩陣中的元素變少了，從6×6的矩陣變成了4×4的矩陣。假設再進行一次卷積操作，那么目標矩陣就變成了2×2的矩陣，此時將無法繼續(xù)卷積。同時相比于圖像中間的點，圖像邊緣的點在卷積中被計算的次數(shù)相對較少，這將導致圖像邊緣的信息丟失。圖像邊緣信息丟失卷積層填充后的卷積核運作的過程卷積層根據(jù)輸入與輸出環(huán)節(jié)，多通道卷積可以分為多輸入通道環(huán)節(jié)與多輸出通道環(huán)節(jié)。圖像通道卷積層根據(jù)輸入與輸出環(huán)節(jié)，多通道卷積可以分為多輸入通道環(huán)節(jié)與多輸出通道環(huán)節(jié)。01多輸入通道環(huán)節(jié)02多輸出通道環(huán)節(jié)卷積層多通道卷積核卷積層多通道卷積核運作的過程卷積層多卷積核的工作過程池化層卷積核在滑動的過程中，實際上重復計算了很多冗余的數(shù)據(jù)。為了去除這些冗余數(shù)據(jù)，可以通過池化層的池化核對數(shù)據(jù)進行池化操作，進而提取對應區(qū)域的主要特征，防止過擬合。類似于卷積核，池化核也是矩陣。根據(jù)池化方式的不同，池化可以分為最大值池化與平均值池化。池化層的工作過程如何訓練卷積神經(jīng)網(wǎng)絡數(shù)據(jù)準備01模型訓練04模型設計02訓練設置03通過卷積神經(jīng)網(wǎng)絡識別手寫數(shù)字實施思路030501040602導入相關庫網(wǎng)絡結(jié)構(gòu)設計模型訓練數(shù)據(jù)準備訓練設置模型應用知識拓展不同層次的卷積對應的特征類型知識拓展卷積核及其對應的作用深度學習全連接神經(jīng)網(wǎng)絡實戰(zhàn)深度學習基礎應用項目目標（1）熟悉全連接神經(jīng)網(wǎng)絡和分類任務的基本概念。（2）了解分類任務與回歸任務的區(qū)別。（3）了解激活函數(shù)及交叉熵函數(shù)的基本概念。（4）掌握全連接神經(jīng)網(wǎng)絡的搭建與訓練流程。（5）能夠應用深度學習框架搭建全連接神經(jīng)網(wǎng)絡。深度學習分類任務二分類任務多分類任務多標簽分類任務深度學習的分類任務與機器學習一樣，是通過學習樣本中的規(guī)律，建立一個從輸入到輸出的映射，其中輸出值為離散值。深度學習中的分類任務中，根據(jù)類別標簽可分為二分類任務、多分類任務和多標簽分類任務，接下來對這3種分類任務進行了解。深度學習分類任務二分類任務二分類任務是指具有兩個類別標簽的分類任務，判斷一個樣本是否屬于某一類的問題，通常將屬于某一類別的樣本記為正常狀態(tài)，賦予標簽1；將不屬于某一類別的樣本記為異常狀態(tài)，賦予標簽0。如以判斷新聞類型是否為體育新聞為目的，將新聞分為體育新聞和非體育新聞兩類，則體育新聞屬于正常狀態(tài)的類別。？深度學習分類任務常見的分類任務多分類任務多分類任務是指具有兩個以上類別標簽的分類任務，其中每個樣本只能有一個標簽。與二分類任務不同，多分類任務沒有正常和異常狀態(tài)的概念，樣本被分類為屬于一系列已知類別中的一個。在某些問題上，類別標簽的數(shù)量的可能很大，常見的多分類問題有鳶尾花分類和手寫數(shù)字識別等。鳶尾花分類手寫數(shù)字識別深度學習分類任務多標簽分類任務多標簽分類任務是指具有兩個或多個分類標簽的分類任務，其中每個樣本可以預測為一個或多個分類標簽。例如圖像中給定多個對象，且模型可預測照片中各個已知對象，像“自行車”、“汽車”和“行人”等。用于二分類或多分類任務的分類算法不能直接用于多標簽分類任務。行人自行車汽車深度學習分類任務分類任務與回歸任務的區(qū)別分類任務與回歸任務的區(qū)別，主要在于需要預測的值的類型不同。分類任務的預測結(jié)果處于離散區(qū)間，預測該值屬不屬于或者屬于哪一類，如預測一個人健康還是不健康，明天是陰天、晴天還是雨天。這種預測結(jié)果就只有有限個數(shù)的值，再把每一個值當作一個類別，所以分類任務就是預測對象所屬類別的任務?；貧w任務的預測結(jié)果處于連續(xù)區(qū)間，如要通過一個人的飲食情況預測體重。體重的數(shù)值可以有無窮多個，有的人50Kg，有的人51Kg，在50和51之間存在無窮多個數(shù)值，這種對于連續(xù)的數(shù)值進行預測的任務就是回歸任務。全連接神經(jīng)網(wǎng)絡神經(jīng)元是神經(jīng)網(wǎng)絡的基本組成單元。神經(jīng)元排成一列，每一列相互連接起來，便構(gòu)成神經(jīng)網(wǎng)絡。如果某一層的每一個神經(jīng)元都與上一層的所有神經(jīng)元相連，便是全連接神經(jīng)網(wǎng)絡。全連接神經(jīng)網(wǎng)絡全連接神經(jīng)網(wǎng)絡全連接神經(jīng)網(wǎng)絡3層網(wǎng)絡的作用如下。●輸入層：負責接收輸入數(shù)據(jù)。輸入層節(jié)點的個數(shù)就是特征的數(shù)量，又稱維度。●隱藏層：用于增加網(wǎng)絡深度和復雜度。隱藏層的層數(shù)和維度是可以調(diào)整的，層數(shù)和維度越多，模型的能力越強，參數(shù)量也會增加?！褫敵鰧樱贺撠熭敵錾窠?jīng)網(wǎng)絡的計算結(jié)果。輸出層的維度是固定的，如果是回歸問題，則維度量為1；如果是分類問題，則維度量為類別標簽的數(shù)量。激活函數(shù)常用的激活函數(shù)包括Sigmoid()函數(shù)、ReLU()函數(shù)和Softmax()函數(shù)。Sigmoid()函數(shù)是常見的激活函數(shù)，取值范圍為(0,1)，用于隱藏層的神經(jīng)元輸出。它可以將一個實數(shù)x映射到(0,1)上，用來處理二分類任務。其數(shù)學公式如下。激活函數(shù)ReLU()函數(shù)也是激活函數(shù)的一種，也能夠提高神經(jīng)網(wǎng)絡的非線性表達能力。ReLU()函數(shù)的數(shù)學公式如下，其中，x為輸入的數(shù)據(jù)。激活函數(shù)Softmax()函數(shù)可以把輸入處理成0～1的數(shù)值，并且能夠使輸出歸一化，使輸出值總和為1。Softmax()函數(shù)的數(shù)學公式如下。Softmax()函數(shù)的意義在于為每個輸出分類的結(jié)果都賦予一個概率值，用于表示屬于每個類別的可能性。因此Softmax()函數(shù)也多用于處理多分類任務中的神經(jīng)網(wǎng)絡的輸出。交叉熵損失函數(shù)使用激活函數(shù)將神經(jīng)網(wǎng)絡的輸入經(jīng)過非線性轉(zhuǎn)化得到預測結(jié)果后，需要度量該預測結(jié)果與實際結(jié)果之間的差距。在分類任務中，常用交叉熵損失函數(shù)來度量預測結(jié)果與實際結(jié)果之間的差距。當數(shù)據(jù)的種類為N時，交叉熵損失函數(shù)C的數(shù)學公式如下，其中i表示數(shù)據(jù)的標號。交叉熵損失函數(shù)y為期望輸出，a為神經(jīng)元的真實輸出。交叉熵損失函數(shù)具有如下兩個性質(zhì)?！窠徊骒負p失函數(shù)的結(jié)果總為負數(shù)。●當期望輸出y與真實輸出a接近的時候，交叉熵損失函數(shù)的結(jié)果接近0。比如“期望輸出y為0，真實輸出a接近0”或“期望輸出y為1，真實輸出a接近1”時，交叉熵損失函數(shù)的結(jié)果都接近0。手寫數(shù)字識別數(shù)據(jù)集

本項目將通過手寫數(shù)字識別分類任務，來詳細介紹全連接神經(jīng)網(wǎng)絡的搭建與訓練方法。手寫數(shù)字識別數(shù)據(jù)集是由6萬個訓練圖像和1萬個測試圖像構(gòu)成的，每個圖像都是28像素×28像素的灰度圖像，這些圖像中是由不同的人手寫的0～9的數(shù)字。

下圖展示了手寫數(shù)字圖像在計算機中的存儲方式。存儲在計算機中的圖像并不是傳統(tǒng)意義上的PNG或者JPG格式的圖像，這些圖像會被處理成很簡易的二維數(shù)組。而在數(shù)據(jù)集中，每個圖像的二維數(shù)組通過一個長度為784的向量來表示。手寫數(shù)字識別數(shù)據(jù)集手寫數(shù)字圖像在計算機中的存儲方式全連接神經(jīng)網(wǎng)絡的訓練方法●數(shù)據(jù)準備：讀取數(shù)據(jù)，并預處理數(shù)據(jù)?！衲Ｐ驮O計：設計網(wǎng)絡結(jié)構(gòu)，包括模型的輸入、輸出和架構(gòu)?！裼柧毰渲茫涸O定模型優(yōu)化器，并配置計算資源。●模型訓練：循環(huán)調(diào)用訓練過程，每輪均包括前向傳播、調(diào)用損失函數(shù)和后向傳播這3個步驟?！衲Ｐ蛻茫罕４嬗柧毢玫哪Ｐ?，以備預測時調(diào)用。通過全連接神經(jīng)網(wǎng)絡識別手寫數(shù)字實施思路01導入項目所需庫02加載手寫數(shù)字識別數(shù)據(jù)集03設計網(wǎng)絡結(jié)構(gòu)04訓練配置及模型訓練05應用模型通過全連接神經(jīng)網(wǎng)絡識別手寫數(shù)字實施步驟步驟1：導入項目所需庫步驟2：加載手寫數(shù)字識別數(shù)據(jù)集圖像數(shù)據(jù)形狀和對應數(shù)據(jù)為:(28,28)圖像標簽形狀和對應數(shù)據(jù)為:(1,)[5]輸出第一個批次的第一個圖像，對應標簽數(shù)字為[5]數(shù)字“5”圖像通過全連接神經(jīng)網(wǎng)絡識別手寫數(shù)字步驟3：設計網(wǎng)絡結(jié)構(gòu)優(yōu)化后的全連接神經(jīng)網(wǎng)絡