人工智能算法與實(shí)踐-第15章 卷積神經(jīng)網(wǎng)絡(luò)

15.1算法概述15.2構(gòu)造過程15.3實(shí)踐應(yīng)用目錄第十五章卷積神經(jīng)網(wǎng)絡(luò)人工智能算法與實(shí)踐—1

—

0115.1算法概述PartTHREE起源與應(yīng)用結(jié)構(gòu)特點(diǎn)核心概念—2

—

15.1.1起源與應(yīng)用第十五章卷積神經(jīng)網(wǎng)絡(luò)—3

—

本章在全連接神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上引入卷積神經(jīng)網(wǎng)絡(luò)的介紹，使讀者進(jìn)一步學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)流程和特殊結(jié)構(gòu)；通過對

Cifar10數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)操作，訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行圖片分類，幫助讀者更深入了解該算法。卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的核心算法之一，通過輸入文字、圖像等數(shù)據(jù)信息，自動訓(xùn)練優(yōu)化網(wǎng)絡(luò)模型結(jié)構(gòu)，實(shí)現(xiàn)分類、預(yù)測等功能，經(jīng)常與圖像識別、情感分析、負(fù)荷辨識等應(yīng)用緊密結(jié)合，實(shí)現(xiàn)“智慧分析”、“智能識別”等智能應(yīng)用。15.1.1起源與應(yīng)用—4

—

卷積神經(jīng)網(wǎng)絡(luò)的起源與應(yīng)用1998年，YannLecun提出了LeNet-5模型。2012年，ImageNet圖像識別大賽中Hinton組提出Alexnet，

引入了深層結(jié)構(gòu)和Dropout方法。2013年，Lecun等提出一個Dropconnect，同時(shí)顏水成等則提出了NetworkinNetwork（NIN）。2015年，MSRA的任少卿、何凱明、孫劍等把Identity加入到神經(jīng)網(wǎng)絡(luò)。20世紀(jì)60年代初，DavidHubel

和TorstenWiesel等提出了感受場的概念。1980年，日本科學(xué)家福島邦彥提出卷積神經(jīng)網(wǎng)絡(luò)的認(rèn)知控制和深度學(xué)習(xí)中的注意力。卷積神經(jīng)網(wǎng)絡(luò)的模型和參數(shù)調(diào)優(yōu)便隨著人工智能的火速發(fā)展而不斷進(jìn)化和更新，逐漸應(yīng)用到我們的生活，尤其是醫(yī)療、自然語言處理以及計(jì)算機(jī)視覺等領(lǐng)域。ResNeXt、Residual-Attention、DenseNet、SENet等也各有貢獻(xiàn)。第十五章卷積神經(jīng)網(wǎng)絡(luò)15.1.2結(jié)構(gòu)特點(diǎn)—5

—

局部連接1卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)體現(xiàn)了局部連接特性，尤其是在進(jìn)行圖像識別的時(shí)候不需要對整個圖像進(jìn)行處理，只需要關(guān)注圖像中某些特殊的區(qū)域。全連接神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)元接收信息情況如圖所示。第十五章卷積神經(jīng)網(wǎng)絡(luò)—6

—

權(quán)重共享2卷積神經(jīng)網(wǎng)絡(luò)的部分神經(jīng)元參數(shù)權(quán)重相同，都為相同的w1,

w2,

…,

wn，這也是卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練速度較快的原因。權(quán)值共享詳細(xì)說明就是當(dāng)給一張輸入圖片時(shí)，用一個過濾器去掃這張圖，而過濾器里面的數(shù)就叫權(quán)重，由于這張圖每個位置是被同樣的過濾器掃的，因此每次掃的時(shí)候權(quán)重是一樣的，也就是權(quán)重共享。在卷積神經(jīng)網(wǎng)絡(luò)處理圖像時(shí)，對圖像像素進(jìn)行下采樣，井不會對物體進(jìn)行改變，雖然下采樣之后的圖像尺寸變小了，但是并不影響對圖像中物體的識別。使用卷積神經(jīng)網(wǎng)絡(luò)的目的：特征提取，降低過擬合。下采樣315.1.2結(jié)構(gòu)特點(diǎn)15.1.3核心概念—7

—

卷積計(jì)算1卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算過程如圖所示，通過一個3×3的矩陣對應(yīng)輸入圖像進(jìn)行卷積運(yùn)算，即對矩陣內(nèi)積的結(jié)果進(jìn)行相加，最后對應(yīng)得到一個輸出，以此類推。如圖所示，其具體計(jì)算過程為，每次卷積計(jì)算的結(jié)果會作為輸出特征圖像的一個點(diǎn)，而特征圖像在進(jìn)行卷積后輸出新的特征圖像。卷積矩陣會對應(yīng)在輸入的特征圖像上進(jìn)行滑動，其滑動的大小稱為步數(shù)，一般是沿著從左到右、從上到下這樣的次序。第十五章卷積神經(jīng)網(wǎng)絡(luò)感受野（ReceptiveField）：卷積神經(jīng)網(wǎng)絡(luò)各輸出特征圖像中的每個像素點(diǎn)，在原始輸入圖像上映射區(qū)域的大小。左圖所示是一個微型的CNN結(jié)構(gòu)，它表示的是兩個3×3的卷積核進(jìn)行卷積成為了一個5×5的卷積核。15.1.3核心概念感受野2如圖所示，其中第2層左下角的值，是第1層左下中3×3區(qū)域的值經(jīng)過卷積，也就是乘加運(yùn)算計(jì)算出來的，即第2層左下角位置的感受野是第1層左下區(qū)域。第3層唯一值，是第2層所有3×3區(qū)域卷積得到的，即第3層唯一位置的感受野是第2層所有3×3區(qū)域。以此類推。15.1.3核心概念—8

—

第十五章卷積神經(jīng)網(wǎng)絡(luò)：批標(biāo)準(zhǔn)化前，第k個卷積核，輸出特征圖中第i個像素點(diǎn)；標(biāo)準(zhǔn)化：使數(shù)據(jù)符合均值為0，標(biāo)準(zhǔn)差為1的分布。批標(biāo)準(zhǔn)化：對一小批數(shù)據(jù)（Batch），做標(biāo)準(zhǔn)化處理。批標(biāo)準(zhǔn)化后，第k個卷積核的輸出特征圖像（FeatureMap）中第

i個像素點(diǎn)為：批標(biāo)準(zhǔn)化4：批標(biāo)準(zhǔn)化前，第k個卷積核，

batch張輸出特征圖中所有像素點(diǎn)平均值。：批標(biāo)準(zhǔn)化前，第k個卷積核，batch張輸出特征圖中所有像素點(diǎn)標(biāo)準(zhǔn)差。15.1.3核心概念15.1.3核心概念第十五章卷積神經(jīng)網(wǎng)絡(luò)池化5池化用于減少特征數(shù)據(jù)量，最大池化可提取圖片紋理，均值池化可保留背景特征。對卷積結(jié)果進(jìn)行池化，分為兩種形式即最大池化和均值池化，如圖所示。15.1.3核心概念15.1.3核心概念第十五章卷積神經(jīng)網(wǎng)絡(luò)舍棄6在神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)，將一部分神經(jīng)元按照一定概率從神經(jīng)網(wǎng)絡(luò)中暫時(shí)舍棄。神經(jīng)網(wǎng)絡(luò)使用時(shí)，被舍棄的神經(jīng)元恢復(fù)連接。這一過程讀者可自行選擇是否使用，因?yàn)楫?dāng)構(gòu)建網(wǎng)絡(luò)模型存在過擬合的風(fēng)險(xiǎn)時(shí)，需要對其進(jìn)行正則化的相關(guān)操作。過擬合現(xiàn)象通常是在網(wǎng)絡(luò)模型太大，訓(xùn)練時(shí)間過長，或者沒有足夠多的數(shù)據(jù)時(shí)發(fā)生。Dropout技術(shù)確實(shí)提升了模型的性能，一般是添加到卷積神經(jīng)網(wǎng)絡(luò)模型的全連接層中，如圖所示。15.1.3核心概念15.1.3核心概念第十五章卷積神經(jīng)網(wǎng)絡(luò)0215.2構(gòu)造過程PartTHREE激活函數(shù)損失函數(shù)參數(shù)調(diào)優(yōu)—12

—

激活函數(shù)名稱激活函數(shù)圖像原函數(shù)導(dǎo)函數(shù)LogisticsTanhArcTanReLUPReLU15.2.1激活函數(shù)第十五章卷積神經(jīng)網(wǎng)絡(luò)損失函數(shù)（loss）：用以計(jì)算預(yù)測值與真實(shí)值之間的差距，模型訓(xùn)練的過程就是通過不斷對神經(jīng)網(wǎng)絡(luò)優(yōu)化使得損失函數(shù)減小，損失函數(shù)越小則與預(yù)測結(jié)果越相近，效果越好。損失函數(shù)用來評價(jià)模型的預(yù)測值和真實(shí)值不一樣的程度，損失函數(shù)越好，通常模型的性能越好的模型用。在這里介紹較為常用的幾種損失函數(shù)。0-1損失是指預(yù)測值和真實(shí)值不相等時(shí)為1，否則為0。該損失函數(shù)的計(jì)算方式如式所示。0-1損失函數(shù)直接對應(yīng)分類判斷錯誤的個數(shù)，感知機(jī)就是用的這種損失函數(shù)，但是由于條件太過嚴(yán)格，因此放寬條件，即|Y-f(x)|<T時(shí)認(rèn)為相等，如式所示。0-1損失函數(shù)絕對值損失函數(shù)絕對值損失函數(shù)是計(jì)算預(yù)測值與真實(shí)值的差的絕對值，如式所示。15.2.2損失函數(shù)第十五章卷積神經(jīng)網(wǎng)絡(luò)log

對數(shù)損失函數(shù)的標(biāo)準(zhǔn)形式如式所示。log

對數(shù)損失函數(shù)能非常好地表征概率，尤其是在多分類場景下，求解置信度問題上非常合適；但其健壯性不強(qiáng)，相比Hinge

損失函數(shù)對噪聲更敏感。邏輯回歸的損失函數(shù)就是log

對數(shù)損失函數(shù)。log對數(shù)損失函數(shù)平方損失函數(shù)平方損失函數(shù)的標(biāo)準(zhǔn)形式如式所示，經(jīng)常應(yīng)用于回歸問題。指數(shù)損失函數(shù)指數(shù)損失函數(shù)的特點(diǎn)是對離群點(diǎn)、噪聲比較敏感，經(jīng)常應(yīng)用于AdaBoost算法中，其標(biāo)準(zhǔn)形式為：15.2.2損失函數(shù)第十五章卷積神經(jīng)網(wǎng)絡(luò)Hinge損失函數(shù)標(biāo)準(zhǔn)形式為：其特點(diǎn)是，Hinge損失函數(shù)表示如果被分類正確，損失為0，否則就為1-yf(x)，SVM就是使用這個損失函數(shù)；一般的f(x)是預(yù)測值，在-1到1之間，y

是目標(biāo)值（-1或1）。其含義是，f(x)的值在-1和+1之間。y

是目標(biāo)值（-1或1

）。其含義是，f(x)

的值在-1和+1之間就可以了，并不鼓勵f(x)>1，即并不鼓勵分類器過度自信，讓某個正確分類的樣本離分割線超過1

并不會有任何獎勵，從而使分類器可以更專注于整體的誤差。Hinge損失函數(shù)感知損失函數(shù)感知損失函數(shù)是Hinge

損失函數(shù)的一個變種，Hinge

損失函數(shù)對判定邊界附近的點(diǎn)（正確端）懲罰力度很高。而感知損失函數(shù)只要樣本的判定類別正確，不管其判定邊界的距離。它比Hinge

損失函數(shù)簡單，因其不考慮最大邊界樣本點(diǎn)的處理問題，所以模型的泛化能力沒Hinge

損失函數(shù)強(qiáng)，其標(biāo)準(zhǔn)形式為：15.2.2損失函數(shù)第十五章卷積神經(jīng)網(wǎng)絡(luò)交叉熵?fù)p失函數(shù)交叉熵?fù)p失函數(shù)本質(zhì)上也是一種對數(shù)似然函數(shù)，可用于二分類和多分類任務(wù)中。其具有“誤差大的時(shí)候，權(quán)重更新快；誤差小的時(shí)候，權(quán)重更新慢”的良好性質(zhì)。當(dāng)使用Sigmoid

作為激活函數(shù)的時(shí)候，常用交叉熵?fù)p失函數(shù)而不用均方誤差損失函數(shù)，因?yàn)樗梢酝昝澜鉀Q平方損失函數(shù)權(quán)重更新過慢的問題。其公式為：其中，x

表示樣本，y

表示實(shí)際的標(biāo)簽，a

表示預(yù)測的輸出，n

表示樣本總數(shù)量。二分類問題中時(shí)，loss

函數(shù)（輸入數(shù)據(jù)是softmax

或者Sigmoid

函數(shù)的輸出）為：當(dāng)應(yīng)用于多分類問題中時(shí)，loss

函數(shù)（輸入數(shù)據(jù)是softmax

或者Sigmoid

函數(shù)的輸出）為：15.2.2損失函數(shù)第十五章卷積神經(jīng)網(wǎng)絡(luò)梯度下降算法1梯度下降算法的原理如圖所示，在網(wǎng)絡(luò)初始化時(shí)會自動生成隨機(jī)的權(quán)重

w

與偏置b，根據(jù)損失函數(shù)計(jì)算得到損失值。根據(jù)梯度調(diào)節(jié)權(quán)重和偏置。通過損失函數(shù)計(jì)算出其實(shí)值與預(yù)測值之間的差距之后，便需要對網(wǎng)絡(luò)模型進(jìn)行調(diào)整，最終目標(biāo)是實(shí)現(xiàn)預(yù)測數(shù)據(jù)與真實(shí)數(shù)據(jù)的貼近。其關(guān)鍵是通過對網(wǎng)絡(luò)模型初始化的參數(shù)進(jìn)行調(diào)整，使得總損失最小。本結(jié)節(jié)將簡單介紹兩種參數(shù)學(xué)習(xí)方法：梯度下降與反向傳播算法。15.2.3參數(shù)調(diào)優(yōu)第十五章卷積神經(jīng)網(wǎng)絡(luò)調(diào)節(jié)神經(jīng)網(wǎng)絡(luò)內(nèi)的參數(shù)：其取值使得總損失值越來越小。計(jì)算梯度值：若梯度值為負(fù)則增加w，反之減小w：

其中代表“學(xué)習(xí)率”，學(xué)習(xí)率設(shè)置過大有可能會跳過總損失最小點(diǎn)，若是過小則可能停留在局域內(nèi)損失最小。梯度下降算法115.2.3參數(shù)調(diào)優(yōu)第十五章卷積神經(jīng)網(wǎng)絡(luò)計(jì)算：；求解：，圖中的值等于從a到e的路徑上的偏導(dǎo)值的乘積。，的值等于從b到e路徑（b-c-e）上的偏導(dǎo)值的乘積加上路徑（b-d-e）上的偏導(dǎo)值的乘積。反向傳播顧名思義是從模型結(jié)尾倒著反饋到前端，其過程遵循鏈?zhǔn)椒▌t，從后向前實(shí)現(xiàn)參數(shù)的不斷更新。反向傳播算法215.2.3參數(shù)調(diào)優(yōu)第十五章卷積神經(jīng)網(wǎng)絡(luò)若自下而上求解，很多路徑被重復(fù)訪向。比如圖中，求需要計(jì)算路徑a-c-e，求都需要計(jì)算路徑b-c-e和b-d-e，路徑c-e被訪問了兩次。自上而下：從最上層的節(jié)點(diǎn)e開始，對于e的下一層的所有子節(jié)點(diǎn)，將e的值（e是最頂點(diǎn)，值=1)乘以到某個節(jié)點(diǎn)路徑上的偏導(dǎo)值，井將結(jié)果發(fā)送到該子節(jié)點(diǎn)中。該子節(jié)點(diǎn)的值被設(shè)為“發(fā)送過來的值”，繼使此過程向下傳播。第一層：節(jié)點(diǎn)e初始值為1。第二層：節(jié)點(diǎn)e向節(jié)點(diǎn)c發(fā)送1*2,節(jié)點(diǎn)e向節(jié)點(diǎn)得d發(fā)送1*3,節(jié)點(diǎn)c值為2.節(jié)點(diǎn)d值為3。第三層：節(jié)點(diǎn)c向a發(fā)送2*1，節(jié)點(diǎn)c向b發(fā)送2*1,節(jié)點(diǎn)d向b發(fā)送3*1，節(jié)點(diǎn)a值為2。節(jié)點(diǎn)b值為為2*1+3*1=5。即頂點(diǎn)e對a的偏導(dǎo)數(shù)為2，頂點(diǎn)e對b的偏導(dǎo)數(shù)為5。反向傳播算法215.2.3參數(shù)調(diào)優(yōu)第十五章卷積神經(jīng)網(wǎng)絡(luò)0315.3實(shí)踐應(yīng)用PartTHREECifar10數(shù)據(jù)集模型訓(xùn)練模型預(yù)測—22

—

第十五章卷積神經(jīng)網(wǎng)絡(luò)本次使用的數(shù)據(jù)集為Cifar10數(shù)據(jù)集，其提供5萬張32×32像素點(diǎn)的十分類彩色圖片和標(biāo)簽用于訓(xùn)練；提供1萬張32×32