2025神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》2025全連接前饋神經(jīng)網(wǎng)絡(luò)權(quán)重矩陣的參數(shù)非常多局部不變性特征自然圖像中的物體都具有局部不變性特征尺度縮放、平移、旋轉(zhuǎn)等操作不影響其語義信息。全連接前饋網(wǎng)絡(luò)很難提取這些局部不變特征卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks，CNN）一種前饋神經(jīng)網(wǎng)絡(luò)受生物學(xué)上感受野（ReceptiveField）的機制而提出的在視覺神經(jīng)系統(tǒng)中，一個神經(jīng)元的感受野是指視網(wǎng)膜上的特定區(qū)域，只有這個區(qū)域內(nèi)的刺激才能夠激活該神經(jīng)元。卷積神經(jīng)網(wǎng)絡(luò)有三個結(jié)構(gòu)上的特性：局部連接權(quán)重共享空間或時間上的次采樣卷積卷積經(jīng)常用在信號處理中，用于計算信號的延遲累積。假設(shè)一個信號發(fā)生器每個時刻t產(chǎn)生一個信號xt

，其信息的衰減率為wk

，即在k?1個時間步長后，信息為原來的wk

倍假設(shè)w1=1,w2=1/2,w3=1/4時刻t收到的信號yt

為當(dāng)前時刻產(chǎn)生的信息和以前時刻延遲信息的疊加。卷積卷積經(jīng)常用在信號處理中，用于計算信號的延遲累積。假設(shè)一個信號發(fā)生器每個時刻t產(chǎn)生一個信號xt

，其信息的衰減率為wk

，即在k?1個時間步長后，信息為原來的wk

倍假設(shè)w1=1,w2=1/2,w3=1/4時刻t收到的信號yt

為當(dāng)前時刻產(chǎn)生的信息和以前時刻延遲信息的疊加濾波器（filter）或卷積核（convolutionkernel）卷積

Filter:[-1,0,1]

卷積不同的濾波器來提取信號序列中的不同特征低頻信息高頻信息

二階微分卷積擴展引入濾波器的滑動步長S和零填充P卷積類型卷積的結(jié)果按輸出長度不同可以分為三類：窄卷積：步長??=1，兩端不補零??=0，卷積后輸出長度為?????+1寬卷積：步長??=1，兩端補零??=???1，卷積后輸出長度??+???1等寬卷積：步長??=1，兩端補零??=(???1)/2，卷積后輸出長度??在早期的文獻中，卷積一般默認(rèn)為窄卷積。而目前的文獻中，卷積一般默認(rèn)為等寬卷積。兩維卷積在圖像處理中，圖像是以二維矩陣的形式輸入到神經(jīng)網(wǎng)絡(luò)中，因此我們需要二維卷積。卷積作為特征提取器二維卷積步長1，零填充0步長2，零填充0步長1，零填充1步長2，零填充1卷積神經(jīng)網(wǎng)絡(luò)用卷積層代替全連接層互相關(guān)計算卷積需要進行卷積核翻轉(zhuǎn)。卷積操作的目標(biāo)：提取特征。翻轉(zhuǎn)是不必要的！互相關(guān)除非特別聲明，卷積一般指“互相關(guān)”。多個卷積核

卷積層的映射關(guān)系步長2

filter3*3

filter個數(shù)6零填充1卷積層典型的卷積層為3維結(jié)構(gòu)匯聚層卷積層雖然可以顯著減少連接的個數(shù)，但是每一個特征映射的神經(jīng)元個數(shù)并沒有顯著減少。卷積網(wǎng)絡(luò)結(jié)構(gòu)卷積網(wǎng)絡(luò)是由卷積層、匯聚層、全連接層交叉堆疊而成。趨向于小卷積、大深度趨向于全卷積典型結(jié)構(gòu)一個卷積塊為連續(xù)M個卷積層和b個匯聚層（M通常設(shè)置為2～5，b為0或1）。一個卷積網(wǎng)絡(luò)中可以堆疊N個連續(xù)的卷積塊，然后在接著K個全連接層（N的取值區(qū)間比較大，比如1～100或者更大；K一般為0～2）。表示學(xué)習(xí)表示學(xué)習(xí)其它卷積種類轉(zhuǎn)置卷積/微步卷積低維特征映射到高維特征如何增加輸出單元的感受野增加卷積核的大小增加層數(shù)來實現(xiàn)在卷積之前進行匯聚操作空洞卷積通過給卷積核插入“空洞”來變相地增加其大小?？斩淳矸e典型的卷積網(wǎng)絡(luò)LeNet-5LeNet-5是一個非常成功的神經(jīng)網(wǎng)絡(luò)模型?；贚eNet-5的手寫數(shù)字識別系統(tǒng)在90年代被美國很多銀行使用，用來識別支票上面的手寫數(shù)字。LeNet-5共有7層。需要多少個卷積核？LargeScaleVisualRecognitionChallengeAlexNet2012ILSVRCwinner（top5errorof16%comparedtorunner-upwith26%error）第一個現(xiàn)代深度卷積網(wǎng)絡(luò)模型首次使用了很多現(xiàn)代深度卷積網(wǎng)絡(luò)的一些技術(shù)方法使用GPU進行并行訓(xùn)練，采用了ReLU作為非線性激活函數(shù)，使用Dropout防止過擬合，使用數(shù)據(jù)增強5個卷積層、3個匯聚層和3個全連接層Inception網(wǎng)絡(luò)2014ILSVRCwinner（22層）參數(shù)：GoogLeNet：4MVSAlexNet：60M錯誤率：6.7%Inception網(wǎng)絡(luò)是由有多個inception模塊和少量的匯聚層堆疊而成。Inception模塊v1在卷積網(wǎng)絡(luò)中，如何設(shè)置卷積層的卷積核大小是一個十分關(guān)鍵的問題。在Inception網(wǎng)絡(luò)中，一個卷積層包含多個不同大小的卷積操作，稱為Inception模塊。Inception模塊同時使用1×1、3×3、5×5等不同大小的卷積核，并將得到的特征映射在深度上拼接（堆疊）起來作為輸出特征映射。卷積和最大匯聚都是等寬的。Inception模塊v3用多層小卷積核替換大卷積核，以減少計算量和參數(shù)量。使用兩層3x3的卷積來替換v1中的5x5的卷積使用連續(xù)的nx1和1xn來替換nxn的卷積。殘差網(wǎng)絡(luò)殘差網(wǎng)絡(luò)（ResidualNetwork，ResNet）是通過給非線性的卷積層增加直連邊的方式來提高信息的傳播效率。假設(shè)在一個深度網(wǎng)絡(luò)中，我們期望一個非線性單元（可以為一層或多層的卷積層）f(x,θ)去逼近一個目標(biāo)函數(shù)為h(x)。將目標(biāo)函數(shù)拆分成兩部分：恒等函數(shù)和殘差函數(shù)殘差單元ResNet2015ILSVRCwinner（152層）錯誤率：3.57%Ngram特征與卷積如何用卷積操作來實現(xiàn)？文本序列的卷積基于卷積模型的句子表示Y.Kim.“Convolutionalneuralnetworksforsentenceclassification”.In:arXivpreprintarXiv:1408.5882(2014).文本序列的卷積模型Filter輸入卷積層Pooling層輸出CNN可視化：濾波器AlexNet中的濾波器（96filters[11x11x3]）卷積的應(yīng)用AlphaGo分布式系統(tǒng)：1202個CPU和176塊GPU單機版：48個CPU和8塊