卷積神經(jīng)網(wǎng)絡(luò)cnn代碼解析maab(20210103154315)

1、六、 cnntest.m 7deepLearnToolbox-master 是一個(gè)深度學(xué)習(xí) matlab 包，里面含有很多機(jī)器學(xué)習(xí)算法，如卷積神經(jīng)網(wǎng)絡(luò)CNN深度信念網(wǎng)絡(luò)DBN自動(dòng)編碼AutoEncoder （堆棧SAE卷積CAE的作者是 Rasmus Berg Palm弋碼下載：這里我們介紹deepLearnToolbox-master中的CNN部分。DeepLearnToolbox-master 中 CNN內(nèi)的 函數(shù)：調(diào)用關(guān)系為：該模型使用了 mnist 的數(shù)字 mnist_uint8.mat 作為訓(xùn)練樣本，作為 cnn 的一個(gè)使用樣例， 每個(gè)樣本特征為一個(gè) 28*28=的向量。網(wǎng)絡(luò)結(jié)構(gòu) 為

2、：讓我們來看看各個(gè)函數(shù)：一、Test_example_CNN: 2三、cnntrain.m 4四、cnnff.m 4五、cnnbp.m 5五、 cnnapplygrads.m 7一、 Test_example_CNN:Test_example_CNN:1設(shè)置CNN勺基本參數(shù)規(guī)格，如卷積、降采樣層的數(shù)量，卷積核的大小、降采樣的降幅2 cnnsetup 函數(shù) 初始化卷積核、偏置等3 cnntrain函數(shù) 訓(xùn)練cnn，把訓(xùn)練數(shù)據(jù)分成batch，然后調(diào)用3.1 cnnff 完成訓(xùn)練的前向過程，3.2 cnnbp 計(jì)算并傳遞神經(jīng)網(wǎng)絡(luò)的 error ，并計(jì)算梯度（權(quán)重的修改量）3.3 cnnapplygr

3、ads 把計(jì)算出來的梯度加到原始模型上去4 cnntest 函數(shù)，測(cè)試當(dāng)前模型的準(zhǔn)確率該模型采用的數(shù)據(jù)為 mnist_uint8.mat ，含有 70000個(gè)手寫數(shù)字樣本其中 60000作為訓(xùn)練樣本， 10000作為測(cè)試樣本。 把數(shù)據(jù)轉(zhuǎn)成相應(yīng)的格式，并歸一化。設(shè)置網(wǎng)絡(luò)結(jié)構(gòu)及訓(xùn)練參數(shù)初始化網(wǎng)絡(luò)，對(duì)數(shù)據(jù)進(jìn)行批訓(xùn)練，驗(yàn)證模型準(zhǔn)確率 繪制均方誤差曲線二、Cnnsetup.m該函數(shù)你用于初始化CNN的參數(shù)。設(shè)置各層的 mapsize 大小， 初始化卷積層的卷積核、 bias 尾部單層感知機(jī)的參數(shù)設(shè)置bias 統(tǒng)一設(shè)置為 0權(quán)重設(shè)置為：-11之間的隨機(jī)數(shù)/sqrt （6/ （輸入神經(jīng)元數(shù)量+輸出神經(jīng)元數(shù)量

4、） 對(duì)于卷積核權(quán)重，輸入輸出為 fan_in, fan_outfan _out = n et.layersl.outputmaps * n et.layersl.kernelsize A 2;%卷積核初始化， 1 層卷積為 1*6 個(gè)卷積核， 2層卷積一共 6*12=72個(gè)卷積核。對(duì)于每個(gè)卷積輸出 featuremap ，%fan_in =表示該層的一個(gè)輸出map所對(duì)應(yīng)的所有卷積核，包含的神經(jīng)元的總數(shù)。1*25,6*25fan_in = numInputmaps * net.layersl.kernelsize A 2;fin =1*25 or 6*25 fout=1*6*25 or 6*12

5、*25 net.layersl.kij = (rand(net.layersl.kernelsize) - 0.5) * 2 * sqrt(6 / （fan_in + fan_out）;1 卷積降采樣的參數(shù)初始化2 尾部單層感知機(jī)的參數(shù)（權(quán)重和偏量）設(shè)置：三、cnntrain.m該函數(shù)用于訓(xùn)練 CNN。生成隨機(jī)序列，每次選取一個(gè) batch （ 50）個(gè)樣本進(jìn)行訓(xùn)練。批訓(xùn)練：計(jì)算 50 個(gè)隨機(jī)樣本的梯度，求和之后一次性更新到模型權(quán)重中。 在批訓(xùn)練過程中調(diào)用：Cnnff.m 完成前向過程Cnnbp.m 完成誤差傳導(dǎo)和梯度計(jì)算過程Cnnapplygrads.m 把計(jì)算出來的梯度加到原始模型上去四、

6、cnnff.m1、取得CNN勺輸入2、兩次卷積核降采樣層處理3、尾部單層感知機(jī)的數(shù)據(jù)處理，需要把 subFeatureMap2連接成為一個(gè)（4*4）*12=192的向量，但是由于采用了 50 樣本批訓(xùn)練勺方法， subFeatureMap2 被拼合成為一個(gè) 192*50 勺特征向量 fv ；Fv 作為單層感知機(jī)的輸入，全連接的方式得到輸出層五、cnnbp.m該函數(shù)實(shí)現(xiàn) 2 部分功能，計(jì)算并傳遞誤差，計(jì)算梯度1、計(jì)算誤差和 LossFunction2、計(jì)算尾部單層感知機(jī)的誤差subFeatureMap2 的 4*43、把單層感知機(jī)的輸入層 featureVector 的誤差矩陣，恢復(fù)為維矩陣形式

7、 插播一張圖片：PF對(duì)應(yīng)前冋遼程:pieQ = ccnvCpicP, filter, valid)abcdfh1時(shí)2卄3d+4eb 2c3e 4fd 2e3g 4he 2f 3h 4iQ = cov(P, F. valid);蘆冃詳?shù)仁?“i嚴(yán)-ccnvi eicO. fillerRotlC fulljA2A+B2B3A+4A SB2C D4B 2D3C4C 3D4DI 4l 3lI11I |a |bP = cov(Qr Ff full);巻拱賀圭慘應(yīng):filterD = conv( p i c P.Rot 180, ePic Q, val i d )i-1hfed,cb3Ai Bh Cf DeAh Sg Ce DdAf BeAe BdCc DbCb DaF 二 conv(PfQ,valid)4、誤差在特征提取網(wǎng)絡(luò)【卷積降采樣層】的傳播如果本層是卷積層，它的誤差是從后一層（降采樣層）傳過來，誤差傳播實(shí)際上是用降采樣的反向過程，也就是降采樣層的誤差復(fù)制為 2*2=4份。卷積層的輸入是經(jīng)過sigmoid處 理的，所以，從降采樣層擴(kuò)充來的誤差要經(jīng)過 sigmoid求導(dǎo)處理。如果本層是降采樣層，他的誤差是從后一層（卷積層）傳過來，誤差傳播實(shí)際是用卷積的反向過程，也就是卷積層的誤差，反卷積（卷積核轉(zhuǎn)180度）卷積層的誤差，原理參看插圖。5、