智能圖像識別初探系列(四)

1、智能圖像識別初探系列（四）一、提升模型性能在上一篇文章中，我們了解了AlexNet的優(yōu)缺點，當時我們提到了過擬合問題還記得么？神經網絡的一個比較嚴重的問題就是過擬合問題，在AlexNet論文中采用的數據擴充和Dropout的方法處理過擬合問題。DataAugmentation（數據擴張，就是對原始數據做一些變化）數據擴充是防止過擬合的最簡單的方法，只需要對原始的數據進行合適的變換，就會得到更多有差異的數據集，防止過擬合。DropoutDropout背后有很多有意思的東西，但是在這里我們不需要了解太深，只需要知道Dropout是在全連接層中去掉了一些神經節(jié)點，達到防止過擬合的目的，我們可以看上面

2、的圖在第六層和第七層都設置了Dropout。二、VGGNet結構VGG提出了相對AlexNet更深的網絡模型，并且通過實驗發(fā)現在一定范圍內網絡越深性能越好。VGG包含兩種結構，分別為16層和19層。ConvNctConfigurationAA4.RNBCDE11weightlayers11weightlayersJ13weightlayers16weightlayers16weightlayers19weigh!layersinput(224x224RGBimage)canv3-64tonv3-64RNconv3-64conv3-64c0nv3-64conv3*64c4conv3-64eonv

3、3-64conv3-64口laxpoulconv3-I28conv3-128conv3-12Sccnv3-128ixjnv3-128conv3-128conv3-12Kconv3-128i：cnv3-i28conv3-I2ymaxpoolcbin3-25&conv3-256conv3-256conv3-256conv3-256conv3256conv3-256conv3-256coMv1256conv3-256conv3256convJ-256conv3-256ccmv3-256ccnv3-256cunv3-256maxpoulonv3-512conv3-512conv3-512couv3-5

4、12!2conv3-512(xinv3-512convJ-512convl-512cotiv3-512convj-52com3*512conv3-517ccnv3-512convS-512conv3-512maxpijclconv3-5l2con3-512C0UV3-512conv3-512conv3-5!2ccuv3-512canv3-5l2mnv3-512conv1-512conv3-512con3-512conv3-512tcnv3-512ccnv3-512ucnv3-512conv3-5l2maxpoolFC-4096FC-40%FC-1000soft-max從圖中可以看出，VGGNe

5、t結構中，所有的卷積層使用了更小的卷積核(3x3),stride為1，同時不單單使用卷積層，而是組合成了“卷積組”，即一個卷積組包括2-4個3x3卷積層(astackof3x3conv)，有的層也有1x1卷積層，因此網絡更深，這樣，更深的網絡結構就會學習到更復雜的非線性關系，從而使得模型效果更好。在池化層上面，VGGNet使用2x2的maxpooling，在full-image測試時候把最后的全連接層(fully-connected)改為全卷積層(fully-convolutionalnet)，重用訓練時的參數，使得測試得到的全卷積網絡因為沒有全連接的限制，因而可以接收任意寬或高為的輸入。另外

6、VGGNet卷積層有一個顯著的特點：特征圖的空間分辨率單調遞減，特征圖的通道數單調遞增，這是為了更好地將HxWx3（1）的圖像轉換為1x1xC的輸出，之后的GoogLeNet與ResNet都是如此。上圖為VGG不同版本的網絡模型，較為流行的是VGG-16，與VGG-19。三、GoogleNet結構第三種網絡結構就是GoogLeNet，GoogLeNet是谷歌（Google）研究出來的深度網絡結構，為什么不叫“GoogleNet”，而叫“GoogLeNet”，據說是為了向“LeNet”致敬，因此取名為“GoogLeNet”。2014年，GoogLeNet和VGG是當年ImageNet挑戰(zhàn)賽（IL

7、SVRC14）的雙雄，GoogLeNet獲得了第一名、VGG獲得了第二名，這兩類模型結構的共同特點是層次更深了。VGG繼承了LeNet以及AlexNet的一些框架結構，而GoogLeNet則做了更加大膽的網絡結構嘗試，雖然深度只有22層，但大小卻比AlexNet和VGG小很多，GoogLeNet參數為500萬個，AlexNet參數個數是GoogLeNet的12倍，VGGNet參數又是AlexNet的3倍，因此在內存或計算資源有限時，GoogLeNet是比較好的選擇；從模型結果來看，GoogLeNet的性能卻更加優(yōu)越。我們知道要想獲得高質量模型最保險的做法就是增加模型的深度（層數）或者是其寬度（

8、層核或者神經元數），但是這里一般設計思路的情況下會出現如下的缺陷：參數太多，若訓練數據集有限，容易過擬合；網絡越大計算復雜度越大，難以應用；網絡越深，梯度越往后穿越容易消失，難以優(yōu)化模型。解決上述兩個缺點的根本方法是將全連接甚至一般的卷積都轉化為稀疏連接。為了打破網絡對稱性和提高。GoogLeNet最初的想法很簡單，就是如果想要得到更好的預測效果，就要增加網絡的復雜度，即網絡深度和網絡寬度兩方面。但這樣就會有明顯的問題。首先，更復雜的網絡意味著更多的參數，就算是ILSVRC這種包含了1000類標簽的數據也很容易過擬合。其次，更復雜的網絡會帶來更大的計算資源的消耗，而且當kernel個數設計不合

9、理導致kernel中的參數沒有被完全利用時，會導致大量計算資源的浪費。解決這些問題的方法當然就是在增加網絡深度和寬度的同時減少參數，為了減少參數，自然就想到將全連接變成稀疏連接。但是在實現上，全連接變成稀疏連接后實際計算量并不會有質的提升，因為大部分硬件是針對密集矩陣計算優(yōu)化的，稀疏矩陣雖然數據量少，但是計算所消耗的時間卻很難減少。那么，有沒有一種方法既能保持網絡結構的稀疏性，又能利用密集矩陣的高計算性能。大量的文獻表明可以將稀疏矩陣聚類為較為密集的子矩陣來提高計算性能，就如人類的大腦是可以看做是神經元的重復堆積。1x1convoluhons5x5convolutionsPreviouslay

10、er3x3maxpoolingFilterconcaienaiion3x3convolutions因此，GoogLeNet團隊提出了Inception網絡結構，就是構造一種“基礎神經元”結構，來搭建一個稀疏性、高計算性能的網絡結構。這里面涉及大量的數學推導和原理，在本章節(jié)中我們用一種簡單的方式解釋inception設計的初衷。首先，神經網絡的權重矩陣是稀疏的，如果能將圖中左邊的稀疏矩陣和2x2的矩陣卷積轉換成右邊2個子矩陣和2x2矩陣做卷積的方式則會大大降低計算量。那么，同樣的道理，應用在降低卷積神經網絡的計算量上就產生了如圖的inception結構。這個結構是將256個均勻分布在3x3尺度的

11、特征轉換成多個不同尺度的聚類，如96個1x1、96個3x3和64個5x5分別聚在一起，這樣可以使計算更有效，收斂更快。但是這種結構仍然有較大的計算量，為了避免這種情況，在3x3前、5x5前、maxpooling后分別加上了1x1的卷積核，以起到了降低特征圖厚度的作用，這也就形成了Inception的網絡結構。那么這個1x1的卷積核有什么作用呢？1x1卷積的主要目的是為了減少維度，還用于修正線性激活（ReLU）。比如，上一層的輸出為100 x100 x128，經過具有256個通道的5x5卷積層之后，輸出數據為100 x100 x256,其中，卷積層的參數為128x5x5x256=819200。而假如上一