卷積神經(jīng)網(wǎng)絡(luò)

1、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）一、 深度學(xué)習(xí)1. DeepLearning的基本思想假設(shè)一個(gè)系統(tǒng)S: n層（S1,Sn），輸入是I，輸出是OI =>S1=>S2=>.=>Sn => O 形象地表示為：如果輸出O等于輸入I，即輸入I經(jīng)過(guò)這個(gè)系統(tǒng)變化之后沒(méi)有任何的信息損失（理論上是不可能的。），保持了不變，這意味著輸入I經(jīng)過(guò)每一層Si都沒(méi)有任何的信息損失，即在任何一層Si，它都是原有信息（即輸入I）的另外一種表示。信息論中有個(gè)“信息逐層丟失”的說(shuō)法-信息處理不會(huì)增加信息，大部分處理會(huì)丟失信息。Deep Learnin

2、g中我們需要自動(dòng)地學(xué)習(xí)特征，假設(shè)我們有一堆輸入I（如一堆圖像或者文本），假設(shè)我們?cè)O(shè)計(jì)了一個(gè)系統(tǒng)S（有n層），我們通過(guò)調(diào)整系統(tǒng)中參數(shù)，使得它的輸出仍然是輸入I，那么我們就可以自動(dòng)地獲取得到輸入I的一系列層次特征，即S1，, Sn。  對(duì)于深度學(xué)習(xí)來(lái)說(shuō)，其思想就是堆疊多個(gè)層，這一層的輸出作為下一層的輸入。通過(guò)這種方式，來(lái)實(shí)現(xiàn)對(duì)輸入信息進(jìn)行分級(jí)表達(dá)。  另外放松這個(gè)限制，例如我們只要使得輸入與輸出的差別盡可能地小即可，這個(gè)放松會(huì)導(dǎo)致另外一類(lèi)不同的Deep Learning方法。2. 淺層學(xué)習(xí)和深度學(xué)習(xí)當(dāng)前多數(shù)分類(lèi)、回歸等學(xué)習(xí)方法為淺層結(jié)構(gòu)算法，其局限性在于有限

3、樣本和計(jì)算單元情況下對(duì)復(fù)雜函數(shù)的表示能力有限，針對(duì)復(fù)雜分類(lèi)問(wèn)題其泛化能力受到一定制約。區(qū)別于傳統(tǒng)的淺層學(xué)習(xí)，深度學(xué)習(xí)的不同在于：1）強(qiáng)調(diào)了模型結(jié)構(gòu)的深度，通常有5層、6層，甚至10多層的隱層節(jié)點(diǎn)；2）明確突出了特征學(xué)習(xí)的重要性；通過(guò)逐層特征變換，將樣本在原空間的特征表示變換到一個(gè)新特征空間，從而使分類(lèi)或預(yù)測(cè)更加容易。與人工規(guī)則構(gòu)造特征的方法相比，利用大數(shù)據(jù)來(lái)學(xué)習(xí)特征，更能夠刻畫(huà)數(shù)據(jù)的豐富內(nèi)在信息。3. DeepLearning和Neural NetworkDeep learning本身算是machine learning的一個(gè)分支，簡(jiǎn)單可以理解為neural network的發(fā)展。由于容易過(guò)擬

4、合，訓(xùn)練速度比較慢，且在層次比較少（小于等于3）的情況下效果并不比其它方法更優(yōu)等缺點(diǎn)，所以中間有大約20多年的時(shí)間，神經(jīng)網(wǎng)絡(luò)被關(guān)注很少，但老先生Hinton，堅(jiān)持了下來(lái)，最終（和其它人一起B(yǎng)engio、Yann.lecun等）提出了了一個(gè)實(shí)際可行的deep learning框架。相同之處：相似的分層結(jié)構(gòu)，系統(tǒng)由包括輸入層、隱層（多層）、輸出層組成的多層網(wǎng)絡(luò)，只有相鄰層節(jié)點(diǎn)之間有連接，同一層以及跨層節(jié)點(diǎn)之間相互無(wú)連接，每一層可以看作是一個(gè)logistic regression模型；這種分層結(jié)構(gòu)，是比較接近人類(lèi)大腦的結(jié)構(gòu)的。不同之處：不同的訓(xùn)練機(jī)制傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中，采用的是back propagat

5、ion的方式進(jìn)行，簡(jiǎn)單來(lái)講就是采用迭代的算法來(lái)訓(xùn)練整個(gè)網(wǎng)絡(luò)，隨機(jī)設(shè)定初值，計(jì)算當(dāng)前網(wǎng)絡(luò)的輸出，然后根據(jù)當(dāng)前輸出和label之間的差去改變前面各層的參數(shù)，直到收斂（整體是一個(gè)梯度下降法）。deep learning整體上是一個(gè)逐層貪婪訓(xùn)練方法。4. Deeplearning 的訓(xùn)練方法傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法為什么不能用在深度神經(jīng)網(wǎng)絡(luò)？深度結(jié)構(gòu)（涉及多個(gè)非線性處理單元層）的非凸目標(biāo)代價(jià)函數(shù)中普遍存在的局部最小是訓(xùn)練困難的主要來(lái)源。存在的問(wèn)題：（1）梯度越來(lái)越稀疏：從頂層越往下，誤差校正信號(hào)越來(lái)越??；（2）收斂到局部最小值：尤其是從遠(yuǎn)離最優(yōu)區(qū)域開(kāi)始的時(shí)候（隨機(jī)值初始化會(huì)導(dǎo)致這種情況的發(fā)生）；（3）一

6、般，我們只能用有標(biāo)簽的數(shù)據(jù)來(lái)訓(xùn)練：但大部分的數(shù)據(jù)是沒(méi)標(biāo)簽的，而大腦可以從沒(méi)有標(biāo)簽的的數(shù)據(jù)中學(xué)習(xí)；DeepLearning:1. 每次只訓(xùn)練網(wǎng)絡(luò)中的一層，（將前k-1層固定，并將其輸出作為輸入，開(kāi)始訓(xùn)練第K層）。每一層的訓(xùn)練可以是有監(jiān)督的（例如，將每一步的分類(lèi)誤差作為目標(biāo)函數(shù)），但更通常使用無(wú)監(jiān)督方法（例如自動(dòng)編碼器）。2. 各層單獨(dú)訓(xùn)練所得到的權(quán)重被用來(lái)初始化最終（或者說(shuō)全部）的深度網(wǎng)絡(luò)的權(quán)重3. 最后對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行“微調(diào)”（即把所有層放在一起來(lái)優(yōu)化有標(biāo)簽訓(xùn)練集上的訓(xùn)練誤差）.5. Deeplearning的常見(jiàn)模型（方法）AutoEncoder自動(dòng)編碼器Sparse Coding稀疏編碼De

7、ep BeliefNetworks深信度網(wǎng)絡(luò)Convolutional Neural Networks卷積神經(jīng)網(wǎng)絡(luò)6. 小結(jié)深度學(xué)習(xí)的實(shí)質(zhì)，是通過(guò)構(gòu)建具有很多隱層的機(jī)器學(xué)習(xí)模型和海量的訓(xùn)練數(shù)據(jù)，來(lái)學(xué)習(xí)更有用的特征，從而最終提升分類(lèi)或預(yù)測(cè)的準(zhǔn)確性。因此，“深度模型”是手段，“特征學(xué)習(xí)”是目的。1. Deep learning與其他機(jī)器學(xué)習(xí)算法如svm等相似，仍然可以把它當(dāng)做一個(gè)分類(lèi)器，仍然可以像使用一個(gè)黑盒子那樣使用它。2.Deep Learning強(qiáng)大的地方就是可以利用網(wǎng)絡(luò)中間某一層的輸出當(dāng)做是數(shù)據(jù)的另一種表達(dá)，從而可以將其認(rèn)為是經(jīng)過(guò)網(wǎng)絡(luò)學(xué)習(xí)到的特征。基于該特征，可以進(jìn)行進(jìn)一步的相似度比較等。

8、3.Deep Learning算法能夠有效的關(guān)鍵其實(shí)是大規(guī)模的數(shù)據(jù)，這一點(diǎn)原因在于每個(gè)DL都有眾多的參數(shù)，少量數(shù)據(jù)無(wú)法將參數(shù)訓(xùn)練充分。二、 卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的一種，已成為當(dāng)前語(yǔ)音分析和圖像識(shí)別領(lǐng)域的研究熱點(diǎn)。它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使之更類(lèi)似于生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量。該優(yōu)點(diǎn)在網(wǎng)絡(luò)的輸入是多維圖像時(shí)表現(xiàn)的更為明顯，原圖可直接作為網(wǎng)絡(luò)的輸入，避免了傳統(tǒng)識(shí)別算法中復(fù)雜的特征提取和數(shù)據(jù)重建過(guò)程。卷積網(wǎng)絡(luò)是為識(shí)別二維形狀而特殊設(shè)計(jì)的一個(gè)多層感知器，這種網(wǎng)絡(luò)結(jié)構(gòu)對(duì)平移、比例縮放、傾斜或者共他形式的變形具有高度不變性。在圖像處理中，往往把圖像表示為像素的向量

9、，比如一個(gè)1000×1000的圖像，可以表示為一個(gè)1000000的向量。在神經(jīng)網(wǎng)絡(luò)中，如果隱含層數(shù)目與輸入層一樣，即也是1000000時(shí)，那么輸入層到隱含層的參數(shù)數(shù)據(jù)為1000000×1000000=1012，這樣就太多了，基本沒(méi)法訓(xùn)練。所以神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像處理，必先減少參數(shù)加快速度。1. 局部感知局部感知野: 一般認(rèn)為人對(duì)外界的認(rèn)知是從局部到全局的，而圖像的空間聯(lián)系也是局部的像素聯(lián)系較為緊密，而距離較遠(yuǎn)的像素相關(guān)性則較弱。因而，每個(gè)神經(jīng)元其實(shí)沒(méi)有必要對(duì)全局圖像進(jìn)行感知，只需要對(duì)局部進(jìn)行感知，然后在更高層將局部的信息綜合起來(lái)就得到了全局的信息。如下圖所示：左圖為全連接，右圖

10、為局部連接。在上右圖中，假如每個(gè)神經(jīng)元只和10×10個(gè)像素值相連，那么權(quán)值數(shù)據(jù)為1000000×100個(gè)參數(shù)，減少為原來(lái)的千分之一。而那10×10個(gè)像素值對(duì)應(yīng)的10×10個(gè)參數(shù)，其實(shí)就相當(dāng)于卷積操作。2. 權(quán)值共享但其實(shí)這樣的話(huà)參數(shù)仍然過(guò)多，故而需要進(jìn)行參數(shù)共享。在上面的局部連接中，每個(gè)神經(jīng)元都對(duì)應(yīng)100個(gè)參數(shù)，一共1000000個(gè)神經(jīng)元，如果這1000000個(gè)神經(jīng)元的100個(gè)參數(shù)都是相等的，那么參數(shù)數(shù)目就變?yōu)?00了?？梢赃@100個(gè)參數(shù)（也就是卷積操作）看成是提取特征的方式，該方式與位置無(wú)關(guān)原理：圖像的一部分的統(tǒng)計(jì)特性與其他部分是一樣的。這也意味著我們

11、在這一部分學(xué)習(xí)的特征也能用在另一部分上，所以對(duì)于這個(gè)圖像上的所有位置，我們都能使用同樣的學(xué)習(xí)特征。卷積特征提取 從一個(gè)大尺寸的圖像中，選取一個(gè)小的圖像塊樣本作為探測(cè)器，將從小樣本中學(xué)習(xí)到的特種應(yīng)用到圖像的任意地方。e.g. 1.原圖96*96 > 8*8樣本2.學(xué)習(xí)到8*8樣本的所有特征（設(shè)由100個(gè)隱含層自編碼器完成）3.卷積運(yùn)算： 從96*96中依次抽取8*8的小塊（可抽89個(gè)：96-8+1） 對(duì)抽取的區(qū)域 -à 稀疏自編碼 -à 特征的激活值此例可得：100個(gè)集合，每個(gè)含有89*89個(gè)卷積特征如下圖所示，展示了一個(gè)3*3的卷積核在5*5的圖像上做卷積的過(guò)程。每個(gè)

12、卷積都是一種特征提取方式，就像一個(gè)篩子，將圖像中符合條件（激活值越大越符合條件）的部分篩選出來(lái)。3. 多卷積核上面所述只有100個(gè)參數(shù)時(shí)，表明只有1個(gè)100*100的卷積核，顯然，特征提取是不充分的，我們可以添加多個(gè)卷積核，比如32個(gè)卷積核，可以學(xué)習(xí)32種特征。在有多個(gè)卷積核時(shí)，如下圖所示：上圖右，不同顏色表明不同的卷積核。每個(gè)卷積核都會(huì)將圖像生成為另一幅圖像。比如兩個(gè)卷積核就可以將生成兩幅圖像，這兩幅圖像可以看做是一張圖像的不同的通道。如下圖所示，在四個(gè)通道上的卷積操作，有兩個(gè)卷積核，生成兩個(gè)通道。其中需要注意的是，四個(gè)通道上每個(gè)通道對(duì)應(yīng)一個(gè)卷積核，先將w2忽略，只看w1，那么在w1的某位置

13、（i,j）處的值，是由四個(gè)通道上（i,j）處的卷積結(jié)果相加然后再取激活函數(shù)值得到的。所以，在上圖由4個(gè)通道卷積得到2個(gè)通道的過(guò)程中，參數(shù)的數(shù)目為4×2×2×2個(gè)，其中4表示4個(gè)通道，第一個(gè)2表示生成2個(gè)通道，最后的2×2表示卷積核大小。4. 池化在通過(guò)卷積獲得了特征之后，下一步我們希望利用這些特征去做分類(lèi)。理論上講，人們可以用所有提取得到的特征去訓(xùn)練分類(lèi)器，但這樣做面臨計(jì)算量的挑戰(zhàn)。例如：對(duì)于一個(gè) 96X96 像素的圖像，假設(shè)我們已經(jīng)學(xué)習(xí)得到了400個(gè)定義在8X8輸入上的特征，所以每個(gè)樣例都會(huì)得到一個(gè)3,168,400 維的卷積特征向量。學(xué)習(xí)一個(gè)擁有超過(guò) 3 百萬(wàn)特征輸入的分類(lèi)器十分不便，并且容易出現(xiàn)過(guò)擬合。而之所以決定使用卷積后的特征是因?yàn)閳D像具有一種“靜態(tài)性”的屬性，這也就意味著在一個(gè)圖像區(qū)域有用的特征極有可能在另一個(gè)區(qū)域同樣適用所以，可以對(duì)不同位置的特征進(jìn)行聚合統(tǒng)計(jì)(池化)，有最