CNN(卷積神經(jīng)網(wǎng)絡(luò))

卷積神經(jīng)網(wǎng)絡(luò)(CNN)匯報人：吳建寶2017.06.12目錄Contents1.神經(jīng)網(wǎng)絡(luò)計算2.卷積神經(jīng)網(wǎng)絡(luò)3.CNN實現(xiàn)(tensorflow)

22021/6/28目錄Contents1.神經(jīng)網(wǎng)絡(luò)計算

1.1.神經(jīng)網(wǎng)絡(luò)信息流動1.2.神經(jīng)網(wǎng)絡(luò)結(jié)點計算1.3.神經(jīng)網(wǎng)絡(luò)梯度傳播(鏈?zhǔn)椒▌t）

32021/6/28神經(jīng)網(wǎng)絡(luò)信息流動解析：（x,y）是給定的帶標(biāo)簽數(shù)據(jù)，通常，x為特征，y為標(biāo)簽，固定不變．Ｗ為權(quán)重(網(wǎng)絡(luò)參數(shù)），隨機初始化(正態(tài)分布），且隨時變化．一次前向計算過程，通過scorefunction，得到預(yù)測結(jié)果，與標(biāo)簽數(shù)據(jù)對比，計算loss值，通常，loss是規(guī)則化項(redularizationloss)和均方差項(dataloss)的加權(quán)和(見式１),其目的是減小權(quán)重的幅度，防止過度擬合．在反向計算時，使用均方差項更新權(quán)重.Notes:式1:42021/6/28神經(jīng)網(wǎng)絡(luò)的結(jié)點計算前向計算：反向傳播：52021/6/28神經(jīng)網(wǎng)絡(luò)梯度傳播(鏈?zhǔn)椒▌t）Notes:62021/6/28目錄Contents

2.卷積神經(jīng)網(wǎng)絡(luò)

2.1.卷積神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的歷史

2.2.卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計和原理

2.3.卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)科學(xué)基礎(chǔ)

72021/6/28卷積神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的歷史

卷積神經(jīng)網(wǎng)絡(luò)在深度學(xué)習(xí)的歷史中發(fā)揮了重要作用．它們是將研究大腦獲得的深刻理解成功應(yīng)用于機器學(xué)習(xí)應(yīng)用的關(guān)鍵例子，也是第一個表現(xiàn)良好的深度模型之一．是第一個解決重要商業(yè)應(yīng)用的神經(jīng)網(wǎng)絡(luò)，并且仍然是當(dāng)今深度學(xué)習(xí)應(yīng)用的前沿．在20世紀(jì)90年代，ＡＴ＆Ｔ的神經(jīng)網(wǎng)絡(luò)研究小組開發(fā)了一個用于讀取支票的卷積神經(jīng)網(wǎng)絡(luò)，到90年代末，NEC部署的這個系統(tǒng)用于讀取美國所有支票的10%．后來，微軟部署了若干個基于卷積神經(jīng)網(wǎng)絡(luò)的OCR和手寫識別系統(tǒng)(MNIST)．卷積神經(jīng)網(wǎng)絡(luò)也被用來贏得許多比賽．當(dāng)前對深度學(xué)習(xí)的商業(yè)熱潮始于2012年，當(dāng)時AlexKrizhevsky使用新型卷積神經(jīng)網(wǎng)絡(luò)(AlexNet)贏得了當(dāng)年的ImageNet大賽第一名，TOP-5分類錯誤率比第二名小約10%，引起轟動．深度學(xué)習(xí)以及卷積神經(jīng)網(wǎng)絡(luò)的適用需要大量的有效訓(xùn)練數(shù)據(jù)，過去的互聯(lián)網(wǎng)時代為深度學(xué)習(xí)提供了大量的訓(xùn)練數(shù)據(jù)，同時隨著幾十年來硬件技術(shù)的發(fā)展，為利用和計算大量數(shù)據(jù)提供了條件．所以，近年來，每一次模型算法的更新，都取得了良好的效果，為深度學(xué)習(xí)這把火炬增添了燃料．82021/6/28卷積神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的歷史

卷積神經(jīng)網(wǎng)絡(luò)提供了一種方法來專業(yè)化神經(jīng)網(wǎng)絡(luò)，以處理具有清楚的網(wǎng)絡(luò)結(jié)構(gòu)的數(shù)據(jù)，以及將這樣的模型放大到非常大的尺寸(加深層數(shù)).這種方法在二維圖像拓撲上的應(yīng)用是最成功的．同時，卷積神經(jīng)網(wǎng)絡(luò)比全連接網(wǎng)絡(luò)計算效率更高，使用他們運行多個實驗并調(diào)整它們的實現(xiàn)和超參數(shù)更容易，更大的網(wǎng)絡(luò)也更容易訓(xùn)練．為了處理一維序列數(shù)據(jù)，便有了循環(huán)神經(jīng)網(wǎng)絡(luò)，以及基于循環(huán)神經(jīng)網(wǎng)絡(luò)優(yōu)化而來的lstm,attention機制等．

92021/6/28目錄Contents

2.卷積神經(jīng)網(wǎng)絡(luò)

2.1.卷積神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的歷史

2.2.卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計和原理

2.3.卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)科學(xué)基礎(chǔ)

102021/6/28CNN處理圖像

卷積神經(jīng)網(wǎng)絡(luò)的計算效率提升，參數(shù)量：10^12－＞10^6112021/6/28CNN處理圖像

邊緣檢測的效率。右邊的圖像是通過獲得原始圖像中的每個像素并減去左邊相鄰像素的值而形成的。這對目標(biāo)檢測是有用的操作。兩個圖像都是280像素的高度。輸入圖像寬320像素,而輸出圖像寬319像素。這個變換可以通過包含兩個元素的卷積核來描述,并且需要319×280×3=267,960個浮點運算(每個輸出像素需要兩次乘法和一次加法)。不使用卷積,需要320×280×319×280個或者說超過80億個元素的矩陣,這使得卷積對于表示這種變換更有效40億倍。直接運行矩陣乘法的算法將執(zhí)行超過160億個浮點運算,這使得卷積在計算上大約有60,000倍的效率。將小的局部區(qū)域上的相同線性變換應(yīng)用到整個輸入上,卷積是描述這種變換的極其有效的方法。照片來源:PaulaGoodfellow。122021/6/28CNN特性－權(quán)值共享和多卷積核請在這里輸入論文答辯的標(biāo)題2016-08-03權(quán)值共享

多通道多卷積核卷積神經(jīng)網(wǎng)絡(luò)之所以計算效率高，對特征提取的效果好，主要是由于卷積神經(jīng)網(wǎng)絡(luò)具有以下三個特性：權(quán)值共享，多卷積核，池化．132021/6/28CNN多通道和多卷積核請在這里輸入論文答辯的標(biāo)題2016-08-03

CS231Nhttp://cs231n.github.io/convolutional-networks/142021/6/28CNN中基于權(quán)值共享的多卷積核算法152021/6/28卷積的矩陣轉(zhuǎn)換請在這里輸入論文答辯的標(biāo)題2016-08-03

感受野和卷積核是卷積運算的一種特殊設(shè)定和直觀表示，卷積核和感受野之間的卷積運算使用向量矩陣的形式實現(xiàn)，提高了計算效率．162021/6/28卷積的矩陣運算形式(im2txt)172021/6/28CNN特性－池化ＣＮＮ池化過程卷積神經(jīng)網(wǎng)絡(luò)池化有最大池化(max_pool)和平均池化(avg_pool)，顧名思義，最大池化取區(qū)域內(nèi)最大值，平均池化取區(qū)域內(nèi)平均值．其它池化包括L2范數(shù)以及依靠據(jù)中心像素距離的加權(quán)平均池化．182021/6/28CNN特性－池化

為什么要池化？１．減少參數(shù)的量，提高計算效率．２．最大池化能顯著增強局部特征，平均池化可減少噪聲．（最大池化提取輪廓特征，平均池化可模糊圖像）３．提高局部平移不變性．(不考慮空間，時間位置．－張民）局部平移不變性是一個很重要的性質(zhì),尤其是當(dāng)我們關(guān)心某個特征是否出現(xiàn)而不關(guān)心它出現(xiàn)的具體位置時，這對于圖像中的目標(biāo)檢測至關(guān)重要，同時，在圖像識別中，同一類別的圖像往往會有細微的差別，局部平移不變性大大提高了圖像分類的準(zhǔn)確度．192021/6/28CNN特性－局部平移不變性

為什么最大池化能做到？上圖下半部分的輸入像素向右平移一個單位，下圖對應(yīng)位置像素值全部改變，若對輸入像素做池化處理，當(dāng)原始像素平移一個單位后，只有一半的像素值改變．202021/6/28CNN特性－局部平移不變性

學(xué)習(xí)不變性的示例。使用分離的參數(shù)學(xué)得多個特征,再使用池化單元進行池化,可以學(xué)得對輸入的某些變換的不變性。這里我們展示了用三個學(xué)得的過濾器(卷積核)和一個最大池化單元可以學(xué)得對旋轉(zhuǎn)變換的不變性。這三個過濾器都旨在檢測手寫的數(shù)字5。每個卷積核嘗試匹配稍微不同方向的5。當(dāng)輸入中出現(xiàn)5時,相應(yīng)的卷積核會匹配它并且在探測單元(激活函數(shù))中引起大的激活。然后,無論哪個探測單元被激活,最大池化單元都具有大的激活。我們在這里展示網(wǎng)絡(luò)如何處理兩個不同的輸入,導(dǎo)致兩個不同的探測單元被激活。然而對池化單元的影響大致相同?？臻g位置上的最大池化對于平移是天然不變的;這種多通道方法在學(xué)習(xí)其他變換時是必要的。212021/6/28目錄Contents

2.卷積神經(jīng)網(wǎng)絡(luò)

2.1.卷積神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的歷史

2.2.卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計和原理

2.3.卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)科學(xué)基礎(chǔ)

222021/6/28卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)科學(xué)基礎(chǔ)

卷積網(wǎng)絡(luò)也許是生物學(xué)啟發(fā)人工只能的最為成功的故事．雖然卷積網(wǎng)絡(luò)已經(jīng)被其它領(lǐng)域指導(dǎo)，但是神經(jīng)網(wǎng)絡(luò)的一些關(guān)鍵設(shè)計原則來自于神經(jīng)科學(xué)．卷積網(wǎng)絡(luò)的歷史始于DavidHubel和TorstenWiesel的神經(jīng)科學(xué)實驗，為了確定哺乳動物視覺系統(tǒng)如何工作的基本事實，他們觀察了貓的腦內(nèi)神經(jīng)元如何響應(yīng)投影在貓前面屏幕上精確位置的圖像．他們發(fā)現(xiàn)：處于視覺系統(tǒng)較為前面的神經(jīng)元對非常特定的光模式(例如精確定向的條紋)反應(yīng)最強烈，但對其他模式幾乎完全沒有反應(yīng)．

232021/6/28卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)科學(xué)基礎(chǔ)

圖像是由光到達眼睛并刺激視網(wǎng)膜形成的，視網(wǎng)膜的神經(jīng)元對圖像執(zhí)行一些簡單的預(yù)處理，但是基本改變它被表示的方式，然后圖像通過視神經(jīng)和腦部區(qū)域，這些區(qū)域負責(zé)將信號從眼睛傳遞到位于腦后部的主要視覺皮層，它是大腦對視覺輸入開始執(zhí)行顯著高級處理的第一個區(qū)域(以下簡稱V1)，卷積網(wǎng)絡(luò)的設(shè)計參考了其對視覺信號處理的三個主要性質(zhì)：１．V1具有二維結(jié)構(gòu)來反映視網(wǎng)膜中的圖像結(jié)構(gòu)，例如，到達視網(wǎng)膜下半部的光僅影響V1相應(yīng)的一半．卷積網(wǎng)絡(luò)通過用二維映射定義特征的方式來實現(xiàn)該特性．(CNN特性：權(quán)值共享和局部池化操作）２.V1包含許多簡單細胞，簡單細胞的活動在某種程度上可以概括為在一個小的空間位置接受域內(nèi)的圖像的線性函數(shù)，卷積神經(jīng)網(wǎng)絡(luò)不同卷積核的權(quán)重與輸入的線性求和，模擬了簡單細胞對輸入信號的處理．３．V1還包括許多的復(fù)雜細胞，這些細胞響應(yīng)由簡單細胞檢測的那些特征，但是復(fù)雜細胞對于特征位置的微小偏移具有不變性，這啟發(fā)了網(wǎng)絡(luò)的池化單元和激活函數(shù)．242021/6/28目錄Contents3.CNN實現(xiàn)(tensorflow)

3.1.主流CNN模型介紹3.2.使用tensorflow搭建CNN3.3.使用tensorflow實現(xiàn)其它模型

252021/6/28

ImageNetClassificationwithDeepConvolutionalNeuralNetworksImageNetLSVRC-2012冠軍,1000類,120萬高清圖像,Top5Error:26.2%→15.3%．結(jié)構(gòu)：由6000萬個參數(shù)和650,000個神經(jīng)元，由五個卷積層和其后的max-pooling層以及三個全連接層,1000-way的softmax層組成.以及開創(chuàng)性的使用“dropout”技術(shù)，避免了過擬合．計算開銷問題：采取將網(wǎng)絡(luò)分布在兩個GPU上,在每個GPU中放置一半核（或神經(jīng)元），還有一個額外的技巧：GPU間的通訊只在某些層進行。262021/6/28RethinkingtheInceptionArchitectureforComputerVision這也是獲得ImageNetLSVRC-2014冠軍的模型，共22層的網(wǎng)絡(luò)．文章提出獲得高質(zhì)量模型最保險的做法就是增加模型的深度（層數(shù)）或者是其寬度（層核或者神經(jīng)元數(shù)），但是這里一般設(shè)計思路的情況下會出現(xiàn)兩個缺陷（1.若訓(xùn)練數(shù)據(jù)集有限，參數(shù)太多，容易過擬合；2.網(wǎng)絡(luò)越大計算復(fù)雜度越大，難以應(yīng)用；3.網(wǎng)絡(luò)越深，梯度越往后穿越容易消失，難以優(yōu)化模型）。272021/6/28RethinkingtheInceptionArchitectureforComputerVision

googlenet的主要思想就是圍繞這兩個思路去做的：1.深度，層數(shù)更深，文章采用了22層，googlenet巧妙的在不同深度處增加了兩個loss來避免上述提到的梯度消失問題，。2.寬度，增加了多種核1x1，3x3，5x5，在3x3前，5x5前，maxpooling后分別加上了1x1的卷積核起到了降低featuremap厚度的作用。以下是googlenet用的inception可以稱之為inceptionv1，如下圖所示：282021/6/28目錄Contents3.CNN實現(xiàn)(tensorflow)

3.1.主流CNN模型介紹3.2.使用tensorflow實現(xiàn)CNN3.3.使用tensorflow實現(xiàn)其它模型

292021/6/28使用tensorflo