CNN(卷積神經網絡)

1、卷積神經網絡(CNN) 匯報人：吳建寶 2017.06.12 目錄Contents 1. 神經網絡計算 2. 卷積神經網絡 3. CNN實現(tensorflow) 目錄Contents 1. 神經網絡計算 1.1.神經網絡信息流動1.2.神經網絡結點計算1.3.神經網絡梯度傳播(鏈式法則） 神經網絡信息流動解析：（x,y）是給定的帶標簽數據，通常，x為特征，y為標簽，固定不變?yōu)闄嘀?網絡參數），隨機初始化(正態(tài)分布），且隨時變化一次前向計算過程，通過score function，得到預測結果，與標簽數據對比，計算loss值，通常，loss是規(guī)則化項(redularization loss)和

2、均方差項(data loss)的加權和(見式),其目的是減小權重的幅度，防止過度擬合在反向計算時，使用均方差項更新權重.Notes:式1:神經網絡的結點計算前向計算：反向傳播：神經網絡梯度傳播(鏈式法則）Notes:目錄Contents 2. 卷積神經網絡 2.1. 卷積神經網絡和深度學習的歷史 2.2. 卷積神經網絡的設計和原理 2.3. 卷積神經網絡的神經科學基礎 卷積神經網絡和深度學習的歷史卷積神經網絡在深度學習的歷史中發(fā)揮了重要作用它們是將研究大腦獲得的深刻理解成功應用于機器學習應用的關鍵例子，也是第一個表現良好的深度模型之一是第一個解決重要商業(yè)應用的神經網絡，并且仍然是當今深度學習應

3、用的前沿 在20世紀90年代，的神經網絡研究小組開發(fā)了一個用于讀取支票的卷積神經網絡，到90年代末，NEC部署的這個系統(tǒng)用于讀取美國所有支票的10%后來，微軟部署了若干個基于卷積神經網絡的OCR和手寫識別系統(tǒng)(MNIST) 卷積神經網絡也被用來贏得許多比賽當前對深度學習的商業(yè)熱潮始于2012年，當時Alex Krizhevsky使用新型卷積神經網絡(AlexNet)贏得了當年的ImageNet大賽第一名，TOP-5分類錯誤率比第二名小約10%，引起轟動 深度學習以及卷積神經網絡的適用需要大量的有效訓練數據，過去的互聯網時代為深度學習提供了大量的訓練數據，同時隨著幾十年來硬件技術的發(fā)展，為利用和

4、計算大量數據提供了條件所以，近年來，每一次模型算法的更新，都取得了良好的效果，為深度學習這把火炬增添了燃料卷積神經網絡和深度學習的歷史卷積神經網絡提供了一種方法來專業(yè)化神經網絡，以處理具有清楚的網絡結構的數據，以及將這樣的模型放大到非常大的尺寸(加深層數).這種方法在二維圖像拓撲上的應用是最成功的同時，卷積神經網絡比全連接網絡計算效率更高，使用他們運行多個實驗并調整它們的實現和超參數更容易，更大的網絡也更容易訓練為了處理一維序列數據，便有了循環(huán)神經網絡，以及基于循環(huán)神經網絡優(yōu)化而來的lstm,attention機制等 目錄Contents 2. 卷積神經網絡 2.1. 卷積神經網絡和深度學習的

5、歷史 2.2. 卷積神經網絡的設計和原理 2.3. 卷積神經網絡的神經科學基礎 CNN處理圖像 卷積神經網絡的計算效率提升，參數量：1012 106 CNN處理圖像 邊緣檢測的效率。右邊的圖像是通過獲得原始圖像中的每個像素并減去左邊相鄰像素的值而形成的。這對目標檢測是有用的操作。兩個圖像都是 280 像素的高度。輸入圖像寬 320 像素,而輸出圖像寬 319 像素。這個變換可以通過包含兩個元素的卷積核來描述,并且需要 319 280 3 = 267, 960 個浮點運算(每個輸出像素需要兩次乘法和一次加法)。不使用卷積,需要 320 280 319 280 個或者說超過 80 億個元素的矩陣,

6、這使得卷積對于表示這種變換更有效 40 億倍。直接運行矩陣乘法的算法將執(zhí)行超過 160 億個浮點運算,這使得卷積在計算上大約有 60,000 倍的效率。將小的局部區(qū)域上的相同線性變換應用到整個輸入上,卷積是描述這種變換的極其有效的方法。照片來源:Paula Goodfellow。CNN特性權值共享和多卷積核請在這里輸入論文答辯的標題2016-08-03權值共享 多通道多卷積核 卷積神經網絡之所以計算效率高，對特征提取的效果好，主要是由于卷積神經網絡具有以下三個特性：權值共享，多卷積核，池化CNN多通道和多卷積核請在這里輸入論文答辯的標題2016-08-03 CS231Nhttp:/cs231n

7、.github.io/convolutional-networks/ CNN中基于權值共享的多卷積核算法 卷積的矩陣轉換請在這里輸入論文答辯的標題2016-08-03 感受野和卷積核是卷積運算的一種特殊設定和直觀表示，卷積核和感受野之間的卷積運算使用向量矩陣的形式實現，提高了計算效率卷積的矩陣運算形式(im2txt)CNN 特性池化池化過程 卷積神經網絡池化有最大池化(max_pool)和平均池化(avg_pool)，顧名思義，最大池化取區(qū)域內最大值，平均池化取區(qū)域內平均值其它池化包括L 2 范數以及依靠據中心像素距離的加權平均池化CNN 特性池化為什么要池化？減少參數的量，提高計算效率最大池

8、化能顯著增強局部特征，平均池化可減少噪聲（最大池化提取輪廓特征，平均池化可模糊圖像）提高局部平移不變性(不考慮空間，時間位置張民）局部平移不變性是一個很重要的性質,尤其是當我們關心某個特征是否出現而不關心它出現的具體位置時，這對于圖像中的目標檢測至關重要，同時，在圖像識別中，同一類別的圖像往往會有細微的差別，局部平移不變性大大提高了圖像分類的準確度CNN 特性局部平移不變性為什么最大池化能做到？上圖下半部分的輸入像素向右平移一個單位，下圖對應位置像素值全部改變，若對輸入像素做池化處理，當原始像素平移一個單位后，只有一半的像素值改變CNN 特性局部平移不變性學習不變性的示例。使用分離的參數學得多

9、個特征,再使用池化單元進行池化,可以學得對輸入的某些變換的不變性。這里我們展示了用三個學得的過濾器(卷積核)和一個最大池化單元可以學得對旋轉變換的不變性。這三個過濾器都旨在檢測手寫的數字 5。每個卷積核嘗試匹配稍微不同方向的 5。當輸入中出現 5 時,相應的卷積核會匹配它并且在探測單元(激活函數)中引起大的激活。然后,無論哪個探測單元被激活,最大池化單元都具有大的激活。我們在這里展示網絡如何處理兩個不同的輸入,導致兩個不同的探測單元被激活。然而對池化單元的影響大致相同?？臻g位置上的最大池化對于平移是天然不變的;這種多通道方法在學習其他變換時是必要的。目錄Contents 2. 卷積神經網絡 2

10、.1.卷積神經網絡和深度學習的歷史 2.2. 卷積神經網絡的設計和原理 2.3. 卷積神經網絡的神經科學基礎卷積神經網絡的神經科學基礎 卷積神經網絡的神經科學基礎 卷積網絡也許是生物學啟發(fā)人工只能的最為成功的故事雖然卷積網絡已經被其它領域指導，但是神經網絡的一些關鍵設計原則來自于神經科學卷積網絡的歷史始于David Hubel 和Torsten Wiesel的神經科學實驗，為了確定哺乳動物視覺系統(tǒng)如何工作的基本事實，他們觀察了貓的腦內神經元如何響應投影在貓前面屏幕上精確位置的圖像他們發(fā)現：處于視覺系統(tǒng)較為前面較為前面的神經元對非常特定特定的光模式(例如精確定向的條紋)反應最強烈，但對其他模式幾

11、乎完全沒有反應卷積神經網絡的神經科學基礎 圖像是由光到達眼睛并刺激視網膜形成的，視網膜的神經元對圖像執(zhí)行一些簡單的預處理，但是基本改變它被表示的方式，然后圖像通過視神經和腦部區(qū)域，這些區(qū)域負責將信號從眼睛傳遞到位于腦后部的主要視覺皮層，它是大腦對視覺輸入開始執(zhí)行顯著高級處理的第一個區(qū)域顯著高級處理的第一個區(qū)域(以下簡稱V1)，卷積網絡的設計參考了其對視覺信號處理的三個主要性質：V1具有二維結構來反映視網膜中的圖像結構，例如，到達視網膜下半部的光僅影響V1相應的一半卷積網絡通過用二維映射定義特征的方式來實現該特性(CNN特性：權值共享和局部池化操作）.V1包含許多簡單細胞，簡單細胞的活動在某種程

12、度上可以概括為在一個小的空間位置接受域內小的空間位置接受域內的圖像的線性函數線性函數，卷積神經網絡不同卷積核的權重與輸入的線性求和，模擬了簡單細胞對輸入信號的處理V1還包括許多的復雜細胞，這些細胞響應由簡單細胞檢測的那簡單細胞檢測的那些特征些特征，但是復雜細胞對于特征位置的微小偏移具有不變性，這啟發(fā)了網絡的池化單元和激活函數目錄Contents 3. CNN實現(tensorflow) 3.1. 主流CNN模型介紹 3.2.使用tensorflow搭建CNN 3.3.使用tensorflow實現其它模型 ImageNet Classification with Deep Convolution

13、al Neural NetworksImageNet LSVRC-2012冠軍,1000類,120萬高清圖像,Top5Error:26.2% 15.3%結構：由6000萬個參數和650,000個神經元，由五個卷積層和其后的max-pooling層以及三個全連接層,1000-way的softmax層組成.以及開創(chuàng)性的使用“dropout”技術，避免了過擬合過擬合計算開銷問題：采取將網絡分布在兩個GPU上,在每個GPU中放置一半核（或神經元），還有一個額外的技巧：GPU間的通訊只在某些層進行。Rethinking the Inception Architecture for Computer Vi

14、sion這也是獲得ImageNet LSVRC-2014冠軍的模型，共22層的網絡文章提出獲得高質量模型最保險的做法就是增加模型的深度（層數）或者是其寬度（層增加模型的深度（層數）或者是其寬度（層核或者神經元數）核或者神經元數），但是這里一般設計思路的情況下會出現兩個缺陷（1.若訓練數據集有限，參數太多，容易過擬合；2.網絡越大計算復雜度越大，難以應用；3.網絡越深，梯度越往后穿越容易消失，難以優(yōu)化模型）。Rethinking the Inception Architecture for Computer Vision googlenet的主要思想就是圍繞這兩個思路去做的：1.深度，層數更深，

15、文章采用了22層，googlenet巧妙的在不同深度處增加了兩個loss來避免上述提到的梯度消失問題，。2.寬度，增加了多種核1x1，3x3，5x5，在3x3前，5x5前，max pooling后分別加上了1x1的卷積核起到了降低feature map厚度的作用。以下是googlenet用的inception可以稱之為inception v1，如下圖所示：目錄Contents 3. CNN實現(tensorflow) 3.1.主流CNN模型介紹 3.2.使用tensorflow實現CNN 3.3.使用tensorflow實現其它模型 使用tensorflow搭建CNNTensorFlow 是一

16、個采用數據流圖，用于數值計算的開源軟件庫。節(jié)點在圖中表示數學操作，圖中的線則表示在節(jié)點間相互聯系的多維數據數組，即張量（tensor）。什么是數據流圖（什么是數據流圖（Data Flow Graph）?數據流圖是一種特定的數據結構的表現方式，它以數據為中心，由線傳輸數據，由節(jié)點對數據進行操作，很好的對應了神經網絡中的權值參數和神經元結點，是目前各種神經網絡框架采用的計算方式 tensorflow計算示例tensorflow數據流圖的核心在于數據流圖的搭建數據流圖搭建完成以后，啟動會話(Session),進行計算和訓練目錄Contents 3. CNN實現(tensorflow) 3.1. 主流CNN模型介紹 3.2.使用tensorflow實現CNN 3.3.使用tensorflow實現其它模型 機器寫詩Poetry:1.賦詩何所問，我心亦不知不知一片月，不是一枝花2.香徑無人處，春風似水流不知何處去，不見古人歸3.清風吹雨夜，一曲一