CNN 卷積神經(jīng)網(wǎng)絡(luò)介紹

CNN卷積神經(jīng)網(wǎng)絡(luò)介紹Niubinhan2018-6-12第一篇生物學(xué)神經(jīng)網(wǎng)絡(luò)請(qǐng)用視覺表達(dá)圖中的動(dòng)物是什么？圖中是同一種動(dòng)物？為什么？判斷不同動(dòng)物的依據(jù)是什么？人的視網(wǎng)膜如何工作視網(wǎng)膜有十層結(jié)構(gòu)、其中三層被神經(jīng)元占據(jù)。這十層結(jié)構(gòu)在圖中上而下分別是：色素上皮層，視錐、視桿細(xì)胞層，外界膜，外顆粒層，外叢狀層，內(nèi)顆粒層，內(nèi)叢狀層，神經(jīng)節(jié)細(xì)胞層，神經(jīng)纖維層，內(nèi)界膜。其中負(fù)責(zé)接受光信號(hào)（也就是網(wǎng)絡(luò)的輸入層）的是視錐、視桿細(xì)胞（感光細(xì)胞）層（Rodsandconeslayer）。在視覺皮層中存在的兩類細(xì)胞：簡(jiǎn)單細(xì)胞（simplecells)和復(fù)雜細(xì)胞(complexcells).

TorstenWiesel和DavidHubel兩位好基友日以繼夜在貓和猴身上做實(shí)驗(yàn)在1950s末期發(fā)現(xiàn)了簡(jiǎn)單細(xì)胞又在大約十年后發(fā)現(xiàn)了復(fù)雜細(xì)胞。1981年的諾貝爾生理學(xué)及醫(yī)學(xué)獎(jiǎng)。動(dòng)物和人的大腦如何識(shí)別圖像第二篇Cnn卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典CNN結(jié)構(gòu)圖計(jì)算機(jī)看到的圖片RGB三通道二維數(shù)組CNN卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)是計(jì)算機(jī)視覺領(lǐng)域最有影響力的創(chuàng)造之一.2012年是卷積神經(jīng)網(wǎng)絡(luò)崛起之年。這一年，AlexKrizhevsky帶著卷積神經(jīng)網(wǎng)絡(luò)參加了ImageNet競(jìng)賽（其重要程度相當(dāng)于奧運(yùn)會(huì)）并一鳴驚人，將識(shí)別錯(cuò)誤率從26%降到了15%,。從那開始，很多公司開始使用深度學(xué)習(xí)作為他們服務(wù)的核心。CNN卷積神經(jīng)網(wǎng)絡(luò)識(shí)別圖像的過(guò)程卷積計(jì)算-矩陣相同位置相乘求和卷積計(jì)算-矩陣相同位置相乘求和卷積核的通道數(shù)圖像上做卷積的效果卷積核是什么？卷積核Kernel也叫濾波器filter，代表圖像的某種特征；也稱為神經(jīng)元。比如垂直邊緣，水平邊緣，顏色，紋理等等，這些所有神經(jīng)元加起來(lái)就好比就是整張圖像的特征提取器集合。卷積核越深越能檢測(cè)圖像更高級(jí)別，更高層次，更復(fù)雜，更抽象，更泛化的特征。卷積計(jì)算為什么能檢測(cè)圖像的特征？神經(jīng)元激活放電卷積計(jì)算本質(zhì)就是相似度匹配，一樣不一樣。不同的卷積核多角度檢測(cè)圖像特征每一個(gè)卷積核代表提取不同的特征，多個(gè)卷積核提取的特征然后進(jìn)行組合。可視化卷積核深度卷積核檢測(cè)圖像更高層次的特征TechnologyProcedurePoliciesBenefits圖像卷積運(yùn)算的結(jié)果相似則輸出一個(gè)明顯變大的值，否則輸出極小值。圖像卷積運(yùn)算的結(jié)果相似則輸出一個(gè)明顯變大的值，否則輸出極小值。全連接層-輸出預(yù)測(cè)結(jié)果圖像特征圖的“分布式特征表示”映射到樣本標(biāo)記空間。在整個(gè)卷積神經(jīng)網(wǎng)絡(luò)中起到“分類器”的作用全連接層-輸出預(yù)測(cè)結(jié)果隱含層輸出的特征圖SoftMax通過(guò)Softmax函數(shù)將多個(gè)標(biāo)量映射為一個(gè)概率分布，輸出分類結(jié)果的置信度。第三篇Cnn卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練內(nèi)容概述訓(xùn)練什么？怎么訓(xùn)練？基礎(chǔ)知識(shí)訓(xùn)練的本質(zhì)是什么？訓(xùn)練什么？訓(xùn)練輸入的樣本和分類對(duì)象是已定的，訓(xùn)練的深度（隱藏層的層數(shù)）和卷積核（神經(jīng)元）的數(shù)量、卷積核的大小，都是訓(xùn)練前根據(jù)經(jīng)驗(yàn)設(shè)定的。如果訓(xùn)練參數(shù)設(shè)置不合理會(huì)導(dǎo)致過(guò)擬合或者欠擬合。數(shù)據(jù)擬合科學(xué)和工程問(wèn)題可以通過(guò)諸如采樣、實(shí)驗(yàn)等方法獲得若干離散的數(shù)據(jù)，根據(jù)這些數(shù)據(jù)，我們往往希望得到一個(gè)連續(xù)的函數(shù)（也就是曲線）或者更加密集的離散方程與已知數(shù)據(jù)相吻合，這過(guò)程就叫做擬合(fitting).擬合(fitting)數(shù)據(jù)擬合：是指選擇適當(dāng)?shù)那€類型來(lái)擬合觀測(cè)數(shù)據(jù)，并用擬合的曲線方程分析兩變量間的關(guān)系。是一種把現(xiàn)有數(shù)據(jù)透過(guò)數(shù)學(xué)方法來(lái)代入一條數(shù)式的表示方式。區(qū)分兩種不同的點(diǎn)歸納-找到規(guī)律演繹擬合任意連續(xù)函數(shù)萬(wàn)能近似定理Universalapproximationtheorem(Horniketal.,1989;Cybenko,1989)已經(jīng)在數(shù)學(xué)上證明了前饋神經(jīng)網(wǎng)絡(luò)，只需具備單層隱含層和有限個(gè)神經(jīng)單元，就能以任意精度擬合任意復(fù)雜度的連續(xù)函數(shù).分類擬合任意連續(xù)函數(shù)非線性激活函數(shù)擬合任意連續(xù)函數(shù)對(duì)于sigmoid函數(shù)來(lái)說(shuō)，w控制著的就是曲線的斜率，如果w特別大，那么就能夠近似成為一個(gè)階躍函數(shù)，而b則控制著到底在哪個(gè)位置開始進(jìn)行階躍，兩個(gè)反向的階躍函數(shù)的組合就能夠組合成為一個(gè)小的沖擊，于是我們有了這個(gè)東西之后就能夠開始造世界了。從科學(xué)方法論來(lái)看，歸納的基本要求是足夠大、且覆蓋全部時(shí)間空間維度的樣本+科學(xué)的統(tǒng)計(jì)分析。理論上歸納法不可能“完全正確”，但它是一個(gè)正的金字塔，它永遠(yuǎn)不會(huì)偏離事實(shí)太遠(yuǎn)。現(xiàn)在主流的人工智能算法，是用計(jì)算機(jī)去對(duì)超大量數(shù)據(jù)進(jìn)行復(fù)雜歸納。擬合的本質(zhì)=>歸納欠擬合&過(guò)擬合通俗對(duì)比：欠擬合學(xué)得太少，分得太粗糙；過(guò)擬合學(xué)得太多太細(xì)，拿著放大鏡看世界，看到的都是差異看不到相同點(diǎn)。激活函數(shù)激活函數(shù)是用來(lái)加入非線性因素，解決線性模型所不能解決的問(wèn)題。激活函數(shù)的意義是“讓神經(jīng)網(wǎng)絡(luò)具備強(qiáng)大的擬合能力”。線性方程的復(fù)雜性有限，并且從數(shù)據(jù)中學(xué)習(xí)復(fù)雜函數(shù)映射的能力更小。一個(gè)沒(méi)有激活函數(shù)的神經(jīng)網(wǎng)絡(luò)只不過(guò)是一個(gè)線性回歸模型。從數(shù)學(xué)上來(lái)看,非線性的Sigmoid函數(shù)對(duì)中央?yún)^(qū)的信號(hào)增益較大,對(duì)兩側(cè)區(qū)的信號(hào)增益小,在信號(hào)的特征空間映射上,有很好的效果,通過(guò)對(duì)加權(quán)的輸入進(jìn)行非線性組合產(chǎn)生非線性決策邊界.從神經(jīng)科學(xué)上來(lái)看,中央?yún)^(qū)酷似神經(jīng)元的興奮態(tài),兩側(cè)區(qū)酷似神經(jīng)元的抑制態(tài),因而在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方面,可以將重點(diǎn)特征推向中央?yún)^(qū),將非重點(diǎn)特征推向兩側(cè)區(qū).Sigmoid系（Logistic-Sigmoid、Tanh-Sigmoid）Relu函數(shù)計(jì)算簡(jiǎn)單,導(dǎo)數(shù)簡(jiǎn)單,收斂快,單側(cè)抑制,相對(duì)寬闊的興奮邊界,稀疏激活性；缺點(diǎn)在于在訓(xùn)練的時(shí)候,網(wǎng)絡(luò)很脆弱,很容易出現(xiàn)很多神經(jīng)元值為0,從而再也訓(xùn)練不動(dòng)。神經(jīng)元模型神經(jīng)元模型y=f(∑

n

i=1

w

i

x

i

?θ)

激活函數(shù)sigmoid函數(shù)的表達(dá)式和分布圖如下所示：數(shù)據(jù)歸一化歸一化就是把數(shù)據(jù)經(jīng)過(guò)處理后使之限定在一定的范圍內(nèi)。比如通常限制在區(qū)間[0,1]或者[-1,1]。本質(zhì)是一種線性變換。歸一化解決奇異樣本數(shù)據(jù)問(wèn)題，奇異樣本數(shù)據(jù)數(shù)據(jù)指的是相對(duì)于其他輸入樣本特別大或特別小的樣本矢量。歸一化的方法：最大-最小標(biāo)準(zhǔn)化是對(duì)原始數(shù)據(jù)進(jìn)行線性變換，設(shè)minA和maxA分別是屬性A的最小值和最大值，將A的一個(gè)原始值通過(guò)最大-最小標(biāo)準(zhǔn)化映射到區(qū)間[0,1]的值，公式:Z-score標(biāo)準(zhǔn)化是基于原始數(shù)據(jù)的均值和標(biāo)準(zhǔn)差進(jìn)行的數(shù)據(jù)標(biāo)準(zhǔn)化。將屬性A的原始數(shù)據(jù)X通過(guò)Z-score標(biāo)準(zhǔn)化成。Z-score標(biāo)準(zhǔn)化適用于屬性A的最大值或者最小值未知的情況，或有超出取值范圍的離散數(shù)據(jù)的情況，公式:梯度下降法想像你于伸手不見五指的黑夜身處一座地形復(fù)雜的山中。你看不清山的全貌，只能根據(jù)重力感知立足之處的坡度。如果想要下山，你該怎么做？你根據(jù)此處的重力感覺，向下坡最陡的方向邁一步。然后根據(jù)新位置的坡度，再向下坡最陡的方向邁出下一步。如果來(lái)到一個(gè)位置，你感覺已經(jīng)站在了平地上，再?zèng)]有下坡的方向，你也就無(wú)從邁出下一步了。此時(shí)你可能已經(jīng)成功到達(dá)海拔最低的山底，但也有可能身處半山腰處一塊平地或者一個(gè)盆地底部。梯度下降法相關(guān)概念仿射函數(shù)：仿射函數(shù)是線性函數(shù)。仿射函數(shù)的圖形是空間中一個(gè)平面函數(shù)可導(dǎo)：若函數(shù)在某一點(diǎn)可導(dǎo)，則函數(shù)在這一點(diǎn)附近可用一個(gè)仿射函數(shù)很好地近似。該仿射函數(shù)的圖形（平面），就是函數(shù)在這一點(diǎn)的切平面。梯度：函數(shù)在某一點(diǎn)的梯度是一個(gè)自變量空間內(nèi)的向量。自變量順著梯度方向變化時(shí)函數(shù)值上升得最快。梯度的模（長(zhǎng)度）是函數(shù)值上升的速率。梯度朝某方向投影的長(zhǎng)度是自變量順著該方向變化時(shí)函數(shù)值的變化率。梯度下降法人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練主要采用梯度下降法。其計(jì)算過(guò)程中采用誤差反向傳播的方式計(jì)算誤差函數(shù)對(duì)全部權(quán)值和偏置值的梯度。梯度下降法是一種基于函數(shù)一階性質(zhì)的優(yōu)化算法。該算法從任一點(diǎn)開始，沿該點(diǎn)梯度的反方向運(yùn)動(dòng)一段距離，再沿新位置的梯度反方向運(yùn)行一段距離......如此迭代。一直朝下坡最陡的方向運(yùn)動(dòng)，目標(biāo)是找到到函數(shù)的全局最小點(diǎn)。學(xué)習(xí)率η卷積(Conv)&協(xié)相關(guān)(Cross-correlation)BP反向傳播算法-反饋網(wǎng)絡(luò)誤差BP的基本思想是通過(guò)計(jì)算輸出層與期望值之間的誤差來(lái)調(diào)整網(wǎng)絡(luò)參數(shù)，從而使誤差變小。典型的三層神經(jīng)網(wǎng)絡(luò)的基本構(gòu)成，LayerL1是輸入層，LayerL2是隱含層，LayerL3是輸出層。BP反向傳播算法-前向計(jì)算神經(jīng)元h1的輸出o1:(此處用到激活函數(shù)為sigmoid函數(shù))：同理，可計(jì)算出神經(jīng)元h2的輸出o2：計(jì)算輸出層神經(jīng)元o1和o2的值：計(jì)算隱含層神經(jīng)元h1和h2的值：BP反向傳播算法-反向傳播總誤差：計(jì)算梯度：以權(quán)重參數(shù)w5為例，如果我們想知道w5對(duì)整體誤差產(chǎn)生了多少影響，可以用整體誤差對(duì)w5求偏導(dǎo)：（鏈?zhǔn)椒▌t）BP反向傳播計(jì)算過(guò)程計(jì)算：最后三者相乘：計(jì)算：計(jì)算：這樣我們就計(jì)算出整體誤差E(total)對(duì)w5的偏導(dǎo)值。更新權(quán)值：其中η是學(xué)習(xí)速率，這里我們?nèi)?.5BP反向傳播計(jì)算過(guò)程迭代更新權(quán)重：誤差反向傳播法就完成了，最后我們?cè)侔迅碌臋?quán)值重新計(jì)算，不停地迭代，直到誤差在要求的范圍內(nèi).cnn反向傳播計(jì)算過(guò)程本示例的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)是全連接形式的，如果進(jìn)行反向傳播，只需要由下一層對(duì)前一層不斷的求偏導(dǎo)，即求鏈?zhǔn)狡珜?dǎo)就可以求出每一層的誤差敏感項(xiàng)，然后求出權(quán)重和偏置項(xiàng)的梯度，即可更新權(quán)重。而卷積神經(jīng)網(wǎng)絡(luò)有兩個(gè)特殊的層：卷積層和池化層。池化層輸出時(shí)不需要經(jīng)過(guò)激活函數(shù)，是一個(gè)滑動(dòng)窗口的最大值，一個(gè)常數(shù)，那么它的偏導(dǎo)是1。池化層相當(dāng)于對(duì)上層圖片做了一個(gè)壓縮，這個(gè)反向求誤差敏感項(xiàng)時(shí)與傳統(tǒng)的反向傳播方式不同。從卷積后的feature_map反向傳播到前一層時(shí)，由于前向傳播時(shí)是通過(guò)卷積核做卷積運(yùn)算得到的feature_map，所以反向傳播與傳統(tǒng)的也不一樣，需要更新卷積核的參數(shù)。Cnn卷積層反向傳播計(jì)算第一個(gè)卷積層神經(jīng)元o11的輸入NetO11和輸出Out011:Neto11=conv(input,filter)

=i11×h11+i12×h12+i21×h21+i22×h22

=1×1+0×(?1)+1×1+1×(?1)=1Outo11=activators(neto11)=max(0,neto11)=1以卷積核filter1為例(stride=1)：例子：輸入是一個(gè)4*4的image，經(jīng)過(guò)兩個(gè)2*2的卷積核進(jìn)行卷積運(yùn)算后，變成兩個(gè)3*3的feature_mapCnn卷積層反向傳播同樣的方法，計(jì)算所有神經(jīng)元的輸入和輸出:(此處使用Relu激活函數(shù))Outo11=activators(neto11)=max(0,neto11)Outo12=max(0,neto12)Outo13=max(0,neto13)Outo21=max(0,neto21)Outo22=max(0,neto22)Outo23=max(0,neto23)Outo31=max(0,neto31)Outo32=max(0,neto32)Outo33=max(0,neto33)neto11=i11×h11+i12×h12+i21×h21+i22×h22neto12=i12×h11+i13×h12+i22×h21+i23×h22neto13=i13×h11+i14×h12+i23×h21+i24×h22neto21=i21×h11+i22×h12+i31×h21+i32×h22neto22=i22×h11+i23×h12+i32×h21+i33×h22neto23=i23×h11+i24×h12+i33×h21+i34×h22neto31=i31×h11+i32×h12+i41×h21+i42×h22neto32=i32×h11+i33×h12+i42×h21+i43×h22neto33=i33×h11+i34×h12+i43×h21+i44×h22示例：計(jì)算池化層的輸入和輸出：netm11=max(o11,o12,o21,o22)=1outm11=netm11=1Cnn卷積層反向傳播首先計(jì)算卷積的上一層的第一個(gè)元素i11的誤差項(xiàng)δ11：然后對(duì)輸入元素i(i,j)求偏導(dǎo)：同樣的方計(jì)算其他元素對(duì)誤差的偏導(dǎo)。Cnn卷積層反向傳播觀察一下上面幾個(gè)式子的規(guī)律，歸納一下，可以得到如下表達(dá)式：圖中的卷積核進(jìn)行了180°翻轉(zhuǎn)，與這一層的誤差敏感項(xiàng)矩陣Delta（i,j），周圍補(bǔ)零后的矩陣做卷積運(yùn)算后，就可以得到?E/?i11：Cnn卷積層反向傳播權(quán)重的梯度：偏置項(xiàng)的梯度：根據(jù)梯度即可修改權(quán)重。如何訓(xùn)練訓(xùn)練是一種有監(jiān)督學(xué)習(xí)。當(dāng)我們生下來(lái)的時(shí)候，我們的思想是空白的，不知道什么是鳥什么是狗。類似在CNN開始訓(xùn)練之前，權(quán)重值也是隨機(jī)初始化的，過(guò)濾器不知道提取哪些特征值。當(dāng)我們長(zhǎng)大一些的時(shí)候，父母和老師給我們看不同的圖片并且告訴我們這些圖片對(duì)應(yīng)的是什么。這種思想或者方法就是給圖片打標(biāo)簽，就是CNN訓(xùn)練的過(guò)程。大量的樣本數(shù)據(jù)：前向傳播損失函數(shù)反向傳播更新權(quán)重訓(xùn)練的方法單樣本訓(xùn)練（隨機(jī)梯度下降SGD）：在標(biāo)準(zhǔn)BP算法中，每輸入一個(gè)樣本，都要回傳誤差并調(diào)整權(quán)值，這種對(duì)每個(gè)樣本輪訓(xùn)的方法稱為單樣本訓(xùn)練。單樣本訓(xùn)練只針對(duì)每個(gè)樣本產(chǎn)生的誤差進(jìn)行調(diào)整，難免顧此失彼，使訓(xùn)練次數(shù)增加，導(dǎo)致收斂速度變慢。內(nèi)存占用少，振蕩、有遺忘問(wèn)題。批量訓(xùn)練（批量梯度下降BGD）：在所有樣本輸入后計(jì)算網(wǎng)絡(luò)的總誤差，再根據(jù)總誤差調(diào)整權(quán)值，這種累積誤差的批量處理方式稱為“批訓(xùn)練”或“周期訓(xùn)練”。易于并行訓(xùn)練，樣本量大的時(shí)候內(nèi)存占用多，訓(xùn)練速度變慢。小批量訓(xùn)練：“小批量梯度下降訓(xùn)練法”是單樣本和批量訓(xùn)練的折中辦法，每次用小批量樣本進(jìn)行更新學(xué)習(xí)。訓(xùn)練相關(guān)概念三種梯度下降法法的對(duì)比：下圖是梯度下降的變種方法以及它們朝向最小值的方向走勢(shì)，如圖所示，與小批量版本相比，SGD的方向噪聲很大。神經(jīng)網(wǎng)絡(luò)的本質(zhì)是什么？神經(jīng)網(wǎng)絡(luò)本質(zhì)是通過(guò)參數(shù)與激活函數(shù)來(lái)擬合特征與目標(biāo)之間的真實(shí)函數(shù)關(guān)系。實(shí)現(xiàn)一個(gè)神經(jīng)網(wǎng)絡(luò)最重要的是線性代數(shù)庫(kù)。樣本的空間分布左側(cè)是原始輸入空間下的分類圖，右側(cè)是轉(zhuǎn)換后的高維空間下的扭曲圖四.應(yīng)用篇AI的應(yīng)用場(chǎng)景和案例