深度學(xué)習(xí)算法原理——神經(jīng)網(wǎng)絡(luò)的基本原理

1、豁層輸出層深度學(xué)習(xí)算法原理候候神經(jīng)網(wǎng)絡(luò)的基本原理相信每位剛接觸神經(jīng)網(wǎng)絡(luò)的時候都會先碰到BP算法的問題，如何形象快速地理解BP神經(jīng)網(wǎng)絡(luò)就是我們學(xué)習(xí)的高級樂趣了（畫外音：樂趣？你在跟我談樂趣？）本篇博文就是要簡單粗暴地幫助各位童鞋快速入門采取BP算法的神經(jīng)網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)是怎樣的一種定義？看這句話：一種按“誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練”的多層前饋網(wǎng)絡(luò)。BP的思想就是：利用輸出后的誤差來估計輸出層前一層的誤差，再用這層誤差來估計更前一層誤差，如此獲取所有各層誤差估計。這里的誤差估計可以理解為某種偏導(dǎo)數(shù)，我們就是根據(jù)這種偏導(dǎo)數(shù)來調(diào)整各層的連接權(quán)值，再用調(diào)整后的連接權(quán)值重新計算輸出誤差。直到輸出的誤差達(dá)到符合的

2、要求或者迭代次數(shù)溢出設(shè)定值。說來說去，“誤差”這個詞說的很多嘛，說明這個算法是不是跟誤差有很大的關(guān)系？沒錯，BP的傳播對象就是“誤差”，傳播目的就是得到所有層的估計誤差。它的學(xué)習(xí)規(guī)則是：使用最速下降法，通過反向傳播（就是一層一層往前傳）不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，最后使全局誤差系數(shù)最小。它的學(xué)習(xí)本質(zhì)就是：對各連接權(quán)值的動態(tài)調(diào)整。uthide拓?fù)浣Y(jié)BP網(wǎng)絡(luò)的優(yōu)勢就是能學(xué)習(xí)和儲存大量的輸入輸出的關(guān)系，而不用事先指出這種數(shù)學(xué)關(guān)系。那么它是如何學(xué)習(xí)的？BP利用處處可導(dǎo)的激活函數(shù)來描述該層輸入與該層輸出的關(guān)系，常用S型函數(shù)d來當(dāng)作激活函數(shù)。我們現(xiàn)在開始有監(jiān)督的BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法:1、正向傳播得到輸出層誤差e=輸入層輸入樣本=各隱藏層=輸出層2、判斷是否反向傳播=若輸出層誤差與期望不符=反向傳播3、誤差反向傳播=誤差在各層顯示=修正各層單元的權(quán)值，直到誤差減少到可接受程度。算法闡述起來比較簡單，接下來通過數(shù)學(xué)公式來認(rèn)識BP的真實面目。假設(shè)我們的網(wǎng)絡(luò)結(jié)構(gòu)是一個含有N個神經(jīng)元的輸入層，含有P個神經(jīng)元的隱層，含有Q個神經(jīng)元的輸出層。XiW1U1f(j)wl+1ul+1這些變量分別如下：隱含層輸入向量；A隱含層輸出向量；加=（隔川如，叫）A輸出層輸加向量“竽蟲珂州咖“?。〢輸出層輸出向量；=（珅26,嚴(yán)j*曲諛関山占縣.r!rA認(rèn)識好以上變量后，開始計算：輸入層與中間層的連接權(quán)值：