反向傳播算法課件

Addupeverythingwhatyoulikeandeverythingwhatyouwant夢想，要比昨天走的更遠神經(jīng)網(wǎng)絡與深度學習目錄/contents使用矩陣快速計算輸出的方法關于代價函數(shù)的兩個假設反向傳播的四個基本方程及證明反向傳播算法反向傳播算法為什么要提出反向傳播算法？在反向傳播算法提出之前人們應該想到了使用SGD學習模型，也想到了一些辦法求解網(wǎng)絡模型的偏導數(shù)，但這些算法求解效率比較低，所以提出反向傳播算法來更高效的計算偏導數(shù)。反向傳播算法最初在1970年代被提及，但是人們直到DavidRumelhart,GeoffreyHinton和RonaldWiliams的著名的1986年的論文中才認識到這個算法的重要性。這使得使用神經(jīng)網(wǎng)絡來解決之前無法完成的問題變得可行?，F(xiàn)在，反向傳播算法已經(jīng)是神經(jīng)網(wǎng)絡學習的重要組成部分了。偏置和激活值（23）（對比上一章公式（4))最后我們引入向量化函數(shù)來按照矩陣形式重寫公式如果我們的作用函數(shù)是，那么向量化的f函數(shù)作用就起到下面的效果了解這些，方程就可以表示為下式（24）（25）在使用方程（25）的過程中，我們計算了中間量，這個量其實是非常有用的：我們稱關于代價函數(shù)的兩個假設第一個假設就是代價函數(shù)可以被寫成在沒個訓練樣本x的代價函數(shù)第二個假設就是代價可以寫成神經(jīng)網(wǎng)絡輸出的函數(shù)例如二次代價函數(shù)滿足這個要求，則對于一個單獨訓練樣本x的二次代價函數(shù)寫作(26)(27)反向傳播的四個基本方程及證明我們定義l層的第j個神經(jīng)元上的誤差（29）通過組合（BP1）和（BP2），我們可以計算任何層的誤差。首先使用(BP1)計算，然后用方程（BP2）來計算，然后再次用方程（BP2）來計算，如此一步一步地反向傳播整個網(wǎng)路。代價函數(shù)關于網(wǎng)絡中任意偏置的改變率：（BP3）這其實是，誤差和偏導數(shù)完全一致。這是很好的性質(zhì)，因為（BP1）和（BP2）已經(jīng)告訴我們?nèi)绾斡嬎恪Ｋ跃蛯ⅲ˙P3）簡記為：總結一下，我們已經(jīng)學到，如果輸入神經(jīng)元激活值很低，或者輸出神經(jīng)元已經(jīng)飽和了（過高或者過低的激活值），權重會學習緩慢。反向傳播算法：反向傳播方程給出了一種計算代價函數(shù)的方法。讓我們顯示的用算法描述出來。檢視這個算法，你可以看到為何它被稱作反向傳播。我們從最后一層開始向后計算誤差向量。這看起來有點奇怪，為何要從后面開始。但是如果你認真思考反向傳播的證明，這種反向移動其實是代價函數(shù)是網(wǎng)絡輸出函數(shù)的結果。為了理解代價隨前面層的權重和偏置變化的規(guī)律，我們需要重復作用鏈式法則，反向地獲得需要的表達式?？偨Y反向傳播的核心是一個對代價函數(shù)C關于任何權重w（或者偏置b）的偏導數(shù)的表達式。這個表達式告訴我們在改變權重和偏置時，代價函數(shù)變化的快慢。反向傳播的大體思路就是找到一個中間變量，通過鏈式法則來求解誤差對參數(shù)的偏導數(shù)。感謝各位聆聽Addupeverythi