鄭州大學-機器學習 循環(huán)神經網絡5

循環(huán)神經網絡循環(huán)神經網絡的介紹為什么有了神經網絡還需要有循環(huán)神經網絡？在普通的神經網絡中，信息的傳遞是單向的，這種限制雖然使得網絡變得更容易學習，但在一定程度上也減弱了神經網絡模型的能力。特別是在很多現實任務中，網絡的輸出不僅和當前時刻的輸入有關也和過去一段時間的輸出相關。此外，普通網絡難以處理時序數據，比如視頻，語音，文本等，時序數據的長度一般是不固定的。例如，在說話時當前要說的詞和之前已經說出去的詞存在關系，依賴于上下文語境。前饋神經網絡要求輸入和輸出的維數都是固定的，不能任意改變。因此，當處理這一類和時序相關的問題時，就需要一種能力更強的模型。循環(huán)神經網絡是一類具有短期記憶能力的神經網絡。在循環(huán)神經網絡中，神經元不但可以接受其他神經元的信息，也可以接受自身的信息，形成具有環(huán)路的網絡結構。換句話說：神經元的輸出可以在下一個時間步直接作用到自身（作為輸入）

tanh函數輸出層

一個簡單的例子深層網絡網格的訓練

一個簡單的例子

隱含層31完整的算法把這個例子推廣到一般情況，得到通用的BPTT算法。只有一個循環(huán)層和一個輸出層的循環(huán)神經網絡正向傳播時的變換為

類比前饋型神經網絡，通過后一刻的誤差項來計算當前時刻的誤差項。遞推的終點是最后一刻的誤差：

長短期記憶模型

LSTM的計算思路如下：輸入門作用于當前時刻的輸出值，遺忘門作用于之前的記憶值，二者加權和，得到匯總信息；最后通過輸出門決定輸出值。如果將LSTM在各個時刻的輸出值進行展開，會發(fā)現其中有一部分最早時刻的輸入值避免了與權重矩陣的累次乘法，這是LSTM能夠緩解梯度消失問題的主要原因。記憶細胞：在LSTM的每個時間步里面，都有一個記憶細胞，這個東西給予了LSTM選擇記憶功能，使得LSTM有能力自由選擇每個時間步里面的記憶。門控循環(huán)單元GRU和LSTM的區(qū)別1.這兩種模型在許多任務中都不相上下，因此，與挑選出一個理想的架構相比，調整層數這些超參數等更重要。2.GRU的參數較少，因此其訓練速度更快，或需要歸納的數據更少。相對應的，如果有足夠的訓練數據，表達能力更強的LSTM或許效果更佳3.相比較于LSTM，GRU能降低過擬合風險。雙向網絡對于有些問題，當前時刻的輸出不僅與過去時刻的數據有關，還與將來時刻的數據有關，如機器翻譯問題。于是設計了雙向循環(huán)神經網絡，它用兩個不同的循環(huán)層分別從正向和反向對數據進行掃描。正向傳播的流程如下：

序列預測問題1.序列標注問題序列標注問題指將一個序列數據映射成離散標簽值序列的任務，其本質是根據上下文信息對序列每個時刻的輸入值進行預測。對于語音識別問題，輸入數據是語音信號序列，輸出是離散的文字序列；對于機器翻譯問題，輸入是一種語言的語句，即單詞序列，輸出是另一種語言的單詞序列；對于詞性標注問題，輸入是一句話的單詞序列，輸出是每個單詞的詞性，如名詞，動詞。與普通的模式分類問題相比，序列標注問題最顯著的區(qū)別是輸入序列數據的數據點之間存在相關性。它有個困難之處在于輸入序列和輸出序列之間的對齊關系是未知的，以語音識別問題為例，語音信號哪個時間段的數據對應哪個單詞的對應關系在進行識別之前并不知道，我們不清楚一個單詞在語音信號中的起始時刻和終止時刻。循環(huán)神經網絡因為具有記憶功能，特別適合序列標注任務。循環(huán)神經網絡在處理序列標注任務問題所面臨的問題：1.標準的循環(huán)神經網絡是單向的，但有些問題不僅需要序列過去時刻的信息，還需要未來時刻的信息。2.循環(huán)神經網絡的輸出序列和輸入序列之間要對齊，即每一個時刻的輸出值與輸入值對應，而有些問題中輸入序列和輸出序列的對應關系是未知的。連續(xù)主義時序分類

2.前綴搜索解碼：通過使用前向后向算法，逐步地擴展輸出的標簽序列得到最優(yōu)解。網絡訓練的目標是最大化訓練樣本集的似然概率，解決計算條件概率麻煩性的思路是動態(tài)規(guī)劃。對一個標簽序列對應的所有路徑進行求和可以分解為迭代地對這個路徑的前綴對應的路徑進行求和序列到序列的學習對有些問題，輸入序列的長度和輸出序列不一定相等，而且我們事先并不知道輸出序列的長度，例如，語音識別和機器翻譯。序列到序列的學習是用循環(huán)神經網絡構建的一種框架，