RNN+LSTM學(xué)習(xí)資料.ppt

做預(yù)測不只依賴于input， 還依賴于之前的一部分信息，會把它存在memory,變更的只是輸入或者memory,自然語言處理任務(wù)中，輸入和輸出之間不獨立,有些任務(wù)用人工神經(jīng)網(wǎng)絡(luò)、CNN解決不了,RNN的結(jié)構(gòu),為了體現(xiàn)RNN的循環(huán)性，可以將多層fold起來， 每個部分看做一個cell，處理過程一模一樣，,我,是,中國,人,背景：要完成一個任務(wù)(Language model)：一句話知道出現(xiàn)的若干個詞情況下，出現(xiàn)下一個詞會出現(xiàn)什么。 （有一個序列，在這個序列前n個element知道情況下去推斷下一個element）,是,中國,人,序列在當(dāng)前step的輸入,矩陣St維度 容量有限，,文本分類，在當(dāng)前任何部分都可以做總結(jié)，輸出結(jié)果，但是不一定準(zhǔn)確。任務(wù)是需要看完整個文本給出一個結(jié)果。,兩個memory做拼接,不一樣的W和V讓它捕捉更多信息,Deep：五年級的知識變難了，一周內(nèi)掌握不了 多思考一下,T-1 T T+1 T+2,數(shù)列 三角函數(shù) 解析幾何 排列組合,做完三輪復(fù)習(xí)的知識解這道題,同一章前一輪復(fù)習(xí) 同一輪復(fù)習(xí)前一章,BPTT(BackPropagation Through Time) 基于時間的反向傳播（調(diào)參）,Softmax的分類器 預(yù)測4W個詞中的哪一個,每一個時間點都有一個輸出 每個輸出都可以去計算loss,完成整個句子預(yù)測：沿著時間軸把每個位置的 loss加在一起,梯度下降，使loss值最小 要求我們?nèi)デ髄ossfunction對于W的偏導(dǎo),交叉熵?fù)p失 cross entropy loss,求偏導(dǎo)的過程在這一層完成不了，必須用BPTT，不能用BP,BPTT：沿著時間軸往前追溯,我們的目標(biāo)是計算誤差關(guān)于參數(shù)U、V和W的梯度，然后使用梯度下降法學(xué)習(xí)出好的參數(shù)。,Softmax的分類器 預(yù)測4W個詞中的哪一個,交叉熵?fù)p失 cross entropy loss,t時刻上正確的詞,預(yù)測出來的詞,RNN與圖像描述,AlexNet 來抽取特征,做一次前向運算 抽取4096*1的特征,4096*1的特征向量,文本輸入 記憶 圖片信息,只在第一步做，后面的每次更新都不再看圖片了,最后一次循環(huán)輸出end token,RNN可以被訓(xùn)練來，通過前面的單詞來預(yù)測接下來的單詞。 實際上，相關(guān)信息和需要該信息的位置之間的距離可能非常的遠(yuǎn)。 不幸的是，隨著距離的增大，RNN對于如何將這樣的信息連接起來無能為力。,非線性處理模塊,逐點運算,信息傳播方向,信息拼接,信息復(fù)制,T-1時刻的記憶到現(xiàn)在的記憶 在傳送帶上往前傳 發(fā)生信息的交互 可以取東西 也可以放東西上去,Cell State,做記憶的變更：要把這部分記憶存下去,LSTM的幾個關(guān)鍵“門”與操作,上一個時刻的輸出,現(xiàn)在的輸入,以多大概率去丟掉信息,LSTM的幾個關(guān)鍵“門”與操作,(產(chǎn)生一個概率值，以多少值去更新信息) 用it對Ct做過濾，哪一部分知識能夠補充到我之前的知識體系中,Ct:六年級這一年學(xué)到了什么,LSTM的幾個關(guān)鍵“門”與操作,通過率 舊的記憶,篩選器 新的知識,LSTM的幾個關(guān)鍵“門”與操作,小學(xué)全六年知識,從前六年的知識中篩出來解決當(dāng)前題目的知識,P(0,1),解決完了給出答案,LSTM的變種,啟發(fā)式的，沒有嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)推導(dǎo),窺視孔連接,LSTM的變種,忘記了0.3的信息 補充0.7的信息,只遺忘那些有新元素來填充的元素,LSTM的變種：GRU只有兩個門，分別為更新門和重置門，即圖中的zt和rt 更新門用于控制前一時刻的狀態(tài)信息被帶入到當(dāng)前狀態(tài)中的程度，更新門的值越大說明前一時刻的狀態(tài)信息帶入越少。重置門用于控制忽略前一時刻的狀態(tài)信息的程度，重置門的值越小說明忽略得越多。,ht：忘記傳遞下來的ht-1中的某些維度信息，并加入當(dāng)前節(jié)點輸入的某些維度信息,更新記憶,h主要包含了當(dāng)前輸入的xt 數(shù)據(jù)。把h 添加到當(dāng)前的隱藏狀態(tài)，相當(dāng)于“記憶了當(dāng)前時刻的狀態(tài)”，類似于LSTM的選擇記憶階段。,LSTM的變種：SRU去掉了前后時刻輸出ht計算的依賴，可以將多個時刻計算并行。 SRU 實現(xiàn)相比于簡單的 LSTM 實現(xiàn)可快 5 倍。,SRU評估 ,RNN生成模型仿照維基百科,RNN生成模型仿照維基百科,合成音樂,End-to-End Sentence-level Lipreading,encoder