深度學(xué)習(xí)及自動駕駛應(yīng)用 課件 第7章 循環(huán)神經(jīng)網(wǎng)絡(luò)及自動駕駛車輛換道行為預(yù)測

Chapter7循環(huán)神經(jīng)網(wǎng)絡(luò)及自動駕駛車輛換道行為預(yù)測第七章DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第2頁7.4擴展到圖結(jié)構(gòu)7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述7.3深層模型7.2應(yīng)用到機器學(xué)習(xí)7.5循環(huán)網(wǎng)絡(luò)應(yīng)用目錄ContentDeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第3頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述前饋網(wǎng)絡(luò)：連接存在層與層之間，每層的節(jié)點之間是無連接的。（無循環(huán)）輸入和輸出的維數(shù)都是固定的，不能任意改變。無法處理變長的序列數(shù)據(jù)DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第4頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述前饋網(wǎng)絡(luò)：假設(shè)每次輸入都是獨立的，也就是說每次網(wǎng)絡(luò)的輸出只依賴于當(dāng)前的輸入。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第5頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述有限狀態(tài)自動機（FiniteAutomata）如何用FNN去模擬一個有限狀態(tài)自動機？DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第6頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述圖靈機一種抽象數(shù)學(xué)模型，可以用來模擬任何可計算問題。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第7頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述可計算問題可計算問題函數(shù)

有限狀態(tài)機圖靈機前饋網(wǎng)絡(luò)需要記憶能力通用近似定理如何給網(wǎng)絡(luò)增加記憶能力？DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第8頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述如何給網(wǎng)絡(luò)增加記憶能力？延時神經(jīng)網(wǎng)絡(luò)（TimeDelayNeuralNetwork，TDNN）建立一個額外的延時單元，用來存儲網(wǎng)絡(luò)的歷史信息（可以包括輸入、輸出、隱狀態(tài)等）這樣，前饋網(wǎng)絡(luò)就具有了短期記憶的能力。/publication/12314435_Neural_system_identification_model_of_human_sound_localizationDeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第9頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述如何給網(wǎng)絡(luò)增加記憶能力？/publication/12314435_Neural_system_identification_model_of_human_sound_localization

DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第10頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述非線性自回歸模型/publication/12314435_Neural_system_identification_model_of_human_sound_localization/publication/234052442_Braking_torque_control_using_reccurent_neural_networksDeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第11頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork，RNN）/publication/12314435_Neural_system_identification_model_of_human_sound_localization循環(huán)神經(jīng)網(wǎng)絡(luò)通過使用帶自反饋的神經(jīng)元，能夠處理任意長度的時序數(shù)據(jù)。循環(huán)神經(jīng)網(wǎng)絡(luò)比前饋神經(jīng)網(wǎng)絡(luò)更加符合生物神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。循環(huán)神經(jīng)網(wǎng)絡(luò)已經(jīng)被廣泛應(yīng)用在語音識別、語言模型以及自然語言生成等任務(wù)上活性值狀態(tài)第12頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork，RNN）按時間展開第13頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述簡單循環(huán)網(wǎng)絡(luò)（SimpleRecurrentNetwork，SRN）狀態(tài)更新：一個完全連接的循環(huán)網(wǎng)絡(luò)是任何非線性動力系統(tǒng)的近似器。第14頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述循環(huán)神經(jīng)網(wǎng)絡(luò)作用輸入-輸出映射機器學(xué)習(xí)模型（本節(jié)主要關(guān)注這種情況）存儲器聯(lián)想記憶模型第15頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述循環(huán)神經(jīng)網(wǎng)絡(luò)作用輸入-輸出映射機器學(xué)習(xí)模型（本節(jié)主要關(guān)注這種情況）存儲器聯(lián)想記憶模型DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第16頁7.4擴展到圖結(jié)構(gòu)7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述7.3深層模型7.2應(yīng)用到機器學(xué)習(xí)7.5循環(huán)網(wǎng)絡(luò)應(yīng)用目錄Content第17頁7.2應(yīng)用到機器學(xué)習(xí)序列到類別同步的序列到序列模式異步的序列到序列模式第18頁7.2應(yīng)用到機器學(xué)習(xí)序列到類別第19頁7.2應(yīng)用到機器學(xué)習(xí)序列到類別：情感分類…我覺太得好了帶著愉悅的心情看了這部電影這部電影太糟了這部電影很棒Positive(正面)Negative(負(fù)面)Positive(正面)…第20頁7.2應(yīng)用到機器學(xué)習(xí)同步的序列到序列模式第21頁7.2應(yīng)用到機器學(xué)習(xí)同步的序列到序列模式：中文分詞他說實的在理確SSESBEB第22頁7.2應(yīng)用到機器學(xué)習(xí)同步的序列到序列模式：信息抽取(InformationExtraction，IE)從無結(jié)構(gòu)的文本中抽取結(jié)構(gòu)化的信息，形成知識小米創(chuàng)始人雷軍表示，該公司2015年營收達到780億元人民幣，較2014年的743億元人民幣增長了5%。第23頁7.2應(yīng)用到機器學(xué)習(xí)同步的序列到序列模式：信息抽取(InformationExtraction，IE)ConnectionistTemporalClassification

(CTC)[AlexGraves,ICML’06][AlexGraves,ICML’14][Ha?imSak,Interspeech’15][JieLi,Interspeech’15][AndrewSenior,ASRU’15]好φφ棒φφφφ好φφ棒φ棒φφ“好棒”“好棒棒”語音識別第24頁7.2應(yīng)用到機器學(xué)習(xí)異步的序列到序列模式第25頁7.2應(yīng)用到機器學(xué)習(xí)異步的序列到序列模式：機器翻譯learningmachine機習(xí)器學(xué)。第26頁7.2應(yīng)用到機器學(xué)習(xí)參數(shù)學(xué)習(xí)機器學(xué)習(xí)給定一個訓(xùn)練樣本(x,y)，其中x=(x1,…,xT)為長度是T的輸入序列，y=(y1,…,yT)是長度為T的標(biāo)簽序列。時刻t的瞬時損失函數(shù)為總損失函數(shù)第27頁7.2應(yīng)用到機器學(xué)習(xí)梯度隨時間反向傳播算法

δt,k為第t時刻的損失對第k步隱藏神經(jīng)元的凈輸入zk的導(dǎo)數(shù)第28頁7.2應(yīng)用到機器學(xué)習(xí)梯度消失/爆炸梯度其中由于梯度爆炸或消失問題，實際上只能學(xué)習(xí)到短周期的依賴關(guān)系。這就是所謂的長程依賴問題。第29頁7.2應(yīng)用到機器學(xué)習(xí)長程依賴問題循環(huán)神經(jīng)網(wǎng)絡(luò)在時間維度上非常深！梯度消失或梯度爆炸如何改進？梯度爆炸問題權(quán)重衰減梯度截斷梯度消失問題改進模型第30頁7.2應(yīng)用到機器學(xué)習(xí)長程依賴問題改進方法循環(huán)邊改為線性依賴關(guān)系增加非線性殘差網(wǎng)絡(luò)？第31頁7.2應(yīng)用到機器學(xué)習(xí)長短期記憶神經(jīng)網(wǎng)絡(luò)（LongShort-TermMemory,LSTM）第32頁7.2應(yīng)用到機器學(xué)習(xí)LSTM的各種變體沒有遺忘門耦合輸入門和遺忘門peephole連接第33頁7.2應(yīng)用到機器學(xué)習(xí)GatedRecurrentUnit,GRU更新門重置門DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第34頁7.4擴展到圖結(jié)構(gòu)7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述7.3深層模型7.2應(yīng)用到機器學(xué)習(xí)7.5循環(huán)網(wǎng)絡(luò)應(yīng)用目錄Content7.3深層學(xué)習(xí)堆疊循環(huán)神經(jīng)網(wǎng)絡(luò)7.3深層學(xué)習(xí)雙向循環(huán)神經(jīng)網(wǎng)絡(luò)DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第37頁7.4擴展到圖結(jié)構(gòu)7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述7.3深層模型7.2應(yīng)用到機器學(xué)習(xí)7.5循環(huán)網(wǎng)絡(luò)應(yīng)用目錄Content7.4擴展到圖結(jié)構(gòu)序列循環(huán)神經(jīng)網(wǎng)絡(luò)樹遞歸神經(jīng)網(wǎng)絡(luò)圖圖網(wǎng)絡(luò)7.4擴展到圖結(jié)構(gòu)樹結(jié)構(gòu)程序語言的句法結(jié)構(gòu)7.4擴展到圖結(jié)構(gòu)樹結(jié)構(gòu)自然語言的句法結(jié)構(gòu)7.4擴展到圖結(jié)構(gòu)遞歸神經(jīng)網(wǎng)絡(luò)RecursiveNeuralNetwork遞歸神經(jīng)網(wǎng)絡(luò)實在一個有向圖無循環(huán)圖上共享一個組合函數(shù)7.4擴展到圖結(jié)構(gòu)遞歸神經(jīng)網(wǎng)絡(luò)RecursiveNeuralNetwork退化為循環(huán)神經(jīng)網(wǎng)絡(luò)7.4擴展到圖結(jié)構(gòu)遞歸神經(jīng)網(wǎng)絡(luò)RecursiveNeuralNetwork給定一個語法樹，p2

→ap1,p1

→bc.7.4擴展到圖結(jié)構(gòu)圖網(wǎng)絡(luò)在實際應(yīng)用中，很多數(shù)據(jù)是圖結(jié)構(gòu)的，比如知識圖譜、社交網(wǎng)絡(luò)、分子網(wǎng)絡(luò)等。而前饋網(wǎng)絡(luò)和循環(huán)網(wǎng)絡(luò)很難處理圖結(jié)構(gòu)的數(shù)據(jù)。7.4擴展到圖結(jié)構(gòu)圖數(shù)據(jù)/pdf/1806.01261.pdf7.4擴展到圖結(jié)構(gòu)圖網(wǎng)絡(luò)7.4擴展到圖結(jié)構(gòu)圖網(wǎng)絡(luò)7.4擴展到圖結(jié)構(gòu)圖網(wǎng)絡(luò)對于一個任意的圖結(jié)構(gòu)G(V,E)更新函數(shù)讀出函數(shù)DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第49頁7.4擴展到圖結(jié)構(gòu)7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述7.3深層模型7.2應(yīng)用到機器學(xué)習(xí)7.5循環(huán)網(wǎng)絡(luò)應(yīng)用目錄Content7.5循環(huán)網(wǎng)絡(luò)應(yīng)用語言模型

N元語言模型7.5循環(huán)網(wǎng)絡(luò)應(yīng)用語言模型7.5循環(huán)網(wǎng)絡(luò)應(yīng)用生成LINUX內(nèi)核代碼7.5循環(huán)網(wǎng)絡(luò)應(yīng)用作詞機RNN在“學(xué)習(xí)”過汪峰全部作品后自動生成的歌詞/phunterlau/wangfeng-rnn我在這里中的夜里就像一場是一種生命的意旪就像我的生活變得在我一樣可我們這是一個知道我只是一天你會怎嗎可我們這是我們的是不要為你我們想這有一種生活的時候7.5循環(huán)網(wǎng)絡(luò)應(yīng)用作詩7.5循環(huán)網(wǎng)絡(luò)應(yīng)用傳統(tǒng)統(tǒng)計機器翻譯

7.5循環(huán)網(wǎng)絡(luò)應(yīng)用基于序列到序列的機器翻譯一個RNN用來編碼另一個RNN用來解碼7.5循環(huán)網(wǎng)絡(luò)應(yīng)用看圖說話7.5循環(huán)網(wǎng)絡(luò)應(yīng)用看圖說話7.5循環(huán)網(wǎng)絡(luò)應(yīng)用VisualQuestionAnswering(VQA)

DemoWebsiteVQA:Givenanimageandanaturallanguagequestionabouttheimage,thetaskistoprovideanaccuratenaturallanguageanswerPicturefrom(Antoletal.,2015)7.5循環(huán)網(wǎng)絡(luò)應(yīng)用