神經(jīng)機(jī)器翻譯前沿進(jìn)展課件

神經(jīng)機(jī)器翻譯前沿進(jìn)展神經(jīng)機(jī)器翻譯前沿進(jìn)展機(jī)器翻譯目標(biāo)：利用計算機(jī)實(shí)現(xiàn)自然語言的自動翻譯2布什與沙龍舉行了會談BushheldatalkwithSharon機(jī)器翻譯目標(biāo)：利用計算機(jī)實(shí)現(xiàn)自然語言的自動翻譯2布什與沙龍舉發(fā)展歷史趨勢：讓機(jī)器更“自主”地學(xué)習(xí)如何翻譯3規(guī)則機(jī)器翻譯統(tǒng)計機(jī)器翻譯神經(jīng)機(jī)器翻譯198019902013數(shù)據(jù)驅(qū)動機(jī)器翻譯1990發(fā)展歷史趨勢：讓機(jī)器更“自主”地學(xué)習(xí)如何翻譯3規(guī)則統(tǒng)計神經(jīng)1數(shù)據(jù)驅(qū)動的機(jī)器翻譯核心問題：如何為翻譯過程建立概率模型？4布什與沙龍舉行了會談BushheldatalkwithSharon數(shù)據(jù)驅(qū)動的機(jī)器翻譯核心問題：如何為翻譯過程建立概率模型？4布統(tǒng)計機(jī)器翻譯隱變量對數(shù)線性模型：在隱式語言結(jié)構(gòu)上設(shè)計特征5布什與沙龍舉行了會談BushheldatalkwithSharon(OchandNey,2002)統(tǒng)計機(jī)器翻譯隱變量對數(shù)線性模型：在隱式語言結(jié)構(gòu)上設(shè)計特征5布基于短語的統(tǒng)計機(jī)器翻譯短語翻譯模型：以隱結(jié)構(gòu)短語為基本翻譯單元6布什與沙龍舉行了會談布什與沙龍舉行了會談BushwithSharonheldatalkBushwithSharonheldatalkBushheldatalkwithSharon(Koehnetal.,2003)基于短語的統(tǒng)計機(jī)器翻譯短語翻譯模型：以隱結(jié)構(gòu)短語為基本翻譯單統(tǒng)計機(jī)器翻譯的優(yōu)缺點(diǎn)優(yōu)點(diǎn)隱結(jié)構(gòu)可解釋性高利用局部特征和動態(tài)規(guī)劃處理指數(shù)級結(jié)構(gòu)空間缺點(diǎn)線性模型難以處理高維空間中線性不可分的情況需要人類專家設(shè)計隱式結(jié)構(gòu)及相應(yīng)的翻譯過程需要人類專家設(shè)計特征離散表示帶來嚴(yán)重的數(shù)據(jù)稀疏問題難以處理長距離依賴7統(tǒng)計機(jī)器翻譯的優(yōu)缺點(diǎn)優(yōu)點(diǎn)7難點(diǎn)：長距離調(diào)序8BushPresidentheldatalkwithIsraeliPrimeMinisterSharonattheWhiteHouse如何用上述詞語拼成合理的譯文？難點(diǎn)：長距離調(diào)序8BushPresidentheldatal統(tǒng)計機(jī)器翻譯示例9統(tǒng)計機(jī)器翻譯示例9深度學(xué)習(xí)帶來新思路10YannLeCunYoshuaBengioGeoffreyHinton(LeCunetal,2015)深度學(xué)習(xí)帶來新思路10YannLeCunYoshuaBe機(jī)器翻譯方法對比11英國愛丁堡大學(xué)在WMT英德評測數(shù)據(jù)上的BLEU值。NMT2015年結(jié)果來自蒙特利爾大學(xué)。來源：RicoSennrich報告和斯坦福ACL2016Tutorial。機(jī)器翻譯方法對比11英國愛丁堡大學(xué)在WMT英德評測數(shù)據(jù)上的B神經(jīng)機(jī)器翻譯利用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)自然語言的映射12布什與沙龍舉行了會談BushheldatalkwithSharon(Sutskeveretal,2014)神經(jīng)機(jī)器翻譯利用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)自然語言的映射12布什與沙龍舉行編碼器-解碼器框架利用遞歸神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)源語言的編碼和目標(biāo)語言的解碼13布什與沙龍舉行了會談</s>BushheldatalkwithSharon</s>(Sutskeveretal.,2014)編碼器-解碼器框架利用遞歸神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)源語言的編碼和目標(biāo)語言遞歸神經(jīng)網(wǎng)絡(luò)的優(yōu)缺點(diǎn)優(yōu)點(diǎn)適合處理變長線性序列理論上能夠利用無限長的歷史信息缺點(diǎn)“梯度消失”或“梯度爆炸”14(Pascanuetal.,2013)遞歸神經(jīng)網(wǎng)絡(luò)的優(yōu)缺點(diǎn)優(yōu)點(diǎn)14(Pascanuetal.,長短時記憶通過門閥技術(shù)緩解“梯度消失”和“梯度爆炸”15(Hochreiter

andSchmidhuber,1997)長短時記憶通過門閥技術(shù)緩解“梯度消失”和“梯度爆炸”15(H神經(jīng)網(wǎng)絡(luò)學(xué)到了什么？16(Sutskeveretal.,2014)神經(jīng)網(wǎng)絡(luò)學(xué)到了什么？16(Sutskeveretal.,編碼器-解碼器架構(gòu)的優(yōu)缺點(diǎn)優(yōu)點(diǎn)：利用長短時記憶處理長距離依賴缺點(diǎn)：任意長度的句子都編碼為固定維度的向量17(Sutskeveretal.,2014)編碼器-解碼器架構(gòu)的優(yōu)缺點(diǎn)優(yōu)點(diǎn)：利用長短時記憶處理長距離依賴基于注意力的神經(jīng)機(jī)器翻譯利用注意力機(jī)制動態(tài)計算源語言端相關(guān)上下文18(Bahdanauetal.,2015)布什與沙龍舉行了會談</s>BushheldatalkwithSharon</s>基于注意力的神經(jīng)機(jī)器翻譯利用注意力機(jī)制動態(tài)計算源語言端相關(guān)上注意力思想：集中關(guān)注影響當(dāng)前詞的上下文19(Chengetal.,2016a)注意力思想：集中關(guān)注影響當(dāng)前詞的上下文19(Chenget神經(jīng)機(jī)器翻譯中的注意力源語言詞語目標(biāo)語言詞的關(guān)聯(lián)強(qiáng)度20(Bahdanauetal.,2015;Chengetal.,2016b)神經(jīng)機(jī)器翻譯中的注意力源語言詞語目標(biāo)語言詞的關(guān)聯(lián)強(qiáng)度20(B注意力機(jī)制提升長句翻譯效果21(Bahdanauetal.,2015)RNNenc:固定源語言上下文，RNNsearch:動態(tài)源語言上下文注意力機(jī)制提升長句翻譯效果21(Bahdanauetal注意力機(jī)制的其他應(yīng)用注意力機(jī)制已成為深度學(xué)習(xí)的主流技術(shù)22(Xuetal.,2015)“看圖說話”：為圖片自動生成文本描述注意力機(jī)制的其他應(yīng)用注意力機(jī)制已成為深度學(xué)習(xí)的主流技術(shù)22(近期研究進(jìn)展神經(jīng)機(jī)器翻譯在近兩年取得飛速發(fā)展受限詞匯量(Luongetal.,2015a;Jeanetal.,2015)細(xì)粒度意義單元(Chungetal.,2016;Sennrichetal.,2016a)先驗(yàn)約束(Tuetal.,2016;Cohnetal.,2016)記憶機(jī)制(Wangetal.,2016;Tangetal.,2016)訓(xùn)練準(zhǔn)則(Shenetal.,2016;Ranzatoetal.,2016)單語數(shù)據(jù)利用(Chengetal.,2016c;Sennrichetal.,2016b)多語言(Dongetal.,2015;ZophandKnight,2016)多模態(tài)(Duongetal.,2016;Hitschleretal.,2016)23近期研究進(jìn)展神經(jīng)機(jī)器翻譯在近兩年取得飛速發(fā)展23進(jìn)展1：受限詞匯量受計算復(fù)雜度限制，僅能使用有限的詞匯量24(Luongetal.,2015a;Jeanetal.,2015;Lietal.,2016)在后處理階段單獨(dú)翻譯未登錄詞進(jìn)展1：受限詞匯量受計算復(fù)雜度限制，僅能使用有限的詞匯量24進(jìn)展2：細(xì)粒度意義單元以細(xì)粒度意義單元取代詞，降低詞匯量25(LuongandManning,2016;Chungetal.,2016;Sennrichetal.,2016a)字母與詞語的混合模型，詞語模型解決常用詞翻譯，字母模型解決生僻詞翻譯進(jìn)展2：細(xì)粒度意義單元以細(xì)粒度意義單元取代詞，降低詞匯量25進(jìn)展3：先驗(yàn)約束利用先驗(yàn)知識約束神經(jīng)機(jī)器翻譯26(Tu

etal.,2016;Cohnetal.,2016;Chengetal.,2016b;Shietal.,2016)很多

機(jī)場都被迫

關(guān)閉了Many

airports

wereclosedtocloseMany

airportswereforcedtoclosedown輸入不考慮覆蓋度考慮覆蓋度先驗(yàn)：不應(yīng)重復(fù)翻譯，也不應(yīng)漏翻進(jìn)展3：先驗(yàn)約束利用先驗(yàn)知識約束神經(jīng)機(jī)器翻譯26(Tuet進(jìn)展4：記憶機(jī)制利用記憶機(jī)制提高神經(jīng)機(jī)器翻譯27(Wangetal.,2016;Tangetal.,2016)將“外存”引入神經(jīng)機(jī)器翻譯進(jìn)展4：記憶機(jī)制利用記憶機(jī)制提高神經(jīng)機(jī)器翻譯27(Wang進(jìn)展5：訓(xùn)練準(zhǔn)則提出更好的準(zhǔn)則，提高與評價的相關(guān)性28(Shen

etal.,2016;Rezantoetal.,2016)訓(xùn)練數(shù)據(jù)訓(xùn)練目標(biāo)優(yōu)化最小風(fēng)險訓(xùn)練：針對評價指標(biāo)訓(xùn)練神經(jīng)網(wǎng)絡(luò)進(jìn)展5：訓(xùn)練準(zhǔn)則提出更好的準(zhǔn)則，提高與評價的相關(guān)性28(Sh進(jìn)展6：單語數(shù)據(jù)利用利用海量的單語語料庫提高神經(jīng)機(jī)器翻譯29(Chengetal.,2016c;Sennrichetal.,2016b)利用自動編碼器實(shí)現(xiàn)半監(jiān)督學(xué)習(xí)進(jìn)展6：單語數(shù)據(jù)利用利用海量的單語語料庫提高神經(jīng)機(jī)器翻譯29進(jìn)展7：多語言利用向量空間貫通多種自然語言30(Dongetal.,2015;ZophandKnight,2016;Firatetal.,2016)多種語言共享源語言編碼器進(jìn)展7：多語言利用向量空間貫通多種自然語言30(Donge進(jìn)展8：多模態(tài)利用向量空間貫通文本、語音和圖像31(Duongetal.,2016;Hitschleretal.,2016)不經(jīng)過語音識別，直接將源語言語音翻譯成目標(biāo)語言文本進(jìn)展8：多模態(tài)利用向量空間貫通文本、語音和圖像31(Duon神經(jīng)機(jī)器翻譯教程和開源工具教程N(yùn)euralMachineTranslation,ACL2016TutorialsIntroductiontoNMTwithGPUs,KyunghyunCho開源工具GroundHog：加拿大蒙特利爾大學(xué)Blocks：加拿大蒙特利爾大學(xué)TensorFlow：GoogleEUREKA-MangoNMT：中國科學(xué)院自動化研究所32神經(jīng)機(jī)器翻譯教程和開源工具教程32統(tǒng)計機(jī)器翻譯Vs

神經(jīng)機(jī)器翻譯33統(tǒng)計機(jī)器翻譯神經(jīng)機(jī)器翻譯表示離散連續(xù)模型線性非線性訓(xùn)練MERTMLE/MRT可解釋性高低訓(xùn)練復(fù)雜度低高處理全局調(diào)序句法門閥、注意力內(nèi)存需求高低統(tǒng)計機(jī)器翻譯Vs神經(jīng)機(jī)器翻譯33統(tǒng)計機(jī)器翻譯神經(jīng)機(jī)器翻譯神經(jīng)機(jī)器翻譯面臨的挑戰(zhàn)34如何設(shè)計表達(dá)能力更強(qiáng)的模型？如何提高語言學(xué)方面的可解釋性？如何降低訓(xùn)練復(fù)雜度？如何與先驗(yàn)知識相結(jié)合？如何實(shí)現(xiàn)多模態(tài)翻譯？神經(jīng)機(jī)器翻譯面臨的挑戰(zhàn)34如何設(shè)計表達(dá)能力更強(qiáng)的模型？總結(jié)神經(jīng)機(jī)器翻譯：通過神經(jīng)網(wǎng)絡(luò)直接實(shí)現(xiàn)自然語言的相互映射。神經(jīng)機(jī)器翻譯近年來取得迅速發(fā)展，有望取代統(tǒng)計機(jī)器翻譯成為新的主流技術(shù)。神經(jīng)機(jī)器翻譯在架構(gòu)、可解釋性、訓(xùn)練算法等方面仍面臨挑戰(zhàn)，需要進(jìn)一步深入探索。35總結(jié)神經(jīng)機(jī)器翻譯：通過神經(jīng)網(wǎng)絡(luò)直接實(shí)現(xiàn)自然語言的相互映射。3謝謝！36謝謝！36神經(jīng)機(jī)器翻譯前沿進(jìn)展神經(jīng)機(jī)器翻譯前沿進(jìn)展機(jī)器翻譯目標(biāo)：利用計算機(jī)實(shí)現(xiàn)自然語言的自動翻譯38布什與沙龍舉行了會談BushheldatalkwithSharon機(jī)器翻譯目標(biāo)：利用計算機(jī)實(shí)現(xiàn)自然語言的自動翻譯2布什與沙龍舉發(fā)展歷史趨勢：讓機(jī)器更“自主”地學(xué)習(xí)如何翻譯39規(guī)則機(jī)器翻譯統(tǒng)計機(jī)器翻譯神經(jīng)機(jī)器翻譯198019902013數(shù)據(jù)驅(qū)動機(jī)器翻譯1990發(fā)展歷史趨勢：讓機(jī)器更“自主”地學(xué)習(xí)如何翻譯3規(guī)則統(tǒng)計神經(jīng)1數(shù)據(jù)驅(qū)動的機(jī)器翻譯核心問題：如何為翻譯過程建立概率模型？40布什與沙龍舉行了會談BushheldatalkwithSharon數(shù)據(jù)驅(qū)動的機(jī)器翻譯核心問題：如何為翻譯過程建立概率模型？4布統(tǒng)計機(jī)器翻譯隱變量對數(shù)線性模型：在隱式語言結(jié)構(gòu)上設(shè)計特征41布什與沙龍舉行了會談BushheldatalkwithSharon(OchandNey,2002)統(tǒng)計機(jī)器翻譯隱變量對數(shù)線性模型：在隱式語言結(jié)構(gòu)上設(shè)計特征5布基于短語的統(tǒng)計機(jī)器翻譯短語翻譯模型：以隱結(jié)構(gòu)短語為基本翻譯單元42布什與沙龍舉行了會談布什與沙龍舉行了會談BushwithSharonheldatalkBushwithSharonheldatalkBushheldatalkwithSharon(Koehnetal.,2003)基于短語的統(tǒng)計機(jī)器翻譯短語翻譯模型：以隱結(jié)構(gòu)短語為基本翻譯單統(tǒng)計機(jī)器翻譯的優(yōu)缺點(diǎn)優(yōu)點(diǎn)隱結(jié)構(gòu)可解釋性高利用局部特征和動態(tài)規(guī)劃處理指數(shù)級結(jié)構(gòu)空間缺點(diǎn)線性模型難以處理高維空間中線性不可分的情況需要人類專家設(shè)計隱式結(jié)構(gòu)及相應(yīng)的翻譯過程需要人類專家設(shè)計特征離散表示帶來嚴(yán)重的數(shù)據(jù)稀疏問題難以處理長距離依賴43統(tǒng)計機(jī)器翻譯的優(yōu)缺點(diǎn)優(yōu)點(diǎn)7難點(diǎn)：長距離調(diào)序44BushPresidentheldatalkwithIsraeliPrimeMinisterSharonattheWhiteHouse如何用上述詞語拼成合理的譯文？難點(diǎn)：長距離調(diào)序8BushPresidentheldatal統(tǒng)計機(jī)器翻譯示例45統(tǒng)計機(jī)器翻譯示例9深度學(xué)習(xí)帶來新思路46YannLeCunYoshuaBengioGeoffreyHinton(LeCunetal,2015)深度學(xué)習(xí)帶來新思路10YannLeCunYoshuaBe機(jī)器翻譯方法對比47英國愛丁堡大學(xué)在WMT英德評測數(shù)據(jù)上的BLEU值。NMT2015年結(jié)果來自蒙特利爾大學(xué)。來源：RicoSennrich報告和斯坦福ACL2016Tutorial。機(jī)器翻譯方法對比11英國愛丁堡大學(xué)在WMT英德評測數(shù)據(jù)上的B神經(jīng)機(jī)器翻譯利用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)自然語言的映射48布什與沙龍舉行了會談BushheldatalkwithSharon(Sutskeveretal,2014)神經(jīng)機(jī)器翻譯利用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)自然語言的映射12布什與沙龍舉行編碼器-解碼器框架利用遞歸神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)源語言的編碼和目標(biāo)語言的解碼49布什與沙龍舉行了會談</s>BushheldatalkwithSharon</s>(Sutskeveretal.,2014)編碼器-解碼器框架利用遞歸神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)源語言的編碼和目標(biāo)語言遞歸神經(jīng)網(wǎng)絡(luò)的優(yōu)缺點(diǎn)優(yōu)點(diǎn)適合處理變長線性序列理論上能夠利用無限長的歷史信息缺點(diǎn)“梯度消失”或“梯度爆炸”50(Pascanuetal.,2013)遞歸神經(jīng)網(wǎng)絡(luò)的優(yōu)缺點(diǎn)優(yōu)點(diǎn)14(Pascanuetal.,長短時記憶通過門閥技術(shù)緩解“梯度消失”和“梯度爆炸”51(Hochreiter

andSchmidhuber,1997)長短時記憶通過門閥技術(shù)緩解“梯度消失”和“梯度爆炸”15(H神經(jīng)網(wǎng)絡(luò)學(xué)到了什么？52(Sutskeveretal.,2014)神經(jīng)網(wǎng)絡(luò)學(xué)到了什么？16(Sutskeveretal.,編碼器-解碼器架構(gòu)的優(yōu)缺點(diǎn)優(yōu)點(diǎn)：利用長短時記憶處理長距離依賴缺點(diǎn)：任意長度的句子都編碼為固定維度的向量53(Sutskeveretal.,2014)編碼器-解碼器架構(gòu)的優(yōu)缺點(diǎn)優(yōu)點(diǎn)：利用長短時記憶處理長距離依賴基于注意力的神經(jīng)機(jī)器翻譯利用注意力機(jī)制動態(tài)計算源語言端相關(guān)上下文54(Bahdanauetal.,2015)布什與沙龍舉行了會談</s>BushheldatalkwithSharon</s>基于注意力的神經(jīng)機(jī)器翻譯利用注意力機(jī)制動態(tài)計算源語言端相關(guān)上注意力思想：集中關(guān)注影響當(dāng)前詞的上下文55(Chengetal.,2016a)注意力思想：集中關(guān)注影響當(dāng)前詞的上下文19(Chenget神經(jīng)機(jī)器翻譯中的注意力源語言詞語目標(biāo)語言詞的關(guān)聯(lián)強(qiáng)度56(Bahdanauetal.,2015;Chengetal.,2016b)神經(jīng)機(jī)器翻譯中的注意力源語言詞語目標(biāo)語言詞的關(guān)聯(lián)強(qiáng)度20(B注意力機(jī)制提升長句翻譯效果57(Bahdanauetal.,2015)RNNenc:固定源語言上下文，RNNsearch:動態(tài)源語言上下文注意力機(jī)制提升長句翻譯效果21(Bahdanauetal注意力機(jī)制的其他應(yīng)用注意力機(jī)制已成為深度學(xué)習(xí)的主流技術(shù)58(Xuetal.,2015)“看圖說話”：為圖片自動生成文本描述注意力機(jī)制的其他應(yīng)用注意力機(jī)制已成為深度學(xué)習(xí)的主流技術(shù)22(近期研究進(jìn)展神經(jīng)機(jī)器翻譯在近兩年取得飛速發(fā)展受限詞匯量(Luongetal.,2015a;Jeanetal.,2015)細(xì)粒度意義單元(Chungetal.,2016;Sennrichetal.,2016a)先驗(yàn)約束(Tuetal.,2016;Cohnetal.,2016)記憶機(jī)制(Wangetal.,2016;Tangetal.,2016)訓(xùn)練準(zhǔn)則(Shenetal.,2016;Ranzatoetal.,2016)單語數(shù)據(jù)利用(Chengetal.,2016c;Sennrichetal.,2016b)多語言(Dongetal.,2015;ZophandKnight,2016)多模態(tài)(Duongetal.,2016;Hitschleretal.,2016)59近期研究進(jìn)展神經(jīng)機(jī)器翻譯在近兩年取得飛速發(fā)展23進(jìn)展1：受限詞匯量受計算復(fù)雜度限制，僅能使用有限的詞匯量60(Luongetal.,2015a;Jeanetal.,2015;Lietal.,2016)在后處理階段單獨(dú)翻譯未登錄詞進(jìn)展1：受限詞匯量受計算復(fù)雜度限制，僅能使用有限的詞匯量24進(jìn)展2：細(xì)粒度意義單元以細(xì)粒度意義單元取代詞，降低詞匯量61(LuongandManning,2016;Chungetal.,2016;Sennrichetal.,2016a)字母與詞語的混合模型，詞語模型解決常用詞翻譯，字母模型解決生僻詞翻譯進(jìn)展2：細(xì)粒度意義單元以細(xì)粒度意義單元取代詞，降低詞匯量25進(jìn)展3：先驗(yàn)約束利用先驗(yàn)知識約束神經(jīng)機(jī)器翻譯62(Tu

etal.,2016;Cohnetal.,2016;Chengetal.,2016b;Shietal.,2016)很多

機(jī)場都被迫

關(guān)閉了Many

airports

wereclosedtocloseMany

airportswereforcedtoclosedown輸入不考慮覆蓋度考慮覆蓋度先驗(yàn)：不應(yīng)重復(fù)翻譯，也不應(yīng)漏翻進(jìn)展3：先驗(yàn)約束利用先驗(yàn)知識約束神經(jīng)機(jī)器翻譯26(Tuet進(jìn)展4：記憶機(jī)制利用記憶機(jī)制提高神經(jīng)機(jī)器翻譯63(Wangetal.,2016;Tangetal.,2016)將“外存”引入神經(jīng)機(jī)器翻譯進(jìn)展4：記憶機(jī)制利用記憶機(jī)制提高神經(jīng)機(jī)器翻譯27(Wang進(jìn)展5：訓(xùn)練準(zhǔn)則提出更好的準(zhǔn)則，提高與評價的相關(guān)性64(Shen

etal.,2016;Rezantoetal.,2016)訓(xùn)練數(shù)據(jù)訓(xùn)練目標(biāo)優(yōu)化最小風(fēng)險訓(xùn)練：針對評價指標(biāo)訓(xùn)練神經(jīng)網(wǎng)絡(luò)進(jìn)展5：訓(xùn)練準(zhǔn)則提出更好的準(zhǔn)則，提高與評價的相關(guān)性28(Sh進(jìn)展6：單語數(shù)據(jù)利用利用海量的單語語料庫提高神經(jīng)機(jī)器翻譯65(Chengetal.,2016c;Sennrichetal.