融合篇章上下文有效識別的篇章級機器翻譯

1、融合篇章上下文有效識別的篇章級機器翻譯匯報人：汪浩 機構(gòu)：蘇州大學 THE MAIN CONTENTS01研究背景介紹02我的模型03總結(jié)研究背景介紹第部分1神經(jīng)機器翻譯的發(fā)展勢頭正猛，經(jīng)典的神經(jīng)機器翻譯模型主要是在句子層次上進行建模，但句子之間豐富的上下文信息沒有得到利用。于是近來篇章級機器翻譯成為研究的熱點，如何充分有效地利用篇章上下文信息是該研究的關(guān)鍵。01 研究背景介紹01 研究背景介紹Improving the transformer translation model with document-level context 使用兩個編碼器分別計算當前句的表示和篇章級上下文的表示，再

2、將篇章級別信息融入到當前句子的編碼器和解碼器中。Document-Level Neural Machine Translation with Hierarchical Attention Networks是第一個使用分層注意力機制以結(jié)構(gòu)化和動態(tài)的方式來捕捉篇章上下文信息的模型。Enhancing Context Modeling with a Query-Guided Capsule Network for Document-level Translation提出了一種以查詢?yōu)閷虻哪z囊網(wǎng)絡(luò)，將上下文信息聚類到目標翻譯可能涉及的不同角度。01 研究背景介紹在篇章級機器翻譯中，如何選取當前句的篇

3、章上下文是非常關(guān)鍵的。雖然之前研究使用的篇章上下文不盡相同，但是卻少有在選取之前對上下文信息進行識別篩選。我的模型第部分202 我的模型融合篇章上下文有效識別的Transformer模型02 我的模型處理篇章信息的分類器結(jié)構(gòu)圖02 我的模型帶門控機制的殘差網(wǎng)絡(luò)02 我的模型SystemNIST02NIST03NIST04NIST05NIST08平均值提升Trans-former48.9449.2249.1949.6941.5147.71TF-IDF策略51.0351.7550.8951.2541.6549.31+1.60KL_div策略50.8951.4850.7250.7841.9449.1

4、6+1.45中英翻譯任務上，我們的模型與基準系統(tǒng)在各測試集上的翻譯性能。02 我的模型SystemDevTest提升Trans-former24.2226.58TF-IDF策略24.2627.11+0.53KL_div策略24.2426.90+0.32英德翻譯任務上，我們的模型與基準系統(tǒng)在測試集上的翻譯性能?？偨Y(jié)第部分3添加標題03 總結(jié)針對篇章機器翻譯如何更高效利用上下文信息的問題，本文提出了一種新的模型結(jié)構(gòu)。首先在現(xiàn)有NMT模型基礎(chǔ)上融入了篇章信息，其次對篇章信息進一步識別處理，最終通過解碼端的改進使得識別出的有效篇章信息得到充分利用。本文模型在處理過多、過復雜的篇章上下文信息時，存在著處理能力不足，識別能力下降，無法