Python自然語言處理 課件 11-1-機器翻譯

機器翻譯與寫作Python自然語言處理第十一章CONTENT目錄

01機器翻譯02機器寫作課前回顧詞嵌入算法訓練詞向量實踐循環(huán)神經(jīng)網(wǎng)絡Seq2Seq模型與實戰(zhàn)01機器翻譯機器翻譯的意義經(jīng)典的神經(jīng)網(wǎng)絡機器翻譯模型機器翻譯譯文質(zhì)量評價機器翻譯面臨的挑戰(zhàn)機器翻譯的意義克服人類交流的語言障礙機器翻譯能夠幫助不同語言的人自由地交流有意義的研究課題機器翻譯推動自然語言處理的發(fā)展01機器翻譯機器翻譯的意義經(jīng)典的神經(jīng)網(wǎng)絡機器翻譯模型機器翻譯譯文質(zhì)量評價機器翻譯面臨的挑戰(zhàn)經(jīng)典的神經(jīng)網(wǎng)絡機器翻譯模型01-基于循環(huán)神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡機器翻譯02-從卷積序列到序列模型03-基于自注意力機制的Transformer模型01-基于循環(huán)神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡機器翻譯編碼器解碼器模型端到端模型基于循環(huán)神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡機器翻譯模型大致可分為端到端模型和編碼器解碼器模型翻譯模型-端到端模型端到端模型模型輸入“A"、”B"、“C"，在輸入條件下依次生成輸出”W"、“X"、”Y"、“Z"，其中”\<EOS>“為人為加入的句子結(jié)束標志01-基于循環(huán)神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡機器翻譯翻譯模型-編碼器解碼器模型編碼器解碼器模型

01-基于循環(huán)神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡機器翻譯翻譯模型-編碼器解碼器模型編碼器解碼器模型優(yōu)勢：解碼器在生成目標語言的詞語時，不僅考慮了源語言中的詞語的全局信息，還考慮了已經(jīng)生成的部分譯文。

01-基于循環(huán)神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡機器翻譯01-基于循環(huán)神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡機器翻譯基于循環(huán)神經(jīng)網(wǎng)絡的編碼器-解碼器框架基于循環(huán)神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡機器翻譯優(yōu)點：

由于引入了長短期記憶，神經(jīng)機器翻譯的性能獲得了大幅度提升，取得了與傳統(tǒng)統(tǒng)計機器翻譯相當甚至更好的準確率。不足： 1、不管是較長的源語言句子，還是較短的源語言句子，編碼器都需將其映射成一個維度固定的向量，這對實現(xiàn)準確的編碼提出了極大的挑戰(zhàn)。 2、對于較短的源語言句子，維數(shù)設置過大會浪費存儲空間和訓練時間；對于較長的源語句子，維數(shù)設置過小會造成語義細節(jié)信息丟失的問題?；谘h(huán)神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡機器翻譯的優(yōu)缺點基于循環(huán)神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡機器翻譯基于注意力機制的循環(huán)神經(jīng)網(wǎng)絡機器翻譯模型基于注意力的神經(jīng)機器翻譯將源語言句子編碼為向量序列，而不是一個固定向量，在生成目標語言詞語時，能夠利用與生成該詞相關的源語言詞語信息，所對應詞語在源語言中可以連續(xù)存在，也可以離散分布。從卷積序列到序列模型ConvS2S模型的架構(gòu)2017年5月，F(xiàn)acebookAI實驗室提出將卷積神經(jīng)網(wǎng)絡引入序列到序列的神經(jīng)網(wǎng)絡機器翻譯模型，這樣既可以處理序列變長的問題，又可以實現(xiàn)在序列不同位置的并行計算。卷積序列到序列（ConvS2S）模型的結(jié)構(gòu)如右圖RNN的缺陷：由于下一個時刻的輸出要依賴于上一個時刻的輸出，從而導致無法在整個序列上進行并行處理，引起訓練時間過長。從卷積序列到序列模型ConvS2S模型的架構(gòu)上左部分是編碼器，通過層疊的卷積抽取輸入序列的特征，通過門控線性單元的非線性變換得到相應的隱層表示。下左部分是解碼器，采用與編碼器相同的層疊卷積運算抽取輸出序列的特征，經(jīng)過門控線性單元激活做為編碼器的輸出。中間部分是注意力部分，把編碼器和解碼器的輸出做點乘運算，作為輸入序列中每個詞的權(quán)重。中右部分是殘差連接部分，把注意力部分計算的權(quán)重與輸入序列相乘，然后加入到解碼器的輸出中得到最終的輸出序列。從卷積序列到序列模型ConvS2S模型的架構(gòu)該模型的編碼器和解碼器之間采用的是多步注意機制，即每個卷積層都進行注意力建模，并且將上層卷積的輸出作為下一層的輸入，經(jīng)過層層堆疊得到最終的輸出?；谧宰⒁饬C制的Transformer模型RNN相關算法的限制：t時刻的計算依賴t-1時刻的計算結(jié)果，限制了模型的并行能力。順序計算的過程中信息會丟失，盡管LSTM等門機制的結(jié)構(gòu)在一定程度上緩解了長期依賴的問題，但對于特別長期的依賴現(xiàn)象，LSTM等仍舊無能為力?；谧宰⒁饬C制的Transformer模型Transformer模型架構(gòu)

為了解決上述問題，Google于2017提出了transformer模型。該模型采用注意力機制代替了RNN搭建整個模型框架。

提出了多重自注意力機制，在編碼器和解碼器中大量使用了多重自注意力機制。基于自注意力機制的Transformer模型

多重自注意力機制基于自注意力機制的Transformer模型

01機器翻譯機器翻譯的意義經(jīng)典的神經(jīng)網(wǎng)絡機器翻譯模型機器翻譯譯文質(zhì)量評價機器翻譯面臨的挑戰(zhàn)機器翻譯譯文質(zhì)量評價BLEUNISTMETEOR國際上用于評判機器翻譯系統(tǒng)好壞有3種指標：BLEU采用N-gram匹配規(guī)則比較并統(tǒng)計共同出現(xiàn)的元詞的個數(shù)，即統(tǒng)計同時出現(xiàn)在系統(tǒng)譯文和參考譯文中的元詞的個數(shù)，最后將匹配到的元詞的個數(shù)除以系統(tǒng)譯文的單詞數(shù)目，以此作為評測結(jié)果。不足之處：1、僅考慮了元詞的匹配度，沒有考慮語法上的準確性。2、評測精度極易受到常用詞的干擾。3、對翻譯短句的評價存在偏差，有時短譯句的評測精度會偏高。4、沒有考慮到同義詞或相似表達的情況，因此在個別語句上可能表現(xiàn)不好。BLEU機器翻譯譯文質(zhì)量評價機器翻譯譯文質(zhì)量評價NIST方法是利用信息量公式求出每個元詞的信息量，對于在參考譯文中出現(xiàn)次數(shù)更少的元詞會賦予更高的權(quán)重來體現(xiàn)其所包含的信息量，然后累加起來再除以整個譯文的元詞片段數(shù)據(jù)。NIST對BLEU進行了改進，采用算術(shù)平均來代替BLEU中的幾何平均，從而加大一元詞的共現(xiàn)次數(shù)對于評分結(jié)果的影響，同時還改進了BLEU中的懲罰因子，減少了譯文長度對評分結(jié)果的影響。特點：NIST和BLEU一樣，都不是真正給出了系統(tǒng)的譯文與原文的相似度，而是利用已有的多個參考譯文對系統(tǒng)譯文進行打分，因此原文并不會影響翻譯系統(tǒng)的得分。但是參考譯文的數(shù)量和質(zhì)量卻是影響翻譯系統(tǒng)評測的關鍵因素。NISTMETEOR方法是一種基于單精度的加權(quán)調(diào)和平均數(shù)和單字召回率的方法。特點： 它不希望生成塊狀的譯文，如參考譯文是“ABCD”，而模型給出的譯文是“BADC”，雖然每一個一元詞都對上了，但這個模型仍會受到很重的懲罰，METEOR是考慮了基于整個語料庫的準確率和召回率而最終得出分值。METEOR機器翻譯譯文質(zhì)量評價01機器翻譯機器翻譯的意義經(jīng)典的神經(jīng)網(wǎng)絡機器翻譯模型機器翻譯譯文質(zhì)量評價機器翻譯面臨的挑戰(zhàn)機器翻譯面臨的挑戰(zhàn)挑戰(zhàn)模型的可解釋性先驗知識的使用深層次語言知識的應用多語言機器翻譯多模態(tài)翻譯低資源語言的翻譯機器翻譯面臨的挑戰(zhàn)模型的可解釋性基于編碼器解碼器結(jié)構(gòu)的神經(jīng)機器翻譯，實現(xiàn)了源語言到目標語言的直接翻譯，但相比統(tǒng)計機器翻譯，神經(jīng)機器翻譯過程更類似在黑盒中運行，難以從語言學的角度對翻譯過程進行解釋。先驗知識的使用以離散符號表示的外部資源，如句法標注、詞性標注、雙語詞典等是非常重要的先驗知識，在神經(jīng)機器翻譯中難以得到充分的利用。深層次語言知識的應用自然語言具有歧義性，需要背景知識的支持才能完成消歧任務。神經(jīng)機器翻譯大多是詞語級的序列到序列的模型，對語言知識的應用不夠全面，層次不夠深入。機器翻譯面臨的挑戰(zhàn)多語言機器翻譯在多語平行語料，或者多語可比語料基礎上研究基于神經(jīng)網(wǎng)絡的多語言機器翻譯，不僅具有學術(shù)價值同樣具有很高的實用價值，也是未來重要的發(fā)展方向。多模態(tài)翻譯傳統(tǒng)神經(jīng)機器翻譯過程中，文本翻譯過程與翻譯場景等信息是相互獨立的，因此，導致神經(jīng)機器翻譯的結(jié)果往往不夠智能，不能自適應