機器翻譯在跨境電商的應用與研究分析報告

|機器翻譯在跨境電商的應用與研究目錄CONTENT01阿里翻譯技術平臺概覽0203翻譯在跨境電商中的應用最新技術探索||阿里翻譯技術平臺概覽01阿里翻譯技術平臺概覽|5阿里翻譯技術平臺概覽論文&專利???發(fā)表60+

CCF

A/B類會議/期刊論文100+項專利ACL2022

Outstanding

Paper

Award國際評測?

WMT

21國際頂級機器翻譯評測?

Quality

Estimation

Task

9個語向第?

Metrics

Task

5個語向第一?

術語翻譯任務

英中第一?

2021年CommonGen文本生成大賽5月登頂LeaderBoard?

WMT

18國際頂級機器翻譯評測?

翻譯任務

5語向第一獎項?

工信部新一代人工智能重點任務揭榜計劃、第一期人工智能產(chǎn)業(yè)創(chuàng)新“多語言智能翻譯平臺”揭榜優(yōu)勝單位（僅3家）?

“面向全球電子商務的多語言處理技術與平臺”獲得浙江省科學技術進步二等獎|6|翻譯在跨境電商中的應用02翻譯在跨境電商中的應用-商品內容展示英語版俄語版阿語版標題單位UI框架|8翻譯在跨境電商中的應用-商品內容展示英語版俄語版阿語版尺碼詳情描述|9翻譯在跨境電商中的應用-商品內容展示英語版俄語版阿語版評論|10翻譯在跨境電商中的應用-商品內容展示英語版俄語版阿語版問大家|11翻譯在跨境電商中的應用-更多的跨語言場景買賣家溝通商品搜索|12翻譯在跨境電商中的應用-多模態(tài)場景圖片翻譯|13翻譯在跨境電商中的應用-多模態(tài)場景直播/視頻翻譯|14|最新技術探索03最新技術探索模型改進連續(xù)語義增強（ICLR21、ACL22）UniTE（ACL22）質量評估領域適應知識融合個性化翻譯領域適配器（NeurIPS20、EMNLP20、TASLP

21）KNN-MT（ACL21、EMNLP21、ACL22）多粒度表示遷移（ACL21）個性化機器翻譯（ACL21，ACL22，NAACL22）|16模型改進：連續(xù)語義增強(ACL

22OutstandingPaper)問題：回譯等離散表示數(shù)據(jù)增強方法，數(shù)據(jù)多樣性差、利用效率低，且易產(chǎn)生語義偏移解決方法：連續(xù)語義空間擴充訓練樣本的數(shù)據(jù)分布，結合鄰域風險最小化策略優(yōu)化翻譯模型|17質量評估：融合不同類型的標注數(shù)據(jù)的UniTE

（ACL22）問題：三種評估場景(原文,譯文)、(譯文,參考譯文)、(原文,譯文,參考答案)采用的技術、語料均不相同，標注資源不能得到充分利用解決方法：基于區(qū)塊化Attention掩碼的模型結構，利用跨語言預訓練和多任務聯(lián)合訓練，實現(xiàn)不同類型標注資源的知識遷移單一模型（WMT

2019

所有語向）超越三個評估場景的SOTA模型WMT21

Metrics比賽第一|18領域適應：輕量訓練的Adapter（NeurIPS20，EMNLP20，TASLP

21）問題：訓練好的翻譯模型如何快速遷移至新領域？Finetuning有災難性遺忘問題，需要調整全部參數(shù)，部署代價大解法：引入Adapter，固定訓練好模型的參數(shù)，僅調整Adapter參數(shù)以適配新領域AdaptiveLayerDecoder

OutputAdaptiveLayer特點：TransformerUpProjection??不影響譯訓練好模型的性能部署代價小，每個領域僅增加Adaper參數(shù)ReLUDownProjectionAdaptiveLayerFeed

ForwardSelf-AttentionFeed

ForwardCross-AttentionSelf-Attention中英

BLEUBaseline領域內35.2836.9845.47領域外48.8749.0543.72均值42.0843.0244.60×

M×

NBaseline

+

FinetuneBaseline

+

AdapterEmbeddingEmbeddingXY|19領域適應：無需訓練的KNN-MT(ACL

21,

EMNLP21，AAAI22,

ACL

22)問題：finetuning、Adapter都需要訓練，應用代價大，能否在不訓練情況下，實現(xiàn)領域適配？解決方法：尋找最相似句子，利用譯文動態(tài)干預解碼過程特點：?無需訓練，僅需更新新領域的索引領域適應ITKoranLawBase22.9927.4736.2838.7310.1618.4425.9829.0133.3639.2349.0752.14Base

+

KNN-MTAdapter自動學習k與lambda關系Adapter

+

kNN-MT|20領域適應：子詞知識遷移(ACL

21)問題：不同分詞粒度的模型如何進行知識遷移？解決方法：引入Embedding

Generator??根據(jù)字詞與父詞組合，使用一個Embedding生成器來遷移詞表Embedding

Generator的訓練：在上游任務中，模型將隨機拆分長單詞并組合短單詞，使用Embedding

Generator生成這些未見過token的embeddin過程中受到上游任務目標和蒸餾目標監(jiān)督。|21個性化翻譯：用戶行為引導的機器翻譯（ACL21）問題：??語言具有多樣性，好的翻譯應該擬合說話人的表達習慣，以及知識水平單一翻譯結果可能只能滿足大多數(shù)用戶，不能滿足每個用戶的需求解法：個性化翻譯??根據(jù)tf-idf分數(shù)提取用戶歷史關鍵詞，使用編碼器建模用戶表征。提出對比學習策略，拉近相似用戶譯文，推遠不相似用戶譯文，實現(xiàn)半監(jiān)督訓練，解決數(shù)據(jù)稀疏，缺少用戶標注樣本的問題。模型準確性（BLEU）27.52翻譯差異性0.00%傳統(tǒng)翻譯個性化翻譯|2232.3531.68%個性化翻譯：無監(jiān)督多樣性翻譯（NAACL22）問題：語言具有多樣性，然而現(xiàn)有單reference訓練使得模型趨向于生成相近的表達，個性化翻譯也需要翻譯能夠產(chǎn)生更多樣的表達為前提。解法：多樣性翻譯，模型訓練過程中多個生成結果定義DiversityRewards以及QualityRewards，使用最小風險訓練進行優(yōu)化。?特點：簡單、易復用、不需要修改模型架構。原文

依

巴拉

告訴

今日

新聞

電視臺

說

,「

這是

一

個

恐怖

夜晚

」Ibarratoldtoday'snewstelevisionstation,"Thisisaterroristevening."Ibarratoldtoday'snewstelevisionstation,"Thisisaterribleevening."普通模型Ibarratoldtoday'snewstelevisionstationthat"Thisisaterroristevening.ThisisaterriblenightaccordingtoIbarratoldtoday’snewsTVstation.Ibarratoldtoday’snewstelevisionstation,“Thisisaterriblenight.”SpeakingtonewsTVtoday,Ibarrasaid,"Thisisaterriblenight.”多樣性模型|23個性化翻譯：用戶行為引導的語種識別（ACL22）問題：語種識別是翻譯的第一步，面臨用戶輸入不