信息技術(shù) 人工智能 機器翻譯智能能力等級評估

ICS35.240在提交反饋意見時，請將您知道的相關(guān)專利連同

L70支持性文件一并附上

團體標準

T/CESAXXXX—XXXX

信息技術(shù)人工智能機器翻譯智能能力等

級評估

Informationtechnology-Artificialintelligence-Intelligentabilityassessmentfor

machinetranslation

（征求意見稿）

XXXX-XX-XX發(fā)布XXXX-XX-XX實施

中國電子工業(yè)標準化技術(shù)協(xié)會發(fā)布

T/XXXXXXXX—XXXX

前??言

本部分按照GB/T1.1—2009給出的規(guī)則起草。

請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機構(gòu)不承擔識別這些專利的責任。

本標準由中國電子技術(shù)標準化研究院提出并歸口。

本標準起草單位：

本標準主要起草人：

III

T/XXXXX—XXXX

信息技術(shù)人工智能機器翻譯智能能力等級評估

1范圍

本標準規(guī)定了機器翻譯智能能力等級評估中機器翻譯概念模型、機器翻譯系統(tǒng)模型、機器翻譯智能

能力指標及計算方法、機器翻譯智能能力等級劃分和機器翻譯智能能力等級評估要求。

本標準適用于機器翻譯系統(tǒng)的產(chǎn)品和服務(wù)的智能能力等級劃分與評估。

2規(guī)范性引用文件

下列文件對于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文件。

凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。

GB/T19682-2005翻譯服務(wù)譯文質(zhì)量要求

ISO18587:2017翻譯服務(wù)-機器翻譯輸出的后編輯-要求（Translationservices——

Post-editingofmachinetranslationoutput——Requirements）

3術(shù)語和定義

3.1

機器翻譯machinetranslation,MT

使用計算機應(yīng)用將文本從一種自然語言自動翻譯成另一種自然語言。

[ISO18587:2017，定義3.1.1]

3.2

機器翻譯系統(tǒng)machinetranslationsystem

用于實現(xiàn)機器翻譯的技術(shù)。

[ISO18587:2017，定義3.1.3]

3.3

內(nèi)容content

任意形式的信息。

示例：文本，音頻，圖像，視頻等。

注：改寫ISO18587:2017，定義3.2.1

3.4

源語言sourcelanguage

將要被翻譯的包含內(nèi)容的語言。

1

T/XXXXX—XXXX

[ISO18587:2017，定義3.2.2]

3.5

源語言內(nèi)容sourcelanguagecontent

將要被翻譯的語言內(nèi)容。

[ISO18587:2017，定義3.2.3]

3.6

目標語言targetlanguage

源語言內(nèi)容被翻譯成的語言。

[ISO18587:2017，定義3.2.4]

3.7

目標語言內(nèi)容targetlanguagecontent

從源語言內(nèi)容翻譯而來的語言內(nèi)容。

[ISO18587:2017，定義3.2.5]

3.8

自然語言naturallanguage,NL

起源不明，但作為人類交流習(xí)慣的方式，不斷發(fā)展并不時出現(xiàn)特殊用法的語言。

[ISO18587:2017，定義3.2.7]

3.9

翻譯translation

使源語言內(nèi)容變成目標語言內(nèi)容的一系列過程集合。

[ISO18587:2017，定義3.4.2]

4縮略語

下列縮略語適用于本文件。

MTIAS：機器翻譯智能能力得分（MachineTranslationIntelligentAbilityScore）

NLP：自然語言處理（NaturalLanguageProcessing）

5機器翻譯概念模型

機器翻譯能夠讓使用不同語言的用戶通過計算機應(yīng)用生成的翻譯結(jié)果進行語言交流。一個機器翻譯

模型應(yīng)包含語言輸入、語言翻譯和語言輸出三個部分。機器翻譯的概念模型見圖1。

2

T/XXXXX—XXXX

圖1機器翻譯概念模型

各部分功能如下：

a)用戶輸入自然語言；

b)語言輸入模塊采集自然語言并將其轉(zhuǎn)換為計算機可讀的語言數(shù)據(jù)；

c)語言翻譯模塊將采集到的語言數(shù)據(jù)翻譯成目標語言數(shù)據(jù)，并且不丟失語言原意；

d)語言輸出模塊將翻譯后的計算機可讀的語言數(shù)據(jù)轉(zhuǎn)換為目標語言進行輸出；

e)用戶接收系統(tǒng)輸出的目標語言。

6機器翻譯系統(tǒng)模型

從概念模型角度進行分析，一個智能的機器翻譯系統(tǒng)應(yīng)同時具備以下能力：

a)具有語言輸入及語言輸出的能力，語言表達方式包括但不限于文本、語音、圖像、視頻等。

b)具有存儲語言數(shù)據(jù)、信息、知識的能力，能夠?qū)⑼獠空Z言數(shù)據(jù)、信息和知識轉(zhuǎn)化為自身資源。

c)具有生成語言數(shù)據(jù)、信息、知識的能力，能夠基于自身擁有的語言等知識，對輸入語言進行語

義理解后，將一種語言翻譯成另一種語言，準確表達原有語言所涵蓋的信息。

機器翻譯智能能力可以通過抽象機器翻譯系統(tǒng)模型來表示見圖2。

圖2機器翻譯系統(tǒng)模型

機器翻譯系統(tǒng)模型包括語言獲取、自然語言理解及翻譯、語言反饋等能力項。

a)語言獲取能力：能夠采集和識別文本（例如：編碼輸入或字型辨識輸入）、語音（例如：單句

語音或連續(xù)語音輸入）、圖像和視頻等多種載體形式的語言，作為系統(tǒng)輸入的源語言內(nèi)容；

b)自然語言理解及翻譯能力：能夠根據(jù)詞匯、語法（例如：詞法、句法）、符號、邏輯、語義、

修辭、專業(yè)領(lǐng)域知識，以及語用知識和文化情感知識等，對源語言內(nèi)容進行理解和處理；具備

應(yīng)用翻譯引擎和NLP算法將源語言內(nèi)容轉(zhuǎn)換為目標語言內(nèi)容的能力，確保語言內(nèi)容和含義沒有

發(fā)生改變，能夠滿足不同語種交流過程中的各種需求；

3

T/XXXXX—XXXX

c)語言反饋能力：能夠?qū)⒛繕苏Z言內(nèi)容使用文本、語音、圖像和視頻等方式，作為系統(tǒng)輸出反饋

到外界。

7機器翻譯智能能力指標及計算方法

7.1能力指標體系

機器翻譯智能能力測評指標體系結(jié)構(gòu)見圖3。

圖3機器翻譯智能能力測評指標體系

機器翻譯智能能力測評指標項及說明見表1。

表1機器翻譯智能能力測評指標項及說明

一級指標二級指標指標項說明打分方法權(quán)重備注

——完全沒有譯出來，0分該指標

——譯文中只有個別詞被孤立地翻譯，1分定義描

翻譯結(jié)果是否——譯文中有少數(shù)短語或比詞大的語法成分被翻譯，2分述見

忠實度忠實地表達了——源語言中60%的概念及其之間的關(guān)系被正確翻譯，或原0.27GB/T

源語言的內(nèi)容文中的主謂賓及其關(guān)系被正確的翻譯，3分19682-

——源語言中80%的概念及其之間的關(guān)系被正確翻譯，4分2005，

——源語言中100%的概念及其之間的關(guān)系被正確翻譯，5分4.1

機器翻譯——完全不可理解，0分

結(jié)果質(zhì)量——譯文晦澀難懂（只有個別短語或比詞大的語法成分可以該指標

理解），1分定義描

——譯文40%的部分基本流暢（少數(shù)的短語或比詞大的語法述見

翻譯結(jié)果是否

流利度成分可以理解），2分0.27GB/T

流暢和地道

——譯文60%的部分基本流暢，3分19682-

——譯文80%的部分基本流暢，或譯文中的主謂賓部分基本2005，

流暢，只是個別詞語或搭配不地道，4分4.3

——譯文流暢而且地道，5分

4

T/XXXXX—XXXX

表1機器翻譯智能能力測評指標項及說明（續(xù)）

一級指標二級指標指標項說明打分方法權(quán)重備注

——譯文綜合差錯率≥90%，0分

——70%≤譯文綜合差錯率＜90%，1分

翻譯結(jié)果與源

綜合差錯——50%≤譯文綜合差錯率＜70%，2分

語言內(nèi)容的綜0.18

率——30%≤譯文綜合差錯率＜50%，3分

合差錯率

——10%≤譯文綜合差錯率＜30%，4分

——譯文綜合差錯率≤10%，5分

翻譯結(jié)果是否

語用符合——譯文結(jié)果不符合，0分

符合目標語言0.06

度——譯文結(jié)果符合，5分

的語用規(guī)則

翻譯結(jié)果是否

文化符合符合目標語言——譯文結(jié)果不符合，0分

0.06

度的文化背景和——譯文結(jié)果符合，5分

觀念

翻譯結(jié)果是否

情感符合——譯文結(jié)果不符合，0分

符合源語言表0.06

度——譯文結(jié)果符合，5分

達的情感

——支持除文字以外的交互翻譯，包括但不限于語音、圖像、

視頻交互等，即翻譯的源語言和目標語言可以通過語音、圖

是否支持文字

像等形式輸入和輸出，其交互性能應(yīng)滿足評估對象所標稱的

交互能力以外的其他交0.02

性能值，每支持一種類型得1分，最高不超過5分

互功能

——僅支持文字交互翻譯，即翻譯的源語言和目標語言僅能

以文字的形式輸入和輸出，0分

——支持文檔翻譯，包括但不限于網(wǎng)頁、PDF、DOCX等文檔

文檔翻譯是否支持文檔類型，其翻譯性能應(yīng)滿足評估對象所標稱的性能值，每支持

0.02

能力翻譯一種類型得1分，最高不超過5分

機器翻譯

——不支持文檔翻譯，0分

能力要素

——支持多語種翻譯，其翻譯性能應(yīng)滿足評估對象所標稱的

多語種翻是否支持多語

性能值，5分0.02

譯能力種翻譯

——不支持多語種翻譯，0分

是否支持無網(wǎng)——支持無網(wǎng)絡(luò)連接狀態(tài)下的翻譯能力，其翻譯性能應(yīng)滿足

網(wǎng)絡(luò)連接絡(luò)連接狀態(tài)下評估對象所標稱的性能值，5分0.02

的翻譯能力——不支持無網(wǎng)絡(luò)連接狀態(tài)下的翻譯能力，0分

——支持評估對象所標稱的同聲傳譯能力，其翻譯性能應(yīng)滿

是否支持同聲

翻譯模式足評估對象所標稱的性能值，5分0.02

傳譯

——不支持同聲傳譯，0分

5

T/XXXXX—XXXX

7.2指標評估方法

指標評估可采用專家評價、材料檢查、技術(shù)測試等方式進行，其中，

a)采用技術(shù)測試的指標項包括：忠實度、流利度、綜合差錯率；

b)采用技術(shù)測試和材料檢查相結(jié)合的指標項包括：交互能力、文檔翻譯能力、多語種翻譯能力、

網(wǎng)絡(luò)連接、翻譯模式；

c)采用專家評價的指標項包括：語用符合性、文化符合性、情感符合性。

機器翻譯忠實度和流利度評價的評估，見附錄A，機器翻譯綜合差錯率計算方法見附錄B。

7.3能力計算方法

根據(jù)評估指標體系和指標項，運用綜合評分法對機器翻譯智能能力得分（MTIAS）進行計算，計算

公式見式（1）。

機器翻譯智能能力得分.........................................................(1)

PiSi

式中：

第項指標的權(quán)重值；

Pi——i

第項指標的得分值。

Si——i

8機器翻譯智能能力等級劃分

根據(jù)機器翻譯智能能力指標和計算方法，機器翻譯智能能力等級劃分為5級，其中最高等級為5級：

a)1級：機器翻譯智能能力得分，MTIAS＜2分；

b)2級：機器翻譯智能能力得分，2分≤MTIAS＜3分；

c)3級：機器翻譯智能能力得分，3分≤MTIAS＜4分；

d)4級：機器翻譯智能能力得分，4分≤MTIAS＜5分；

e)5級：機器翻譯智能能力得分，MTIAS=5分。

9機器翻譯智能能力等級評估要求

9.1確定評估方案

根據(jù)評估目的需要，綜合考慮機器翻譯智能等級的影響因素，制定與其需求相符合的評估方案?？?/p>

選擇自行制定方案來實施評估，也可以委托第三方制定評估方案。評估方案包括且不限于機器翻譯系統(tǒng)

界定、評估指標及指標值計算、評估對象等級劃分、形成評估報告。

9.2機器翻譯系統(tǒng)界定

評估前應(yīng)識別、界定和描述被評估的機器翻譯系統(tǒng)產(chǎn)品及其特性，包括系統(tǒng)來源、用途和使用方式

等。

9.3計算評估指標得分

評估前應(yīng)確定評估目的和范圍，并根據(jù)本標準所給出的評估指標體系和指標項來確定評估指標，按

照7.3節(jié)所示的方法計算指標得分。

6

T/XXXXX—XXXX

9.4評估對象等級劃分

根據(jù)評估目的，按照第8章所示等級劃分方法，將計算評估指標得分結(jié)果對應(yīng)到不同的等級，形成

評估結(jié)論。

9.5評估報告

評估方應(yīng)進行評估結(jié)果分析，并出具評估報告。評估報告內(nèi)容宜包括但不限于以下內(nèi)容：

a)機器翻譯系統(tǒng)產(chǎn)品的基本概況；

b)評估目的；

c)評估對象和范圍；

d)機器翻譯智能能力等級劃分和定義；

e)評估假設(shè)和限定條件；

f)評估依據(jù)；

g)評估方法；

h)評估程序?qū)嵤┻^程和情況；

i)評估結(jié)論；

j)特別事項說明；

k)評估報告的使用限制說明。

評估方應(yīng)對評估報告建檔存留，并定期復(fù)審。

7

T/XXXXX—XXXX

附錄A

（資料性附錄）

機器翻譯忠實度和流利度評價

A.1評價要求

對翻譯譯文的忠實度、流利度進行評價時，宜采用多人評價取均值的策略。評估方應(yīng)精通參評任務(wù)

所涉及的源語言和目標語言，并具有如下資格之一：

a)源語言為母語，目標語言上具有高水平的語言資格認證；

b)源語言具有高水平的語言資格認證，目標語言為母語。

A.2評價方法

評價實施過程中，參評人員應(yīng)不少于5人。對于每個評價句子對，取所有參評人員的忠實度和流利

度的評分的均值作為該句子的忠實度和流利度評分。

8

T/XXXXX—XXXX

附錄B

（規(guī)范性附錄）

機器翻譯綜合差錯率計算

B.1機器翻譯綜合差錯率計算方法

機器翻譯綜合差錯率計算公式，見式（B.1）。

cDcDcDcD

綜合差錯率IIIIIIIIIIIIIVIV100%.......................................(B.1)

w

式中：

w——源語言內(nèi)容計算總字詞數(shù)；

,,,分別為I、II、III、IV類差錯出現(xiàn)的次數(shù)，重復(fù)性錯誤按一次計算；

DIDIIDIIIDIV——

,,分別為I、II、III、IV類差錯的系數(shù)，取值如下：

cIcIIcIIIcIV——

；

——cI3

；

——cII1

；

——cIII0.5

。

——cIV0.25

其中，

I-IV分別表示機器翻譯差錯類別：

a)I類差錯：譯文表述存在核心語義差錯或關(guān)鍵字詞（數(shù)字）、句段的漏譯、錯譯；

b)II類差錯：一般語義差錯，非關(guān)鍵字詞（數(shù)字）、句段的漏譯、錯譯，譯文表述存在用詞、

語法錯誤或表述含混；

c)III類差錯：專業(yè)術(shù)語不準確、不統(tǒng)一、不符合標準或慣例，或?qū)Ｓ妹~錯譯；

d)IV類差錯：計量單位、符號、縮略語等未按規(guī)（約）定譯法。

其中，源語言內(nèi)容計算總字詞數(shù)時，中文、日文、韓文等以字為單位進行計算；英文、法文、德文

等以詞為單位進行計算。

9

T/XXXXX—XXXX

參?考?文?獻

[1]ASTMF2575Standardguideforqualityassuranceintranslation

[2]ISO/IEC20382-1Informationtechnology-Userinterfaces-Face-to-face

speechtranslation-Part1:Userinterface

[3]ISO/IEC20382-2Informationtechnology-Userinterface-Face-to-face

speechtranslation-Part2:Systemarchitectureandfunctionalcomponents

[4]ITU-TF.745Functionalrequirementsfornetwork-basedspeech-to-speech

translationservices

[5]ITU-TH.625Architecturefornetwork-basedspeech-to-speechtranslation

services

[6]ITU-TE.FASTUserinterfaceforface-to-facespeechtranslationconsidering

humanfactors

[7]GB/T19363.1-2008翻譯服務(wù)規(guī)范第1部分：筆譯

[8]GB/T19363.2-2006翻譯服務(wù)規(guī)范第2部分：口譯

_________________________________

10

T/XXXXX—XXXX

中國電子工業(yè)標準化技術(shù)協(xié)會（CESA）是全國電子信息產(chǎn)業(yè)標準化組織和標準化工作者自愿組成的

社會團體。廣泛聯(lián)系全國電子信息產(chǎn)業(yè)標準化機構(gòu)和標準化工作者，協(xié)助政府部門搞好電子信息產(chǎn)業(yè)標

準化工作，開拓信息技術(shù)領(lǐng)域的標準化工作是中國電子工業(yè)標準化技術(shù)協(xié)會的主要工作內(nèi)容之一。中國

境內(nèi)從事科研開發(fā)、制造、營銷和服務(wù)的企事業(yè)單位、高等院校、社會組織和個人均可隨時向中國電子

工業(yè)標準化技術(shù)協(xié)會團體標準工作部提出團體標準項目建議。

中國電子工業(yè)標準化技術(shù)協(xié)會標準按照《電子工業(yè)標準化技術(shù)協(xié)會協(xié)會團體標準管理辦法》進行制

定和管理。

在本標準實施過程中，如發(fā)現(xiàn)需要修改或補充之處，請將意見和有關(guān)資料寄至中國電子工業(yè)標準化

技術(shù)協(xié)會，以便修訂時參考。

本標準版權(quán)歸中國電子工業(yè)標準化技術(shù)協(xié)會所有。

中國電子工業(yè)標準化技術(shù)協(xié)會地址：北京市海淀區(qū)萬壽路27號

電話子郵箱：standards@

網(wǎng)址：

11

T/XXXXXXXX—XXXX

目??次

前??言.............................................................................................................................................................III

1范圍.....................................................................................................................................................................1

2規(guī)范性引用文件.................................................................................................................................................1

3術(shù)語和定義.........................................................................................................................................................1

4縮略語...............................................................................................................................................................2

5機器翻譯概念模型...........................................................................................................................................2

6機器翻譯系統(tǒng)模型...........................................................................................................................................3

7機器翻譯智能能力指標及計算方法...............................................................................................................4

7.1能力指標體系...........................................................................................................................................4

7.2指標評估方法...........................................................................................................................................6

7.3能力計算方法...........................................................................................................................................6

8機器翻譯智能能力等級劃分...........................................................................................................................6

9機器翻譯智能能力等級評估要求...................................................................................................................6

9.1確定評估方案...........................................................................................................................................6

9.2機器翻譯系統(tǒng)界定...................................................................................................................................6

9.3計算評估指標得分...................................................................................................................................6

9.4評估對象等級劃分...................................................................................................................................7

9.5評估報告...................................................................................................................................................7

附錄A（資料性附錄）機器翻譯忠實度和流利度評價.............................................................................8

附錄B（規(guī)范性附錄）機器翻譯綜合差錯率計算......................................................................................9

II

T/XXXXX—XXXX

信息技術(shù)人工智能機器翻譯智能能力等級評估

1范圍

本標準規(guī)定了機器翻譯智能能力等級評估中機器翻譯概念模型、機器翻譯系統(tǒng)模型、機器翻譯智能

能力指標及計算方法、機器翻譯智能能力等級劃分和機器翻譯智能能力等級評估要求。

本標準適用于機器翻譯系統(tǒng)的產(chǎn)品和服務(wù)的智能能力等級劃分與評估。

2規(guī)范性引用文件

下列文件對于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文件。

凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。

GB/T19682-2005翻譯服務(wù)譯文質(zhì)量要求

ISO18587:2017翻譯服務(wù)-機器翻譯輸出的后編輯-要求（Translationservices——

Post-editingofmachinetranslationoutput——Requirements）

3術(shù)語和定義

3.1

機器翻譯machinetranslation,MT

使用計算機應(yīng)用將文本從一種自然語言自動翻譯成另一種自然語言。

[ISO18587:2017，定義3.1.1]

3.2

機器翻譯系統(tǒng)machinetranslationsystem

用于實現(xiàn)機器翻譯的技術(shù)。

[ISO18587:2017，定義3.1.3]

3.3

內(nèi)容content

任意形式的信息。

示例：文本，音頻，圖像，視頻等。

注：改寫ISO18587:2017，定義3.2.1

3.4

源語言sourcelanguage

將要被翻譯的包含內(nèi)容的語言。

1

T/XXXXX—XXXX

[ISO18587:2017，定義3.2.2]

3.5

源語言內(nèi)容sourcelanguagecontent

將要被翻譯的語言內(nèi)容。

[ISO18587:2017，定義3.2.3]

3.6

目標語言targetlanguage

源語言內(nèi)容被翻譯成的語言。

[ISO18587:2017，定義3.2.4]

3.7

目標語言內(nèi)容targetlanguagecontent

從源語言內(nèi)容翻譯而來的語言內(nèi)容。

[ISO18587:2017，定義3.2.5]

3.8

自然語言naturallanguage,NL

起源不明，但作為人類交流習(xí)慣的方式，不斷發(fā)展并不時出現(xiàn)特殊用法的語言。

[ISO18587:2017，定義3.2.7]

3.9

翻譯translation

使源語言內(nèi)容變成目標語言內(nèi)容的一系列過程集合。

[ISO18587:2017，定義3.4.2]

4縮略語

下列縮略語適用于本文件。

MTIAS：機器翻譯智能能力得分（MachineTranslationIntelligentAbilityScore）

NLP：自然語言處理（NaturalLanguageProcessing）

5機器翻譯概念模型

機器翻譯能夠讓使用不同語言的用戶通過計算機應(yīng)用生成的翻譯結(jié)果進行語言交流。一個機器翻譯

模型應(yīng)包含語言輸入、語言翻譯和語言輸出三個部分。機器翻譯的概念模型見圖1。

2

T/XXXXX—XXXX

圖1機器翻譯概念模型

各部分功能如下：

a)用戶輸入自然語言；

b)語言輸入模塊采集自然語言并將其轉(zhuǎn)換為計算機可讀的語言數(shù)據(jù)；

c)語言翻譯模塊將采集到的語言數(shù)據(jù)翻譯成目標語言數(shù)據(jù)，并且不丟失語言原意；

d)語言輸出模塊將翻譯后的計算機可讀的語言數(shù)據(jù)轉(zhuǎn)換為目標語言進行輸出；

e)用戶接收系統(tǒng)輸出的目標語言。

6機器翻譯系統(tǒng)模型

從概念模型角度進行分析，一個智能的機器翻譯系統(tǒng)應(yīng)同時具備以下能力：

a)具有語言輸入及語言輸出的能力，語言表達方式包括但不限于文本、語音、圖像、視頻等。

b)具有存儲語言數(shù)據(jù)、信息、知識的能力，能夠?qū)⑼獠空Z言數(shù)據(jù)、信息和知識轉(zhuǎn)化為自身資源。

c)具有生成語言數(shù)據(jù)、信息、知識的能力，能夠基于自身擁有的語言等知識，對輸入語言進行語

義理解后，將一種語言翻譯成另一種語言，準確表達原有語言所涵蓋的信息。

機器翻譯智能能力可以通過抽象機器翻譯系統(tǒng)模型來表示見圖2。

圖2機器翻譯系統(tǒng)模型

機器翻譯系統(tǒng)模型包括語言獲取、自然語言理解及翻譯、語言反饋等能力項。

a)語言獲取能力：能夠采集和識別文本（例如：編碼輸入或字型辨識輸入）、語音（例如：單句

語音或連續(xù)語音輸入）、圖像和視頻等多種載體形式的語言，作為系統(tǒng)輸入的源語言內(nèi)容；

b)自然語言理解及翻譯能力：能夠根據(jù)詞匯、語法（例如：詞法、句法）、符號、邏輯、語義、

修辭、專業(yè)領(lǐng)域知識，以及語用知識和文化情感知識等，對源語言內(nèi)容進行理解和處理；具備

應(yīng)用翻譯引擎和NLP算法將源語言內(nèi)容轉(zhuǎn)換為目標語言內(nèi)容的能力，確保語言內(nèi)容和含義沒有

發(fā)生改變，能夠滿足不同語種交流過程中的各種需求；

3

T/XXXXX—XXXX

c)語言反饋能力：能夠?qū)⒛繕苏Z言內(nèi)容使用文本、語音、圖像和視頻等方式，作為系統(tǒng)輸出反饋

到外界。

7機器翻譯智能能力指標及計算方法

7.1能力指標體系

機器翻譯智能能力測評指標體系結(jié)構(gòu)見圖3。

圖3機器翻譯智能能力測評指標體系

機器翻譯智能能力測評指標項及說明見表1。

表1機器翻譯智能能力測評指標項及說明

一級指標二級指標指標項說明打分方法權(quán)重備注

——完全沒有譯出來，0分該指標

——譯文中只有個別詞被孤立地翻譯，1分定義描

翻譯結(jié)果是否——譯文中有少數(shù)短語或比詞大的語法成分被翻譯，2分述見

忠實度忠實地表達了——源語言中60%的概念及其之間的關(guān)系被正確翻譯，或原0.27GB/T

源語言的內(nèi)容文中的主謂賓及其關(guān)系被正確的翻譯，3分19682-

——源語言中80%的概念及其之間的關(guān)系被正確翻譯，4分2005，

——源語言中100%的概念及其之間的關(guān)系被正確翻譯，5分4.1

機器翻譯——完全不可理解，0分

結(jié)果質(zhì)量——譯文晦澀難懂（只有個別短語或比詞大的語法成分可以該指標

理解），1分定義描

——譯文40%的部分基本流暢（少數(shù)的短語或比詞大的語法述見

翻譯結(jié)果是否

流利度成分可以理解），2分0.27GB/T

流暢和地道

——譯文60%的部分基本流暢，3分19682-

——譯文80%的部分基本流暢，或譯文中的主謂賓部分基本2005，

流暢，只是個別詞語或搭配不地道，4分4.3

——譯文流暢而且地道，5分

4

T/XXXXX—XXXX

表1機器翻譯智能能力測評指標項及說明（續(xù)）

一級指標二級指標指標項說明打分方法權(quán)重備注

——譯文綜合差錯率≥90%，0分

——70%≤譯文綜合差錯率＜90%，1分

翻譯結(jié)果與源

綜合差錯——50%≤譯文綜合差錯率＜70%，2分

語言內(nèi)容的綜0.18

率——30%≤譯文綜合差錯率＜50%，3分

合差錯率