一具漢英機(jī)器翻譯系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

千里之行，始于足下。第2頁(yè)/共2頁(yè)精品文檔推薦一具漢英機(jī)器翻譯系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)一具漢英機(jī)器翻譯系統(tǒng)的

計(jì)算模型與語(yǔ)言模型*

劉群+詹衛(wèi)東++常寶寶++劉穎+

(+中國(guó)科學(xué)院計(jì)算技術(shù)研究所二室北京100080)

(++北京大學(xué)計(jì)算語(yǔ)言學(xué)研究所北京100871)

摘要：本文介紹我們所設(shè)計(jì)并實(shí)現(xiàn)的一具漢英機(jī)器翻譯系統(tǒng)。在概要介紹本系統(tǒng)的要緊目標(biāo)和設(shè)計(jì)原則的基礎(chǔ)上，著重講明系統(tǒng)的計(jì)算模型和語(yǔ)言模型，最終給出實(shí)驗(yàn)結(jié)果和進(jìn)一步的計(jì)劃。

關(guān)鍵詞：自然語(yǔ)言處理機(jī)器翻譯中文信息處理

一、引言

我國(guó)的機(jī)器翻譯研究近年來(lái)取得了非常大的進(jìn)展。特殊是英漢機(jī)器翻譯系統(tǒng)的研制差不多取得了較大的成功，達(dá)到了初步有用的時(shí)期。相對(duì)而言，漢英機(jī)器翻譯的研究卻發(fā)展比較緩慢，離有用化還有相當(dāng)?shù)木嚯x[1]。我們的目的是利用目前最新的計(jì)算機(jī)軟件技術(shù)、相對(duì)成熟的機(jī)器翻譯辦法和先進(jìn)的漢語(yǔ)語(yǔ)法理論，構(gòu)造一具初步有用的漢英機(jī)器翻譯系統(tǒng)。本文將對(duì)我們所開(kāi)辟的系統(tǒng)所采納的計(jì)算模型和語(yǔ)言模型作一具總體性的介紹，而別涉及過(guò)多的細(xì)節(jié)。

下面我們簡(jiǎn)要介紹一下本系統(tǒng)的幾個(gè)要緊設(shè)計(jì)原則：

⑴采納成熟的技術(shù)

我們的目的是構(gòu)造一具真正有用的漢英機(jī)器翻譯系統(tǒng)，因而在可供挑選的若干技術(shù)路線面前，我們將盡可能選用比較成熟的技術(shù)，而在現(xiàn)有技術(shù)難以解決咨詢題時(shí)再嘗試一些新技術(shù)。

⑵開(kāi)放的體系結(jié)構(gòu)

開(kāi)放的體系結(jié)構(gòu)要緊體如今系統(tǒng)的實(shí)現(xiàn)上所采納的軟件構(gòu)件技術(shù)[8]。整個(gè)系統(tǒng)采納一些相對(duì)獨(dú)立的軟件構(gòu)件組成，因而能夠方便地對(duì)系統(tǒng)舉行修改、維護(hù)和擴(kuò)充。翻譯的過(guò)程嚴(yán)格按照獨(dú)立分析、獨(dú)立生成的原則舉行組織，每一時(shí)期的算法相互獨(dú)立，對(duì)其中一具時(shí)期算法的修改不可能對(duì)其他算法造成妨礙。

⑶方便的調(diào)試環(huán)境

本系統(tǒng)強(qiáng)調(diào)為語(yǔ)言工作者提供一具方便的調(diào)試環(huán)境。系統(tǒng)提供多窗口圖形界面的知識(shí)庫(kù)調(diào)試工具，支持課題組中多人并且經(jīng)過(guò)網(wǎng)絡(luò)對(duì)一具知識(shí)庫(kù)舉行操作。提供對(duì)翻譯過(guò)程直觀顯示，用戶能夠清楚地看到翻譯過(guò)程的每一步操作。提供翻譯出錯(cuò)緣故查找機(jī)制，用戶

*本項(xiàng)目的研究受到863-306資助，合同號(hào)為863-306-03-06-2

能夠輕松確定翻譯出錯(cuò)的位置。

機(jī)器翻譯系統(tǒng)可依據(jù)別同的標(biāo)準(zhǔn)舉行分類(lèi)，這些標(biāo)準(zhǔn)也刻劃出本系統(tǒng)的一些基本特點(diǎn)：

(1)規(guī)則辦法與語(yǔ)料庫(kù)辦法

規(guī)則辦法進(jìn)展到今天，相對(duì)來(lái)講已比較成熟，但由于專(zhuān)家描述的規(guī)則知識(shí)通常顆粒度較大，別利于處理大量的細(xì)節(jié)，因而在處理大規(guī)模的開(kāi)放語(yǔ)料時(shí)，遇到了難以克服的困難；而從預(yù)料庫(kù)中獵取的知識(shí)顆粒度較小，在自然語(yǔ)言處理的某些方面取得了成功，但純粹基于語(yǔ)料庫(kù)的的機(jī)器翻譯系統(tǒng)，還沒(méi)有比較成功的例子。本系統(tǒng)目前采納的是基于規(guī)則的技術(shù)，我們打算將其擴(kuò)展成為一具規(guī)則辦法與語(yǔ)料庫(kù)辦法相結(jié)合的系統(tǒng)。

(2)轉(zhuǎn)換辦法與中間語(yǔ)言辦法

從理論上講，在實(shí)現(xiàn)多種語(yǔ)言互譯的機(jī)器翻譯系統(tǒng)時(shí)，中間語(yǔ)言辦法能夠節(jié)約非常多的工作量。但從已實(shí)現(xiàn)的系統(tǒng)來(lái)看，使用轉(zhuǎn)換辦法較易取得成功。本系統(tǒng)也采納轉(zhuǎn)換辦法。

(3)確定性算法與別確定性算法

確定性算法的優(yōu)點(diǎn)是算法較為簡(jiǎn)單，翻譯速度快，缺點(diǎn)是別能提供回溯的能力，翻譯過(guò)程任何一步的錯(cuò)誤將導(dǎo)致整個(gè)翻譯的失敗。別確定算法剛好相反。本系統(tǒng)采納別確定性算法，翻譯過(guò)程的每一步驟基本上別確定的，都能夠回溯。

二、計(jì)算模型

我們從系統(tǒng)結(jié)構(gòu)、知識(shí)表示、翻譯算法三方面來(lái)介紹我們所采納的計(jì)算模型。

1、系統(tǒng)結(jié)構(gòu)

圖1漢英機(jī)器翻譯系統(tǒng)總體結(jié)構(gòu)

系統(tǒng)總體結(jié)構(gòu)如圖1所示。

2、知識(shí)表示

機(jī)器翻譯的過(guò)程能夠看成是一具運(yùn)用知識(shí)舉行推理的過(guò)程。知識(shí)表示是這一過(guò)程的基礎(chǔ)。我們把機(jī)器翻譯中用到的知識(shí)表示形式分為內(nèi)部知識(shí)和外部知識(shí)兩類(lèi)。其中外部知識(shí)是存放于知識(shí)庫(kù)之中，由語(yǔ)言工作者舉行治理的知識(shí)，如詞典和各類(lèi)規(guī)則庫(kù)等，內(nèi)部知識(shí)是翻譯過(guò)程中暫時(shí)生成的，用于描述所翻譯的句子的語(yǔ)法語(yǔ)義特征的知識(shí)，如樹(shù)形圖、特征結(jié)構(gòu)和語(yǔ)義網(wǎng)絡(luò)等。

本系統(tǒng)的外部知識(shí)表示由知識(shí)庫(kù)子系統(tǒng)舉行處理。知識(shí)庫(kù)包括一具語(yǔ)言模型、一部詞典、多個(gè)規(guī)則庫(kù)和一具實(shí)例庫(kù)。

本系統(tǒng)設(shè)計(jì)的嚴(yán)格的語(yǔ)言模型起統(tǒng)帥作用，其中規(guī)定了本系統(tǒng)所使用的源語(yǔ)言和目標(biāo)語(yǔ)言的詞法模型、句法模型和語(yǔ)義模型，即詞法、句法和語(yǔ)義的分類(lèi)和各種屬性描述。所有知識(shí)庫(kù)中所用到的各種語(yǔ)言知識(shí)描述用的符號(hào)格式都必須符合語(yǔ)言模型中的規(guī)定。

整個(gè)系統(tǒng)使用一部雙語(yǔ)詞典。

多個(gè)規(guī)則庫(kù)對(duì)應(yīng)于翻譯的各個(gè)步驟，每個(gè)步驟使用相應(yīng)的規(guī)則庫(kù)。每個(gè)規(guī)則庫(kù)的具體格式各別相同，但都是都采納“樹(shù)結(jié)構(gòu)+約束”的形式。在知識(shí)庫(kù)的格式定義上，我們特殊強(qiáng)調(diào)別僅要能描述全局性知識(shí)，也要能描述一些局部性的知識(shí)。所以我們特殊強(qiáng)調(diào)詞典的描述能力。例如，詞典中的局部規(guī)則與全局規(guī)則具有徹底相同的格式，在使用上局部規(guī)則優(yōu)先于全局規(guī)則，如此特殊有利處理一些與具體詞相關(guān)的特別用法。

實(shí)例庫(kù)用于存放系統(tǒng)翻譯過(guò)的句子及其相關(guān)信息。

本系統(tǒng)的內(nèi)部知識(shí)表示形式包括線圖(Chart)、樹(shù)結(jié)構(gòu)和特征網(wǎng)絡(luò)三種形式。

線圖源于ChartParsing算法，是一種比較通用的語(yǔ)言內(nèi)部結(jié)構(gòu)表示辦法，能夠并且表示翻譯過(guò)程中產(chǎn)生的大量詞結(jié)點(diǎn)和短語(yǔ)結(jié)點(diǎn)，也能夠習(xí)慣多種別同的分析算法。

樹(shù)結(jié)構(gòu)是短語(yǔ)結(jié)構(gòu)分析中最常用的一種表示辦法，用于描述句法成分（包括詞結(jié)點(diǎn)和短語(yǔ)結(jié)點(diǎn)）之間的組合關(guān)系。每個(gè)樹(shù)結(jié)點(diǎn)對(duì)應(yīng)于線圖中的一具詞結(jié)點(diǎn)或短語(yǔ)結(jié)點(diǎn)。我們所使用的樹(shù)結(jié)構(gòu)表示法中要求標(biāo)出每個(gè)句法成分的中心子結(jié)點(diǎn)，用于處理屬性值在句法成分之間的傳播。

特征網(wǎng)絡(luò)是本系統(tǒng)所使用的一種特有的知識(shí)表示辦法。這種表示法融合了特征結(jié)構(gòu)表示法[4]和語(yǔ)義網(wǎng)絡(luò)表示法的一些特點(diǎn)并加以改進(jìn)，以適合漢英機(jī)器翻譯的需要。具體來(lái)講，特征網(wǎng)絡(luò)表達(dá)具有以下特點(diǎn)：

1、一具特征網(wǎng)絡(luò)由許多個(gè)互相關(guān)聯(lián)的特征結(jié)點(diǎn)所組成；

2、一具特征結(jié)點(diǎn)是若干個(gè)特征的集合，一具特征是一具“屬性-值”對(duì)；

3、屬性分為簡(jiǎn)單、原子屬性和關(guān)聯(lián)屬性兩種，原子屬性的值是一具原子，關(guān)聯(lián)屬性的值是另一具特征結(jié)點(diǎn)；

4、原子分為層次型、符號(hào)型、數(shù)值型、布爾型等多種類(lèi)型，原子之間能夠經(jīng)過(guò)與、或、非等邏輯操作構(gòu)成復(fù)雜原子，每一種類(lèi)型的原子有別同的合一算法；

5、特征結(jié)點(diǎn)之間經(jīng)過(guò)關(guān)聯(lián)屬性互相連接，這種連接能夠構(gòu)成回路，我們改進(jìn)了合一算法，使得這種回路別至于在合一運(yùn)算時(shí)造成死循環(huán)；

6、一具特征結(jié)點(diǎn)對(duì)應(yīng)著句法分析中差不多浮現(xiàn)或也許浮現(xiàn)的一具句法成分，而每一具句法成分（即句法樹(shù)中的結(jié)點(diǎn)）一定有唯一的一具特征結(jié)點(diǎn)與之對(duì)應(yīng)；

7、在一定的條件下，屬性的值能夠在特征結(jié)點(diǎn)之間舉行傳遞；

8、特征結(jié)點(diǎn)之間實(shí)行真正的合一運(yùn)算，而別是偽合一運(yùn)算。

特征網(wǎng)絡(luò)表示法作為一種最基本的知識(shí)表示辦法在本系統(tǒng)中發(fā)揮著重要的作用，它都是滿腳了我們?cè)跐h英機(jī)器翻譯中描述各種復(fù)雜的語(yǔ)言現(xiàn)象的需要。

3、翻譯算法

我們采納基于轉(zhuǎn)換的翻譯辦法，遵循獨(dú)立分析、獨(dú)立生成的設(shè)計(jì)原則[3]。

具體的翻譯流程下圖2所示。

圖2翻譯的流程

其中，漢語(yǔ)的詞形分析時(shí)期分為重疊詞處理和切分兩個(gè)步驟，漢語(yǔ)的切分采納雙向最大匹配算法。浮現(xiàn)切分歧義時(shí)，別做推斷，保留到結(jié)構(gòu)分析時(shí)期舉行處理。結(jié)構(gòu)分析時(shí)期采納改進(jìn)的ChartParsing算法[6]。轉(zhuǎn)換時(shí)期采納自頂向下與自底向上相結(jié)合的局部子樹(shù)變換算法。結(jié)構(gòu)生成時(shí)期采納自底向上的局部子樹(shù)變換算法和自頂向下的全局子樹(shù)位移算法。

4、用戶界面

用戶界面包括使用界面和治理調(diào)試界面。由于本系統(tǒng)還處于開(kāi)辟時(shí)期，我們著重開(kāi)辟了治理調(diào)試界面。關(guān)于一具實(shí)際的機(jī)器翻譯系統(tǒng)來(lái)講，語(yǔ)言規(guī)則和詞典的調(diào)試工作是很重要的。一具良好的機(jī)器翻譯系統(tǒng)治理調(diào)試界面，能夠使語(yǔ)言工作者直觀方便地舉行語(yǔ)言規(guī)則和詞典的調(diào)試，大大提高調(diào)試的效率，進(jìn)而有效地提高語(yǔ)言知識(shí)庫(kù)的質(zhì)量。

本系統(tǒng)的治理調(diào)試界面分為知識(shí)庫(kù)治理界面和翻譯調(diào)試界面兩部分。知識(shí)庫(kù)治理界面幫助語(yǔ)言工作者對(duì)各知識(shí)庫(kù)舉行直觀的創(chuàng)建、治理和查詢等操作，翻譯調(diào)試界面幫助語(yǔ)言工作者經(jīng)過(guò)觀看具體例句的翻譯過(guò)程對(duì)語(yǔ)言知識(shí)庫(kù)舉行調(diào)試。系統(tǒng)依次以可視的圖形顯示源文正文、分析產(chǎn)生的每一具源文詞語(yǔ)結(jié)點(diǎn)、源文短語(yǔ)結(jié)點(diǎn)、源文句法樹(shù)、轉(zhuǎn)換生成產(chǎn)生的譯文句法樹(shù)、譯文詞結(jié)點(diǎn)和最終的譯文正文。語(yǔ)言工作者能夠依照需要顯示任何一具句法成分的產(chǎn)生過(guò)程及其對(duì)應(yīng)的特征結(jié)點(diǎn)（屬性和值）。

三、語(yǔ)言模型

在一具機(jī)器翻譯系統(tǒng)中，計(jì)算模型決定了該系統(tǒng)的能力的極限，即該系統(tǒng)最好能翻譯到啥程度；而語(yǔ)言模型則決定了該決定了這種極限能在多大程度上實(shí)現(xiàn)。沒(méi)有好的語(yǔ)言模型，系統(tǒng)的計(jì)算模型再好，也不會(huì)得到高質(zhì)量的譯文。

本系統(tǒng)采納以語(yǔ)法分析為主，以語(yǔ)義分析為輔的語(yǔ)言模型。

就漢英機(jī)器翻譯系統(tǒng)而言，目前還沒(méi)有特意適用于機(jī)器翻譯的漢語(yǔ)語(yǔ)法模型。本系統(tǒng)采納的語(yǔ)言模型要緊來(lái)源于北京大學(xué)計(jì)算語(yǔ)言學(xué)研究所研制的《現(xiàn)代漢語(yǔ)語(yǔ)法信息詞典》[2]（以下簡(jiǎn)稱(chēng)《詞典》），并在該詞典所采納的語(yǔ)言模型基礎(chǔ)上修改擴(kuò)充而成。

1、漢語(yǔ)詞語(yǔ)分類(lèi)和屬性[10]

本系統(tǒng)所采納的漢語(yǔ)詞語(yǔ)分類(lèi)和屬性取自于《詞典》，并作了少量的改動(dòng)?！对~典》中將現(xiàn)代漢語(yǔ)詞語(yǔ)（包括標(biāo)點(diǎn)符號(hào)、語(yǔ)素、成語(yǔ)等）分為26類(lèi)，我們只采納了其中的20類(lèi)，并將其余6類(lèi)歸并到這些類(lèi)中?！对~典》中有大量的屬性描述，我們依照機(jī)器翻譯的需要對(duì)這些屬性作了一定的取舍，并增加了少量新屬性。本系統(tǒng)所使用的機(jī)器翻譯詞典算是在《詞典》的基礎(chǔ)上修改擴(kuò)充而成。在使用中我們體味到，《詞典》對(duì)現(xiàn)代漢語(yǔ)詞語(yǔ)的分類(lèi)合理，對(duì)詞語(yǔ)語(yǔ)法功能的描述很詳盡，都是能滿腳漢英機(jī)器翻譯的需要。

2、漢語(yǔ)短語(yǔ)分類(lèi)和屬性[7,10]

對(duì)漢語(yǔ)短語(yǔ)的分類(lèi)，我們繼承了《詞典》中對(duì)漢語(yǔ)詞語(yǔ)分類(lèi)時(shí)采納的“功能分類(lèi)”思想，將短語(yǔ)（包括句子）分成np,vp,ap,tp,sp,dp,pp,mp,mcp,dj,fj,zj等12類(lèi)。另外，我們還定義了內(nèi)部結(jié)構(gòu)、語(yǔ)氣、被動(dòng)、否定等短語(yǔ)屬性。

我們以為，短語(yǔ)和漢語(yǔ)詞語(yǔ)一樣，采納按功能分類(lèi)的思想，而別是按結(jié)構(gòu)分類(lèi)或按功能-結(jié)構(gòu)混合分類(lèi)，是符合機(jī)器翻譯用漢語(yǔ)語(yǔ)法體系要求的。這是因?yàn)椋δ芊从沉艘环N短語(yǔ)與其它短語(yǔ)互相結(jié)合的能力，而語(yǔ)法規(guī)則所描述的算是短語(yǔ)之間怎么互相組合構(gòu)成新的短語(yǔ)，因而采納功能分類(lèi)是很自但是貼切的。短語(yǔ)的結(jié)構(gòu)從本質(zhì)上講不過(guò)短語(yǔ)內(nèi)部成分之間的組成關(guān)系，盡管結(jié)構(gòu)對(duì)功能也有一定的妨礙，但它并別直截了當(dāng)反映短語(yǔ)向外結(jié)合的能力。所以我們不過(guò)把短語(yǔ)的內(nèi)部結(jié)構(gòu)作為一種屬性來(lái)對(duì)規(guī)則舉行約束，而別是作為分類(lèi)的依據(jù)。在實(shí)踐中我們感受到這種做法是恰當(dāng)?shù)模葎e至于導(dǎo)致規(guī)則的描述能力別夠，也不可能產(chǎn)生大量的冗余規(guī)則。

總的來(lái)講，我們對(duì)漢語(yǔ)短語(yǔ)的認(rèn)識(shí)要比我們對(duì)漢語(yǔ)詞語(yǔ)的認(rèn)識(shí)膚淺得多。在非常多事情下，我們沒(méi)有腳夠準(zhǔn)確的屬性來(lái)描述規(guī)則的約束條件，尤其是一些非常常用的歧義結(jié)構(gòu)，如np+np,vp+vp,np+vp等等。這尤其需要我們機(jī)器翻譯研究工作者與語(yǔ)言學(xué)家共同努力，對(duì)漢語(yǔ)短語(yǔ)的語(yǔ)法功能舉行更加深入的研究。

3、語(yǔ)義分類(lèi)和屬性[9]

本系統(tǒng)是一具以語(yǔ)法分析為主，語(yǔ)義分析為輔的系統(tǒng)。盡管這樣，在本系統(tǒng)中，為消解句法分析和轉(zhuǎn)換時(shí)的歧義，語(yǔ)義分析依然起著重要的作用。

本系統(tǒng)采納的語(yǔ)義模型要緊包括語(yǔ)義分類(lèi)和配價(jià)分析[5]兩個(gè)方面。

我們制定了一具比較詳盡的語(yǔ)義分類(lèi)體系，對(duì)每一具漢語(yǔ)實(shí)詞都要填寫(xiě)其相應(yīng)的語(yǔ)義分類(lèi)，而關(guān)于名詞、動(dòng)詞、形容詞三類(lèi)詞語(yǔ)還要填寫(xiě)配價(jià)數(shù)以及相應(yīng)配價(jià)成分的語(yǔ)義類(lèi)。在規(guī)則的約束條件中，對(duì)某些短語(yǔ)的組合規(guī)定了一定的配價(jià)關(guān)系，假如這種關(guān)系別能被滿腳，則合一失敗。如此就排除了相當(dāng)一部分由于搭配別當(dāng)所造成的歧義。

四、實(shí)驗(yàn)結(jié)果和結(jié)論

我們關(guān)于3000個(gè)覆蓋了現(xiàn)代漢語(yǔ)要緊句型的漢語(yǔ)句子封閉集舉行了調(diào)試，調(diào)試后翻譯的正確率達(dá)到90%左右。目前我們所使用的漢語(yǔ)分析規(guī)則庫(kù)中的規(guī)則別超過(guò)400條，詞典中約有4000個(gè)漢語(yǔ)詞條。

我們下一時(shí)期將要舉行的一項(xiàng)要緊工作是詞典的擴(kuò)充，爭(zhēng)取使之成為一具有用的系統(tǒng)。另一項(xiàng)工作是嘗試引進(jìn)語(yǔ)料庫(kù)和統(tǒng)計(jì)的做法來(lái)幫助獵取知識(shí)以提高翻譯的準(zhǔn)確率和效率。

參考文獻(xiàn)：

[1]段慧明，俞士汶，機(jī)器翻譯評(píng)測(cè)報(bào)告，《計(jì)算機(jī)世界》報(bào)1996年3月25日，第183頁(yè)

[2]俞士汶等，《現(xiàn)代漢語(yǔ)語(yǔ)法信息詞典》規(guī)格講明書(shū)，中文信息學(xué)報(bào)，第10卷，第2期，第1-22頁(yè)，1996

年

[3]馮志偉，自然語(yǔ)言機(jī)器翻譯新論，語(yǔ)文出版社，1995

[4]MartinKay,UnificationinGrammar,In