《自然語(yǔ)言理解》ppt課件

1、 自然語(yǔ)言理解自然語(yǔ)言理解 自然言語(yǔ)了解自然言語(yǔ)了解 10.1 簡(jiǎn)單句了解簡(jiǎn)單句了解 10.2 復(fù)合句了解復(fù)合句了解10.3 轉(zhuǎn)換文法和轉(zhuǎn)換網(wǎng)絡(luò)轉(zhuǎn)換文法和轉(zhuǎn)換網(wǎng)絡(luò) 自然語(yǔ)言理解自然語(yǔ)言理解 10.1 簡(jiǎn)單句了解簡(jiǎn)單句了解 10.1.1 了解的實(shí)現(xiàn)過(guò)程 要了解一個(gè)語(yǔ)句，需建立起一個(gè)和該簡(jiǎn)單句相對(duì)應(yīng)的機(jī)內(nèi)表達(dá)。而要建立機(jī)內(nèi)表達(dá)，需求做以下兩方面的任務(wù)： (1)了解語(yǔ)句中的每一個(gè)詞。 (2)以這些詞為根底組成一個(gè)可以表達(dá)整個(gè)語(yǔ)句意義的構(gòu)造。 自然語(yǔ)言理解自然語(yǔ)言理解 由于這個(gè)解釋過(guò)程涉及到許多事情，因此經(jīng)常將這項(xiàng)任務(wù)分成以下三個(gè)部分來(lái)進(jìn)展： (1)語(yǔ)法分析。將單詞之間的線性次序變換成一個(gè)顯示單詞如何

2、與其他單詞相關(guān)聯(lián)的構(gòu)造。語(yǔ)法分析確定語(yǔ)句能否符合語(yǔ)法，由于一個(gè)不合語(yǔ)法的語(yǔ)句就更難了解。 (2)語(yǔ)義分析。各種意義被賦予由語(yǔ)法分析程序所建立的構(gòu)造，即在語(yǔ)法構(gòu)造和義務(wù)領(lǐng)域內(nèi)對(duì)象之間進(jìn)展映射變換。 (3)語(yǔ)用分析。為確定真正含義，對(duì)表達(dá)的構(gòu)造重新加以解釋。 自然語(yǔ)言理解自然語(yǔ)言理解 10.1.2 語(yǔ)法分析 要進(jìn)展語(yǔ)法分析，必需首先給出該言語(yǔ)的文法規(guī)那么，以便為語(yǔ)法分析提供一個(gè)準(zhǔn)那么和根據(jù)。對(duì)于自然言語(yǔ)人們已提出了許多種文法，例如，喬姆斯基Chomsky提出的上下文無(wú)關(guān)文法就是一種常用的文法。 一個(gè)言語(yǔ)的文法普通用一組文法規(guī)那么稱(chēng)為產(chǎn)生式或重寫(xiě)規(guī)那么以及非終結(jié)符與終結(jié)符來(lái)定義和描畫(huà)。例如，下面就是

3、一個(gè)英語(yǔ)子集的上下文無(wú)關(guān)文法： 自然語(yǔ)言理解自然語(yǔ)言理解 = = =| =the|a|an =man|student|apple|computer =eats|operats 自然語(yǔ)言理解自然語(yǔ)言理解 這個(gè)文法有6條文法規(guī)那么，它們是用BNF范式表示的。其中帶尖括號(hào)的項(xiàng)為非終結(jié)符，第一個(gè)非終結(jié)符稱(chēng)為起始符，不帶尖括號(hào)的項(xiàng)為終結(jié)符，符號(hào)“ =的意思是“定義為，符號(hào)“|是“或者的意思，而不帶“|的項(xiàng)之間是“與關(guān)系。符號(hào)“ =也可以用箭頭“表示。 自然語(yǔ)言理解自然語(yǔ)言理解 有了文法規(guī)那么，對(duì)于一個(gè)給定的句子，就可以進(jìn)展語(yǔ)法分析，即根據(jù)文法規(guī)那么來(lái)判別其能否符合語(yǔ)法?？梢钥闯?，上面的文法規(guī)那么實(shí)踐是非

4、終結(jié)符的分解、變換規(guī)那么。分解、變換從起始符開(kāi)場(chǎng)，到終結(jié)符終了。所以，全體文法規(guī)那么就構(gòu)成一棵如圖10-1所示的與或樹(shù)，我們稱(chēng)其為文法樹(shù)。 自然語(yǔ)言理解自然語(yǔ)言理解 圖101 文法樹(shù) 自然語(yǔ)言理解自然語(yǔ)言理解 例10.1 下面是一個(gè)基于上述文法的語(yǔ)法分析程序。它采用自頂向下搜索。 sentence(X):append(Y，Z，X)，noun-phrase(Y)，verb-phrase(Z).noun-phrase(X):append(Y，Z，X)，determiner(Y)，noun(Z).verb-phrase(X):append(Y，Z，X)，verb(Y)，noun-phrase(Z).

5、verb-phrase(X):verb(X).determiner(the). 自然語(yǔ)言理解自然語(yǔ)言理解 noun(H|-):member(H，man，student，apple，banana，computer).verb(H|-):member(H，eats，study，programming，operats).append(，L，L).append(H|T，L，H|L2):append(T，L，L2).member(X，X|-).member(X，-|T):member(X，T). 自然語(yǔ)言理解自然語(yǔ)言理解 圖102 語(yǔ)法分析樹(shù) 自然語(yǔ)言理解自然語(yǔ)言理解 10.1.3 語(yǔ)義分析 語(yǔ)義分析就

6、是要識(shí)別一個(gè)語(yǔ)句所表達(dá)的意思。語(yǔ)義分析的方法很多，如運(yùn)用格文法、語(yǔ)義文法等。這里僅引見(jiàn)其中的語(yǔ)義文法方法。 語(yǔ)義文法是進(jìn)展語(yǔ)義分析的一種簡(jiǎn)一方法。所謂語(yǔ)義文法，就是在傳統(tǒng)的短語(yǔ)構(gòu)造文法的根底上，將名詞短語(yǔ)、動(dòng)詞短語(yǔ)等不含語(yǔ)義信息的純語(yǔ)法類(lèi)別，用所討論領(lǐng)域的專(zhuān)門(mén)類(lèi)別來(lái)替代。例如，下面就是一個(gè)語(yǔ)義文法的例子： 自然語(yǔ)言理解自然語(yǔ)言理解 SPRESENT the ATTRIBUTE of SHIP PRESENTwhat is|can you tell me ATTRIBUTElength|class SHIPthe SHIPNAME|CLASSNAME class ship SHIPNAMEHua

7、nghe|Changjiang CLASSNAMEcarrier|submarine 自然語(yǔ)言理解自然語(yǔ)言理解 這是一個(gè)艦船管理數(shù)據(jù)庫(kù)系統(tǒng)自然言語(yǔ)接口的語(yǔ)義文法片段。 可以看出，語(yǔ)義文法的重寫(xiě)規(guī)那么與上下文無(wú)關(guān)文法的方式是類(lèi)似的。但這里沒(méi)有出現(xiàn)像名詞短語(yǔ)和動(dòng) 詞 短 語(yǔ) 等 語(yǔ) 法 類(lèi) 別 ， 而 是 用 了 P R E S E N T 、ATTRIBUTE、SHIP等專(zhuān)門(mén)領(lǐng)域中的類(lèi)別。 自然語(yǔ)言理解自然語(yǔ)言理解 10.2 復(fù)合句了解復(fù)合句了解 簡(jiǎn)單句的了解不涉及句與句之間的關(guān)系，它的了解過(guò)程首先是賦單詞以意義，然后再給整個(gè)語(yǔ)句賦予一種構(gòu)造。而一組語(yǔ)句的了解，無(wú)論它是一個(gè)文章選段，還是對(duì)話節(jié)錄

8、，句子之間都有相互關(guān)系。所以，復(fù)合句的了解，就不僅要分析各個(gè)簡(jiǎn)單句，而且要找出句子之間的關(guān)系。這些關(guān)系的發(fā)現(xiàn)，對(duì)于了解起著非常重要的作用。 自然語(yǔ)言理解自然語(yǔ)言理解 句子之間關(guān)系包括以下幾種：(1)一樣的事物，例如： “小華有個(gè)計(jì)算器，小劉想用它。單詞“它和“計(jì)算器指的是同一物體。(2)事物的一部分，例如： “小林穿上她剛買(mǎi)的大衣，發(fā)現(xiàn)掉了一個(gè)扣子?！翱圩又傅氖恰皠傎I(mǎi)的大衣的一部分。 (3)行動(dòng)的一部分，例如： “王宏去北京出差，他乘早班飛機(jī)動(dòng)身。 自然語(yǔ)言理解自然語(yǔ)言理解 乘飛機(jī)應(yīng)看成是出差的一部分。(4)與行動(dòng)有關(guān)的事物，例如： “李明預(yù)備騎車(chē)去上學(xué)，但他騎上車(chē)子時(shí)，發(fā)現(xiàn)車(chē)胎沒(méi)氣了。李明的

9、自行車(chē)應(yīng)了解為是與他騎車(chē)去上學(xué)這一行動(dòng)有關(guān)的事物。(5)因果關(guān)系，例如： “今天下雨，所以不能上早操。下雨應(yīng)了解為是不能上操的緣由。(6)方案次序，例如： “小張預(yù)備結(jié)婚，他決議再找一份任務(wù)干。 自然語(yǔ)言理解自然語(yǔ)言理解 10.3 轉(zhuǎn)換文法和轉(zhuǎn)換網(wǎng)絡(luò)轉(zhuǎn)換文法和轉(zhuǎn)換網(wǎng)絡(luò) 10.3.1 轉(zhuǎn)換文法 人們對(duì)自然言語(yǔ)句子的構(gòu)造進(jìn)展研討，發(fā)現(xiàn)同一個(gè)意思往往有許多不同的表示方式說(shuō)法。 自然語(yǔ)言理解自然語(yǔ)言理解 轉(zhuǎn)換文法就是可把句子的一種構(gòu)造轉(zhuǎn)換為另一種構(gòu)造的文法。轉(zhuǎn)換文法是由根底和轉(zhuǎn)換兩部分組成。根底部分是一個(gè)上下文無(wú)關(guān)文法，它產(chǎn)生句子的深層構(gòu)造表示；轉(zhuǎn)換部分是一個(gè)轉(zhuǎn)換規(guī)那么重寫(xiě)規(guī)那么集，它擔(dān)任句子構(gòu)造的轉(zhuǎn)

10、換。轉(zhuǎn)換文法的任務(wù)過(guò)程是：先用上下文無(wú)關(guān)文法建立相應(yīng)句子的深層構(gòu)造，然后再運(yùn)用轉(zhuǎn)換規(guī)那么將深層構(gòu)造轉(zhuǎn)換為符合人們習(xí)慣的表層構(gòu)造。圖103給出了一條把自動(dòng)句轉(zhuǎn)換為被動(dòng)句的轉(zhuǎn)換規(guī)那么。 自然語(yǔ)言理解自然語(yǔ)言理解 圖103 轉(zhuǎn)換規(guī)那么 自然語(yǔ)言理解自然語(yǔ)言理解 10.3.2 轉(zhuǎn)換網(wǎng)絡(luò) 轉(zhuǎn)換網(wǎng)絡(luò)TransitionNetwork全稱(chēng)為形狀轉(zhuǎn)換網(wǎng)絡(luò)。它是一種由節(jié)點(diǎn)和有向邊弧組成的有向圖。其中節(jié)點(diǎn)代表形狀，有向弧代表從一個(gè)形狀到另一個(gè)形狀的轉(zhuǎn)換。一個(gè)轉(zhuǎn)換網(wǎng)絡(luò)中普通有一個(gè)起始節(jié)點(diǎn)(代表起始形狀)，有一個(gè)或多個(gè)終止節(jié)點(diǎn)(代表終止形狀。普通節(jié)點(diǎn)用單線圓圈表示，終止節(jié)點(diǎn)用雙線圓圈表示。 自然語(yǔ)言理解自然語(yǔ)言理解 轉(zhuǎn)換網(wǎng)絡(luò)也是一種自然言語(yǔ)文法的表示方式，用它也可對(duì)所給句子進(jìn)展語(yǔ)法分析。例如，10.1節(jié)給出的上下文無(wú)關(guān)文法用形狀轉(zhuǎn)換網(wǎng)絡(luò)表示就是圖104。圖中S0節(jié)點(diǎn)為起始節(jié)點(diǎn)，S5為終止節(jié)點(diǎn)。 自然語(yǔ)言理解自然語(yǔ)言理解 圖104 形狀轉(zhuǎn)換網(wǎng)絡(luò) 自然語(yǔ)言理解自然語(yǔ)言理解 需指出的是，上述的形狀轉(zhuǎn)換網(wǎng)絡(luò)是最根本、最簡(jiǎn)單