人工智能基礎(chǔ)自然語(yǔ)言理解(24張)課件

1、目錄章知識(shí)表示章搜索技術(shù)章推理技術(shù)章機(jī)器學(xué)習(xí)章專(zhuān)家系統(tǒng)章自動(dòng)規(guī)劃系統(tǒng)章自然語(yǔ)言理解章智能控制章人工智能程序設(shè)計(jì)第1頁(yè)，共25頁(yè)。8.1 語(yǔ)言及其理解的一般問(wèn)題8.1.1 語(yǔ)言和語(yǔ)言理解 1. 語(yǔ)言的構(gòu)成 語(yǔ)言是人類(lèi)進(jìn)行通信的自然媒介，它包括口語(yǔ)、書(shū)面語(yǔ)以及動(dòng)作語(yǔ)(如啞語(yǔ)和旗語(yǔ))等。 語(yǔ)言使用于傳遞信息的表示方法、約定和規(guī)則的集合。 語(yǔ)言由語(yǔ)句組成，每個(gè)語(yǔ)句又由單詞組成；組成語(yǔ)句和語(yǔ)言時(shí)，應(yīng)遵循一定的語(yǔ)法與語(yǔ)義規(guī)則。語(yǔ)言由語(yǔ)音、詞匯和語(yǔ)法構(gòu)成。 語(yǔ)言的基本屬性：語(yǔ)音和文字第2頁(yè)，共25頁(yè)。8.1 語(yǔ)言及其理解的一般問(wèn)題8.1.1 語(yǔ)言和語(yǔ)言理解 語(yǔ)言是音義結(jié)合的詞匯和語(yǔ)法體系，是實(shí)現(xiàn)思維活動(dòng)的物

2、質(zhì)形式。語(yǔ)言是以詞為基本單位的，詞匯又受到語(yǔ)法的支配才可構(gòu)成有意義的和可理解的句子，句子按一定的形式再構(gòu)成篇章等。 語(yǔ)法是語(yǔ)言的組織規(guī)律。語(yǔ)法規(guī)則制約著如何把詞素構(gòu)成詞，詞構(gòu)成詞組和句子。語(yǔ)言正是在這種嚴(yán)密的制約關(guān)系中構(gòu)成的。用詞素構(gòu)成詞的規(guī)則叫構(gòu)詞規(guī)則。語(yǔ)法中的另一部分就是句法。句法也可分成兩部分：詞組構(gòu)造法和造句法。詞組構(gòu)造法是詞搭配成詞組的規(guī)則。造句法則是用詞或詞組造句的規(guī)則。第3頁(yè)，共25頁(yè)。8.1 語(yǔ)言及其理解的一般問(wèn)題8.1.1 語(yǔ)言和語(yǔ)言理解 另一方面，語(yǔ)言是音義結(jié)合的，每個(gè)詞匯有其語(yǔ)音形式。自然語(yǔ)言中所涉及的音素并不多，一種語(yǔ)言一般只有幾十個(gè)音素。由一個(gè)發(fā)音動(dòng)作所構(gòu)成的最小的語(yǔ)

3、音單位就是音素。 語(yǔ)言詞匯語(yǔ)法詞熟語(yǔ)詞素詞法句法構(gòu)形法構(gòu)詞法造句法詞組構(gòu)造法第4頁(yè)，共25頁(yè)。8.1 語(yǔ)言及其理解的一般問(wèn)題8.1.1 語(yǔ)言和語(yǔ)言理解 2. 語(yǔ)言的理解微觀：語(yǔ)言理解是指從自然語(yǔ)言到機(jī)器(計(jì)算機(jī)系統(tǒng))內(nèi)部之間的一種映射。 宏觀：語(yǔ)言理解是指機(jī)器能夠執(zhí)行人類(lèi)所期望的某些語(yǔ)言功能。這些功能包括： （1）回答有關(guān)提問(wèn)； （2）提取材料摘要； （3）不同詞語(yǔ)敘述； （4）不同語(yǔ)言翻譯。第5頁(yè)，共25頁(yè)。8.1 語(yǔ)言及其理解的一般問(wèn)題8.1.1 語(yǔ)言和語(yǔ)言理解對(duì)自然語(yǔ)言的理解卻是一個(gè)十分艱難的任務(wù)。自然語(yǔ)言不僅有語(yǔ)義、語(yǔ)法和語(yǔ)音問(wèn)題，而且還存在模糊性等問(wèn)題。 自然語(yǔ)言理解的困難是由下列3

4、個(gè)因素引起的： （1）目標(biāo)表示的復(fù)雜性； （2）映射類(lèi)型的多樣性； （3）源表達(dá)中各元素間交互程度的差異性。自然語(yǔ)言理解是語(yǔ)言學(xué)、邏輯學(xué)、生理學(xué)、心理學(xué)、計(jì)算機(jī)科學(xué)和數(shù)學(xué)等相關(guān)學(xué)科發(fā)展和結(jié)合而形成的一門(mén)交叉學(xué)科；它能夠理解口頭語(yǔ)言或書(shū)面語(yǔ)言。第6頁(yè)，共25頁(yè)。8.1 語(yǔ)言及其理解的一般問(wèn)題8.1.1 語(yǔ)言和語(yǔ)言理解語(yǔ)言理解包括下列幾個(gè)方面的內(nèi)容：（1）能夠理解句子的正確詞序規(guī)則和概念，又能理解不含規(guī)則的句子。（2） 知道詞的確切含義、形式、詞類(lèi)及構(gòu)詞法。（3）了解詞的語(yǔ)義分類(lèi)以及詞的多義性和歧義性。（4）指定和不定特性及所有(隸屬)特性。（5）問(wèn)題領(lǐng)域的結(jié)構(gòu)知識(shí)和時(shí)間概念。（6）語(yǔ)言的語(yǔ)氣信息

5、和韻律表現(xiàn)。（7）有關(guān)語(yǔ)言表達(dá)形式的文學(xué)知識(shí)。（8）論域的背景知識(shí)。第7頁(yè)，共25頁(yè)。8.1 語(yǔ)言及其理解的一般問(wèn)題8.1.2 自然語(yǔ)言理解研究的進(jìn)展和發(fā)展趨勢(shì)1. 研究進(jìn)展 機(jī)器翻譯是自然語(yǔ)言理解最早的研究領(lǐng)域。 （1）萌芽時(shí)期（20世紀(jì)40年代60年代中期） 1949年 俄-英和英-俄文字的機(jī)器翻譯 1956年 N.Chomsky形式語(yǔ)言和轉(zhuǎn)換生成語(yǔ)法理論 1966年 美國(guó)科學(xué)院報(bào)告，否定性結(jié)論 （2）復(fù)蘇發(fā)展時(shí)期（20世紀(jì)60年代后期80年代中期） 關(guān)鍵詞匹配技術(shù)；句法-語(yǔ)義分析技術(shù)。 MIT的SIR系統(tǒng)、ELIZA系統(tǒng)第8頁(yè)，共25頁(yè)。8.1 語(yǔ)言及其理解的一般問(wèn)題8.1.2 自然語(yǔ)言

6、理解研究的進(jìn)展和發(fā)展趨勢(shì) 句法方面理論研究成果：約束管轄理論、擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò)、詞匯功能語(yǔ)法、功能合一語(yǔ)法、廣義短語(yǔ)結(jié)構(gòu)語(yǔ)法、句法分析算法、 語(yǔ)義分析方面：格語(yǔ)法、語(yǔ)義網(wǎng)絡(luò)、優(yōu)選語(yǔ)義學(xué)、蒙塔格語(yǔ)法、 進(jìn)入80年代之后，自然語(yǔ)言理解的應(yīng)用研究廣泛開(kāi)展，機(jī)器學(xué)習(xí)研究又十分活躍，并出現(xiàn)了許多具有較高水平的實(shí)用化系統(tǒng)。這些系統(tǒng)是自然語(yǔ)言理解研究的重要成果，表明自然語(yǔ)言理解在理論上和應(yīng)用上取得了突破性進(jìn)展。 第9頁(yè)，共25頁(yè)。8.1 語(yǔ)言及其理解的一般問(wèn)題8.1.2 自然語(yǔ)言理解研究的進(jìn)展和發(fā)展趨勢(shì) （3）繁榮發(fā)展時(shí)期（20世紀(jì)80年代后期至今） 基于語(yǔ)料庫(kù)的統(tǒng)計(jì)方法：從真實(shí)預(yù)料中獲取語(yǔ)言知識(shí) 基于統(tǒng)計(jì)模型

7、的自然語(yǔ)言處理系統(tǒng) 理性主義與經(jīng)驗(yàn)主義的結(jié)合 口語(yǔ)理解和生成 我國(guó)自然語(yǔ)言理解研究第10頁(yè)，共25頁(yè)。8.1 語(yǔ)言及其理解的一般問(wèn)題8.1.2 自然語(yǔ)言理解研究的進(jìn)展和發(fā)展趨勢(shì)2. 發(fā)展趨勢(shì) （1）基于句法-語(yǔ)義規(guī)則的理性主義方法和以模型和統(tǒng)計(jì)為基礎(chǔ)的經(jīng)驗(yàn)主義互相結(jié)合、共同發(fā)展。 （2）語(yǔ)料庫(kù)語(yǔ)言學(xué)使大規(guī)模真實(shí)文本的處理成為自然語(yǔ)言處理的主要戰(zhàn)略目標(biāo)。 （3）統(tǒng)計(jì)數(shù)學(xué)方法日益受到重視，機(jī)器學(xué)習(xí)的方法獲取語(yǔ)言知識(shí)。 （4）詞匯知識(shí)庫(kù)繼語(yǔ)料庫(kù)之后成為一個(gè)新的受到普遍關(guān)注的研究問(wèn)題。 第11頁(yè)，共25頁(yè)。8.1 語(yǔ)言及其理解的一般問(wèn)題8.1.3 自然語(yǔ)言理解過(guò)程的層次 語(yǔ)言的分析和理解過(guò)程是一個(gè)層次

8、化的過(guò)程。現(xiàn)代語(yǔ)言學(xué)家把這一過(guò)程分為3個(gè)層次：詞法分析、句法分析和語(yǔ)義分析。如果接收到的是語(yǔ)音流，那么在上述3個(gè)層次之前還應(yīng)當(dāng)加入一個(gè)語(yǔ)音分析層。雖然這種層次之間并非是完全隔離的，但是這種層次化的劃分的確有助于更好地體現(xiàn)語(yǔ)言本身的構(gòu)成。1. 語(yǔ)音分析語(yǔ)音分析則是根據(jù)音位規(guī)則，從語(yǔ)音流中區(qū)分出一個(gè)個(gè)獨(dú)立的音素，再根據(jù)音位形態(tài)規(guī)則找出一個(gè)個(gè)音節(jié)及其對(duì)應(yīng)的詞素或詞。第12頁(yè)，共25頁(yè)。8.1 語(yǔ)言及其理解的一般問(wèn)題8.1.3 自然語(yǔ)言理解過(guò)程的層次2. 詞法分析詞法分析的主要目的是找出詞匯的各個(gè)詞素，從中獲得語(yǔ)言學(xué)信息。3. 句法分析句法分析是對(duì)句子和短語(yǔ)的結(jié)構(gòu)進(jìn)行分析。自動(dòng)句法分析的方法很多，有短

9、語(yǔ)結(jié)構(gòu)語(yǔ)法、格語(yǔ)法、擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò)、功能語(yǔ)法等等。句法分析的最大單位就是一個(gè)句子。分析的目的就是找出詞、短語(yǔ)等的相互關(guān)系以及各自在句子中的作用等，并以一種層次結(jié)構(gòu)來(lái)加以表達(dá)。第13頁(yè)，共25頁(yè)。8.1 語(yǔ)言及其理解的一般問(wèn)題8.1.3 自然語(yǔ)言理解過(guò)程的層次4. 語(yǔ)義分析語(yǔ)義分析就是通過(guò)分析找出詞義、結(jié)構(gòu)意義及其結(jié)合意義，從而確定語(yǔ)言所表達(dá)的真正含義或概念。在語(yǔ)言自動(dòng)理解中，語(yǔ)義愈來(lái)愈成為一個(gè)重要的研究?jī)?nèi)容。第14頁(yè)，共25頁(yè)。8.2 詞法分析英語(yǔ)等拼音文字：分詞簡(jiǎn)單，詞素提取難中文：詞素提取易（每個(gè)字就是一個(gè)詞素），分詞難中文分詞兩大難題：。（1）歧義識(shí)別 歧義是指同樣的一句話，可能有兩種或者

10、更多的切分方法。（2）新詞識(shí)別 中科院詞法分析系統(tǒng)ICTCLAS，準(zhǔn)確率可達(dá)95% 第15頁(yè)，共25頁(yè)。8.3 句法分析句法模式匹配和轉(zhuǎn)移網(wǎng)絡(luò) 句法模式匹配就是采用句法模式來(lái)對(duì)語(yǔ)言的句子進(jìn)行匹配從而進(jìn)行句法分析。但是自然語(yǔ)言是非常多樣化的，因而需要有許多模式。這些模式可用狀態(tài)轉(zhuǎn)移圖來(lái)表示，這種用狀態(tài)轉(zhuǎn)移圖來(lái)表示的表達(dá)方式稱(chēng)之為轉(zhuǎn)移網(wǎng)絡(luò)（TN，transition network）。 第16頁(yè)，共25頁(yè)。8.3 句法分析擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò) 擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò)ATN是由伍茲(Woods)在1970年提出的。ATN是由一組網(wǎng)絡(luò)所構(gòu)成的，每個(gè)網(wǎng)絡(luò)都有一個(gè)網(wǎng)絡(luò)名，每條弧上的條件擴(kuò)展為條件加上操作。這種條件和操作采用

11、寄存器的方法來(lái)實(shí)現(xiàn)，在分析樹(shù)的各個(gè)成分結(jié)構(gòu)上都放上寄存器，用來(lái)存放句法功能和句法特征，條件和操作將對(duì)它們不斷地進(jìn)行訪問(wèn)和設(shè)置。 第17頁(yè)，共25頁(yè)。8.3 句法分析詞匯功能語(yǔ)法的結(jié)構(gòu)詞匯功能語(yǔ)法（LFG）是由卡普蘭和布魯斯南(Bresnan)在1982年提出的，它是一種功能語(yǔ)法，但是更加強(qiáng)調(diào)詞匯的作用。LFG用一種結(jié)構(gòu)來(lái)表達(dá)特征、功能、詞匯和成分的順序。 第18頁(yè)，共25頁(yè)。8.4 語(yǔ)義分析語(yǔ)義分析：獲得語(yǔ)言所表達(dá)的意義。第一步是要確定每個(gè)詞在句子中所表達(dá)的詞義，這涉及到詞義和句法結(jié)構(gòu)上的歧義問(wèn)題；第二步是要根據(jù)已有的背景知識(shí)來(lái)確定語(yǔ)義。 方法：語(yǔ)義的邏輯分析法、語(yǔ)義分析文法第19頁(yè)，共25頁(yè)

12、。8.5 句子理解簡(jiǎn)單句理解的內(nèi)容簡(jiǎn)單句理解兩方面的工作：(1) 理解語(yǔ)句中的每一個(gè)詞。(2) 以這些詞為基礎(chǔ)組成可以表達(dá)整個(gè)語(yǔ)句意義的結(jié)構(gòu)。復(fù)合句的理解 句子之間的相互關(guān)系：(1) 相同的事物；(2) 事物的一部分；(3) 行動(dòng)的一部分；(4) 與行動(dòng)有關(guān)的事物；(5) 因果關(guān)系；(6) 計(jì)劃次序。第20頁(yè)，共25頁(yè)。8.6 語(yǔ)料庫(kù)語(yǔ)言學(xué)語(yǔ)料庫(kù)的研究：自然語(yǔ)言文本的采集、存儲(chǔ)、檢索、統(tǒng)計(jì)、詞性和句法標(biāo)注、句法語(yǔ)義分析、定義： Aijmer 1991 “根據(jù)篇章材料對(duì)語(yǔ)言的研究稱(chēng)為語(yǔ)料庫(kù)語(yǔ)言學(xué)” McEnery 1996 “基于現(xiàn)實(shí)生活中語(yǔ)言應(yīng)用實(shí)例進(jìn)行語(yǔ)言研究稱(chēng)為語(yǔ)料庫(kù)語(yǔ)言學(xué)” Crysta

13、l 1991 “以語(yǔ)料為語(yǔ)言描寫(xiě)的起點(diǎn)或者以語(yǔ)料為驗(yàn)證有關(guān)語(yǔ)言假說(shuō)的方法稱(chēng)為語(yǔ)料庫(kù)語(yǔ)言學(xué)”語(yǔ)料庫(kù)：第21頁(yè)，共25頁(yè)。8.7 機(jī)器翻譯機(jī)器翻譯的過(guò)程： 原文輸入 原文分析：查詞典、語(yǔ)法分析 譯文綜合：調(diào)整詞序、修辭、從譯文詞典中取詞 譯文輸出第22頁(yè)，共25頁(yè)。8.8 語(yǔ)音識(shí)別預(yù)處理特征提取模式識(shí)別訓(xùn)練模式庫(kù)語(yǔ)音輸入語(yǔ)音識(shí)別結(jié)果第23頁(yè)，共25頁(yè)。8.9 應(yīng)用舉例問(wèn)題思考思考答案訊飛語(yǔ)音云問(wèn)答服務(wù)云訊飛語(yǔ)音云思考聲音聲音文字答案問(wèn)題文字123國(guó)家大學(xué)生創(chuàng)新實(shí)驗(yàn)項(xiàng)目第24頁(yè)，共25頁(yè)。1、不是井里沒(méi)有水，而是你挖的不夠深。不是成功來(lái)得慢，而是你努力的不夠多。2、孤單一人的時(shí)間使自己變得優(yōu)秀，給來(lái)

14、的人一個(gè)驚喜，也給自己一個(gè)好的交代。3、命運(yùn)給你一個(gè)比別人低的起點(diǎn)是想告訴你，讓你用你的一生去奮斗出一個(gè)絕地反擊的故事，所以有什么理由不努力!4、心中沒(méi)有過(guò)分的貪求，自然苦就少。口里不說(shuō)多余的話，自然禍就少。腹內(nèi)的食物能減少，自然病就少。思緒中沒(méi)有過(guò)分欲，自然憂就少。大悲是無(wú)淚的，同樣大悟無(wú)言。緣來(lái)盡量要惜，緣盡就放。人生本來(lái)就空，對(duì)人家笑笑，對(duì)自己笑笑，笑著看天下，看日出日落，花謝花開(kāi)，豈不自在，哪里來(lái)的塵埃!5、心情就像衣服，臟了就拿去洗洗，曬曬，陽(yáng)光自然就會(huì)蔓延開(kāi)來(lái)。陽(yáng)光那么好，何必自尋煩惱，過(guò)好每一個(gè)當(dāng)下，一萬(wàn)個(gè)美麗的未來(lái)抵不過(guò)一個(gè)溫暖的現(xiàn)在。6、無(wú)論你正遭遇著什么，你都要從落魄中站起

15、來(lái)重振旗鼓，要繼續(xù)保持熱忱，要繼續(xù)保持微笑，就像從未受傷過(guò)一樣。7、生命的美麗，永遠(yuǎn)展現(xiàn)在她的進(jìn)取之中;就像大樹(shù)的美麗，是展現(xiàn)在它負(fù)勢(shì)向上高聳入云的蓬勃生機(jī)中;像雄鷹的美麗，是展現(xiàn)在它搏風(fēng)擊雨如蒼天之魂的翱翔中;像江河的美麗，是展現(xiàn)在它波濤洶涌一瀉千里的奔流中。8、有些事，不可避免地發(fā)生，陰晴圓缺皆有規(guī)律，我們只能坦然地接受;有些事，只要你愿意努力，矢志不渝地付出，就能慢慢改變它的軌跡。9、與其埋怨世界，不如改變自己。管好自己的心，做好自己的事，比什么都強(qiáng)。人生無(wú)完美，曲折亦風(fēng)景。別把失去看得過(guò)重，放棄是另一種擁有;不要經(jīng)常艷羨他人，人做到了，心悟到了，相信屬于你的風(fēng)景就在下一個(gè)拐彎處。10、

16、有些事想開(kāi)了，你就會(huì)明白，在世上，你就是你，你痛痛你自己，你累累你自己，就算有人同情你，那又怎樣，最后收拾殘局的還是要靠你自己。11、人生的某些障礙，你是逃不掉的。與其費(fèi)盡周折繞過(guò)去，不如勇敢地攀登，或許這會(huì)鑄就你人生的高點(diǎn)。12、有些壓力總是得自己扛過(guò)去，說(shuō)出來(lái)就成了充滿(mǎn)負(fù)能量的抱怨。尋求安慰也無(wú)濟(jì)于事，還徒增了別人的煩惱。13、認(rèn)識(shí)到我們的所見(jiàn)所聞都是假象，認(rèn)識(shí)到此生都是虛幻，我們才能真正認(rèn)識(shí)到佛法的真相。錢(qián)多了會(huì)壓死你，你承受得了嗎?帶，帶不走，放，放不下。時(shí)時(shí)刻刻發(fā)悲心，饒益眾生為他人。14、夢(mèng)想總是跑在我的前面。努力追尋它們，為了那一瞬間的同步，這就是動(dòng)人的生命奇跡。15、懶惰不會(huì)讓你一下子跌倒，但會(huì)在不知不覺(jué)中減少你的收獲;勤奮也不會(huì)讓你一夜成功，但會(huì)在不知不覺(jué)中積累你的成果。人生需要挑戰(zhàn)，更需要堅(jiān)持和勤奮!