自然語言處理教學(xué)課件1

1第1章緒論教材：

劉挺等《自然語言處理》高等教育出版社，2021自然語言處理緒論自然語言通常指人類的語言人類思維和邏輯的載體對(duì)自然語言的研究是人工智能的重要研究?jī)?nèi)容2緒論自然語言通常指人類的語言人類思維和邏輯的載體對(duì)自然語言的研究是人工智能的重要研究?jī)?nèi)容3誤判超過30%認(rèn)為具有人類智能測(cè)試者向被測(cè)試者隨意提問被測(cè)試者：一個(gè)人和一臺(tái)機(jī)器圖靈測(cè)試緒論人工智能發(fā)展的三個(gè)階段運(yùn)算智能機(jī)器的基礎(chǔ)運(yùn)算和存儲(chǔ)能力已完勝人類感知智能機(jī)器的識(shí)別能力，如語音的識(shí)別以及圖像的識(shí)別基本達(dá)到人類水平認(rèn)知智能涉及自然語言處理以及常識(shí)建模和推理等研究?jī)?nèi)容與人類還有很大差距45第1章緒論1.1自然語言處理的定義1.2自然語言處理的研究?jī)?nèi)容1.3自然語言處理的流派1.4自然語言處理的挑戰(zhàn)6第1章緒論1.1自然語言處理的定義1.2自然語言處理的研究?jī)?nèi)容1.3自然語言處理的流派1.4自然語言處理的挑戰(zhàn)定義自然語言處理（NatureLanguageProcessing）使計(jì)算機(jī)理解人類的語言，能夠讓計(jì)算機(jī)以自然語言作為接口與人類進(jìn)行交互研究對(duì)象：“名、實(shí)、知、人”之間的關(guān)系“知”：語言符號(hào)的表征“實(shí)”：客觀世界存在的實(shí)體或主觀的概念“知”：知識(shí)，包括常識(shí)和領(lǐng)域知識(shí)“人”：語言的使用者研究層次：形式、語義、推理和語用四個(gè)層次研究問題：分類、解析、匹配和生成四類問題78第1章緒論1.1自然語言處理的定義1.2自然語言處理的研究?jī)?nèi)容

1.3自然語言處理的流派1.4自然語言處理的挑戰(zhàn)自然語言處理的研究?jī)?nèi)容資源建設(shè)語料庫(kù)建設(shè)基于統(tǒng)計(jì)自然語言處理方法的基礎(chǔ)語料庫(kù)中的語言知識(shí)能夠以統(tǒng)計(jì)參數(shù)或機(jī)器學(xué)習(xí)參數(shù)的形式被計(jì)算機(jī)習(xí)得9自然語言處理的研究?jī)?nèi)容資源建設(shè)語料庫(kù)建設(shè)語言知識(shí)庫(kù)建設(shè)借助外部語言知識(shí)庫(kù)，幫助計(jì)算機(jī)在一定程度上消歧10自然語言處理的研究?jī)?nèi)容基礎(chǔ)研究詞法分析目標(biāo)是能夠獨(dú)立運(yùn)用的最小語言單位：詞包括：自動(dòng)分詞（Segmentation）詞性標(biāo)注（POStagging）命名實(shí)體識(shí)別（Namedentityrecognition）等11自然語言處理的研究?jī)?nèi)容基礎(chǔ)研究詞法分析句法分析目標(biāo)是確定句中詞的語法功能或詞之間的關(guān)系包括：短語結(jié)構(gòu)分析（Phrasestructureparsing）：短語結(jié)構(gòu)樹依存關(guān)系分析（Dependencyparsing）：依存樹12短語結(jié)構(gòu)樹依存樹自然語言處理的研究?jī)?nèi)容基礎(chǔ)研究詞法分析句法分析語義分析目標(biāo)是獲得不同語言單位的語義信息包括：詞義消歧（Wordsensedisambiguation）語義角色標(biāo)注（Semanticrolelabeling）語義依存分析（Semanticdependencyparsing）13語義角色標(biāo)注語義依存分析自然語言處理的研究?jī)?nèi)容應(yīng)用技術(shù)研究數(shù)量多，且不算有新的任務(wù)提出包括：機(jī)器翻譯情感分析信息抽取指代消解省略恢復(fù)等14自然語言處理的研究?jī)?nèi)容應(yīng)用系統(tǒng)自然語言處理技術(shù)能夠直接或間接產(chǎn)生應(yīng)用目前工業(yè)界成熟系統(tǒng)翻譯機(jī)語音助手智能音箱開放域?qū)υ捾浖?nèi)容推送廣告推薦認(rèn)知計(jì)算平臺(tái)等1516第1章緒論1.1自然語言處理的定義1.2自然語言處理的研究?jī)?nèi)容1.3自然語言處理的流派1.4自然語言處理的挑戰(zhàn)自然語言處理的流派基于規(guī)則的自然語言處理—理性主義20世紀(jì)40年代末，電子計(jì)算機(jī)的誕生和對(duì)自動(dòng)翻譯的迫切需求，自然語言處理相關(guān)研究開始萌芽50年代初期，分為了基于規(guī)則方法的符號(hào)派和基于概率方法的隨機(jī)派，孰優(yōu)孰劣的爭(zhēng)執(zhí)一直沒有停息1956年，喬姆斯基利用有限狀態(tài)自動(dòng)機(jī)作為刻畫語法的工具，構(gòu)建了大量有關(guān)語法規(guī)律的數(shù)學(xué)規(guī)則20世紀(jì)50年代到80年代中后期，具有代表的規(guī)則方法還有：Earley句法分析算法、線圖句法分析算法、Tomita句法分析算法和語義網(wǎng)絡(luò)等17自然語言處理的流派基于統(tǒng)計(jì)學(xué)習(xí)的自然語言處理—經(jīng)驗(yàn)主義隨著早期研究深入，基于理性主義的規(guī)則方法顯得力不從心，基于經(jīng)驗(yàn)主義的統(tǒng)計(jì)方法開始興起20世紀(jì)70年代以來，越來越多學(xué)者相信基于大量真實(shí)語料才能得到可靠結(jié)果20世紀(jì)80年代后期，越來越關(guān)注工程化解決問題的方法，經(jīng)驗(yàn)主義迅速發(fā)展20世紀(jì)90年代初期，機(jī)器翻譯出現(xiàn)了里程碑意義的基于噪聲信道模型的統(tǒng)計(jì)機(jī)器翻譯模型，基于此的Candide翻譯系統(tǒng)被普遍視為經(jīng)驗(yàn)主義自然語言處理方法崛起的開始18自然語言處理的流派基于統(tǒng)計(jì)學(xué)習(xí)的自然語言處理—經(jīng)驗(yàn)主義20世紀(jì)90年代中期以后，計(jì)算機(jī)的運(yùn)算速度、存儲(chǔ)容量大大增加，網(wǎng)絡(luò)技術(shù)的發(fā)展等客觀條件進(jìn)步，為統(tǒng)計(jì)自然語言處理方法的發(fā)展提供了良好環(huán)境語料庫(kù)的構(gòu)建開始受到關(guān)注，大規(guī)模語料庫(kù)中包含大量知識(shí)，語料庫(kù)的快速發(fā)展也推動(dòng)了統(tǒng)計(jì)自然語言處理方法的進(jìn)步基于理性主義和經(jīng)驗(yàn)主義的方法在80年代的激烈沖突后，人們逐漸認(rèn)識(shí)到哪種都無法單獨(dú)解決所有問題，理性主義和經(jīng)驗(yàn)主義從對(duì)立走向融合，自然語言處理的發(fā)展進(jìn)入一個(gè)前所未有的黃金時(shí)期19自然語言處理的流派基于深度學(xué)習(xí)的自然語言處理基于規(guī)則和統(tǒng)計(jì)自然語言處理方法的局限性原始自然語言輸入轉(zhuǎn)換到機(jī)器能夠處理的形式的過程（特征提取），需要細(xì)致的人工和專業(yè)知識(shí)2013年開始，基于深度神經(jīng)網(wǎng)絡(luò)的表示學(xué)習(xí)方法開始興起，在多個(gè)領(lǐng)域取得當(dāng)時(shí)最好的效果分布式詞向量的出現(xiàn)，深度學(xué)習(xí)開始在自然語言處理中大范圍應(yīng)用ELMo、GPT、BERT為代表的上下文相關(guān)詞向量的出現(xiàn)緩解了傳統(tǒng)上下文無關(guān)詞向量中靜態(tài)向量的問題，得到進(jìn)一步發(fā)展2021第1章緒論1.1自然語言處理的定義1.2自然語言處理的研究?jī)?nèi)容1.3自然語言處理的流派1.4自然語言處理的挑戰(zhàn)自然語言處理的挑戰(zhàn)標(biāo)注數(shù)據(jù)不足所有監(jiān)督學(xué)習(xí)方法所面臨的根本問題如何定義和建模常識(shí)知識(shí)深度學(xué)