廣義虛詞知識庫與漢語理解研究市公開課金獎市賽課一等獎課件

廣義虛詞知識庫

與

漢語了解研究

俞士汶朱學鋒劉云北京大學計算語言學研究所Email:yusw@2月1日,云南西雙版納第十一屆全國少數(shù)民族語言文字信息處理學術研討會特邀匯報973課題“文本內容了解數(shù)據(jù)基礎（CB318102）”第1頁主要內容

虛詞對語言了解影響

漢語中虛詞漢語自動分析中虛詞廣義虛詞知識庫建設結語與致謝

第2頁主要內容

虛詞對語言了解影響

漢語中虛詞漢語自動分析中虛詞廣義虛詞知識庫建設結語與致謝

第3頁關于“語言”英國《新科學家》周刊4月9日文章——生命進化十大奇跡：腦（第3項）和語言（第4項）腦經常被視作進化過程中最高成就，因為它賦予了人類一些高級特征，比如語言、智慧、意識。語言是進化終極創(chuàng)造。在令人類區(qū)分于動物特征中，語言處于關鍵地位。語言可能稱得上是人類決定性特征之一。我們祖先怎樣實現(xiàn)了語言從無到有飛躍，這可能是科學史上最大謎。語言是生物進化最終一筆。這是因為語言令那些掌握了它動物超越了純生物范圍。

語言系統(tǒng)是動物進化到人兩大標志之一。人類語言系統(tǒng)特征：豐富詞匯、復雜結構、虛詞作用第4頁

文本內容了解與其它數(shù)字內容了解關系

嬰兒學習語言離不開對母親（包含家人）心率、體溫、聲音、形象、動作感知。人閱讀文本時，語音、影像、經驗對文本了解有著不可分離巨大作用。文本中插圖對文本了解也有輔助作用。甚至一張照片所講故事勝過千言萬語。文本能夠超越時空局限準確地傳達信息（口說無憑，以書為證），統(tǒng)計邏輯思維產生創(chuàng)造性結果。戲劇、影視、歌曲等藝術形式傳情達意也離不開語言（戲文、歌詞、對白）、文字幫助。多數(shù)樂曲標題、繪畫題詞對這些藝術了解有相當顯著啟示作用。第5頁文本內容了解是其它形式數(shù)字內容了解子課題。

文本內容了解和其它數(shù)字形式信息了解需要相互融合。

文本內容了解數(shù)據(jù)基礎圖像序列內容了解口語化語音信息分析與識別多源感知信息融合

多媒體信息檢索大規(guī)模文本內容計算第6頁鳳凰衛(wèi)視漢字臺（－7－29）介紹了美國一幅漫畫——

——一美元紙幣上華盛頓頭像扭頭瞧著紙幣左半邊一行字：“MadeinChina”，一臉無可奈何表情。

在其它信息傳輸形式中，言簡意賅文字往往能起到畫龍點睛作用第7頁

一個實例關于自動升降晾衣架對話妻子：“嘿，過了一年才壞?！闭煞颍骸笆裁囱?，才一年就壞了。”

丈夫了解了妻子意思嗎？——背景知識：保修期——知識激活機制？——虛詞詞義：才（數(shù)量詞前后，意義不一樣）

虛詞對語義影響第8頁主要內容

虛詞對語言了解影響

漢語中虛詞漢語自動分析中虛詞廣義虛詞知識庫建設結語與致謝

第9頁

虛詞不是內容詞，而是功效詞。虛詞不能充任漢語主要句法結構中句法成份:主語、謂語、述語、賓語、補語，定語、狀語、中心語。虛詞對于語句、會話、篇章完整結構（也是句法功效）和意義表示卻是不可缺乏。漢語是經典分析語，虛詞在漢語中語法作用不一樣于屈折語英語、俄語和黏著語日語。虛詞研究一直是漢語語法研究主要組成部分。虛詞基本上是封閉，詞典中虛詞數(shù)量有限。2.漢語中虛詞（1）第10頁

新虛詞產生速度遠遠比不上新實詞。盡管詞典中虛詞數(shù)量有限（靜態(tài)出現(xiàn)），但在真實文本中單個虛詞平均頻度（動態(tài)出現(xiàn)）遠遠高于單個實詞平均頻度。而且虛詞是通用高頻詞。虛詞個性比實詞顯著。助詞是最經典虛詞，數(shù)量極少。同屬助詞“”、“得”、“著”、“了”、“過”、“所”幾乎沒有什么共同語法屬性。面向語言信息處理，有必要加大對虛詞研究力度，有必要建立“廣義虛詞知識庫”。

2.漢語中虛詞（2）第11頁主要內容

虛詞對語言了解影響

漢語中虛詞漢語自動分析中虛詞廣義虛詞知識庫建設結語與致謝

第12頁

虛詞辨析——從文本中識別虛詞——分析線索

神經擔心得到了瓦解程度。神經擔心得到了緩解。

漢語自動分析中虛詞（1）第13頁

虛詞句法語義功效及其表述《當代漢語語法信息詞典》依靠詞組本位語法體系《當代漢語語義詞典》采取“廣義配價模式”

“”接在動詞后面組成“”字結構，體詞性，功效：（1）能夠作定語修飾名詞，即形成“動詞+‘’+名詞”結構；（2）代替名詞，即能夠出現(xiàn)在主賓語位置上。自指意義，只能出現(xiàn)于（1）：“駕駛技術”，“走姿勢”轉指意義，能夠出現(xiàn)于（2）：“走出發(fā)了”，“有吃”。還要深入給出“動詞+‘’”表示自指或轉指條件。配價信息：“走”主體應該是人，“吃”客體是食物?！凹夹g”、“姿勢”分別是“駕駛”、“走”這些動作或行為本身屬性，只是自指。虛詞（“”）句法語義信息不是能夠孤立描述，同其前后搭配詞語是親密關聯(lián)。

漢語自動分析中虛詞（2）第14頁

虛詞隱現(xiàn)與冗余分配學生一個任務。接收老師一個任務。等價于給學生分配一個任務。從老師（那里）接收一個任務。“”作用

*分配學生一個任務。接收老師一個任務。

漢語自動分析中虛詞（3）第15頁主要內容

虛詞對語言了解影響

漢語中虛詞漢語自動分析中虛詞廣義虛詞知識庫建設結語與致謝

第16頁關于普通自然語言處理系統(tǒng)語言知識庫應用程序------------------－－－－－－--------語言知識庫是自然語言處理系統(tǒng)不可或缺組成部分，語言知識庫規(guī)模和質量在很大程度上決定了自然語言處理系統(tǒng)成敗。面向自然語言處理語言知識庫對語言本體研究和語言教學也有主要意義。自然語言處理系統(tǒng)NLP是世界性難題……第17頁

語言知識庫與應用系統(tǒng)在語言知識庫搭建平臺上能夠上演威武雄壯生動活潑應用系統(tǒng)劇目

……語言知識庫1語言知識庫2語言知識庫3語言知識庫4……平臺/API應用程序1應用程序2第18頁

呂叔湘：“有了形態(tài)改變，語法分析就比較容易進行。沒有嚴格形態(tài)改變，在語法分析上就比較輕易引發(fā)問題?！睗h語缺乏形態(tài)改變，缺乏形式標識，自動分析也就缺乏能夠把握線索。漢語自動分析假如不比其它語言更困難，最少不會比其它語言更輕易。

漢語信息處理尤其需要大規(guī)模高質量語言知識庫支持。

書面漢語特點及其對信息處理影響第19頁北大開發(fā)當代漢語語言知識庫（1）當代漢語語法信息詞典（8萬詞語）（2）大規(guī)模當代漢語基本標注語料庫（6000多萬漢字）（3）面向漢英機器翻譯當代漢語語義詞典（6萬）（4）面向跨語言文本處理漢字概念詞典（10萬概念）（5）句子對齊雙語語料庫（80萬句對）（6）多個專業(yè)領域術語庫（35萬術語）（7）當代漢語短語結構規(guī)則庫（600條規(guī)則）（8）用于語言知識庫開發(fā)各種工具軟件

規(guī)模大、種類多、質量上乘，已產生廣泛影響，仍期待發(fā)展與合作

虛詞知識庫還是一個空缺

第20頁

“廣義虛詞”之所指《當代漢語語法信息詞典》中全部虛詞副詞方位詞：“上”、“下”、“中”、“里”┄┄量詞：“個”

代詞部分動詞形式動詞助動詞補語動詞趨向動詞形式名詞

廣義虛詞知識庫（1）第21頁

“廣義虛詞知識庫”主要內容確認每一個廣義虛詞各個功效語義項ID副詞“都”有3個ID：

“總括全部”、“甚至”、“已經”對每一個ID，建立判別條件

“都”之“總括全部”：表示復數(shù)主語，后面動詞常是必定式

“甚至”：后面動詞常是否定式“已經”：句末常有語氣詞“了”虛詞隱現(xiàn)、冗余條件描述錯誤例句分析

廣義虛詞知識庫（2）第22頁

“廣義虛詞知識庫”組成（1）一部富含句法、語義信息虛詞機器詞典（靜態(tài)信息）；（2）標注了每個虛詞確實定ID及確定屬性信息語料庫（訓練語料）；（3）基于

（1）和（2），抽象出來（真實語料中）一套虛詞ID以及確定屬性判別規(guī)則

廣義虛詞知識庫（3）第23頁

“廣義虛詞知識庫”發(fā)展軌跡俞士汶提出“廣義虛詞知識庫”建設任務俞士汶、朱學鋒、劉云．《當代漢語廣義虛詞知識庫建設》第二屆肯特崗漢語語言學圓桌會議（新加坡），11月27日又刊載于《漢語語言與計算學報》，年3月，第13卷1期，89-98年俞士汶、朱學鋒、劉云．《虛詞與漢語了解研究》“第四屆詞匯語義學網(wǎng)絡研討會”，年6月23日至7月25日，香港城市大學主辦20-20863漢字信息處理應用基礎研究之子課題“廣義虛詞知識庫建設”劉云（7月-209月，博士后，華中師范大學）主持，重點研究表征復句關系之虛詞彭爽（207月-203月，博士后，吉林師范大學）重點研究介詞20-20973課題“文本內容了解數(shù)據(jù)基礎（2004CB318102）之子任務昝紅英（鄭州大學）重點研究方位詞、副詞等并負責集成

廣義虛詞知識庫（4）第24頁主要內容

虛詞對語言了解影響

漢語中虛詞漢語自動分析中虛詞廣義虛詞知識庫建設結語與致謝

第25頁結語與致謝

漢語信息處理研究與少數(shù)民族語言信息處理研究相互借鑒，相互支