副詞都用法自動識別研究.ppt

副詞“都”用法自動識別研究,張靜杰 昝紅英 鄭州大學(xué)自然語言處理實(shí)驗(yàn)室,鄭州大學(xué)自然語言處理實(shí)驗(yàn)室,目錄,引言 副詞“都”的用法描述 副詞“都”的用法自動識別研究 基于規(guī)則的副詞“都”用法自動識別 基于統(tǒng)計(jì)的副詞“都”用法自動識別 規(guī)則與統(tǒng)計(jì)相結(jié)合的副詞“都”用法自動識別 結(jié)語,鄭州大學(xué)自然語言處理實(shí)驗(yàn)室,引言,在現(xiàn)代漢語中，副詞的句法功能相對比較簡單，然而，一些常用副詞不僅使用頻率很高，而且用法豐富多樣 對于副詞研究，尤其是一些義項(xiàng)紛繁、用法靈活的常用副詞，需要針對個例，作仔細(xì)的考察和對比,鄭州大學(xué)自然語言處理實(shí)驗(yàn)室,引言,“都”主要有三個義項(xiàng): 范圍的總括 無論工作大小，我們都要把它做好。 表達(dá)語氣 真抱歉，我都忘了你的名字了。 表時(shí)間 飯都涼了，快吃吧！,鄭州大學(xué)自然語言處理實(shí)驗(yàn)室,1 副詞“都”的用法描述,根據(jù)俞士汶等提出的“三位一體”構(gòu)建現(xiàn)代漢語廣義虛詞知識庫的思路，昝紅英等初步構(gòu)建了虛詞用法詞典、用法規(guī)則庫以及用法標(biāo)注語料庫“三位一體”的現(xiàn)代漢語虛詞知識庫 副詞“都”共有3個義項(xiàng)11個用法,鄭州大學(xué)自然語言處理實(shí)驗(yàn)室,表1副詞“都”的用法描述,鄭州大學(xué)自然語言處理實(shí)驗(yàn)室,1 副詞“都”的用法描述,與表1相對應(yīng)的副詞“都”的用法規(guī)則描述： $都 N Nv|a M M誰|哪里|什么|怎么|哪兒|哪| M M(不論|不管|無論|雖然|盡管|凡是|只要)*， NE N誰|哪里|什么|怎么|哪兒|哪| E？ FR F R是 N Nv M M連|甚至 AA(不|沒|沒有|未|) Av A(不|沒|沒有|未|)*A Av MN M一q N不|沒|沒有|未| N N，*(不|沒|) E E了，,鄭州大學(xué)自然語言處理實(shí)驗(yàn)室,2.1 基于規(guī)則的副詞“都”用法自動識別,因?yàn)橐?guī)則用法自動識別過程中，系統(tǒng)按照給出的規(guī)則逐條進(jìn)行匹配，所以需對規(guī)則的順序進(jìn)行調(diào)整 語料來源：2000年46月的人民日報(bào)語料 北京大學(xué),鄭州大學(xué)自然語言處理實(shí)驗(yàn)室,表2 副詞“都”的用法分布,鄭州大學(xué)自然語言處理實(shí)驗(yàn)室,表3基于規(guī)則的副詞“都”的用法自動識別,鄭州大學(xué)自然語言處理實(shí)驗(yàn)室,2.2 基于統(tǒng)計(jì)的副詞“都”用法自動識別,統(tǒng)計(jì)模型：條件隨機(jī)場（CRF） 窗口：7,3 特征模版： 上下文窗口的詞語信息+詞性信息+詞語和詞性的復(fù)合信息,鄭州大學(xué)自然語言處理實(shí)驗(yàn)室,表4 基于統(tǒng)計(jì)的副詞“都”的用法自動識別,鄭州大學(xué)自然語言處理實(shí)驗(yàn)室,2.3 規(guī)則與統(tǒng)計(jì)相結(jié)合的副詞“都”用法自動識別,思想：對包含副詞“都”的句子分別進(jìn)行基于規(guī)則和基于統(tǒng)計(jì)的方法自動識別，結(jié)果分以下三種情況： 兩者都沒有識別結(jié)果，識別失敗 兩者只識別出一個結(jié)果，即兩者之一沒有識別結(jié)果或者兩者識別結(jié)果相同，則標(biāo)注該用法 兩者識別結(jié)果不同，對比兩者各自在原模型中識別準(zhǔn)確率的大小，標(biāo)注準(zhǔn)確率較高的用法,鄭州大學(xué)自然語言處理實(shí)驗(yàn)室,表5 規(guī)則與統(tǒng)計(jì)相結(jié)合的副詞“都”用法自動識別,鄭州大學(xué)自然語言處理實(shí)驗(yàn)室,3 結(jié)語,對“都”的用法分別進(jìn)行了基于規(guī)則、基于統(tǒng)計(jì)以及規(guī)則和統(tǒng)計(jì)相結(jié)合的自動識別研究 考慮提出其他的規(guī)則和統(tǒng)計(jì)相結(jié)合方法進(jìn)一步提高