第四章漢語語料庫的多級加工

關(guān)毅guanyi@第四章漢語語料庫的多級加工研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室回顧兩種計算語言學(xué)研究路線基于語言學(xué)規(guī)則（理性主義）基于統(tǒng)計（經(jīng)驗主義）從大規(guī)模真實語料庫中獲得語言各級單位上的統(tǒng)計信息，依據(jù)較低語言單位上的統(tǒng)計信息運用相關(guān)統(tǒng)計推理技術(shù)計算較高級語言單位上的統(tǒng)計信息研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室語料庫語言學(xué)（corpuslinguistics）以語料庫為主要資源從事語言研究通過對大規(guī)模真實語料的調(diào)查來發(fā)現(xiàn)并總結(jié)自然語言的各種語言事實和語法規(guī)律并非新的學(xué)科，而僅僅是一種研究手段經(jīng)常使用概率統(tǒng)計及信息論中的方法研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室為什么要對語料庫進(jìn)行加工語料庫的多級加工技術(shù)是語料庫語言學(xué)研究的前沿課題。它的處理目標(biāo)是對生語料文本進(jìn)行多級加工(分詞、詞性標(biāo)注、句法分析、語義、語用分析等等)形成熟語料。目的：大規(guī)模的語料庫中提取應(yīng)用所需要的各個語言單位上的語言學(xué)知識。研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室計算機(jī)語料庫的功能的決定性因素語料庫的規(guī)模語料庫容量的大小直接影響到統(tǒng)計結(jié)果的可靠性語料的分布語料分布的考慮則關(guān)系到統(tǒng)計結(jié)果的適用范圍語料的加工深度加工深度則決定了該語料庫能為自然語言處理提供什么樣的知識研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室示例生語料中國是一個大國經(jīng)多級加工后結(jié)果(IP(NP-SBJ(NR中國))(VP(VC是)(NP-PRD(QP(CD一)(CLP(M個)))(ADJP(JJ大))(NP(NN國)))))研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室語料的加工順序經(jīng)過不同階段的處理，語料庫包含的各類信息也不斷增加，最終將成為一個名副其實的語言知識庫。這樣的知識庫可以為漢語統(tǒng)計分析、漢語理解和機(jī)器翻譯等資源提供重要的資源和有力的支持研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室規(guī)范北大計算語言學(xué)研究所1994年制訂了《現(xiàn)代漢語文本切分與詞性標(biāo)注規(guī)范Ｖ1.0》北大計算語言學(xué)研究所于1998年10月制訂了《現(xiàn)代漢語文本切分與詞性標(biāo)注規(guī)范Ｖ2.0》后改名為《現(xiàn)代漢語語料庫加工規(guī)范》研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室現(xiàn)代漢語語料庫加工規(guī)范主要內(nèi)容切分規(guī)范切分和標(biāo)注相結(jié)合的規(guī)范標(biāo)注規(guī)范專有名詞的標(biāo)注研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室分詞主要難點切分歧義交集型覆蓋型研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室分詞未登錄詞就是在詞典中沒有登錄過的人名地名，機(jī)構(gòu)名，新詞語等歧義切分字段在漢語書面文本中所占的比例并不很大，在實際的書面文本中，特別是在新聞類文本中，未登錄詞的處理是書面文本自動切分的一個十分突出的問題。這是漢語書面語自動切分的另一個難點研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室未登錄詞（OOV）識別字串本身的特性上下文特性兩者結(jié)合示例： “于中華”于中華同志是湖南人迎奧運活動今天于中華世紀(jì)壇舉行研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室中國人名識別：人名用字的統(tǒng)計特征根據(jù)統(tǒng)計,漢語姓氏大約有1000多個,姓氏中使用頻度最高的是“王”姓,“王,陳,李,張,劉”等5個大姓覆蓋率達(dá)32%,姓氏頻度表中的前14個高頻度的姓氏覆蓋率為50%,前400個姓氏覆蓋率達(dá)99%。人名的用字也比較集中。頻度最高的前6個字覆蓋率達(dá)10.35%,前10個字的覆蓋率達(dá)14.936%,前15個字的覆蓋率達(dá)19.695%,前400個字的覆蓋率達(dá)90%。研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室中國人名識別第一次出現(xiàn)的人名叫做“定義性出現(xiàn)”，爾后出現(xiàn)的人名叫做“使用性出現(xiàn)”。為此,在切分時可根據(jù)人名在定義性出現(xiàn)時的限制性成分首先建立人名表對定義性出現(xiàn)的識別是關(guān)鍵研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室中國人名識別-上下文特征人名的限制性成分主要有身份詞：表示人的職務(wù)，職位，頭銜的詞語和親屬稱謂的詞語。有的出現(xiàn)在人名之前，如“工人，教師，丈夫，妻子，犯人”。有的出現(xiàn)在人名之后，如“先生，女士”，有的可以出現(xiàn)在人名的前面和后面，如“教授，總理”研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室中國人名識別許多身份詞帶有后綴字，如“在逃犯，理發(fā)員，面包師，目擊者”中的“犯，員，師，者”等。地名和單位名：如“浙江紹興周樹人，國家語委馮志偉”復(fù)雜的定語：如“德高望重的呂叔湘先生”。根據(jù)這些限制性成分，可以有效地識別人名研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室中國人名識別中國姓氏用字中有的是專用作姓氏的，如“趙，鄧，潘，馮”等，有的則兼作其他詞語使用，如“顧，黃，周”等，對于兼作其他詞語的姓氏，需要建立規(guī)則來判斷。“顧”兼作動詞記者顧小東只顧短期的經(jīng)濟(jì)利益規(guī)則：如果“顧”前有副詞(只)，則“顧”不為姓氏。研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室中國人名識別“黃”兼作形容詞黃曾陽研究概念層次網(wǎng)絡(luò)彩色的光帶射到黃玻璃上規(guī)則:如果“黃”后有物質(zhì)名詞，則“黃”不為姓氏?！爸堋奔孀髁吭~由周恩來任國務(wù)院總理地球自轉(zhuǎn)一周規(guī)則:如果“周”前有數(shù)詞,則“周”不為姓氏。研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室外國人名識別《英語姓名譯名手冊》中共收英語姓氏,教名約4萬個,經(jīng)計算機(jī)統(tǒng)計得出英語姓名譯名用字表共476個：“啊阿埃艾愛昂奧巴白柏拜班邦包保堡鮑北貝倍本比彼邊別濱賓玻波博勃伯卜布采蔡藏策查察昌徹陳楚垂茨慈次聰存措達(dá)大戴代丹當(dāng)?shù)赖碌玫青嚨系椎氐俚诘鄱|杜敦頓多厄恩耳爾法凡范方菲費芬豐馮佛夫福弗輔富蓋甘岡高哥戈葛格各根貢古顧瓜圭郭果哈海罕翰漢杭豪赫黑亨洪侯胡華懷惠霍基吉季計嘉佳加賈簡姜焦杰捷金津京久居喀卡開凱坎康考柯科可克肯孔扣寇庫夸匡奎魁坤昆闊拉臘萊來賴蘭朗勞勒樂雷黎理李里禮荔麗歷利立蓮連廉良列琳林霖齡留劉流柳龍隆盧魯露路呂略倫蘿羅洛瑪馬麥邁滿曼芒茅梅門蒙孟米密敏明名摩莫墨默姆木穆拿娜納乃奈南內(nèi)嫩能妮尼年涅寧牛紐農(nóng)努女諾歐帕派潘龐培佩彭蓬皮匹平潑樸普漆奇齊契恰錢強(qiáng)喬切欽琴青瓊丘邱屈讓熱仁日榮茹儒瑞若撒薩塞賽三繕桑瑟森莎沙珊山尚紹舍申生盛圣施詩石什史士壽舒朔斯思絲松孫索所塔泰坦湯唐陶特藤提惕田鐵汀廷亭通透圖托脫娃瓦萬旺威韋為維偉魏衛(wèi)溫文翁沃烏武伍西錫希悉席霞夏顯香向曉肖歇謝欣辛興幸姓雄休修雪遜雅亞延揚陽堯耀耶葉依易意因英永尤雨約宰贊早澤曾扎詹湛章張哲者珍真芝知智治朱卓茲子宗祖佐丕謨葆薇岑弼婭繆珀瑙賚滕斐熙鳩竇艮麟黛”。研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室外國人名識別利用這個譯名表，可初步確定外國人名在句子中的位置和邊界。設(shè)任一連續(xù)漢字串C1...Ci...Cn(n1)，如果對所有的Ci(i=1,...,n)，都有Ci屬于譯名表，則初步可認(rèn)為該漢字串為外國人名。研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室外國人名識別初步確定外國人名之后，再根據(jù)人名前后的限制性成分，進(jìn)一步確定外國人名的界限。政府總理盧卡諾夫參加了慶?；顒佑紫嗳銮袪柗蛉嗽L問美國根據(jù)譯名表切分時會認(rèn)為“理盧卡諾夫，撒切爾夫”是外國人，得出錯誤的切分。這時，還要利用限制性成分“總理”和“夫人”，使譯名表中的漢字不能作用于限制性成分“總理”和“夫人”之上，便可以得到正確的切分：“總理/盧卡諾夫”，“撒切爾/夫人”。研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室外國人名識別我們也可以利用只能出現(xiàn)在外國人名首和外國人名末的漢字作為特征字來判定外國人名的邊界。這需要分別建立相應(yīng)的字表來作為判定外國人名左右邊界的依據(jù)研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室外國人名識別還可以利用簡單的上下文來進(jìn)一步判定外國人名的邊界標(biāo)點符號，數(shù)字，空格，西文字母，譯名連接符號常常是人名的邊界。人名經(jīng)常出現(xiàn)在一些表示行為的動詞之前，如“率，說，抵，離，報道，率領(lǐng)，會見，表示，接受，指出，認(rèn)為，發(fā)現(xiàn)，主持，呼吁，出席”等。研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室地名識別地名用字的分布比人名用字分散，處理起來困難更大。中國地名委員會編寫了《中華人民共和國地名錄》，收集了全國鄉(xiāng)鎮(zhèn)以上（含鄉(xiāng)鎮(zhèn)）各級行政區(qū)域的名稱，以鄉(xiāng)鎮(zhèn)人民政府所在地為主的居民聚落名稱，山、河、湖、海、島、高原、盆地、沙溪等自然地理實體名稱，名勝古跡、紀(jì)念地、古遺址、水庫、橋梁、電站等名稱。研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室地名識別《中華人民共和國地名錄》共收錄地名10萬多條。這個地名錄中使用的漢字共2662個，頻度最高的前65個漢字占總頻度的50.22%，前622個漢字占總頻度的90.01%，前1872個漢字占總頻度的99%。與人名的用字情況相比較，地名用字分散得多。研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室地名識別中國地名的自動識別主要利用地名用字的頻度信息以及關(guān)聯(lián)信息對侯選的地名用詞進(jìn)行篩選，再利用出現(xiàn)在地名后部的特征字“省、是、縣、鄉(xiāng)、鎮(zhèn)、山、湖、河、?！钡冗M(jìn)行判定。研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室地名識別還可以利用地名的上下文信息進(jìn)一步判定某些動詞和介詞（如“到、在、位于”等）的后面常常出現(xiàn)地名：例如，“到北京，在上海，位于八達(dá)嶺”。某些方位詞（如“附近、內(nèi)外”等）的前面常常出現(xiàn)地名：例如，“海淀附近，長城內(nèi)外”。某些機(jī)構(gòu)名（如“郵電局、派出所”等）前面常常出現(xiàn)地名：例如，“東四郵電局，朝陽門派出所”研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室機(jī)構(gòu)名識別主要是機(jī)關(guān)、團(tuán)體和企業(yè)事業(yè)單位的名稱。機(jī)構(gòu)名數(shù)目龐大，并且隨著社會的發(fā)展而不斷變化。機(jī)構(gòu)名一般都比較長，處理時首先應(yīng)該弄清它的內(nèi)部結(jié)構(gòu)。機(jī)構(gòu)名在語法上屬于定中結(jié)構(gòu)，在中心語前面加上一個或幾個修飾語，這些修飾語可以是地名、人名、學(xué)科名、行業(yè)名。例如，“北京（地名）大學(xué)”、“白求恩（人名）醫(yī)科（學(xué)科名）大學(xué)”、“汽車制造（行業(yè)名）廠”。研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室機(jī)構(gòu)名識別識別機(jī)構(gòu)名時，首先應(yīng)找到作為中心語的機(jī)構(gòu)稱呼詞，然后由后往前逐個識別其修飾語，判定修飾語是否合法，在處理過程中，還需要進(jìn)行淺層的句法語義分析。研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室最大熵模型初步典型的基于統(tǒng)計與規(guī)則相結(jié)合統(tǒng)計分類模型具有將瑣碎的語言學(xué)規(guī)則（例如人名識別的規(guī)則）在統(tǒng)一、堅實的概率理論基礎(chǔ)之上融合起來的能力特征模板的選擇——人類專家的知識（規(guī)則）特征權(quán)值的計算——統(tǒng)計研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室最大熵模型初步思想：系統(tǒng)在滿足約束的條件下，熵會趨向于最大，即系統(tǒng)趨向于更均勻。體現(xiàn)了“知之為知之，不知為不知”的思想研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室基于最大熵模型的中文名實體識別任務(wù)：對文檔中的人名(name)、地名(place)、機(jī)構(gòu)名(org)、時間(time)、日期(date)、貨幣(money)、數(shù)量(number)、比例(rate)進(jìn)行識別，可以作為分詞的后處理過程研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室基于最大熵模型的中文名實體識別NErecognition是一個有指導(dǎo)的分類過程，即類別集合是確定的。本系統(tǒng)采用的自己定義的標(biāo)記集，共有33種類別采用有導(dǎo)師的學(xué)習(xí)方法，訓(xùn)練集是一些帶有標(biāo)記的漢語塊，例如：從nt國家專利局o聘請nt的nt科技nt副nt縣長nt李nf芝nc生ne研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室基于最大熵模型的中文名實體識別-參考文獻(xiàn)Adam.L.BergerAmaximumentropyapproachtonaturallanguageprocessingAdwaitRatnaparkhiMaximumentropymodelsfornaturallanguageambiguityresolution研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室基于最大熵模型的中文名實體識別-參考文獻(xiàn)A.BorthwickAmaximumentropyapproachtonamedentityrecognitionPh.D(1999)NewyorkuniversityDekangLinMEM源代碼研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室自動詞性標(biāo)注自動詞性標(biāo)注就是用計算機(jī)來自動地給文本中的詞標(biāo)注詞類。在英語、漢語等自然語言中，都存在著大量的詞的兼類現(xiàn)象，這給文本的自動詞性標(biāo)注帶來了很大的困難。因此，如何排除詞類歧義，是文本自動詞性標(biāo)注研究的關(guān)鍵問題。研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室漢語中的兼類詞漢語中的兼類詞只占漢語詞匯的一小部分?！吨袑W(xué)生詞典》收詞1.4萬，兼類詞有820個，占5.86%。兼類詞數(shù)量雖小，但大多是常用詞。往往越是常用的詞，不同的用法就越多，兼類現(xiàn)象也就越多研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室漢語中的兼類詞兼類詞主要集中在名詞、動詞、形容詞、副詞等類詞上?！吨袑W(xué)生詞典》中，“動-名”（例如“計劃、報告”）、“動-形”（例如“繁榮、普及”）、“名-形”（例如“科學(xué)、秘密”）、“形-副”（例如“直、白”）、“動-副”（例如“斷、還”）、“名-副”（例如“極端”）、“名-動-形”（例如“嚴(yán)肅、鞏固”）等7種兼類現(xiàn)象，就占了820個兼類詞的95.5%。研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室漢語中的兼類詞如果我們把力量放在主要兼類現(xiàn)象的處理上，就可以收到事半功倍的效果。研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室漢語中的兼類詞在漢語中，兼類詞主要集中在動詞、名詞、形容詞等常用詞上。各種兼類現(xiàn)象的比例如下：動詞-名詞兼類：37.6%如：計劃不如變化快-我計劃去開會動詞-形容詞兼類：24.3%如：繁榮市場經(jīng)濟(jì)-市場經(jīng)濟(jì)繁榮名詞-形容詞兼類：10.4%如：滿腔熱情-對客人非常熱情形容詞-副詞兼類：4.55%如：一定的水分-我一定去研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室漢語中的兼類詞動詞-介詞兼類：4.04%如：我到北京開會-到目前為止動詞-副詞兼類：2.27%名詞-動詞-形容詞兼類：2.27%名詞-副詞兼類：2.02%其他兼類現(xiàn)象：12.55%基于規(guī)則的方法主要根據(jù)句法、語義、上下文等語言學(xué)規(guī)則來消解兼類歧義。研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室語料庫中漢語書面文本的詞性標(biāo)注基于規(guī)則的詞性標(biāo)注主要依靠上下文來判定兼類詞。這是一張白紙（“白‘出現(xiàn)在名詞”紙’之前，判定為形容詞）他白跑了一趟（“白”出現(xiàn)在動詞“跑”之前，判定為副詞）研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室語料庫中漢語書面文本的詞性標(biāo)注詞性連坐：在并列的聯(lián)合結(jié)構(gòu)中，聯(lián)合的兩個成分的詞類應(yīng)該相同，如果其中一個為非兼類詞，另一個為兼類詞，則可把非兼類詞的詞性判定為兼類詞的詞性。我讀了幾篇文章和報告“文章”為名詞，是非兼類詞，“報告”為動-名兼類詞，由于處于聯(lián)合結(jié)構(gòu)中，故可判定“報告”為名詞。研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室語料庫中漢語書面文本的詞性標(biāo)注基于隱馬爾可夫模型（HMM）的詞性標(biāo)注器從語料庫中選出一定數(shù)量的文本，作為訓(xùn)練集（trainingset），手工分析這個訓(xùn)練集，采用二元語法（bi-gramgrammar），從中歸納出統(tǒng)計數(shù)據(jù)。根據(jù)對訓(xùn)練集的語料分析得出的統(tǒng)計數(shù)據(jù)，構(gòu)造統(tǒng)計模型；根據(jù)統(tǒng)計模型去標(biāo)注語料庫中新的文本。研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室基于轉(zhuǎn)移的詞性標(biāo)注器未經(jīng)標(biāo)注的文本初始標(biāo)注器已經(jīng)標(biāo)注的文本學(xué)習(xí)器黃金標(biāo)準(zhǔn)文本轉(zhuǎn)換規(guī)則研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室轉(zhuǎn)換規(guī)則的兩個組成部分一個觸發(fā)環(huán)境(條件)例如：前一個詞是定冠詞一個改寫規(guī)則(采取的動作)例如：Changethetagfrommodaltonoun The/detcan/modalrusted/verb./. to The/detcan/nounrusted/verb./.研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室詞性標(biāo)注中基于轉(zhuǎn)移的錯誤驅(qū)動學(xué)習(xí)系統(tǒng)的構(gòu)成一個初始標(biāo)注器例如：一個能夠給每個詞標(biāo)上最大可能詞性的詞性標(biāo)注器轉(zhuǎn)移模板非詞特征模板詞特征模板研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室非詞特征模板舉例Changetagatobwhenthepreceding(following)wordistaggedcthewordtwobefore(after)istaggedconeofthetwopreceding(following)wordsistaggedconeofthetreepreceding(following)wordsistaggedc…研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室詞特征模板舉例研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室詞特征模板Changetagatobwhenthepreceding(following)wordiswthewordtwobefore(after)iswoneofthepreceding(following)wordsiswthecurrentwordiswandthepreceding(following)wordisx…研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室標(biāo)注精度研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室轉(zhuǎn)移數(shù)量-標(biāo)注精度關(guān)系曲線研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室基于轉(zhuǎn)移的錯誤驅(qū)動的機(jī)器學(xué)習(xí)方法（TBL）應(yīng)用廣泛效果良好，但作用有限可以作為一種輔助性的機(jī)器學(xué)習(xí)工具與其它分類器混合使用?；陔[馬爾科夫模型與TBL相結(jié)合的詞性標(biāo)注器研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室詞性標(biāo)注的其他方法在上世紀(jì)90年代，詞類標(biāo)注問題得到了持續(xù)關(guān)注，不斷有新的方法和模型提出，除我們介紹的方法外，下列方法也取得了較好的標(biāo)注效果：基于決策樹(Schmid1994)基于神經(jīng)網(wǎng)絡(luò)(Benelloetal.1989)基于最大熵原則(Ratnaparkhi1996)研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室語料庫中漢語書面文本的自動短語定界和句法標(biāo)注句法分析的總體結(jié)構(gòu)（清華大學(xué)，周強(qiáng)）研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室語料庫中漢語書面文本的自動短語定界和句法標(biāo)注①短語分析的輸入數(shù)據(jù)：經(jīng)過正確切詞和詞性標(biāo)注處理的漢語句子。在正常情況下，每次分析一個輸入句子。②短語界定預(yù)測輸入數(shù)據(jù)：為輸入句子中的每個詞語預(yù)測產(chǎn)生了一個或多個短語界定，以此作為括號匹配的基礎(chǔ)。研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室語料庫中漢語書面文本的自動短語定界和句法標(biāo)注③括號匹配區(qū)間限制數(shù)據(jù)：在數(shù)據(jù)②上進(jìn)一步附加了匹配區(qū)間限制數(shù)據(jù)，以進(jìn)一步提高復(fù)雜句子的匹配處理效率。④短語自動劃分和標(biāo)注結(jié)果：經(jīng)過短語自動分析器處理數(shù)據(jù)③，得到了輸入句子的最佳分析樹，它們以匹配的括號對加上其短語標(biāo)記的形式標(biāo)注在句子的詞語序列上。研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室語料庫中漢語書面文本的自動短語定界和句法標(biāo)注⑤經(jīng)過人工校對的正確短語劃分和標(biāo)注結(jié)果。⑥詞典信息數(shù)據(jù)：每個詞語從詞典中獲得的復(fù)雜特征集描述，其基本形式為特征--值對。⑦規(guī)則信息數(shù)據(jù)：對短語界定調(diào)整和分析器排歧所給出的各種特征約束規(guī)則。研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室語料庫中漢語書面文本的自動短語定界和句法標(biāo)注舉例輸入語句“安裝/v在/p桌子/n上/f的/u燈/n亮/a了/u”經(jīng)過短語界定[安裝/v[在/p[桌子/n上/f]的/u燈/n][亮/a了/u]]經(jīng)過括號匹配和區(qū)間限制得到所有可能的局部分析樹經(jīng)過短語分析器，得到最優(yōu)分析樹[dj[np[vp安裝/v[pp在/p[sp桌子/n上/f]]]的/u燈/n][abar亮/a了/u]]研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室自動語義標(biāo)注什么是語義？詞的指稱？心理圖像、大腦圖像或思想作為意義？說話者的意圖作為意義？我個人對“語義是語言符號使用者自認(rèn)為所指的事物”比較認(rèn)同“所指事物”：語義的客觀性因素“自認(rèn)為”：語義的主觀性因素研究生專業(yè)必修課自然語言處理,2010年秋季Copyrights@2010.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)研究中心哈工大-阿里巴巴聯(lián)合實驗室自動語義標(biāo)注語法與語義的關(guān)系語法是形式語義是內(nèi)容自動語義標(biāo)注的工作計算機(jī)對出現(xiàn)在一定上下文中的詞語的語義進(jìn)行判定，確定其正確的語義并加以標(biāo)注。確定詞匯與其他詞匯的關(guān)系紅樓夢與呼嚕夢研究生專業(yè)必修課自然語言處理,2007年秋季Copyrights@2007.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)中心哈工大-雅虎中國聯(lián)合實驗室語義的自動判定一詞多義，形成了詞的多義現(xiàn)象，自動語義標(biāo)注主要是解決詞的多義問題。一詞多義也是自然語言中的普遍現(xiàn)象，但是，在一定的上下文中，一個詞一般只能解釋為一種語義。所謂自動語義標(biāo)注，就是計算機(jī)對出現(xiàn)在一定上下文中的詞語的語義進(jìn)行判定，確定其正確的語義并加以標(biāo)注。研究生專業(yè)必修課自然語言處理,2007年秋季Copyrights@2007.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)中心哈工大-雅虎中國聯(lián)合實驗室語義的自動判定的方法以字義定詞義：漢語中的絕大多數(shù)復(fù)合詞，其字義與詞義之間都有密切的聯(lián)系，字義在詞義中的作用十分明顯，詞義幾乎等于它所包含的字義的相加，以少量的漢字來推知大量的詞義，可以達(dá)到以簡馭繁的效果。“打”在現(xiàn)代漢語中是一個多義詞，在《現(xiàn)代漢語詞典》中，其義項達(dá)24項之多。研究生專業(yè)必修課自然語言處理,2007年秋季Copyrights@2007.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)中心哈工大-雅虎中國聯(lián)合實驗室語義的自動判定的方法我們可以使用以字義定詞義的方法來確定文本中“打”的詞義。例如，“打鼓”中的“打”的字義是“用手或器具撞擊物體”，“鼓”的字義是“打擊樂器”，由此可以推知“打鑼鼓”中“打”的詞義。 其推理過程是：因為“打鑼鼓”中的“鑼鼓”與“打鼓”中的“鼓”在《同義詞詞林》中的語義分類相同，其代碼都是BP13，“鑼鼓”也是一種“打擊樂器”，所以，可以推知“打鑼鼓”中的“打”的詞義是“用手或器具撞擊物體”。研究生專業(yè)必修課自然語言處理,2007年秋季Copyrights@2007.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)中心哈工大-雅虎中國聯(lián)合實驗室語義的自動判定的方法以單義詞的詞義定多義詞的詞義：如果某一單義詞的義項包含在某個多義詞的義項中，則可以根據(jù)單義詞的搭配信息來確定在文本中多義詞的義項。“織毛衣”中的“織”是一個單義詞，其義項是“用針使紗或線互相套住”，由此可以推知在“打毛衣”中的“打”的義項也是“用針使紗或線互相套住”，也就是“編織”。研究生專業(yè)必修課自然語言處理,2007年秋季Copyrights@2007.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)中心哈工大-雅虎中國聯(lián)合實驗室語義的自動判定的方法利用詞典條目的定義判斷詞義的親和程度，從而確定多義詞的詞義萊斯克（M.Lesk）提出利用既存的知識源來對多義詞的義項進(jìn)行優(yōu)選。機(jī)器可讀詞典中詞典條目的定義是一種既存的知識源，如果在兩個單詞的定義中都出現(xiàn)共同的詞語，便可推斷它們之間的親和程度較大，從而據(jù)此優(yōu)選出多義詞的義項。研究生專業(yè)必修課自然語言處理,2007年秋季Copyrights@2007.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)中心哈工大-雅虎中國聯(lián)合實驗室語義的自動判定的方法在英語中，pen是一個多義詞，可以理解為“筆”，也可以理解為“動物的圍欄”，如果在一個句子中既有pen，又有sheep，而在機(jī)器可讀詞典的pen的定義中有“anenclosureinwhichdomesticanimalsarekept”，在sheep的定義中有“Therearemanybreedsofdomesticsheep”，在這兩個定義中都存在共同出現(xiàn)的單詞domestic，從而可以判斷，在這個句子中，pen的含義應(yīng)該是“動物的圍欄”，而不是“筆”，從而正確地確定了多義詞pen的義項。研究生專業(yè)必修課自然語言處理,2007年秋季Copyrights@2007.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)中心哈工大-雅虎中國聯(lián)合實驗室語義的自動判定的方法詹森（K.Jensen）和比諾特（J-L.Binot）利用聯(lián)機(jī)詞典中的單詞的定義來選擇英語中多義介詞的功能意義。英語的with這個介詞，其功能可以表示INSTRUMENT（工具），又可以表示PART-OF（部分-全體）關(guān)系，這就出現(xiàn)了功能上的歧義，這也是一種多義現(xiàn)象。在英語句子“Iateafishwithafork”中，fork（叉子）的定義為“aninstrumentforeatingfood”，其中的instrument與with的功能INSTRUMENT（工具）相同，故可判斷with在這個句子中的功能應(yīng)該是INSTRUMENT（工具），故此句的含義應(yīng)該為“我用叉子吃魚”。研究生專業(yè)必修課自然語言處理,2007年秋季Copyrights@2007.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)中心哈工大-雅虎中國聯(lián)合實驗室語義的自動判定的方法在英語句子“Iateafishwithbones”中，bone在機(jī)器可讀詞典中的定義是“apartofanimal”，在fish的定義中，有“akindofanimal”，這與with的功能PART-OF（部分-全體）關(guān)系相同，故可判斷with在這個句子中的功能是PART-OF（部分-全體）關(guān)系，這樣，這個句子的含義應(yīng)該是“我吃帶骨的魚”。研究生專業(yè)必修課自然語言處理,2007年秋季Copyrights@2007.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)中心哈工大-雅虎中國聯(lián)合實驗室語義的自動判定的方法利用上下文搭配關(guān)系來確定多義詞的義項：多義動詞與名詞搭配有明確的選擇關(guān)系，利用所選擇名詞語義類別的不同，可以判斷多義動詞的詞義。英語attend是一個多義動詞，其意義或者為“出席”，或者為“護(hù)理”，當(dāng)它后面的名詞的語義為“會議、宴會”，其義項取“出席”，當(dāng)它后面的名詞的語義為“人”時，其義項取“護(hù)理”。研究生專業(yè)必修課自然語言處理,2007年秋季Copyrights@2007.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)中心哈工大-雅虎中國聯(lián)合實驗室語義的自動判定的方法在句子“Iattendaceremony”中，名詞ceremony的語義為“會議、宴會”，所以，應(yīng)翻譯為“我參加典禮”；在句子“Whichdoctorisattendingthispatient?”中，名詞patient的語義為“人”，所以，應(yīng)翻譯為“哪位醫(yī)生護(hù)理這個病人？”為了采用這種上下文搭配關(guān)系的方法，需要認(rèn)真研究動詞和名詞的搭配關(guān)系，并且還要結(jié)合這樣的搭配關(guān)系建立名詞的語義分類系統(tǒng)，使名詞的語義分類系統(tǒng)與動詞名詞的搭配關(guān)系有機(jī)地結(jié)合起來，而不是貌合神離，或者各行其道。研究生專業(yè)必修課自然語言處理,2007年秋季Copyrights@2007.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)中心哈工大-雅虎中國聯(lián)合實驗室詞匯間語義關(guān)系的確定關(guān)系是詞匯語義的靈魂研究生專業(yè)必修課自然語言處理,2007年秋季Copyrights@2007.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)中心哈工大-雅虎中國聯(lián)合實驗室詞匯間的關(guān)系Hownet()董振東等上下位關(guān)系(XisakindofY)整體-部分關(guān)系(XisapartofY)同義關(guān)系(XisaY)反義關(guān)系(舉例:美丑(多為a))對義關(guān)系(舉例:得到失去(多為v))等等研究生專業(yè)必修課自然語言處理,2007年秋季Copyrights@2007.HIT.AllRightsReserved哈爾濱工業(yè)大學(xué)計算機(jī)學(xué)院語言技術(shù)中心哈工大-雅虎中國聯(lián)合實驗室語義標(biāo)注舉例他在書店里看書。semantictree:[(word_no=7,SENTENCE,,,)[SEN(word_no=4,看,v,vv2,2241101)[LOC(word_no=2,書店,n,ss