自然語言處理講座4第四章漢語語料庫多級加工

漢語語料庫多級加工目的語料庫的多級加工技術(shù)是語料庫語言學(xué)研究的前沿課題。它的處理目標(biāo)是對生語料文本進(jìn)行多級加工(分詞、詞性標(biāo)注、句法分析)形成樹庫（treebank）語料。目的:大規(guī)模的語料庫中提取應(yīng)用所需要的各個語言單位上的語言學(xué)知識。計算機(jī)語料庫的功能的決定性因素

語料庫的規(guī)模語料庫容量的大小直接影響到統(tǒng)計結(jié)果的可靠性語料的分布語料分布的考慮則關(guān)系到統(tǒng)計結(jié)果的適用范圍語料的加工深度加工深度則決定了該語料庫能為自然語言處理提供什么樣的知識

語料的加工順序經(jīng)過不同階段的處理，語料庫包含的各類信息也不斷增加，最終將成為一個名副其實的語言知識庫。這樣的知識庫可以為漢語統(tǒng)計分析、漢語理解和機(jī)器翻譯等資源提供重要的資源和有力的支持自動分詞規(guī)范北大計算語言學(xué)研究所1994年制訂了《現(xiàn)代漢語文本切分與詞性標(biāo)注規(guī)范Ｖ1.0》。北大計算語言學(xué)研究所于1998年10月制訂了《現(xiàn)代漢語文本切分與詞性標(biāo)注規(guī)范Ｖ2.0》后改名為《現(xiàn)代漢語語料庫加工規(guī)范》。分詞的主要難點切分歧義交集型覆蓋型未登錄詞就是在詞典中沒有登錄過的人名,地名,機(jī)構(gòu)名,新詞語等.當(dāng)采用匹配的方法來切詞時,由于詞典中沒有登錄這些詞,會引起自動切詞的困難。歧義切分字段在漢語書面文本中所占的比例并不很大，在實際的書面文本中，特別是在新聞類文本中，未登錄詞的處理是書面文本自動切分的一個十分突出的問題。這是漢語書面語自動切分的另一個難點。中國人名識別（1）根據(jù)統(tǒng)計,漢語姓氏大約有1000多個,姓氏中使用頻度最高的是“王”姓,“王,陳,李,張,劉”等5個大姓覆蓋率達(dá)32%,姓氏頻度表中的前14個高頻度的姓氏覆蓋率為50%,前400個姓氏覆蓋率達(dá)99%。人名的用字也比較集中。頻度最高的前6個字覆蓋率達(dá)10.35%,前10個字的覆蓋率達(dá)14.936%,前15個字的覆蓋率達(dá)19.695%,前400個字的覆蓋率達(dá)90%。第一次出現(xiàn)的人名叫做“定義性出現(xiàn)”,爾后出現(xiàn)的人名叫做“使用性出現(xiàn)”。為此,在切分時可根據(jù)人名在定義性出現(xiàn)時的限制性成分首先建立人名表。中國人名識別（2）人名的限制性成分主要有身份詞：表示人的職務(wù),職位,頭銜的詞語和親屬稱謂的詞語.有的出現(xiàn)在人名之前,如“工人,教師,丈夫,妻子,犯人”,有的出現(xiàn)在人名之后,如“先生,女士”,有的可以出現(xiàn)在人名的前面和后面,如“教授,總理”。許多身份詞帶有后綴字,如“在逃犯,理發(fā)員,面包師,目擊者”中的“犯,員,師,者”等。地名和單位名:如“浙江紹興周樹人,國家語委馮志偉”。

復(fù)雜的定語:如“德高望重的呂叔湘先生”。根據(jù)這些限制性成分，可以有效地識別人名中國人名識別（3）中國姓氏用字中有的是專用作姓氏的,如“趙,鄧,潘,馮”等,有的則兼作其他詞語使用,如“顧,黃,周”等,對于兼作其他詞語的姓氏,需要建立規(guī)則來判斷?！邦櫋奔孀鲃釉~記者顧小東只顧短期的經(jīng)濟(jì)利益規(guī)則:如果“顧”前有副詞(只),則“顧”不為姓氏?！包S”兼作形容詞黃曾陽研究概念層次網(wǎng)絡(luò)彩色的光帶射到黃玻璃上規(guī)則:如果“黃”后有物質(zhì)名詞，則“黃”不為姓氏?！爸堋奔孀髁吭~由周恩來任國務(wù)院總理地球自轉(zhuǎn)一周規(guī)則:如果“周”前有數(shù)詞,則“周”不為姓氏。外國人名識別（1）《英語姓名譯名手冊》中共收英語姓氏,教名約4萬個,經(jīng)計算機(jī)統(tǒng)計得出英語姓名譯名用字表共476個：“啊阿埃艾愛昂奧巴白柏拜班邦包保堡鮑北貝倍本比彼邊別濱賓玻波博勃伯卜布采蔡藏策查察昌徹陳楚垂茨慈次聰存措達(dá)大戴代丹當(dāng)?shù)赖碌玫青嚨系椎氐俚诘鄱|杜敦頓多厄恩耳爾法凡范方菲費芬豐馮佛夫福弗輔富蓋甘岡高哥戈葛格各根貢古顧瓜圭郭果哈海罕翰漢杭豪赫黑亨洪侯胡華懷惠霍基吉季計嘉佳加賈簡姜焦杰捷金津京久居喀卡開凱坎康考柯科可克肯孔扣寇庫夸匡奎魁坤昆闊拉臘萊來賴蘭朗勞勒樂雷黎理李里禮荔麗歷利立蓮連廉良列琳林霖齡留劉流柳龍隆盧魯露路呂略倫蘿羅洛瑪馬麥邁滿曼芒茅梅門蒙孟米密敏明名摩莫墨默姆木穆拿娜納乃奈南內(nèi)嫩能妮尼年涅寧牛紐農(nóng)努女諾歐帕派潘龐培佩彭蓬皮匹平潑樸普漆奇齊契恰錢強喬切欽琴青瓊丘邱屈讓熱仁日榮茹儒瑞若撒薩塞賽三繕桑瑟森莎沙珊山尚紹舍申生盛圣施詩石什史士壽舒朔斯思絲松孫索所塔泰坦湯唐陶特藤提惕田鐵汀廷亭通透圖托脫娃瓦萬旺威韋為維偉魏衛(wèi)溫文翁沃烏武伍西錫希悉席霞夏顯香向曉肖歇謝欣辛興幸姓雄休修雪遜雅亞延揚陽堯耀耶葉依易意因英永尤雨約宰贊早澤曾扎詹湛章張哲者珍真芝知智治朱卓茲子宗祖佐丕謨葆薇岑弼婭繆珀瑙賚滕斐熙鳩竇艮麟黛”。

利用這個譯名表，可初步確定外國人名在句子中的位置和邊界。設(shè)任一連續(xù)漢字串C1...Ci...Cn(n1),如果對所有的Ci(i=1,...,n),都有Ci屬于譯名表,則初步可認(rèn)為該漢字串為外國人名。外國人名識別（2）初步確定外國人名之后,再根據(jù)人名前后的限制性成分,進(jìn)一步確定外國人名的界限。政府總理盧卡諾夫參加了慶?；顒佑紫嗳銮袪柗蛉嗽L問美國根據(jù)譯名表切分時會認(rèn)為“理盧卡諾夫,撒切爾夫”是外國人名,得出錯誤的切分。這時,還要利用限制性成分“總理”和“夫人”,使譯名表中的漢字不能作用于限制性成分“總理”和“夫人”之上,便可以得到正確的切分：“總理/盧卡諾夫”,“撒切爾/夫人”。我們也可以利用只能出現(xiàn)在外國人名首和外國人名末的漢字作為特征字來判定外國人名的邊界。這需要分別建立相應(yīng)的字表來作為判定外國人名左右邊界的依據(jù)。外國人名識別（3）還可以利用簡單的上下文來進(jìn)一步判定外國人名的邊界標(biāo)點符號,數(shù)字,空格,西文字母,譯名連接符號常常是人名的邊界。人名經(jīng)常出現(xiàn)在一些表示行為的動詞之前,如“率,說,抵,離,報道,率領(lǐng),會見,表示,接受,指出,認(rèn)為,發(fā)現(xiàn),主持,呼吁,出席”等。地名識別（1）地名用字的分布比人名用字分散,處理起來困難更大。中國地名委員會編寫了《中華人民共和國地名錄》，收集了全國鄉(xiāng)鎮(zhèn)以上（含鄉(xiāng)鎮(zhèn)）各級行政區(qū)域的名稱，以鄉(xiāng)鎮(zhèn)人民政府所在地為主的居民聚落名稱，山、河、湖、海、島、高原、盆地、沙溪等自然地理實體名稱，名勝古跡、紀(jì)念地、古遺址、水庫、橋梁、電站等名稱。共收錄地名10萬多條。這個地名錄中使用的漢字共2662個，頻度最高的前65個漢字占總頻度的50.22%，前622個漢字占總頻度的90.01%，前1872個漢字占總頻度的99%。與人名的用字情況相比較，地名用字分散得多。地名識別（2）中國地名的自動識別主要利用地名用字的頻度信息以及關(guān)聯(lián)信息對侯選的地名用詞進(jìn)行篩選，再利用出現(xiàn)在地名后部的特征字“省、是、縣、鄉(xiāng)、鎮(zhèn)、山、湖、河、?！钡冗M(jìn)行判定。還可以利用地名的上下文信息進(jìn)一步判定某些動詞和介詞（如“到、在、位于”等）的后面常常出現(xiàn)地名：例如，“到北京，在上海，位于八達(dá)嶺”。某些方位詞（如“附近、內(nèi)外”等）的前面常常出現(xiàn)地名：例如，“海淀附近，長城內(nèi)外”。某些機(jī)構(gòu)名（如“郵電局、派出所”等）前面常常出現(xiàn)地名：例如，“東四郵電局，朝陽門派出所”。機(jī)構(gòu)名識別主要是機(jī)關(guān)、團(tuán)體和企業(yè)事業(yè)單位的名稱。機(jī)構(gòu)名數(shù)目龐大，并且隨著社會的發(fā)展而不斷變化。機(jī)構(gòu)名一般都比較長，處理時首先應(yīng)該弄清它的內(nèi)部結(jié)構(gòu)。機(jī)構(gòu)名在語法上屬于定中結(jié)構(gòu)，在中心語前面加上一個或幾個修飾語，這些修飾語可以是地名、人名、學(xué)科名、行業(yè)名。例如，“北京（地名）大學(xué)”、“白求恩（人名）醫(yī)科（學(xué)科名）大學(xué)”、“汽車制造（行業(yè)名）廠”。識別機(jī)構(gòu)名時，首先應(yīng)找到作為中心語的機(jī)構(gòu)稱呼詞，然后由后往前逐個識別其修飾語，判定修飾語是否合法，在處理過程中，還需要進(jìn)行淺層的句法語義分析。自動詞性標(biāo)注自動詞性標(biāo)注就是用計算機(jī)來自動地給文本中的詞標(biāo)注詞類。在英語、漢語等自然語言中，都存在著大量的詞的兼類現(xiàn)象，這給文本的自動詞性標(biāo)注帶來了很大的困難。因此，如何排除詞類歧義，是文本自動詞性標(biāo)注研究的關(guān)鍵問題。漢語中的兼類詞漢語中的兼類詞只占漢語詞匯的一小部分?！吨袑W(xué)生詞典》收詞1.4萬，兼類詞有820個，占5.86%。兼類詞數(shù)量雖小，但大多是常用詞。往往越是常用的詞，不同的用法就越多，兼類現(xiàn)象也就越多，兼類詞主要集中在名詞、動詞、形容詞、副詞等類詞上。《中學(xué)生詞典》中，“動-名”（例如“計劃、報告”）、“動-形”（例如“繁榮、普及”）、“名-形”（例如“科學(xué)、秘密”）、“形-副”（例如“直、白”）、“動-副”（例如“斷、還”）、“名-副”（例如“極端”）、“名-動-形”（例如“嚴(yán)肅、鞏固”）等7種兼類現(xiàn)象，就占了820個兼類詞的95.5%。如果我們把力量放在主要兼類現(xiàn)象的處理上，就可以收到事半功倍的效果。

漢語中的兼類詞在漢語中，兼類詞主要集中在動詞、名詞、形容詞等常用詞上。各種兼類現(xiàn)象的比例如下：動詞-名詞兼類：37.6%動詞-形容詞兼類：24.3%名詞-形容詞兼類：10.4%形容詞-副詞兼類：4.55%動詞-介詞兼類：4.04%動詞-副詞兼類：2.27%名詞-動詞-形容詞兼類：2.27%名詞-副詞兼類：2.02%其他兼類現(xiàn)象：12.55%基于規(guī)則的方法主要根據(jù)句法、語義、上下文等語言學(xué)規(guī)則來消解兼類歧義。語料庫中漢語書面文本的詞性標(biāo)注基于規(guī)則的詞性標(biāo)注主要依靠上下文來判定兼類詞。這是一張白紙（“白‘出現(xiàn)在名詞”紙’之前，判定為形容詞）他白跑了一趟（“白”出現(xiàn)在動詞“跑”之前，判定為副詞）詞性連坐：在并列的聯(lián)合結(jié)構(gòu)中，聯(lián)合的兩個成分的詞類應(yīng)該相同，如果其中一個為非兼類詞，另一個為兼類詞，則可把非兼類詞的詞性判定為兼類詞的詞性。我讀了幾篇文章和報告“文章”為名詞，是非兼類詞，“報告”為動-名兼類詞，由于處于聯(lián)合結(jié)構(gòu)中，故可判定“報告”為名詞。語料庫中漢語書面文本的詞性標(biāo)注基于隱馬爾可夫模型（HMM）的詞性標(biāo)注器從語料庫中選出一定數(shù)量的文本，作為訓(xùn)練集（trainingset），手工分析這個訓(xùn)練集，采用二元語法（bi-gramgrammar），從中歸納出統(tǒng)計數(shù)據(jù)。根據(jù)對訓(xùn)練集的語料分析得出的統(tǒng)計數(shù)據(jù)，構(gòu)造統(tǒng)計模型；根據(jù)統(tǒng)計模型去標(biāo)注語料庫中新的文本?；谵D(zhuǎn)移的詞性標(biāo)注器基于轉(zhuǎn)移與隱馬爾可夫模型相結(jié)合的詞性標(biāo)注器舉例:詞性(詞類)標(biāo)注`結(jié)果邁向/v充滿/v希望/n的/u新/a世紀(jì)/n——/w一九九八年/t新年/t講話/n語料庫中漢語書面文本的自動短語定界和句法標(biāo)注句法分析的總體結(jié)構(gòu)語料庫中漢語書面文本的自動短語定界和句法標(biāo)注根據(jù)單詞的信息、詞類類別和句法特征，確定那一個單詞是短語的左邊界，那一個單詞是短語的右邊界，那些單詞是短語的中間部分。短語定界的格式如下：

[ww…ww]

其中，[w是開括號，它是短語的頭，w]是閉括號，它是短語的尾。自動短語定界的步驟是：根據(jù)上下文信息，把開括號與其相應(yīng)的閉括號對應(yīng)起來。根據(jù)歧義消解規(guī)則和統(tǒng)計信息，消解短語定界的歧義。生成表示句子結(jié)構(gòu)的成分結(jié)構(gòu)樹。舉例1[zj紗籠/n。/w]2[zj[fj[dj紗籠/n[vp是/v[np[np馬來/n民族/n]的/u[np傳統(tǒng)/n服裝/n]]]]，/w[vp[vbar富/a有/v][np濃厚/a的/u[np熱帶/n情調(diào)/n]]]]。/w]zj:整句fj:復(fù)合句型dj:單句句型vp:動詞性短語np:名詞性短語vbar:形容詞性準(zhǔn)短語自動語義標(biāo)注計算機(jī)對出現(xiàn)在一定上下文中的詞語的語義進(jìn)行判定，確定其正確的語義并加以標(biāo)注。確定詞匯與其他詞匯的關(guān)系語義的自動判定一詞多類，形成了詞的兼類現(xiàn)象，自動詞性標(biāo)注主要是詞的兼類問題。一詞多義，形成了詞的多義現(xiàn)象，自動語義標(biāo)注主要是解決詞的多義問題。一詞多義也是自然語言中的普遍現(xiàn)象，但是，在一定的上下文中，一個詞一般只能解釋為一種語義。所謂自動語義標(biāo)注，就是計算機(jī)對出現(xiàn)在一定上下文中的詞語的語義進(jìn)行判定，確定其正確的語義并加以標(biāo)注。語義的自動判定的方法以字義定詞義：漢語中的絕大多數(shù)復(fù)合詞，其字義與詞義之間都有密切的聯(lián)系，字義在詞義中的作用十分明顯，詞義幾乎等于它所包含的字義的相加，以少量的漢字來推知大量的詞義，可以達(dá)到以簡馭繁的效果?！按颉痹诂F(xiàn)代漢語中是一個多義詞，在《現(xiàn)代漢語詞典》中，其義項達(dá)24項之多。我們可以使用以字義定詞義的方法來確定文本中“打”的詞義。例如，“打鼓”中的“打”的字義是“用手或器具撞擊物體”，“鼓”的字義是“打擊樂器”，由此可以推知“打鑼鼓”中“打”的詞義。其推理過程是：因為“打鑼鼓”中的“鑼鼓”與“打鼓”中的“鼓”在《同義詞詞林》中的語義分類相同，其代碼都是BP13，“鑼鼓”也是一種“打擊樂器”，所以，可以推知“打鑼鼓”中的“打”的詞義是“用手或器具撞擊物體”。

以單義詞的詞義定多義詞的詞義：如果某一單義詞的義項包含在某個多義詞的義項中，則可以根據(jù)單義詞的搭配信息來確定在文本中多義詞的義項?！翱椕隆敝械摹翱棥笔且粋€單義詞，其義項是“用針使紗或線互相套住”，由此可以推知在“打毛衣”中的“打”的義項也是“用針使紗或線互相套住”，也就是“編織”。

語義的自動判定的方法利用詞典條目的定義判斷詞義的親和程度，從而確定多義詞的詞義萊斯克（M.Lesk）提出利用既存的知識源來對多義詞的義項進(jìn)行優(yōu)選。機(jī)器可讀詞典中詞典條目的定義是一種既存的知識源，如果在兩個單詞的定義中都出現(xiàn)共同的詞語，便可推斷它們之間的親和程度較大，從而據(jù)此優(yōu)選出多義詞的義項。在英語中，pen是一個多義詞，可以理解為“筆”，也可以理解為“動物的圍欄”，如果在一個句子中既有pen，又有sheep，而在機(jī)器可讀詞典的pen的定義中有“anenclosureinwhichdomesticanimalsarekept”，在sheep的定義中有“Therearemanybreedsofdomesticsheep”，在這兩個定義中都存在共同出現(xiàn)的單詞domestic，從而可以判斷，在這個句子中，pen的含義應(yīng)該是“動物的圍欄”，而不是“筆”，從而正確地確定了多義詞pen的義項。詹森（K.Jensen）和比諾特（J-L.Binot）利用聯(lián)機(jī)詞典中的單詞的定義來選擇英語中多義介詞的功能意義。英語的with這個介詞，其功能可以表示INSTRUMENT（工具），又可以表示PART-OF（部分-全體）關(guān)系，這就出現(xiàn)了功能上的歧義，這也是一種多義現(xiàn)象。在英語句子“Iateafishwithafork”中，fork（叉子）的定義為“aninstrumentforeatingfood”，其中的instrument與with的功能INSTRUMENT（工具）相同，故可判斷with在這個句子中的功能應(yīng)該是INSTRUMENT（工具），故此句的含義應(yīng)該為“我用叉子吃魚”。在英語句子“Iateafishwithbones”中，bone在機(jī)器可讀詞典中的定義是“apartofanimal”，在fish的定義中，有“akindofanimal”，這與with的功能PART-OF（部分-全體）關(guān)系相同，故可判斷with在這個句子中的功能是PART-OF（部分-全體）關(guān)系，這樣，這個句子的含義應(yīng)該是“我吃帶骨的魚”。語義的自動判定的方法利用上下文搭配關(guān)系來確定多義詞的義項：多義動詞與名詞搭配有明確的選擇關(guān)系，利用所選擇名詞語義類別的不同，可以判斷多義動詞的詞義。英語attend是一個多義動詞，其意義或者為“出席”，或者為“護(hù)理”，當(dāng)它后面的名詞的語義為“會議、宴會”，其義項取“出席”，當(dāng)它后面的名詞的語義為“人”時，其義項取“護(hù)理”。在句子“Iattendaceremony”中，名詞

ceremony的語義為“會議、宴會”，所以，應(yīng)翻譯為“我參加典禮”；在句子“Whichdoctorisattendingthispatient?”中，名詞

patient的語義為“人”，所以，應(yīng)翻譯為“哪位醫(yī)生護(hù)理這個病人？”為了采用這種上下文搭配關(guān)系的方法，需要認(rèn)真研究動詞和名詞的搭配關(guān)系，并且還要結(jié)合這樣的搭配關(guān)系建立名詞的語義分類系統(tǒng)，使名詞的語義分類系統(tǒng)與動詞名詞的搭配關(guān)系有機(jī)地結(jié)合起來，而不是貌合神離，或者各行其道。

詞匯間語義關(guān)系的確定關(guān)系是詞匯語義的靈魂詞匯間的關(guān)系Hownet()董振東等上下位關(guān)系(XisakindofY)整體-部分關(guān)系(XisapartofY)同義關(guān)系(XisaY)反義關(guān)系(舉例:美丑(多為a))對義關(guān)系(舉例:得到失去(多為v))等等語義標(biāo)注舉例他在書店里看書。semantictree:[(word_no=7,SENTENCE,,,)[SEN(word_no=4,看,v,vv2,2241101)[LOC(word_no=2,書店,n,sss,1132041)OBJ(word_no=5,書,n,nn1,1121)AGT(word_no=0,他,r,rr1,11111041)]]]漢語語料庫多級加工系統(tǒng)(ChineseCorpusMultilevelProcessing,CCMP)自動切詞和詞性標(biāo)注子系統(tǒng)自動短語定界和句法標(biāo)注子系統(tǒng)自動語義標(biāo)注子系統(tǒng)輔助工具，如：查詢工具、樣本采取工具、統(tǒng)計工具、語料庫管理界面。人機(jī)互助的語料加工模型語料加工過程人機(jī)互助的語料加工模型此模型具有以下幾個特點：普遍性知識和特殊性知識相結(jié)合當(dāng)正確標(biāo)注的語料達(dá)到一定規(guī)模以后，從中統(tǒng)計得到的分布數(shù)據(jù)近似地反映了語言中的一些普遍規(guī)律，將這些數(shù)據(jù)運用于自動標(biāo)注處理，可以期望獲得較高的處理正確率。但語言是千變?nèi)f化的，具有許多特例。因此系統(tǒng)配備了一個由錯誤驅(qū)動的規(guī)則學(xué)習(xí)程序，通過將自動處理結(jié)果和人工校對結(jié)果相比較，發(fā)現(xiàn)錯誤所在，從中可以總結(jié)歸納出若干特殊情況的處理規(guī)則。這樣，將統(tǒng)計得到的普遍性知識和學(xué)習(xí)得到的特殊性知識相結(jié)合，可以大大提高自動標(biāo)注處理的性能。人機(jī)處理相結(jié)合機(jī)器處理的優(yōu)勢在于它有強大的計算能力，可以大規(guī)模地處理語料。而人工標(biāo)注的優(yōu)勢則在于它的精確性，因為人能利用上下文信息和知識來排歧。這兩方面的優(yōu)勢在圖1所示的模型中都得到了充分的發(fā)揮：一是利用統(tǒng)計數(shù)據(jù)，構(gòu)造適當(dāng)?shù)慕y(tǒng)計模型進(jìn)行自動標(biāo)注處理；二是通過人工校對，保證最終處理語料的正確性。而對于錯誤校正規(guī)則的學(xué)習(xí)，則要經(jīng)歷一個由手工到半自動再到全自動的發(fā)展過程。最初是人工總結(jié)，隨著研究的深入，可以逐步利用一些統(tǒng)計工具降低人工處理的工作量，當(dāng)技術(shù)成