自然語言處理技術的三個里程碑

1、自然語言處理技術的三個里程碑微軟亞洲研究院黃昌寧張小鳳摘要要： 本文就半個世紀以來自然語言處理（NLP）研究領域中筆者所觀察到的要點進行闡述，其中包括兩個事實和三大重要成果。近年自然語言處理研究所揭示的兩個事實為：（1）對于句法分析來說，基于單一標記的短語結構規(guī)則是不充分的；（2）短語結構規(guī)則在真實文本中的分布呈現嚴重扭曲。換言之，有限數目的短語結構規(guī)則不能覆蓋大規(guī)模語料中的語法現象。這與原先人們的預期大相徑庭。筆者認為，NLP技術的發(fā)展歷程在很大程度上受到以上兩個事實的影響。從這個意義上來說，在該領域中可以稱得上里程碑式的成果有如下三個：（1）復雜特征集和合一語法；（2）語言學研究中的詞匯主

2、義；（3）語料庫方法和統計語言模型。業(yè)內人士普遍認為，大規(guī)模語言知識的開發(fā)和自動獲取是NLP 技術的瓶頸問題。因此，語料庫建設和統計學習理論將成為該領域中的關鍵課題。關鍵詞詞： 自然語言處理復雜特征集詞匯主義語料庫方法統計語言模型1. 引言隨著高科技的迅速發(fā)展，其應用深入人們生活的各個方面。信息輸入、檢索、人機對話等對自然語言處理（NLP）提出越來越高的要求，使NLP 研究成為本世紀最熱門的學科之一。從50年代的機器翻譯和人工智能研究算起， NLP 至今至少也有長達半個世紀的歷史了。在這個進程中，學術界曾經提出過許多重要的理論和方法，也誕生了豐富的成果。但筆者認為，近二十年年來在這一領域中堪稱

3、里程碑式的貢獻有如下三個：（1）復雜特征集和合一語法；（2）語言學研究中的詞匯主義；（3）語料庫方法和統計語言模型。這三個成果將繼續(xù)對語言學、計算語言學和NLP 的研究產生深遠影響。為了更好地理解這些成果的意義，有必要先介紹一下兩個與此相關的事實。2. 兩個事實2.1 事實之一大家知道，在自然語言處理中為了識別一個輸入句子的句法結構，首先要把句子中的詞一個一個地切分出來： 然后去查詞典，給句子中的每個詞指派一個合適的詞性（part ofspeech）；之后再用句法規(guī)則把句子里包含的的句法成分，如名詞短語、動詞短語、小句等，逐個地識別出來。進而，判斷每個短語的句法功能，如主語、謂語、賓語等，及其

4、語義角色，最終得到句子的意義表示，如邏輯語義表達式。這就是一個句法分析的全過程。本文要提到的第一個事實是：短語結構語法（Phrase Structure Grammar，簡稱PSG）不能有效地描寫自然語言。PSG在Chomsky 的語言學理論中占有重要地位，并且在自然語言的句法描寫中擔當著舉足輕重的角色。但是它有一些根本性的弱點，主要表現為它使用的是像詞類和短語類那樣的單一標記，因此不能有效地指明和解釋自然語言中的結構歧義問題。讓我們先來看一看漢語中“V+N”組合。假如我們把“打擊，委托，調查”等詞指派為動詞（V）；把“力度，方式，盜版，甲方”等詞視為名詞（N）。而且同意“打擊力度”、“委托方

5、式”是名詞短語（NP）,“打擊盜版”、“委托甲方”是動詞短語（VP）。那么就會產生如下兩條有歧義的句法規(guī)則：（1） NP V N（2） VP V N換句話講，當計算機觀察到文本中相鄰出現的“V+N”詞類序列時，仍不能確定它們組成的究竟是NP 還是VP。我們把這樣的歧義叫做“短語類型歧義”。例如：? 該公司正在招聘 銷售V 人員NNP。? 地球在不斷 改變V 形狀NVP。下面再來看“N+V”的組合，也同樣會產生帶有短語類型歧義的規(guī)則對， 如：（3）NP N V 例：市場調查；政治影響。（4） S N V 例：價格攀升；局勢穩(wěn)定。其中標記S 代表小句。不僅如此，有時當機器觀察到相鄰出現的“N+V”

6、詞類序列時，甚至不能判斷它們是不是在同一個短語中。也就是說，“N+V”詞類序列可能組成名詞短語NP 或小句S，也有可能根本就不在同一個短語里。后面這種歧義稱為“短語邊界歧義”。下面是兩個相關的例句：? 中國的 鐵路N 建設VNP 發(fā)展很快。? 中國的鐵路NNP 建設V 得很快。前一個例句中，“鐵路建設”組成一個NP；而在后一個例句中，這兩個相鄰的詞卻分屬于兩個不同的短語。這足以說明，基于單一標記的PSG 不能充分地描述自然語言中的句法歧義現象。下面讓我們再來看一些這樣的例子。（5）NP V N1 de N2（6）VP V N1 de N2其中de代表結構助詞“的”。例如，“削蘋果VP 的刀”是

7、NP; 而“削蘋果的皮NP”則是VP。這里既有短語類型歧義，又有短語邊界歧義。比如，“削V 蘋果N”這兩個相鄰的詞，可能構成一個VP，也可能分處于兩個相鄰的短語中。（7）NP P N1 de N2（8）PP P N1 de N2規(guī)則中P 和PP 分別表示介詞和介詞短語。例如，“對上海PP 的印象”是NP; 而“對上海的學生NP”則是PP。相鄰詞“對P 上海N”可能組成一個PP，也可能分處于兩個短語中。（9）NP NumP N1 de N2其中NumP 表示數量短語。規(guī)則（9）雖然表示的是一個NP，但可分別代表兩種結構意義：（9a）NumP N1 de N2NP 如：五個公司的職員NP（9b）N

8、umP N1NP de N2 如：五個公司NP 的職員（10）NP N1 N2 N3規(guī)則（10）表示的也是一個NP，但“N1+ N2”先結合，還是“N2 +N3”先結合，會出現兩種不同的結構方式和意義，即：（10a）N1 N2NP N3 如：現代漢語NP 詞典（10b）N1 N2 N3NP 如：新版漢語詞典NP以上討論的第一個事實說明：! 由于約束力不夠，單一標記的PSG 規(guī)則不能充分消解短語類型和短語邊界的歧義。用數學的語言來講，PSG 規(guī)則是必要的，卻不是充分的。因此機器僅僅根據規(guī)則右邊的一個詞類序列來判斷它是不是一個短語，或者是什么短語，其實都有某種不確定性。! 采用復雜特征集和詞匯主義

9、方法來重建自然語言的語法系統，是近二十年來全球語言學界就此作出的最重要的努力。2.2 事實之二通過大規(guī)模語料的調查，人們發(fā)現一種語言的短語規(guī)則的分布也符合所謂的齊夫率（Zipfs Law）。Zipf是一個統計學家和語言學家。他提出，如果對某個語言單位（不論是英語的字母或詞）進行統計，把這個語言單位在一個語料庫里出現的頻度(frequency)記作F，而且根據頻度的降序對每個單元指派一個整數的階次(rank) R。結果發(fā)現R和F 的乘積近似為一個常數。即F*R const （常數）或者說，被觀察的語言單元的階次R 與其頻度F 成反比關系。在詞頻的統計方面齊夫律顯示，不管被考察的語料僅僅是一本長篇

10、小說，還是一個大規(guī)模的語料庫，最常出現的100個詞的出現次數就會占到語料庫總詞次數(tokens)的近一半。假如語料庫的規(guī)模是100 萬詞次， 那么其中頻度最高的100 個詞的累計出現次數大概是50萬詞次。如果整個語料庫含有5 萬詞型(types)，那么其中的一半（也就是2.5 萬條左右）在該語料庫中只出現過一次。即使把語料庫的規(guī)模加大十倍，變成1000萬詞次，統計規(guī)律大體不變。有趣的是，80 年代英國人Sampson 對英語語料庫中的PSG規(guī)則進行統計，發(fā)現它們的分布同樣是扭曲的，大體表現為齊夫率1。也就是說，一方面經常遇到的語法規(guī)則只有幾十條左右，它們的出現頻度非常非常高；另一方面，規(guī)則庫

11、中大約一半左右的規(guī)則在語料庫中只出現過一次。隨著語料庫規(guī)模的擴大，新的規(guī)則仍不斷呈現。Chomsky 曾提出過這樣的假設，認為對一種自然語言來說，其語法規(guī)則的數目總是有限的，但據此生成的句子數目卻是無限的。但語料庫調查的結果不是這個樣子。這個發(fā)現至少說明，單純依靠語言學家的語感來編寫語法規(guī)則不可能勝任大規(guī)模真實文本處理的需求，我們必須尋找可以從語料庫中直接獲取大規(guī)模語言知識的新方法。幾十年來，NLP 學界曾發(fā)表過許多燦爛成果，有詞法學、語法學、語義學的，有句法分析算法的，還有眾多著名的自然語言應用系統。那么究竟什么是對該領域影響最大的、里程碑式的成果呢？3三個里程碑3.1 里程碑之一一：復雜特

12、征集復雜特征集（complex feature set）又叫做多重屬性（multiple features）描寫。在語言學里，這種描寫方法最早出現在語音學中。后來被Chomsky學派采用來擴展PSG的描寫能力?，F在無論是在語言學界還是計算語言學界，幾乎沒有哪個語法系統在詞匯層的描寫中不采用復雜特征集，并且利用這些屬性來強化句法規(guī)則的約束力。一個復雜特征集F 包含任意多個特征名fi和特征值vi對。其形式如：F = , fi=vi , , i=1,n特征值vi既可以是一個簡單的數字或符號，也可以是另外一個復雜特征集。這種遞歸式的定義使復雜特征集獲得了強大的表現能力。舉例來說，北京大學俞士汶開發(fā)的現

13、代漢語語法信息詞典2，對一個動詞定義了約40項屬性描寫，對一個名詞定義了約27項屬性描寫。一條含有詞匯和短語屬性約束的句法規(guī)則具有如下的一般形式：: <屬性約束>: <屬性傳遞>一般來說，PSG 規(guī)則包括右部（條件：符號序列的匹配模式）和左部（動作：短語歸并結果）。詞語的“屬性約束”直接來自系統的詞庫，而短語的“屬性約束”則是在自底向上的短語歸并過程中從其構成成分的中心語（head）那里繼承過來的。在Chomsky 的理論中這叫做X-bar 理論。X-bar代表某個詞類X所構成的、仍具有該詞類屬性的一個成分。如果X= N，就是一個具有名詞特性的N-bar。當一條PSG規(guī)

14、則的右部匹配成功，且“屬性約束”部分得到滿足，這條規(guī)則才能被執(zhí)行。此時，規(guī)則左部所命名的的短語被生成，該短語的復雜特征集通過“屬性傳遞”部分動態(tài)生成。80 年代末、90年代初學術界提出了一系列新的語法，如廣義短語結構語法（GPSG）、中心語驅動的短語結構語法（HPSG）、詞匯功能語法（LFG）等等。這些形式語法其實都是在詞匯和短語的復雜特征集描寫背景下產生的。合一（unification）算法則是針對復雜特征集的運算而提出來的?！昂弦弧笔菍崿F屬性匹配和賦值的一種算法，所以上述這些新語法又統稱為“基于合一的語法”。3.2 里程碑之二二：詞匯主義在NLP 領域中，第二個里程碑式的貢獻叫詞匯主義(l

15、exicalism)。語言學家Hudson 曾宣稱詞匯主義是當今語言學理論發(fā)展的頭號傾向3。其出現原因也同前面所觀察的兩個事實有關。詞匯主義方法不僅提出了一種顆粒度更細的語言知識表示形式，而且體現了一種語言知識遞增式開發(fā)和積累的新思路。這里首先要解釋一下這樣一個矛盾。一方面，語言學界一向認為，不劃分詞類就無法講語法，如前面介紹的短語結構語法。也就是說，語法“不可能”根據一個個個別的詞來寫規(guī)則。但是另一方面，人們近來又注意到，任何歸類其實都會丟失個體的某些重要信息。所以從前文提到的第一個事實出發(fā)，要想強化語法約束能力，詞匯的描寫應當深入到比詞類更細微的詞語本身上來。換句話講，語言學呼喚在詞匯層采

16、用顆粒度更小的描寫單元。從本質上來說，詞匯主義傾向反映了語言描寫的主體已經從句法層轉移到了詞匯層；這也就是所謂的“小語法，大詞庫”的思想。下面讓我們來看與詞匯主義有關的一些工作。3.2.1 詞匯語法法（Lexicon-grammar）法國巴黎大學Gross 教授在60 年代就創(chuàng)立了一個研究中心叫做LADL，并提出了詞匯語法的概念（http:/www.ladl.jussieu.fr/）。? 把12,000個主要動詞分成50 個子類。? 每個動詞都有一個特定的論元集。? 每一類動詞都有一個特定的矩陣, 其中每個動詞都用400 個不同句式來逐一描寫（“+”代表可進入該句式；“-”表示不能）。? 已開

17、發(fā)英、法、德、西等歐洲語言的大規(guī)模描寫。? INTEX 是一個適用于大規(guī)模語料分析的工具，已先后被世界五十多個研究中心采用。3.2.2 框架語義學(Frame Semantics)Fillmore是格語法（Case Grammar）的創(chuàng)始人，他前幾年主持了美國自然科學基金的一個名為框架語義學的項目（/framenet）。該項目從WordNet 上選取了2000個動詞，從中得到75 個語義框架。例如，動詞”categorize” 的框架被定義為:一個人(Cognizer) 把某個對象(Item) 視為某個類(Category)。同原先的格框架

18、相比，原來一般化的動作主體被具體化為認知者Cognizer，動作客體被具體化為事物Item，并根據特定體動詞的性質增加了一個作為分類結果的語義角色Category。項目組還從英國國家語料庫中挑出50,000 個相關句子，通過人工給每個句子標注了相應的語義角色。例句：Kim categorized the book as fiction.（Cog) (Itm) (Cat)3.2.3 WordNetWordNet是一個描寫英語詞匯層語義關系的詞庫。1990 年由普林斯頓大學Miller開發(fā)（:80/wn/）。到現在已有很多個版本，全部公布

19、在因特網上，供研究人員自由下載。歐洲有一個Euro-WordNet，以類似的格式來表現各種歐洲語言的詞匯層語義關系。WordNet刻意描寫的是詞語之間的各種語義關系，如同義關系(synonymy)、反義關系(antonymy)、上下位關系(hyponymy)，部分-整體關系(part-of)等等。這種詞匯語義學又叫做關系語義學。這一學派同傳統的語義場理論和和語義屬性描寫理論相比，其最大的優(yōu)勢在于第一次在一種語言的整個詞匯表上實現了詞匯層的語義描寫。這是其他學派從來沒有做到的。其他理論迄今僅僅停留在教科書或某些學術論文中，從來就沒有得到工程規(guī)模的應用。下面是WordNet的概況：? 95,600

20、 條實詞詞型(動詞、名詞、形容詞)? 被劃分成70,100 個同義詞集（synsets）3.2.4 知網網（How-Net）知網是董振東和董強4設計的一個漢語語義知識網（）。? 自下而上地依據概念對漢語實詞進行了窮盡的分類。? 15,000 個動詞被劃分成810 類。? 定義了300 個名詞類，100 個形容詞類。? 全部概念用400 個語義元語來定義。知網的特點是既有WordNet 所描寫的同一類詞之間的語義關系（如：同義、反義、上下位、部分-整體等），又描寫了不同類詞之間的論旨關系和語義角色。3.2.5 MindNetMindNet 是微軟研究院NLP 組設計的（ Dictionary o

21、f Contemporary English，American Heritage Dictionary）和一部百科全書（Encarta）中的全部句子進行分析，獲得每個句子的邏輯語義表示（logical form，簡稱LF）。而LF本來就是由三元組構成的，如(W1, V-Obj, W2)表示：W1 是一個動詞，W2是其賓語中的中心詞, 因此W2 從屬于W1，它們之間的關系是V-Obj。比如（play, V-Obj, basketball）便是一個具體的三元組。.又如(W1, H-Mod, W2)，W1 代表一個偏正短語中的中心詞(head word)，W2 是其修飾語(modifier), 因此

22、W2 從屬于W1，它們之間的關系是H-Mod。這種資源是完全自動做出來的，所得的三元組不可能沒有錯誤。但是那些出現頻度很高的三元組一般來說是正確的。MindNet已經應用到像語法檢查、句法結構排歧、詞義排歧、機器翻譯等許多場合。3.3 里程碑之三三：統計語言模型第三個貢獻就是語料庫方法，或者叫做統計語言模型。如果用變量W代表一個文本中順序排列的n個詞，即W = w1w2wn ，則統計語言模型的任務是給出任意一個詞序列W 在文本中出現的概率P(W) 。利用概率的乘積公式，P(W)可展開為：P(W) = P(w1)P(w2/w1)P(w3/ w1 w2)P(wn/w1 w2wn-1) (1)式中P

23、(w1)表示第一個詞w1的出現概率，P(w2/w1) 表示在w1出現的情況下第二個詞w2出現的條件概率，依此類推。不難看出，為了預測詞wn的出現概率，必須已知它前面所有詞的出現概率。從計算上來看，這太復雜了。如果近似認為任意一個詞wi 的出現概率只同它緊鄰的前一個詞有關，那么計算就得以大大簡化。這就是所謂的二元模型(bigram)，由（1）式得：P(W) P(w1) i=2,nP(wi/ wi-1 ) （2）式中i=2,nP(wi/ wi-1 )表示多個概率的連乘。需要著重指出的是：這些概率參數都可以通過大規(guī)模語料庫來估值。比如二元概率P(wi/ wi-1) count(wi-1 wi) /

24、count(wi-1) （3）式中count() 表示一個特定詞序列在整個語料庫中出現的累計次數。若語料庫的總詞次數為N，則任意詞wi在該語料庫中的出現概率可估計如下：P(wi) count(wi) / N （4）同理，如果近似認為任意詞wi的出現只同它緊鄰的前兩個詞有關，就得到一個三元模型(trigram）：P(W) P(w1)P(w2/w1) i=3,nP(wi/wi-2 w-1 ) (5)統計語言模型的方法有點像天氣預報。用來估計概率參數的大規(guī)模語料庫好比是一個地區(qū)歷年積累起來的氣象記錄，而用三元模型來做天氣預報，就像是根據前兩天的天氣情況來預測當天的天氣。天氣預報當然不可能百分之百正確

25、。這也算是概率統計方法的一個特點。3.3.1 語音識別語音識別作為計算機漢字鍵盤輸入的一種圖代方式，越來越受到信息界人士的青睞。所謂聽寫機就是這樣的商品。據報道中國的移動電話用戶已超過一億，隨著移動電話和個人數字助理（PDA）的普及，尤其是當這些隨身攜帶的器件都可以無線上網的時候，廣大用戶更迫切期望通過語音識別或手寫板而不是小鍵盤來輸入簡短的文字信息。其實，語音識別任務可視為計算以下條件概率的極大值問題：W*= argmaxW P(W/speech signal)= argmaxW P(speech signal/W) P(W) / P(speech signal)= argmaxW P(sp

26、eech signal/W) P(W) （6）式中數學符號argmaxW 表示對不同的候選詞序列W計算條件概率P(W/speech signal)的值，從而使W*成為其中條件概率值最大的那個詞序列，這也就是計算機選定的識別結果。換句話講，通過式（6）的計算，計算機找到了最適合當前輸入語音信號speech signal的詞串W*。式（6）第二行是利用貝葉斯定律轉寫的結果，因為條件概率P(speech signal/W)比較容易估值。公式的分母P(speech signa ) 對給定的語音信號是一個常數，不影響極大值的計算，故可以從公式中刪除。在第三行所示的結果中，P(W) 就是前面所講得統計語言

27、模型，一般采用式（5）所示的三元模型；P(speech signal/W) 叫做聲學模型。講到這兒，細心的讀者可能已經明白，漢語拼音輸入法中的拼音漢字轉換任務其實也是用同樣方法實現的，而且兩者所用的漢語語言模型（即二元或三元模型）是同一個模型。據筆者所知，目前市場上的聽寫機產品和微軟拼音輸入法（3.0 版）都是用詞的三元模型實現的, 幾乎完全不用句法-語義分析手段。為什么會出現這樣的局面呢？這是優(yōu)勝劣汰的客觀規(guī)律所決定的?？杀鹊脑u測結果表明，用三元模型實現的拼音-漢字轉換系統，其出錯率比其它產品減少約50%。3.3.2 詞性標注一個詞庫中大約14%的詞型具有不只一個詞性。而在一個語料庫中，占總

28、詞次數約30% 的詞具有不止一個詞性。所以對一個文本中的每一個詞進行詞性標注，就是通過上下文的約束，實現詞性歧義的消解。歷史上曾經先后出現過兩個自動詞性標注系統。一個采用上下文相關的規(guī)則，叫做TAGGIT(1971)，另一個應用詞類的二元模型，叫做CLAWS(1987)5。兩個系統都分別對100 萬詞次的英語非受限文本實施了詞性標注。結果顯示，采用統計語言模型的CLAWS 系統的標注正確率大大高于基于規(guī)則方法的TAGGIT系統。請看下表的對比：系統名TAGGIT(1971) CLAWS(1987)標記數86 133方法3000條CSG 規(guī)則隱馬爾科夫模型標注精度77% 96%測試語料布朗LOB

29、令C 和W 分別代表詞類標記序列和詞序列，則詞性標注問題可視為計算以下條件概率的極大值:C*= argmaxC P(C/W)= argmaxC P(W/C)P(C) / P(W) argmaxC i=1,nP(wi/ci )P(ci /ci-1 ) （7）式中P(C/W)是已知輸入詞序列W 的情況下，出現詞類標記序列C 的條件概率。數學符號argmaxC 表示通過考察不同的候選詞類標記序列C, 來尋找使條件概率取最大值的那個詞類標記序列C* 。后者應當就是對W的詞性標注結果。公式第二行是利用貝葉斯定律轉寫的結果，由于分母P(W) 對給定的W是一個常數，不影響極大值的計算，可以從公式中刪除。接著

30、對公式進行近似。首先，引入獨立性假設，認為任意一個詞wi的出現概率近似只同當前詞的詞類標記ci 有關，而與周圍（上下文）的詞類標記無關。于是詞匯概率可計算如下：P(W/C) i=1,n P(wi/ci ) （8）其次，采用二元假設，即近似認為任意一個詞類標記ci 的出現概率只同它緊鄰的前一個詞類標記ci-1有關。有P(C) P(c1) i=2,n P(ci /ci-1 ) （9）P(ci /ci-1 ) 是詞類標記的轉移概率，也叫做基于詞類的二元模型。上述這兩個概率參數都可以通過帶詞性標記的語料庫來分別估計：P(wi/ci ) count(wi,ci) / count(ci) （10）P(ci

31、 /ci-1 ) count(ci-1ci) / count(ci-1) （11）據文獻報道，采用統計語言模型方法漢語和英語的次性標注正確率都可以達到96%左右6。5.3 介詞短語PP 的依附歧義在英語中，介詞短語究竟依附于前面的名詞還是前面的動詞，是句法分析中一種常見的結構歧義問題。下面通過一個例子看看，怎樣用語料庫方法來解決這個問題，以及這種方法究竟能達到多高的正確率。例句： Pierre Vinken, 61 years old, joined the board as a nonexecutive director.令A=1表示名詞依附，A=0 為動詞依附，則上述例句的PP 依附問題可

32、表為：(A=0, V=joined, N1=board, P=as, N2=director)令V, N1, N2分別代表句中動詞短語、賓語短語、介賓短語的中心詞，并在一個帶有句法標注的語料庫（又稱樹庫）中統計如下四元組的概率Pr：Pr = (A=1 / V=v, N1=n1, P=p, N2=n2) （10）對輸入句子進行PP 依附判斷的算法如下：若Pr = (1 / v, n1, p, n2) 0.5,則判定PP 依附于n1,否則判定PP 依附于v。Collins 和Brooks7.實驗使用的語料庫是賓夕法尼亞大學標注的華爾街日報（WSJ）樹庫，包括： 訓練集20,801個四元組，測試集3,097 個四元組。他們對PP 依附自動判定精度的上下限作了如下的分析：一律視為名詞依附(即A1) 59.0%只考慮介詞p的最常見附加72.2%三位專家只根據四個中心詞判斷88.2%三位專家根據全句判斷93.2%很明顯，自動判斷精確率的下限是72.2%，因為機器不會比只考慮句中介詞p的最常見依附做得更差了；上限是88.2%，因為機器不可能比三位專家根據四個中心詞作出的判斷更高明。論文報告，在被測試的3,097 個四元組中，系統正確判斷的四元組為2,