語(yǔ)料庫(kù)的建設(shè)和應(yīng)用

語(yǔ)料庫(kù)的建設(shè)和應(yīng)用桂詩(shī)春語(yǔ)料庫(kù)的興起發(fā)祥地語(yǔ)料庫(kù)語(yǔ)言學(xué)首先在美國(guó)。60年代開始,美國(guó)建立了100萬(wàn)詞的Brown語(yǔ)料庫(kù)（Francis&Kucera)。同時(shí),英國(guó)Edinburgh大學(xué)的300,000詞的口語(yǔ)語(yǔ)料庫(kù)。但是在generativelinguistics的影響下，得不到很多發(fā)展，例如Lees認(rèn)為Francis是”Thatisacompletewasteofyourtimeandthegovernment’smoney,YouareanativespeakerofEnglish;intenminutesyoucanproducemoreillustrationsofanypointinEnglishgrammarthanyouwillfindinmanymillionsofwordsofrandomtext.”Sinclair認(rèn)為，原因是“thedominantattitudetolanguageinUSAoverfortyyearshasbeenconcernedwithlanguageinthemind,andnotlanguageonpaper,orintheair”.在英國(guó)和歐洲卻得到迅猛的發(fā)展，ICAME（InternationalComputerArchiveofModernEnglish)在挪威的建立。美國(guó)人開始覺醒，1999在Michigan召開了”北美語(yǔ)料庫(kù)語(yǔ)言學(xué)討論會(huì)。Simpson和Swales在論文集呼吁要像人造衛(wèi)星和汽車工業(yè)那樣迎頭趕上。ANC正在積極進(jìn)行，LDC（LinguisticDataConsortium）收集了許多語(yǔ)料。LDC的口號(hào)是Nodatalikemoredata。語(yǔ)料庫(kù)的興起B(yǎng)C(beforecomputers)前:100多年前,WilhelmKaeding

動(dòng)員了”anarmyofhelpers”（5000人）建立了一個(gè)1千1百萬(wàn)詞的德語(yǔ)語(yǔ)料庫(kù)來研究速寫(Hausser1998)。18世紀(jì)DrJohnsonbased編寫英語(yǔ)詞典引用了來自著名作家的150,000例句。Palmer對(duì)常用詞的研究。Thorndike的工作（包括編寫詞典和編寫3萬(wàn)常用詞表。(1944)Hornby的AdvancedLearner’sDictionaryofCurrentEnglish.(1948)West的GeneralServiceListofEnglishWords(1953)Quick在50年代開始調(diào)查英語(yǔ)習(xí)慣語(yǔ)用法(SEU)(1968)。語(yǔ)料庫(kù)的興起B(yǎng)C后：按照Brown語(yǔ)料庫(kù)的傳統(tǒng)建立了一系列的語(yǔ)料庫(kù)(澳洲的ACE、新西蘭的WellingtonCorpus、印度的KolhapurCorpus，英國(guó)的LOB，德國(guó)的Frown和Flob，中國(guó)的JDEST，等等）越來越大，如BankofEnglish，BNC，LSWE，分別比Brown語(yǔ)料庫(kù)大410倍，100倍和40倍。專門用途語(yǔ)料庫(kù)，英國(guó)的幾大詞典出版商都建立自己的語(yǔ)料庫(kù)和編輯以語(yǔ)料庫(kù)為基礎(chǔ)的辭書，如COBUILD，OED，LONGMAN。美國(guó)的AHI也是建立得較早的語(yǔ)料庫(kù)。各種口語(yǔ)語(yǔ)料庫(kù)（如LLC（London-LundCorpus）、學(xué)習(xí)者語(yǔ)料庫(kù)（ICLE，CLEC，HKUST,等）、CHILDES（TheChildLanguageExchangeSystem),包括JDEST,GPEC(GuangzhouPetroleumEnglishCorpus),都帶有一定的專門的目的。越來越普遍，利用小語(yǔ)料庫(kù)（從幾十萬(wàn)到100萬(wàn)詞）來研究ELT。什么是語(yǔ)料庫(kù)？Acorpusisacollectionofpiecesoflanguagetextinelectronicform,selectedaccordingtoexternalcriteriatorepresent,asfaraspossible,alanguageorlanguagevarietyasasourceofdataforlinguisticresearch.（Sinclair）Corpuslinguisticsisthekindofresearch,carriedoutinuniversitydepartmentsoflinguistics,computerscience,andrelatedsubjects(andnowadaysofteninindustrialresearchlabstoo),whichmakescrucialuseoflanguagecorpora.（G.Sampson&D.McCarthy)語(yǔ)料庫(kù)是一種語(yǔ)言學(xué)研究生必須掌握的一種方法、技術(shù)、手段。它對(duì)我們的研究提供一種新的視野，對(duì)我們論文寫作提供很大的幫助。什么是語(yǔ)料庫(kù)？語(yǔ)料庫(kù)必須有代表性。不管語(yǔ)料庫(kù)有多大，它所包含的語(yǔ)料都不過是整個(gè)語(yǔ)言的一部分樣本。樣本太少，代表性就不夠，通過樣本來了解整體就有誤差。這牽涉到選擇文本的方式（mode，speechorwriting）、類型（type，abook，ajournal，etc。）、領(lǐng)域（domain，academicorpopular）、語(yǔ)言（language，American，British，etc.）、來源地（location）、時(shí)間（date）。語(yǔ)料庫(kù)必須是機(jī)讀（machine-readable）的。語(yǔ)料庫(kù)必須是用統(tǒng)計(jì)手段分析和整理過的。語(yǔ)料庫(kù)最好是向公眾開放的。語(yǔ)料是經(jīng)得起檢驗(yàn)的。語(yǔ)料庫(kù)的設(shè)計(jì)和制作

設(shè)計(jì)和制作語(yǔ)料庫(kù)必須有明確的目的。如果是通用性的，使用現(xiàn)成的，就足夠了。如果有特定的研究目的，而又較多地了解一些特定領(lǐng)域內(nèi)的語(yǔ)言用法，就可以建立專門用途的語(yǔ)料庫(kù)。有了明確的目的以后，就必須考慮這方面的語(yǔ)料范圍，以及制定抽樣方案。抽樣的基本原則是保證樣本的代表性（representativeness）和均衡性（balance），語(yǔ)料庫(kù)的各個(gè)部分的權(quán)重必須大致相同。表11.6Brown語(yǔ)料庫(kù)抽樣方案編

號(hào)文

本

類

型篇數(shù)百分比（%）I．信息性文體37475

A.報(bào)紙：報(bào)道448.8

B.報(bào)紙：社論275.4

C.報(bào)紙：評(píng)論173.4

D.宗教173.4

E.技能與嗜好367.2

F.民間傳說489.6

G.純文學(xué)，傳記、回憶錄7515

H．雜類（政府文獻(xiàn)、基金、工業(yè)報(bào)告、學(xué)校目錄、公司內(nèi)部報(bào)告）306.0

J．學(xué)術(shù)性文章8016.0II．想象性文體12625

K．一般小說

295.8

L．疑案與偵探小說244.8

M．科幻小說61.2

N．冒險(xiǎn)與西部小說295.8

F．愛情故事295.8

R．幽默91.8最好的方法隨機(jī)抽樣或分層抽樣來取樣，例如要選科幻小說，就到圖書館科幻小說的書架上隨機(jī)抽一本，隨機(jī)選出有關(guān)頁(yè)面?；蚴窍入S機(jī)定好一個(gè)數(shù)目，如有關(guān)資料的第一個(gè)書架的第二層的第五本書的第50頁(yè)到第55頁(yè)。語(yǔ)料庫(kù)的設(shè)計(jì)和制作又如我們最近想建一個(gè)《語(yǔ)言學(xué)及應(yīng)用語(yǔ)言學(xué)語(yǔ)料庫(kù)》，其目的是（1）供研究生論文寫作查閱語(yǔ)言搭配；（2）建立次專業(yè)性（sub-technicalterms）詞匯表。我們定了14個(gè)領(lǐng)域，包括理論、心理、社會(huì)、應(yīng)用、語(yǔ)用、神經(jīng)、認(rèn)知、語(yǔ)音、語(yǔ)法、語(yǔ)義（詞匯）、語(yǔ)料、語(yǔ)體（語(yǔ)篇）、生物語(yǔ)言學(xué)和自然語(yǔ)言處理，隨機(jī)抽樣500篇，每篇2000字上下。這也是一個(gè)方案。語(yǔ)源，來自英、美的電子文本、新出的教科書、雜志，主要。書面英語(yǔ)，學(xué)術(shù)性文體。Internet。語(yǔ)料庫(kù)的設(shè)計(jì)和制作文本電子化。文本必須是純文本（.txt）格式，（因?yàn)楹芏嗤ㄓ玫能浖鏣ACT，Wordsmith等只接受這種格式），而且經(jīng)過光學(xué)字符識(shí)別（OCR）處理。最簡(jiǎn)便的方法是（1）從網(wǎng)上直接下載，然后進(jìn)行轉(zhuǎn)換，例如用Word打開，另存為.txt文件。（2）是用掃描器掃描文件，進(jìn)行識(shí)別（一般掃描器都提供識(shí)別的軟件），存為.txt文件。純文本格式的文本不能有圖表。文本電子化。所有選擇好的樣本都必須進(jìn)行電子化處理，那就是轉(zhuǎn)換成可以機(jī)讀的電子文本，存放在電腦里備用。在目前的情況下，文本必須是純文本（.txt）格式。對(duì)電子文件進(jìn)行標(biāo)識(shí)。語(yǔ)料庫(kù)標(biāo)識(shí)（corpusannotation）是建立語(yǔ)料庫(kù)中值得關(guān)注的問題。建立語(yǔ)料庫(kù)的改變目的是從語(yǔ)料中抽取信息，以編制詞典、建立語(yǔ)法、了解學(xué)習(xí)者語(yǔ)言，等等。為了抽取信息，我們需要對(duì)文本增加更多的明示的語(yǔ)言信息，例如文本的來源，詞類賦碼（part-of-speechtagging），等等，例如taken_WN，WN說明taken是過去分詞。詞類賦碼很有必要，例如英語(yǔ)left，可以是名詞（onyourleft）、形容詞（mylefthand）或動(dòng)詞（Ileftearly）。語(yǔ)料庫(kù)的設(shè)計(jì)和制作語(yǔ)料的標(biāo)識(shí)一般放在尖括號(hào)(<>)里面,詞類的賦碼則放在詞后加_,如girls_NN$。如the_AT

jury_NN

said_VBD

it_PPS

did_DOD

find_VB

that_CS

many_AP

of_IN

Georgia's_NP$registration_NN

and_CC

election_NN

laws_NNS

are_BER

outmoded_JJ

or_CC

inadequate_JJ

and_CC

often_RB

ambiguous_JJ._.對(duì)語(yǔ)料庫(kù)進(jìn)行統(tǒng)計(jì)處理。語(yǔ)料庫(kù)是一種依托計(jì)算機(jī)把文本的詞頻進(jìn)行整理的技術(shù)和方法。頻數(shù)反映的是一種概率關(guān)系。哈佛大學(xué)的語(yǔ)言學(xué)教授Zipf(1949)提出一條關(guān)于詞頻和它的排列次序的關(guān)系的定律——Zipf定律：Thenumericalpositionofawordinalistissortedbydecreasingfrequency(f).。Brown語(yǔ)料庫(kù)(1014232)的前10個(gè)詞的次序排列次序最常用詞頻數(shù)實(shí)際概率Zipf定律1the699710.0689890.12of364110.03590.053on288520.0284470.0333334to261490.0257820.0255a232370.0229110.026in213410.0210420.0166677that105950.0104460.0142868is100990.0099570.01259was98160.0096780.01111110he95430.0094090.01

累計(jì)比例=0.2425620.292897Zipf定律除了高低兩端的次序外都較準(zhǔn)確。語(yǔ)料庫(kù)的設(shè)計(jì)和制作一般來說，對(duì)語(yǔ)料庫(kù)的統(tǒng)計(jì)整理主要是編制詞頻排列表（按次序和按字母排列）和詞頻分布表。Carroll等人根據(jù)AHI所編制成《詞頻手冊(cè)》(1971)對(duì)詞頻排列表，除了頻數(shù)外，還計(jì)算出其D值，U值和SFI值。CLEC也照樣給出這幾個(gè)值。D值為分布指數(shù)，從1~0，指數(shù)越大意味著一個(gè)詞在不同類別的文本中的頻數(shù)越大，使用面越廣。U值指一個(gè)詞折算成100萬(wàn)詞的頻數(shù)（因?yàn)椴皇撬械恼Z(yǔ)料庫(kù)都是100萬(wàn)詞的），SFI為標(biāo)準(zhǔn)頻數(shù)指數(shù)（StandardFrequencyIndex），表示詞型和詞次的關(guān)系，根據(jù)U值算出。90表示一個(gè)詞在10詞次、80表示100詞次、70表示1000……40表示100萬(wàn)詞次中出現(xiàn)一次。

語(yǔ)料庫(kù)的設(shè)計(jì)和制作建立語(yǔ)料庫(kù)需要的技術(shù)條件硬件：計(jì)算機(jī)（臺(tái)式、筆記本）、Pentium4以上，內(nèi)存520~1GB，硬盤120GB以上；掃描儀，最好是掃描文本專用的。軟件：Wordsmith，TACT，Concodancer；Abbyy

FineReader8.0；AdobeAcrobat;MicrosoftWord，Excel.聯(lián)網(wǎng)，Google搜索。詞頻率DUSFIst2st3st4st5st6DEBT320.0969.4349.75000131MEMORABLE320.2311.9550.8210290FLAG320.36615.451.9271022TROUBLES320.9329.454.7257612表4詞頻排列表50,000詞中出現(xiàn)一次SFI=50，100,000詞中出現(xiàn)一次語(yǔ)料庫(kù)的應(yīng)用根據(jù)Leech(1998)的說法，可以有下列幾個(gè)方面：和本族語(yǔ)使用者比較，目標(biāo)語(yǔ)學(xué)習(xí)者有哪些語(yǔ)言特征是明顯地超用（overuse）和少用（underuse）的？學(xué)習(xí)者的目標(biāo)語(yǔ)行為在多大程度上受到他們的母語(yǔ)的影響（負(fù)面轉(zhuǎn)移）？他們?cè)谀男╊I(lǐng)域不能夠充分利用目標(biāo)語(yǔ)的表達(dá)資源，而采取了“回避策略”？他們?cè)谡Z(yǔ)言運(yùn)用的哪些方面達(dá)到接近本族語(yǔ)水平？在哪些方面仍然處于非本族語(yǔ)的水平？A國(guó)的學(xué)習(xí)者的非本族語(yǔ)的語(yǔ)言運(yùn)用有哪些重要方面（按頻數(shù)的次序）蒙受損失，需要幫助？表11.8CLEC、Flob、Frown三個(gè)語(yǔ)料庫(kù)的比較

CLECFlobFrown詞次（token)120787912374371241858詞型(type)255624508945356型/次比2.123.643.65標(biāo)準(zhǔn)型/次比36.0645.7345.77平均詞長(zhǎng)4.094.354.39句子693515267556912句長(zhǎng)16.6923.4921.82句長(zhǎng)標(biāo)準(zhǔn)差12.316.6215.44語(yǔ)料庫(kù)的應(yīng)用中國(guó)英語(yǔ)學(xué)習(xí)者的英語(yǔ)超用和少用詞的情況。Wordsmith的另一個(gè)子程序是“關(guān)鍵詞”（keywords），它可以把一個(gè)語(yǔ)料庫(kù)和另一個(gè)參照語(yǔ)料庫(kù)比較時(shí)，它在文本中出現(xiàn)的頻數(shù)概率小于或等于用戶所規(guī)定的p值。經(jīng)過比較后，如果一個(gè)詞的出現(xiàn)超出所期望的幾率，我們把它叫做“正關(guān)鍵詞”；少于所期望的幾率時(shí)，我們稱之為“負(fù)關(guān)鍵詞”。我們把CLEC和Flob兩個(gè)語(yǔ)料庫(kù)加以比較，發(fā)現(xiàn)兩個(gè)語(yǔ)料庫(kù)超用的詞和文本的內(nèi)容有很大的關(guān)系，如CLEC的語(yǔ)料大都來自與個(gè)人和學(xué)校生活有關(guān)，所以life,school,college,campus,English,friends,knowledge,we,I,teachers,students。有些超用詞則來自命題作文，如water,fresh,health,mortality,fake,society,jobs,money,countries,eat,harm,pollution,births,shortage,river,euthanasia等。

語(yǔ)料庫(kù)的應(yīng)用而Flob的超用詞則和英國(guó)的政治和社會(huì)生活有關(guān)，如British,church,European,community,bullet,Labour,UK,England,minister,religious,Christian,tax等。所以超用詞的比較僅可以說明語(yǔ)料的題材不同。但是少用詞卻可以暴露中國(guó)英語(yǔ)學(xué)習(xí)者的一些問題。例如of,her,had,she,been,was,an,local,his,cent,its,within,Mr.,where,by,which,were,might,as,off,between,he’d,he等，都是屬于前50個(gè)關(guān)鍵性最高的少用詞。這可以說明：中國(guó)英語(yǔ)學(xué)習(xí)者傾向于少用被動(dòng)語(yǔ)態(tài)（如been，by），過去時(shí)態(tài)（had，was，were，might），第三人稱代詞（her,she，his，its，he’d，he）和一些wh-詞（which，where），而其原因很可能是受漢語(yǔ)的影響：漢語(yǔ)的被動(dòng)式用得較少，但表達(dá)方法卻很多，不一定非用“被字句”；漢語(yǔ)表示過去沒有形態(tài)變化；漢語(yǔ)第三人稱在語(yǔ)音上沒有差別；漢語(yǔ)的內(nèi)嵌句較少，關(guān)系代詞也沒有英語(yǔ)用得那么普遍。語(yǔ)料庫(kù)的應(yīng)用英語(yǔ)的一個(gè)特點(diǎn)是習(xí)慣用法很多，很多詞的搭配是規(guī)約性的，沒有什么理由可說。這往往成為英語(yǔ)學(xué)習(xí)者的一個(gè)難點(diǎn)。在Wordsmith的concord子程序，可以幫助我們了解一個(gè)詞的搭配詞的情況。例如英語(yǔ)的great，large，big是三個(gè)同義詞。我們比較了它們?cè)贑LEC，F(xiàn)lob和Frown的頻數(shù):CLECFLOBFROWNGreat1354533450Large388386389big514255330表10.10CLEC中g(shù)reat的搭配詞f>10

NWORDR1NWORDR11HARM7414THING162DEAL7115BURDEN153WALL6416IMPORTANCE154CHANGES6317SUCCESS155PROGRESS4518NEED146CHANGE3719NUMBER147BENEFIT3620VALUE148PAIN3121IMPROVEMENT129RELIEF2422MAN1210POET1923PLEASURE1111HELP1824TROUBLE1112ACHIEVEMENTS1625DEVELOPMENT1013EFFORT16

但是在幾個(gè)NS的語(yǔ)料庫(kù)里，10個(gè)以上的搭配詞只有deal，Britain和many。在BNC里harm倒是有29次，折算下來中國(guó)學(xué)生多用了255倍。

語(yǔ)料庫(kù)的應(yīng)用又如risk,danger,threat,hazard這幾個(gè)近義詞的使用情況也反映了中國(guó)學(xué)習(xí)者的掌握和英美人大不相同：BNCFLOBFROWNCLECRisk1171009626Danger58485168Threat56566819Hazard7872總計(jì)238212222115語(yǔ)料庫(kù)的應(yīng)用中國(guó)學(xué)生掌握和使用的數(shù)量偏少。中國(guó)學(xué)生使用這幾個(gè)近義詞，特別是risk和threat，明顯地少于操本族語(yǔ)者，而使用danger卻又略多于他們。中國(guó)學(xué)生使用risk的搭配非常有限（taketherisk[8],attherisk[3],torisk[6]),較多樣：英美人比較多樣，avoid/carry/eliminate/ignore/crease/involve/give/reduce/run/worth/lackoftherisk；它還可以有一個(gè)修飾詞，如conventional/maximum/no/some/suicide/own/unnecessary/hazard/with/withoutrisk，最多用的修飾詞是high，但中國(guó)學(xué)生都不會(huì)用。語(yǔ)料庫(kù)的應(yīng)用中國(guó)學(xué)生之所以多用danger是因?yàn)椴欢眠€有risk，threat等其他近義詞，而且把danger當(dāng)作是“危險(xiǎn)”、“風(fēng)險(xiǎn)”、“威脅”的上義詞，在寫作中出現(xiàn)下面的失誤：

Fakefurniturebringsdangertopeople.(Itisriskybuyingfakefurniture.)Waterisfacingthedangerofshortage.(Wearefacingthethreatofwatershortage.）語(yǔ)料庫(kù)的應(yīng)用搭配是中國(guó)學(xué)生的難點(diǎn)，在寫作時(shí)往往會(huì)碰到一些搭配不好解決。例如utterly在詞典的釋義里是“完全、徹底”的意思，但是Louw發(fā)現(xiàn)在COBUILD語(yǔ)料庫(kù)里發(fā)現(xiàn)了99個(gè)搭配，而在大多數(shù)情況下，都是用于“壞”的意義。1nothing.Thefarmerswereutterlyagainsttheunionandutterl

2rlyagainsttheUnionandutterlyagainsttheWagesBoard.Now3fiteverythingseemedsoutterlyalteredthatIfeltillogica

4butIohasnowindandisutterlyarid.Mostlikelythiserosi

5rstthingwe'deverseen,utterlyblackenednow,theskinont6inhisdiary:"Whitehallutterlyburnedtotheground,nothin

7Inmyexperienceitgetsutterlyconfused.Andthereareseve

8sambitiouswife,arenotutterlyconvincing.MiguelFernandes

9nfident,well-trainedandutterlydedicatedtotheideaofwin10feet.Itshopesappearedutterlydemolishedin1956,whenMr

11outwardsfromthecentreutterlydestroyingeverythinginits12theislandtheviewwasutterlydifferent.Thefilmyenchant13Ithinkitwouldbeanutterlydifferentkindofprogramme

14probability'ssake,notutterlydisconfirmingthetaleofa又如根據(jù)Sinclair的調(diào)查,regime在67%的情況下都是用于西方社會(huì)看成是”壞的”搭配.ancientNazipowerBaghdadSovietPresidentFrancodictatedoverthrowtotalitariancommunistnewoldmilitaryIraqiCeausescuSaddamHusseinPenhPhnomstrictfascistauthoritarianMengistucollapsecontrolVichyrepressiveKabul語(yǔ)料庫(kù)的應(yīng)用有些語(yǔ)言搭配可以通過語(yǔ)料庫(kù)來尋找更多的說法，使文章變得多采多姿。例如論文中免不了要談到theory。通過檢索，我們可以找到一些搭配：need,assume,construct,putforward,support,believe,leadto,promote,discuss,revise,basedon….a(the)theory;或a(the)theoryfaces,behind,evolved,dependson,emergedfrom,proposes,holds,relatedto,grewoutof,concerned,serves….