基于動(dòng)態(tài)流通語料庫的現(xiàn)代漢語詞語研究市公開課特等獎(jiǎng)市賽課微課一等獎(jiǎng)

基于動(dòng)態(tài)流通語料庫

當(dāng)代漢語詞語研究北京語言大學(xué)應(yīng)用語言學(xué)研究所張普Zhangpu@Tel:008610-82303034Fax:008610-82300365第1頁主要內(nèi)容動(dòng)態(tài)語料庫流通度詞語研究第2頁動(dòng)態(tài)語料庫與共時(shí)語料庫相對而言，是歷時(shí)語料庫，是對語言改變進(jìn)行檢測和監(jiān)測語料庫。特點(diǎn)：語料是動(dòng)態(tài)語料是歷時(shí)語料是與時(shí)俱進(jìn)、不停更新第3頁語言知識(shí)滯后

無法反應(yīng)大規(guī)模真實(shí)文本詞語克隆、寬帶、超平、背投、非典、疑似、噴塑、科盲、沙塵暴、數(shù)字化、VCD、WTO、CEO、因特網(wǎng)、網(wǎng)民、網(wǎng)蟲、上網(wǎng)、下載、消毒軟件、泡沫經(jīng)濟(jì)、環(huán)境保護(hù)工程、高新技術(shù)、知識(shí)創(chuàng)新、納米技術(shù)、當(dāng)代遠(yuǎn)程教育、高致病性禽流感、Ｈ５Ｎ１、撲殺、叮當(dāng)村、群死群傷、公投、勇氣號(hào)、高官、蒜農(nóng)、危改、拆遷、房改房、3加1、3改4、退2進(jìn)3、市話、高檢、掃黃、打假、打黑、反腐倡廉、盜版、大片、管涌、遺灑、千禧、兩會(huì)、禁放、按揭、套牢三講、三個(gè)代表、豆腐渣工程、鄧小平理論、阿富汗、北方聯(lián)盟、本拉登、科索沃、法輪功、申奧、奧組委APEC、克林頓、布什、反恐、世界杯、黑哨菲傭、足按、三陪小姐、美體修形、鴻運(yùn)當(dāng)頭、唐裝、臍裝、太陽裙、透明裝、人體彩繪、人體藝術(shù)、酷毖、很in、美白、凈白、柔嫩、雙贏、人氣、另類第4頁第5頁年紀(jì)“代溝”生理年紀(jì)“代”在延長社會(huì)年紀(jì)“代”相對穩(wěn)定語言年紀(jì)“代”在縮短第6頁第7頁改變語言時(shí)間觀共時(shí)時(shí)間觀歷時(shí)時(shí)間觀相對時(shí)間觀

——共時(shí)中有歷時(shí)和歷時(shí)中有共時(shí)第8頁共時(shí)語料庫歷時(shí)觀察香港城市大學(xué)“共時(shí)語料庫”95-05觀察：

大哥大--手提--手持--移動(dòng)電話--手機(jī)互聯(lián)網(wǎng)--因特網(wǎng)第9頁關(guān)于“非典”例子2月28日，46歲世界衛(wèi)生組織（WHO）傳染病教授烏爾巴尼博士在河內(nèi)一個(gè)華裔美國商人約翰尼·陳身上發(fā)覺了一個(gè)非常規(guī)病毒，引發(fā)這種疾病病毒與以往造成感冒、肺炎等疾病病毒完全不一樣，他稱之為“非經(jīng)典肺炎病毒”，并隨即向世界衛(wèi)生組織匯報(bào)，世界衛(wèi)生組織提議稱這種疾病為“嚴(yán)重急性呼吸系統(tǒng)綜合癥”。18天后，烏爾巴尼死于自已一個(gè)月前發(fā)覺疾病——“嚴(yán)重急性呼吸系統(tǒng)綜合癥”。第10頁關(guān)于“非典”例子11月：非經(jīng)典肺炎第一個(gè)病例，佛山市。1月：第一次匯報(bào)病例，SARS是一個(gè)新病毒，河源市。1月后，發(fā)覺SARS病情在中山、佛山、廣州市出現(xiàn)了，我們把它命名為非經(jīng)典傳染性肺炎。2月11號(hào)，我們向世界衛(wèi)生組織駐北京代表處匯報(bào)了這個(gè)情況，世界衛(wèi)生組織在2月14號(hào)發(fā)行流行病統(tǒng)計(jì)周刊當(dāng)中，把它稱為SARS。世界衛(wèi)生組織（WHO）在3月15日新公布名稱已正式定為“嚴(yán)重急性呼吸道綜合征”（SevereAcuteRespiratorySyndrome），簡稱SARS。3月21號(hào)，世界衛(wèi)生組織開始使用SARS來稱呼這個(gè)新疾病。3月18日，德國和中國香港漢字大學(xué)試驗(yàn)室用電子顯微鏡拍到了一個(gè)病毒。5分鐘之內(nèi)，該病毒照片就經(jīng)過網(wǎng)站公布出來，以供其它試驗(yàn)室科學(xué)家參考。3月21日晚上，香港大學(xué)裴偉士向“全球病毒試驗(yàn)室”各組員發(fā)了一個(gè)電子郵件，宣稱從患者組織中分離了一個(gè)病毒，經(jīng)電子顯微鏡下形態(tài)觀察表現(xiàn)為冠狀病毒。很快這項(xiàng)試驗(yàn)在美國、加拿大等其它組員試驗(yàn)室中重復(fù)出來。3月26日開始，中國參加了世界衛(wèi)生組織全球協(xié)作網(wǎng)路。而且發(fā)覺SARS疾病病因可能是冠狀病毒。第11頁關(guān)于“非典”例子有“非典”字樣網(wǎng)頁：39458個(gè)

新浪有“SARS”網(wǎng)頁：12410個(gè)有“薩斯”字樣網(wǎng)頁：1660個(gè)

俞允?！斗堑溥€是SARS》第12頁關(guān)于“非典”例子年入選動(dòng)態(tài)流通語料庫14家主流報(bào)紙是（按音序排列）：

北京青年報(bào)

北京日報(bào)

北京晚報(bào)

法制日報(bào)

光明日報(bào)環(huán)球時(shí)報(bào)

今晚報(bào)

南方周末

人民日報(bào)

深圳特區(qū)報(bào)新民晚報(bào)

羊城晚報(bào)

揚(yáng)子晚報(bào)

中國青年報(bào)

第13頁關(guān)于“非典”例子１４種報(bào)紙２００３年１月１日－１２月２５日總文件數(shù)：562669個(gè)。即56萬2千多個(gè)文本。

總字?jǐn)?shù)：426805177字。即約4億3千萬字。

第14頁動(dòng)態(tài)追蹤發(fā)展歷程

描述“非典”動(dòng)態(tài)流通曲線例子第15頁衡量動(dòng)態(tài)語料庫四個(gè)標(biāo)準(zhǔn)是否是動(dòng)態(tài)滾動(dòng)語料語料庫加工是否是動(dòng)態(tài)加工方法是否取得動(dòng)態(tài)加工結(jié)果（走勢圖）語料庫文本是否含有量化流通度屬性第16頁匯報(bào)內(nèi)容動(dòng)態(tài)語料庫流通度詞語研究第17頁從頻度到流通度使用度：提要１３次３類８篇哨棒１３次１類１篇通用度：頻度通用度猿人５２次１０.４花園４０次２３.７觀賞３５次３３.９Ｔ階頻度：Ａ表頻度表下８１２；上５３２Ｂ表通用度表總差：１３４４個(gè)詞語１５％第18頁從頻度到流通度重復(fù)文本歷時(shí)文本次數(shù)散布散布流通頻度+使用度++通用度+++流通度++++第19頁流通度計(jì)算媒體發(fā)行量：流通量(thevolumeofcirculation)媒體發(fā)行周期：流通密度(thedensityofcirculation)媒體發(fā)行地域：流通空間(theareaofcirculation)媒體閱讀率：流通率(thefrequencyofcirculation)計(jì)算公式：Ct=Vc·Dc·Ac·Fc·…

流通度＝流通量·流通密度·流通空間·流通率·…

第20頁１９９７年１１月－１９９８年６月

全國周報(bào)閱讀率前１５名排名表刊名名次閱讀率足球１12.9南方周末２7.3民主與法制３6.7報(bào)刊文摘４6.5中國足球５6.4文摘報(bào)６中國電視報(bào)７5.8球迷８4.4作家文摘９3.7每七天文摘１０3.5體壇周報(bào)１１3.5計(jì)算機(jī)世界１２3.2足球報(bào)１３3舞臺(tái)與銀幕１４3健康文摘報(bào)１５2.5

第21頁第22頁流通性：流通度例證（一）偉哥“１９９８年６月－１２月，中國約有３２０種以上雜志，１８００種報(bào)紙刊文介紹偉哥?！?/p>

《”偉哥“事件告訴中國企業(yè)家什么》載《北京晚報(bào)》：１９９９年８月５日。第23頁流通度例證（二、三）妹力（張惠妹）＝魅力

北京地域報(bào)紙算機(jī)

《談?wù)効茖W(xué)名詞》載《科技術(shù)語研究》１９９９年２期第24頁匯報(bào)內(nèi)容動(dòng)態(tài)語料庫流通度詞語研究第25頁詞語研究什么是詞語提出詞語研究信息處理背景當(dāng)前北京語言大學(xué)基于動(dòng)態(tài)流通語料庫詞語研究情況今后詞語研究和應(yīng)用第26頁什么是“詞語”詞語：詞和短語；字眼wordandphrase語詞：指詞、詞組一類語言成份Wordandphrase漢英雙語《當(dāng)代漢語詞典》詞語：交際（表示和了解）中言語（話）結(jié)構(gòu)單位，即結(jié)合緊密、使用穩(wěn)定“詞”和“語”。能夠是我們通常了解詞、短語（詞＋詞）、詞＋短語、短語＋短語等。

第27頁研究“語”背景“詞”和“短語”劃界困難何為“詞”？從“豬肉”到“孔雀肉”、“駱駝肉”；經(jīng)?？闯梢粋€(gè)詞來使用“語”：成語、諺語、歇后語、熟語、慣用語、縮略語、術(shù)語、流行語、字母“詞”、數(shù)字“詞”等。自然語言了解推進(jìn)需求淺層分析和信息提取需求提出：基本短語、塊、語塊（chunk）、功效語塊、雙語語塊、語義塊、結(jié)構(gòu)串、有效字符串。認(rèn)知探索新進(jìn)展人在閱讀了解中閱讀單位是什么？眼動(dòng)儀追蹤結(jié)果分析。

第28頁短語形式：詞＋詞詞＋短語短語＋短語分類：我們不能將全部“語”收入《語典》，“語”有兩類：固定短語和暫時(shí)短語。固定短語特點(diǎn)：結(jié)合緊密、使用穩(wěn)定

怎樣衡量結(jié)合緊密和使用穩(wěn)定？哪些“語”應(yīng)該進(jìn)入“語表”？一些“語”流通度遠(yuǎn)高于普通詞，語義和語用更像一個(gè)“詞”：改革開放、國民經(jīng)濟(jì)、西部大開發(fā)、交通擁堵、環(huán)境保護(hù)、反恐怖活動(dòng)、非典疑似、高致病性禽流感、走有中國特色社會(huì)主義道路。第29頁詞語研究什么是詞語提出詞語研究信息處理背景當(dāng)前北京語言大學(xué)基于動(dòng)態(tài)流通語料庫詞語研究情況今后詞語研究和應(yīng)用第30頁第31頁第32頁關(guān)于動(dòng)態(tài)詞語研究

應(yīng)用語言學(xué)面向人應(yīng)用面向機(jī)器應(yīng)用本體研究教學(xué)語言信息處理動(dòng)態(tài)詞語研究動(dòng)態(tài)詞典動(dòng)態(tài)流通語料庫第33頁支持語言本體研究流行語研究字母詞研究IT術(shù)語研究基本詞匯研究數(shù)字詞研究通用詞語研究第34頁流行語提取與公布十大流行語公布春夏季十大流行語公布通用領(lǐng)域經(jīng)濟(jì)領(lǐng)域非典專題伊拉克專題十大流行語公布通用領(lǐng)域國際領(lǐng)域經(jīng)濟(jì)領(lǐng)域非典專題隋巖、楊爾弘、郭惠志、謝學(xué)敏等博士第35頁２００２年中國主流報(bào)紙“十大流行語”公布

主辦北京語言大學(xué)中國漢字信息學(xué)會(huì)中國新聞技術(shù)工作者聯(lián)合會(huì)第36頁１５家主流報(bào)紙媒體北京青年報(bào)北京日報(bào)北京晚報(bào)法制日報(bào)光明日報(bào)環(huán)球時(shí)報(bào)經(jīng)濟(jì)日報(bào)今晚報(bào)南方周末人民日報(bào)深圳特區(qū)報(bào)新民晚報(bào)羊城晚報(bào)揚(yáng)子晚報(bào)中國青年報(bào)

第37頁

十大流行語公布1、十六大

2、世界杯3、短信4、降息5、反恐6、數(shù)字影像7、姚明

8、車市9、CDMA

10、三個(gè)代表數(shù)家電視廣播臺(tái)、數(shù)十家報(bào)紙、2240網(wǎng)頁轉(zhuǎn)載第38頁春夏季十大流行語（綜合類）1非典(SARS)2疫情3消毒4隔離5巴格達(dá)6薩達(dá)姆7三峽8疑似9伊拉克戰(zhàn)爭10世界衛(wèi)生組織(WHO)第39頁春夏季十大流行語（非典專題）1、非典(SARS)2、疫情3、消毒4、隔離5、抗擊非典6、疑似7、口罩8、體溫9、防控10、世界衛(wèi)生組織(WHO)第40頁２００３年流行語公布１４種報(bào)紙２００３年１月１日－１２月２５日總文件數(shù)：562669個(gè)。即56萬2千多個(gè)文本。

總字?jǐn)?shù)：426805177字。即約4億3千萬字。

第41頁第42頁字母詞粗考查媒體：２００２《××青年報(bào)》、《××日報(bào)》情況：

××青年報(bào)年字母詞情況粗略統(tǒng)計(jì)

××青年報(bào)純字母串統(tǒng)計(jì)表

××青年報(bào)與××日報(bào)情況比較

鄭澤芝、史艷蘭等博士第43頁IT術(shù)語提取研究DCC通用領(lǐng)域語料庫年語料（Gen0）共計(jì)489694篇文檔，1256602278字節(jié)，約合6.3億雙字節(jié)字符。IT領(lǐng)域語料庫（Ccw02），共計(jì)12272篇文檔，35579231字節(jié)，約合1779萬雙字節(jié)字符。王強(qiáng)軍博士第44頁抽出新術(shù)語類型（1）新事物、新概念，如：彩屏、彩信、彩殼、純平、公網(wǎng)、群發(fā)、容災(zāi)、閃盤、視訊、貼圖、網(wǎng)視、光互連、全光網(wǎng)、上網(wǎng)率、智能流、網(wǎng)絡(luò)防毒、數(shù)字災(zāi)難、容災(zāi)備份、網(wǎng)絡(luò)貨幣、無縫移動(dòng)、在線存放、移動(dòng)上網(wǎng)等。（2）術(shù)語組成成份，如：針式、流式、關(guān)系型、可擦寫等。這一類普通不作為單獨(dú)條目出現(xiàn)在術(shù)語詞典中。（3）術(shù)語簡稱、縮略等形式：如：彩噴、激打（激光打印[機(jī)]）、針打、標(biāo)配（標(biāo)準(zhǔn)配置）、固話、噴打、重啟、彩色激打等。（4）專業(yè)領(lǐng)域中行話、俗語：宕機(jī)、水貨、掉線、版主、黑屏、藍(lán)屏、帖子、正版、正版化等等。（5）借用其它領(lǐng)域概念：變種（病毒）、和弦（手機(jī)鈴聲）等。王強(qiáng)