文本結(jié)構(gòu)化技術(shù)的初步實(shí)現(xiàn)與中文縮略語還原技術(shù)初探課件

文本結(jié)構(gòu)化技術(shù)的初步實(shí)現(xiàn)

與

中文縮略語還原技術(shù)初探指導(dǎo)教師：俞士汶教授學(xué)生：支流

Tuesday,December5,2023內(nèi)容提要文本結(jié)構(gòu)化技術(shù)建設(shè)結(jié)構(gòu)化語料庫的必要性文本結(jié)構(gòu)化技術(shù)實(shí)現(xiàn)中文縮略語還原技術(shù)初探中文縮略語的研究意義中文縮略語分類框架樸素的縮略語還原技術(shù)縮略語知識(shí)庫的建設(shè)內(nèi)容提要文本結(jié)構(gòu)化技術(shù)建設(shè)結(jié)構(gòu)化語料庫的必要性文本結(jié)構(gòu)化技術(shù)實(shí)現(xiàn)中文縮略語還原技術(shù)初探中文縮略語的研究意義中文縮略語分類框架樸素的縮略語還原技術(shù)縮略語知識(shí)庫的建設(shè)綜合型語言知識(shí)庫簡(jiǎn)介語法詞典標(biāo)注語料庫句法知識(shí)語義詞典概念詞典語義知識(shí)詞庫短語規(guī)則庫日常用語術(shù)語庫－專業(yè)用語單語平行語料庫－雙語現(xiàn)代漢語古詩－古代漢語語法詞典標(biāo)注語料庫語法信息詞典與語料庫之間的縫隙詞語詞類同形拼音頻次例句注抄vAchao1

照原稿寫抄vBchao1

走近道此類/r編著/v內(nèi)容/n是/v抄/v自/p別人/r的/u

炮兵/n學(xué)院/n原來/d圍墻/n殘缺/v，/w周邊/n群眾/n進(jìn)城/v，/w習(xí)慣/v抄/v近道/n。/w

文本文件與數(shù)據(jù)庫文件的對(duì)應(yīng)較麻煩“詞語＋詞類＋同形”為主關(guān)鍵項(xiàng)的數(shù)據(jù)庫文件進(jìn)行了詞語切分和詞類標(biāo)注的文本文件結(jié)構(gòu)化語料庫的格式切分單位長(zhǎng)年月日版篇段句位19981201-01-002-001/m211998120101020010100圓滿/ad071998120101020010101結(jié)束/v061998120101020010102對(duì)/p041998120101020010103俄羅斯/ns091998120101020010104和/c041998120101020010105日本/ns071998120101020010106的/u041998120101020010107訪問/vn07199812010102001010819981201-01-002-002/m211998120101020020100江/nr051998120101020020101澤民/nr071998120101020020102……

結(jié)構(gòu)化語料庫可以方便地進(jìn)行語料庫上的各項(xiàng)數(shù)據(jù)統(tǒng)計(jì)。例如統(tǒng)計(jì)某個(gè)時(shí)間段某個(gè)詞出現(xiàn)的頻度。內(nèi)容提要文本結(jié)構(gòu)化技術(shù)建設(shè)結(jié)構(gòu)化語料庫的必要性文本結(jié)構(gòu)化技術(shù)實(shí)現(xiàn)中文縮略語還原技術(shù)初探中文縮略語的研究意義中文縮略語分類框架樸素的縮略語還原技術(shù)縮略語知識(shí)庫的建設(shè)結(jié)構(gòu)化文本技術(shù)的實(shí)現(xiàn)結(jié)構(gòu)化文本技術(shù)的實(shí)現(xiàn)幾大特點(diǎn)

可以讓用戶自主選擇需要的屬性項(xiàng)有兩種輸出文件格式供用戶選擇結(jié)構(gòu)化文本技術(shù)的實(shí)現(xiàn)結(jié)構(gòu)化文本技術(shù)的實(shí)現(xiàn)內(nèi)容提要文本結(jié)構(gòu)化技術(shù)建設(shè)結(jié)構(gòu)化語料庫的必要性文本結(jié)構(gòu)化技術(shù)實(shí)現(xiàn)中文縮略語還原技術(shù)初探中文縮略語的研究意義中文縮略語分類框架樸素的縮略語還原技術(shù)縮略語知識(shí)庫的建設(shè)注：論文中的縮略語部分節(jié)選已經(jīng)被第八屆“全國(guó)計(jì)算語言學(xué)聯(lián)合學(xué)術(shù)會(huì)議”錄用中文縮略語的研究意義縮略語是自然語言的重要組成部分，縮略語規(guī)律的探索和縮略語還原是973項(xiàng)目“文本內(nèi)容理解的數(shù)據(jù)基礎(chǔ)”的重要組成部分與香港大學(xué)合作項(xiàng)目，為多語言縮略語共同規(guī)律研究提供數(shù)據(jù)基礎(chǔ)和技術(shù)借鑒中文縮略語的研究意義（二）研究達(dá)到的最終目標(biāo)的縮略語的還原和生成，即為縮略語的解碼和編碼近期目標(biāo)是切分標(biāo)注好的語料中的縮略語還原內(nèi)容提要文本結(jié)構(gòu)化技術(shù)建設(shè)結(jié)構(gòu)化語料庫的必要性文本結(jié)構(gòu)化技術(shù)實(shí)現(xiàn)中文縮略語還原技術(shù)初探中文縮略語的研究意義中文縮略語分類框架樸素的縮略語還原技術(shù)縮略語知識(shí)庫的建設(shè)注：論文中的縮略語部分節(jié)選已經(jīng)被第八屆“全國(guó)計(jì)算語言學(xué)聯(lián)合學(xué)術(shù)會(huì)議”錄用根據(jù)縮略語和全稱的對(duì)應(yīng)方式分類一對(duì)一：北大北京大學(xué)一對(duì)多：人大人民大學(xué)全國(guó)人民代表大會(huì)多對(duì)一：電扇電風(fēng)扇風(fēng)扇多對(duì)多：南開南京大學(xué)南大南開大學(xué)中文縮略語分類框架中文縮略語分類框架（二）從縮略語的形成方式分類字面與全稱無關(guān)多為地名型：云南→黔，上?！鷾置媾c全稱有關(guān)在簡(jiǎn)稱中間有（）出現(xiàn)的：鄉(xiāng)（鎮(zhèn)），廳（局）長(zhǎng)，寒（暑）假，出國(guó)（境）在簡(jiǎn)稱中沒有（）出現(xiàn)的中文縮略語分類框架（三）縮合：大中小學(xué)生，鄉(xiāng)鎮(zhèn)企業(yè)提取北京大學(xué)→北大婚姻介紹所→婚介所歐洲中部→中歐（倒序情況）節(jié)略：清華大學(xué)→清華，復(fù)旦大學(xué)→復(fù)旦提取和節(jié)略結(jié)合：全國(guó)人民代表大會(huì)→人大總結(jié)性：三個(gè)代表，三好，五好特殊縮略語局部近義詞替代：浮式起重機(jī)→浮吊局部上位詞替代：中華人民共和國(guó)教育委員會(huì)→國(guó)家教委內(nèi)容提要文本結(jié)構(gòu)化技術(shù)建設(shè)結(jié)構(gòu)化語料庫的必要性文本結(jié)構(gòu)化技術(shù)實(shí)現(xiàn)中文縮略語還原技術(shù)初探中文縮略語的研究意義中文縮略語分類框架樸素的縮略語還原技術(shù)縮略語知識(shí)庫的建設(shè)注：論文中的縮略語部分節(jié)選已經(jīng)被第八屆“全國(guó)計(jì)算語言學(xué)聯(lián)合學(xué)術(shù)會(huì)議”錄用測(cè)試語料：1998年1月1日至3日的《人民日?qǐng)?bào)》切分標(biāo)注好語料，共有33450個(gè)詞語，其中縮略語97個(gè)樸素的縮略語還原技術(shù)縮略語數(shù)據(jù)庫《簡(jiǎn)稱略語庫》中608條縮略語作為種子。全文索引規(guī)則排序在文件中找到匹配詞組60%在文件中未找到匹配詞組40%全文索引僅6個(gè)縮略語的匹配結(jié)果唯一52個(gè)縮略語都至少有2個(gè)匹配結(jié)果其中僅“中”匹配出57個(gè)不同的詞組。規(guī)則排序是否出現(xiàn)在數(shù)據(jù)庫中距離縮略語的遠(yuǎn)近備選全稱的內(nèi)部結(jié)構(gòu)……匹配出31個(gè)縮略語，其中正確的30個(gè)，正確率51.7%

匹配出45個(gè)縮略語，其中正確的42個(gè)，正確率72.4%正確匹配出51個(gè)縮略語,正確率為87.9%實(shí)驗(yàn)結(jié)果實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)：擴(kuò)大縮略語數(shù)據(jù)庫的規(guī)?？s略語對(duì)應(yīng)的全稱的篩選方式仍不完善。下一步在使用規(guī)則的方法的同時(shí)將加入統(tǒng)計(jì)的方法，縮略語知識(shí)庫的建設(shè)將是下一步工作的重中之重。全國(guó)人民代表大會(huì)……人大……人民大學(xué)內(nèi)容提要文本結(jié)構(gòu)化技術(shù)建設(shè)結(jié)構(gòu)化語料庫的必要性文本結(jié)構(gòu)化技術(shù)實(shí)現(xiàn)中文縮略語還原技術(shù)初探中文縮略語的研究意義中文縮略語分類框架樸素的縮略語還