中文分詞實驗報告

/11實驗：中文分詞實驗小組成員：黃婷蘇亮肖方定山一、實驗目的：實驗目的（1）了解并掌握基于匹配的分詞方法、改進方法、分詞效果的評價方法等實驗要求（1）從互聯(lián)網(wǎng)上查找并構(gòu)建不低于10萬詞的詞典，構(gòu)建詞典的存儲結(jié)構(gòu)；（2）選擇實現(xiàn)一種機械分詞方法（雙向最大匹配、雙向最小匹配、正向減字最大匹配法等），同時實現(xiàn)至少一種改進算法。（3）在不低于1000個文本文件（可以使用附件提供的語料），每個文件大于1000字的文檔中進行中文分詞測試，記錄并分析所選分詞算法的準確率、召回率、F-值、分詞速度。二、實驗方案：實驗環(huán)境系統(tǒng)：win10軟件平臺：spyder語言：python算法選擇（1）選擇正向減字最大匹配法圖1.正向減字最大匹配算法流程T的句子處理完讀取句子調(diào)用切詞程序初始化讀取T中的句子S1將訶典讀入內(nèi)存圖2.切詞算法流程51是否為空懵切分子串S1帶鞘入詡品￡加最大詞長fcU五1工力輸出雄杲S2從si左邊開始r取出快電子串肌胃的長度52=S2+Wt*/Sl-tSl-W特R‘最右邊一個字去掉對文件進行分詞處理的圖數(shù)循環(huán)讀入文件中的每一行調(diào)用句子分詞處理函數(shù)將分詞結(jié)果寫入目標文件跳過非漢字部分字符串如果輸入不為空取等于最大詞長的候選詞對文件進行分詞處理的圖數(shù)循環(huán)讀入文件中的每一行調(diào)用句子分詞處理函數(shù)將分詞結(jié)果寫入目標文件跳過非漢字部分字符串如果輸入不為空取等于最大詞長的候選詞如果不是詞并且不是單字將W中最右邊一個字去掉將找到的調(diào)用分隔符隔開去掉找到的詞，繼續(xù)分析（2）算法偽代碼描述：voidSegmentAFile(T)(getASentenceFromFile(T,si))s2=CutWord(si>OutputSentencets2)//stringCutWord(sl)Prrprocess(sl)(si!=w=si-substr(OrMaxLen)whiLc(length(W)>1)if(FindlnRBTree(W)=false)//thenW=W-152=W+51=si-W「舊urS2實驗步驟?在網(wǎng)上查找語料和詞典文本文件；?思考并編寫代碼構(gòu)建詞典存儲結(jié)構(gòu);編寫代碼將語料分割為1500個文本文件，每個文件的字數(shù)大于1000字；編寫分詞代碼；思考并編寫代碼將語料標注為可計算準確率的文本；對測試集和分詞結(jié)果集進行合并；對分詞結(jié)果進行統(tǒng)計，計算準確率，召回率及F值(正確率和召回率的調(diào)和平均值)；思考總結(jié)，分析結(jié)論。4.實驗實施實驗過程：(1)語料來源：語料來自SIGHAN的官方主頁(/)，SIGHAN是國際計算語言學會(ACL)中文語言處理小組的簡稱，其英文全稱為“SpecialInterestGroupforChineseLanguageProcessingoftheAssociationforComputationalLinguistics”，又可以理解為“SIG漢“或“SIG漠“。SIGHAN為我們提供了一個非商業(yè)使用(non-commercial)的免費分詞語料庫獲取途徑。我下載的是Bakeoff2005的中文語料。有86925行，2368390個詞語。語料形式：“沒有孩子的世界是寂寞的，沒有老人的世界是寒冷的?！眻D3.notepad++對語料文本的統(tǒng)計結(jié)果Filelength(inbyte):12,842r947Characters(withoutblanks):8,618,675Words：Lines;86.925Currentdocumentlength：16,S9J,51OQietecceclcharacters(0bytes)in0ranges(2)詞典：詞典用的是來自網(wǎng)絡的有373萬多個詞語的詞典，采用的數(shù)據(jù)結(jié)構(gòu)為python的一種數(shù)據(jù)結(jié)構(gòu)集合。圖4.notepad++對詞典文本的統(tǒng)計結(jié)果Filelength(intxyte):52474r475Chaialters(withoutbhnksl：3708*1,094Words:11210.096Lines:3,736.599Currentdocumentlengih:69,474,4752teleeredtharwters(6bytes)in1ranges確定I(3)分割測試數(shù)據(jù)集：將原數(shù)據(jù)分割成1500個文本文件，每個文件的詞數(shù)大于1000。圖5.測試數(shù)據(jù)集分解截圖名爵偃戰(zhàn)日盟大小繪msrTesti.txt2017/10/110:07T燈文件3KBdrmsr_testZ.txt2017/10/70:35TXT文件3KBmsrtest3.txt2017/10/7035TXT文件3KB--U|色msr隹二14上組2017/10/7035TXT文件3KE上mii_tesl5.txt2D17/10/70:35TXT文件3KB匕m$riest6.txt2017/10/70:^5TXT文件akb2msrtest7rtxt?17/1W763標TXT文件3KfiLmsrtestBrtxt2017/10/7035TKT文件3KB人msrTesTOtxT2017/10/70:35T燈文件3KB；msrtest10,txtZQ17/10/7035TXT文件3K6；msr_tett11.txt2017/10/7035TXT文件3KBEm$r_teu12.txt2017/10/70:35TMT文件3K0m打test13.txt2017/10/7Q35TXT文件3KB二msr^tetti4.txt2017/10/7(X35TXT文件3KB圖6.其中某文件的形式IU（■■.JHJII.■口”不用墻.政府有保護府廠也沒有打白條。I楙這把汩鈕兒不調(diào)充邨幺志『.F沒問通.國家在這兒摘種苧柞篇試驗*翅m沾J光,-4，實踐也明.科學性瓊是命業(yè)在巾埼纖濟第件下”存和發(fā)聯(lián)的隼婪總加二，我不量汩如泉涌.一卜聲猾理制『滸若，明白「許春.一他由史地哼謝章和人吃蛤『我爸苣達以離的吸降.'1修路在治烈的市場衽爭中.tttTtui七國歌，所唱］已蛉到『最危險的時帔-“牛轉(zhuǎn)人史后談看吃鳴苦,H量地料除自己的意志.TF警是1A點委相稱蹙不「■演何革命.yiof"的率很誠力,常于時代法不&書.而是讀著社余地部?副國冷圈敢挽的赤幾，蛭砧無端僑Lif實施送與眼工攝.襄劭n嗯餡,拿硬指睡.在大力q.卜口功夫,為卜內(nèi)職工和陽選叫工制“足的，期有什么就膽.就足運打種冷扉.足我們班上敞步長燒的情發(fā).沒有用包，慷的也“你可知mg經(jīng)啜了占少力的衽風與瞞雨.斑熨％電出？14=-^失足成千古恨.同學們.青到今天的我.你但是有菱情到了什幺？，他們得到這匯收據(jù)后.可以利用人10任票據(jù)如國上的火艇.靖人們造成柯在選史金的印隼...-F客戶講，只蜚開張托收敕據(jù)就行了.“哦，是嗎.我的客戶說,就是退票.現(xiàn)行也無所仟'跟好.很好.相識是種徨好響.“性謨理美麗可動聽.然歸是傳說“好容易躺圈上博若把我演先，我將佛告iMMUft意的心情間觀眾去則幕*.”黨足河孑力心丁隊必期看一黨的空出頷H之下.逆猶蹌率隊的竟性和防密件.，圖7.notepad++對其中一個測試文本的統(tǒng)計結(jié)果Fdelength【inbyte):2J48Characters(withoutblanks)^1,037Word?37Lines:38Currentdocumentlength:3,1B50electedcharacters(0bytes)in0ranges（4）編寫分詞代碼：采用python語言和教材上介紹的算法思路，進行編程。（5）編寫代碼將語料標注為可計算準確率的文本：用B代表單詞的開始字，E代表結(jié)尾的字，BE代表中間的字，如果只有一個字，用E表示。例如：原數(shù)據(jù)是：“人們常說生活是一部教科書”而我將它轉(zhuǎn)化為了如下格式：人們常說生活是部教科書BEEEBEEEEBBEE（6）進行分詞：使用之前編寫的分詞函數(shù)，載入文本，進行分詞，將每個文本結(jié)果輸出到txt文本。圖8.分詞結(jié)果文件名稱“修改日期第奎大小二msrresultlutxt2017/10/71:45TXT文件4KB日msrresult2.txt2017/10/71:45TXT文件4KBJLmsii_resuft3-.txt2017/10/71:45TXT卻4KB4rnsir_resuh4.txt2017/10/71:45TXT文件4KB="msr_resutt5.txtJ017/1Q/71:415TXT女傅4KH匚msr_resuh6.txt2017/10/71:45TXT文件4KB二msir_resuk7.txt2017/10/7丁算T文件4KB1Lmsr_resuh8.txt2017/10/71:45TXT文件4KB工msr^resultS.txt2017/10/71:45TXT文杵4KB匚msr_resuh10.brt2017/10/71:45TXT文件4KB口msrresult11.txt3017/10/71:45TXT文件4K0Hmsr_result12,txt2017/10/7145TXT文樣4KB趴rnsr_res.uft1:1.txt2017/10/71:45TX7文件4KB￡hm5r_result14.txt2017/10/71:45TXT文件4KH圖9.測試數(shù)據(jù)的形式（文本截圖）?rHS-V*i.Mh『￡■￡-4r*nMn4:-■干■□ApT0i-?堂't■fe?■?*Hi＜費V.h也雪融江否括用善的民時博物.妾-力/從聞!奉上做演&F?r切女加理科田/村電叁干齷的反太由a?忤L/卡款加自岫耳國上心0刎14件/樸也.明嗚遇1住這之后|我的的文化便爆必解盤雷送審餐E雜■如班I密碑海變相運呵起靠Im股的泛泛而談」變整量扣當"H生現(xiàn)：闌甲能C1巾.啤機中設加杯”.膛為人H卜忤山尊姓RAtSHf*iaHr—全■大的舞警檢打事riJir』電疸機電碌的槍發(fā)時的?提?】全峰知女，兩入町的摩勒府dJt席大的，野It全野，源堂.遭嚶制守,而通那隆也單時加解*1但不回六七不好.”?M&KH法葉工皿附F,情M『,帥而葬?？紫朵嚨柠惼?由礴村中片i相，一m在泡曜中白村許片就用官」■的ft干標也能，If卡不悚上學.愷克清日信地H林；。圣筆修神息押的.睛叫就：?房際1H加肥味可出的慎1*喧?-徑E町?"制柏苦,桿"3筆施覘部史.*閽「希隴徨*UH鼻西i*付『電1*用電.■物里陸航二T」抵:M蹲上艙,犯就免酒期號.眄I*爛+恒英m.*唇說「「掘們尖上的惶量是行生熱的，維單一只際*,附明?勝住理?稱.?4聞"他+晡1由!「舊辜以團事場上去船性耳這1，螞:的-際眶干喑酊帔疆閑下來？瘠式里?愷常推中為力妹壽丈Ik則異病代性編由場的植■:限#-良*1在百R*型也■■t8-hCW-ttW-a黑濕口0力?蝶、如可只M到◎［天*加毫收寄嶗蕾唱I」卓道事工-加種「小與胡波產(chǎn)就需網(wǎng)神詼機門室零注對白"工詐M期福K-情M記商1■心?日中寸線M蓑覺能.然基一堂士切的慶創(chuàng)原他1的周打《鼻電行電力i#樣員修.不?"法前五離辦案：.■魔也叩H「?白義大政科恒「以收需以僧事.枚1『"重兒碑史內(nèi)匿生鼠**讓人恭快的?「■不城而大L典的的禍仲載*r重「叫造點幾室者■鼻蟲存件幺--以小苒0r⑶f肥黃會汴嘴粘鴦制.癡胃口上的長弗+廊觥秋川湖1、曲」L*止入浜Jfe.?性和!其像*的求職市■行州呼r'你忙1土也無境的老修登出好一？1?業(yè)料￡*用廣.二不丁?帽鰭LHl?軍*y7:H!Hi￥|.#j-■ruf^hhhw^v:UiMiwhAu-:b■:,U.[l?Ma?1A1J1GUpJ■jw^atj?h圖11.分詞結(jié)果（文本截圖）

小局F”：**./，■.ncr-，**下口三t*r*#一■.*.■小局F”：**./，■.ncr-，**下口三t*r*#一■.*.■?*e國i*r_r?mXti-utjQ|1114If忖民委熄會應皆保證公布內(nèi)容的及時性和真實性0"為了從根本上孵決這一矛盾，切實加強群眾對村委會干部的戛三在這之后，我們的文化贊端必燃會由狹潞變得豐宮起來.由哪里.能像電視機里說的那樣，能為人們作出那些頁幀啊！這時,一個最大的琳猴桃捫斷說，“電視機里說的都是對不完全好，溫度、溫度和空氣流通都需要很好地解決，（1原來在地F還讓它在地產(chǎn)，然后在地面再搞一些陳列的東西申請書中寫itt：”一…我在電視中看到許安黃陽地區(qū)的裱他充湎自信地宣稱zf美是多種多樣的.送些就算是你們?yōu)樽闱蚋冻龅拇鷥r吧,”他又叮喝我別怕苦.始死±要豁出命去」*用戶幫助我們訐算應該忖費.不應該指責a“如果你的一言一行都配得上她，她就會更明亮,更燦爛，他說,“我1門頭上的稅徽是有生命的?她像一只眼睛，老板答非所同：皿這叫'色香味.呀：一個舊軍隊的連長上去堵他一耳光士'媽的.你鞋子啥時任這里.街道領導為企業(yè)辦實事、引導居民投身市場的故事我就在自己東里也搞一個，欣常欣鑿。*都說百姓有事難辦.可只要到培天T卻是政府等者咱們我的工作與如識產(chǎn)權密切相關，以案學法對百身工作希勒限i他對記者說:X庭審過程對我來說，就是一堂生動的法制課我們現(xiàn)在只是進行艇審過程直搦t不霰響法官正常辦案**現(xiàn)在可好了-自從市政府抓了亂恢野這件事-我們這兒再沒可城市大了，我們的活也就舉了重了，可這點兒辛苦真算下從小若修廣，閑下來就會渾身不舒服口M憑自己的技術，總耗找到活干,而且能讓人滿空.“她跟等候看的求職者——打招呼：H你們?nèi)フ遗赃^的老師登就業(yè)的天地很廣,不要在一槐樹上吊死，至少先解決溫飽￥nrr7’3jSt氾由k加g上閑2m?r山川上W中圖12.運行時間start-_.createdicticnary--.dictionsry1$don*,starttoteitend總用時17.88107395172119穢（7）對測試集和分詞結(jié)果集進行合并：將測試集和分詞結(jié)果集合并是為了進行準確率，召回率等的計算。測試集和訓練集都是下面的格式：人們常說生活是部教科書BEEEBEEEEBBEE將它們合并為下面的格式，第二列為測試集的標注，第三列為訓練集的結(jié)果：人們常說生活是部教科書BEEEBEEEEBBEEBEEEBEEBEEBBEE（8）對分詞結(jié)果進行統(tǒng)計，計算準確率P，召回率R及F值（正確率和召回率的調(diào)和平均值），設提取出的信息條數(shù)為C,提取出的正確信息條數(shù)為CR,樣本中的信息條數(shù)O：計算結(jié)果如下：表1.第一輪分詞統(tǒng)計結(jié)果召回率R準確率PF值B73.99%76.42%75.18%E92.12%76.41%83.53%BE40.05%74.56%52.11%平均值68.72%75.79%70.27%(9)反思：平均準確率只有75.79%，為何分詞效果這么差，沒有達到我們的預期效果85%，經(jīng)過思考和多次嘗試才發(fā)現(xiàn)，原來是因為詞典太大了，最大匹配分詞效果對詞典依賴很大，不是詞典越大越好，還有就是我們的詞典和我們的測試數(shù)據(jù)的相關性不大，于是我們小組修改了詞典，進行了第二輪測試。(10)修改詞典：將詞典大小裁剪，但是不能只取局部，例如前面10萬詞或后面10萬詞，于是我的做法是在373萬詞的詞典中隨機取3萬詞，再用之前沒用完的語料制作7萬詞，組成10萬詞的詞典：圖13.notepad++對重新制作的詞典文本的統(tǒng)計結(jié)果Filelength(inbyte);1,992,727Characters(withoutblanks):1,145圖2Words:300,008Lin4100r001Currentdocumentlength:1992,7270selectedcharacters(0bytes)in0ranges確定(11)再次實驗：重新進行前面的步驟得到了下面的結(jié)果：表2.第二輪分詞統(tǒng)計結(jié)果召回率R準確率PF值B95.07%95.03%95.05%E93.74%99.07%96.33%BE98.75%67.30%80.05%平均值95.85%87.13%90.48%此時分詞的平均準確率提高到了87.13%，還是很不錯的，說明我的反思是有道

理的。三、實驗結(jié)果及分析：1.實驗結(jié)果：圖14.第一輪分詞測試統(tǒng)計結(jié)果第一輪分洞測試統(tǒng)計結(jié)果■B■E鼻8E圖15.第二輪分詞測試統(tǒng)計結(jié)果第二輪分詞測試統(tǒng)計結(jié)果159585756555453525150

目0,用0./&￡(!.與值.40.3&上0.16..0

0000000-0002.結(jié)果分析：（1）第一輪分