下載本文檔
版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
中文分詞算法及其比較分析
各種分詞方法的優(yōu)劣對比分詞方法基于字符串匹配分詞基于理解的分詞基于統(tǒng)計的分詞歧義識別差強強新詞識別差強強需要詞典需要不需要不需要需要語料庫否否是需要規(guī)則庫否是否算法復(fù)雜性容易很難一般技術(shù)成熟度成熟不成熟成熟實施難度容易很難一般分詞準確性一般準確較準分詞速度快慢一般(1)歧義識別歧義識別指一個字符串有多種分詞方法,計算機難以給出到底哪一種分詞算法才是正確的分詞系列。如”表面的”可以分為”表面/的”或”表/面的”。計算機無法判斷哪一種才是準確的分詞系列。基于字符串的分詞算法:僅僅是跟一個電子詞典進行比較,故不能進行歧義識別;基于理解的分詞算法:指通過理解字符串的含義,故有很強的歧義識別能力;基于統(tǒng)計的分詞算法:根據(jù)字符連續(xù)出現(xiàn)次數(shù)的多少,得到分詞系列,故常常能夠給出正確的分詞系列選擇,但是也有可能判斷錯誤的情況。(2)新詞識別新詞識別也稱作未登錄詞識別,指正確識別詞典中沒有出現(xiàn)的詞語。姓名、機構(gòu)名、地址、稱謂等千變?nèi)f化,詞典中常常不能完全收錄這些詞語;另外,網(wǎng)絡(luò)中出現(xiàn)的流行用語也是一種未登錄詞的常見來源,如”打醬油”為最近出現(xiàn)在網(wǎng)絡(luò)中,并迅速流行,從而成為一個新詞。大量的研究證明新詞識別是中文分詞準確性的一個重要影響因素?;谧址姆衷~算法:無法正確識別未登錄詞,因為這種算法僅僅與詞典中存在的詞語進行比較;基于理解的分詞算法:理解字符串的含義,從而有很強的新詞識別能力;基于統(tǒng)計的分詞算法:這種算法對第二種未登錄詞有很強的識別能力,因為出現(xiàn)次數(shù)多,才會當作一個新詞;對于第二類未登錄詞,這類詞語有一定的規(guī)律,如姓名:”姓”+名字,如李勝利;機構(gòu):前綴+稱謂,如希望集團;故需要結(jié)合一定的規(guī)則進行識別,僅僅統(tǒng)計方法難以正確識別。(3)需要詞典基于字符串的分詞算法:基本思路就是與電子詞典進行比較,故電子詞典是必須的。并且詞典越大,分詞的正確率越高,因為詞典越大,未登錄詞越少,從而可以大大減少未登錄詞識別的錯誤;基于理解的分詞算法:理解字符串的含義,故不需要一個電子詞典;基于統(tǒng)計的分詞算法:僅僅根據(jù)統(tǒng)計得到最終的結(jié)果,故電子詞典不是必須的。(4)需要語料庫基于字符串的分詞算法:分詞過程僅僅與一個已經(jīng)存在的電子詞典進行比較,故不需要語料庫;基于理解的分詞算法:理解字符串的含義,故不需要電子詞典;基于統(tǒng)計的分詞算法:需要語料庫進行統(tǒng)計訓(xùn)練,故語料庫是必須的;且好的語料庫是分詞準確性的保證。(5)需要規(guī)則庫基于字符串的分詞算法:分詞過程僅僅與一個已經(jīng)存在的電子詞典進行比較,不需要規(guī)則庫來進行分詞;基于理解的分詞算法:規(guī)則是計算機進行理解的基礎(chǔ),故準確、完備的規(guī)則庫是這種分詞算法的前提;基于統(tǒng)計的分詞算法:根據(jù)語料庫統(tǒng)計訓(xùn)練,故規(guī)則庫不是必須的。(6)算法復(fù)雜性基于字符串的分詞算法:僅僅進行字符串的比較操作,故算法簡單;基于理解的分詞算法:需要充分處理各種規(guī)則,故算法非常復(fù)雜;事實上到目前為止,還沒有成熟的這類算法;基于統(tǒng)計的分詞算法:需要語料庫進行訓(xùn)練,雖然算法也比較復(fù)雜,但是已經(jīng)比較常見,故這種分詞的復(fù)雜性比第一種大,比第二種容易。現(xiàn)在的實用分詞系統(tǒng)都采用這種算法。(7)技術(shù)成熟度基于字符串的分詞算法:是最早出現(xiàn)也是最成熟的算法;基于理解的分詞算法:是最不成熟的一類算法,到目前為止還沒有成熟的算法;基于統(tǒng)計的分詞算法:已經(jīng)有多種成熟的這類算法,基本上能夠滿足實際的應(yīng)用。故技術(shù)成熟度:基于匹配的分詞算法〉基于理解的分詞算法〉基于統(tǒng)計的分詞算法。(8)實施復(fù)雜性同上面的道理,實施復(fù)雜性:基于理解的分詞算法〉基于統(tǒng)計的分詞算法〉基于匹配的分詞算法。(9)分詞準確性到目前為止還沒有一個準確的結(jié)論,不過從理論上說,基于理解的分詞算法有最高的分詞準確性,理論上有100%的準確性;而基于匹配的分詞算法和基于統(tǒng)計的分詞算法是一種”淺理解”的分詞方法,不涉及真正的含義理解,故可能會出現(xiàn)錯誤,難以達到100%的準確性。(10)分詞速度基于匹配的分詞算法:算法簡單,操作容易,故分詞速度快,所以這種算法常常作為另外兩種
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 鄭州軌道工程職業(yè)學院《軟裝面料再造》2023-2024學年第一學期期末試卷
- 肇慶醫(yī)學高等??茖W校《建筑工程計量與計價》2023-2024學年第一學期期末試卷
- 運城幼兒師范高等??茖W?!秳赢嫾挤ā?023-2024學年第一學期期末試卷
- 區(qū)塊鏈確保食品追溯透明
- DB2201T 67-2024 架子牛引進質(zhì)量控制規(guī)范
- 數(shù)學啟蒙游戲課
- 房地產(chǎn)經(jīng)紀綜合能力-《房地產(chǎn)經(jīng)紀綜合能力》點睛提分卷2
- 七夕節(jié)的傳統(tǒng)與現(xiàn)代模板
- 農(nóng)學研究答辯模板
- 二零二五年房地產(chǎn)廣告策劃合同1200字模板2篇
- 2025年度宏泰集團應(yīng)屆高校畢業(yè)生夏季招聘【6080人】高頻重點提升(共500題)附帶答案詳解
- 課題申報書:大中小學鑄牢中華民族共同體意識教育一體化研究
- 巖土工程勘察課件0巖土工程勘察
- 《腎上腺腫瘤》課件
- 2024-2030年中國典當行業(yè)發(fā)展前景預(yù)測及融資策略分析報告
- 《乘用車越野性能主觀評價方法》
- 幼師個人成長發(fā)展規(guī)劃
- 2024-2025學年北師大版高二上學期期末英語試題及解答參考
- 批發(fā)面包采購合同范本
- 乘風化麟 蛇我其誰 2025XX集團年終總結(jié)暨頒獎盛典
- 2024年大數(shù)據(jù)分析公司與中國政府合作協(xié)議
評論
0/150
提交評論