互聯(lián)網(wǎng)架構(gòu)課前-中文分詞技術(shù)

中文分詞技術(shù)(中文分詞原理一 為什么要進行中文分詞二 中文分詞技術(shù)的分下面簡要介紹幾種常用方法12（一）(ＭａｘｉｍｕｍＭａｔｃｈｉｎｇＭｅｔｈｏｄ)通常簡稱為ＭＭi個漢字字符，則用被處理文檔的當前字匹配字段被作為一個詞切分出來。如果詞典中找不到這樣的一個i，則匹配失敗，將匹配字段中的最后一個字去掉，對剩下的字串重新進行匹配處理……如此進行下去，直i字字串進行匹配處理，直到文檔被掃描完為止。初始化當前位置計數(shù)器，置為從當前計數(shù)器開始，取前2i如果匹配字段長度不為0跳轉(zhuǎn)到步驟則②匹配字段長度減②匹配字段長度減跳轉(zhuǎn)至步驟 否則當前位置計數(shù)器的值加（二）(ＲｅｖｅｒｓｅＭａｘｉｍｕｍＭａｔｃｉｎｇＭｅｔｈｏｄ)通常簡稱為ＲＭＭ法。ＲＭＭ法的基本原理與ＭＭ法相同,MM描，每次取最末端的2i個字符（i字字串）作為匹配字段，若匹配失敗，則去掉匹配字段法比正向最大匹配法的誤差要小。統(tǒng)計結(jié)果表明,單純使用正向最大匹配的錯誤率為1/169,單純使用逆向最大匹配的錯誤率為1/245。例如切分字段“產(chǎn)”，正向最大匹配法的結(jié)果會是“/產(chǎn)”，而逆向最大匹配法利用逆向掃描，可得到正確的分詞結(jié)果“/研究/生產(chǎn)”。（即雙向匹配法，見（四（三）這是一種全切分方法。它不依靠詞典,而是將文章中任意兩個字同時出現(xiàn)的頻率進行統(tǒng)計,次數(shù)越高的就可能是一個詞。它首先切分出與詞表匹配的所有可能的詞,和決策算法決定最優(yōu)的切分結(jié)果。它的優(yōu)點在于可以發(fā)現(xiàn)所有的切義并且容易將新詞提取出來。,比較匹配過程是分步,,,因而分詞速度可以大幅度提高。這種方法涉及到多級內(nèi)碼理論和管道的常用中文分首選的中文分詞開源組件。Paoding中文分詞追求分詞的高效率和用戶良好體驗。Paoding'sKnivesPIII1G內(nèi)存?zhèn)€人機器上，1100 ClassificationecognitionaggingDetectionCheckingDetection（ClusteringModelingIndexingMiningSegmentationysis、語言辨別（LanguageIdentification）等JELibMMSeg1.2G（0.7.1yzer分算法，是Luceneyzer接口的實現(xiàn)。PHPCWSPHPCWSPHPLinux/UnixPHPCWS先使用“ICTCLAS3.0API進行初次分詞處ICTCLAS（InstituteofComputingTechnology,ChineseLexicalysisICTCLAS3.0，分詞精度98.45%，各種詞典數(shù)據(jù)壓縮后不到3M。ICTCLAS在國內(nèi)973SigHan組ICTCLAS3.0商業(yè)版是的，而免費提供的ICTCLAS3.0共享版不開源，詞庫是根據(jù)一個月的語料得出的，很多詞語不存在。所以本人對ICTCLAS分詞后的ICTCLAS3.0GBKUTF-8編碼的字符串，可以先用PHPiconv函數(shù)轉(zhuǎn)換成GBK編碼，再用phpcws_split函數(shù)進行分詞處理，UTF-8編碼。常見的中文分詞器LucenePaoding填補了國內(nèi)中文分詞方面開源組件的空白，致力于此并希翼成為互聯(lián)網(wǎng)首選的中文分詞開源組件。Paoding中文分詞追求分詞的高效率和用戶良好體驗。Paoding'sKnivesPIII1G內(nèi)存?zhèn)€人機器上，1100LingPipe，開源自然語言處理的Java開源工具包 ClassificationRecognitionaggingDetectionCheckingDetection（ClusteringModelingIndexingMiningSegmentationysisJELibMMSeg1.2G（0.7.1LibMMSegyzerIKyzer基于lucene2.0版本API開發(fā)，實現(xiàn)