文本的標(biāo)準(zhǔn)化分析_第1頁(yè)
文本的標(biāo)準(zhǔn)化分析_第2頁(yè)
文本的標(biāo)準(zhǔn)化分析_第3頁(yè)
文本的標(biāo)準(zhǔn)化分析_第4頁(yè)
文本的標(biāo)準(zhǔn)化分析_第5頁(yè)
已閱讀5頁(yè)，還剩7頁(yè)未讀， 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明：本文檔由用戶(hù)提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

文本分析文本的標(biāo)準(zhǔn)化分析導(dǎo)語(yǔ)文本信息標(biāo)準(zhǔn)化方法引語(yǔ)/01引語(yǔ)

語(yǔ)言是非常靈活的一種信息形式，這導(dǎo)致其表現(xiàn)形式通常是雜亂無(wú)章的，這為文本內(nèi)容分析帶來(lái)諸多不便與困擾。因此，在進(jìn)行文本分析之前，一般需要對(duì)其進(jìn)行標(biāo)準(zhǔn)化處理，增加文本類(lèi)型數(shù)據(jù)的一致性、整潔性。

對(duì)文本進(jìn)行標(biāo)準(zhǔn)化處理，可以降低后續(xù)文本建模、挖掘、分析等任務(wù)的難度，并提升結(jié)果的準(zhǔn)確度。引語(yǔ)

文本的標(biāo)準(zhǔn)化相當(dāng)于數(shù)據(jù)挖掘技術(shù)的數(shù)據(jù)預(yù)處理階段，一般在文本結(jié)構(gòu)化任務(wù)之前。引語(yǔ)在線(xiàn)文本分析

文本信息標(biāo)準(zhǔn)化的方法/02

對(duì)文本進(jìn)行標(biāo)準(zhǔn)化處理的具體方法很多，其依賴(lài)于所分析的文本集合的特征。很多標(biāo)準(zhǔn)化方法是基于豐富的數(shù)據(jù)處理經(jīng)驗(yàn)進(jìn)行設(shè)計(jì)與構(gòu)建的。文本信息標(biāo)準(zhǔn)化的方法當(dāng)前常用的文本信息標(biāo)準(zhǔn)化方法有以下幾種對(duì)文本集合的語(yǔ)言進(jìn)行統(tǒng)一，去除其他語(yǔ)種文章去除無(wú)效符號(hào)、特殊符號(hào)，以及網(wǎng)頁(yè)標(biāo)記簡(jiǎn)體字與繁體字的統(tǒng)一文本信息標(biāo)準(zhǔn)化的方法當(dāng)前常用的文本信息標(biāo)準(zhǔn)化方法有以下幾種去除文本顯示格式信息對(duì)文本中的錯(cuò)別字自動(dòng)修復(fù)構(gòu)建同義詞或近義詞表，減少文本特征過(guò)濾低頻的文本特征文本信

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶(hù)所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽，若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間，僅對(duì)用戶(hù)上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理，對(duì)用戶(hù)上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容，請(qǐng)與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶(hù)因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論