(人工智能)人工智能的文本分類方法簡(jiǎn)述

1、【毓卓腌S旅舸自摭制（人工智能）人工智能的文本分類方法簡(jiǎn)述摘要：本文闡述了壹些基本的文本分類的方法，以及壹些改進(jìn)的文本文類的方法，且包含了壹些文本分類的實(shí)際應(yīng)用。其中著重闡述了貝葉斯分類以及壹些其他的的文本分類方法。最后提出了當(dāng)下文本分類方法中存于的壹些問題。關(guān)鍵詞：文本分類；貝葉斯方法；數(shù)據(jù)挖掘；分類算法。0引言文本分類是指于給定分類體系下,根據(jù)文本內(nèi)容（自動(dòng)）確定文本類別的過程。20世紀(jì)90年代以前,占主導(dǎo)地位的文本分類方法壹直是基于知識(shí)工程的分類方法,即由專業(yè)人員手工進(jìn)行分類。目前于國(guó)內(nèi)也已經(jīng)開始對(duì)中文文本分類方法進(jìn)行研究,相比于英文文本分類,中文文本分類的壹個(gè)重要的差別于于預(yù)處理階段:

2、中文文本的讀取需要分詞,不像英文文本的單詞那樣有空格來區(qū)分。從簡(jiǎn)單的查詞典的方法,到后來的基于統(tǒng)計(jì)語(yǔ)言模型的分詞方法,中文分詞的技術(shù)已趨于成熟。且于信息檢索、Web文檔自動(dòng)分類、數(shù)字圖書館、自動(dòng)文摘、分類新聞組、文本過濾、單詞語(yǔ)義辨析以及文檔的組織和管理等多個(gè)領(lǐng)域得到了初步的應(yīng)用。人工智能的基本方法就是對(duì)人類智能活動(dòng)的仿真。小樣本數(shù)據(jù)能夠見作是壹種先驗(yàn)知識(shí)不完全的數(shù)據(jù)集。人類于處理類似的決策問題時(shí),通常采用的策略為:1,利用多專家決策來提高決策的可信度;2,專家的決策技能于決策的過程中能夠得到不斷的增強(qiáng),即專家具有學(xué)習(xí)功能;3,于專家的技能得到增強(qiáng)的基礎(chǔ)上,再進(jìn)行決策能夠提高決策的正確性。這種

3、方法同樣適用于小樣本數(shù)據(jù)的分類識(shí)別。通過對(duì)上述方法的仿真,本文提出了智能分類器,它不僅能夠?qū)ξ粗獦颖具M(jìn)行分類,同時(shí)它仍具有多專家決策、預(yù)分類和學(xué)習(xí)功能。1分類的基本概念分類就是根據(jù)數(shù)據(jù)集的特點(diǎn)找出類別的概念描述,這個(gè)概念描述代表了這類數(shù)據(jù)的整體信息,也就是該類的內(nèi)涵描述,且使用這種類的描述對(duì)未來的測(cè)試數(shù)據(jù)進(jìn)行分類。分類的過程壹般分為倆個(gè)步驟:第壹步,通過已知數(shù)據(jù)集建立概念描述模型;第二步,就是利用所獲得的模型進(jìn)行分類操作。對(duì)各種分類方法的評(píng)估能夠根據(jù)以下幾條標(biāo)準(zhǔn)進(jìn)行:1）預(yù)測(cè)準(zhǔn)確率,指模型能夠正確預(yù)測(cè)未知數(shù)據(jù)類別的能力;2）速度,指構(gòu)造和使用模型時(shí)的計(jì)算效率;3）魯棒性,指于數(shù)據(jù)帶有噪聲或有數(shù)

4、據(jù)遺失的情況下,模型仍能進(jìn)行正確預(yù)測(cè)的能力;4）可擴(kuò)展性,指對(duì)處理大量數(shù)據(jù)且構(gòu)造相應(yīng)有效模型的能力;5）易理解性,指所獲模型提供的可理解程度。2常用的分類算法2.1基于決策樹的分類所謂決策樹就是壹個(gè)類似流程圖的樹型結(jié)構(gòu),其中樹的每個(gè)節(jié)點(diǎn)對(duì)應(yīng)壹個(gè)非類別屬性,每條邊對(duì)應(yīng)這個(gè)屬性的每種可能值,而樹的每個(gè)葉結(jié)點(diǎn)代表壹個(gè)類別（如圖1）。生成決策樹的壹個(gè)著名的算法是Quinlan提出的ID3算法,ID3算法從樹的根節(jié)點(diǎn)處的所有訓(xùn)練樣本開始，選取壹個(gè)屬性來區(qū)分這些樣本,屬性的每壹個(gè)值產(chǎn)生壹個(gè)分支。將分支屬性值的相應(yīng)樣本子集移到新生成的子節(jié)點(diǎn)上。這個(gè)算法遞歸地應(yīng)用于每個(gè)子節(jié)點(diǎn),直到壹個(gè)節(jié)點(diǎn)上的所有樣本均分區(qū)到

5、某個(gè)類中。屬性選擇采用信息增益的方法來確定。選擇具有最高信息增益（熵減少的程度最大）的屬性作為當(dāng)前結(jié)點(diǎn)的測(cè)試屬性，這樣保證所產(chǎn)生的決策樹最為簡(jiǎn)單,工作量最小。設(shè)S為壹個(gè)包含了S個(gè)數(shù)據(jù)樣本的集合，且類別屬性能夠取m個(gè)不同的值CLC2,Cm。假設(shè)Si為類別Ci中的樣本個(gè)數(shù);則對(duì)壹個(gè)給定數(shù)據(jù)對(duì)象進(jìn)行分類所需要的信息量為:其中pi=si/s。設(shè)壹個(gè)屬性A取v個(gè)不同的值a1,a2.,av利用屬性A將S劃分為v個(gè)子集SLS2.,Sv,設(shè)Sij為子集Sj中屬于Ci類別的樣本數(shù)。那么利用屬性人劃分當(dāng)前樣本集合所需要的信息（熵）能夠按如下公式計(jì)算:這樣利用屬性A對(duì)當(dāng)前分支結(jié)點(diǎn)進(jìn)行相應(yīng)樣本集合劃分所獲得的信息增益

6、就是：通過之上公式計(jì)算每個(gè)屬性的信息增益。選擇具有最高信息增益的屬性作為給定集合S的測(cè)試屬性,創(chuàng)建壹個(gè)節(jié)點(diǎn),且以該屬性標(biāo)記,對(duì)屬性的每個(gè)值創(chuàng)建分支,進(jìn)行樣本劃分。ID3算法于選擇屬性時(shí)利用了信息增益的概念,算法的基礎(chǔ)理論清晰;決策樹的每個(gè)分支均對(duì)應(yīng)壹個(gè)分類規(guī)則,因此產(chǎn)生的分類規(guī)則易于理解;同時(shí),分類速度較快,準(zhǔn)確率較高?？墒荌D3算法也存于著許多不足:1）不能夠處理連續(xù)值屬性;2）計(jì)算信息增益時(shí)偏向于選擇取值較多的屬性;3）對(duì)噪聲較為敏感;4）于構(gòu)造樹的過程中,需要對(duì)數(shù)據(jù)集進(jìn)行多次的順序掃描和排序,因而導(dǎo)致算法的低效;5）只適合于能夠駐留于內(nèi)存的數(shù)據(jù)集使用,當(dāng)訓(xùn)練集大得無法于內(nèi)存容納時(shí)程序無法

7、運(yùn)行。ID3的改進(jìn)算法有C4.5,C4.5用信息增益率來選擇屬性，克服了用信息增益選擇屬性時(shí)偏向選擇屬性值多的屬性的不足。此外,于樹構(gòu)造過程中或構(gòu)造完成后進(jìn)行剪枝,提高了抗噪聲能力;能夠?qū)B續(xù)值屬性進(jìn)行離散化處理;能夠?qū)Σ煌暾麛?shù)據(jù)進(jìn)行處理。常用的決策樹算法仍有SLIQ算法。SLIQ算法對(duì)C4.5分類算法的實(shí)現(xiàn)方法進(jìn)行了改進(jìn),于決策樹的構(gòu)造過程中采用了預(yù)排序和廣度優(yōu)先增長(zhǎng)策略,使得該算法能夠處理更大的訓(xùn)練集,因此于壹定程度上具有良好的隨記錄個(gè)數(shù)和屬性個(gè)數(shù)增長(zhǎng)的可擴(kuò)展性?？墒撬匀淮嬗谥夹┎蛔?1）由于需要將類別列表存放于內(nèi)存,于壹定程度上限制了能夠處理的數(shù)據(jù)集的大小;2）由于采用了預(yù)排序技術(shù),

8、而排序算法的復(fù)雜度本身且不是和記錄個(gè)數(shù)成線性關(guān)系,因此使得SLIQ算法不可能達(dá)到隨記數(shù)目增長(zhǎng)的線性可擴(kuò)展性。貝葉斯分類貝葉斯分類是統(tǒng)計(jì)學(xué)分類于方法,它能夠預(yù)測(cè)壹個(gè)給定樣本屬于某壹類別的概率。貝葉斯分類是基于貝葉斯定理而構(gòu)造出來的?；矩惾~斯分類（NaiveBayes）首先假設(shè)壹個(gè)屬性值對(duì)給定類的影響?yīng)毩⒂谄渌鼘傩缘闹?即類條件獨(dú)立,它能夠幫助有效減少于構(gòu)造貝葉斯分類器時(shí)所需要的計(jì)算量?；矩惾~斯分類的工作過程如下:給定壹個(gè)沒有類標(biāo)號(hào)的數(shù)據(jù)樣本X,用X=x1,x2,xn表示，分別描述X于n個(gè)屬性A1,A2,An上的屬性值。設(shè)有m個(gè)類C1,C2,Cm,那么,將樣本X分配給類Ci的條件就是:根據(jù)貝葉

9、斯定理：其中,P(X)對(duì)于所有類來說為常數(shù)?(Ci)=si/s。假定各屬性值相互條件獨(dú)立(類條件獨(dú)立),這樣P(X|Ci)的計(jì)算可使用公式：概率P(xk|Ci)能夠由訓(xùn)練樣本估算:1)如果Ak是分類屬性，則P(xk|Ci)=sik/si。2)如果Ak是連續(xù)值屬性，則通常假定該屬性服從高斯分布,用高斯密度的數(shù)計(jì)算。因而，對(duì)未知樣本X分類，樣本X被分類到類Ci,而且僅當(dāng)基本貝葉斯分類假定類條件獨(dú)立,簡(jiǎn)化了計(jì)算。當(dāng)假定成立時(shí),和其它分類算法相比,基本貝葉斯分類是最精確的。但實(shí)際上變量間的相互依賴情況是較為常見的。為解決這個(gè)問題,可使用貝葉斯信念網(wǎng)絡(luò)描述這種相互關(guān)聯(lián)的概率分布。該網(wǎng)絡(luò)能夠描述各屬性子集

10、之間有條件的相互獨(dú)立,它提供了壹個(gè)圖形模型來描述其中的因果關(guān)系。貝葉斯分類于處理大規(guī)模數(shù)據(jù)庫(kù)時(shí),表現(xiàn)出了較高的分類準(zhǔn)確性和運(yùn)算性能。它仍可為其它分類算法提供理論判定?？墒?該算法沒有直接的分類規(guī)則輸出。神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)就是壹組相互連接的輸入輸出單元(又稱神經(jīng)元),單元之間的每個(gè)連接均和壹個(gè)權(quán)重關(guān)聯(lián)聯(lián)。于網(wǎng)絡(luò)學(xué)習(xí)階段,網(wǎng)絡(luò)通過調(diào)整權(quán)重來實(shí)現(xiàn)輸入樣本和其相應(yīng)類別的對(duì)應(yīng)。神經(jīng)網(wǎng)絡(luò)訓(xùn)練完畢后,只要把數(shù)據(jù)輸入到已訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)輸入端,就能夠從輸出端直接得到分類結(jié)果。神經(jīng)網(wǎng)絡(luò)分類過程能夠分為訓(xùn)練和分類倆個(gè)階段。于訓(xùn)練階段,首先定義網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu),再對(duì)訓(xùn)練樣本中的每個(gè)屬性的值進(jìn)行規(guī)范化預(yù)處理,然后用神經(jīng)網(wǎng)

11、絡(luò)對(duì)已預(yù)處理的輸入進(jìn)行學(xué)習(xí)。訓(xùn)練完畢后,用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)對(duì)標(biāo)識(shí)樣本進(jìn)行分類。目前的神經(jīng)網(wǎng)絡(luò)模型很多，而反向傳播模型（BP模型）是使用最多的典型神經(jīng)網(wǎng)絡(luò)。反向傳播算法于多層前饋神經(jīng)網(wǎng)絡(luò)上學(xué)習(xí),如圖2。其中的輸入對(duì)應(yīng)每個(gè)訓(xùn)練樣本的各個(gè)屬性取值;輸入賦給輸入層單元,這些單元的輸出結(jié)合相應(yīng)的權(quán)重饋給第二層（隱藏層）單元;隱藏層的帶權(quán)輸出又作為輸入再饋給另壹隱層等等,最后的隱層結(jié)點(diǎn)帶權(quán)輸出饋給輸出層單元,輸出層單元最終給出相應(yīng)樣本的預(yù)測(cè)輸出。反向傳播通過迭代的處理壹組訓(xùn)練樣本,將每個(gè)樣本的網(wǎng)絡(luò)預(yù)測(cè)和實(shí)際知道的類標(biāo)號(hào)進(jìn)行比較、學(xué)習(xí),通過修改權(quán),使網(wǎng)絡(luò)預(yù)測(cè)和實(shí)際類之間的均方誤差最小。這種修改是向后進(jìn)行的,

12、即由輸出層,經(jīng)過每個(gè)隱藏層,到第壹個(gè)隱藏層。當(dāng)權(quán)最終收斂時(shí),學(xué)習(xí)過程停止。神經(jīng)網(wǎng)絡(luò)法的優(yōu)點(diǎn)是有較強(qiáng)的抗噪能力,對(duì)未經(jīng)訓(xùn)練的數(shù)據(jù)也具有較好的預(yù)測(cè)分類能力。神經(jīng)網(wǎng)絡(luò)的主要缺點(diǎn)是它的知識(shí)表示問題,也就是說用加權(quán)鏈連結(jié)單元的網(wǎng)絡(luò)所表示的知識(shí)很難被人理解。此外,神經(jīng)網(wǎng)絡(luò)法的學(xué)習(xí)時(shí)間較長(zhǎng),僅適用于時(shí)間容許的應(yīng)用場(chǎng)合;對(duì)于如網(wǎng)絡(luò)結(jié)構(gòu)等關(guān)鍵參數(shù),通常需要經(jīng)驗(yàn)方能有效確定。3智能文本處理策略由于文本本身的復(fù)雜性、不規(guī)律性的特征,文本自動(dòng)分類系統(tǒng)是壹個(gè)涉及多方面綜合的系統(tǒng),想獲得良好的文本分類效果,不僅僅是單純的分類處理算法的問題,必須運(yùn)用多種手段加以解決,特別是文檔分類系統(tǒng)作為壹個(gè)有指導(dǎo)的學(xué)習(xí)系統(tǒng),和其它控制系

13、統(tǒng)具有類似的特性,能夠借鑒其它的智能控制技術(shù)加以解決。為此,根據(jù)文本自動(dòng)分類處理的特點(diǎn),我們給出壹種文本分類系統(tǒng)的多策略智能解決方案,從影響分類處理的幾個(gè)主要環(huán)節(jié)入手,來優(yōu)化處理分類系統(tǒng)的流程,從而從效果上大大提高分類處理效果,為文本分類處理提供綜合的解決方法。處理上主要從以下幾方面對(duì)分類系統(tǒng)進(jìn)行了改善訓(xùn)練文檔的優(yōu)化從整個(gè)系統(tǒng)的入口環(huán)節(jié)入手，對(duì)系統(tǒng)進(jìn)行學(xué)習(xí)的樣本進(jìn)行控制才是高學(xué)習(xí)樣本的質(zhì)量,從而為分類模型的建立提供較好的保證。分類模型的運(yùn)用策略從具體分類模式的運(yùn)用上，進(jìn)壹步增強(qiáng)系統(tǒng)的分類效果。分類系統(tǒng)的反債學(xué)習(xí)實(shí)現(xiàn)系統(tǒng)于使用過程中不斷的自我學(xué)習(xí)、自我完善，從而達(dá)到其分類性能不斷提高的目的。模糊

14、分類處理提高分類處理的智能化，使分類處理結(jié)果更能反應(yīng)文本類別的真實(shí)特征，從而達(dá)到減小誤分類、提高分類精度的目的。多模型處理技術(shù)對(duì)于信息分類技術(shù)的研究,長(zhǎng)期以來形成了各種各樣的方法,如Rule-based、NaiveBayesian、kNN、DecisionTree、SVM、Boosting等，不同的方法均有各自不同的特點(diǎn),是從不同的方面實(shí)現(xiàn)了對(duì)分類問題的描述,且且,壹些簡(jiǎn)單的分類方法往往也能夠達(dá)到壹個(gè)較好的效果就目前的研究來見,SMV方法作為性能較好的分類處理方法，比其它的分類方法具有壹定的優(yōu)越性。但從實(shí)驗(yàn)結(jié)果表明,其分類性能比傳統(tǒng)的簡(jiǎn)單的分類方法,如kNN也且沒有壹個(gè)太大的提高,這是由我們所

15、提到的文本本身的復(fù)雜性所決定的同時(shí),采用Boosting方法的試驗(yàn)結(jié)果表明其也可取得較好的分類效果,Boosting的主要思想用壹些弱的分類規(guī)則實(shí)現(xiàn)較高分類效果的目的。因此,針對(duì)這種情況,于具體處理時(shí),我們能夠?qū)追N不同的方法結(jié)合起來進(jìn)行處理,如將支持向量機(jī)方法和基于規(guī)則的方法相結(jié)合等,使各種分類方法取長(zhǎng)補(bǔ)短,互相補(bǔ)充,即幾個(gè)不同分類器的結(jié)合,其整體分類性能將高于任何壹個(gè),從而提高分類的精度和效率。模糊分類處理技術(shù)模糊性是客觀事物的本質(zhì)特性。于分類處理中,對(duì)于待分類的文本,均是于某種程度上屬于某壹個(gè)類別,而且非是絕對(duì)二值邏輯。于我們根據(jù)具體的分類模型進(jìn)行分類處理時(shí),我們得到的往往也是待分類文檔

16、屬于各個(gè)類別的數(shù)值信息,于壹般情況下往往是根據(jù)最大的結(jié)果數(shù)值來判定系統(tǒng)的分類結(jié)果,這將會(huì)丟失大量的信息,造成大量的誤分類情況。而模糊處理技術(shù)正是根據(jù)事物本身模糊性的特征,于處理過程中根據(jù)模糊規(guī)則進(jìn)行處理,從而更能真實(shí)地反映事物的本來面目因此,為提高分類的智能性、準(zhǔn)確性,于進(jìn)行分類處理時(shí),能夠運(yùn)用模糊處理技術(shù),對(duì)分類結(jié)果進(jìn)行模糊規(guī)則處理,即先對(duì)分類模型的分類結(jié)果進(jìn)行模糊化處理,將具體的數(shù)值量轉(zhuǎn)換成模糊變量,然后根據(jù)具體情況制定相應(yīng)的分類處理規(guī)則,實(shí)現(xiàn)模糊推理。運(yùn)用模糊分類處理,也能夠很好地處理文本分類中的兼類、拒類等情形。當(dāng)只有屬于某壹個(gè)類別的可信度為高時(shí),則該類別為其所對(duì)應(yīng)分類當(dāng)同時(shí)對(duì)應(yīng)于倆個(gè)

17、或多個(gè)類別的可信度均高時(shí),則該文檔可同時(shí)被分為多個(gè)類,即是兼類而當(dāng)文檔所對(duì)應(yīng)的所有分類的可信度皆為低時(shí),則為拒類從而使分類處理具有了專家分類處理時(shí)的智能性,當(dāng)然也就更能準(zhǔn)確地反應(yīng)文本本身所具有的實(shí)際類別特征。4改進(jìn)的貝葉斯分類于文本分類中的應(yīng)用關(guān)鍵的壹個(gè)技術(shù)是特征提取。文本分類中特征提取的步驟包括:詞語(yǔ)切分,詞頻統(tǒng)計(jì),加權(quán)計(jì)算和特征選擇(二者通常結(jié)合于壹起進(jìn)行)。于文本分類中有很多權(quán)重計(jì)算和特征選擇的公式,如信息增益、期望交叉嫡、文本證據(jù)權(quán)、zx統(tǒng)計(jì)量等,其中最著名的是TFIDF公式.那么，權(quán)重計(jì)算和和特征選擇的公式究竟哪個(gè)為優(yōu)呢?其實(shí)于這些公式中，關(guān)鍵于于特征選擇時(shí)的傾向:高頻詞或稀有詞，也

18、就是公式中的P(w)因子起很大作用。因此，于特征選擇時(shí),理想的做法應(yīng)該是充分考慮P(w)因子的作用，最好能兼顧到高權(quán)高頻詞和低頻高權(quán)詞。有學(xué)者對(duì)TF*F和TF*IWF*IWFF公式進(jìn)行了分析且作了壹些改進(jìn),認(rèn)為關(guān)鍵詞于某類的權(quán)重受3個(gè)因素的影響:該詞于當(dāng)前類中的出現(xiàn)頻率;該詞于總語(yǔ)料中的出現(xiàn)頻率;該詞于不同類別之間出現(xiàn)頻率的差異。最終得到關(guān)鍵詞于類中的權(quán)重計(jì)算公式:其中,Lj是類cj含有的所有詞的次數(shù)之和,Tij是詞i于類cj出現(xiàn)的次數(shù);，其中m為類別數(shù);即亞。表示訓(xùn)練語(yǔ)料中出現(xiàn)詞wi的次數(shù),N是訓(xùn)練語(yǔ)料中所有詞出現(xiàn)次數(shù)之和;nL類別區(qū)別度用來表示某壹個(gè)詞語(yǔ)對(duì)于文本分類的貢獻(xiàn)程度,即詞語(yǔ)的領(lǐng)域

19、區(qū)別程度。直觀地見,如果壹個(gè)詞語(yǔ)于每壹類中均比較均勻地出現(xiàn),那么它對(duì)于分類的貢獻(xiàn)幾乎為零,類別區(qū)別度很低;如果某壹詞語(yǔ)只于某壹類中出現(xiàn),那么它對(duì)于分類的貢獻(xiàn)很高,有的幾乎能夠壹詞定類,類別區(qū)別度也就很高了。比如,虛詞“的、我、于”的類別區(qū)別度很低,而“魔獸爭(zhēng)霸、重倉(cāng)股、手機(jī)操作系統(tǒng)”這樣的詞語(yǔ)其類別區(qū)別度就很高。5文本分類方法研究存于的問題分詞是影響文本分類的重要因素之壹,分詞的速度和準(zhǔn)確率和最終的分類結(jié)果密切關(guān)聯(lián)。尤其是Web上不斷出現(xiàn)新詞匯，對(duì)分詞理論的創(chuàng)新和詞典的構(gòu)造均提出了較高的要求。由于中文文本分類起步晚和中文不同于英文的特性后前中文Web文本分類仍沒有標(biāo)準(zhǔn)的開放的文本測(cè)試集,各研究者大多使用自己建立的文本集進(jìn)行訓(xùn)練和測(cè)試,其分類結(jié)果