噪聲消S除與MO算法收斂性

本文由qmqnddnwzc貢獻(xiàn)pdf文檔可能在WAP端瀏覽體驗(yàn)不佳。建議您優(yōu)先選擇TXT，或下載源文件到本機(jī)查看。噪聲消Ｓ除與ＭＯ算法收斂性何建兵何清ｚ史忠植ｚ（中國科學(xué)院研究生院軟件學(xué)院，北京１０４）００９（中科院計(jì)算技術(shù)研究所智能信息處理重點(diǎn)實(shí)驗(yàn)室，北京１０８）０００Ｅｍｉ：ｂｒ＠ｓｈ．ｍ－ａｌｈ—ｌｏｕｃｊｈｏ摘要近年來，著序列最小優(yōu)化分類算法Ｓ等一系列快速算法的推出，隨ＭＯ支持向量機(jī)在自動(dòng)文本分類研究領(lǐng)域取得了很大的成功。多數(shù)文本分類問題是線性可分的．用線性核函數(shù)的ＳＯ算法能夠取得非常好的分類效果。是文大使Ｍ但本向量是一種非常稀疏的向量。用線性核函數(shù)的Ｓ算法對(duì)噪聲樣本非常敏感．易產(chǎn)生發(fā)散的問題。文章分析證明采ＭＯ容了噪聲如何影響ＳＭＯ算法收斂性。為了解決訓(xùn)練樣本中噪聲樣本影響Ｓ算法收斂的問題，計(jì)了一個(gè)消除噪聲樣本ＭＯ設(shè)的算法．得了非常好的效果。取關(guān)鍵詞文本分類支持向量機(jī)ＳＭ０算法噪聲樣本文章編號(hào)１０—３１（０６２—１００文獻(xiàn)標(biāo)識(shí)碼Ａ０２８３一２０）４０６—４中圖分類號(hào)１３１］０．Ｐ６ＥｌｉａｉｇＮｏｓｎＭＯｇｒｔｍｎｅｇｎｅｉｎｔｎｉｙａｄＳｍＡｌｏｉｈＣｏｖｒｅｃＨｅＪａｂｎＨｅＱｉｇＳｉＺｏｇｈｉｎｉｇｎ２ｈｈｎｚｉ（ｏｅｅｏｏｔａｅＥｇｅｒｇＧａｕｔＳｈｏｏｈｈｎｓａｅｆＳｉｎｅ，ＣｌｇｆＳｆｒｎｉｅｉ，ｒｄａｃｏｌｆｔｅＣｉｅｅＡｃｄｍｙｏｃｅｃｓｌｗｎｎｅＢｉｎ０Ｏ９ｅｌｇｌ０４ｉ１（ｈｅａｏａｏｙｏｎｅｉｅｔＩｆｍａｏｒｃｓｉｇＩｓｔｔｏｏｐｔｇＴｃｎｌｇ，ＴｅＫｙＬｂｒｔｆＩｔｌｎｎｏｔｎＰｏｅｓ，ｔｕｅｆＣｍｕｉｅｈｏｙｒｌｇｒｉｎｎｉｎｏＣｉｅｅＡａｅｙｏＳｉｃｓＢｉｎ０００ｈｎｓｃｄｍｆｃｎｅ，ｅｉｇ１０８）ｅｊＡｂｔａｔＩｅｅｔｙａｓａｃｍｐｎｔｈｐｅｒｃｆａｓｒｓｏａｉｒｉｉｇａｇｒｔｍｓＳｑｅｔｌｓｒｃ：ｎｒｃｎｅｒ，ｃｏａｙｗｉｔｅａｐａａｅｏｅｅｆｒｐｄｔｎｎｌｏｈａｅｕｎｉＭｉｉｌｈｎｉａｉａｎｍａＯｐｉｚｔｎ（ＭＯ）ｓｐｏｔｅｔｒｔａｉｍｉｏＳ，ｕｐｒｖｃｏｍａｈｎｓｃｉｖｄｒａｓｃｅｓｎｅｔａｅｏｚｔｎＭｏｔｅｔａｅｏｚｔｎｃｉｅａｈｅｅｇｅｔｕｃｓｉｔｘｃｔｇｒａｉ．ｓｔｘｃｔｇｒａｉｉｏｉｏｐｏｌｍｓｒｅｌｅｒｅａａｌ，ｄＳａｇｒｈｕｉｇｌｅｅｎｌｉｄｃｄｃｎｐｒｒｗｅｌｏｅｔｃｔｇｒｚｔｎｒｂｅａｉａｌｓｐｂｅａＭＯｌｏｔｍｓｉａｋｒｅ－ｎｕｅａｅｆｍｌｒｔｘａｅｏａｉ．ｎｙｒｎｉｎｎｒｏｆｉｏＨｏｖｒｔｘｅｔｒａｅｉｄｏｘｒｍｅｙｓａｓｅｔｒａｄＳｗｅｅ，ｔｖｃｏｅｓｒａｋｎｆｅｔｅｌｐｒｅｖｃｏ，ｎＭＯｌｏｔｍｔｌｅｅｅｒｐｌｎｍｉｅｅａｇｒｈｗｉｉａｋｒｌｏｏｙｏａｋｒｌｉｈｎｒｎｌｎｉｅｙｓｎｉｖｏｔｅｘｒｍｅｙｐｒｅｏｓｘｍｐｅ，ｈｃｉａｙｔｂｎｏｔｅｐｏｌｍｔａａｇｒｈｃｎｏｓｖｒｅｓｉｅｔｈｅｔｅｌｓａｓｎｉｙｅａｌｗｉｈｓｅｓｏｒｇｎｈｒｂｅｔｉｈｔｌｏｔｍａｎｔｉｃｎｅｇ．ｓｂｅｒｖｄｔａｔｅｎｉｘｍｐｅｏｏｎｌｅｃｈｏｖｒｅｃｆＳｏｖｒｅＩｉｅｎｐｏｅｈｔｈｏｓｅａｌｈｗｔｉｆｕｎｅｔｅｃｎｅｇｎｅｏＭＯａｇｒｈｔｙｏｉｍｉｈｐｐｒｏｌｔｎｔｅａｅ．ＴｓｌｅｔｅｐｂｅｔａｏｓｓｍｐｅｉｒｉｉｇｓｍｐｅｆｃｈｏｖｒｅｃｆＳｏｖｈｒｌｍｈｔｎｉｏｙａｌｎｔｎｎａｌｓａｅｔｔｅｃｎｅｇｎｅｏＭＯａｇｒｔｍ，ｈｓｐｐｒｄｓｎｈａｌｏｈｔｉａｅｅｉｓｔｅｉｇａｇｒｈｔａａｌｎｔｏｓａｌｓａｄｇｏｅｕｔｓａｈｅｅ．ｌｏｉｍｈｔｃｎｅｉａｅｎｉｙｓｍｐｅ，ｎｏｄｒｓｌｉｃｉｖｄｔｍｉｓＫｅｗｏｄｙｒｓ：ｔｘａｅｏｉａｉｎ，ＶＭ，ＭＯａｇｒｈ，ｏｓａｌｅｔｃｔｇｒｔｚｏＳＳｌｏｔｍｎｉｙｓｍｐｅｉｌ引言文本分類通常采用向量空間模型將文本表示成空間中的向量，向量空間的維數(shù)為詞的總數(shù)．每維對(duì)應(yīng)一個(gè)詞。般文本一向量的維數(shù)很高（于１０）相對(duì)而言，習(xí)樣本就顯得不大００，０學(xué)足。傳統(tǒng)的分類算法在文本特征項(xiàng)的數(shù)目比訓(xùn)練數(shù)目大時(shí)．可能會(huì)出現(xiàn)在高維空間泛化能力差的情況…由于支持向量機(jī)。（Ｖ算法解決的是一個(gè)凸優(yōu)化問題，部最優(yōu)解一定是全局ＳＭ）局最優(yōu)解，這種高維小樣本的情況很適合采用ＳＭ技術(shù)【Ｖ１】年。近來．隨著ＳＭＯ等一系列快速算法的推出，Ｖ在自動(dòng)文本分ＳＭ類研究領(lǐng)域取得了很大的成功。因，第四節(jié)中提出了消除噪聲樣本的算法，得了很好的效在取果。２支持向量機(jī)２１最大間隔分類器．支持向量機(jī)中最早提出的模型是最大間隔分類器，由ＢｓｒＧｙｎ和Ｖｐｉ明［ｏｅ，ｕｏａｎｋ發(fā)３１設(shè)有，樣本訓(xùn)練點(diǎn)（１１，。假個(gè)，）Ｙ（２Ｙ）…，軌Ｙ）Ｒ×±｝學(xué)習(xí)得到線性分類超平面：Ｘ，２，（，，Ｅ｛１，Ｗ?＋ｂＯ將樣本分成兩類：ｉ＋）０和ｙ（６＜。＝，ｙｗ?６＞（ｉ?）０顯然，超平面中的Ｗ和ｂ乘以系數(shù)后仍能滿足方程，失不一大多數(shù)文本分類問題是線性可分的，用線性核函數(shù)的使ＳＯ（ｅｕｎｉｎｍｌＯｔｚｔｎ算法能夠取得非常好的ＭＳｑｅｔｌＭｉａｐｉａｏ）ａｉｍｉｉ分類效果。但是文本向量是一種極度稀疏的向量．向量中很多維的權(quán)值用０表示．采用線性核和多項(xiàng)式核的ＳＭＯ算法對(duì)這樣的噪聲樣本非常敏感．易產(chǎn)生不能收斂的問題。本文第三容節(jié)通過推導(dǎo)解釋了Ｓ０算法為什么對(duì)噪聲樣本非常敏感的原Ｍ般性．于所有的樣本．當(dāng)調(diào)整Ｗ和ｂ使１?＋Ｉ對(duì)適，ｘｂ的最小值為１經(jīng)過歸一化處理得到：ｉ卜）１因。，。ｙ?『≥。此兩類樣本到超（６平面最小距離之和為＿）ｌ２廠＝１ｌ０如果兩類到該超平面的（ｌｌＷ二間隔最大，該超平面為最優(yōu)超平面。通過優(yōu)化函數(shù)ｆｗ）求則（，解最優(yōu)超平面：基金項(xiàng)目：國家自然科學(xué)基金資助項(xiàng)目（編號(hào)：０３００；６４５１）國家８３高技術(shù)研究發(fā)展計(jì)劃資助項(xiàng)目（６編號(hào)：０３２０ＡＡ１５２）中澳科技合作特別基金１２０；項(xiàng)目；京市自然科學(xué)基金資助項(xiàng)目（號(hào)：０２２）北編４５０５１０２０．計(jì)算機(jī)工程與應(yīng)用６０６２４Ｍｉｓ１ｎｍｉ。ｉ．ｏｌｄｏｄｌｎ刪ｎｌｅｏａｓ２１＋ａ＋ａ＝ｓ２ｒｏ，，（）７，０二Ｓｂｅｔｔｙｗ?ｉ）（≤ｉｕｊｏｉｘｂ≥１１≤ｃ（＋考慮到可能存在一些樣本不能被超平面嚴(yán)格地正確分類。其中ｓｙ，常數(shù)，ｏⅡｌ＝ｒ?yàn)棰颍洌洌鞛椋献兓暗闹?，ｎｔ２Ⅱｅ”：Ⅱｗｎ２為變化后的值。將（）入（）?yōu)化目標(biāo)函數(shù)可以得到：ｅ７代４并—Ｙ（２Ｅ）２Ｅ一１Ⅱ＝２—２ａ（）８１９９５年Ｃｎｓ和Ｖｐｉｔｌ了ＳＭ的軟間隔版本，用松ｏｅａｎｋ１入４￣Ｖ使弛變量喜，點(diǎn)滿足Ｙ（＋）１條件。這樣原函數(shù)≥０使ｌ?６≥，變）ｌｌｃ，成＝ｌ：∑其中Ｃ一常函第—＋１是個(gè)正數(shù)，數(shù)中厶＝１一其中，＝Ｋｌｌ如，１ｋ２ｒＫ廠Ｅ１一１Ｅ＝（：－２）Ｙ，２ｘ）ｙ。求得Ⅱｗｆｎ２的ｅ項(xiàng)使樣本到超平面的距離盡量大，而提高泛化能力，２從第值后，７求解Ⅱ由（）＿。Ｓ算法從初始值為０的Ｏ開始優(yōu)化（）相應(yīng)地巨的ＭＯｔ４，初始值為Ｙ每次變更后Ｏ，２對(duì)Ｅ進(jìn)行修改，。ｔＯ要１ｔＥ（＝），項(xiàng)則使誤差盡量小。原優(yōu)化問題變?yōu)椋海停椋恚螅欤睿椋保欤欤悖椋澹欤祝埃保笨冢椋剑保保耍妫保幔辏僭O(shè)偏置ｂ保持不變，Ｅｙ（，６ｙ，ｘ）則，３＝Ｓｂｅｔｔｙｗ?６≥１，ｕｊｃｏｉ）基≥０１≤（（≤ｉ利用拉格朗日乘子法．到拉格朗日函數(shù)：得，（）１的變化量為：Ａｆａｒ１ＡｚＥ＝￣Ｋ，ａｙＡ１＋￣（）９，，ｒＪｙ）１（ｂＷ：二，ｃ∑Ｅ＝１，ＳＭＯ每次迭代時(shí)，從訓(xùn)練集中啟發(fā)式地選擇最可能違反ＫＴ條件的兩點(diǎn)進(jìn)行優(yōu)化，快算法的收斂速度。根據(jù)拉格朗Ｋ加∑Ｊ（＋）卜春ｊ，６１∑ｒ一１，（２）日乘子取值范圍（≤≤Ｃ）析ＫＫ條件，Ｏ＜時(shí)，五≥０分Ｔ當(dāng)ｔＣｙ０Ｏ＞；ｔ０時(shí)，≤０，，ｆ。因此，可能違反ＫＴ條件的點(diǎn)是：最Ｋ當(dāng)ｌ＜Ｃ時(shí)，五為最小的點(diǎn)；Ｏ＞ｙ當(dāng)ｔ０時(shí)，為最大的點(diǎn)所以ＳｙＭＯ算法根據(jù)當(dāng)前點(diǎn)的Ｅ啟發(fā)式地選擇優(yōu)化的兩點(diǎn)。ｉ１＝，分別對(duì)Ｗ，，偏導(dǎo)置零得：＝１ｆ，１－，—廣ｂ毒求１ｔ．Ｏ￣ｃ．ＯＹ１ｔ－ｙＯ＝１ｉ１：ｒ０代入（）中，到拉格朗日函數(shù)的對(duì)偶目標(biāo)函數(shù)：ｉ。－２式得，，Ｌ∑∑ｉｔ（）廣ｉｊＹｊＯＹ１厶ｉ＝．ｌｊ（３）３噪聲樣本影響ＳＭＯ算法收斂的原因噪聲樣本是指向量相同或相似（似度達(dá)９％以上）而分相０，設(shè)Ｗ是原函數(shù)的一個(gè)可行解，是Ｏｔ目標(biāo)函數(shù)的一個(gè)可行解，據(jù)上面的推導(dǎo)可知（≤，，，Ｏｒ≤廠，對(duì)偶根）Ｊｂ，，）＿）即（ｔ（問題的值的上界由原問題的值給出。原函數(shù)和目標(biāo)函數(shù)都是而類標(biāo)簽相反的訓(xùn)練樣本。如果ＳＭＯ通過啟發(fā)式選擇算法選擇了兩對(duì)相互矛盾的兩點(diǎn)，由于文本向量是極度稀疏的向量，大凸二次函數(shù)，在鞍點(diǎn)處有Ｌ（＿（。以，。廠））所原函數(shù)的優(yōu)化問題變成目標(biāo)函數(shù)的優(yōu)化問題：，，量的屬性權(quán)值以０表示。計(jì)算噪聲樣本的線性核函數(shù)或多項(xiàng)在式核函數(shù)時(shí)．個(gè)別有差異的屬性權(quán)值乘以其他向量的屬性權(quán)值，其他向量在這個(gè)屬性的權(quán)值為０的概率：大，可能而常就會(huì)得到相同核函數(shù)的結(jié)果。其Ｅ在迭代時(shí)出現(xiàn)反復(fù)振蕩，致導(dǎo)ＳＭＯ算法在兩對(duì)相互矛盾的兩點(diǎn)上反復(fù)迭代，法收斂，也無這說明ＳＭＯ算法對(duì)這樣的噪聲是非常敏感的。因此，訓(xùn)練前應(yīng)在該設(shè)法消除這樣的樣本向量。面的推導(dǎo)進(jìn)一步說明了噪聲樣下ＭｘｉＬ∑ｙｆ（＂）ａｓ∑廣ｉｊｉｍｅＯＸＺ“ＩＩ＝ｉ．Ｉ，Ｓｊｔｏ∑Ｏｉ，ｃ１ｕｅｂｃｔｔ＝０≤（≤ｉ０≤Ｙ≤ｌ（４）目標(biāo)函數(shù)的最優(yōu)解必須滿足ＫＴ￣補(bǔ)條件：Ｋｔ互，本導(dǎo)致ＳＭ０算法無法收斂的原因。假設(shè)訓(xùn)練集中存在兩對(duì)相互矛盾的向量Ｓ，：Ｓ，其中。，３Ｓ，Ｓ。，Ｏ（ｔ∑嘞（?＋）Ｊｉ規(guī)６１＝）一０ｌ是一對(duì)噪聲樣本，，是另一對(duì)噪聲樣本。為簡化推導(dǎo)，：相同，ｙ１ｙ＝１ｙ＝１ｙ＝。設(shè)在對(duì)ｌ，，４且ｌ，２一，３，４１假＝一，３向２ｆ，１…，＝ｉ，０＝（）５只考慮向量相同，而分類標(biāo)簽相反的情況。不妨設(shè)。相同，，３２，根據(jù)該條件，僅最靠近超平面的點(diǎn)對(duì)應(yīng)的Ｏ非０而在僅ｔ。超平面的權(quán)重Ｗ表達(dá)式中，有Ｏ非０的點(diǎn)才包括在內(nèi)，此只ｔ因這些點(diǎn)被稱為支持向量。過優(yōu)化目標(biāo)函數(shù)，找支持向量，通尋從而訓(xùn)練得到一個(gè)ＳＭ的分類規(guī)則函數(shù)：Ｖ，量優(yōu)化之前，，：３向量的Ｅ分別為Ｅ。，訓(xùn)練活。，，，，Ｅ。ＥＥ３動(dòng)集經(jīng)過一定次數(shù)迭代后，如果ＳＭＯ算法第一次啟發(fā)式地選擇了。：點(diǎn)，它們進(jìn)行優(yōu)化。根據(jù)（）Ｏ，：次迭代的，兩對(duì)８，ｔｔ本ｔＯ）ｇ∑Ｏ．＋）＝ｎｔ（６ｓ（ｉ規(guī)）ｙ＝（６）變化量分別為：△ｌ蘭蘭?。耄ǎ保埃ǎ保保玻玻樱停八惴ǎ樱停蟽?yōu)化（）４時(shí)使用了塊與分解技術(shù)，將分解算法思想并△：，推向極致，次迭代僅優(yōu)化兩個(gè)點(diǎn)的最小子集，威力在于兩每其個(gè)數(shù)據(jù)點(diǎn)的優(yōu)化問題可以獲得解析解，而不需要將二次規(guī)劃從優(yōu)化算法作為算法一部分。盡管需要更多的迭代才收斂，每但個(gè)迭代需要很少的操作，此算法在整體速度上有數(shù)量級(jí)的提因，根據(jù)（）Ｅ。：，本次迭代的變化量分別為：９，，，臣Ｅ△＝ｙＫ１Ａ巨△ｌｌ１＋１）（Ｅｌ—－２）ＫＨ－Ｋ２Ｅ￣（—（２１）—一ＡｚＡ肌Ｋ１ＡＥ＝２＋：１二２（３１）（４１）高不一性化。：他Ｏ固由性束件∑Ｏ。失般優(yōu)，，ｔ定，線約條其ｉｔｉ＝１３Ａ￣，３ｍｚ３—，Ｅ２）ＫＩ－Ｋ３＝ａｙ－ｙ：（－Ｋ１－￣２Ｅ１（３２）一———ｙＯ可知：ｉ＝－／ｌ：—計(jì)算機(jī)工程與應(yīng)用２ｏ．４１１０６２６ＡＥ△１４△２＝（ｌＥ２）Ｋ１Ｋ￣１Ｋ—Ｅ－＋（４－）—————（５１）然后再啟發(fā)式地選擇Ｓ，點(diǎn)，它們進(jìn)行優(yōu)化。過四，兩Ｓ對(duì)經(jīng)次迭代之后，，，，，３Ｅ的變化量分別為：３Ｅ１Ｅ，４Ｅ＝，一了這里ｋ２Ｋ１Ｋ。由于Ｓ，３相同的向量；，是相＝Ｋ－－１是Ｓ同的向量，則Ｋ３ｌＫ＝２４ｌ４。所以ＡＡ１１ｌ∞１１２＝＝’；＝’２Ｇ＝Ｅ，ＥＥ△學(xué)２）０相同然后Ｓ算法啟發(fā)式地選擇，兩點(diǎn)，對(duì)它們進(jìn)行優(yōu)ＭＯ，化。根據(jù)（），本次迭代的變化量分別為：８，…２Ｋ一Ｋ３－３４３“２４Ｋ３－Ｋ４Ｋｓ－３４Ａ，?。牛剑虢z和（１相同２）．Ａ＝Ｅｌ△＝２Ｅ３Ａ，４△．Ｅ坷（３一１）＋１）（２４～’２４Ｋ３－Ｋ４Ｋ３－—３—Ｅ坷３，２４幅坷—依此類推，每迭代兩次，，的拉格朗日乘子，的系數(shù)按２一（＞）序增加，，的拉格朗日乘子，的系數(shù)ｎ１ｎ０順，按２（＞）序增加。而噪聲樣本，３Ｅ（１３在（２和ｎｎ０順的，）１）（０式之間反復(fù)振蕩；，的Ｅ，）（３和（１式之間２）（４在１）２）２反復(fù)振蕩。從而導(dǎo)致ＳＭＯ算法在兩對(duì)相互矛盾的兩點(diǎn)上反復(fù)迭代．法收斂。無衄—Ｋ４３一４２－ＫＫ４３３同樣道理，４２Ｋ３ｌＫ：；而且，ｌ２３４３ｌ３ｌ４Ｋ＝，＝，Ｓ’，，向量ＳＳＳ在第一次優(yōu)化之前，ｌ１３２２ｙＥ。以３本次迭代的ｙＥ＝，Ｅ＝，４所，ｙ４變化量可分別表示為：Ａａ＝ｙ３２３—喜（）１６Ａ－里ｏ２喜ｔ４（）１７４消除噪聲樣本算法為消除訓(xùn)練樣本中可能存在的噪聲樣本，歷訓(xùn)練樣本文遍件中所有向量．較分析正負(fù)樣本向量的相似度，果相似度比如大于或等于９％。們認(rèn)為正負(fù)樣本向量對(duì)是相互矛盾的。相０我似度計(jì)算公式如下：同樣根據(jù)（）Ｅ。，４次迭代的變化量分別為：９，，，Ｅ本ＥＥ，衄１３４＝＋＝△△衄△△＝３△２４＝３△—３△３４Ｉ＋＝學(xué)［（）１８（９）１Ｍ面向非屬數(shù)向非屬數(shù)‘８ａ零性．量零性）、ｘ量鬻（正負(fù)２設(shè)訓(xùn)練樣本數(shù)為，算法執(zhí)行的步驟描述如下：步驟１按１到哽從訓(xùn)練樣本集中取一個(gè)樣本Ｓ如果序取完樣本集所有樣本．算法結(jié)束。則步驟２按ｉ１＋到順序取訓(xùn)練樣本集中另一個(gè)樣本Ｓ如Ａ＝ｔｆ￣ＡｙＫ４ＡＥ４Ａｏｙ（＋ａ４４４Ｅ２３ｌ＝經(jīng)過兩次迭代之后，，３４Ｅ，Ｅ，的變化量分別為：Ｅ２Ｅ衄１１）１）＝（２＋（８：衄（３）１：１＋（９）衄衄１衄４衄，＝?。。。。ǎ埃玻ǎ玻惫⊥陿颖尽＾D(zhuǎn)步驟１則。步驟３比較Ｓ和Ｓ的類標(biāo)。如果Ｙ和相同，Ｓ不，ｉＳ和可能是相互矛盾的向量，步驟２轉(zhuǎn)。步驟４根據(jù)公式（８計(jì)算Ｓ和Ｓ的相似度。如果Ｓ和ｓ２），｜的相似度大于或等于９％，Ｓ和Ｓ是相互矛盾的向量，訓(xùn)０則，從練集中去掉Ｓ和Ｓ轉(zhuǎn)步驟１否則，步驟２；轉(zhuǎn)。二緊接下來．ＭＯ又啟發(fā)式地選擇Ｓ，點(diǎn)進(jìn)行優(yōu)化，ＳＳ兩同理可推導(dǎo)出。本次迭代的變化量分別為：。，Ａｑ２１Ｅ２ｏ＝ｙ—｜Ｅ－一（２２）５實(shí)驗(yàn)結(jié)果本文實(shí)驗(yàn)系統(tǒng)訓(xùn)練使用了１３個(gè)訓(xùn)練集樣本文件：從文件Ｓ．到文件Ｓ３ｍ，練１１ｍｔ１．訓(xùn)ｔ３個(gè)分類，類對(duì)應(yīng)一個(gè)超平面。每在采用線性核和多項(xiàng)式核執(zhí)行ＳＭ０算法訓(xùn)練時(shí)．發(fā)現(xiàn)訓(xùn)練文Ａ２ｙ粵ｏ２里￣２＝Ｅ，２，４次迭代的變化量分別為：，，本ＥＥＥ（３２）衄２！后（４２）件Ｓ．．３ｔ．８ｔ無法收斂。分析發(fā)現(xiàn)這三個(gè)訓(xùn)練文件中１ｍＳ．Ｓ．ｔｍｍ表１消除噪聲樣本數(shù)統(tǒng)計(jì)衄，＝１２皇?。⊥螅ǎ担玻漪浇?jīng)過三次迭代之后，，２Ｅ，，４，，２Ｅ的變化量分別為：ＥＥ３Ａｈ（０＋２）３Ｅｓ２ｏ＝１）（２＝?。欤牛?，Ｅ一（６２）ＡＯ＝（１＋（３＝ｙ—￣１）２）３２２（７２）衄ｌ２）（）?。剑埃玻夯剩ǎ呆ǎ保ǎ担海玻玻粒剑牛臁鳎剑牛玻牛常粒炼停ǎ蚕嗤保┙z和（３相同１），１２２ｏ．計(jì)算機(jī)工程與應(yīng)用６０６４２存在比較多的噪聲樣本，即相同（相似）或的兩個(gè)向量的類標(biāo)相反。對(duì)Ｓ，３和Ｓ１Ｓ８文件進(jìn)行除噪聲處理后，練收斂了，得訓(xùn)并到了模型文件。們繼續(xù)對(duì)其他文件也進(jìn)行了訓(xùn)練前的除噪聲我優(yōu)化算法計(jì)算線性核或多項(xiàng)式核時(shí)，相互矛盾的向量的核函數(shù)計(jì)算結(jié)果非常容易一致．訓(xùn)練集中噪聲樣本比較多時(shí)，易當(dāng)容引發(fā)ＳＭＯ訓(xùn)練算法不能收斂．現(xiàn)收斂前振蕩使用本文提供出處理，現(xiàn)這些文件也或多或少的存在相互矛盾的向量．果發(fā)結(jié)如表ｌ示。隨后我們又使用了９４個(gè)測(cè)試數(shù)據(jù)，訓(xùn)練得到所８對(duì)的預(yù)處理算法能夠消除訓(xùn)練集中的噪聲樣本，很好地解決ＳＭ０對(duì)訓(xùn)練集中噪聲樣本敏感的問題。（收稿日期：０６年３月）２０的分類器進(jìn)行了測(cè)試，應(yīng)測(cè)試準(zhǔn)確率見表２相。表２基于ＳＭ０的文本分類測(cè)試結(jié)果表參考文獻(xiàn)１ｏｓｅＪａｈｍｓＴｅｔｔｇｒｚｔｎｗｉｈｕｏ’ｅｔｒ．ｒｔｎｏｃｉ．ｘＣａｅｏｉａｉｔＳｐｐｒＶｃｏＭａｈｎｓＴｈｏｔｃｉｅ：ＬａｎｎｉｎｅｅａｔＦａｕｅ［］ｎ：ｒｃｅｉｇｆＥｒｐａｅｒｉｇｗｔＭａｙＲｌｎｅｔｒｓＣ．ＰｏｅｄｎｓｏｕｏｅｎｈｖＩＣｎｅｅｃｏＭａｈｎＥａｉｇ，９８ｏｆｒｎｅｎｃｉｅｅｍｎ１９２Ｔｈｒｔｎｏｃｉ．ｋｎｌｒｅｃｌＳ．ｏｓｅＪａｈｍｓＭａｉｇａｇ－ｓａｅＶＭｌａｉｇｌｃｉａ．ｎ：ｅｍ１ｐａｔ１ＩＢ１ｃＳｈｌｏｆＣＪＣｒｇｓＡＳｌｄ．ｖｎｅｉｒｅＭｅｈｄ—ｃｓｋｐ，Ｂａｅ，ＪｍｏａｅｓＡｄａｃｓｎＫｅｎｌｔｏｓＳｐｒｃｏｅｒｉｇ，Ｔｅｓ１９１９８ｕｐｏｔＶｅｔｒＬａｎＭＩＰｒｓ，９９：６～１４ｎ３ＢＥｓｒ．．ＢｏｅＩＭＧｕｏＶＮｙｎ．ＶａｎｋＡｔａｎｎｌｏｔｍｏｏｔｍａｐｉ．ｒｉｉｇａｇｒｈｆｒｐｉｌｉｍｒｉｌｓｉｅｓ］ｎＤＨａｓｌｒｅｓｒｃｅｉｇｏｈｔｎｕｌａｇｎｃａｓｉｒ［．：ｕｓｅｄ．ｏｅｄｎｆｔｅ５ｈＡｎａｆＣＩＰＡＣＭＷｏｋｈｐｏｍｐｔｔｏａＥａｉｇＴｈｏｙＡＣＭｅｓ１９ｒｓｏｎＣｏｕａｉｎｌｅｍｎｅｒＰｒｓ，９２：，，１４５４～１２４ｏｅ，ｐｉ．ｕｐｒｖｃｏｅｗｒｓ１ｃｉｅＬａｎｎ，９５．ＣｒｓＶＶａｎｋＳｐｏｅｔｎｔｏｋｌ．ｈｎｅｒｉｇ１９；ＣｔｔｒＭａＪ２２３２７０：７～９５Ｈｕｎ．ｕｈｒｏｌｅｒｐｏｒｍｎ［］ｎ：ｒｃｅｉｇｆ２ｄ．ＫｈＡＴｃｅ．ｎｉａｒｇａｍｉｇＣ．ＰｏｅｄｎｓｏｎＮｎＩＢｒｌｙＳｍｐｓｕｅｋｅｙｏｉｍｏＭａｈｍａｉａＳａｉｔｓｎＰｏｂｌｓｉｓ，ｎｔｅｔｌｔｔｉａｄｒｂａｉｉｔｃｓｃｃ６結(jié)論在文本自動(dòng)分類巾．本分類通常采用向量空間模型將文文本表示成空間巾的向量。向最空『的維數(shù)為詞的總數(shù)，維對(duì)口】每應(yīng)一個(gè)詞．量的維數(shù)很高，一篇文章中出現(xiàn)的詞占總詞數(shù)向而巾的詞比例很低，這樣導(dǎo)致文本ｒ量是一種極度稀疏的向量，口】向茸葉很多維的權(quán)值用０表示。侄計(jì)算向量的內(nèi)積時(shí)，有兩１只兩向量不為０的乘積才有非０值。此，用Ｓ使ＭＯ這樣的兩點(diǎn)ＵｎｖｒｉｆＣａｉｏａｒｓ１５１ｉｅｓｔｏｌｍｉＰｅｓ，ｙｆ９６．ＰａｔＦａｔｒｉｎｏｓｐｒｖｃｏｍａｈｎｓｕｉｇｅｅｔａＪｌｔ．ｓｔａｎｉｇｆｕｐｏｔｅｔｒｃｉｅｓｎｓｑｕｎｉｌｍｉｉｌｏｔｉｔｎＣ．Ｂｃｏｋｐ．ｕｇｓＡＳｌｄ．ｄｎｍａｐｉｚｉ［］ｎ：ＳｈｌｏｆＣＢｒｅ，ｍｏａｅｓ—ｍａｏＩＡｖｎｅｎａｃｓｉＫｅｅＭｅｈｄ—ＳｐｒＶｅｔｒＬｅｒｉｇ，Ｔｒｓ１９ｎｒｌｔｏｓｕｐｏｃｏａｎｎＭＩＰｅｓ，９８ｔ７ＫＡｓＬＥｋｉＴｘａｇｒａｉｎａｓｉｅ［］ｅｈｌａｒｐｒ，ｏ—．ａ．ｉｖ．ｅｔｃｔｏｉｔ：ｕｙＲＴｃ，ｃｌｅｏＮｒｌｅｚｏｗｉｔｗｅｉｎｇａＣｏｕｉｇｍｐｔＣｅｔｒ１９９Ｏｎｎｅ．９一６８史忠植知識(shí)發(fā)現(xiàn)Ｉ＿華大學(xué)出版社，０２．Ｍｌ清２０（接６上７頁）引入的背景顏色這種情況可能存Ｂｙｓｍａｔｇ巾發(fā)生，為ａｅｔｎｉ因通過與當(dāng)前交互式分割算法的對(duì)比可以看出Ｇａｕ分割算ｒｂｃｔ法有較強(qiáng)的優(yōu)勢(shì)。筆者結(jié)合自己的研究課題，該分割算法應(yīng)將用到了醫(yī)學(xué)圖像器官分割巾．到了較好的實(shí)際效果。得（稿日期：０５年ｌ月）收２０１采用的概率函數(shù)斌圖取消背景影響，但是做的又不夠準(zhǔn)確，就現(xiàn)為前景顏色的流失。這里通過從前景７里取像素來避免１ｆ這種情況。首先采用Ｂｙｓｍａｉｇ法獲得像素ｎｎ∈Ｔ）ａｅｔｎ算ｔ（ｆ的前景顏色估計(jì)。然后在鄰域素來形成前景顏色。里面找到與．顏色相近的像參考文獻(xiàn)１Ｒｚｎ，ｏｓＣＡｐａｅｔｍｔｎｎｎｔｒｌｍａｅ［，Ｐｏ．ｕｏＭＴｍａｉｌｈｓｎｉｉａｕａｉｏｉｇｓＣ］ｎ：ｒ（Ｉ：１ＥＣｎｍｐＥＥｏｆＣｏＶｉｉｎｎＰｔｒＲｅｏｎｔｎ，００ｓｏａｄａｔｎｅｃｇｉｏ２０ｉ２．ａｓｅＲｏｈｒＶｌｄｍｉＣｒｔｎｔｅ．ａｉｒＫｏｍｏｏｏＡｎｒｓＢｌｋ“ａｃｔ一ｎｅ—ｌｇｒｖ，ｄｅａｅＧｒｂｕ”ｉｔｒ圈盈（）部橫切網(wǎng)ａ頭（）室的分ｂ腦割結(jié)果圖５Ｇａｕ醫(yī)學(xué)圖像分割結(jié)果