基于SVM的信息融合新方法

基于SVM的信息融合新方法

摘要：利用SVM對(duì)大規(guī)模數(shù)據(jù)進(jìn)行訓(xùn)練時(shí)，需要占用很大的內(nèi)存空間，甚至?xí)騼?nèi)存不夠而無(wú)法訓(xùn)練。為此，提出了將大規(guī)模數(shù)據(jù)分塊求解，然后將分塊求解的結(jié)果進(jìn)行信息融合的新方法。首先訓(xùn)練得到各模塊的支持向量，將所有支持向量進(jìn)行融合，得到?jīng)Q策模型和一組支持向量。當(dāng)有新的數(shù)據(jù)加入時(shí)，將其作為一個(gè)子模塊，訓(xùn)練得到該模塊的支持向量，與原模型中獲得的支持向量進(jìn)行融合，訓(xùn)練得到新的決策模型。利用KDDCUP99數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，結(jié)果表明該方法的測(cè)試精度與在所有數(shù)據(jù)集上訓(xùn)練的精度相當(dāng)，花費(fèi)時(shí)間少，適用于增量學(xué)習(xí)。

關(guān)鍵詞：支持向量機(jī)；信息融合；增量學(xué)習(xí)

SVM[1，2]是最近發(fā)展起來(lái)的一種分類(lèi)方法。它基于統(tǒng)計(jì)學(xué)習(xí)理論，根據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，在經(jīng)驗(yàn)風(fēng)險(xiǎn)和模型的復(fù)雜度之間折中，有較強(qiáng)的泛化能力，且具有全局最優(yōu)、與維數(shù)無(wú)關(guān)等特性。當(dāng)數(shù)據(jù)線性不可分時(shí)，通過(guò)核函數(shù)，將數(shù)據(jù)映射到高維特征空間，使得數(shù)據(jù)線性可分。它本質(zhì)上是一個(gè)凸二次規(guī)劃問(wèn)題，當(dāng)訓(xùn)練規(guī)模很大時(shí)，求解此最優(yōu)化問(wèn)題要占用很大的內(nèi)存空間，會(huì)因內(nèi)存空間不夠而導(dǎo)致無(wú)法訓(xùn)練。解決此類(lèi)問(wèn)題的有效方法是將大規(guī)模數(shù)據(jù)進(jìn)行分塊，然后將各模塊的信息進(jìn)行融合，從而得到最終結(jié)果。

信息融合又稱(chēng)數(shù)據(jù)融合，是利用計(jì)算機(jī)技術(shù)對(duì)獲得的若干節(jié)點(diǎn)的觀測(cè)信息在一定準(zhǔn)則下加以自動(dòng)分析、綜合以完成所需的決策和估計(jì)任務(wù)而進(jìn)行的信息處理過(guò)程。文獻(xiàn)提出了用神經(jīng)網(wǎng)絡(luò)的方法來(lái)實(shí)現(xiàn)信息融合，在預(yù)測(cè)精度上獲得較好的效果。SVM是繼神經(jīng)網(wǎng)絡(luò)后，分類(lèi)性能較好的一種技術(shù)。它在信息融合領(lǐng)域也逐漸得到應(yīng)用，文獻(xiàn)[5~7]提出了多種基于SVM的信息融合方法，用各模塊訓(xùn)練得到的模型對(duì)測(cè)試集進(jìn)行判別，然后融合各模型的判別結(jié)果。但這些方法不適合增量學(xué)習(xí)。當(dāng)有新的數(shù)據(jù)源加入時(shí)，融合模塊需重新執(zhí)行。

決策輸出融合方法和投票數(shù)融合方法用各模塊訓(xùn)練得到的分類(lèi)器對(duì)測(cè)試集進(jìn)行判別，再根據(jù)判別結(jié)果進(jìn)行融合，分類(lèi)精度上不如后兩種方法，所花費(fèi)的時(shí)間也較多。而且這兩種方法在增量學(xué)習(xí)中要對(duì)信息融合模塊重新處理，不能有效利用已有的信息。

對(duì)支持向量直接融合的方法在精度、漏報(bào)率和誤報(bào)率上均與在所有數(shù)據(jù)集上得到的結(jié)果相接近。說(shuō)明在分類(lèi)中起作用的只是其中占少數(shù)的支持向量，如表3所示。每個(gè)模塊得到的支持向量是很少的，大約占%。所以信息融合模塊的規(guī)模相對(duì)較小，花費(fèi)時(shí)間少。本文提出的方法預(yù)測(cè)精度甚至超過(guò)了對(duì)所有支持向量融合的結(jié)果，與在所有數(shù)據(jù)集上得到的結(jié)果最接近。說(shuō)明本文方法在增量式學(xué)習(xí)中是有效的，具有較好的泛化能力。

4結(jié)束語(yǔ)

隨著網(wǎng)絡(luò)和數(shù)據(jù)庫(kù)技術(shù)的發(fā)展，對(duì)大規(guī)模數(shù)據(jù)處理的要求會(huì)越來(lái)越高。本文在研究了現(xiàn)有的基于SVM的信息融合方法的基礎(chǔ)上，提出了一種新的基于SVM融合的模型。通過(guò)實(shí)驗(yàn)表明，這種方法在入侵檢測(cè)問(wèn)題中得到了較高的分類(lèi)精度，與在所有數(shù)據(jù)或所有支持向量上預(yù)測(cè)得到的精度相當(dāng)，而且與其他信息融合方法相比，能利用已經(jīng)融合的信息，進(jìn)行增量式學(xué)習(xí)。但如何使數(shù)據(jù)分解后仍保證它的全局最優(yōu)及如何推廣到分布式應(yīng)用仍有待解決。

參考文獻(xiàn)：

[1]VAPIKV.統(tǒng)計(jì)學(xué)習(xí)理論的本質(zhì)[M].張學(xué)工,譯.北京:清華大學(xué)出版社,2000.

BURGESCJC.Atutorialonsupportvectormachinesforpatternrecognition[J].DataMiningandKnowledgeDiscovery,1998,2(2):121-167.

HALLDL,LLINASJ.Anintroductiontomultisensordatafusion[J].ProceedingsofIEEE,1997，85(1):6-23.

WANGMei,HOUYuanbin.Neuralnetworkmodelbasedonanti-errordatafusion[C]//Procofthe4thInternationalConferenceonMachineLearningandCybernetics.[]:IEEEPress,2005:18-21.

YANWeiwu,SHAOHuihe,WANGXiaofan.Paralleldecisionmodelsbasedonsupportvectormachinesandtheirapplicationtodistributedfaultdiagnosis[C]//ProcofAmericanControlConference.Denver:[],2003:1770-1775.

ZHAOShuhe.Remotesensingdatafusionusingsupportvectormachine[C]//Procof2004GeoscienceandRemoteSensing:[],2004:2575-2578.

HUZhonghui,CAIYunze,LIYuangui,etal.Datafusionforfaultdiagnosisusingmulticlasssupportvectormachines[J].JournalofZhejiangUniversityScience,2005,6A(10):1030-1039.

PLATTJC.Fasttrainingofsupportvectormachinesusingsequentialminimaloptimization[C]//ProcofAdvancesinKernelMethods:SupportVectorLearning.Cambridge:MITPress,1999:185-208.

HSUCW,LINCJ.Acomparisonofmethodsformulticlasssupportvectormachines[J].IEEETransactionsonNeuralNetworks,2002,46(13):415-425.

[10][DB/OL].[20