SVM分類器原理[分享借鑒]

1、SVM分類器原理SVM定義n SVM是一種基于統(tǒng)計(jì)學(xué)習(xí)理論的機(jī)器學(xué)習(xí)方法，它是由Boser,Guyon, Vapnik在COLT-92上首次提出，從此迅速發(fā)展起來。n Vapnik V N. 1995. The Nature of Statistical Learning Theory. Springer-Verlag, New York. n Vapnik V N. 1998. Statistical Learning Theory. Wiley-Interscience Publication, John Wiley&Sons, Inc.n SVM在解決小樣本、非線性及高維模式識(shí)別問題中表

2、現(xiàn)出許多特有的優(yōu)勢(shì)，并能夠推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問題中.目前已經(jīng)在許多智能信息獲取與處理領(lǐng)域都取得了成功的應(yīng)用。SVM方法的特點(diǎn)n SVM 的最終決策函數(shù)只由少數(shù)的支持向量所確定,計(jì)算的復(fù)雜性取決于支持向量的數(shù)目,而不是樣本空間的維數(shù),這在某種意義上避免了“維數(shù)災(zāi)難”。n 少數(shù)支持向量決定了最終結(jié)果,這不但可以幫助我們抓住關(guān)鍵樣本、“剔除”大量冗余樣本,而且注定了該方法不但算法簡(jiǎn)單,而且具有較好的“魯棒”性。這種“魯棒”性主要體現(xiàn)在:q 增、刪非支持向量樣本對(duì)模型沒有影響;q 支持向量樣本集具有一定的魯棒性;q 有些成功的應(yīng)用中,SVM 方法對(duì)核的選取不敏感。SVM 應(yīng)用n 近年來S

3、VM 方法已經(jīng)在圖像識(shí)別、信號(hào)處理和基因圖譜識(shí)別等方面得到了成功的應(yīng)用,顯示了它的優(yōu)勢(shì)。n SVM 通過核函數(shù)實(shí)現(xiàn)到高維空間的非線性映射,所以適合于解決本質(zhì)上非線性的分類、回歸和密度函數(shù)估計(jì)等問題。n 支持向量方法也為樣本分析、因子篩選、信息壓縮、知識(shí)挖掘和數(shù)據(jù)修復(fù)等提供了新工具。 SVM訓(xùn)練算法n 傳統(tǒng)的利用標(biāo)準(zhǔn)二次型優(yōu)化技術(shù)解決對(duì)偶問題的方法,是SVM訓(xùn)練算法慢及受到訓(xùn)練樣本集規(guī)模制約的主要原因。n 目前已提出了許多解決方法和改進(jìn)算法,主要是從如何處理大規(guī)模樣本集的訓(xùn)練問題、提高訓(xùn)練算法收斂速度等方面改進(jìn)。n 主要有：分解方法、修改優(yōu)化問題法、增量學(xué)習(xí)法、幾何方法等分別討論。 SVM分類算

4、法n 訓(xùn)練好SVM分類器后,得到的支持向量被用來構(gòu)成決策分類面。對(duì)于大規(guī)模樣本集問題,SVM訓(xùn)練得到的支持向量數(shù)目很大,則進(jìn)行分類決策時(shí)的計(jì)算代價(jià)就是一個(gè)值得考慮的問題。n 解決方法如：縮減集(Reduced Set) SVM方法，采用縮減集代替支持向量集,縮減集中的向量不是支持向量,數(shù)目比支持向量少,但它們?cè)诜诸悰Q策函數(shù)中的形式與支持向量相同。 多類SVM算法n SVM本質(zhì)上是兩類分類器.n 常用的SVM多值分類器構(gòu)造方法有: SVM方法的特點(diǎn)n 非線性映射是SVM方法的理論基礎(chǔ),SVM利用內(nèi)積核函數(shù)代替向高維空間的非線性映射;n 對(duì)特征空間劃分的最優(yōu)超平面是SVM的目標(biāo),最大化分類邊際的思

5、想是SVM方法的核心;n 支持向量是SVM的訓(xùn)練結(jié)果,在SVM分類決策中起決定作用的是支持向量。n SVM 是一種有堅(jiān)實(shí)理論基礎(chǔ)的新穎的小樣本學(xué)習(xí)方法。它基本上不涉及概率測(cè)度及大數(shù)定律等,因此不同于現(xiàn)有的統(tǒng)計(jì)方法。從本質(zhì)上看,它避開了從歸納到演繹的傳統(tǒng)過程,實(shí)現(xiàn)了高效的從訓(xùn)練樣本到預(yù)報(bào)樣本的“轉(zhuǎn)導(dǎo)推理”(transductive inference) ,大大簡(jiǎn)化了通常的分類和回歸等問題。支持向量機(jī)分類器實(shí)現(xiàn)步驟程序（訓(xùn)練 svmtrain_test）clear all;patternNum=50;classnum=0;load templet;for i=1:10 for j=1:i-1 x=

6、pattern(i).feature(:,1:patternNum) pattern(j).feature(:,1:patternNum); y=ones(1,patternNum*2); y(patternNum+1:patternNum*2)=-1; % = kernel function:polynomial,linear,quadratic,fbf,mlp = svmStruct(i,j)=svmtrain(x,y,Kernel_Function,polynomial); endendsave svmStruct svmStruct;msgbox(end of training!);樣本分類程序clear all;load templet;sample=pattern(9).feature(:,73);load svmStruct svmStruct;num=zeros(1,10);for i=1:10 for j=1:i-1 G=svmclassify(svmStruct(i,j),sample); if (G=1) num(i)