支持向量回歸機(jī)

1、支持向量回歸機(jī)SVM本身是針對(duì)經(jīng)典的二分類問(wèn)題提出的，支持向量回歸機(jī)（Support Vector Regression, SVR）是支持向量在函數(shù)回歸領(lǐng)域的應(yīng)用。SVR與SVM分類有以 下不同：SVM回歸的樣本點(diǎn)只有一類，所尋求的最優(yōu)超平面不是使兩類樣本點(diǎn) 分得“最開”，而是使所有樣本點(diǎn)離超平面的“總偏差”最小。這時(shí)樣本點(diǎn)都在 兩條邊界線之間，求最優(yōu)回歸超平面同樣等價(jià)于求最大間隔。3.3.1 SVR基本模型對(duì)于線性情況，支持向量機(jī)函數(shù)擬合首先考慮用線性回歸函數(shù) /（x）=刃x + Z?擬合（為,尤）,，=1,2,., ,項(xiàng)eR"為輸入量,y.eR為輸出量,即 需要確定co和h 07

2、 = ® 夕+ £v4、cJ二B 折入c-y J5) = max 。,1-砌-e0X圖3-3a SVR結(jié)構(gòu)圖圖3-3b£不靈敏度函數(shù)懲罰函數(shù)是學(xué)習(xí)模型在學(xué)習(xí)過(guò)程中對(duì)誤差的一種度量，一般在模型學(xué)習(xí)前己 經(jīng)選定，不同的學(xué)習(xí)問(wèn)題對(duì)應(yīng)的損失函數(shù)一般也不同，同一學(xué)習(xí)問(wèn)題選取不同的 損失函數(shù)得到的模型也不一樣。常用的懲罰函數(shù)形式及密度函數(shù)如表3-1。表37常用的損失函數(shù)和相應(yīng)的密度函數(shù)損失函數(shù)名稱損失函數(shù)表達(dá)式六噪聲密度（。）S 不敏感2（l + e 嚴(yán)（?。├绽雇籩xp（一圖）高斯2S在exP（ ' ）魯棒損失（第2, if圖Wb；-, otherwise;

3、«2exp（一看），V 圉exp（- 圖）,otherwise 2多項(xiàng)式P-exp（一圖。）分段多項(xiàng)式<3陽(yáng)了圉“b圖- b , othenvise P<exP（ p，p-J，"圉exp（cr -圖）,otherwise標(biāo)準(zhǔn)支持向量機(jī)采用£-不靈敏度函數(shù)，即假設(shè)所有訓(xùn)練數(shù)據(jù)在精度£下用線 性函數(shù)擬合如圖（3-3a）所示，»一/（蒼）。+芻 /（x.）-yr.+/ = 1,2，,n（）4，心。式中，4E；是松弛因子，當(dāng)劃分有誤差時(shí)，勺。都大于。，誤差不存在取0。 這時(shí)，該問(wèn)題轉(zhuǎn)化為求優(yōu)化目標(biāo)函數(shù)最小化問(wèn)題：1 2 /-式（）中第一項(xiàng)使

4、擬合函數(shù)更為平坦，從而提高泛化能力；第二項(xiàng)為減小誤差； 常數(shù)C>0表示對(duì)超出誤差£的樣本的懲罰程度。求解式（）和式O可看出， 這是一個(gè)凸二次優(yōu)化問(wèn)題，所以引入Lagrange函數(shù)：L = 1 e g + C £ © + $；） - £ q 七 + £ - y, + ）2r-lr-1（）-Z a；信；+£-£ + /（E ）1 - £（" + 4"；）/-IJ-l式中，a , a：20,無(wú)，7；之0，為L(zhǎng)agnmge乘數(shù)，j = 1,2,，"。求函數(shù)L對(duì)公， b，,，彳的最小化，對(duì)

5、區(qū), a；,九，y；的最大化，代入Lagrange函數(shù)得到對(duì) 偶形式，最大化函數(shù)：1 nW(a.a) = -工(4-；)(4-&；)(% 乙)2 /-ij-inn+Z(aM)F-Z(a，+a；)£>-i/-I其約束條件為:OWq,a； < CC怎么來(lái)的()求解式（）、O式其實(shí)也是一個(gè)求解二次規(guī)劃問(wèn)題，由Kuhn-Tucker定理，在鞍點(diǎn)處有:aj£ + 芻- X + /5)=0H + /(% )11%=。 7；=。一個(gè)點(diǎn)不能同時(shí) 兩個(gè)等式都滿足()得出aa； = 0 ,表明a ,夕；不能同時(shí)為零，還可以得出:()（C-a,）=O 怎么得到的 （C 。；）

6、昂=（從式（）可得出，當(dāng)生=C，或。；=。時(shí)，|/（七）-川可能大于£，與其對(duì) 應(yīng)的士稱為邊界支持向量（Boundary Support Vector, BSV）,對(duì)應(yīng)圖3-3a中虛 線帶以外的點(diǎn)；當(dāng)a；e（0,C）時(shí)，|/（七）一卬=£,即4=0，£=0,與其對(duì)應(yīng) 的士稱為標(biāo)準(zhǔn)支持向量（Normal Support Vector, NSV）,對(duì)應(yīng)圖3-3a中落在£管 道上的數(shù)據(jù)點(diǎn)；當(dāng)q=0，a：=0時(shí)，與其對(duì)應(yīng)的此為汴支持向量，對(duì)應(yīng)圖3-3a 中£管道內(nèi)的點(diǎn)，它們對(duì)w沒(méi)有貢獻(xiàn)。因此£越大，支持向量數(shù)越少。對(duì)于標(biāo)準(zhǔn) 支持向量，如果0&

7、lt;%<C（a；=0）,此時(shí)。=0，由式（）可以求出參數(shù)方：I=£- E （%一%" V xfeSV同樣，對(duì)于滿足0<a： <C（q =0）的標(biāo)準(zhǔn)支持向量，有b = y£ （aj-a；）Xj%-8XjSV一般對(duì)所有標(biāo)準(zhǔn)支持向量分別計(jì)算的值，然后求平均值，即二白 Z 出一 Z (勺-W)K(XjM)-可NSV o<a;<c x,eSV+ ZZ (%.-a；)K(Xj,4)-£o<a/<cXjesv()因此根據(jù)樣本點(diǎn)（知y ）求得的線性擬合函數(shù)為/(x) = 0-x + Z? = Z(/ 一%，)玉x + 少()非

8、線性SVR的基本思想是通過(guò)事先確定的非線性映射將輸入向量映射的一 個(gè)高維特征空間（Hilbert空間）中，然后在此高維空間中再進(jìn)行線性回歸，從而 取得在原空間非線性回歸的效果。 與之前有的解釋不一樣首先將輸入量X通過(guò)映射：R” -> H映射到高維特征空間H中川函數(shù)式變?yōu)?W（a.a） = - Z（4-。；）（%-。；）（以再）（馬） 2 r-lj-l與對(duì)應(yīng)+Z(«-a；)'r-Z(%+a；)£i-ii-i()式（）中涉及到高維特征空間點(diǎn)積運(yùn)算（勺），而且函數(shù)是未知的，高 維的。支持向量機(jī)理論只考慮高維特征空間的點(diǎn)積運(yùn)算K5'）=（七）.）， 而不直接使

9、用函數(shù)。稱KQ，J）為核函數(shù)，核函數(shù)的選取應(yīng)使其為高維特征空間的一個(gè)點(diǎn)積，核函數(shù)的類型有多種，常用的核函數(shù)有: 多項(xiàng)式核：女(x,x)=X,X+ d)。，p c N,d A4； 一加廿.|x-x |-同 斯核：k(x,x ) = exp(-J-)；2b.A.|x-x IIRBF 核：k(x,x) = exp(-J)；2bB 樣條核：k(x, xj = B2V+1 (卜-xj|)；1sin(N + -)(K7)Fourier 核：k(x,x) =；sin (x-x)因此式O變成支持向量機(jī)的核心要點(diǎn)說(shuō)明為什么，其次講一下為什么 引入核函數(shù)1W(a.a) = - Z (qa；)(2ja；),K(x,

10、xJ2 r-l.j-lnn()+E3 - a；)X - za + a；)5Z-l可求的非線性擬合函數(shù)的表示式為：在變換過(guò)后的空間中的表/(x) = co-(x) + h 小式=之(4 -a；)K(x,%) + b ()3.3.2結(jié)構(gòu)改進(jìn)的支持向量回歸機(jī)上節(jié)所述的SVR基本模型其優(yōu)化目標(biāo)為:前半部分怎么解釋，分類的時(shí)候好解釋，回歸的時(shí)候呢min()s.t. yi -w(Xj)-b< £ + . w</>(xi) + b-yi <£ + * C。SVR結(jié)構(gòu)改進(jìn)算法一般在優(yōu)化目標(biāo)中增加函數(shù)項(xiàng)，變量或系數(shù)等方法使公 式變形，產(chǎn)生出各種有某一方面優(yōu)勢(shì)或者一定應(yīng)

11、用范圍的算法。Suykens提出了最小二乘支持向量機(jī)(LS-SVM) ”蛇，與標(biāo)準(zhǔn)SVM相比其 優(yōu)化指標(biāo)采用了平方項(xiàng)，從而將不等式約束轉(zhuǎn)變成等式約束，將二次規(guī)劃問(wèn)題轉(zhuǎn) 化成了線性方程組的求解，其優(yōu)化目標(biāo)為：麒+9玄空Z(yǔ) Z i = 12 JLS-SVM與標(biāo)準(zhǔn)SVM相比減少了一個(gè)調(diào)整參數(shù)，減少了/個(gè)優(yōu)化變量，從 而簡(jiǎn)化了計(jì)算復(fù)雜性。然而LS-SVM沒(méi)有保留解的稀疏性。改進(jìn)的最小二乘支 持向量機(jī)有：遞推最小二乘支持向量機(jī)”阿、加權(quán)最小二乘支持向量機(jī)“071、多分 辨率LS-SVM”叫及正則化最小二乘方法【附等。Scholkoph等提出的y-SVM方法口叫 引入反映超出£管道之外樣本數(shù)據(jù)點(diǎn)

12、 (即邊界支持向量數(shù)量)和支持向量數(shù)的新參數(shù)y,從而簡(jiǎn)化SVM的參數(shù)調(diào)節(jié)。 其優(yōu)化目標(biāo)為：L-而 卜+ C迎+護(hù)&:+二) 。方421/s.t. yi _0-。(2)/7 « £ + 4<6y°(xj + b 上 W£()於° 六0i = l,2,/八，表示邊界支持向量機(jī)的上限和支持向量機(jī)的下限。與標(biāo)準(zhǔn)支持向量機(jī)相比優(yōu) 化求解過(guò)程不需要設(shè)定£值。標(biāo)準(zhǔn)SVM方法中，引入懲罰系數(shù)。實(shí)行對(duì)超出£-帶數(shù)據(jù)點(diǎn)的懲罰。在實(shí)際 問(wèn)題中，某些重要樣本數(shù)據(jù)點(diǎn)要求小的訓(xùn)練誤差，有些樣本數(shù)據(jù)點(diǎn)對(duì)誤差的要求 不是很高。因此，在優(yōu)化問(wèn)題

13、描述時(shí)，對(duì)每個(gè)樣本點(diǎn)應(yīng)采用不同的懲罰系數(shù)C， 或?qū)τ诿總€(gè)樣本數(shù)據(jù)點(diǎn)應(yīng)采用不同的£-不敏感函數(shù)，使回歸建模更加準(zhǔn)確，這 一類結(jié)構(gòu)變化的支持向量機(jī)通常稱為加權(quán)支持向量機(jī)(WSVM)加權(quán)支持向量機(jī)可以通過(guò)對(duì)懲罰系數(shù)C加權(quán)實(shí)現(xiàn)，也可以通過(guò)對(duì)£加權(quán)實(shí)現(xiàn)。通過(guò)對(duì)參數(shù) C加權(quán)實(shí)現(xiàn)時(shí)，其優(yōu)化目標(biāo)為：/嗯如+匹鼠/")“4力 2(.1<皿.迎(再) + -，<£ + ,(3.26a)yi-co(/>(xi)-b<£ + 通過(guò)對(duì)£加權(quán)實(shí)現(xiàn)時(shí)，其優(yōu)化目標(biāo)為：，啖；h2+c£©+£)< s.t. y

14、卬。(七)一/?4多+ A()卬0(%)+ _£ <4+或gOgNO i = 12 IFriess等提出了一種針對(duì)分類問(wèn)題的SVM變形算法-BSVM算法“皿。與標(biāo)準(zhǔn)SVM相比，BSVM的優(yōu)化目標(biāo)多一項(xiàng)，而約束條件少一項(xiàng)等式約束，變?yōu)檫?界約束條件下的二次規(guī)劃問(wèn)題，適合迭代求解。同時(shí)可以應(yīng)用矩陣分解技術(shù)，每 次只需更新Lagrange乘子的一個(gè)分量，從而不需要將所有樣本載入內(nèi)存，提高 了收斂速度。BSVM算法應(yīng)用于回歸分析，其優(yōu)化目標(biāo)為：MEs.t.1114。+于+»©+切y _。(玉)一4£ + 芻心0()i = l,2,，/標(biāo)準(zhǔn)SVM回歸算法都是

15、把問(wèn)題轉(zhuǎn)化為求解凸二次規(guī)劃。Kecman和HadzicW3 提出用乙范數(shù)替代L2范數(shù)，從而通過(guò)改造用線性規(guī)劃（LP）代替凸二次規(guī)劃， 以便于利用非常成熟的線性規(guī)劃技術(shù)求解回歸支持向量機(jī)。由最優(yōu)化理論， 也占點(diǎn)-.，據(jù)此考慮把原始目標(biāo)函數(shù)的模間、用/,模/- -W1=£（kl+WI）替換。則4模可以改寫為：|叫=亡（+4用|叫代替 r-1r-1原目標(biāo)函數(shù)中的卜|;將6y代入原約束條件；增加約束之0,i = 1,2,，可 得：/噌£（/+*）+彳£©+.）七力I/ ,_】/"z（區(qū) a；）（X.-X.） + /?-y « 5 +。,r-1

16、（）/X - Z（6一 a：）a .- b W £ + 彳 /-2門靖吃0, i = l,2,/針對(duì)實(shí)際問(wèn)題的特殊性，有時(shí)可以選擇其他形式的更適宜的懲罰函數(shù)。懲罰 帶為任意形式的支持向量回歸機(jī)“川，通過(guò)定義推廣的£-不敏感損失函數(shù):y - /(a) - %*),y-f(x)> 藥(x)；c(x, y,f(x) = < 0,%(X)之 y-f(x) > -%(%)；|y- fM-% (x),y-f(x) <-£< (x);其中g(shù)(x),g.(x):/f采用推廣的£-不敏感損失函數(shù)構(gòu)造v-SVR問(wèn)題，將原始最優(yōu)化問(wèn)題轉(zhuǎn)化為：您力

17、撐6+可)+。14 4 +咋夕+若© +5)< s.t.0* +/?一£. «£g(xj +。()再q與"/(xJ + J：5mo, i=i,2,/懲罰帶為任意形式的支持向量回歸機(jī)包含了針對(duì)懲罰函數(shù)改進(jìn)SVR結(jié)構(gòu)的 所有模型。此外，還有模糊支持向量回歸機(jī)(FSVR) a】、拉格朗日支持向量機(jī)(LSVR) ”習(xí)等。333 SVM參數(shù)優(yōu)化方法研究支持向量機(jī)的性能取決于超參數(shù)C、£、核函數(shù)類型及核參數(shù)。核函數(shù)類型 的選擇與所應(yīng)用的領(lǐng)域有關(guān)，核函數(shù)特性的不同決定建立的模型也具有不同的特 性，對(duì)于靜態(tài)軟測(cè)量建模，一般采用rbf核函數(shù)，因?yàn)?/p>

18、其跟蹤性能較好且沒(méi)有記 憶性，符合靜態(tài)建模的特點(diǎn)。核參數(shù)反映了訓(xùn)練數(shù)據(jù)的范圍或分布，它對(duì)模型的 預(yù)測(cè)效果影響較大；調(diào)整因子C是模型復(fù)雜度和推廣能力的折中，它決定了對(duì) 損失大于，的樣本的懲罰程度，當(dāng)。-8時(shí):模型優(yōu)化目標(biāo)退化為經(jīng)驗(yàn)風(fēng)險(xiǎn)最小 化，C過(guò)小，使經(jīng)驗(yàn)風(fēng)險(xiǎn)所占比重太少，模型結(jié)構(gòu)復(fù)雜度下降，但訓(xùn)練誤差可能 超出接受范圍；，不靈敏函數(shù)是SVR的后要特征，它決定了支持向量的數(shù)目， 保證了解的稀疏性，是模型推廣性能的象征，但是太平滑的估計(jì)乂會(huì)降低模型的 精度。目前沒(méi)有一個(gè)理論的方法來(lái)設(shè)計(jì)SVR的參數(shù)，現(xiàn)有的軟件都是基于建模 者的經(jīng)驗(yàn)在建模之前設(shè)定。常用的設(shè)定SVR參數(shù)的方法主要有以下幾種：1)交叉檢驗(yàn)法交叉檢驗(yàn)法是用的最多的一種參數(shù)選擇方法，其基本思想是將樣本集分為訓(xùn) 練集、檢驗(yàn)集和測(cè)試集，選擇若干組模型參數(shù)，用訓(xùn)練集推導(dǎo)模型系數(shù)，選擇其 中使檢驗(yàn)集誤差測(cè)度最好的參數(shù)用于測(cè)試集。根據(jù)樣本集的長(zhǎng)度，可以設(shè)定交叉 檢驗(yàn)的次數(shù)。2）經(jīng)驗(yàn)選擇法經(jīng)驗(yàn)選擇就是根據(jù)建模者的經(jīng)驗(yàn)在建模之前選擇參數(shù)。Vladimir等提出了一 種根據(jù)訓(xùn)練集數(shù)據(jù)特性選擇模型參數(shù)的方法叫 其中C = ma