支持向量回歸機(jī)

1、3.3 支持向量回歸機(jī)SVM本身是針對(duì)經(jīng)典的二分類問(wèn)題提出的，支持向量回歸機(jī)（Support Vector Regression，SVR）是支持向量在函數(shù)回歸領(lǐng)域的應(yīng)用。SVR與SVM分類有以下不同：SVM回歸的樣本點(diǎn)只有一類，所尋求的最優(yōu)超平面不是使兩類樣本點(diǎn)分得“最開(kāi)”，而是使所有樣本點(diǎn)離超平面的“總偏差”最小。這時(shí)樣本點(diǎn)都在兩條邊界線之間，求最優(yōu)回歸超平面同樣等價(jià)于求最大間隔。3.3.1 SVR基本模型對(duì)于線性情況，支持向量機(jī)函數(shù)擬合首先考慮用線性回歸函數(shù)擬合，為輸入量，為輸出量，即需要確定和。圖3-3a SVR結(jié)構(gòu)圖 圖3-3b不靈敏度函數(shù)懲罰函數(shù)是學(xué)習(xí)模型在學(xué)習(xí)過(guò)程中對(duì)誤差的一種度量

2、，一般在模型學(xué)習(xí)前己經(jīng)選定，不同的學(xué)習(xí)問(wèn)題對(duì)應(yīng)的損失函數(shù)一般也不同，同一學(xué)習(xí)問(wèn)題選取不同的損失函數(shù)得到的模型也不一樣。常用的懲罰函數(shù)形式及密度函數(shù)如表3-1。表3-1 常用的損失函數(shù)和相應(yīng)的密度函數(shù)損失函數(shù)名稱損失函數(shù)表達(dá)式噪聲密度-不敏感拉普拉斯高斯魯棒損失多項(xiàng)式分段多項(xiàng)式標(biāo)準(zhǔn)支持向量機(jī)采用-不靈敏度函數(shù)，即假設(shè)所有訓(xùn)練數(shù)據(jù)在精度下用線性函數(shù)擬合如圖（3-3a）所示， （3.11）式中，是松弛因子，當(dāng)劃分有誤差時(shí)，都大于0，誤差不存在取0。這時(shí)，該問(wèn)題轉(zhuǎn)化為求優(yōu)化目標(biāo)函數(shù)最小化問(wèn)題： （3.12）式（3.12）中第一項(xiàng)使擬合函數(shù)更為平坦，從而提高泛化能力；第二項(xiàng)為減小誤差；常數(shù)表示對(duì)超出誤差

3、的樣本的懲罰程度。求解式（3.11）和式（3.12）可看出，這是一個(gè)凸二次優(yōu)化問(wèn)題，所以引入Lagrange函數(shù)： （3.13）式中，為L(zhǎng)agrange乘數(shù)，。求函數(shù)對(duì)，的最小化，對(duì)，的最大化，代入Lagrange函數(shù)得到對(duì)偶形式，最大化函數(shù)： （3.14）其約束條件為： （3.15）求解式（3.14）、（3.15）式其實(shí)也是一個(gè)求解二次規(guī)劃問(wèn)題，由Kuhn-Tucker定理，在鞍點(diǎn)處有： （3.16）得出，表明，不能同時(shí)為零，還可以得出： （3.17）從式（3.17）可得出，當(dāng)，或時(shí)，可能大于，與其對(duì)應(yīng)的稱為邊界支持向量（Boundary Support Vector，BSV），對(duì)應(yīng)圖3-3

4、a中虛線帶以外的點(diǎn)；當(dāng)時(shí)，即，與其對(duì)應(yīng)的稱為標(biāo)準(zhǔn)支持向量（Normal Support Vector，NSV），對(duì)應(yīng)圖3-3a中落在管道上的數(shù)據(jù)點(diǎn)；當(dāng)，時(shí)，與其對(duì)應(yīng)的為非支持向量，對(duì)應(yīng)圖3-3a中管道內(nèi)的點(diǎn)，它們對(duì)沒(méi)有貢獻(xiàn)。因此越大，支持向量數(shù)越少。對(duì)于標(biāo)準(zhǔn)支持向量，如果，此時(shí)，由式（3.16）可以求出參數(shù)： 同樣，對(duì)于滿足的標(biāo)準(zhǔn)支持向量，有 一般對(duì)所有標(biāo)準(zhǔn)支持向量分別計(jì)算的值，然后求平均值，即 （3.18）因此根據(jù)樣本點(diǎn)求得的線性擬合函數(shù)為 （3.19）非線性SVR的基本思想是通過(guò)事先確定的非線性映射將輸入向量映射的一個(gè)高維特征空間（Hilbert空間）中，然后在此高維空間中再進(jìn)行線性回歸，

5、從而取得在原空間非線性回歸的效果。首先將輸入量通過(guò)映射映射到高維特征空間中用函數(shù)擬合數(shù)據(jù)，。則二次規(guī)劃目標(biāo)函數(shù)（3.14）式變?yōu)椋?（3.20）式（3.20）中涉及到高維特征空間點(diǎn)積運(yùn)算，而且函數(shù)是未知的，高維的。支持向量機(jī)理論只考慮高維特征空間的點(diǎn)積運(yùn)算，而不直接使用函數(shù)。稱為核函數(shù)，核函數(shù)的選取應(yīng)使其為高維特征空間的一個(gè)點(diǎn)積，核函數(shù)的類型有多種，常用的核函數(shù)有：多項(xiàng)式核：;高斯核：;RBF核：;B樣條核：;Fourier核：;因此式（3.20）變成 （3.21）可求的非線性擬合函數(shù)的表示式為： （3.22）3.3.2 結(jié)構(gòu)改進(jìn)的支持向量回歸機(jī)上節(jié)所述的SVR基本模型其優(yōu)化目標(biāo)為： （3.2

6、3）SVR結(jié)構(gòu)改進(jìn)算法一般在優(yōu)化目標(biāo)中增加函數(shù)項(xiàng)，變量或系數(shù)等方法使公式變形，產(chǎn)生出各種有某一方面優(yōu)勢(shì)或者一定應(yīng)用范圍的算法。Suykens提出了最小二乘支持向量機(jī)（LS-SVM）105，與標(biāo)準(zhǔn)SVM相比其優(yōu)化指標(biāo)采用了平方項(xiàng)，從而將不等式約束轉(zhuǎn)變成等式約束，將二次規(guī)劃問(wèn)題轉(zhuǎn)化成了線性方程組的求解，其優(yōu)化目標(biāo)為： （3.24）LS-SVM與標(biāo)準(zhǔn)SVM相比減少了一個(gè)調(diào)整參數(shù)，減少了個(gè)優(yōu)化變量，從而簡(jiǎn)化了計(jì)算復(fù)雜性。然而LS-SVM沒(méi)有保留解的稀疏性。改進(jìn)的最小二乘支持向量機(jī)有：遞推最小二乘支持向量機(jī)106、加權(quán)最小二乘支持向量機(jī)107、多分辨率LS-SVM108及正則化最小二乘方法109等。Sc

7、hölkoph等提出的-SVM方法110，引入反映超出管道之外樣本數(shù)據(jù)點(diǎn)（即邊界支持向量數(shù)量）和支持向量數(shù)的新參數(shù)，從而簡(jiǎn)化SVM的參數(shù)調(diào)節(jié)。其優(yōu)化目標(biāo)為： （3.25）表示邊界支持向量機(jī)的上限和支持向量機(jī)的下限。與標(biāo)準(zhǔn)支持向量機(jī)相比優(yōu)化求解過(guò)程不需要設(shè)定值。標(biāo)準(zhǔn)SVM方法中，引入懲罰系數(shù)實(shí)行對(duì)超出-帶數(shù)據(jù)點(diǎn)的懲罰。在實(shí)際問(wèn)題中，某些重要樣本數(shù)據(jù)點(diǎn)要求小的訓(xùn)練誤差，有些樣本數(shù)據(jù)點(diǎn)對(duì)誤差的要求不是很高。因此，在優(yōu)化問(wèn)題描述時(shí)，對(duì)每個(gè)樣本點(diǎn)應(yīng)采用不同的懲罰系數(shù)，或?qū)τ诿總€(gè)樣本數(shù)據(jù)點(diǎn)應(yīng)采用不同的-不敏感函數(shù)，使回歸建模更加準(zhǔn)確，這一類結(jié)構(gòu)變化的支持向量機(jī)通常稱為加權(quán)支持向量機(jī)（WSVM）1

8、11，加權(quán)支持向量機(jī)可以通過(guò)對(duì)懲罰系數(shù)加權(quán)實(shí)現(xiàn)，也可以通過(guò)對(duì)加權(quán)實(shí)現(xiàn)。通過(guò)對(duì)參數(shù)C加權(quán)實(shí)現(xiàn)時(shí)，其優(yōu)化目標(biāo)為： （3.26a）通過(guò)對(duì)加權(quán)實(shí)現(xiàn)時(shí)，其優(yōu)化目標(biāo)為： （3.26b）Friess等提出了一種針對(duì)分類問(wèn)題的SVM變形算法-BSVM算法112。與標(biāo)準(zhǔn)SVM相比，BSVM的優(yōu)化目標(biāo)多一項(xiàng)，而約束條件少一項(xiàng)等式約束，變?yōu)檫吔缂s束條件下的二次規(guī)劃問(wèn)題，適合迭代求解。同時(shí)可以應(yīng)用矩陣分解技術(shù)，每次只需更新Lagrange乘子的一個(gè)分量，從而不需要將所有樣本載入內(nèi)存，提高了收斂速度。BSVM算法應(yīng)用于回歸分析，其優(yōu)化目標(biāo)為： （3.27）標(biāo)準(zhǔn)SVM回歸算法都是把問(wèn)題轉(zhuǎn)化為求解凸二次規(guī)劃。Kecman和

9、Hadzic113提出用范數(shù)替代范數(shù)，從而通過(guò)改造用線性規(guī)劃（LP）代替凸二次規(guī)劃，以便于利用非常成熟的線性規(guī)劃技術(shù)求解回歸支持向量機(jī)。由最優(yōu)化理論，據(jù)此考慮把原始目標(biāo)函數(shù)的模用模替換。則?？梢愿膶憺椋?，用代替原目標(biāo)函數(shù)中的；將代入原約束條件；增加約束，可得： （3.28）針對(duì)實(shí)際問(wèn)題的特殊性，有時(shí)可以選擇其他形式的更適宜的懲罰函數(shù)。懲罰帶為任意形式的支持向量回歸機(jī)114，通過(guò)定義推廣的-不敏感損失函數(shù)： 其中，采用推廣的-不敏感損失函數(shù)構(gòu)造-SVR問(wèn)題，將原始最優(yōu)化問(wèn)題轉(zhuǎn)化為： （3.29）懲罰帶為任意形式的支持向量回歸機(jī)包含了針對(duì)懲罰函數(shù)改進(jìn)SVR結(jié)構(gòu)的所有模型。此外，還有模糊支持向量回歸

10、機(jī)（FSVR）59、拉格朗日支持向量機(jī)（LSVR）115等。3.3.3 SVM參數(shù)優(yōu)化方法研究支持向量機(jī)的性能取決于超參數(shù)C、核函數(shù)類型及核參數(shù)。核函數(shù)類型的選擇與所應(yīng)用的領(lǐng)域有關(guān)，核函數(shù)特性的不同決定建立的模型也具有不同的特性，對(duì)于靜態(tài)軟測(cè)量建模，一般采用rbf核函數(shù)，因?yàn)槠涓櫺阅茌^好且沒(méi)有記憶性，符合靜態(tài)建模的特點(diǎn)。核參數(shù)反映了訓(xùn)練數(shù)據(jù)的范圍或分布，它對(duì)模型的預(yù)測(cè)效果影響較大；調(diào)整因子C是模型復(fù)雜度和推廣能力的折中，它決定了對(duì)損失大于的樣本的懲罰程度，當(dāng)時(shí)，模型優(yōu)化目標(biāo)退化為經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化，C過(guò)小，使經(jīng)驗(yàn)風(fēng)險(xiǎn)所占比重太少，模型結(jié)構(gòu)復(fù)雜度下降，但訓(xùn)練誤差可能超出接受范圍；不靈敏函數(shù)是SVR

11、的重要特征，它決定了支持向量的數(shù)目，保證了解的稀疏性，是模型推廣性能的象征，但是太平滑的估計(jì)又會(huì)降低模型的精度。目前沒(méi)有一個(gè)理論的方法來(lái)設(shè)計(jì)SVR的參數(shù)，現(xiàn)有的軟件都是基于建模者的經(jīng)驗(yàn)在建模之前設(shè)定。常用的設(shè)定SVR參數(shù)的方法主要有以下幾種：1）交叉檢驗(yàn)法交叉檢驗(yàn)法是用的最多的一種參數(shù)選擇方法，其基本思想是將樣本集分為訓(xùn)練集、檢驗(yàn)集和測(cè)試集，選擇若干組模型參數(shù)，用訓(xùn)練集推導(dǎo)模型系數(shù)，選擇其中使檢驗(yàn)集誤差測(cè)度最好的參數(shù)用于測(cè)試集。根據(jù)樣本集的長(zhǎng)度，可以設(shè)定交叉檢驗(yàn)的次數(shù)。2）經(jīng)驗(yàn)選擇法經(jīng)驗(yàn)選擇就是根據(jù)建模者的經(jīng)驗(yàn)在建模之前選擇參數(shù)。Vladimir等提出了一種根據(jù)訓(xùn)練集數(shù)據(jù)特性選擇模型參數(shù)的方法116，其中 式中分別表示訓(xùn)練數(shù)據(jù)集中的均值和標(biāo)準(zhǔn)偏差； 為噪聲的標(biāo)準(zhǔn)偏差，為樣本數(shù)。上述經(jīng)驗(yàn)公式是基于噪聲水平已知的假設(shè)，并沒(méi)有理論上的證明。3）網(wǎng)格優(yōu)化選擇法網(wǎng)格優(yōu)化算法是一種大范圍點(diǎn)集搜索方法。搜索范圍的確定仍需建模者設(shè)定。該方法簡(jiǎn)單易行，但是訓(xùn)練時(shí)間較長(zhǎng)，一般用來(lái)確定參數(shù)范圍，再用其他方法進(jìn)行漸近搜索。4）統(tǒng)計(jì)學(xué)習(xí)理論的VC維學(xué)習(xí)方法117、118采用統(tǒng)計(jì)學(xué)習(xí)理論的方法導(dǎo)出模型推廣錯(cuò)誤的界，并用VC維來(lái)表示，用統(tǒng)計(jì)學(xué)習(xí)理論選擇的核和調(diào)整因子C可以使VC維的上界最小，從而可以確定模型的參數(shù)。但這種方法需要在非線性空間計(jì)算超球半徑。5