支持向量機通俗導(dǎo)論理解svm的三層境界

IT創(chuàng)始 MDCC2013中國移動開發(fā)者大會社區(qū)贈票申 Tag功能介紹—我們?yōu)槭裁? 訂閱CSDN社區(qū)，及時了解社區(qū)精華內(nèi)支持向量機通俗導(dǎo)論（SVM分類：30.MachineL&DataMining2012-06-0122:48115293人閱讀評論(219)收藏支持向量機通俗導(dǎo)論（理解SVM的三層境界作者：July、pluskid；致謝：白石、JerryLeadblog。、1或-1分類標準的：logistic回FunctionalmarginGeometricalFunctionalGeometricalmargin1.4、最大間隔分類器umMarginClassifier的定義1.5Supportoutliers、SMO、SVM前動筆寫這個支持向量機(supportvectormachine)是費了不少勁和的，從5月22日凌晨兩點在8月底，寫這個SVM3個月)。原因很簡單，一者本文作為Top10AlgorithmsinDataMining系列第二篇文章，將主要結(jié)合支持向量機導(dǎo)論、數(shù)據(jù)FreeMind的支持向量機系列而寫(于此，還是一篇學(xué)習(xí)筆記，只是加入了自己的理解，有任何及原理細節(jié)，力求深入淺出&通俗易懂。SVMSVM(SVM有個大致的了解，知道它是個什么東西便已足夠SVM(SVM的內(nèi)部原理，通宵其各處脈絡(luò)，以為將來運用它時第三層、證明SVM。chrome等瀏覽器，謝謝大家。本文中出現(xiàn)了諸多公式，若想真正理解本文之內(nèi)容，我希望讀者，能拿張紙和筆出來，把本文所有定理.公式都親自推導(dǎo)一遍或者直接打印下來，在文稿上演算（blog某一篇文章打印下來，隨時隨地思考.演算.討論。Ok&第一層、了解、什么是支持向量機分類作為數(shù)據(jù)挖掘領(lǐng)域中一項非常重要的任務(wù)，目前在商業(yè)上應(yīng)用最多(比如分析型里面的客臨床指標進行推斷是否得了心臟病。如作為一個醫(yī)生，他可以根據(jù)他以往診斷的病例對很多個(假設(shè)是500個)進行徹底的臨床檢測之后，已經(jīng)能夠完全確定了哪些具有心臟病，哪些沒有。因為，在這個診斷的過程中，醫(yī)生理所當(dāng)然的記錄了他們的，膽固醇等10多項的相關(guān)指標。那么，以后，醫(yī)生可以根據(jù)這些臨床資料，對后來新的通過檢測那0多項、膽固醇等指標，以此能推斷或者判定是否有心臟?。m這個做法不能達到0%0、的正確率），而這一根據(jù)以往臨場病例指標分析來推斷新來的病例的技術(shù)，即成為分類classificaon技術(shù)。假定是否患有心臟病與的和膽固醇水平密切相關(guān)下表對應(yīng)10個的臨床數(shù)據(jù)(用[x1]表這樣，問題就變成了一個在二上的分類問題，可以在平面直角坐標系中描述如下：根據(jù)SoSVM所謂支持向量機，顧名思義，分為兩個部分了解，一什么是支持向量簡單來說，就是支持支撐平面上把兩類類別劃分開來的超平面的向量點，下文將具體解釋，二這里的機是什么意思。我先來回答第二點：這里的機（machine機器）習(xí)的方法(MachineL&DataMining第一支持向量機(SVM)90年代中期發(fā)展起來的基于統(tǒng)計學(xué)習(xí)理論的一種機器學(xué)習(xí)方法，通過尋求結(jié)構(gòu)SVM原理的同學(xué)(SVM是干嘛的)，那么，了解到這里便足夠了，不、線性分OKSVM之前，咱們必須先弄清楚一個概念：線性分類器(也可以叫做感知機，這里的機表示SVM中會詳細闡述)。、分類標xny來表1或者-1n維的數(shù)據(jù)空間中找到一y1或者-1來表示兩個不同的類別呢？其實，這個1或-1的分類標準于logistic回歸，為了完整和過渡的自然性，咱們就再來看logistic回歸。、1或-1分類標準的：logistic回Logistic0/1分類模型，而這個模型是將特性的線性組合作為自變量，由于自變量的取值范圍是負無窮到正無窮。因此，使用logistic函數(shù)（或稱作sigmoid函數(shù)）將自變量映射到(0,1)y=1的概率。x是nglogistic 的圖像y=1再審視一下發(fā)現(xiàn)只和有關(guān)，>0，那么，g(z)只不過是用來映射，真實的類別決定權(quán)還在。還有當(dāng)時，=1，反之=0。如果我們只從出發(fā)，希望模型達到的目標無非就是讓訓(xùn)練數(shù)據(jù)中y=1的特 。Logistic回歸就是要學(xué)習(xí)得到，使得正例的特征遠大于0，負例的特征遠小于0，強調(diào)在全部訓(xùn)練實例上達到這個目標。、形式化標我們這次使用的結(jié)果是y=-1,y=1，替換在logistic回歸中使用的y=0和y=1。同時將替換成w和b。以前的，其中認為?，F(xiàn)在我們替換 為（ 。也就是說除了y由y=0變?yōu)閥=-1，只是標記不同外，與logistic回歸的形式化表示沒區(qū)別。上面提到過我們只需考 y=-1y=11或者-1來標示。jerrylead所作的斯坦福機器學(xué)習(xí)課程的筆記。、線性分類的一個例下面舉個簡單的例子，一個二維平面(一個超平面，在二中的例子就是一條直線)，如下圖所y全是-1，而在另一邊全是1。f(x)=0xf(x)<0的點，y等于-1f(x)>0y=1的數(shù)據(jù)點。（有一朋友飛狗來自Mare_Desiderii，看了上面的定義之后，問道：請教一下SVMfunctionalmargin為γ?=y(wTx+b)=yf(x)Y1和-1嗎？y的唯一作用就是確保functionalmargin的非負性？真是這樣的么？當(dāng)然不是，見本文評論下第43樓）xf(x)0，則賦予其類別-1，如果大于0則賦予類別1f(x)=0，則很難辦了，分到哪一類都不是。請讀者注意3咱們就要確定上述分類函數(shù)f(x)=w.x+b（w.x表示w與x的內(nèi)積）中的兩個參數(shù)wb，通w是法向量，b是截距；那如何確定w和b呢？答案是尋找兩條邊界端或劃分直線中間的最大間隔（之所以要尋最大間隔是為了能更好的劃分不同類的點，下文你將看到：為尋最大間隔，導(dǎo)出1/2||w||^2，繼aa，從hyperplane和分類函數(shù)；f(xw.xbw，b總結(jié)成一句話即是：從最大間隔出發(fā)（目的本就是為了確定法向量w），轉(zhuǎn)化為求對變量w和b的、函數(shù)間隔Functionalmargin與幾何間隔Geometricalw*x+b=0確定的情況下，|w*x+b|xw*x+by的符度functionalmargin的概念。、函數(shù)間Functionalfunctionalmargin(xi，yi)的函數(shù)間隔最小值，其中，x是特征，y是結(jié)果，i表示第i個樣本，有 (i=1，..選擇分類超平面時，只有函數(shù)間隔還遠遠不夠，因為如果成比例的改變w和b，如將他們改變?yōu)?w和2b，雖然此時超平面沒有改變，但函數(shù)間隔的值f(x)卻變成了原來的4倍。其實，我們可以對法向量w間geometricalmargin的概念。、點到超平面的距離定義：幾何間隔Geometricalx，令其垂直投影到超平面上的對應(yīng)的為x0，由于w是垂直于超平面的一個向量，我們有 又由于x0是超平面上的點，滿足f(x0)=0，代入超平面的方程即可算出：γ（有的書上會寫成把||w||9，其中，||w||w的二階γy即幾何間隔geometricalmargin為(注：別忘了，上面?γ的定義，（代人相關(guān)式子可以得出：yi*(w/||w||想想二里的點到直線公式：假設(shè)一條直線的方程為ax+by+c=0,點P的坐標是(x0,y0)，則點那么如果用向量表示，設(shè)w=(a,b),f(x)=wx+c,那么這個距離正是|f(p)|/||w||、最大間隔分類器umMarginClassifier的定functionalmargingeometricalmargin相差∥w的縮放因子。按照我們前面的分析，對一個數(shù)據(jù)點進行分類，當(dāng)它的margin越大的時confidencenmarginnmarginconfidence高，我們希望所選擇的hyperplane能夠最大化這個margin值。1、functionalmarginhyperplane固定以后，我們wbf(x)=wTx+b的值任意大，亦即functionalmarginγ?hyperplane2geometricalmargin∥wwb的γ?的值是不會改變的，它只隨著hyperplane的變動而變動，因此，這是更加合適的一個margin ummarginclassifier的目標函數(shù)可以定義為maxγ??marginγ?=γ?∥w(?γ?γ/∥wγ?=1?γ1||w||)γ?=1(42樓回復(fù)，貌似博4242+81123樓顯示)?γ(其中，s.t.subjectto的意思，它導(dǎo)出的是約束條件marginclassifier，如下圖所示，中間的紅色線條是OptimalHyperPlane，另外兩條線到紅線的距離都是等于γ?的γ?便是上文所定義的geometricalmargin，當(dāng)γ?=1γ?1/||w||，而我們上面得到的目標函數(shù)便是1/||w||值)：通過最大化margin，我們使得該分類器對數(shù)據(jù)進行分類時具有了最大的confidence。但，這個最大分類間隔器到底是用來干嘛的呢？很簡單，SVM通過使用最大分類間隙umMarginClassifier來設(shè)計決策最優(yōu)分類超平面，而為何是最大間隔，卻不是最小間隔呢？因為最大間隔能獲得SoSupportVectorMachine，我們可以先這樣理解，如上圖所示，我們可以看到hyperplane兩邊的那個gap分別對應(yīng)的兩條平行的線（在高中也應(yīng)該是兩個hyperplane）上hyperplane上都會有點存在，否則我們就可以進一步擴大gap，也就是γ?supportvector1.5、到底什么是Support上節(jié)，我們介紹了umMarginClassifierSupportVector，本1.4節(jié)最后一張圖：gapseparatinghyperplane的距離相等，即我們所能得到的最大的geometricalmarginγ?。而“支撐”這兩個超平面的必定會有一些點，而這些“支撐”SupportVector。supportingvectory(wTx+b)=1（還記得我們把functionalmargin定為1了嗎？上節(jié)中：“γ?=1”），而對于所有不是支持向量的點，也就是在“陣地后方”的點，則顯然有y(wTx+b)>1。當(dāng)然，通常除了K-NearestNeighbor之類的Memory-basedLearning算法，通常算法也都不會直接把所有的點下來，并全inferenceKernel方法進行非線性化推廣的話，就會遇到這個問題了。Kernel2.2節(jié)中介紹）。OK，到此為止，算是了解到了SVM的第一層，對于那些只關(guān)心怎么用SVM的朋友便已足夠，不必第二層、深入、從線性可分到線性不可、從原始問題到對偶問題的求之前得到的目標函數(shù)（subjectto導(dǎo)出的則是約束條件）：由于求的最大值相當(dāng)于求 的最小值所以上述問題等價（w由分母變成分子，從而也有原來的max問題變?yōu)閙in問題，很明顯，兩者問題等價：二次優(yōu)化問題——QP(QuadraticProgramming)的優(yōu)化包進行求解；QPLagrangeDuality變換到對偶變量(dualvariable)的優(yōu)化問題之后，可以找到一種更加有效的方法來進行求解，而且通常情況下這種方法比直接使用通用的QP優(yōu)化包進行優(yōu)化要高效得多。ok，接下來，你將看到“對偶變量dualvariable的優(yōu)化問題”等類似的頻繁出現(xiàn)，便是解決至于上述提到，關(guān)于什么是Lagrangeduality？簡單地來說，通過給每一個約束條件加上一容易驗證，當(dāng)某個約束條件不滿足時，例如yi(wTxi+b)<1，那么我們顯然有θ(w)=∞（只要令αi=∞即可）。而當(dāng)所有約束條件都滿足時，則有θ(w)=12∥w∥2， 的量。因此，在要求約束條件得到滿足的情況下最小化12∥w∥2 化 （當(dāng)然，這里也有約束條件，就是 p?小和最大的位置交換一下（dP的對偶形d?d?≤p?之，第二個問題dp?的一個下界，在滿足某些條件注：上段說“在滿足某些條件的情況下”，這所謂的“滿足某些條件”就是要先滿足Slater'sCondition，進而就KKT條件3點所述（觀點來自frestyle）：在convexproblem中，d*p*Slater'sCondition，Slater'scondition保證臨界點saddlepoint存在。至于KKT條件，首先原問題的最優(yōu)值可以通過求Lagrangian的臨界點saddlepoint（如果有的話）來得到，再者，KKTtheoremSlatercondition的同時（前面說了，Slater'scondition保證臨界點saddlepoint存在），f和gisaddlepoint不僅存在，而且能通過對Lagrangian求導(dǎo)得到，所以KKTd*=p*KKTdual那KKT條件的表現(xiàn)形式是什么呢？據(jù)百科：KKT條件的介紹，一般地，一個最優(yōu)化數(shù)學(xué)模型能夠表示成下列Karush-Kuhn-Tuckerx*KKT條件的（Slaterconditionf和gi也都是可微的，即Lw和b都可導(dǎo)），因此現(xiàn)在我們便轉(zhuǎn)化為求解第二個問題。也就是說，現(xiàn)在，咱們的原問題通3個步驟，首先要讓L(w，b，a)wb最小化，α的極大，最后利用SMO、首先固定α，要讓Lwb最小化，我們分別對w，b求偏導(dǎo)數(shù)，即?L/?w?L/?b等于零（對w45樓回復(fù)）： ，jerrylead所說：“4步”推導(dǎo)到“3步”aiyi都是實數(shù)，因此轉(zhuǎn)置后與自身一樣?！?步”推導(dǎo)到“2步”使用了下文的第2步，求出了ai便能求出w，和b，由此可見，上文第1.2節(jié)提出來的問題：分類函數(shù)w^Tb常比原問題更容易處理，因為直接處理不等式約束是的，而對偶問題通過引入拉格朗日乘子(又稱、求對α的極大，即是關(guān)于對偶變量dualvariableα（下文將一直用粗體+下劃線表示）的優(yōu)化(不得不提醒下讀者：經(jīng)過上面第一個步驟的求w和b，得到的拉格朗日函數(shù)式子已經(jīng)沒有了變量w，b，只有a，而反過來，求得的a將能導(dǎo)出w，b的解，最終得出分離超平面和分類決策函數(shù)。為何呢？因為如果求出了ai ，根據(jù)， 即可求出w。然后通過bSMO、SMOα的值可能依然aSMO算法，這里簡要簡單介紹下。 上求最大值W的問題至于 中是一個參數(shù)用于控制目標函數(shù)中兩（“尋找margin最大的超平面”和“保證數(shù)據(jù)點偏差量最小”）之間的權(quán)重。和上文最后的式子對比一下，可以看到唯一的區(qū)別就是現(xiàn)在dualvariable 限，關(guān)于的具體由來請查看下文第2.3節(jié)。 ， 他參數(shù)表示出來。這樣回帶到W中，W就只是關(guān)于 這樣，SMO第一步選取一 ，使用啟發(fā)式方法第二步，固定除和W極值條件下的，由代的計算量比較小，所以該算法表現(xiàn)出整理的快速收斂性，且不需要核矩陣，也沒有矩陣運算?！吨С窒蛄繖C《統(tǒng)計4節(jié)。、線性不可分的情式。首先就是關(guān)于我們的hyperplanexx帶入到 w=∑ni=1αiyixi，x的預(yù)測，只需要計算它與訓(xùn)練數(shù)據(jù)點的內(nèi)積即可（?,?表示向量內(nèi)積），這一點至關(guān)重要，是之后使用Kernel進行非線廣的基本前提。此外，所謂SupportingVector也在這里顯示出來——事實上，所有非SupportingVectorα都是等α等于零呢？直觀上來理解的話，就是這些“后方”的點——2.1.1Lagrangemultiplierxi是支持向量的話，上式中紅顏色的部分是等于0的（因為支持向量的functionalmargin1），而對于非支持向量來說，functionalmargin1，因此紅顏色部分是大于零αi又是非負的，為了滿足最大化，αi必須等于0。這也就是這些非SupportingVector的點從15到上述所有這些東西，便得到了一個 ummarginhyprplaneclassfier，這就是所的支持向量機（SuppotVctorMachne）。當(dāng)然，到目前為止，我們的SVM還比較弱，只能處理線性的情況不過，在得到了對偶dual形式之，通過Kernel推廣到非線性的情就變成了一件非常容易的事情了(相信，你還記得本節(jié)開頭所說的：通過求解對偶問題得到最優(yōu)解，這就是線性可分條件下支持向量機的對偶算法，這樣做的優(yōu)點在于：一者對偶問題往往更容易求解；二者可以自然的引入核函數(shù)，進而推廣到非線性分類問題)。、核函在上文中，我們已經(jīng)了解到了SVM處理線性可分的情況，而對于非線性的情況，SM的處理方法是選擇一個核函數(shù)κ(,)，通過將數(shù)據(jù)映射到高，來解決在原始空間中線性不可分的問題。由于核函數(shù)的優(yōu)良品質(zhì)，這樣的非線性擴展在計算量上并沒有比原來復(fù)雜多少，這一點是非常難得的。當(dāng)然，這要歸功于核方法除了SVM也就是說，Minsky和Papert早就在20世紀60年代就已經(jīng)明確線性學(xué)習(xí)器計算能力有限。為而下文具體介紹的核函數(shù)則提供了此種問題的解決途徑，從下文你將看到，核函數(shù)通過把數(shù)據(jù)映射到高來增加第一節(jié)所述的線性學(xué)習(xí)器的能力，使得線性學(xué)習(xí)器對偶空間的表達方式讓分類操作更具靈活性和可操作性。我們知道，訓(xùn)練樣例一般是不會獨立出現(xiàn)的，它們總是以成對樣例的內(nèi)積形式出現(xiàn)對偶形式表示學(xué)習(xí)器的優(yōu)勢在為在該表示中可調(diào)參數(shù)的個數(shù)不依賴輸入屬性的個數(shù)，通過使用恰當(dāng)?shù)暮撕瘮?shù)來替代內(nèi)積，可以隱式得將非線性的訓(xùn)練數(shù)據(jù)映射到高，而不增加可調(diào)參數(shù)的個數(shù)(當(dāng)然，前提是核函數(shù)能夠計算對應(yīng)著兩個輸入特征向量的內(nèi)積)。1、簡而言之：性不可分的情況下，支持向量機通過某種事先選擇的非線性映射(核函數(shù))將輸入的過程首先是同預(yù)先選定的一些非線性映射將輸入空間映射到高維特征空間(下圖很清晰的表達了通過映射2、具體點說：在我們遇到核函數(shù)之前，如果用原始的方法，那么在用線性學(xué)習(xí)器學(xué)個非線性關(guān)這里?：X->F是從輸入空間到某個特征空間的映射，這意味著建立非線性學(xué)習(xí)器分為兩步K，對所有xz(-X，滿足φXF3phy(x1)phy(x2),phy(x1)phy(x2)的通用表達式子：phy(x1)，phy(x2)>=k(<x1,x2>)計算出來，注意到這里的<，>表示內(nèi)積，k(,)就是對應(yīng)的核函數(shù)，這個表達往OK，接下來，咱們就進一步從外到里，來探探這個核函數(shù)的、如何處理非線性2.1節(jié)中我們介紹了線性情況下的支持向量機，它通過尋找一個線性的超平面來達到對數(shù)據(jù)進行這兩類數(shù)據(jù)分開呢(下文將會有一個相應(yīng)的三圖)？想的分界應(yīng)該是一個“圓圈”而不是一條線（超平面）X1X2來表示這個二維平面的兩個坐Z1=X1Z2=X21Z3=X2Z4=X22Z5=X1X2，那么顯然，上面的方程在新的坐標系下可以寫Zhyperplane?:R2→R5XZKernel方法處理非線性問題的基本、特征空間的隱式映射：核函Kernel的細節(jié)之前，不妨再來看看這個例子映射過后的直觀例子。當(dāng)然，你我可能無法把5畫出來，不過由于我這里生成數(shù)據(jù)的時候就是用了特殊的情形，具體來說，我這里超平面實際的方程是這個樣子（X2軸上的一個正圓因此我只需要把它映射到Z1=X21,Z2=X22,Z3=X2這樣一個三 (pluskid：gif動畫，先用畫出一張張Imagemagick拼貼成SVM?(?到一個高中，數(shù)據(jù)變得線性可分了，這個時候，我們就可以使用原來的推導(dǎo)來進行計算，只是所w，但是如果映射之后得到的新空間的維度是無窮維的（實會出現(xiàn)這樣的情況，比如后面會提到的高斯核GaussianKernel），要表示一個無窮維的向量描述起來就比較α也是通過求解如dual問題 ，然后一股腦把原SVM即可。不過事實上沒有這么簡單！其實剛才的方法稍想一下就會發(fā)現(xiàn)有問題：在最初的例子里，我們對一個二做映射，選擇的新空間是原始空間的所有一階和二階的組合，得到了五個維度；如果原始空間是三維，那么我們會得到19性增長的，這給的計算帶來了非常大的，而且如果遇到無窮維的情況，就根本無從計算了。所以就需要Kernel出馬了。不妨還是從最開始的簡單例子出發(fā)，設(shè)兩個向量和，而即是到前面2.2.1節(jié)說的五的映射，因此映射過后的內(nèi)積為：（公式說明：上面的這兩個推導(dǎo)過程中，所說的前面的五的映射，這里說的前面便是文 的結(jié)果是相等的，那么區(qū)別在于什么地方呢一個是映射到高中，然后再根據(jù)內(nèi)積的公式進行計算而另一個則直接在原來的低中進行計算，而不需要顯式地寫出映射后的結(jié)果回憶剛才提到的映射的維度，法已經(jīng)無法計算的情況下，后法卻依舊能從容我們把這里的計算兩個向量在隱式映射過后的空間中的內(nèi)積的函數(shù)叫做核函數(shù)(KernelFunction)，核函數(shù)能簡化映射空間中的內(nèi)積運算——剛好“碰巧”SVM里需要計算的地方數(shù)據(jù)其 由如下dual問題計算而得這樣一來計算的問題就算解決了，避開了直接在高中進行計算，而結(jié)果卻是等價的！當(dāng)然，因為我們這里的例子非常簡單，所以我可以手工構(gòu)造出對應(yīng)于的核函數(shù)出來，如果對于任意一個映射，想要構(gòu)造出對應(yīng)的核函數(shù)就很了。、幾個核函可分 ，然后通過這 得出對應(yīng) 進行內(nèi)積計算。然而，第二步通常是非常Kerl空間是一個向量空間的假設(shè)了，只要核函數(shù)支持，原始數(shù)據(jù)可以是任意的“對象”——比如文本字符多項式核，顯然剛才我們舉的例子是這里多項式核的一個特例（R=1，d=。雖然比較麻 高斯 ，這個核就是最開始提到過的會將原始空間射為無窮的那個家伙。不過，如果選得很大的話，高次特征上的權(quán)重實際上衰減得非?？?，所以實際上（數(shù)值上近似一下）相當(dāng)于一個低維的子空間；反過來，如果選得很小，常嚴重的過擬合問題。不過，總的來說，通過調(diào)控參數(shù)，高斯核實際上具有相當(dāng)高的靈活函數(shù)映射到了高線性核，這實際上就是原始空間中的內(nèi)積。這個核存在的主要目的是使得映射后空間中的問題和映射前空間中的問題兩者在形式上統(tǒng)一起來了的時候，寫代碼，或?qū)懝降臅r候，只要寫個模板或通用表達式，然后再代入不同的核，便可以了，于此，便在形式上統(tǒng)一了起來，不用再分別寫一個線性的，和一個非線性的)。、核函數(shù)的本空間中去(如上文2.2節(jié)最開始的那幅圖所示，映射到高 但進一步，如果凡是遇到線性不可分的樣例，一律映射到高，那么這個維度大小是會上文所說的避免了直接在高中的復(fù)雜計算。InaSVMwithoutusingslackvariables,ifweremoveoneofthesupportvectorsfromthetrainingset,whatwillhappentothe almargin?Listallthepossibilitiesandgiveasampleforeachpossiblesituation,i.e.,generateatrainingset,indicatewhichpointistoberemovedandclarifythechangeofthe almargin.，大意是：在沒有松弛變量的svm中，如果我們移去訓(xùn)練集中的一個支持向量，那最大margin會怎么margin怎么變。，你可能會說最終的almargin不如實際推導(dǎo).計算.證明！接下來，咱們回顧下上文「所有截取自上文ummarginremove后(w,b)變了，w一變， ummargin自然也就會變了，至于如何變，請讀者繼續(xù)計算看具體結(jié)果。此外，還這里的分析：α再到后來，有了核函數(shù)，解決高α的求解：SMO算法，w，bα..、使用松弛變量處理outliers方2.2Kernel的線性SVM進行了推廣，使得非線性的的情況也能處理。雖然通過映 將原始數(shù)據(jù)映射到outlier，在我們原來的SVM模型里，outlier的存在有可能造成很大的影響，因為超平面本身就是只有少數(shù)幾個supportvector組成的，如果這些supportvector里又存在outlier的話，其影響就很大outlier，它偏離了自己原本所應(yīng)該在的那個半空間，如果直接忽略掉它的話，原來的分隔超平面還是挺好的，但是由于這個outlier的出現(xiàn)，導(dǎo)致分隔超平面不得不被擠歪了，變成途中黑色虛線所示（這只是一個示意圖，并沒有嚴格計算精確坐標），margin也相應(yīng)變小了。當(dāng)然，更嚴重的情況是，如果這個outlier再往右上移動一些距離的話，無法構(gòu)造出能為了處理這種情況，SVM允許數(shù)據(jù)點在一定程度上偏離一下超平面。例如上圖中，黑色實線所對應(yīng)的距離，就是該outlier偏離的距離，如果把它移動回來，就剛好落在原來的超平面上，而不會使得超其中稱為松弛變量(slackvariable)，對應(yīng)數(shù)據(jù)點 允許偏離的functionalmargin的量。當(dāng)然，如果我們運行任意大的話，那任意的超平面都是符合條件的了。所以，我們在原來的目標函數(shù)后面加上一項，使得這些的總和也要最?。浩渲惺且粋€參數(shù)，用于控制目標函數(shù)中兩項（“尋找margin最大的超平面”和“保證數(shù)據(jù)點偏差量最小”）之間的權(quán)重。注意，其中是需要優(yōu)化的變量（之一），而是一個事先確定好的常量。分析方法和前面一樣，轉(zhuǎn)換為另一個問題之后，我們先讓針對 和最小化 帶回并化簡，得到和原來一樣的目標函數(shù)不過，由于我們得到而又有（作為Lagrangemultiplier的條件），因此有，所以整個dual問題現(xiàn)在寫作：可以看到唯一的區(qū)別就是現(xiàn)在dualvariable多了一個上限。而Kernel化的非線性形式也是一樣的，只要把換成即可。這樣一來，一個完整的，可以處理線性和非線性并能噪音和outliers的支持向量機才終于介紹完畢了。、小direction2的分類效果要比direction1direction2direction1大。我們需要在這各個分類器中選擇一個最優(yōu)的。SVM是根據(jù)統(tǒng)計學(xué)習(xí)理論依照結(jié)構(gòu)風(fēng)險最小化的原則，要求實現(xiàn)兩個目的：1）兩類問題能夠分開（經(jīng)驗風(fēng)險最小）2）margin最g(x)1這樣我們就有邊界margin：，這里滿足這樣條件的樣本點就是我們所謂的支持向量。這樣我們就轉(zhuǎn)化為一個優(yōu)化問題SergiosTh KKTCx映射到高，在低不可分的問題映射到高后就有可能是線性可分的。這里我們不需要知道是Chih-WeiHsu故確的說，SVM它本質(zhì)上即是一個分類方法，用w^T+b定義分類函數(shù)，于是求w、b，為尋1/2||w||^2a（求解過程中會涉及到一系列最優(yōu)化或凸二次規(guī)劃等問題），w.baaSMO，OKSVM原理的好奇心，然對于那些想在證明層面SVM的則還很不夠，但進入第三層理解境界之前，你必須要有比較好的數(shù)理基礎(chǔ)和邏輯證明能第三層、證明.理論，便一般不是怎么好惹的東西。絕大部分時候，看懂一個東明創(chuàng)造這個東西的時候，則顯艱難因為任何時代，大部分人的得都不過是基于前人的研究成果，前人所做的是開創(chuàng)性工作，而這往往是最艱難最有價值的，他們被稱為真正的先驅(qū)。牛頓也曾，他不過是站在巨人的肩上。正如陳希孺在他的著作「數(shù)理統(tǒng)計學(xué)簡史」的第4章、最小二乘法中所講：在科研上諸多觀念本部分導(dǎo)3.13個東西，感知機算法，松弛變量，及最小二乘理論，同；3.23.3節(jié)、SMO3.4SVM、線性學(xué)習(xí)、感知機算算法性條件下收斂，說白了，為了得到一個界，不至于無窮循環(huán)下去。、松弛變xi出現(xiàn)的位置不該是那里，而是該左圖中左邊那個箭頭所示，被“拉回去”，而既然出現(xiàn)在了這個不正常的位置，那么有什么內(nèi)，這就導(dǎo)致了所謂的被誤分，使得最終的松弛變量>0；同理，oj也不該出現(xiàn)在那個位置，而應(yīng)該被“拉沒有以正常的間隔被分開。還是如上面所示左圖，xk顯然沒有被以正常的間隔分開，而是過于1.4節(jié)中，有：“這樣一來，我們的ummarginclassifier的maxγ??margin、最小二乘

yi(wTxi+b)=γ?i≥γ?,i=1,…,n我們口頭中經(jīng)常說：一般來說，平均來說。如平均來說，不吸煙的健康優(yōu)于吸煙者，之所以要加“均”二字，是因為凡事皆有例外，總存在某個特別的人他吸煙但由于經(jīng)常鍛煉所以他的健康狀況可能會優(yōu)于他身邊不吸煙的朋友。而最小二乘法的一個最簡單的例子便是算術(shù)平均。最小二乘法（又稱最小平方法）是一種數(shù)學(xué)優(yōu)化技術(shù)。它通過最小化誤差的平方和尋找數(shù)據(jù)的最佳平方和為最小。用函數(shù)表示為：有效的最小二乘法是勒讓德在1805年的，基本思想就是認為測量中有誤差，所以所有方程的勒讓德在中對最小二乘法的優(yōu)良性做了幾點說明 最小二乘使得誤差平方和最小，并在各個方程的誤差之間建立了一種平衡，從而防止某一個誤θx1,?,xn次測量值,ei=xi?θθL(θxˉ=∑ni=1xin最小二乘法之后很快得到了大家的認可接受，并迅速的在數(shù)據(jù)分析實踐中被廣泛使用。不過歷史上又有人把最小二乘法的發(fā)明歸功于高斯，這又是怎么一回事呢。高斯在1809年也了最小二乘 請參看陳希 的「數(shù)理統(tǒng)計學(xué)簡史」的第4章、最小二乘法、核函數(shù)特征空經(jīng)過前面第一、二部分，我們已經(jīng)知道，當(dāng)把內(nèi)積就變成 新空間中去求內(nèi)積。以多項式為例，對其進行變 ，，，得到：，也就是說通過把輸入空間從二維向映射后，樣本由線性不可分變成了線性可分，但是這種轉(zhuǎn)化帶來的直接問題是維度變高了，這意味著，首先可能導(dǎo)致后續(xù)計算變復(fù)雜，其次可能出現(xiàn)維度之，對于學(xué)習(xí)器而言就是：特征空間維數(shù)可能最終無法計算，可能會使得內(nèi)積無法求出，于是也就失去了這種轉(zhuǎn)化的優(yōu)勢了空間中而能夠在輸入空間中直接計算出內(nèi)積。它其實是對輸入空間向高維間的一種隱式映射，它不需要顯式的給出那個映射，在輸入空間就可以計算，這就是 OK，不再做過多介紹了，對核函數(shù)有進一步的，還此文 .html、SMO算SMO算法是<<MinimalOptimization:AFastAlgorithmforTrainingSupportVectorMachines》一文 ，作者信息：/en-us/people/jplatt/，其基本思想是將Vapnik在1982年Chunking方法推到極致，即：通過將原問題分解為一系列小規(guī)模凸二次規(guī)劃問題而獲得原問題解的方法，每次迭代只優(yōu)化由2個點組成的工作集，SMO算法每次啟發(fā)式地選擇兩上文2.1.1節(jié)已經(jīng)提到過，SMO算法不過是為了解決對偶問題中對偶因子α的求解問題，這兩篇文 、SVM的應(yīng)或許我們已經(jīng)聽到過，SVM在很多諸如文本分類，圖像分類，生物序列分析和生物數(shù)據(jù)挖掘，手寫字符識別等領(lǐng)域有很多的應(yīng)用，但或許你并沒，SVM可以成功應(yīng)用的領(lǐng)域遠遠超出現(xiàn)在、文本分，本節(jié)雖取標題為證明（特此致歉），pluskid及諸多朋友&牛人們的文章及著作，讓我有機會在其基礎(chǔ)上總結(jié)、深入，本參考文獻及推薦閱《支持向量機導(dǎo)論[美NelloCristianiniJohnShawe-Taylor支持向量機導(dǎo)論一書的支持：[美Pang-NingTanMichaelSteinbachVipinKumar(加)JiaweiHan;MichelineKamber《支持向量機--理論、算法和擴展支持向量機系列，pluskid： C.J.CBurges《統(tǒng)計學(xué)習(xí)方法(7章有不少內(nèi)容參考自支持向量機導(dǎo)論一書，不過，可以翻翻看SVM入門系列，Jasper：SVM 斯坦福機器學(xué)習(xí)課程筆記 數(shù)學(xué)系推薦 《神經(jīng)網(wǎng)絡(luò)與機器學(xué)習(xí)(原書第三版)[加SimonHaykin正態(tài)分布的前世今生 《數(shù)理統(tǒng)計學(xué)簡史，陳希孺著《最優(yōu)化理論與算法(2版)AGentleIntroductiontoSupportVectorMachinesinPPT圖很，本文有幾張圖便引自此PPT中；來自卡梅隆大學(xué)的講解SVM的 到下一篇：九月十月人搜，阿里巴巴，騰訊筆試面試八十題(第331-410題頂踩4查看評110110樓澀兔子_deepin2013-10-15 [回復(fù) 強大！不知道 War是否有研究呢 LZing:)109109樓AMOS6182013-10-11 [回復(fù)你好大神~有個問題想請教一下?！皐*x+by的符號是否一致表示分類是否正確，”何理解？w*x+by的符號難道不應(yīng)該是一樣的么？因為之前提過“f(x)<0的點，其對應(yīng)的y等于-1，而f(x)>0則對應(yīng)y=1的數(shù)據(jù)點。”108108樓pai_jianglong2013-09-23 [回復(fù)花了幾天看完了，太牛了107107樓Uraplutonium2013-09-04 [回復(fù)106106樓waitfor_2013-08-21 [回復(fù)31、高內(nèi)積運算一定可以轉(zhuǎn)換（或存在）為低維的核函數(shù)嗎2、請問您構(gòu)造的五（2.2.1）中，五中的五個維度并不是相互獨立的，這樣在五維向量運算時會3SVM105105樓sdeed2013-08-19 [回復(fù)19維的新空間我不明白這個怎么算的。要是枚舉的話，從x1,x2,x319維新空間是。x1,x2,x3,x1^2,x2^2,x3^2,x1^3,x2^3,x3^3(9個，對應(yīng)x,x的平方，x的三次方)x1^2*x2,x1^2*x3,x2^2*x1,x2^2*x3,x3^2*x1,x3^2*x2(6個)x1*x2*x31個x1*x2,x1*x3x2*x3(3個)19維。（面的評論里面，48樓victor0535提出了這個問題，也自問自答了，但是我沒看懂，所以再問問ReRewaitfor_2013-08-21 [回復(fù)回復(fù)sdeedReRev_JULY_v2013-08-20 [回復(fù)回復(fù)sdeed：公式一言半語說不清，你自己可以試著總結(jié)推導(dǎo)下104104樓bzbrady2013-08-15 [回復(fù)103103樓pyemma2013-08-14 [回復(fù)好文章，最近的學(xué)長推薦我去看一看PR和ML的東西，正好看到這個，對SVM有了初步的認識102102樓星夜落塵2013-08-09 [回復(fù)SVMVCSVM101101樓goodstudy_linux2013-08-08 [回復(fù)例如：給定樣本數(shù)據(jù)ReRev_JULY_v2013-08-09 [回復(fù)100100樓cdlh31415_12013-07-11 [回復(fù)9999樓wangcong07552013-06-28 [回復(fù)SVM的研究是出于理論上的研究還是編程實現(xiàn)過呢？如果編程實現(xiàn)過，使用的是什么語ReRev_JULY_v2013-08-06 [回復(fù)回復(fù)wangcong0755：給你看看上@余凱_西二旗民工貼的偽代碼[plain][plain]view5fdf,lbfgs，完畢9898樓zhangen002013-06-25 [回復(fù)我這邊刷新無數(shù)次小全掛了實在打不開能不能發(fā)份pdf給我非常感謝郵箱ReRev_JULY_v2013-06-25 [回復(fù)回復(fù)zhangen00：你好，是用的chrome如果仍然無法正常顯示的話，可以到這里找到： 截止2013年6月12日前，本博客內(nèi)所有博錦的PDF文檔:-)ReRezhangen002013-06-25 [回復(fù)回復(fù)v_JULY_v9797樓LucienDuan2013-06-24 [回復(fù)9696樓Bikong22013-06-08 [回復(fù)高水平博文，非常感謝9595樓陳江-V2013-06-05 [回復(fù)簡單的問題，如何確認一個分類需求是否是線性可分的？是否使用Re:Re:月光海苔2013-07-05 [回復(fù)ChenJiangVABA,B的所有點都擴展一個維度即(X,1),形成一個新的A1與B1,D=A1∪(-B1).D1S,S不包含原點則線性可分否則不可分9494樓陳江-V2013-06-04 [回復(fù)9393樓sharling_lin2013-05-30 [回復(fù)SVM對于outlier，假設(shè)第k個樣本是outlier，那么優(yōu)化帶松弛因子的拉格朗日函數(shù)后，一定會得到第k個松弛因子不為0，而由kkt條件rk=0；那么可以得到alpha_k=C。想問的是分類函數(shù)，這個alpha_k，以及對應(yīng)的xk是alpha_k=C;但是和其他非支撐向量一樣對最后的分類函數(shù)不起作用？9292樓zyawf8102013-05-18 [回復(fù)兩類的時候，結(jié)果用-1和1來表示，如果到劃分多類的情況下，該如何表示呢？多類的情況下，是兩兩ReRev_JULY_v2013-05-19 [回復(fù)回復(fù)zyawf810SVM。ReRezyawf8102013-05-19 [回復(fù)回復(fù)v_JULY_v：謝謝~受益匪淺9191樓cuimiao_19902013-04-28 [回復(fù)mercer3.3.1中證明特征值非負的那段，關(guān)于特征空間中的點：zReRev_JULY_v2013-04-28 [回復(fù)回復(fù)fubannian9090樓xiaofuchang2013-04-20 [回復(fù)zM*yi(xi+-0yi=1而在負類中找不到這樣的點，使得其成為支持向量。這個怎樣從公式的角度來理解。多謝。8989樓ImgHJK2013-04-09 [回復(fù)ReRev_JULY_v2013-04-09 [回復(fù)回復(fù)hjkhjk007：你好，咱們可以在 /julyweibo，用私信聊:-8888樓miluzhiyu2013-04-09 [回復(fù)wx+b-y0wx+b0（這個是一條平行于x軸的直線?。?，Re:Re:夏青2013-04-15 [回復(fù)miluzhiyu：1.3.2章節(jié)剛開始看也不太懂，也想問下博主在二維中：ax+by+c=0中的y是否考慮為向量中的一個，比如二維向量我們用（x,y）表示,也可以用（x0,x1）表示，在ax+by+c/sqrt(a*a+b*b)表示為)ReRev_JULY_v2013-04-20 [回復(fù)WishLifeHappy：可以，上文本來就是這樣說的嘛：“ax+by+c=0,P的坐標Re:Re:夏青2013-04-21 [回復(fù)回復(fù)v_JULY_vReRemiluzhiyu2013-04-09 [回復(fù)miluzhiyuax+by+c=0ReRemiluzhiyu2013-04-09 [回復(fù)=ReRev_JULY_v2013-04-20 [回復(fù)8787樓frestyle2013-04-03 [回復(fù)<這所謂的“滿足某些條件”KKT條件KKT的角色，在convexproblem中，d*和p*相同的條件是Slater'sCondition。至于KKT條件：首先原問題的最優(yōu)值可Lagrangiansaddlepoint（如果有的話）Slater'sconditionsaddlepoint存在；KKTtheoremSlatercondition的同時，f和gi都是可微的，這樣saddlepointLagrangianKKT條件是一個點是最優(yōu)解的條件，而不d*=p*KKTdualproblem很關(guān)鍵。ReRev_JULY_v2013-04-04 [回復(fù)回復(fù)frestyleReRefrestyle2013-04-04 [回復(fù)回復(fù)v_JULY_v8686樓miluzhiyu2013-03-30 [回復(fù)ReRev_JULY_v2013-04-04 [回復(fù)miluzhiyuReRemiluzhiyu2013-04-04 [回復(fù)回復(fù)v_JULY_v：貌似還是不行~查看評論只能按一次。然后也沒有翻頁ReRev_JULY_v2013-04-04 [回復(fù)回復(fù)miluzhiyu：恩，我仔細看了下，雖然我這邊能顯示也能查看評論，但實際上本文的評論標號是81123樓..818283樓4545+81=126樓ReRemiluzhiyu2013-04-08 [回復(fù)回復(fù)v_JULY_v：作者好細心！謝謝！灰常感動Re:Re:v_JULY_v2013-04-08[回復(fù) outlier。2.3節(jié)所述，“outlier，它偏離了自己原本所應(yīng)該在的那個半空supportvectorRe:Re:miluzhiyu2013-04-08[回復(fù)Re:Re:v_JULY_v2013-08[回復(fù)miluzhiyu[回復(fù)v_JULY_v：好的~十分感謝~回復(fù)v_JULY_v：木有。他也不太懂這個方面，就只會用。喊我學(xué)下在討論會上，8585樓neiblegy2013-03-27 [回復(fù)從2.2.2我這里公式加載失敗，是我個人網(wǎng)絡(luò)問題么？樓主有word版的沒？謝謝學(xué)ReRev_JULY_v2013-04-08 [回復(fù)回復(fù)neiblegy：你好，我已經(jīng)處理好了，現(xiàn)在加載應(yīng)該顯示正常了:-ReRereal007fei2013-03-27 [回復(fù)回復(fù)neiblegy：目測是加載上的時，出了錯誤。wordpdf版本呢？ReRev_JULY_v2013-03-28 [回復(fù)1、盡量用有線網(wǎng)絡(luò)，顯示的情況好于無線網(wǎng)絡(luò)；2、在這里下載 全部博錦的 文件：。ReReyongli20112013-03-27 [回復(fù)ReRereal007fei2013-03-27 [回復(fù)回復(fù)yongli2011：對，我也是，很多公式的加載不了。ReRev_JULY_v2013-04-03 [回復(fù)回復(fù)real007fei：Hi，朋友，上文中大部我都已經(jīng)全部重新上傳了，現(xiàn)在可以正常顯示，感謝你的反8484樓zhulinniao2013-03-26 [回復(fù)8383樓chenfeilong1012013-03-22 [回復(fù)8282樓lailai19902013-03-22 [回復(fù)42ReRev_JULY_v2013-04-04 [回復(fù)1238181樓real007fei2013-03-20 [回復(fù)8080樓 2013-03-16 [回復(fù)2.1中很長的那段推導(dǎo)，為什么最后就把含bai*yi=0ReRev_JULY_v2013-04-04 [回復(fù)回復(fù) ：你好，因為aiyi=0，故b∑αiyi=0，所以，才把含b的項給消除了呢2.1α，要讓L關(guān)于w和bw，b?L/?w?L/?b等于零，∑αiyi=07979樓 2013-03-16 [回復(fù)yi(wTxi+b)<1θ(w)=∞（αi=∞即可）2.1中很長的那段推導(dǎo)，為什么最后就把含b7878樓鐵兵2013-03-11 [回復(fù)7777樓Emilywohappy2013-02-26 [回復(fù)ReRev_JULY_v2013-02-26 [回復(fù)PDF，然后打印之，細細品讀呢。7676樓gogo000072013-02-25 [回復(fù)這個準確么？因為(wx+b）y7575樓lijil1682013-01-20 [回復(fù)Mercervtis.t.i=1:nVt列，即特征向量Vt,我習(xí)慣vits.t.i=1:n記作特征向量Vt,用描述就是v(:,t),更自然些，對Vit,i表示行，t表示列7474樓ljb16722013-01-20 [回復(fù)感謝博主的無私的精神，博主是否能將博文制作成.pdf7373樓lijil1682013-01-19 [回復(fù)7272樓kehaar00282013-01-18 [回復(fù)2.2.2里面這一段（等式?jīng)]有粘貼過來”不妨還是從最開始的簡單例子出發(fā)，設(shè)兩個向量和，而即是到前面2.2.1節(jié)說的五的映射，因此映2.3處理outlier“outlier偏離的距離，如果把它移動回來，就剛好落在原來的超BURGESNello的向量機導(dǎo)論還是7171樓star_twinkle2013-01-09 [回復(fù)樓主，牛啊，很感謝你的文章7070樓ga68402013-01-03 [回復(fù)“帶回上述的L”那個式子用一個∑去表示兩個嵌套的∑ReRev_JULY_v2013-01-04 [回復(fù)6969樓 2012-12-21 [回復(fù)弱弱的建議一下，γ?=yγ=γ?∥w∥雖然可以這樣寫，但是不細看γ?，γ?6868樓 2012-12-20 [回復(fù)lzC(懲罰因子)aiC的選擇有什么原則？還有我理解的C應(yīng)該是迭代變化的還有一點不明白的地方，高內(nèi)積運算一定可以轉(zhuǎn)換（或存在）為低維的核函數(shù)嗎？6767樓 2012-12-17 [回復(fù)6666樓 2012-12-05 [回復(fù)謝謝6565樓 2012-12-03 [回復(fù)統(tǒng)計學(xué)習(xí)方法的哪里可以到呢？看到你截圖了里面的許多內(nèi)容，應(yīng)該是由的了，下啊ReRev_JULY_v2012-12-03 [回復(fù)回復(fù)zxy ：你好，原文只截取了統(tǒng)計學(xué)習(xí)方法一書僅一張圖，在原文1.1節(jié)。到這里可以前3章的：http 6464樓Noadvanceistogoback2012-11-30 [回復(fù)膜拜下高手。是嗎ReRev_JULY_v2012-11-30 [回復(fù)回復(fù)6363樓CanaanShen2012-11-25 [回復(fù)6262樓我要學(xué)技術(shù)2012-11-20 [回復(fù)6161樓hack_net2012-11-06 [回復(fù)6060樓hack_net2012-10-30 [回復(fù)wT1.1的圖中標示的，b為原點到超平面的距離是不是有問題？？？如wT本身便是單位法向量那么，還用引入幾何距離這個概念嗎？？ReRehack_net2012-10-30 [回復(fù)回復(fù)shuaiccs1.1介紹中，圖中標示的bReRev_JULY_v2012-10-30 [回復(fù)回復(fù)shuaiccs1.1中的b只是零點（0,0）到超平面的垂直距離，也就是所謂的截距，非具體的點(x,y)1.3ReRehack_net2012-10-31 [回復(fù)回復(fù)v_JULY_vReRev_JULY_v2012-10-30 [回復(fù)geometricalmargin的概念。5959樓hack_net2012-10-30 [回復(fù)樓主,1.1wTx+b0wT5858樓小班得瑞2012-10-23 [回復(fù)s.225x1,x25另一種是在原始二維平面直接計算。我看不出差別...ReRev_JULY_v2012-10-23 [回復(fù)回復(fù)a ："我們對一個二做映射，選擇的新空間是原始空間的所有一階和二階的組合，得到了五個維度；如果原始空間是三維，那么我們會得到19維的新空間，這個數(shù)目是呈性增長的，這給的計算帶來了非常大的，而且如果遇到無窮維的情況，就根本無從計算了。所以就需要Kernel出馬了。(KernelFunction現(xiàn)在，相信你已經(jīng)明白如果不用核函數(shù)，先將x1,x2映射到5維，然后做內(nèi)積的話，會出現(xiàn)維度，甚至例子就是上文中的例子：“我們對一個二做映射，選擇的新空間是原始空間的所有一階和二階的組合，得到了五個維度；如果原始空間是三維，那么我們會得到19維的新空間，這個數(shù)目是呈性增長的，這給的計算帶來了非常大的，而且如果遇到無窮維的情況，就根本無從計算了”你可以再仔細體會下核函數(shù)的意義5757樓linluyisb2012-10-21 [回復(fù)5656樓小班得瑞2012-10-21 [回復(fù)樓主你好ReRev_JULY_v2012-10-21 [回復(fù)回a：你看下這篇文章，看是否有無幫助Re:小班得瑞2012-10-22 [回復(fù)回復(fù)v_JULY_v5555樓奇異果2012-10-20 [回復(fù)ReRev_JULY_v2012-10-20 [回復(fù) 5454樓奇異果2012-10-19 [回復(fù)1.3FunctionalmarginGeometricalw*x+b=0確定的情況下，|w*x+b|能夠相對的表示點x到距離超平面的遠近。這句不懂，為什么|w*x+b|xReRev_JULY_v2012-10-20 [回復(fù)Re:Re:奇異果2012-10-21 [回復(fù)v_JULY_v：點到直線的距離公式應(yīng)該是分子|ax＋by＋c|sqrt(a方＋b方)ReRev_JULY_v2012-10-25 [回復(fù)距離為|ax0+by0+c|/sqrt(a^2+b^2)。那么如果用向量表示，設(shè)w=(a,b),f(x)=wx+c,5353樓Doubling2012-10-17 [回復(fù)MMO不過是優(yōu)化SVMQP目標svmkerlkerel數(shù)i本質(zhì)上都一樣并不是說kernel就能避免i函數(shù)造成的維度你對錯誤界的理解有點問題還有，目前的狀況是kerelat么多年都在做priml的原因。5252樓 2012-10-10 [回復(fù)有一個問題沒想明白，為什么引入松弛變量之后，目標函數(shù)要加入-∑riεiReRev_JULY_v2012-10-10 [回復(fù)回復(fù)y 而之所以加入這一項是因為要求互補松弛變量大于等于零。5151樓少年行2012-09-03 [回復(fù)多謝了5050樓beikeali2012-08-25 [回復(fù)ReRev_JULY_v2012-08-25 [回復(fù)beikeali18樓回復(fù)：“這個系列第一篇和第二篇的參考文獻4949樓xdyang2012-08-24 [回復(fù)pdfReRev_JULY_v2012-08-24 [回復(fù)ReRexdyang2012-08-24 [回復(fù)回復(fù)v_JULY_v：期待中，pdfReRev_JULY_v2012-08-24 [回復(fù)回復(fù)dcraw：EN，不過網(wǎng)頁是適時更新的，且評論亦4848樓victor05352012-08-24 [回復(fù)“19維的新空間29呢？4的平方+3的平方+2的平方+1(x1+……+xn)n次方項數(shù)為：(n+1)n-1方+n的n-1方+n-2的n-1方ReRevictor05352012-08-24 [回復(fù)回復(fù)victor0535ReResdeed2013-08-19 [回復(fù)回復(fù)victor0535：‘19維的新空間x1,x2,x3得到的19維新空間是。x1,x2,x3,x1^2,x2^2,x3^2,x1^3,x2^3,x3^3(9個)x1^2x2x1^2x3x2^2x1,x2^2x3,x3^2x1,x3^2x2(6個)x1x2x3(1個)x1x2x1x3x2x3(3個)4747樓victor05352012-08-23 [回復(fù)0在為“是不是”在于“1訓(xùn)練樣例一般是不會獨立出現(xiàn)的，它們總是以成對樣例的內(nèi)積形式出現(xiàn)”“公式中”以內(nèi)積形式出現(xiàn)嗎？還是現(xiàn)實中這樣的樣本成對出現(xiàn)？2這個“對偶形式”是什么意思？是指次解釋的”對偶問題“嗎還是指公式中內(nèi)積的”成對“形式3”可調(diào)參數(shù)的個數(shù)不依賴輸入屬性的個數(shù)“α”不依賴輸入屬性的個數(shù)“”本點的維數(shù)（即樣本的特征數(shù)目）“更好些，是這個意思吧？ReRev_JULY_v2012-08-24 [回復(fù)回復(fù)victor0535：問題越多，代表你思考的越多，挺好的。（若是一些概念性的問題可看看相關(guān)書籍，如本文參考文獻里面的支持向量機導(dǎo)論一書4646樓victor05352012-08-23 [回復(fù)“使用拉格朗日定理解凸最優(yōu)化問題可以使用一個對偶變量表示，用對偶問題表示之后，通常比原問題更容易處理，因為直接處理不等式約束是的。對偶問題通過引入又稱為對偶變量的拉格朗日乘子來解?！盧eRev_JULY_v2012-08-23 [回復(fù)回復(fù)victor0535：1.改成這樣，你就明白了：“對偶問題通過引入拉格朗日乘子(又稱為對偶變量)來解”“MAX，〈=”“MIN，〉=”相對應(yīng)。ReRevictor05352012-08-23 [回復(fù)v_JULY_vαi>=0θ（w）=w2/2在用拉格朗日定理引入的系數(shù)求極值時，是要對所有的變量一起求導(dǎo)數(shù)的（包括系數(shù) 這αi可以隨便給范圍不影響L函數(shù)和||w||的極值嗎？理解很啊我謝ReRevictor05352012-08-23 [回復(fù)回復(fù)victor0535：我再補充一下我的問題，L=f(x,y)-λg(x,y)求f的極值，我記得里，是要對x,yλλ會能求出一個定值來吧，為什么α可以人為的讓它>=0不影響我們最后求Re:Re:v_JULY_v2012-08-24[回復(fù)回復(fù)victor0535：1.2.1節(jié)，“這個P就是式，而稍后給出的“maα,(,b,=”，這個dT這樣，對應(yīng)起來了么？2.a為什么要>=0,你要先明白為什么要引入這個變量,2.1節(jié)開頭處multiplier(拉格朗日乘值)：α，我們可以將約束條件融和到目標函數(shù)里去(數(shù)里頭，現(xiàn)在只用一個函數(shù)表達式便能清楚的表達出我們的問題我們便要求3."L=f(x,y)-λg(x,y)求f的極值，我記得里，是要對x,yλ都求偏導(dǎo)的求極值的這樣λ會能求出本文不就是這么做的么"L(w，b，a)關(guān)于wb（1）Lwbw，b?L/?w?L/?b等于零（w45樓回復(fù)（評論里無法編輯公式，所以公式無法正常顯示，見諒4545樓victor05352012-08-23 [回復(fù)"（1）Lwb最小化，我們分別對w，b求偏導(dǎo)數(shù)……“對1/2||w||2求導(dǎo)為什么是變成一個向量w??ReRev_JULY_v2012-08-23 [回復(fù)=0

ReRev_JULY_v2012-08-23 [回復(fù)回復(fù)v_JULY_v：白石補充說明：為什么對１／２｜｜w｜｜^2w,而不是w=（w1,w2),x1=(1,2),y1=-1，則\\W\\^2=w1^2+w2^2,w*x1=w1+2*w2將L對w1對w21/2||w||^2=1/2(x^2+y^2+z^2),wx,y,z求導(dǎo)，對xx，對y的等于y（x,,z)4444樓zlj47002012-08-21 [回復(fù)在不清楚自變量（10個）10090組做訓(xùn)練樣10組數(shù)據(jù)進行預(yù)測，結(jié)果每次運行都發(fā)現(xiàn)誤差都很大，請問支持向量機的訓(xùn)練ReRev_JULY_v2012-08-21 [回復(fù)ReRezlj47002012-08-21 [回復(fù)回復(fù)v_JULY_v：不知道這樣考慮對不對，根據(jù)經(jīng)驗，盡量選擇能表現(xiàn)因變量特性的典型數(shù)據(jù)，避免大量相有一個實例，需要用模型來做預(yù)測，用BP試過效果也不好，數(shù)據(jù)容易獲得，可能關(guān)鍵是樣本的選擇。ReRev_JULY_v2012-08-21 [回復(fù)4343樓v_JULY_v2012-08-21 [回復(fù)1.2節(jié)中，有：“f(x)=wTx+bf(x)=0xf(x)<0y等于-1，而f(x)>0則對應(yīng)y=1的數(shù)據(jù)點?！庇幸慌笥扬w狗來自Mare_Desiderii，看了上面的定義之后，問道：請教一下SVMfunctionalmarginγ?=y(wTx+b)=yf(x)Y1和-1嗎？y的唯一作用就是確保functionalmargin與白石討論后，我來具體回答下這個問題：你把問題搞混了。y是個分類，二分時y就取兩個值，而剛好具體闡述如下：1.y只取兩個值，這兩個是可以任意取的，只要是取兩個值就行；2.支持；總而言之：你要明白，二類問題的y是可以取任意兩個值的，不管取怎樣的值對于相同的樣本點，只要分類相同，所有的y的不同取值都是等價的，之所以取某些特殊的值，只是因為這樣一來計算會變得方便，理解正如朋友張磊所言，svmy1或-1的歷史原因是因為感知器最初的定義，實際取值可以任意，總能明確表示輸入樣本是否被誤分，但是用+1、-1可以起碼可以是問題描述簡單化、式子表示簡潔化、幾何意義明確化。y12，比如原來取-1112，這樣一來，分類正確的判定標準變?yōu)椋▂-1.5）*f（X)>01和-1只是為了計算簡單方便，沒有實質(zhì)變化，更非一定必須取一4242樓victor05352012-08-21 [回復(fù)“我們可以令γ?=1對目標函數(shù)的優(yōu)化沒有影響)”問了好多（包括在你群里也看了網(wǎng)上別的資料都是一筆代過也思考了很久始終不明白他子里也包含了向量W在我們平時就一個簡單函數(shù)時f(x)/||x||分子分母都包含一個變量怎么可以為了“求的方便”就反分子變成應(yīng)該怎么解釋？能給個讓人信服的解釋嗎？？還是有？謝謝ReRev_JULY_v2012-08-21 [回復(fù)方便書寫，記做r^，這個r^，是方向向量wb的函數(shù)，因為分類的點是給定的;的條件是任意給定的一個點的函數(shù)間隔大于等于r^，也就是yi（wxi+b）>=r^;ww/r^,bb/r^wb,wb的函數(shù)，所以最大化仍然可以進行。于是，把這兩個新的變量代入到原來的約束最大化問題中，就變成了，在yi(w'xi+b')>=11/||w'||最大化的w，b。wbw',b'的問題，這就是支持向量機所采用ReRev_JULY_v2012-08-21 [回復(fù)回復(fù)v_JULY_v3點補充說明兩個問題問:為什么要做那兩個變換,"ww/r^,bb/r^w1.