《機(jī)器學(xué)習(xí)-Python實(shí)戰(zhàn)（微課版）》課件 第七章 支持向量機(jī)

第七章支持向量機(jī)本章主要講述支持向量機(jī)算法的基礎(chǔ)知識(shí)、線性以及非線性情況下的支持向量機(jī)和支持向量回歸機(jī)的算法知識(shí)。學(xué)習(xí)目標(biāo)通過本章學(xué)習(xí)可以：支持向量機(jī)的基本知識(shí)線性可分下的支持向量機(jī)線性不可分下的支持向量機(jī)支持向量機(jī)的核函數(shù)多類分類支持向量機(jī)支持向量回歸機(jī)支持向量機(jī)的基本知識(shí)超平面間隔與間隔最大化函數(shù)間隔和幾何間隔不同情形下的支持向量機(jī)線性可分下的支持向量機(jī)線性不可分下的支持向量機(jī)非線性支持向量機(jī)非線性支持向量機(jī)之核函數(shù)多類分類支持向量機(jī)支持向量回歸機(jī)支持向量機(jī)概述支持向量機(jī)(SupportVectorMachine，SVM)是一種按照監(jiān)督學(xué)習(xí)方式對(duì)數(shù)據(jù)進(jìn)行二元分類的廣義線性分類器(generalizedlinearclassifier)，其決策邊界是對(duì)學(xué)習(xí)樣本求解的最大邊距超平面(maximum-marginhyperplane)。與邏輯回歸和神經(jīng)網(wǎng)絡(luò)相比，支持向量機(jī)，在學(xué)習(xí)復(fù)雜的非線性方程時(shí)提供一種更為清晰，更加強(qiáng)大的方式支持向量機(jī)概述算法思想找到集合邊緣上的若干數(shù)據(jù)（稱為支持向量），用這些點(diǎn)找出一個(gè)平面（稱為決策面），使得支持向量到該平面距離最大。支持向量機(jī)的基本知識(shí)超平面間隔與間隔最大化函數(shù)間隔和幾何間隔不同情形下的支持向量機(jī)線性可分下的支持向量機(jī)線性不可分下的支持向量機(jī)非線性支持向量機(jī)非線性支持向量機(jī)之核函數(shù)多類分類支持向量機(jī)支持向量回歸機(jī)支持向量機(jī)概述硬間隔、軟間隔硬間隔軟間隔硬間隔指的是完全分類正確，不能存在分類錯(cuò)誤情況。軟間隔指的是允許一定量的樣本分類錯(cuò)誤。支持向量機(jī)概述svm算法，就是找一分割線將兩類樣本分開，問題是如圖三條顏色都可以把點(diǎn)和星分開。但哪條最優(yōu)呢？假設(shè)一條直線為W?X+b=0為最優(yōu)的分割線，把兩類分開如下圖所示，那我們就要解決的是怎么獲取這條最優(yōu)直線呢?及W和b的值；在SVM中最優(yōu)分割面(超平面)就是：能使支持向量和超平面最小距離的最大值；目標(biāo)是尋找一個(gè)超平面，使得離超平面比較近的點(diǎn)能有更大的間距。也就是我們不考慮所有的點(diǎn)都必須遠(yuǎn)離超平面，我們關(guān)心求得的超平面能夠讓所有點(diǎn)中離它最近的點(diǎn)具有最大間距。支持向量機(jī)概述間隔超平面

如圖所示，支持向量到超平面的距離為d，其他點(diǎn)到超平面距離大于d。每個(gè)支持向量到超平面的距離可寫為：支持向量機(jī)概述間隔最大化根據(jù)支持向量到超平面的距離d，其他點(diǎn)到超平面距離大于d。于是得到如下公式：我們令d=1（令它為1，為了便于推導(dǎo)和優(yōu)化，且不會(huì)影響目標(biāo)函數(shù)的優(yōu)化）將以上方程合并，簡(jiǎn)寫為：至此得到最大間隔超平面的上下兩個(gè)超平面：支持向量機(jī)的基本知識(shí)超平面間隔與間隔最大化函數(shù)間隔和幾何間隔不同情形下的支持向量機(jī)線性可分下的支持向量機(jī)線性不可分下的支持向量機(jī)非線性支持向量機(jī)非線性支持向量機(jī)之核函數(shù)多類分類支持向量機(jī)支持向量回歸機(jī)支持向量機(jī)概述函數(shù)間隔

支持向量機(jī)概述幾何距離

支持向量機(jī)概述函數(shù)距離VS幾何距離從函數(shù)間隔和幾何間隔的定義可以看出：幾何間隔就是函數(shù)間隔處理||w||,而且函數(shù)間隔y*(wx+b)=y*f(x)實(shí)際上是|f(x)|，是人為定義的間隔度量，而幾何間隔|f(x)|/||w||才是直觀上的點(diǎn)到超平面的距離。函數(shù)間隔作用：表示分類預(yù)測(cè)的正確性的準(zhǔn)確度函數(shù)間隔缺點(diǎn)：當(dāng)w和b成比例改變，超平面沒有改變，但是函數(shù)間隔改變了函數(shù)間隔改進(jìn)：幾何間隔幾何間隔的特點(diǎn)：當(dāng)w和b成比例改變，幾何間隔不會(huì)改變。函數(shù)間隔和幾何間隔的關(guān)系：支持向量機(jī)的基本知識(shí)超平面間隔與間隔最大化函數(shù)間隔和幾何間隔不同情形下的支持向量機(jī)線性可分下的支持向量機(jī)線性不可分下的支持向量機(jī)非線性支持向量機(jī)非線性支持向量機(jī)之核函數(shù)多類分類支持向量機(jī)支持向量回歸機(jī)支持向量機(jī)概述線性可分下的支持向量機(jī)線性可分SVM正負(fù)樣本之間的間隔叫做“硬間隔”，也就是說在這個(gè)“隔離帶”里面，肯定不會(huì)出現(xiàn)任何訓(xùn)練樣本：若沒有紅圈里那兩個(gè)點(diǎn)，可以分割成如下圖：支持向量機(jī)的基本知識(shí)超平面間隔與間隔最大化函數(shù)間隔和幾何間隔不同情形下的支持向量機(jī)線性可分下的支持向量機(jī)線性不可分下的支持向量機(jī)非線性支持向量機(jī)非線性支持向量機(jī)之核函數(shù)多類分類支持向量機(jī)支持向量回歸機(jī)支持向量機(jī)概述線性不可分下的支持向量機(jī)學(xué)習(xí)的函數(shù)間隔和幾何間隔都是在說樣本的完全線性可分或者大部分樣本點(diǎn)的線性可分。但實(shí)際業(yè)務(wù)會(huì)碰到的一種情況是樣本點(diǎn)不是線性可分的上圖所述的這個(gè)數(shù)據(jù)集，是用兩個(gè)半徑不同的圓圈加上了少量的噪音生成得到的，所以，一個(gè)理想的分界應(yīng)該是一個(gè)“圓圈”而不是一條線（超平面）。這種情況的解決方法就是：將二維線性不可分樣本映射到高維空間中，讓樣本點(diǎn)在高維空間線性可分支持向量機(jī)的基本知識(shí)超平面間隔與間隔最大化函數(shù)間隔和幾何間隔不同情形下的支持向量機(jī)線性可分下的支持向量機(jī)線性不可分下的支持向量機(jī)非線性支持向量機(jī)非線性支持向量機(jī)之核函數(shù)多類分類支持向量機(jī)支持向量回歸機(jī)支持向量機(jī)概述非線性的支持向量機(jī)假設(shè)現(xiàn)在你是一個(gè)農(nóng)場(chǎng)主，圈養(yǎng)了一批牛群，但為預(yù)防狼群襲擊牛群，你需要搭建一個(gè)籬笆來把牛群圍起來。你很可能需要依據(jù)牛群和狼群的位置建立一個(gè)“分類器”，比較下圖這幾種不同的分類器，我們可以看到SVM完成了一個(gè)很完美的解決方案。支持向量機(jī)概述非線性的支持向量機(jī)對(duì)于在有限維度向量空間中線性不可分的樣本，我們將其映射到更高維度的向量空間里，再通過間隔最大化的方式，學(xué)習(xí)得到支持向量機(jī)，就是非線性SVM。我們將樣本映射到的這個(gè)更高維度的新空間叫做特征空間。支持向量機(jī)的基本知識(shí)超平面間隔與間隔最大化函數(shù)間隔和幾何間隔不同情形下的支持向量機(jī)線性可分下的支持向量機(jī)線性不可分下的支持向量機(jī)非線性支持向量機(jī)非線性支持向量機(jī)之核函數(shù)多類分類支持向量機(jī)支持向量回歸機(jī)支持向量機(jī)概述非線性的支持向量機(jī)之核函數(shù)在低維空間計(jì)算獲得高維空間的計(jì)算結(jié)果，滿足高維，才能在高維下線性可分。我們需要引入一個(gè)新的概念：核函數(shù)。它可以將樣本從原始空間映射到一個(gè)更高維的特質(zhì)空間中，使得樣本在新的空間中線性可分。這樣我們就可以使用原來的推導(dǎo)來進(jìn)行計(jì)算，只是所有的推導(dǎo)是在新的空間，而不是在原來的空間中進(jìn)行，即用核函數(shù)來替換當(dāng)中的內(nèi)積。支持向量機(jī)概述非線性的支持向量機(jī)之核函數(shù)核技巧用核函數(shù)替換原來內(nèi)積即通過一個(gè)非線性轉(zhuǎn)換后的兩個(gè)樣本間的內(nèi)積。具體地，??(??,??)是一個(gè)核函數(shù)，或正定核，意味著存在一個(gè)從輸入空間到特征空間的映射，對(duì)于任意空間輸入的??,??有:支持向量機(jī)概述非線性的支持向量機(jī)之核函數(shù)在支持向量機(jī)學(xué)習(xí)的對(duì)偶問題中，用核函數(shù)K(x,z)替代內(nèi)積，求解得到就是非線性支持向量機(jī)支持向量機(jī)概述非線性的支持向量機(jī)之核函數(shù)常用核函數(shù)有：線性核函數(shù)：多項(xiàng)式核函數(shù)：高斯核函數(shù)：這三個(gè)常用核函數(shù)中，只有高斯核函數(shù)需要調(diào)參支持向量機(jī)的基本知識(shí)超平面間隔與間隔最大化函數(shù)間隔和幾何間隔不同情形下的支持向量機(jī)線性可分下的支持向量機(jī)線性不可分下的支持向量機(jī)非線性支持向量機(jī)非線性支持向量機(jī)之核函數(shù)多類分類支持向量機(jī)支持向量回歸機(jī)支持向量機(jī)概述多類分類支持向量機(jī)支持向量機(jī)分類算法最初只用于解決二分類問題，缺乏處理多分類問題的能力。后來隨著需求的變化，需要svm處理多分類分為。目前構(gòu)造多分類支持向量機(jī)分類器的方法主要有兩類:“同時(shí)考慮所有分類”方法。主要思想是在優(yōu)化公式的同時(shí)考慮所有的類別數(shù)據(jù)組合二分類器解訣多分類問題?；舅枷胧峭ㄟ^組合多個(gè)二分類器實(shí)現(xiàn)對(duì)多分類器的構(gòu)造，常見的構(gòu)造方法有“一對(duì)一”(one-against-one)和“一對(duì)其余”(one-against-therest兩種。支持向量機(jī)的基本知識(shí)超平面間隔與間隔最大化函數(shù)間隔和幾何間隔不同情形下的支持向量機(jī)線性可分下的支持向量機(jī)線性不可分下的支持向量機(jī)非線性支持向量機(jī)非線性支持向量機(jī)之核函數(shù)多類分類支持向量機(jī)支持向量回歸機(jī)支持向量機(jī)概述支持向量回歸機(jī)支持向量機(jī)(SVM)本身是針對(duì)二分類問題提出的，而SVR（支持向量回歸）是SVM（支持向量機(jī)）中的一個(gè)重要的應(yīng)用分支。SVR回歸與SVM分類的區(qū)別在于，SVR的樣本點(diǎn)最終只有一類，它所尋求的最優(yōu)超平面不是SVM那樣使兩類或多類樣本點(diǎn)分的“最開”，而是使所有的樣本點(diǎn)離著超平面的總偏差最小。SVM是要使到超平面最近的樣本點(diǎn)的“距離”最大；SVR則是要使到超平面最遠(yuǎn)的樣本點(diǎn)的“距離”最小。支持向量機(jī)概述支持向量回歸機(jī)支持向量機(jī)概述支持向量機(jī)超參數(shù)

1.（單選）關(guān)于支持向量機(jī)SVM，下列說法錯(cuò)誤的是（

）？A.L2正則項(xiàng)，作用是最大化分類間隔，使得分類器有更強(qiáng)的泛化能力B.Hinge