機器學習算法與實踐 課件 第6章 支持向量機

第六章支持向量機支持向量機（SupportVectorMachine，SVM）是一種常用的監(jiān)督學習算法，主要用于分類和回歸任務。其基本思想是在特征空間中找到一個最優(yōu)超平面，能夠將不同類別的樣本點盡可能地分開，并且使支持向量到超平面的距離最大化。在支持向量機（SVM）中，有幾種常用的方法和變體，如：線性支持向量機（LinearSVM）、非線性支持向量機（NonlinearSVM）、多類別支持向量機（Multi-classSVM）及支持向量回歸（SupportVectorRegression，SVR），用于解決不同類型的分類和回歸問題。16.1算法概述線性支持向量機（LinearSVM）：基于線性可分的假設，在特征空間中尋找一個最優(yōu)超平面，能夠最大化不同類別的樣本點之間的間隔。非線性支持向量機（NonlinearSVM）：適用于數(shù)據(jù)集在原始特征空間中無法線性分割的情況。它使用核函數(shù)（如多項式核、高斯核）將樣本映射到高維特征空間，從而找到一個非線性的最優(yōu)超平面。26.1算法概述多類別支持向量機（Multi-classSVM）：常見的方法是使用“一對一”（One-vs-One）策略，將每個類別與其他類別進行兩兩比較，構建多個二分類器。另一種方法是使用“一對其余”（One-vs-Rest）策略，將每個類別與其他所有類別組合成一個二分類器。支持向量回歸（SupportVectorRegression，SVR）：其目標是找到一個最優(yōu)超平面，使得樣本點盡可能地落在超平面的附近區(qū)域內，并且最小化間隔內的誤差。支持向量回歸能夠處理非線性回歸問題，并具有一定的抗噪能力。36.2線性可分支持向量機及其對偶算法右圖假設訓練數(shù)據(jù)集是線性可分的，能將訓練樣本分開的劃分超平面可能有很多，應該選取哪一個呢？

0圖6-1

存在多個劃分超平面

4

6.2線性可分支持向量機及其對偶算法

0

圖6-2

支持向量與間隔5

6.2線性可分支持向量機及其對偶算法6

6.2線性可分支持向量機及其對偶算法7

6.2線性可分支持向量機及其對偶算法8

6.2線性可分支持向量機及其對偶算法9

6.2線性可分支持向量機及其對偶算法10

6.2線性可分支持向量機及其對偶算法

11

6.3線性支持向量機0圖6-3樣本近似線性可分

圖6-4支持向量與間隔

12

6.3線性支持向量機

圖6-4支持向量與間隔13

6.3線性支持向量機

14

6.3線性支持向量機

15

6.3線性支持向量機

166.3線性支持向量機

176.3線性支持向量機

186.4非線性支持向量機

101110

1

圖6-5異或問題圖6-6異或問題映射到三維空間

19

6.4非線性支持向量機

206.4非線性支持向量機

216.4非線性支持向量機

22

6.4非線性支持向量機

23

6.4非線性支持向量機

24

6.4非線性支持向量機

256.5.1線性支持向量機回歸

0圖6-7線性回歸266.5.1線性支持向量機回歸

圖6-8支持向量機回歸

0276.5.1線性支持向量機回歸

圖6-8支持向量機回歸

0286.5.1線性支持向量機回歸

圖6-8支持向量機回歸

0296.5.1線性支持向量機回歸

306.5.1線性支持向量機回歸

316.5.1線性支持向量機回歸

326.5.1線性支持向量機回歸

336.5.2非線性支持向量機回歸

346.5.2非線性支持向量機回歸

356.5.2非線性支持向量機回歸

366.6SMO算法

376.6SMO算法

386.6SMO算法

39

6.7

本章小結本章主要介紹了支持向量機的基本原理。首先，介紹支持向量機的基本