支持向量機(jī)課件

支持向量機(jī)課件2024-01-24支持向量機(jī)概述線性可分支持向量機(jī)非線性支持向量機(jī)多類分類與回歸問(wèn)題解決方法模型選擇與參數(shù)調(diào)優(yōu)方法實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析總結(jié)與展望目錄01支持向量機(jī)概述支持向量機(jī)（SupportVectorMachine,SVM）是一種監(jiān)督學(xué)習(xí)模型，用于數(shù)據(jù)分類和回歸分析。它通過(guò)尋找一個(gè)超平面，使得不同類別的樣本在該超平面上的投影距離最大，從而實(shí)現(xiàn)分類。定義支持向量機(jī)起源于20世紀(jì)60年代的模式識(shí)別領(lǐng)域。隨著統(tǒng)計(jì)學(xué)習(xí)理論的不斷完善和計(jì)算機(jī)技術(shù)的發(fā)展，支持向量機(jī)在90年代后期逐漸成為一種流行的機(jī)器學(xué)習(xí)算法，并在多個(gè)領(lǐng)域取得了成功應(yīng)用。發(fā)展歷程定義與發(fā)展歷程基本原理支持向量機(jī)通過(guò)核函數(shù)將輸入空間映射到一個(gè)高維特征空間，然后在這個(gè)特征空間中尋找一個(gè)最優(yōu)超平面，使得不同類別的樣本在該超平面上的投影距離最大。這個(gè)最優(yōu)超平面可以通過(guò)求解一個(gè)二次規(guī)劃問(wèn)題得到。1.小樣本學(xué)習(xí)能力強(qiáng)支持向量機(jī)適用于小樣本數(shù)據(jù)集，能夠在有限的數(shù)據(jù)中學(xué)習(xí)到有效的分類規(guī)則。2.高維數(shù)據(jù)處理能力通過(guò)核函數(shù)映射，支持向量機(jī)能夠處理高維數(shù)據(jù)，并自動(dòng)進(jìn)行特征選擇?；驹砑疤攸c(diǎn)3.泛化能力強(qiáng)支持向量機(jī)通過(guò)最大化分類間隔來(lái)提高模型的泛化能力，能夠較好地處理過(guò)擬合問(wèn)題。4.適用于非線性問(wèn)題通過(guò)選擇合適的核函數(shù)，支持向量機(jī)能夠處理非線性分類問(wèn)題?；驹砑疤攸c(diǎn)應(yīng)用領(lǐng)域支持向量機(jī)在多個(gè)領(lǐng)域取得了成功應(yīng)用，如文本分類、圖像識(shí)別、生物信息學(xué)、金融預(yù)測(cè)等。其中，在文本分類領(lǐng)域，支持向量機(jī)被廣泛應(yīng)用于情感分析、垃圾郵件識(shí)別等任務(wù)；在圖像識(shí)別領(lǐng)域，支持向量機(jī)可用于人臉識(shí)別、手寫數(shù)字識(shí)別等；在生物信息學(xué)領(lǐng)域，支持向量機(jī)可用于基因序列分析、蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)等。要點(diǎn)一要點(diǎn)二現(xiàn)狀隨著深度學(xué)習(xí)等技術(shù)的快速發(fā)展，支持向量機(jī)在某些領(lǐng)域的地位已經(jīng)逐漸被取代。然而，由于其強(qiáng)大的小樣本學(xué)習(xí)能力和高維數(shù)據(jù)處理能力，支持向量機(jī)仍然在許多特定任務(wù)中表現(xiàn)出色。此外，針對(duì)大規(guī)模數(shù)據(jù)集和在線學(xué)習(xí)等場(chǎng)景，研究者們也在不斷提出改進(jìn)的支持向量機(jī)算法，以適應(yīng)不斷變化的應(yīng)用需求。應(yīng)用領(lǐng)域與現(xiàn)狀02線性可分支持向量機(jī)給定訓(xùn)練數(shù)據(jù)集，其中每個(gè)樣本屬于兩個(gè)類別之一。二分類問(wèn)題線性可分定義超平面方程如果存在一個(gè)超平面能夠?qū)⒉煌悇e的樣本完全分開(kāi)，則稱該數(shù)據(jù)集線性可分。$w^Tx+b=0$，其中$w$是法向量，$b$是截距。030201線性可分問(wèn)題描述對(duì)于線性可分的數(shù)據(jù)集，硬間隔是指距離超平面最近的樣本點(diǎn)到超平面的距離。硬間隔定義通過(guò)調(diào)整超平面的參數(shù)$w$和$b$，使得硬間隔達(dá)到最大。最大化硬間隔$min_{w,b}frac{1}{2}||w||^2$，s.t.$y_i(w^Tx_i+b)geq1,i=1,2,...,N$。優(yōu)化問(wèn)題硬間隔最大化模型軟間隔定義對(duì)于近似線性可分的數(shù)據(jù)集，允許一些樣本點(diǎn)不滿足硬間隔約束條件，即允許一些樣本點(diǎn)被錯(cuò)誤分類。軟間隔是這些不滿足約束條件的樣本點(diǎn)到超平面的距離之和。通過(guò)調(diào)整超平面的參數(shù)$w$和$b$，以及引入松弛變量$xi_i$，使得軟間隔達(dá)到最大。$min_{w,b,xi}frac{1}{2}||w||^2+Csum_{i=1}^{N}xi_i$，s.t.$y_i(w^Tx_i+b)geq1-xi_i,xi_igeq0,i=1,2,...,N$。其中$C$是懲罰系數(shù)，用于平衡分類間隔和錯(cuò)誤分類的樣本數(shù)量。最大化軟間隔優(yōu)化問(wèn)題軟間隔最大化模型03非線性支持向量機(jī)03增強(qiáng)模型泛化能力通過(guò)選擇合適的核函數(shù)，可以使得模型在訓(xùn)練集上獲得較好的性能，同時(shí)在測(cè)試集上也具有較好的泛化能力。01解決非線性問(wèn)題通過(guò)核函數(shù)將非線性問(wèn)題映射到高維特征空間，使其在高維空間中變得線性可分。02避免顯式計(jì)算核函數(shù)能夠隱式地進(jìn)行高維映射，避免了顯式計(jì)算高維空間中的內(nèi)積，降低了計(jì)算復(fù)雜度。核函數(shù)引入及作用線性核適用于線性可分問(wèn)題，計(jì)算簡(jiǎn)單，速度快。多項(xiàng)式核適用于正交歸一化后的數(shù)據(jù)，可以通過(guò)調(diào)整參數(shù)來(lái)改變模型的復(fù)雜度。徑向基核（RBF）適用于大多數(shù)非線性問(wèn)題，具有較強(qiáng)的靈活性，參數(shù)較少，易于調(diào)整。Sigmoid核適用于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，可以實(shí)現(xiàn)多層感知器的功能。常用核函數(shù)類型及選擇方法將原問(wèn)題分解為多個(gè)子問(wèn)題，通過(guò)迭代求解子問(wèn)題的最優(yōu)解來(lái)逼近原問(wèn)題的最優(yōu)解。序列最小優(yōu)化算法（SMO）通過(guò)計(jì)算目標(biāo)函數(shù)的梯度信息，沿著負(fù)梯度方向進(jìn)行迭代更新，逐步逼近最優(yōu)解。梯度下降法每次固定其他變量，只針對(duì)一個(gè)變量進(jìn)行優(yōu)化，通過(guò)多次迭代達(dá)到最優(yōu)解。坐標(biāo)下降法利用二階導(dǎo)數(shù)信息來(lái)加速收斂速度，適用于大規(guī)模數(shù)據(jù)集和高維特征空間中的問(wèn)題求解。牛頓法/擬牛頓法非線性問(wèn)題求解策略04多類分類與回歸問(wèn)題解決方法構(gòu)造二分類器針對(duì)每?jī)蓚€(gè)不同的類別，訓(xùn)練一個(gè)二分類支持向量機(jī)，用于區(qū)分這兩個(gè)類別。投票機(jī)制將待分類樣本輸入到所有二分類器中，每個(gè)分類器都會(huì)對(duì)樣本的類別進(jìn)行判斷。最后，采用投票機(jī)制，將得票最多的類別作為樣本的最終分類結(jié)果。一對(duì)一多類分類策略針對(duì)每個(gè)類別，將該類別作為正類，其余所有類別作為負(fù)類，訓(xùn)練一個(gè)二分類支持向量機(jī)。構(gòu)造二分類器將待分類樣本輸入到所有二分類器中，每個(gè)分類器都會(huì)對(duì)樣本的類別進(jìn)行判斷。若某個(gè)分類器將樣本判為正類，則將該類別作為樣本的候選分類結(jié)果。最終，選擇置信度最高的候選分類結(jié)果作為樣本的最終分類結(jié)果。判斷機(jī)制一對(duì)多多類分類策略回歸問(wèn)題解決方法構(gòu)造回歸模型通過(guò)引入核函數(shù)和松弛變量等技巧，將支持向量機(jī)從分類問(wèn)題擴(kuò)展到回歸問(wèn)題。訓(xùn)練過(guò)程中，優(yōu)化目標(biāo)變?yōu)樽钚』A(yù)測(cè)值與真實(shí)值之間的誤差。預(yù)測(cè)機(jī)制將待預(yù)測(cè)樣本輸入到訓(xùn)練好的回歸模型中，模型會(huì)輸出一個(gè)連續(xù)值作為樣本的預(yù)測(cè)結(jié)果。通過(guò)比較預(yù)測(cè)值與真實(shí)值的差異，可以評(píng)估模型的預(yù)測(cè)性能。05模型選擇與參數(shù)調(diào)優(yōu)方法交叉驗(yàn)證思想及實(shí)現(xiàn)過(guò)程交叉驗(yàn)證思想及實(shí)現(xiàn)過(guò)程01交叉驗(yàn)證的實(shí)現(xiàn)過(guò)程021.將數(shù)據(jù)集隨機(jī)分成k個(gè)子集，每個(gè)子集大小相等。2.對(duì)于每個(gè)i（1≤i≤k），將第i個(gè)子集作為測(cè)試集，其余的子集合并作為訓(xùn)練集。030102033.使用訓(xùn)練集訓(xùn)練模型，并在測(cè)試集上評(píng)估模型性能。4.重復(fù)步驟2和3，直到每個(gè)子集都被用作測(cè)試集一次。5.計(jì)算k次評(píng)估結(jié)果的平均值，作為模型性能的估計(jì)。交叉驗(yàn)證思想及實(shí)現(xiàn)過(guò)程網(wǎng)格搜索法的基本思想：在指定的參數(shù)空間內(nèi)，按照一定的步長(zhǎng)劃分網(wǎng)格，然后遍歷網(wǎng)格中所有的參數(shù)組合，使用交叉驗(yàn)證評(píng)估每個(gè)參數(shù)組合的性能，選擇性能最好的參數(shù)組合作為最優(yōu)參數(shù)。網(wǎng)格搜索法尋找最優(yōu)參數(shù)組合網(wǎng)格搜索法尋找最優(yōu)參數(shù)組合0102031.確定需要調(diào)優(yōu)的參數(shù)及其取值范圍。2.根據(jù)步長(zhǎng)劃分參數(shù)空間，生成參數(shù)網(wǎng)格。網(wǎng)格搜索法的實(shí)現(xiàn)過(guò)程3.遍歷參數(shù)網(wǎng)格中的每個(gè)參數(shù)組合。4.對(duì)于每個(gè)參數(shù)組合，使用交叉驗(yàn)證評(píng)估模型性能。5.選擇性能最好的參數(shù)組合作為最優(yōu)參數(shù)。網(wǎng)格搜索法尋找最優(yōu)參數(shù)組合啟發(fā)式算法在參數(shù)調(diào)優(yōu)中應(yīng)用啟發(fā)式算法在參數(shù)調(diào)優(yōu)中的應(yīng)用：?jiǎn)l(fā)式算法是一類基于經(jīng)驗(yàn)或直觀理解的算法，可以在可接受的時(shí)間內(nèi)找到問(wèn)題的近似解。在支持向量機(jī)的參數(shù)調(diào)優(yōu)中，可以使用啟發(fā)式算法（如遺傳算法、粒子群優(yōu)化算法等）來(lái)尋找最優(yōu)參數(shù)組合。這些算法通過(guò)模擬自然過(guò)程（如遺傳、進(jìn)化、群體行為等）來(lái)搜索參數(shù)空間，可以在較短的時(shí)間內(nèi)找到較好的參數(shù)組合。啟發(fā)式算法的實(shí)現(xiàn)過(guò)程2.評(píng)估種群中每個(gè)個(gè)體的適應(yīng)度（即模型性能）。1.初始化算法參數(shù)和種群。啟發(fā)式算法在參數(shù)調(diào)優(yōu)中應(yīng)用02030401啟發(fā)式算法在參數(shù)調(diào)優(yōu)中應(yīng)用3.根據(jù)適應(yīng)度選擇優(yōu)秀的個(gè)體進(jìn)行繁殖（交叉、變異等操作）。4.生成新的種群并評(píng)估其適應(yīng)度。5.重復(fù)步驟3和4，直到滿足終止條件（如達(dá)到最大迭代次數(shù)或找到滿意的解）。6.返回最優(yōu)個(gè)體作為最優(yōu)參數(shù)組合。06實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析數(shù)據(jù)集選擇為了驗(yàn)證支持向量機(jī)的性能，我們選擇了UCI機(jī)器學(xué)習(xí)庫(kù)中的Iris數(shù)據(jù)集和Wine數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。這兩個(gè)數(shù)據(jù)集都是多分類問(wèn)題，包含了不同特征屬性和類別標(biāo)簽。在數(shù)據(jù)預(yù)處理階段，我們進(jìn)行了以下操作去除重復(fù)樣本和異常值。使用標(biāo)準(zhǔn)化方法將特征值縮放到同一尺度，以消除特征間的量綱差異。將數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集，其中訓(xùn)練集用于訓(xùn)練模型，測(cè)試集用于評(píng)估模型性能。數(shù)據(jù)預(yù)處理特征縮放數(shù)據(jù)劃分?jǐn)?shù)據(jù)清洗數(shù)據(jù)集準(zhǔn)備和預(yù)處理過(guò)程描述123實(shí)驗(yàn)設(shè)計(jì)思路我們?cè)O(shè)計(jì)了多組實(shí)驗(yàn)，分別使用不同的核函數(shù)（線性核、多項(xiàng)式核、高斯核）和參數(shù)設(shè)置進(jìn)行支持向量機(jī)模型的訓(xùn)練。通過(guò)交叉驗(yàn)證方法選擇最佳的核函數(shù)和參數(shù)組合。實(shí)驗(yàn)設(shè)計(jì)思路及具體步驟在測(cè)試集上評(píng)估模型的分類性能，并與其他機(jī)器學(xué)習(xí)算法進(jìn)行對(duì)比分析。實(shí)驗(yàn)設(shè)計(jì)思路及具體步驟03定義支持向量機(jī)模型，并設(shè)置不同的核函數(shù)和參數(shù)。01具體步驟02加載數(shù)據(jù)集并進(jìn)行預(yù)處理。實(shí)驗(yàn)設(shè)計(jì)思路及具體步驟ABCD實(shí)驗(yàn)設(shè)計(jì)思路及具體步驟在訓(xùn)練集上訓(xùn)練支持向量機(jī)模型。使用交叉驗(yàn)證方法選擇最佳的核函數(shù)和參數(shù)組合。與其他機(jī)器學(xué)習(xí)算法（如決策樹(shù)、K近鄰、邏輯回歸等）進(jìn)行對(duì)比分析。在測(cè)試集上評(píng)估模型的分類性能，包括準(zhǔn)確率、精確率、召回率和F1值等指標(biāo)。結(jié)果展示、對(duì)比分析和討論結(jié)果展示我們展示了使用不同核函數(shù)和參數(shù)設(shè)置下支持向量機(jī)模型在訓(xùn)練集和測(cè)試集上的分類性能結(jié)果，包括準(zhǔn)確率、精確率、召回率和F1值等指標(biāo)。同時(shí)，我們也展示了與其他機(jī)器學(xué)習(xí)算法的對(duì)比結(jié)果。結(jié)果展示、對(duì)比分析和討論對(duì)比分析從實(shí)驗(yàn)結(jié)果可以看出，支持向量機(jī)在Iris數(shù)據(jù)集和Wine數(shù)據(jù)集上取得了較高的分類性能，尤其是使用高斯核函數(shù)時(shí)表現(xiàn)最佳。與其他機(jī)器學(xué)習(xí)算法相比，支持向量機(jī)在處理多分類問(wèn)題時(shí)具有優(yōu)勢(shì)，能夠?qū)W習(xí)到更為復(fù)雜的決策邊界。結(jié)果展示、對(duì)比分析和討論討論02支持向量機(jī)的性能受到核函數(shù)選擇和參數(shù)設(shè)置的影響較大，因此在實(shí)際應(yīng)用中需要仔細(xì)調(diào)整這些參數(shù)以獲得最佳性能。03對(duì)于大規(guī)模數(shù)據(jù)集，支持向量機(jī)的訓(xùn)練時(shí)間可能會(huì)較長(zhǎng)，可以考慮使用改進(jìn)的支持向量機(jī)算法（如SMO算法）來(lái)加速訓(xùn)練過(guò)程。0107總結(jié)與展望支持向量機(jī)基本原理通過(guò)最大化間隔來(lái)尋找最優(yōu)超平面，實(shí)現(xiàn)分類或回歸任務(wù)。核函數(shù)及其作用將低維空間中的非線性問(wèn)題映射到高維空間，轉(zhuǎn)化為線性問(wèn)題求解。軟間隔與正則化允許部分樣本違反約束條件，同時(shí)通過(guò)正則化項(xiàng)控制模型復(fù)雜度。模型選擇與調(diào)參介紹了交叉驗(yàn)證、網(wǎng)格搜索等模型選擇方法，以及常用參數(shù)的調(diào)整策略。本次課程重點(diǎn)內(nèi)容回顧支持向量機(jī)優(yōu)缺點(diǎn)分析01優(yōu)點(diǎn)02在高維空間中表現(xiàn)優(yōu)異，尤其適用于文本分類等任務(wù)。03對(duì)于非線性問(wèn)題，通過(guò)核函數(shù)映射可取得較好效果。模型魯棒性強(qiáng)，對(duì)噪聲和異常值不敏感。支持向量機(jī)優(yōu)缺點(diǎn)分析支持向量機(jī)優(yōu)缺點(diǎn)分析對(duì)大規(guī)模數(shù)據(jù)集訓(xùn)練時(shí)間較長(zhǎng)，內(nèi)存消耗大。核函數(shù)的選擇和參數(shù)