統(tǒng)計學(xué)習(xí)理論和支持向量機

統(tǒng)計學(xué)習(xí)理論和支持向量機第一頁，共三十五頁，編輯于2023年，星期一本章主要內(nèi)容13.1機器學(xué)習(xí)問題的表示

13.3統(tǒng)計學(xué)習(xí)理論的主要內(nèi)容

13.2統(tǒng)計學(xué)習(xí)理論的發(fā)展歷程

13.4最優(yōu)分類面

13.5支持向量機的基本原理(熟悉)(了解)(重點)(重點)(熟悉)第二頁，共三十五頁，編輯于2023年，星期一13.1機器學(xué)習(xí)問題的表示

第三頁，共三十五頁，編輯于2023年，星期一13.1.1機器學(xué)習(xí)與模式識別的關(guān)系

機器學(xué)習(xí)——讓機器擁有類似人類的學(xué)習(xí)能力；機器學(xué)習(xí)是人工智能的重要分支；模式識別可以看作是機器學(xué)習(xí)的特例。

如果在人工智能上有所突破，以至于機器能夠?qū)W習(xí)，那么它將價值10個微軟?！狟.Gates，2004第四頁，共三十五頁，編輯于2023年，星期一13.1.2機器學(xué)習(xí)的發(fā)展歷史起源:上世紀(jì)50年代中葉

70年代中葉——80年代中葉：探索各種學(xué)習(xí)方法;50年代中葉——60年代中葉：研究各種自適應(yīng)系統(tǒng)；

代表作:Samuel的下棋程序60年代中葉——70年代中葉：模擬人類的概念學(xué)習(xí)過程;

代表作:Winston的結(jié)構(gòu)學(xué)習(xí)系統(tǒng)

第五頁，共三十五頁，編輯于2023年，星期一13.1.2機器學(xué)習(xí)的發(fā)展歷史（續(xù)）90年代中葉——當(dāng)前：分類器集成、海量樣本學(xué)習(xí)、增強學(xué)習(xí)、學(xué)習(xí)復(fù)雜隨機模型、核機器學(xué)習(xí)等;

吸引了越來越多的學(xué)者進行機器學(xué)習(xí)研究;1980年,在卡內(nèi)基-梅隆大學(xué)（CMU）:召開了第一屆機器學(xué)習(xí)國際研討會,標(biāo)志著機器學(xué)習(xí)研究在全世界興起。

80年代中葉——90年代中葉：主要研究人工神經(jīng)網(wǎng)絡(luò);第六頁，共三十五頁，編輯于2023年，星期一13.1.3機器學(xué)習(xí)研究領(lǐng)域的細分即人工神經(jīng)網(wǎng)絡(luò)（ANN）學(xué)習(xí)今天要講的內(nèi)容第七頁，共三十五頁，編輯于2023年，星期一13.1.4機器學(xué)習(xí)問題的表示已知：

學(xué)習(xí)樣本及其相應(yīng)的目標(biāo)值使期望風(fēng)險最小

三類最基本的學(xué)習(xí)問題：

分類：

回歸：

密度估計：損失函數(shù)第八頁，共三十五頁，編輯于2023年，星期一13.2統(tǒng)計學(xué)習(xí)理論的發(fā)展歷程

第九頁，共三十五頁，編輯于2023年，星期一13.2.1統(tǒng)計學(xué)習(xí)歷程發(fā)展歷程簡介20世紀(jì)60年代由Vapnik等人開始研究。這一階段的研究成果見教材第7章；

這一階段的成果理論艱澀，實踐性差，沒有引起關(guān)注；20世紀(jì)90年代開始形成一個較完善的理論體系。同時人工神經(jīng)網(wǎng)絡(luò)（ANN）的研究則遇到重要困難（過學(xué)習(xí)等），因此統(tǒng)計學(xué)習(xí)理論受到關(guān)注；1992年在統(tǒng)計學(xué)習(xí)理論的基礎(chǔ)上發(fā)展出一種新的模式識別方法———支持向量機；

當(dāng)前統(tǒng)計學(xué)習(xí)理論正成為機器學(xué)習(xí)和模式識別領(lǐng)域新的研究熱點；第十頁，共三十五頁，編輯于2023年，星期一13.3統(tǒng)計學(xué)習(xí)理論的主要內(nèi)容

第十一頁，共三十五頁，編輯于2023年，星期一經(jīng)驗風(fēng)險：期望風(fēng)險：13.3.1期望風(fēng)險與經(jīng)驗風(fēng)險（理想）（現(xiàn)實）（不易計算）（易計算）

盡管在n趨于無窮大時能保證趨近于，但n有限時上述結(jié)論不一定成立。第十二頁，共三十五頁，編輯于2023年，星期一13.3.1期望風(fēng)險與經(jīng)驗風(fēng)險（續(xù)）例：直線擬合01230.010.010.010.220.010.010.220.010.010.220.010.010.220.010.010.01012312345第十三頁，共三十五頁，編輯于2023年，星期一13.3.1期望風(fēng)險與經(jīng)驗風(fēng)險（續(xù)）損失函數(shù)：經(jīng)驗風(fēng)險：期望風(fēng)險：

經(jīng)驗風(fēng)險最小化（ERM）：通過使最小求a和b。第十四頁，共三十五頁，編輯于2023年，星期一13.3.2VC維的概念VC維是衡量函數(shù)集分類能力的指標(biāo)，也是到目前為止對函數(shù)集學(xué)習(xí)性能的最好描述。打散（shattering）：一個含h個樣本的樣本集能夠被一個函數(shù)集中的函數(shù)按照所有可能的2**h種形式分為兩類（即函數(shù)集對樣本集具有完全二分能力），則稱函數(shù)集能夠把樣本數(shù)為h的樣本集打散。函數(shù)集的VC維：函數(shù)集中的函數(shù)所能夠打散的最大樣本集的樣本數(shù)目。2維直線構(gòu)成的函數(shù)集的VC維是3。

第十五頁，共三十五頁，編輯于2023年，星期一13.3.2VC維的概念（續(xù)）對于兩類分類問題，以下結(jié)論以概率成立：簡記為：置信范圍

上式表達了期望風(fēng)險、經(jīng)驗風(fēng)險與VC維三者間的關(guān)系；(h是VC維)第十六頁，共三十五頁，編輯于2023年，星期一13.3.3結(jié)構(gòu)風(fēng)險最小化s1s2s3hR期望風(fēng)險的上界：第十七頁，共三十五頁，編輯于2023年，星期一13.4最優(yōu)分類面第十八頁，共三十五頁，編輯于2023年，星期一13.4.1最優(yōu)分類面的概念

最優(yōu)分類面H：（1）H能完全分開樣本集；（2）H使得H1、H2間的距離最大。其中H1、H2為過各類樣本中離H最近的點且平行于H的直線。最優(yōu)分類面非最優(yōu)分類面第十九頁，共三十五頁，編輯于2023年，星期一X2MarginMarginWNote:13.4.2最優(yōu)分類面的求取樣本：類別：分類面：（2）（3）（1）（0）第二十頁，共三十五頁，編輯于2023年，星期一13.4.2最優(yōu)分類面的求?。ɡm(xù)）將（3）式代入（2）式，可得（1）式的對偶規(guī)劃maxs.t.解上式可得最優(yōu)的

代入（3）式可得權(quán)向量代入（0）式可得分類面（4）第二十一頁，共三十五頁，編輯于2023年，星期一13.4.2最優(yōu)分類面的求?。ɡm(xù)）第二十二頁，共三十五頁，編輯于2023年，星期一例：求兩個樣本間的最優(yōu)分類面13.4.2最優(yōu)分類面的求?。ɡm(xù)）已知條件約束優(yōu)化問題：mins.t.分類面：mins.t.第二十三頁，共三十五頁，編輯于2023年，星期一13.4.2最優(yōu)分類面的求?。ɡm(xù)）maxs.t.對偶規(guī)劃maxs.t.（1）（2）將（2）式代入（1）式，同時將已知條件代入max分類面：權(quán)值：第二十四頁，共三十五頁，編輯于2023年，星期一13.5支持向量機的基本原理第二十五頁，共三十五頁，編輯于2023年，星期一13.5.1支持向量機的基本思路

首先將樣本從輸入空間映射到高維空間中，然后在高維空間中求取最優(yōu)分類面；第二十六頁，共三十五頁，編輯于2023年，星期一13.5.2支持向量機原理與拓撲結(jié)構(gòu)min樣本：類別：樣本：類別：min第二十七頁，共三十五頁，編輯于2023年，星期一13.5.2支持向量機原理與拓撲結(jié)構(gòu)（續(xù)）核函數(shù)：第二十八頁，共三十五頁，編輯于2023年，星期一13.5.2支持向量機原理與拓撲結(jié)構(gòu)（續(xù)）第二十九頁，共三十五頁，編輯于2023年，星期一13.5.3支持向量機與徑向基函數(shù)網(wǎng)絡(luò)的比較SVMRBF網(wǎng)絡(luò)第三十頁，共三十五頁，編輯于2023年，星期一13.5.4支持向量機當(dāng)前的研究狀況與其它學(xué)習(xí)模型的等價性SVM快速算法多類SVM分類機LS—SVM與LP—SVMSVM與其它分類器的融合

算法改進與性能分析核函數(shù)設(shè)計及模型選擇

“科研反哺教學(xué)”；第三十一頁，共三十五頁，編輯于2023年，星期一算法改進與性能分析13.5.4支持向量機當(dāng)前的研究狀況（續(xù)）例：剪輯支持向量機原始樣本集SVM初分類去除錯分樣本與重疊區(qū)樣本得到新樣本集SVM再分類第三十二頁，共三十五頁，編輯于2023年，星期一13.5.4支持向量機當(dāng)前的研究狀況（續(xù)）與其它學(xué)習(xí)模型的等價性例：ＳＶＭ與基于規(guī)劃的神經(jīng)網(wǎng)絡(luò)的等價性著名的M-P神經(jīng)元模型對線性可分樣本集通常設(shè)增廣向量可將樣本集分開的某分類面必滿足：基于規(guī)劃的神經(jīng)網(wǎng)絡(luò)：其中第三十三頁，共三十五頁，編輯于2023年，星期一13.5.4支持向量機當(dāng)前的研究狀況（續(xù)）核函數(shù)設(shè)計及模型選擇RBFKMODKMODRBFEXPORBF核：KMOD核：KMOD核的好處：核函數(shù)K從某種意義上說是原始空間兩個向量間相關(guān)性的度量。當(dāng)非常大時，ＲＢＦ核使本該存在的向量間的相關(guān)性變?yōu)椋?，而ＫＭＯＤ核考慮了這種相關(guān)性．例：

KernelwithModerateDecreasing(KMOD)第三十四頁，共三十五頁，編輯于2023年，星期一13.5.4支持向量機當(dāng)前的研究狀況（續(xù)）SVM快速算法第一類：分解算法

(1)Chunking(Vapniketal.)(2)WorkSet(Osunaetal.)(3)(Joachimsetal.)(4)SMO(Plattetal.)SMO:

sequentialminimaloptimization第二類：其它算法

(1)RNN