統(tǒng)計學習理論和支持向量機演示文稿

統(tǒng)計學習理論和支持向量機演示文稿本文檔共33頁；當前第1頁；編輯于星期日\22點49分（優(yōu)選）統(tǒng)計學習理論和支持向量機本文檔共33頁；當前第2頁；編輯于星期日\22點49分13.1機器學習問題的表示

本文檔共33頁；當前第3頁；編輯于星期日\22點49分13.1.1機器學習與模式識別的關(guān)系機器學習——讓機器擁有類似人類的學習能力；機器學習是人工智能的重要分支；模式識別可以看作是機器學習的特例。如果在人工智能上有所突破，以至于機器能夠?qū)W習，那么它將價值10個微軟?！狟.Gates，2004本文檔共33頁；當前第4頁；編輯于星期日\22點49分13.1.2機器學習的發(fā)展歷史起源:上世紀50年代中葉

70年代中葉——80年代中葉：探索各種學習方法;50年代中葉——60年代中葉：研究各種自適應系統(tǒng)；

代表作:Samuel的下棋程序60年代中葉——70年代中葉：模擬人類的概念學習過程;

代表作:Winston的結(jié)構(gòu)學習系統(tǒng)

本文檔共33頁；當前第5頁；編輯于星期日\22點49分13.1.2機器學習的發(fā)展歷史（續(xù)）90年代中葉——當前：分類器集成、海量樣本學習、增強學習、學習復雜隨機模型、核機器學習等;吸引了越來越多的學者進行機器學習研究;1980年,在卡內(nèi)基-梅隆大學（CMU）:召開了第一屆機器學習國際研討會,標志著機器學習研究在全世界興起。

80年代中葉——90年代中葉：主要研究人工神經(jīng)網(wǎng)絡;本文檔共33頁；當前第6頁；編輯于星期日\22點49分13.1.3機器學習研究領(lǐng)域的細分即人工神經(jīng)網(wǎng)絡（ANN）學習今天要講的內(nèi)容本文檔共33頁；當前第7頁；編輯于星期日\22點49分13.1.4機器學習問題的表示已知：

學習樣本及其相應的目標值使期望風險最小

三類最基本的學習問題：

分類：

回歸：

密度估計：損失函數(shù)本文檔共33頁；當前第8頁；編輯于星期日\22點49分13.2統(tǒng)計學習理論的發(fā)展歷程

本文檔共33頁；當前第9頁；編輯于星期日\22點49分13.2.1統(tǒng)計學習歷程發(fā)展歷程簡介20世紀60年代由Vapnik等人開始研究。這一階段的研究成果見教材第7章；這一階段的成果理論艱澀，實踐性差，沒有引起關(guān)注；20世紀90年代開始形成一個較完善的理論體系。同時人工神經(jīng)網(wǎng)絡（ANN）的研究則遇到重要困難（過學習等），因此統(tǒng)計學習理論受到關(guān)注；1992年在統(tǒng)計學習理論的基礎(chǔ)上發(fā)展出一種新的模式識別方法———支持向量機；當前統(tǒng)計學習理論正成為機器學習和模式識別領(lǐng)域新的研究熱點；本文檔共33頁；當前第10頁；編輯于星期日\22點49分13.3統(tǒng)計學習理論的主要內(nèi)容

本文檔共33頁；當前第11頁；編輯于星期日\22點49分經(jīng)驗風險：期望風險：13.3.1期望風險與經(jīng)驗風險（理想）（現(xiàn)實）（不易計算）（易計算）盡管在n趨于無窮大時能保證趨近于，但n有限時上述結(jié)論不一定成立。本文檔共33頁；當前第12頁；編輯于星期日\22點49分13.3.1期望風險與經(jīng)驗風險（續(xù)）例：直線擬合01230.010.010.010.220.010.010.220.010.010.220.010.010.220.010.010.01012312345本文檔共33頁；當前第13頁；編輯于星期日\22點49分13.3.1期望風險與經(jīng)驗風險（續(xù)）損失函數(shù)：經(jīng)驗風險：期望風險：經(jīng)驗風險最小化（ERM）：通過使最小求a和b。本文檔共33頁；當前第14頁；編輯于星期日\22點49分13.3.2VC維的概念VC維是衡量函數(shù)集分類能力的指標，也是到目前為止對函數(shù)集學習性能的最好描述。打散（shattering）：一個含h個樣本的樣本集能夠被一個函數(shù)集中的函數(shù)按照所有可能的2**h種形式分為兩類（即函數(shù)集對樣本集具有完全二分能力），則稱函數(shù)集能夠把樣本數(shù)為h的樣本集打散。函數(shù)集的VC維：函數(shù)集中的函數(shù)所能夠打散的最大樣本集的樣本數(shù)目。2維直線構(gòu)成的函數(shù)集的VC維是3。

本文檔共33頁；當前第15頁；編輯于星期日\22點49分13.3.2VC維的概念（續(xù)）對于兩類分類問題，以下結(jié)論以概率成立：簡記為：置信范圍上式表達了期望風險、經(jīng)驗風險與VC維三者間的關(guān)系；(h是VC維)本文檔共33頁；當前第16頁；編輯于星期日\22點49分13.3.3結(jié)構(gòu)風險最小化s1s2s3期望風險的上界：本文檔共33頁；當前第17頁；編輯于星期日\22點49分13.4最優(yōu)分類面本文檔共33頁；當前第18頁；編輯于星期日\22點49分13.4.1最優(yōu)分類面的概念

最優(yōu)分類面H：（1）H能完全分開樣本集；（2）H使得H1、H2間的距離最大。其中H1、H2為過各類樣本中離H最近的點且平行于H的直線。最優(yōu)分類面非最優(yōu)分類面本文檔共33頁；當前第19頁；編輯于星期日\22點49分X2MarginMarginWNote:13.4.2最優(yōu)分類面的求取樣本：類別：分類面：（2）（3）（1）（0）本文檔共33頁；當前第20頁；編輯于星期日\22點49分13.4.2最優(yōu)分類面的求?。ɡm(xù)）將（3）式代入（2）式，可得（1）式的對偶規(guī)劃maxs.t.解上式可得最優(yōu)的

代入（3）式可得權(quán)向量代入（0）式可得分類面（4）本文檔共33頁；當前第21頁；編輯于星期日\22點49分13.4.2最優(yōu)分類面的求?。ɡm(xù)）本文檔共33頁；當前第22頁；編輯于星期日\22點49分例：求兩個樣本間的最優(yōu)分類面13.4.2最優(yōu)分類面的求?。ɡm(xù)）已知條件約束優(yōu)化問題：mins.t.分類面：mins.t.本文檔共33頁；當前第23頁；編輯于星期日\22點49分13.4.2最優(yōu)分類面的求?。ɡm(xù)）maxs.t.對偶規(guī)劃maxs.t.（1）（2）將（2）式代入（1）式，同時將已知條件代入max分類面：權(quán)值：本文檔共33頁；當前第24頁；編輯于星期日\22點49分13.5支持向量機的基本原理本文檔共33頁；當前第25頁；編輯于星期日\22點49分13.5.1支持向量機的基本思路首先將樣本從輸入空間映射到高維空間中，然后在高維空間中求取最優(yōu)分類面；本文檔共33頁；當前第26頁；編輯于星期日\22點49分13.5.2支持向量機原理與拓撲結(jié)構(gòu)min樣本：類別：樣本：類別：min本文檔共33頁；當前第27頁；編輯于星期日\22點49分13.5.2支持向量機原理與拓撲結(jié)構(gòu)（續(xù)）核函數(shù)：本文檔共33頁；當前第28頁；編輯于星期日\22點49分13.5.2支持向量機原理與拓撲結(jié)構(gòu)（續(xù)）本文檔共33頁；當前第29頁；編輯于星期日\22點49分13.5.3支持向量機與徑向基函數(shù)網(wǎng)絡的比較SVMRBF網(wǎng)絡本文檔共33頁；當前第30頁；編輯于星期日\22點49分13.5.4支持向量機當前的研究狀況與其它學習模型的等價性SVM快速算法多類SVM分類機LS—SVM與LP—SVMSVM與其它分類器的融合

算法改進與性能分析核函數(shù)設(shè)計及模型選擇

“科研反哺教學”；本文檔共33頁；當前第31頁；編輯于星期日\22點49分算法改進與性能分析13.5.4支持向量機當前的研究狀況（續(xù)）例：剪輯支持向量機原始樣本集SVM初分類去除錯分樣本與重疊區(qū)樣本得到新