人工神經(jīng)網(wǎng)絡(luò)-SVM-深度學(xué)習(xí)簡介-文檔資料

1、1神經(jīng)網(wǎng)絡(luò)及SVM簡介2 以馮以馮諾依曼型計算機為中心的信息處理技術(shù)的高速諾依曼型計算機為中心的信息處理技術(shù)的高速發(fā)展，使得計算機在當(dāng)今的信息化社會中起著十分重要發(fā)展，使得計算機在當(dāng)今的信息化社會中起著十分重要的作用。但是，當(dāng)用它來解決某些人工智能問題時卻遇的作用。但是，當(dāng)用它來解決某些人工智能問題時卻遇到了很大的困難。到了很大的困難。 例如，一個人可以很容易地識別他人的臉孔，但計例如，一個人可以很容易地識別他人的臉孔，但計算機則很難做到這一點。算機則很難做到這一點。 大腦是由生物神經(jīng)元構(gòu)成的巨型網(wǎng)絡(luò)，它在本質(zhì)上大腦是由生物神經(jīng)元構(gòu)成的巨型網(wǎng)絡(luò)，它在本質(zhì)上不同于計算機，是一種大規(guī)模的并行處理系

2、統(tǒng)，它具有不同于計算機，是一種大規(guī)模的并行處理系統(tǒng)，它具有學(xué)習(xí)、聯(lián)想記憶、綜合等能力，并有巧妙的信息處理方學(xué)習(xí)、聯(lián)想記憶、綜合等能力，并有巧妙的信息處理方法。法。 人工神經(jīng)網(wǎng)絡(luò)來源于對人腦實際神經(jīng)網(wǎng)絡(luò)的模擬人工神經(jīng)網(wǎng)絡(luò)來源于對人腦實際神經(jīng)網(wǎng)絡(luò)的模擬一、一、 神經(jīng)網(wǎng)絡(luò)發(fā)展歷史神經(jīng)網(wǎng)絡(luò)發(fā)展歷史背景知識背景知識3人腦和CPU4神經(jīng)細胞利用電-化學(xué)過程交換信號。輸入信號來自另一些神經(jīng)細胞。這些神經(jīng)細胞的軸突末梢（也就是終端）和本神經(jīng)細胞的樹突相遇形成突觸（synapse），信號就從樹突上的突觸進入本細胞。信號在大腦中實際怎樣傳輸是一個相當(dāng)復(fù)雜的過程，但就我們而言，重要的是把它看成和現(xiàn)代的計算機一樣，利

3、用一系列的0和1來進行操作。就是說，大腦的神經(jīng)細胞也只有兩種狀態(tài)：興奮（fire）和不興奮（即抑制）。發(fā)射信號的強度不變，變化的僅僅是頻率。神經(jīng)細胞利用一種我們還不知道的方法,把所有從樹突上突觸進來的信號進行相加，如果全部信號的總和超過某個閥值，就會激發(fā)神經(jīng)細胞進入興奮（fire）狀態(tài)，這時就會有一個電信號通過軸突發(fā)送出去給其他神經(jīng)細胞。如果信號總和沒有達到閥值，神經(jīng)細胞就不會興奮起來。5人腦和CPU動 物神經(jīng)細胞的數(shù)目（數(shù)量級）蝸 牛10,000 （=104）蜜 蜂100,000 （=105）蜂 雀10,000,000 （=107）老 鼠100,000,000 （=108）人 類10,000

4、,000,000 （=1010）大 象100,000,000,000 （=1011）6人腦和CPUCPU 只具備一個功能 就是二進制加法運算7人腦的特點對損傷有冗余性對損傷有冗余性(tolerance)能實現(xiàn)無監(jiān)督的學(xué)習(xí)能實現(xiàn)無監(jiān)督的學(xué)習(xí)處理信息的效率極高處理信息的效率極高善于歸納推廣善于歸納推廣CPU i7 3.0 Ghz，4個核人腦 100hz，10G個核8人工神經(jīng)網(wǎng)絡(luò)一個人工神經(jīng)網(wǎng)絡(luò)(Artificial neural network,簡稱ANN)就是要在當(dāng)代數(shù)字計算機現(xiàn)有規(guī)模的約束下，來模擬這種大量的并行性,并在實現(xiàn)這一工作時，使它能顯示許多和生物學(xué)大腦相類似的特性。9 人工神經(jīng)網(wǎng)絡(luò)（

5、人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Netwroks，簡稱，簡稱ANN）是對人類大腦系統(tǒng)的一種仿真，簡單地講，它是）是對人類大腦系統(tǒng)的一種仿真，簡單地講，它是一個數(shù)學(xué)模型，可以用電子線路來實現(xiàn)，也可以用計算一個數(shù)學(xué)模型，可以用電子線路來實現(xiàn)，也可以用計算機程序來模擬，是人工智能研究的一種方法。機程序來模擬，是人工智能研究的一種方法。 實際上它是由大量的、功能比較簡單的形式神經(jīng)元實際上它是由大量的、功能比較簡單的形式神經(jīng)元互相連接而構(gòu)成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，用它可以模擬大腦的互相連接而構(gòu)成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，用它可以模擬大腦的許多基本功能和簡單的思維方式。盡管它還不是大腦的許多基本功能和簡單

6、的思維方式。盡管它還不是大腦的完美元缺的模型，但它可以通過學(xué)習(xí)來獲取外部的知識完美元缺的模型，但它可以通過學(xué)習(xí)來獲取外部的知識并存貯在網(wǎng)絡(luò)內(nèi)，可以解決計算機不易處理的難題，特并存貯在網(wǎng)絡(luò)內(nèi)，可以解決計算機不易處理的難題，特別是別是語音和圖像的識別、理解、知識的處理、組合優(yōu)化語音和圖像的識別、理解、知識的處理、組合優(yōu)化計算和智能控制等計算和智能控制等一系列本質(zhì)上是非計算的問題。一系列本質(zhì)上是非計算的問題。 2什么是人工神經(jīng)網(wǎng)絡(luò)什么是人工神經(jīng)網(wǎng)絡(luò)10 1943年年,美國心理學(xué)家美國心理學(xué)家W.McCulloch和數(shù)學(xué)家和數(shù)學(xué)家W.Pitts在提出了一個簡單的神經(jīng)元模型，即在提出了一個簡單的神經(jīng)元模

7、型，即MP模型。模型。1958年，年，F(xiàn).Rosenblatt等研制出了等研制出了感知機感知機(Perceptron）。3幾個發(fā)展階段幾個發(fā)展階段q 第一次熱潮第一次熱潮(40-60年代未年代未) 1982年，美國物理學(xué)家年，美國物理學(xué)家J.J.Hopfield提出提出Hopfield模型模型，它是一個互聯(lián)的非線性動力學(xué)網(wǎng)絡(luò)他解決問題的，它是一個互聯(lián)的非線性動力學(xué)網(wǎng)絡(luò)他解決問題的方法是一種反復(fù)運算的動態(tài)過程方法是一種反復(fù)運算的動態(tài)過程,這是符號邏輯處理方法這是符號邏輯處理方法所不具備的性質(zhì)所不具備的性質(zhì). 1987年首屆國際年首屆國際ANN大會在圣地亞哥大會在圣地亞哥召開，國際召開，國際ANN

8、聯(lián)合會成立，創(chuàng)辦了多種聯(lián)合會成立，創(chuàng)辦了多種ANN國際刊物。國際刊物。1990年年12月，北京召開首屆學(xué)術(shù)會議。月，北京召開首屆學(xué)術(shù)會議。q 低潮低潮(70-80年代初年代初)q 第二次熱潮第二次熱潮q 第三次熱潮第三次熱潮 GPU 大數(shù)據(jù)大數(shù)據(jù) 新方法新方法 深度學(xué)習(xí)理論深度學(xué)習(xí)理論11學(xué)習(xí)的類型12人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)元模型x1xn表示與該神經(jīng)元相連接的所有神經(jīng)元的輸入（出）w1wn表示與相連接神經(jīng)元的突觸強度（連接權(quán)） 表示神經(jīng)元的（電壓）閾值。f ( )表示激勵函數(shù),單調(diào)上升函數(shù)，且取有限值神經(jīng)元電位值：神經(jīng)元的輸出值：y =f(s)1x2xnx1w2wnwf ( ). .ysniii

9、txwfty1)()(13人工神經(jīng)網(wǎng)絡(luò)激勵函數(shù)的基本作用控制輸入對輸出的激活；對輸入、輸出進行函數(shù)轉(zhuǎn)換；將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出。激勵函數(shù)類型閾值函數(shù)線性函數(shù)非線性函數(shù) Sigmoid函數(shù)14人工神經(jīng)網(wǎng)絡(luò)Sigmoid函數(shù)就是把神經(jīng)細胞原有的階躍式輸出曲線鈍化為一光滑曲線 S型函數(shù)具有非線性放大系數(shù)功能，可以把輸入從負(fù)無窮大到正無窮大的信號，變換成-1到l之間輸出 對較大的輸入信號，放大系數(shù)較??；而對較小的輸入信號，放大系數(shù)則較大 采用S型激活函數(shù)可以處理和逼近非線性輸入/輸出關(guān)系15BP神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)16BP神經(jīng)網(wǎng)絡(luò)計算神經(jīng)網(wǎng)絡(luò)計算17BP神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò) Rumel

10、hart，McClelland于1985年提出了BP網(wǎng)絡(luò)的誤差反向后傳BP(Back Propagation)學(xué)習(xí)算法 BP神經(jīng)網(wǎng)絡(luò)是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。它的學(xué)習(xí)規(guī)則是使用最速下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。J. McClelland David Rumelhart 2022-3-618學(xué)習(xí)規(guī)則BP算法屬于算法，是一種監(jiān)督式的學(xué)習(xí)算法主要思想對于q個輸入學(xué)習(xí)樣本：P1,P2,Pq，已知與其對應(yīng)的輸出樣本為：T1,T2,Tq使網(wǎng)絡(luò)輸出層的誤差平方和達到最小用網(wǎng)絡(luò)的實際輸出A1,A2,Aq, 與目標(biāo)矢量

11、T1,T2,Tq之間的誤差修改其權(quán)值，使Am與期望的Tm,(ml,q)盡可能接近2022-3-619學(xué)習(xí)規(guī)則BP算法是由兩部分組成,信息的正向傳遞與誤差的反向傳播正向傳播過程中，輸入信息從輸入層經(jīng)隱含層逐層計算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)如果在輸出層未得到期望的輸出，則計算輸出層的誤差變化值，然后轉(zhuǎn)向反向傳播，通過網(wǎng)絡(luò)將誤差信號沿原來的連接通路反傳回來修改各層神經(jīng)元的權(quán)值直至達到期望目標(biāo)2021 一般認(rèn)為，增加隱層數(shù)可以降低網(wǎng)絡(luò)誤差（也有文獻認(rèn)為不一定能有效降低），提高精度，但也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)的訓(xùn)練時間和出現(xiàn)“過擬合”現(xiàn)象。Hornik等早已證明：若輸入

12、層和輸出層采用線性轉(zhuǎn)換函數(shù)，隱層采用Sigmoid轉(zhuǎn)換函數(shù)，則含一個隱層的MLP網(wǎng)絡(luò)能夠以任意精度逼近任何有理函數(shù)。顯然，這是一個存在性結(jié)論。在設(shè)計BP網(wǎng)絡(luò)時可參考這一點，應(yīng)優(yōu)先考慮3層BP網(wǎng)絡(luò)（即有1個隱層）。一般地，靠增加隱層節(jié)點數(shù)來獲得較低的誤差，其訓(xùn)練效果要比增加隱層數(shù)更容易實現(xiàn)。隱層數(shù)隱層數(shù)22 隱層節(jié)點數(shù)隱層節(jié)點數(shù)在BP 網(wǎng)絡(luò)中，隱層節(jié)點數(shù)的選擇非常重要，它不僅對建立的神經(jīng)網(wǎng)絡(luò)模型的性能影響很大，而且是訓(xùn)練時出現(xiàn)“過擬合”的直接原因，但是目前理論上還沒有一種科學(xué)的和普遍的確定方法。目前多數(shù)文獻中提出的確定隱層節(jié)點數(shù)的計算公式都是針對訓(xùn)練樣本任意多的情況。事實上，各種計算公式得到的隱

13、層節(jié)點數(shù)有時相差幾倍甚至上百倍。確定隱層節(jié)點數(shù)的最基本原則是：在滿足精度要求的前提下取盡可能緊湊的結(jié)構(gòu)，即取盡可能少的隱層節(jié)點數(shù)。研究表明，隱層節(jié)點數(shù)不僅與輸入/輸出層的節(jié)點數(shù)有關(guān)，更與需解決的問題的復(fù)雜程度和轉(zhuǎn)換函數(shù)的型式以及樣本數(shù)據(jù)的特性等因素有關(guān)。23應(yīng)用實例應(yīng)用實例24net = newff ( A, B, C, trainfun )q Matlab命令命令A(yù)是一個是一個 n 2的矩陣，第的矩陣，第 i 行元素為輸入信號行元素為輸入信號 x i 的的最最小值和最大值小值和最大值；q 參數(shù)說明參數(shù)說明B為一為一 k 維行向量，其元素為各維行向量，其元素為各隱層節(jié)點數(shù)隱層節(jié)點數(shù)；train

14、fun為學(xué)習(xí)規(guī)則采用的為學(xué)習(xí)規(guī)則采用的訓(xùn)練函數(shù)訓(xùn)練函數(shù)（常見訓(xùn)練函數(shù)如下（常見訓(xùn)練函數(shù)如下表）。表）。C為一為一k 維字符串行向量，每一分量為對應(yīng)層神經(jīng)元的維字符串行向量，每一分量為對應(yīng)層神經(jīng)元的激激勵函數(shù)勵函數(shù)；25函數(shù)名函數(shù)名功能功能函數(shù)名函數(shù)名traingd梯度下降法梯度下降法traincgftraingdm勢能修正法勢能修正法traincgptraingdx自調(diào)整學(xué)習(xí)效率法自調(diào)整學(xué)習(xí)效率法traincgbtrainrp恢復(fù)恢復(fù)BP法法trainscgFR共軛梯度法共軛梯度法trainbfgBFGS擬牛頓法擬牛頓法PR共軛梯度法共軛梯度法trainoss一步共軛一步共軛 + 擬牛頓擬牛頓

15、PB共軛梯度法共軛梯度法trainlmLM法法標(biāo)量共軛梯度法標(biāo)量共軛梯度法trainbrBayesian規(guī)范法規(guī)范法2. 常見訓(xùn)練函數(shù)常見訓(xùn)練函數(shù)26MATLAB中激勵函數(shù)為中激勵函數(shù)為1log( )1xsig xetan( )xxxxeesig xee( )purelin xx其字符串分別為：其字符串分別為：logsig，tansig，purelin3. 激勵函數(shù)激勵函數(shù)27 除了需要輸入除了需要輸入A,B,C,trainfun外，還有些默認(rèn)的參數(shù)可外，還有些默認(rèn)的參數(shù)可修改，如下表修改，如下表4. 可修改參數(shù)可修改參數(shù)參數(shù)名參數(shù)名功能功能缺省值缺省值net.trainParam.goal目

16、標(biāo)函數(shù)設(shè)定值目標(biāo)函數(shù)設(shè)定值0net.trainParam.epochs最大迭代次數(shù)最大迭代次數(shù)100net.trainParam.show顯示中間結(jié)果的周期顯示中間結(jié)果的周期25net.trainParam.lr整批學(xué)習(xí)的學(xué)習(xí)效率整批學(xué)習(xí)的學(xué)習(xí)效率0.01net.trainParam.mc勢能學(xué)習(xí)規(guī)則勢能學(xué)習(xí)規(guī)則traingdm的勢能率的勢能率0.9注：不同版本注：不同版本Matlab的可修改參數(shù)列表可能不同。的可修改參數(shù)列表可能不同。28 net, tr, Y1, E = train ( net, X, Y )5. BP網(wǎng)絡(luò)的訓(xùn)練與泛化網(wǎng)絡(luò)的訓(xùn)練與泛化q 網(wǎng)絡(luò)訓(xùn)練網(wǎng)絡(luò)訓(xùn)練訓(xùn)訓(xùn)練練跟跟蹤蹤信信

17、息息訓(xùn)訓(xùn)練練后后網(wǎng)網(wǎng)絡(luò)絡(luò)網(wǎng)網(wǎng)絡(luò)絡(luò)實實際際輸輸出出誤誤差差矩矩陣陣網(wǎng)網(wǎng)絡(luò)絡(luò)訓(xùn)訓(xùn)練練函函數(shù)數(shù)未未經(jīng)經(jīng)訓(xùn)訓(xùn)練練網(wǎng)網(wǎng)絡(luò)絡(luò)網(wǎng)網(wǎng)絡(luò)絡(luò)實實際際輸輸入入網(wǎng)網(wǎng)絡(luò)絡(luò)應(yīng)應(yīng)有有輸輸出出X為為nM矩陣，為輸入數(shù)據(jù)矩陣，矩陣，為輸入數(shù)據(jù)矩陣，M為樣本的組數(shù)。為樣本的組數(shù)。Y為為mM矩陣，為輸出數(shù)據(jù)矩陣。矩陣，為輸出數(shù)據(jù)矩陣。29 訓(xùn)練結(jié)束后，對新的輸入點數(shù)據(jù)訓(xùn)練結(jié)束后，對新的輸入點數(shù)據(jù)X2，調(diào)用，調(diào)用sim函數(shù)進行泛函數(shù)進行泛化，得出這些輸入點處的輸出矩陣化，得出這些輸入點處的輸出矩陣Y2. q 數(shù)據(jù)泛化數(shù)據(jù)泛化Y2=sim(net,X2) 用經(jīng)過訓(xùn)練的網(wǎng)絡(luò)對于不是樣本集的輸入，計算出相應(yīng)用經(jīng)過訓(xùn)練的網(wǎng)絡(luò)對于不是樣本集的

18、輸入，計算出相應(yīng)的輸出。的輸出。 什么是數(shù)據(jù)泛化？什么是數(shù)據(jù)泛化？30例例1 由下面的語句生成一組數(shù)據(jù)由下面的語句生成一組數(shù)據(jù) x 和和 y，用神經(jīng)網(wǎng)絡(luò)進，用神經(jīng)網(wǎng)絡(luò)進行數(shù)據(jù)擬合行數(shù)據(jù)擬合 x=0:.1:10; y=0.12*exp(-0.213*x)+0.54*exp(-0.17*x).*sin(1.23*x);可知可知(x, y)是曲線是曲線 上的點。上的點。0.2130.170.120.54sin(1.23 )xxyeexx=0:.1:10;y=0.12*exp(-0.213*x)+0.54*exp(-0.17*x).*sin(1.23*x);net=newff(0,10,5,1,tan

19、sig,tansig);net.trainParam.epochs=1000;net=train(net,x,y);x0=0.05:.1:10;figure(1)y1=sim(net,x0);plot(x,y,o, x0,y1,r)0246810-0.4-0.200.20.40.631實例實例. 蠓蟲分類問題的神經(jīng)網(wǎng)絡(luò)方法蠓蟲分類問題的神經(jīng)網(wǎng)絡(luò)方法（1989年年MCM競賽題目競賽題目 ）生物學(xué)家試圖對兩種蠓蟲（生物學(xué)家試圖對兩種蠓蟲（Af與與Apf）進行）進行鑒別，依據(jù)的資料鑒別，依據(jù)的資料是觸角和翅膀的長度，已經(jīng)測得是觸角和翅膀的長度，已經(jīng)測得9只只Af和和6只只Apf的數(shù)據(jù)如下：的數(shù)據(jù)如下

20、： 9只只Af觸角長：觸角長：1.24 1.36 1.38 1.38 1.38 1.40 1.48 1.54 1.56翅膀長：翅膀長：1.72 1.74 1.64 1.82 1.90 1.70 1.82 1.82 2.086只只Apf觸角長：觸角長：1.14 1.18 1.20 1.26 1.28 1.30翅膀長：翅膀長：1.78 1.96 1.86 2.00 2.00 1.96問題：問題：（1）如何憑借原始資料）如何憑借原始資料(15 對數(shù)據(jù)對數(shù)據(jù),被稱之為學(xué)習(xí)樣本被稱之為學(xué)習(xí)樣本)制制 定一種方法定一種方法,正確區(qū)分兩類蠓蟲正確區(qū)分兩類蠓蟲; （2）依據(jù)確立的方法）依據(jù)確立的方法,對以下三

21、個樣本：對以下三個樣本： (1.24,1.80)，(1.28,1.84)，(1.40,2.04)加以識別加以識別 32解法一：解法一：建立建立兩層前向神經(jīng)網(wǎng)絡(luò)兩層前向神經(jīng)網(wǎng)絡(luò)如下：如下： 隱層節(jié)點可適量選?。]有具體標(biāo)準(zhǔn)）。隱層節(jié)點可適量選取（沒有具體標(biāo)準(zhǔn)）。X= 為輸入矩陣，為輸入矩陣，x1對應(yīng)于觸角長，對應(yīng)于觸角長， x2對應(yīng)于翅膀長。對應(yīng)于翅膀長。Y= 為輸出矩陣為輸出矩陣規(guī)定規(guī)定Af對應(yīng)的應(yīng)有輸出為對應(yīng)的應(yīng)有輸出為 ， Apf對應(yīng)的應(yīng)有輸出為對應(yīng)的應(yīng)有輸出為 1x2x1y2y輸入層隱層輸出層21xx21yy100133以上神經(jīng)網(wǎng)絡(luò)模型的以上神經(jīng)網(wǎng)絡(luò)模型的MATLAB程序如下：程序如下：

22、 x=1.24 1.36 1.38 1.38 1.38 1.40 1.48 1.54 1.56 1.14 1.18 1.20 1.26 1.28 1.30 1.72 1.74 1.64 1.82 1.90 1.70 1.82 1.82 2.08 1.78 1.96 1.86 2.00 2.00 1.96; %原始數(shù)據(jù)原始數(shù)據(jù)x=x-1.1; %數(shù)據(jù)標(biāo)準(zhǔn)化數(shù)據(jù)標(biāo)準(zhǔn)化y=0 0 0 0 0 0 0 0 0 1 1 1 1 1 1; 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0; %應(yīng)有的輸出應(yīng)有的輸出net=newff(0,1;0 1,5,2,tansig,tansig); %建立兩

23、層前向神經(jīng)網(wǎng)絡(luò)建立兩層前向神經(jīng)網(wǎng)絡(luò)%net.trainParam.goal=0.0000001; %設(shè)定訓(xùn)練誤差設(shè)定訓(xùn)練誤差net.trainParam.epochs=2000; %設(shè)定最大訓(xùn)練步數(shù)設(shè)定最大訓(xùn)練步數(shù)net=train(net,x,y); %訓(xùn)練網(wǎng)絡(luò)訓(xùn)練網(wǎng)絡(luò)y1=sim(net,x) %輸出數(shù)據(jù)輸出數(shù)據(jù)yy=sim(net,1.24 1.28 1.40;1.80 1.84 2.04) %數(shù)據(jù)泛化數(shù)據(jù)泛化34underfittingoverfittinggood fit神經(jīng)網(wǎng)絡(luò)的問題神經(jīng)網(wǎng)絡(luò)的問題1 需要大樣本需要大樣本2 隱層的個數(shù)無公式隱層的個數(shù)無公式3 整個計算過程過于模糊，

24、很容易陷入局整個計算過程過于模糊，很容易陷入局部最優(yōu)導(dǎo)致欠擬合或者過擬合部最優(yōu)導(dǎo)致欠擬合或者過擬合35SVM的理論基礎(chǔ)傳統(tǒng)的統(tǒng)計模式識別方法只有在樣本趨向無窮大時，其性能才有理論的保證。統(tǒng)計學(xué)習(xí)理論（STL）研究有限樣本情況下的機器學(xué)習(xí)問題。SVM的理論基礎(chǔ)就是統(tǒng)計學(xué)習(xí)理論。傳統(tǒng)的統(tǒng)計模式識別方法在進行機器學(xué)習(xí)時，強調(diào)經(jīng)驗風(fēng)險最小化。而單純的經(jīng)驗風(fēng)險最小化會產(chǎn)生“過學(xué)習(xí)問題”，其推廣能力較差。推廣能力推廣能力是指: 將學(xué)習(xí)機器(即預(yù)測函數(shù),或稱學(xué)習(xí)函數(shù)、學(xué)習(xí)模型)對未來輸出進行正確預(yù)測的能力。36SVM根據(jù)統(tǒng)計學(xué)習(xí)理論，學(xué)習(xí)機器的實際風(fēng)險由經(jīng)驗風(fēng)險值和置信范圍值兩部分組成。而基于經(jīng)驗風(fēng)險最小化

25、準(zhǔn)則的學(xué)習(xí)方法只強調(diào)了訓(xùn)練樣本的經(jīng)驗風(fēng)險最小誤差，沒有最小化置信范圍值，因此其推廣能力較差。Vapnik 提出的支持向量機（Support Vector Machine, SVM）以訓(xùn)練誤差作為優(yōu)化問題的約束條件，以置信范圍值最小化作為優(yōu)化目標(biāo)，即SVM是一種基于結(jié)構(gòu)風(fēng)險最小化準(zhǔn)則的學(xué)習(xí)方法，其推廣能力明顯優(yōu)于一些傳統(tǒng)的學(xué)習(xí)方法。形成時期在19921995年。 37線性判別函數(shù)和判別面 一個線性判別函數(shù)(discriminant function)是指由x的各個分量的線性組合而成的函數(shù) 兩類情況:對于兩類問題的決策規(guī)則為 如果g(x)0，則判定x屬于C1， 如果g(x)0，則判定x屬于C2，

26、如果g(x)=0，則可以將x任意 分到某一類或者拒絕判定。 0( )Tg xw xw38最優(yōu)分類面 SVM 是從線性可分情況下的最優(yōu)分類面發(fā)展而來的, 基本思想可用圖2的兩維情況說明. 圖中, 方形點和圓形點代表兩類樣本, H 為分類線,H1, H2分別為過各類中離分類線最近的樣本且平行于分類線的直線, 它們之間的距離叫做分類間隔(margin)。所謂最優(yōu)分類線就是要求分類線不但能將兩類正確分開(訓(xùn)練錯誤率為0),而且使分類間隔最大.推廣到高維空間，最優(yōu)分類線就變?yōu)樽顑?yōu)分類面。 39分類超平面示意圖 最優(yōu)分類超平面圖2w兩類樣本中離分類面最近的點且平行于最優(yōu)分類超平面的樣本點叫做支持向量。 4

27、0非線性變換 基本思想： 選擇非線性映射(X)將x映射到高維特征空間Z，在Z中構(gòu)造最優(yōu)超平面41SVM方法的特點非線性映射是SVM方法的理論基礎(chǔ),SVM利用內(nèi)積核函數(shù)代替向高維空間的非線性映射;對特征空間劃分的最優(yōu)超平面是SVM的目標(biāo),最大化分類邊際的思想是SVM方法的核心;支持向量是SVM的訓(xùn)練結(jié)果,在SVM分類決策中起決定作用的是支持向量。 SVM 是一種有堅實理論基礎(chǔ)的新穎的小樣本學(xué)習(xí)方法。它基本上不涉及概率測度及大數(shù)定律等,因此不同于現(xiàn)有的統(tǒng)計方法。從本質(zhì)上看,它避開了從歸納到演繹的傳統(tǒng)過程,實現(xiàn)了高效的從訓(xùn)練樣本到預(yù)報樣本的“轉(zhuǎn)導(dǎo)推理”(transductive inference)

28、 ,大大簡化了通常的分類和回歸等問題。42SVM方法的特點SVM 的最終決策函數(shù)只由少數(shù)的支持向量所確定,計算的復(fù)雜性取決于支持向量的數(shù)目,而不是樣本空間的維數(shù),這在某種意義上避免了“維數(shù)災(zāi)難”。少數(shù)支持向量決定了最終結(jié)果,這不但可以幫助我們抓住關(guān)鍵樣本、“剔除”大量冗余樣本,而且注定了該方法不但算法簡單,而且具有較好的“魯棒”性。這種“魯棒”性主要體現(xiàn)在: 增、刪非支持向量樣本對模型沒有影響; 支持向量樣本集具有一定的魯棒性; 有些成功的應(yīng)用中,SVM 方法對核的選取不敏感。43深度學(xué)習(xí)深度學(xué)習(xí)44淺層學(xué)習(xí)是機器學(xué)習(xí)的第一次浪潮人工神經(jīng)網(wǎng)絡(luò)（BP算法）雖被稱作多層感知機，但實際是種只含有一層

29、隱層節(jié)點的淺層模型SVM、Boosting、最大熵方法（如LR，Logistic Regression）帶有一層隱層節(jié)點（如SVM、Boosting），或沒有隱層節(jié)點（如LR）的淺層模型局限性：有限樣本和計算單元情況下對復(fù)雜函數(shù)的表示能力有限，針對復(fù)雜分類問題其泛化能力受限。基本概念基本概念淺層學(xué)習(xí)與深度學(xué)習(xí)淺層學(xué)習(xí)與深度學(xué)習(xí)452006年，加拿大多倫多大學(xué)教授、機器學(xué)習(xí)領(lǐng)域的泰斗Geoffrey Hinton在科學(xué)上發(fā)表論文提出深度學(xué)習(xí)主要觀點：1）多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類；2）深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過“逐層初始化”（layer-wise pre-training）來有效克服，逐層初始化可通過無監(jiān)督學(xué)習(xí)實現(xiàn)的?；靖拍罨靖拍?6 深度學(xué)習(xí)：