人工神經(jīng)網(wǎng)絡(luò)-SVM-深度學(xué)習(xí)簡(jiǎn)介

神經(jīng)網(wǎng)絡(luò)及SVM簡(jiǎn)介2021/6/271

以馮·諾依曼型計(jì)算機(jī)為中心的信息處理技術(shù)的高速發(fā)展，使得計(jì)算機(jī)在當(dāng)今的信息化社會(huì)中起著十分重要的作用。但是，當(dāng)用它來(lái)解決某些人工智能問(wèn)題時(shí)卻遇到了很大的困難。例如，一個(gè)人可以很容易地識(shí)別他人的臉孔，但計(jì)算機(jī)則很難做到這一點(diǎn)。大腦是由生物神經(jīng)元構(gòu)成的巨型網(wǎng)絡(luò)，它在本質(zhì)上不同于計(jì)算機(jī)，是一種大規(guī)模的并行處理系統(tǒng)，它具有學(xué)習(xí)、聯(lián)想記憶、綜合等能力，并有巧妙的信息處理方法。

人工神經(jīng)網(wǎng)絡(luò)來(lái)源于對(duì)人腦實(shí)際神經(jīng)網(wǎng)絡(luò)的模擬一、神經(jīng)網(wǎng)絡(luò)發(fā)展歷史１．背景知識(shí)2021/6/272人腦和CPU2021/6/273神經(jīng)細(xì)胞利用電-化學(xué)過(guò)程交換信號(hào)。輸入信號(hào)來(lái)自另一些神經(jīng)細(xì)胞。這些神經(jīng)細(xì)胞的軸突末梢（也就是終端）和本神經(jīng)細(xì)胞的樹(shù)突相遇形成突觸（synapse），信號(hào)就從樹(shù)突上的突觸進(jìn)入本細(xì)胞。信號(hào)在大腦中實(shí)際怎樣傳輸是一個(gè)相當(dāng)復(fù)雜的過(guò)程，但就我們而言，重要的是把它看成和現(xiàn)代的計(jì)算機(jī)一樣，利用一系列的0和1來(lái)進(jìn)行操作。就是說(shuō)，大腦的神經(jīng)細(xì)胞也只有兩種狀態(tài)：興奮（fire）和不興奮（即抑制）。發(fā)射信號(hào)的強(qiáng)度不變，變化的僅僅是頻率。神經(jīng)細(xì)胞利用一種我們還不知道的方法,把所有從樹(shù)突上突觸進(jìn)來(lái)的信號(hào)進(jìn)行相加，如果全部信號(hào)的總和超過(guò)某個(gè)閥值，就會(huì)激發(fā)神經(jīng)細(xì)胞進(jìn)入興奮（fire）狀態(tài)，這時(shí)就會(huì)有一個(gè)電信號(hào)通過(guò)軸突發(fā)送出去給其他神經(jīng)細(xì)胞。如果信號(hào)總和沒(méi)有達(dá)到閥值，神經(jīng)細(xì)胞就不會(huì)興奮起來(lái)。2021/6/274人腦和CPU

動(dòng)物

神經(jīng)細(xì)胞的數(shù)目（數(shù)量級(jí)）

蝸牛

10,000（=10^4）

蜜蜂

100,000（=10^5）

蜂雀

10,000,000（=10^7）

老鼠

100,000,000（=10^8）

人類

10,000,000,000（=10^10）

大象

100,000,000,000（=10^11）2021/6/275人腦和CPUCPU只具備一個(gè)功能就是二進(jìn)制加法運(yùn)算2021/6/276人腦的特點(diǎn)對(duì)損傷有冗余性(tolerance)能實(shí)現(xiàn)無(wú)監(jiān)督的學(xué)習(xí)處理信息的效率極高善于歸納推廣CPUi73.0Ghz，4個(gè)核人腦100hz，10G個(gè)核2021/6/277人工神經(jīng)網(wǎng)絡(luò)一個(gè)人工神經(jīng)網(wǎng)絡(luò)(Artificialneuralnetwork,簡(jiǎn)稱ANN)就是要在當(dāng)代數(shù)字計(jì)算機(jī)現(xiàn)有規(guī)模的約束下，來(lái)模擬這種大量的并行性,并在實(shí)現(xiàn)這一工作時(shí)，使它能顯示許多和生物學(xué)大腦相類似的特性。2021/6/278

人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwroks，簡(jiǎn)稱ANN）是對(duì)人類大腦系統(tǒng)的一種仿真，簡(jiǎn)單地講，它是一個(gè)數(shù)學(xué)模型，可以用電子線路來(lái)實(shí)現(xiàn)，也可以用計(jì)算機(jī)程序來(lái)模擬，是人工智能研究的一種方法。

實(shí)際上它是由大量的、功能比較簡(jiǎn)單的形式神經(jīng)元互相連接而構(gòu)成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，用它可以模擬大腦的許多基本功能和簡(jiǎn)單的思維方式。盡管它還不是大腦的完美元缺的模型，但它可以通過(guò)學(xué)習(xí)來(lái)獲取外部的知識(shí)并存貯在網(wǎng)絡(luò)內(nèi)，可以解決計(jì)算機(jī)不易處理的難題，特別是語(yǔ)音和圖像的識(shí)別、理解、知識(shí)的處理、組合優(yōu)化計(jì)算和智能控制等一系列本質(zhì)上是非計(jì)算的問(wèn)題。

2．什么是人工神經(jīng)網(wǎng)絡(luò)2021/6/2791943年,美國(guó)心理學(xué)家W.McCulloch和數(shù)學(xué)家W.Pitts在提出了一個(gè)簡(jiǎn)單的神經(jīng)元模型，即MP模型。1958年，F(xiàn).Rosenblatt等研制出了感知機(jī)(Perceptron）。3．幾個(gè)發(fā)展階段

第一次熱潮(40-60年代未)1982年，美國(guó)物理學(xué)家J.J.Hopfield提出Hopfield模型，它是一個(gè)互聯(lián)的非線性動(dòng)力學(xué)網(wǎng)絡(luò)他解決問(wèn)題的方法是一種反復(fù)運(yùn)算的動(dòng)態(tài)過(guò)程,這是符號(hào)邏輯處理方法所不具備的性質(zhì).1987年首屆國(guó)際ANN大會(huì)在圣地亞哥召開(kāi)，國(guó)際ANN聯(lián)合會(huì)成立，創(chuàng)辦了多種ANN國(guó)際刊物。1990年12月，北京召開(kāi)首屆學(xué)術(shù)會(huì)議。

低潮(70-80年代初)

第二次熱潮

第三次熱潮GPU大數(shù)據(jù)新方法深度學(xué)習(xí)理論2021/6/2710學(xué)習(xí)的類型2021/6/2711人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)元模型x1…xn表示與該神經(jīng)元相連接的所有神經(jīng)元的輸入（出）w1…wn表示與相連接神經(jīng)元的突觸強(qiáng)度（連接權(quán)）θ表示神經(jīng)元的（電壓）閾值。f()表示激勵(lì)函數(shù),單調(diào)上升函數(shù)，且取有限值神經(jīng)元電位值：神經(jīng)元的輸出值：y=f(s)Σf()...ys2021/6/2712人工神經(jīng)網(wǎng)絡(luò)激勵(lì)函數(shù)的基本作用控制輸入對(duì)輸出的激活；對(duì)輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換；將可能無(wú)限域的輸入變換成指定的有限范圍內(nèi)的輸出。激勵(lì)函數(shù)類型閾值函數(shù)線性函數(shù)非線性函數(shù)Sigmoid函數(shù)2021/6/2713人工神經(jīng)網(wǎng)絡(luò)Sigmoid函數(shù)就是把神經(jīng)細(xì)胞原有的階躍式輸出曲線鈍化為一光滑曲線S型函數(shù)具有非線性放大系數(shù)功能，可以把輸入從負(fù)無(wú)窮大到正無(wú)窮大的信號(hào)，變換成-1到l之間輸出對(duì)較大的輸入信號(hào)，放大系數(shù)較小；而對(duì)較小的輸入信號(hào)，放大系數(shù)則較大采用S型激活函數(shù)可以處理和逼近非線性輸入/輸出關(guān)系2021/6/2714BP神經(jīng)網(wǎng)絡(luò)2021/6/2715BP神經(jīng)網(wǎng)絡(luò)計(jì)算2021/6/2716BP神經(jīng)網(wǎng)絡(luò)Rumelhart，McClelland于1985年提出了BP網(wǎng)絡(luò)的誤差反向后傳BP(BackPropagation)學(xué)習(xí)算法BP神經(jīng)網(wǎng)絡(luò)是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。它的學(xué)習(xí)規(guī)則是使用最速下降法，通過(guò)反向傳播來(lái)不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。J.McClelland

DavidRumelhart

2021/6/2717學(xué)習(xí)規(guī)則BP算法屬于δ算法，是一種監(jiān)督式的學(xué)習(xí)算法主要思想對(duì)于q個(gè)輸入學(xué)習(xí)樣本：P1,P2,…,Pq，已知與其對(duì)應(yīng)的輸出樣本為：T1,T2,…,Tq使網(wǎng)絡(luò)輸出層的誤差平方和達(dá)到最小用網(wǎng)絡(luò)的實(shí)際輸出A1,A2,…,Aq,與目標(biāo)矢量T1,T2,…,Tq之間的誤差修改其權(quán)值，使Am與期望的Tm,(m＝l,…,q)盡可能接近2021/6/2718學(xué)習(xí)規(guī)則BP算法是由兩部分組成,信息的正向傳遞與誤差的反向傳播正向傳播過(guò)程中，輸入信息從輸入層經(jīng)隱含層逐層計(jì)算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)如果在輸出層未得到期望的輸出，則計(jì)算輸出層的誤差變化值，然后轉(zhuǎn)向反向傳播，通過(guò)網(wǎng)絡(luò)將誤差信號(hào)沿原來(lái)的連接通路反傳回來(lái)修改各層神經(jīng)元的權(quán)值直至達(dá)到期望目標(biāo)2021/6/27192021/6/2720一般認(rèn)為，增加隱層數(shù)可以降低網(wǎng)絡(luò)誤差（也有文獻(xiàn)認(rèn)為不一定能有效降低），提高精度，但也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)的訓(xùn)練時(shí)間和出現(xiàn)“過(guò)擬合”現(xiàn)象。Hornik等早已證明：若輸入層和輸出層采用線性轉(zhuǎn)換函數(shù)，隱層采用Sigmoid轉(zhuǎn)換函數(shù)，則含一個(gè)隱層的MLP網(wǎng)絡(luò)能夠以任意精度逼近任何有理函數(shù)。顯然，這是一個(gè)存在性結(jié)論。在設(shè)計(jì)BP網(wǎng)絡(luò)時(shí)可參考這一點(diǎn)，應(yīng)優(yōu)先考慮3層BP網(wǎng)絡(luò)（即有1個(gè)隱層）。一般地，靠增加隱層節(jié)點(diǎn)數(shù)來(lái)獲得較低的誤差，其訓(xùn)練效果要比增加隱層數(shù)更容易實(shí)現(xiàn)。隱層數(shù)多少隱層數(shù)才合適？2021/6/2721

隱層節(jié)點(diǎn)數(shù)在BP網(wǎng)絡(luò)中，隱層節(jié)點(diǎn)數(shù)的選擇非常重要，它不僅對(duì)建立的神經(jīng)網(wǎng)絡(luò)模型的性能影響很大，而且是訓(xùn)練時(shí)出現(xiàn)“過(guò)擬合”的直接原因，但是目前理論上還沒(méi)有一種科學(xué)的和普遍的確定方法。目前多數(shù)文獻(xiàn)中提出的確定隱層節(jié)點(diǎn)數(shù)的計(jì)算公式都是針對(duì)訓(xùn)練樣本任意多的情況。事實(shí)上，各種計(jì)算公式得到的隱層節(jié)點(diǎn)數(shù)有時(shí)相差幾倍甚至上百倍。確定隱層節(jié)點(diǎn)數(shù)的最基本原則是：在滿足精度要求的前提下取盡可能緊湊的結(jié)構(gòu)，即取盡可能少的隱層節(jié)點(diǎn)數(shù)。研究表明，隱層節(jié)點(diǎn)數(shù)不僅與輸入/輸出層的節(jié)點(diǎn)數(shù)有關(guān)，更與需解決的問(wèn)題的復(fù)雜程度和轉(zhuǎn)換函數(shù)的型式以及樣本數(shù)據(jù)的特性等因素有關(guān)。2021/6/2722應(yīng)用實(shí)例2021/6/2723net=newff(A,B,{C},’trainfun’)Matlab命令A(yù)是一個(gè)n×2的矩陣，第i行元素為輸入信號(hào)xi的最小值和最大值；

參數(shù)說(shuō)明B為一k維行向量，其元素為各隱層節(jié)點(diǎn)數(shù)；trainfun為學(xué)習(xí)規(guī)則采用的訓(xùn)練函數(shù)（常見(jiàn)訓(xùn)練函數(shù)如下表）。C為一k維字符串行向量，每一分量為對(duì)應(yīng)層神經(jīng)元的激勵(lì)函數(shù)；2021/6/2724函數(shù)名功能函數(shù)名traingd梯度下降法traincgftraingdm勢(shì)能修正法traincgptraingdx自調(diào)整學(xué)習(xí)效率法traincgbtrainrp恢復(fù)BP法trainscgFR共軛梯度法trainbfgBFGS擬牛頓法PR共軛梯度法trainoss一步共軛+擬牛頓PB共軛梯度法trainlmLM法標(biāo)量共軛梯度法trainbrBayesian規(guī)范法2.

常見(jiàn)訓(xùn)練函數(shù)2021/6/2725MATLAB中激勵(lì)函數(shù)為其字符串分別為：’logsig’，’tansig’，’purelin’3.

激勵(lì)函數(shù)2021/6/2726

除了需要輸入A,B,{C},’trainfun’外，還有些默認(rèn)的參數(shù)可修改，如下表4.

可修改參數(shù)參數(shù)名功能缺省值net.trainParam.goal目標(biāo)函數(shù)設(shè)定值0net.trainParam.epochs最大迭代次數(shù)100net.trainParam.show顯示中間結(jié)果的周期25net.trainParam.lr整批學(xué)習(xí)的學(xué)習(xí)效率0.01net.trainParam.mc勢(shì)能學(xué)習(xí)規(guī)則traingdm的勢(shì)能率0.9注：不同版本Matlab的可修改參數(shù)列表可能不同。2021/6/2727

[net,tr,Y1,E]=train(net,X,Y)5.

BP網(wǎng)絡(luò)的訓(xùn)練與泛化

網(wǎng)絡(luò)訓(xùn)練訓(xùn)練跟蹤信息訓(xùn)練后網(wǎng)絡(luò)網(wǎng)絡(luò)實(shí)際輸出誤差矩陣網(wǎng)絡(luò)訓(xùn)練函數(shù)未經(jīng)訓(xùn)練網(wǎng)絡(luò)網(wǎng)絡(luò)實(shí)際輸入網(wǎng)絡(luò)應(yīng)有輸出X為n×M矩陣，為輸入數(shù)據(jù)矩陣，M為樣本的組數(shù)。Y為m×M矩陣，為輸出數(shù)據(jù)矩陣。2021/6/2728

訓(xùn)練結(jié)束后，對(duì)新的輸入點(diǎn)數(shù)據(jù)X2，調(diào)用sim函數(shù)進(jìn)行泛化，得出這些輸入點(diǎn)處的輸出矩陣Y2.

數(shù)據(jù)泛化Y2=sim(net,X2)

用經(jīng)過(guò)訓(xùn)練的網(wǎng)絡(luò)對(duì)于不是樣本集的輸入，計(jì)算出相應(yīng)的輸出。什么是數(shù)據(jù)泛化？2021/6/2729例1

由下面的語(yǔ)句生成一組數(shù)據(jù)x和y，用神經(jīng)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)擬合

x=0:.1:10;y=0.12*exp(-0.213*x)+0.54*exp(-0.17*x).*sin(1.23*x);可知(x,

y)是曲線上的點(diǎn)。x=0:.1:10;y=0.12*exp(-0.213*x)+0.54*exp(-0.17*x).*sin(1.23*x);net=newff([0,10],[5,1],{'tansig','tansig'});net.trainParam.epochs=1000;net=train(net,x,y);x0=0.05:.1:10;figure(1)y1=sim(net,x0);plot(x,y,'o',x0,y1,'r')2021/6/2730實(shí)例.蠓蟲(chóng)分類問(wèn)題的神經(jīng)網(wǎng)絡(luò)方法

（1989年MCM競(jìng)賽題目

）生物學(xué)家試圖對(duì)兩種蠓蟲(chóng)（Af與Apf）進(jìn)行鑒別，依據(jù)的資料是觸角和翅膀的長(zhǎng)度，已經(jīng)測(cè)得9只Af和6只Apf的數(shù)據(jù)如下：

9只Af觸角長(zhǎng)：1.241.361.381.381.381.401.481.541.56翅膀長(zhǎng)：1.721.741.641.821.901.701.821.822.086只Apf觸角長(zhǎng)：1.141.181.201.261.281.30翅膀長(zhǎng)：1.781.961.862.002.001.96問(wèn)題：（1）如何憑借原始資料(15對(duì)數(shù)據(jù),被稱之為學(xué)習(xí)樣本)制定一種方法,正確區(qū)分兩類蠓蟲(chóng);

（2）依據(jù)確立的方法,對(duì)以下三個(gè)樣本：

(1.24,1.80)，(1.28,1.84)，(1.40,2.04)加以識(shí)別

2021/6/2731解法一：建立兩層前向神經(jīng)網(wǎng)絡(luò)如下：

隱層節(jié)點(diǎn)可適量選取（沒(méi)有具體標(biāo)準(zhǔn)）。X=為輸入矩陣，x1對(duì)應(yīng)于觸角長(zhǎng)，x2對(duì)應(yīng)于翅膀長(zhǎng)。Y=為輸出矩陣規(guī)定Af對(duì)應(yīng)的應(yīng)有輸出為，Apf對(duì)應(yīng)的應(yīng)有輸出為

輸入層隱層輸出層2021/6/2732以上神經(jīng)網(wǎng)絡(luò)模型的MATLAB程序如下：

x=[1.241.361.381.381.381.401.481.541.561.141.181.201.261.281.301.721.741.641.821.901.701.821.822.081.781.961.862.002.001.96];

%原始數(shù)據(jù)x=x-1.1;%數(shù)據(jù)標(biāo)準(zhǔn)化y=[000000000111111;111111111000000];%應(yīng)有的輸出net=newff([0,1;01],[5,2],{'tansig','tansig'});

%建立兩層前向神經(jīng)網(wǎng)絡(luò)%net.trainParam.goal=0.0000001;%設(shè)定訓(xùn)練誤差net.trainParam.epochs=2000;%設(shè)定最大訓(xùn)練步數(shù)net=train(net,x,y);%訓(xùn)練網(wǎng)絡(luò)y1=sim(net,x)%輸出數(shù)據(jù)yy=sim(net,[1.241.281.40;1.801.842.04])%數(shù)據(jù)泛化2021/6/2733underfittingoverfittinggoodfit神經(jīng)網(wǎng)絡(luò)的問(wèn)題1需要大樣本2隱層的個(gè)數(shù)無(wú)公式3整個(gè)計(jì)算過(guò)程過(guò)于模糊，很容易陷入局部最優(yōu)導(dǎo)致欠擬合或者過(guò)擬合2021/6/2734SVM的理論基礎(chǔ)傳統(tǒng)的統(tǒng)計(jì)模式識(shí)別方法只有在樣本趨向無(wú)窮大時(shí)，其性能才有理論的保證。統(tǒng)計(jì)學(xué)習(xí)理論（STL）研究有限樣本情況下的機(jī)器學(xué)習(xí)問(wèn)題。SVM的理論基礎(chǔ)就是統(tǒng)計(jì)學(xué)習(xí)理論。傳統(tǒng)的統(tǒng)計(jì)模式識(shí)別方法在進(jìn)行機(jī)器學(xué)習(xí)時(shí)，強(qiáng)調(diào)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化。而單純的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化會(huì)產(chǎn)生“過(guò)學(xué)習(xí)問(wèn)題”，其推廣能力較差。推廣能力是指:將學(xué)習(xí)機(jī)器(即預(yù)測(cè)函數(shù),或稱學(xué)習(xí)函數(shù)、學(xué)習(xí)模型)對(duì)未來(lái)輸出進(jìn)行正確預(yù)測(cè)的能力。2021/6/2735SVM根據(jù)統(tǒng)計(jì)學(xué)習(xí)理論，學(xué)習(xí)機(jī)器的實(shí)際風(fēng)險(xiǎn)由經(jīng)驗(yàn)風(fēng)險(xiǎn)值和置信范圍值兩部分組成。而基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則的學(xué)習(xí)方法只強(qiáng)調(diào)了訓(xùn)練樣本的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小誤差，沒(méi)有最小化置信范圍值，因此其推廣能力較差。Vapnik提出的支持向量機(jī)（SupportVectorMachine,SVM）以訓(xùn)練誤差作為優(yōu)化問(wèn)題的約束條件，以置信范圍值最小化作為優(yōu)化目標(biāo)，即SVM是一種基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則的學(xué)習(xí)方法，其推廣能力明顯優(yōu)于一些傳統(tǒng)的學(xué)習(xí)方法。形成時(shí)期在1992—1995年。2021/6/2736線性判別函數(shù)和判別面一個(gè)線性判別函數(shù)(discriminantfunction)是指由x的各個(gè)分量的線性組合而成的函數(shù)

兩類情況:對(duì)于兩類問(wèn)題的決策規(guī)則為如果g(x)>0，則判定x屬于C1，如果g(x)<0，則判定x屬于C2，如果g(x)=0，則可以將x任意分到某一類或者拒絕判定。

2021/6/2737最優(yōu)分類面

SVM是從線性可分情況下的最優(yōu)分類面發(fā)展而來(lái)的,基本思想可用圖2的兩維情況說(shuō)明.

圖中,方形點(diǎn)和圓形點(diǎn)代表兩類樣本,H為分類線,H1,H2分別為過(guò)各類中離分類線最近的樣本且平行于分類線的直線,它們之間的距離叫做分類間隔(margin)。

所謂最優(yōu)分類線就是要求分類線不但能將兩類正確分開(kāi)(訓(xùn)練錯(cuò)誤率為0),而且使分類間隔最大.推廣到高維空間，最優(yōu)分類線就變?yōu)樽顑?yōu)分類面。

2021/6/2738分類超平面示意圖最優(yōu)分類超平面圖

兩類樣本中離分類面最近的點(diǎn)且平行于最優(yōu)分類超平面的樣本點(diǎn)叫做支持向量。2021/6/2739非線性變換基本思想：選擇非線性映射Φ(X)將x映射到高維特征空間Z，在Z中構(gòu)造最優(yōu)超平面2021/6/2740SVM方法的特點(diǎn)①

非線性映射是SVM方法的理論基礎(chǔ),SVM利用內(nèi)積核函數(shù)代替向高維空間的非線性映射;②

對(duì)特征空間劃分的最優(yōu)超平面是SVM的目標(biāo),最大化分類邊際的思想是SVM方法的核心;③

支持向量是SVM的訓(xùn)練結(jié)果,在SVM分類決策中起決定作用的是支持向量。

SVM是一種有堅(jiān)實(shí)理論基礎(chǔ)的新穎的小樣本學(xué)習(xí)方法。它基本上不涉及概率測(cè)度及大數(shù)定律等,因此不同于現(xiàn)有的統(tǒng)計(jì)方法。從本質(zhì)上看,它避開(kāi)了從歸納到演繹的傳統(tǒng)過(guò)程,實(shí)現(xiàn)了高效的從訓(xùn)練樣本到預(yù)報(bào)樣本的“轉(zhuǎn)導(dǎo)推理”(transductiveinference),大大簡(jiǎn)化了通常的分類和回歸等問(wèn)題。2021/6/2741SVM方法的特點(diǎn)SVM的最終決策函數(shù)只由少數(shù)的支持向量所確定,計(jì)算的復(fù)雜性取決于支持向量的數(shù)目,而不是樣本空間的維數(shù),這在某種意義上避免了“維數(shù)災(zāi)難”。

少數(shù)支持向量決定了最終結(jié)果,這不但可以幫助我們抓住關(guān)鍵樣本、“剔除”大量冗余樣本,而且注定了該方法不但算法簡(jiǎn)單,而且具有較好的“魯棒”性。這種“魯棒”性主要體現(xiàn)在:①增、刪非支持向量樣本對(duì)模型沒(méi)有影響;②支持向量樣本集具有一定的魯棒性;③有些成功的應(yīng)用中,SVM方法對(duì)核的選取不敏感。2021/6/2742深度學(xué)習(xí)2021/6/2743淺層學(xué)習(xí)是機(jī)器學(xué)習(xí)的第一次浪潮人工神經(jīng)網(wǎng)絡(luò)（BP算法）—雖被稱作多層感知機(jī)，但實(shí)際是種只含有一層隱層節(jié)點(diǎn)的淺層模型SVM、Boosting、最大熵方法（如LR，LogisticRegression）—帶有一層隱層節(jié)點(diǎn)（如SVM、Boosting），或沒(méi)有隱層節(jié)點(diǎn)（如LR）的淺層模型局限性：有限樣本和計(jì)算單元情況下對(duì)復(fù)雜函數(shù)的表示能力有限，針對(duì)復(fù)雜分類問(wèn)題其泛化能力受限?；靖拍顪\層學(xué)習(xí)與深度學(xué)習(xí)2021/6/27442006年，加拿大多倫多大學(xué)教授、機(jī)器學(xué)習(xí)領(lǐng)域的泰斗GeoffreyHinton在《科學(xué)》上發(fā)表論文提出深度學(xué)習(xí)主要觀點(diǎn)：1）多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對(duì)數(shù)據(jù)有更本質(zhì)的刻畫(huà)，從而有利于可視化或分類；2）深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過(guò)“逐層初始化”（layer-wisepre-training）來(lái)有效克服，逐層初始化可通過(guò)無(wú)監(jiān)督學(xué)習(xí)實(shí)現(xiàn)的?；靖拍?021/6/2745深度學(xué)習(xí)：深度學(xué)習(xí)通過(guò)組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示深度神經(jīng)網(wǎng)絡(luò)：含有多個(gè)隱層的神