統(tǒng)計(jì)學(xué)習(xí)理論的本質(zhì)

1、第七章 統(tǒng)計(jì)學(xué)習(xí)理論的本質(zhì)7.1 統(tǒng)計(jì)學(xué)習(xí)的本質(zhì)統(tǒng)計(jì)學(xué)習(xí)的本質(zhì)n系統(tǒng)系統(tǒng)S為研究對(duì)象，通過(guò)一系列的觀測(cè)樣本來(lái)求得為研究對(duì)象，通過(guò)一系列的觀測(cè)樣本來(lái)求得學(xué)習(xí)機(jī)學(xué)習(xí)機(jī)LM，使得，使得LM的輸出的輸出 能夠盡量準(zhǔn)確的預(yù)測(cè)能夠盡量準(zhǔn)確的預(yù)測(cè)S的輸出的輸出y。 (x1,y1)，(x2,y2)，(xn,yn) y風(fēng)險(xiǎn)風(fēng)險(xiǎn)n學(xué)習(xí)機(jī)學(xué)習(xí)機(jī)LM的輸出的輸出 與輸入與輸入x之間可以看作是一個(gè)函之間可以看作是一個(gè)函數(shù)關(guān)系：數(shù)關(guān)系：n一般需要將函數(shù)一般需要將函數(shù) 限定在特定的一組函數(shù)限定在特定的一組函數(shù) 中求取。中求取。n定義風(fēng)險(xiǎn)：定義風(fēng)險(xiǎn)：均方誤差：均方誤差：似然函數(shù)：似然函數(shù)： y yfx f x,f x w,L

2、 y f x w2,L y fyfx wx w,ln,L pp x wx w期望風(fēng)險(xiǎn)期望風(fēng)險(xiǎn)ny與與x之間存在一定的依賴關(guān)系，可以用一個(gè)未之間存在一定的依賴關(guān)系，可以用一個(gè)未知的聯(lián)合概率知的聯(lián)合概率F(x,y)描述。描述。n期望風(fēng)險(xiǎn)定義為：期望風(fēng)險(xiǎn)定義為：n統(tǒng)計(jì)學(xué)習(xí)的目的就是要尋找到一個(gè)最優(yōu)的函數(shù)統(tǒng)計(jì)學(xué)習(xí)的目的就是要尋找到一個(gè)最優(yōu)的函數(shù)f(x,w*)，使得，使得R(w*)最小。最小。 ,RL y fdFywx wx經(jīng)驗(yàn)風(fēng)險(xiǎn)經(jīng)驗(yàn)風(fēng)險(xiǎn)n期望風(fēng)險(xiǎn)一般來(lái)說(shuō)無(wú)法計(jì)算，在工程上轉(zhuǎn)而計(jì)期望風(fēng)險(xiǎn)一般來(lái)說(shuō)無(wú)法計(jì)算，在工程上轉(zhuǎn)而計(jì)算經(jīng)驗(yàn)風(fēng)險(xiǎn)：算經(jīng)驗(yàn)風(fēng)險(xiǎn)：n求取最優(yōu)參數(shù)求取最優(yōu)參數(shù)w*，使得經(jīng)驗(yàn)風(fēng)險(xiǎn)，使得經(jīng)驗(yàn)風(fēng)險(xiǎn)R

3、emp(w*)最小。最小。n當(dāng)學(xué)習(xí)過(guò)程具有一致性時(shí)，統(tǒng)計(jì)學(xué)有如下關(guān)系：當(dāng)學(xué)習(xí)過(guò)程具有一致性時(shí)，統(tǒng)計(jì)學(xué)有如下關(guān)系： 11,nempiiiRL yfnwx w limsup0,0empnPRR www期望風(fēng)險(xiǎn)與經(jīng)驗(yàn)風(fēng)險(xiǎn)的關(guān)系期望風(fēng)險(xiǎn)與經(jīng)驗(yàn)風(fēng)險(xiǎn)的關(guān)系 empRRww7.2 函數(shù)集的函數(shù)集的VC維與推廣性的界維與推廣性的界n統(tǒng)計(jì)學(xué)習(xí)的推廣能力不僅同訓(xùn)練樣本數(shù)統(tǒng)計(jì)學(xué)習(xí)的推廣能力不僅同訓(xùn)練樣本數(shù)n有關(guān)系，有關(guān)系，而且同學(xué)習(xí)機(jī)的函數(shù)集選擇有關(guān)系，而且同學(xué)習(xí)機(jī)的函數(shù)集選擇有關(guān)系，“簡(jiǎn)單簡(jiǎn)單”的的函數(shù)集合推廣能力強(qiáng)，函數(shù)集合推廣能力強(qiáng)，“復(fù)雜復(fù)雜”的函數(shù)集合推廣的函數(shù)集合推廣能力差。能力差。n當(dāng)函數(shù)集過(guò)于當(dāng)函數(shù)

4、集過(guò)于“復(fù)雜復(fù)雜”時(shí)，很容易產(chǎn)生時(shí)，很容易產(chǎn)生“過(guò)學(xué)習(xí)過(guò)學(xué)習(xí)”現(xiàn)象：對(duì)于訓(xùn)練樣本風(fēng)險(xiǎn)很小，而對(duì)非訓(xùn)練樣本現(xiàn)象：對(duì)于訓(xùn)練樣本風(fēng)險(xiǎn)很小，而對(duì)非訓(xùn)練樣本風(fēng)險(xiǎn)卻很大。風(fēng)險(xiǎn)卻很大。過(guò)學(xué)習(xí)過(guò)學(xué)習(xí)VC維維n打散：如果存在一個(gè)有打散：如果存在一個(gè)有h個(gè)樣本的樣本集能夠被一個(gè)樣本的樣本集能夠被一個(gè)函數(shù)集中的函數(shù)按照所有可能的個(gè)函數(shù)集中的函數(shù)按照所有可能的2h種形式分為兩種形式分為兩類，則稱函數(shù)集能夠?qū)颖緮?shù)為類，則稱函數(shù)集能夠?qū)颖緮?shù)為h的樣本集打散；的樣本集打散；nVC維：如果函數(shù)集能夠打散維：如果函數(shù)集能夠打散h個(gè)樣本的樣本集，而個(gè)樣本的樣本集，而不能打散不能打散h+1個(gè)樣本的樣本集，則稱函數(shù)集的個(gè)樣本的樣

5、本集，則稱函數(shù)集的VC維維為為h。1.d維空間中線性函數(shù)的維空間中線性函數(shù)的VC維：維：h = d+1；2.正弦函數(shù)集合正弦函數(shù)集合sin(wx)的的VC維：維：h = 。推廣性的界推廣性的界n函數(shù)集合的函數(shù)集合的VC維描述了函數(shù)的復(fù)雜程度，利用維描述了函數(shù)的復(fù)雜程度，利用VC維可以確定推廣性的界，下列不等式右半部維可以確定推廣性的界，下列不等式右半部分至少以概率分至少以概率1-成立：成立：其中其中h為函數(shù)集合的為函數(shù)集合的VC維，維，n為訓(xùn)練樣本數(shù)。為訓(xùn)練樣本數(shù)。n當(dāng)當(dāng)n/h較小時(shí)，置信范圍較大；較小時(shí)，置信范圍較大；n/h較大時(shí)，置信較大時(shí)，置信范圍較?。悍秶^小：ln 21ln4empe

6、mphn hRRRnwwwempempnRRRhwww7.3 提高推廣能力的方法提高推廣能力的方法n提高推廣能力的本質(zhì)方法是由原來(lái)只優(yōu)化經(jīng)驗(yàn)風(fēng)險(xiǎn)提高推廣能力的本質(zhì)方法是由原來(lái)只優(yōu)化經(jīng)驗(yàn)風(fēng)險(xiǎn) 變?yōu)閮?yōu)化期望風(fēng)險(xiǎn)的上界變?yōu)閮?yōu)化期望風(fēng)險(xiǎn)的上界 ： empRn hw empRw過(guò)學(xué)習(xí)欠學(xué)習(xí)empRw empnRhw結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則（SRM，Structural Risk Minimization）n首先把函數(shù)集首先把函數(shù)集 分解為一個(gè)函分解為一個(gè)函數(shù)子集序列：數(shù)子集序列： 各個(gè)子集按照各個(gè)子集按照VC維的大小排序：維的大小排序：在子集序列中尋找經(jīng)驗(yàn)風(fēng)險(xiǎn)與置信范圍之和最在子集序列中尋找

7、經(jīng)驗(yàn)風(fēng)險(xiǎn)與置信范圍之和最小的子集，這個(gè)子集中使經(jīng)驗(yàn)風(fēng)險(xiǎn)最小的函數(shù)小的子集，這個(gè)子集中使經(jīng)驗(yàn)風(fēng)險(xiǎn)最小的函數(shù)就是所求的最優(yōu)函數(shù)。就是所求的最優(yōu)函數(shù)。,Sfx ww12kSSSS12khhhSRM在線性分類器上的應(yīng)用（在線性分類器上的應(yīng)用（SVM）nd維空間中的線性函數(shù)的維空間中的線性函數(shù)的VC維為維為d+1，但當(dāng)限制判別界，但當(dāng)限制判別界面的分類間隔時(shí)，其面的分類間隔時(shí)，其VC有可能更小。有可能更小。n定理定理：在：在d維空間中，設(shè)所有維空間中，設(shè)所有n個(gè)樣本都在一個(gè)超球范圍個(gè)樣本都在一個(gè)超球范圍之內(nèi)，超球的半徑為之內(nèi)，超球的半徑為R，那么，那么- -間隔分類超平面間隔分類超平面集合集合的的VC維

8、維h h滿足如下不等式：滿足如下不等式：n而間隔而間隔 ，因此根據(jù)，因此根據(jù)SRM的原則，只需在保證的原則，只需在保證經(jīng)驗(yàn)風(fēng)險(xiǎn)為經(jīng)驗(yàn)風(fēng)險(xiǎn)為0的條件下（超平面能夠正確分類全部訓(xùn)練的條件下（超平面能夠正確分類全部訓(xùn)練樣本），最小化權(quán)值矢量的長(zhǎng)度樣本），最小化權(quán)值矢量的長(zhǎng)度 。22min,1Rhd1 ww驗(yàn)證技術(shù)（驗(yàn)證技術(shù)（Validation）n當(dāng)無(wú)法計(jì)算函數(shù)集的當(dāng)無(wú)法計(jì)算函數(shù)集的VC維時(shí)，可以采用驗(yàn)證技術(shù)。將樣本集維時(shí)，可以采用驗(yàn)證技術(shù)。將樣本集分為訓(xùn)練集和驗(yàn)證集，用訓(xùn)練集的樣本訓(xùn)練網(wǎng)絡(luò)，用驗(yàn)證集分為訓(xùn)練集和驗(yàn)證集，用訓(xùn)練集的樣本訓(xùn)練網(wǎng)絡(luò)，用驗(yàn)證集的樣本測(cè)試網(wǎng)絡(luò)，尋找一個(gè)驗(yàn)證集風(fēng)險(xiǎn)最小的模型和參數(shù)。的樣本測(cè)試網(wǎng)絡(luò)，尋找一個(gè)驗(yàn)證集風(fēng)險(xiǎn)最小的模型和參數(shù)。權(quán)值衰減權(quán)值衰減n實(shí)驗(yàn)表明，多層感知器網(wǎng)絡(luò)中比較小的權(quán)值往實(shí)驗(yàn)