統(tǒng)計(jì)學(xué)三要素

統(tǒng)計(jì)學(xué)習(xí)第一統(tǒng)計(jì)學(xué)習(xí)三要素統(tǒng)計(jì)學(xué)習(xí)的三要素為：模型、策略、算法。以下以監(jiān)督學(xué)習(xí)為基礎(chǔ)來進(jìn)行論述。監(jiān)督學(xué)習(xí)的假設(shè)：在監(jiān)督學(xué)習(xí)當(dāng)中，我們假設(shè)輸入和輸出的隨機(jī)變量「一和：服從聯(lián)合概率分布，訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)被看做是依聯(lián)合概率分布獨(dú)立同分布產(chǎn)生的。一,模型在監(jiān)督學(xué)習(xí)當(dāng)中，我們的目的是學(xué)習(xí)一個(gè)由輸入到輸出的映射，這個(gè)映射就是模型。一般來說，模型有兩種形式，一種是據(jù)率模型，"「上（條件概率分布），另一種形式是非概率模型 ./：.「（決策函數(shù)）。我們根據(jù)實(shí)際情況和具體的學(xué)習(xí)方法來決定是用概率模型還是用非概率模型。在介紹策略之前，首先介紹假設(shè)空間的概念。假設(shè)空間是一集合：由輸入空間到輸出空間所有映射的集合。策略的目的是為了讓我們找到一個(gè)方法，來從眾多的假設(shè)空間中選擇最優(yōu)的模型。自然而然的，我們想找一個(gè)能描述輸入到輸出最完美的映射。順著這個(gè)思路，首先介紹損失函數(shù)和風(fēng)險(xiǎn)函數(shù)。損失函數(shù)是用來度量模型一次映射結(jié)果的好壞，記作二仍.f■，這里只舉例0-1損失函數(shù)來幫助理解:11-if〉「W/(X)黑即=》(X)

風(fēng)險(xiǎn)函數(shù)（期望損失）是用度量平均意義下模型預(yù)測的好壞。也就是對于整個(gè)輸入輸出空間的損失函數(shù)的期望。皂叩⑴=皂叩⑴=Ep[L(X/(*))]=［祉/⑴）P（‘】W）血切這里的需要特別說明一下。在監(jiān)督學(xué)習(xí)當(dāng)中，我們假設(shè)輸入和輸出的隨機(jī)變量.；一和'服從聯(lián)合概率分布機(jī)W。但是這個(gè)分布對于我們來說，是不可知的，如果可知，我們就可以直接通過,W上.「；來求解nvJ，而不需要使用統(tǒng)計(jì)學(xué)習(xí)方法了。顯然而然，對應(yīng)我們來說，最好的策略就是找到讓風(fēng)險(xiǎn)函數(shù)最小的模型。可是呢，風(fēng)險(xiǎn)函數(shù)的計(jì)算需要用到；'**，我們對它又不可知，所以監(jiān)督學(xué)習(xí)就成了一個(gè)病態(tài)問題。既然這樣，我們就想，在統(tǒng)計(jì)學(xué)中有一個(gè)大數(shù)定律，如果我在輸入輸出空間中取一個(gè)足夠大的樣本，用這個(gè)樣本來近似的計(jì)算風(fēng)險(xiǎn)函數(shù)" :?；谶@樣的想法，我們對于含有N組數(shù)據(jù)的訓(xùn)練集，定義經(jīng)驗(yàn)損失函數(shù):=V〉：Z（肱＞5（珂））根據(jù)大數(shù)定律，當(dāng)N趨近于無窮大的時(shí)候，經(jīng)驗(yàn)風(fēng)險(xiǎn)函數(shù)" |就趨近于風(fēng)險(xiǎn)函數(shù) 。所以，在樣本容量足夠大的時(shí)候，我們可以用經(jīng)驗(yàn)風(fēng)險(xiǎn)最小花的策略來選擇最優(yōu)的模型。

但是在訓(xùn)練樣本的數(shù)量很有限時(shí)，利用經(jīng)驗(yàn)風(fēng)險(xiǎn)函數(shù)".「來估算風(fēng)險(xiǎn)函數(shù):的效果并不理想，它很有可能產(chǎn)生一個(gè)叫做過擬合的現(xiàn)象。為了防止過擬合現(xiàn)象，結(jié)構(gòu)風(fēng)險(xiǎn)最小化這個(gè)策略被提了出來。結(jié)構(gòu)風(fēng)險(xiǎn)的定義為：S（T）=（城g）+頃）其中，n；表示的是模型的復(fù)雜度。模型『越復(fù)雜"技；的值就越大。入是一個(gè)大于等于0的系數(shù)，用來做一個(gè)trade-off的作用，平衡經(jīng)驗(yàn)損失和模型復(fù)雜度的一個(gè)系數(shù)?？梢詮倪@個(gè)式子看出來，入'，」；起到是一個(gè)懲罰項(xiàng)的作用，當(dāng)模型越復(fù)雜，懲罰項(xiàng)越大。它所基于的理論是，當(dāng)一個(gè)模型越復(fù)雜，我們認(rèn)為它的泛化能力越差，越不具有一般性，越容易發(fā)生過擬合。綜上，我們在統(tǒng)計(jì)學(xué)習(xí)中的策略一