第七章模型選擇和模型評(píng)估

第七章模型選擇和模型評(píng)估MLE3-1第一頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-2上節(jié)課內(nèi)容總結(jié)后驗(yàn)的仿真模擬貝葉斯推理與MLE例令為的極大似然估計(jì)，在合適的正則條件下，后驗(yàn)均值為貝葉斯推理的優(yōu)點(diǎn)可以方便的結(jié)合先驗(yàn)信息數(shù)據(jù)和先驗(yàn)同等對(duì)待由后驗(yàn)可以同時(shí)推出點(diǎn)估計(jì)和區(qū)間估計(jì)

第二頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-3第七章：模型選擇和模型評(píng)估內(nèi)容：估計(jì)選擇（Ch13）模型選擇（Ch14，Ch9，統(tǒng)計(jì)學(xué)習(xí)基礎(chǔ)第7章）第三頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-4估計(jì)選擇有幾個(gè)不同的估計(jì)，哪個(gè)估計(jì)更好一些？統(tǒng)計(jì)決策理論第四頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-5損失函數(shù)損失函數(shù)：度量真值與估計(jì)之間的差異損失函數(shù)舉例平方誤差損失絕對(duì)誤差損失損失0-1損失KullbackLeibler損失第五頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-6風(fēng)險(xiǎn)函數(shù)風(fēng)險(xiǎn)函數(shù)：損失的均值一個(gè)估計(jì)的風(fēng)險(xiǎn)是對(duì)平方誤差損失，風(fēng)險(xiǎn)為MSE風(fēng)險(xiǎn)是的函數(shù)比較不同的估計(jì)，轉(zhuǎn)化為比較不同估計(jì)的風(fēng)險(xiǎn)但并不能清楚地回答哪個(gè)估計(jì)更好第六頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-7風(fēng)險(xiǎn)比較沒(méi)有一個(gè)估計(jì)的風(fēng)險(xiǎn)在所有的θ值都超過(guò)另外一個(gè)第七頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-8風(fēng)險(xiǎn)比較風(fēng)險(xiǎn)函數(shù)的兩個(gè)單值概述最大風(fēng)險(xiǎn)貝葉斯風(fēng)險(xiǎn)其中為θ的先驗(yàn)。第八頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-9決策規(guī)則

(DecisionRules)決策規(guī)則是估計(jì)的別名最小化貝葉斯風(fēng)險(xiǎn)的決策規(guī)則成為貝葉斯規(guī)則或貝葉斯估計(jì)，即為對(duì)應(yīng)先驗(yàn)f的貝葉斯估計(jì)其中下界是對(duì)所有的估計(jì)計(jì)算最小化最大風(fēng)險(xiǎn)的估計(jì)稱為最小最大規(guī)則其中下界是對(duì)所有的估計(jì)計(jì)算第九頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-10貝葉斯估計(jì)給定一個(gè)模型（先驗(yàn)和后驗(yàn)）和損失函數(shù)，就可以找到貝葉斯規(guī)則若，則貝葉斯規(guī)則為后驗(yàn)均值若，則貝葉斯規(guī)則為后驗(yàn)中值若為0-1損失，則貝葉斯規(guī)則為后驗(yàn)眾數(shù)第十頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-11最小最大規(guī)則找最小最大規(guī)則，或者證明一個(gè)估計(jì)是最小最大估計(jì)是一件很困難的事情。但還是有一個(gè)簡(jiǎn)單的方法：有些貝葉斯估計(jì)（如風(fēng)險(xiǎn)為常數(shù)）是最小最大估計(jì)令對(duì)應(yīng)先驗(yàn)f的貝葉斯估計(jì)：假設(shè)則為最小最大估計(jì)，且f稱為最小受歡迎先驗(yàn)(leastfavorableprior)。上述結(jié)論一個(gè)簡(jiǎn)單的結(jié)果有：如果一個(gè)貝葉斯規(guī)則的風(fēng)險(xiǎn)為常數(shù)，則它是最小最大估計(jì)。第十一頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-12MLE為近似最小最大估計(jì)對(duì)滿足弱正則條件的參數(shù)模型，極大似然估計(jì)近似為最小最大估計(jì)。對(duì)均方誤差損失，通常根據(jù)Cramer-Rao不等式，這是所有無(wú)偏估計(jì)的方差的下界。第十二頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-13MLE為近似最小最大估計(jì)因此對(duì)所有估計(jì)，有對(duì)大數(shù)N，MLE為近似最小最大估計(jì)。因此，對(duì)大多數(shù)參數(shù)模型，當(dāng)有大量樣本時(shí)，MLE近似為最小最大估計(jì)和貝葉斯估計(jì)。ManyNormalMeans情況不成立（不是大樣本）第十三頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-14可接受性

(Admissibility)一個(gè)估計(jì)如果在θ所有值上都比其它估計(jì)的風(fēng)險(xiǎn)大，則該估計(jì)不是我們所希望的。如果存在一個(gè)其它的規(guī)則，使得則該估計(jì)是不可接受的。否則，是可接受的。至少存在一個(gè)θ第十四頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-15可接受性可接受性是與其他表示估計(jì)好壞的方法有何關(guān)系？在一些正則條件下，如果為貝葉斯規(guī)則且有有限風(fēng)險(xiǎn)，則它是可接受的。如果的風(fēng)險(xiǎn)為常數(shù)且是可接受的，則它是最小最大估計(jì)。第十五頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-16許多正態(tài)均值

(ManyNormalMeans)ManyNormalMeans是一個(gè)原型問(wèn)題，與一般的非參數(shù)回歸或密度估計(jì)等價(jià)。對(duì)這個(gè)問(wèn)題，以前許多關(guān)于極大似然估計(jì)的正面的結(jié)論都不再滿足。令，表示數(shù)據(jù)，表示未知參數(shù)，c>0，這里參數(shù)的數(shù)目與觀測(cè)數(shù)據(jù)一樣多第十六頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-17ManyNormalMeansMLE為，損失函數(shù)為MLE的風(fēng)險(xiǎn)為最小最大估計(jì)的風(fēng)險(xiǎn)近似為，且存在這樣一個(gè)估計(jì)能達(dá)到該風(fēng)險(xiǎn)。也就是說(shuō)，存在風(fēng)險(xiǎn)比MLE更小的估計(jì)，因此MLE是不可接受的。在實(shí)際應(yīng)用中，風(fēng)險(xiǎn)的差值可能很重要。

因此對(duì)高維問(wèn)題或非參數(shù)問(wèn)題，MLE并不是最優(yōu)估計(jì)。另外在非參數(shù)場(chǎng)合，MLE的魯棒性也不是很好。第十七頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-18底線根據(jù)這些工具，怎樣選擇估計(jì)呢？如果一個(gè)估計(jì)是不可接受的，則該估計(jì)一定是不好的。如果你信仰貝葉斯觀點(diǎn)，則你可以用貝葉斯規(guī)則如果最小最大性滿足應(yīng)用要求，可以使用最小最大估計(jì)。第十八頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-19模型選擇給定一個(gè)估計(jì)和風(fēng)險(xiǎn)函數(shù)，應(yīng)該選擇哪個(gè)模型/參數(shù)？第十九頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-20“模型”我們說(shuō)的“模型”有時(shí)指的是模型類別，例如所有2個(gè)高斯的混合模型和所有3個(gè)高斯的混合模型。有時(shí)也指在一個(gè)類別的模型中的一員，如參數(shù)的值為特定值。也就是說(shuō)，模型的類別是固定的，而考慮的是不同的參數(shù)值。在實(shí)際應(yīng)用中，我們通常同時(shí)考慮上述兩種情況，也就是說(shuō)：第二十頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-21訓(xùn)練與測(cè)試訓(xùn)練數(shù)據(jù)目標(biāo)/類別學(xué)習(xí)模型測(cè)試數(shù)據(jù)應(yīng)用模型第二十一頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-22訓(xùn)練誤差與測(cè)試誤差

測(cè)試誤差，亦稱泛化誤差(generalizationerror)，是在與訓(xùn)練數(shù)據(jù)同分布的獨(dú)立的測(cè)試樣本上的期望預(yù)測(cè)誤差：訓(xùn)練誤差是在訓(xùn)練樣本上的平均損失：第二十二頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-23訓(xùn)練誤差與測(cè)試誤差我們的目標(biāo)：選擇使測(cè)試誤差最小的模型M，稱為模型選擇。第二十三頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-24訓(xùn)練誤差與測(cè)試誤差選擇次優(yōu)模型：過(guò)擬合/欠擬合第二十四頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-25訓(xùn)練誤差與測(cè)試誤差訓(xùn)練誤差為預(yù)測(cè)風(fēng)險(xiǎn)的過(guò)小估計(jì)：第二十五頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-26模型選擇和模型評(píng)估為了進(jìn)行模型選擇，我們只需知道不同模型的測(cè)試誤差的相對(duì)值。漸近近似有時(shí)對(duì)比較不同模型的測(cè)試誤差很有用。通常對(duì)誤差的真值沒(méi)有很好的估計(jì)。當(dāng)樣本有限時(shí)，漸近近似通常還不能得到足夠好的估計(jì)。這種情況下我們可以采用重采樣(resampling)方法。當(dāng)然如過(guò)我們對(duì)測(cè)試誤差有一種很好的方法來(lái)直接估計(jì)，我們可以用它來(lái)進(jìn)行模型選擇。第二十六頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-27訓(xùn)練誤差的樂(lè)觀性訓(xùn)練誤差的樂(lè)觀性定義為也就是說(shuō)，欠估計(jì)R(M)的量取決于yi

影響其預(yù)測(cè)的強(qiáng)度。我們?cè)诫y擬合數(shù)據(jù)，樂(lè)觀性越大。第二十七頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-28訓(xùn)練誤差的樂(lè)觀性通常我們有因此，為了選擇模型，我們可以對(duì)進(jìn)行估計(jì)，或以某種方式估計(jì)R(M)欠擬合程度+復(fù)雜性懲罰第二十八頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-29估計(jì)樂(lè)觀性通過(guò)各種技巧（通常是漸近性）估計(jì)樂(lè)觀性第二十九頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-30MallowsCp統(tǒng)計(jì)量當(dāng)取平方誤差損失，誤差模型為，其中誤差的均值為0，方差為其中為模型中參數(shù)的數(shù)目。第三十頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-31MallowsCp統(tǒng)計(jì)量這樣，可以用MallowsCp統(tǒng)計(jì)來(lái)估計(jì)R(M)其中為從一個(gè)低偏差（的復(fù)雜）估計(jì)的MSE獲得。第三十一頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-32AIC（AkaikeInformationCriterion）假設(shè)采用log似然作為損失函數(shù)實(shí)際上我們采用的是?2l(M)如果模型為，則當(dāng)時(shí)，其中為的MLE，為訓(xùn)練數(shù)據(jù)上的似然值第三十二頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-33AIC（AkaikeInformationCriterion）這導(dǎo)出R(M)的一個(gè)估計(jì)：AIC（AkaikeInformationCriterion）其中為從一個(gè)低偏差（的復(fù)雜）估計(jì)的MSE獲得。這同MallowsCp統(tǒng)計(jì)量相同，只是適用假設(shè)范圍更寬（推廣）但是注意：這并不是普遍滿足，如0-1損失。第三十三頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-34貝葉斯模型選擇假設(shè)我們有一個(gè)候選模型M，其參數(shù)空間為，后驗(yàn)為為了比較兩個(gè)模型M1和M2，可以計(jì)算兩個(gè)模型的相對(duì)后驗(yàn)概率，稱為后驗(yàn)幾率（posteriorodds）：稱為貝葉斯因子(Bayesfactor)，是數(shù)據(jù)對(duì)后驗(yàn)的貢獻(xiàn)第三十四頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-35BIC(BayesianInformationCriterion)假設(shè)模型的先驗(yàn)是常量且參數(shù)的先驗(yàn)平滑，我們用Laplace近似來(lái)近似計(jì)算的積分，再加上某些簡(jiǎn)化，得到其中，為的MLE。這導(dǎo)出了另外一個(gè)模型選擇計(jì)分的準(zhǔn)則：貝葉斯信息準(zhǔn)則(BayesianInformationCriterion，BIC)第三十五頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-36BIC(BayesianInformationCriterion)當(dāng)取平方誤差損失，誤差模型為，其中誤差的均值為0，方差為，有得到BIC(M)，其中因子2被logN代替AIC傾向于過(guò)擬合，而B(niǎo)IC傾向于欠擬合第三十六頁(yè)，共三十九頁(yè)，編輯于2023年，星期四MLE3-37BICAIC不是一致的，而B(niǎo)IC是一致的，也就是說(shuō)，選擇最小BIC的模型等價(jià)于選擇最大后驗(yàn)概率的模型（在漸近意義下）。事實(shí)上模型的后驗(yàn)概率為不僅可以估計(jì)最好的模型，而且可以評(píng)估所考慮模型的相關(guān)指標(biāo)