模型選擇和模型評估.ppt

1、MLE,3-1,上節(jié)課內(nèi)容總結(jié),貝葉斯的概率觀點 概率描述的是主觀信念的程度 可以對參數(shù)進行概率描述，為參數(shù)生成一個概率分布 貝葉斯推理的基本步驟 先驗分布 似然模型 計算后驗分布 從后驗分布中得到點估計和區(qū)間估計 點估計：后驗均值、后驗眾數(shù)（MAP） 后驗區(qū)間,MLE,3-2,上節(jié)課內(nèi)容總結(jié),后驗的仿真模擬 貝葉斯推理與MLE 例 令 為 的極大似然估計，在合適的正則條件下，后驗均值為 貝葉斯推理的優(yōu)點 可以方便的結(jié)合先驗信息 數(shù)據(jù)和先驗同等對待 由后驗可以同時推出點估計和區(qū)間估計,MLE,3-3,第七章：模型選擇和模型評估,內(nèi)容： 估計選擇 （Ch13） 模型選擇 （Ch14，Ch9，統(tǒng)計

2、學習基礎(chǔ)第7章）,MLE,3-4,估計選擇,有幾個不同的估計，哪個估計更好一些？ 統(tǒng)計決策理論,MLE,3-5,損失函數(shù),損失函數(shù)：度量真值 與估計 之間的差異 損失函數(shù)舉例,平方誤差損失,絕對誤差損失,損失,0-1損失,Kullback Leibler損失,MLE,3-6,風險函數(shù),風險函數(shù)：損失的均值 一個估計 的風險是 對平方誤差損失，風險為MSE 風險是 的函數(shù) 比較不同的估計，轉(zhuǎn)化為比較不同估計的風險 但并不能清楚地回答哪個估計更好,MLE,3-7,風險比較,沒有一個估計的風險在所有的值都超過另外一個,MLE,3-8,風險比較,風險函數(shù)的兩個單值概述 最大風險 貝葉斯風險 其中 為的

3、先驗。,MLE,3-9,決策規(guī)則(Decision Rules),決策規(guī)則是估計的別名 最小化貝葉斯風險的決策規(guī)則成為貝葉斯規(guī)則或貝葉斯估計，即 為對應先驗 f 的貝葉斯估計 其中下界是對所有的估計 計算 最小化最大風險的估計稱為最小最大規(guī)則 其中下界是對所有的估計 計算,MLE,3-10,貝葉斯估計,給定一個模型（先驗和后驗）和損失函數(shù)，就可以找到貝葉斯規(guī)則 若 ，則貝葉斯規(guī)則為后驗均值 若 ，則貝葉斯規(guī)則為后驗中值 若 為0-1損失，則貝葉斯規(guī)則為后驗眾數(shù),MLE,3-11,最小最大規(guī)則,找最小最大規(guī)則，或者證明一個估計是最小最大估計是一件很困難的事情。但還是有一個簡單的方法：有些貝葉斯估

4、計（如風險為常數(shù)）是最小最大估計 令 對應先驗 f 的貝葉斯估計： 假設(shè) 則 為最小最大估計，且f 稱為最小受歡迎先驗( least favorable prior)。 上述結(jié)論一個簡單的結(jié)果有：如果一個貝葉斯規(guī)則的風險為常數(shù) ，則它是最小最大估計。,MLE,3-12,MLE為近似最小最大估計,對滿足弱正則條件的參數(shù)模型，極大似然估計近似為最小最大估計。對均方誤差損失，通常 根據(jù)Cramer-Rao 不等式，這是所有無偏估計的方差的下界。,MLE,3-13,MLE為近似最小最大估計,因此對所有估計 ，有 對大數(shù)N， MLE為近似最小最大估計。 因此，對大多數(shù)參數(shù)模型，當有大量樣本時，MLE近似

5、為最小最大估計和貝葉斯估計。 Many Normal Means 情況不成立（不是大樣本）,MLE,3-14,可接受性(Admissibility),一個估計如果在所有值上都比其它估計的風險大，則該估計不是我們所希望的。如果存在一個其它的規(guī)則 ，使得 則該估計 是不可接受的。 否則， 是可接受的。,至少存在一個,MLE,3-15,可接受性,可接受性是與其他表示估計好壞的方法有何關(guān)系？ 在一些正則條件下，如果 為貝葉斯規(guī)則且有有限風險，則它是可接受的。 如果 的風險為常數(shù)且是可接受的，則它是最小最大估計。,MLE,3-16,許多正態(tài)均值(Many Normal Means),Many Norma

6、l Means是一個原型問題，與一般的非參數(shù)回歸或密度估計等價。對這個問題，以前許多關(guān)于極大似然估計的正面的結(jié)論都不再滿足。 令 ， 表示數(shù)據(jù)， 表示未知參數(shù)， c0，這里參數(shù)的數(shù)目與觀測數(shù)據(jù)一樣多,MLE,3-17,Many Normal Means,MLE為 ，損失函數(shù)為 MLE的風險為 最小最大估計的風險近似為 ，且存在這樣一個估計 能達到該風險。也就是說，存在風險比MLE更小的估計，因此MLE是不可接受的。在實際應用中，風險的差值可能很重要。 因此對高維問題或非參數(shù)問題，MLE并不是最優(yōu)估計。另外在非參數(shù)場合，MLE的魯棒性也不是很好。,MLE,3-18,底線,根據(jù)這些工具，怎樣選擇估

7、計呢？ 如果一個估計是不可接受的，則該估計一定是不好的。 如果你信仰貝葉斯觀點，則你可以用貝葉斯規(guī)則 如果最小最大性滿足應用要求，可以使用最小最大估計。,MLE,3-19,模型選擇,給定一個估計和風險函數(shù)，應該選擇哪個模型/參數(shù)？,MLE,3-20,“模型”,我們說的“模型”有時指的是模型類別 ，例如所有2個高斯的混合模型和所有3個高斯的混合模型。 有時也指在一個類別的模型中的一員，如參數(shù)的值為特定值。也就是說，模型的類別是固定的，而考慮的是不同的參數(shù)值。 在實際應用中，我們通常同時考慮上述兩種情況，也就是說：,MLE,3-21,訓練與測試,訓練 數(shù)據(jù),目標/類別,學習,模型,測試 數(shù)據(jù),應用

8、 模型,MLE,3-22,訓練誤差與測試誤差,測試誤差，亦稱泛化誤差(generalization error )，是在與訓練數(shù)據(jù)同分布的獨立的測試樣本上的期望預測誤差： 訓練誤差是在訓練樣本上的平均損失：,MLE,3-23,訓練誤差與測試誤差,我們的目標：選擇使測試誤差最小 的模型M， 稱為模型選擇。,MLE,3-24,訓練誤差與測試誤差,選擇次優(yōu)模型：過擬合/欠擬合,MLE,3-25,訓練誤差與測試誤差,訓練誤差為預測風險的過小估計：,MLE,3-26,模型選擇和模型評估,為了進行模型選擇，我們只需知道不同模型的測試誤差的相對值。漸近近似有時對比較不同模型的測試誤差很有用。 通常對誤差的真

9、值沒有很好的估計。當樣本有限時，漸近近似通常還不能得到足夠好的估計。這種情況下我們可以采用重采樣(resampling )方法 。 當然如過我們對測試誤差有一種很好的方法來直接估計，我們可以用它來進行模型選擇。,MLE,3-27,訓練誤差的樂觀性,訓練誤差的樂觀性定義為 也就是說， 欠估計R(M)的量取決于 yi 影響其預測的強度。我們越難擬合數(shù)據(jù)，樂觀性越大。,MLE,3-28,訓練誤差的樂觀性,通常我們有 因此，為了選擇模型，我們可以 對 進行估計，或 以某種方式估計R(M),欠擬合程度 + 復雜性懲罰,MLE,3-29,估計樂觀性,通過各種技巧（通常是漸近性）估計樂觀性,MLE,3-30

10、,Mallows Cp統(tǒng)計量,當取平方誤差損失，誤差模型為 ，其中誤差 的均值為0，方差為 其中 為模型中參數(shù)的數(shù)目。,MLE,3-31,Mallows Cp統(tǒng)計量,這樣，可以用Mallows Cp統(tǒng)計來估計R(M) 其中 為從一個低偏差（的復雜）估計的MSE獲得。,MLE,3-32,AIC（Akaike Information Criterion）,假設(shè)采用log似然作為損失函數(shù) 實際上我們采用的是2l(M) 如果模型為 ，則當 時， 其中 為 的MLE， 為訓練數(shù)據(jù)上的似然值,MLE,3-33,AIC（Akaike Information Criterion）,這導出R(M)的一個估計：

11、AIC（Akaike Information Criterion） 其中 為從一個低偏差（的復雜）估計的MSE獲得。 這同Mallows Cp統(tǒng)計量相同，只是適用假設(shè)范圍更寬（推廣） 但是注意：這并不是普遍滿足，如0-1損失。,MLE,3-34,貝葉斯模型選擇,假設(shè)我們有一個候選模型M，其參數(shù)空間為 ，后驗為 為了比較兩個模型M1和M2，可以計算兩個模型的相對后驗概率，稱為后驗幾率（posterior odds）： 稱為貝葉斯因子 (Bayes factor)，是數(shù)據(jù)對后驗的貢獻,MLE,3-35,BIC (Bayesian Information Criterion),假設(shè)模型的先驗是常量且

12、參數(shù)的先驗平滑，我們用Laplace近似來近似計算 的積分，再加上某些簡化，得到 其中 ， 為 的MLE。 這導出了另外一個模型選擇計分的準則：貝葉斯信息準則(Bayesian Information Criterion，BIC),MLE,3-36,BIC (Bayesian Information Criterion),當取平方誤差損失，誤差模型為 ，其中誤差 的均值為0，方差為 ，有 得到 BIC(M) ，其中因子2被logN代替 AIC傾向于過擬合，而BIC傾向于欠擬合,MLE,3-37,BIC,AIC不是一致的，而BIC是一致的，也就是說，選擇最小BIC的模型等價于選擇最大后驗概率的模型（在漸近意義下）。事實上模型的后驗概率為 不僅可以估計最好的模型，而且可以評估所考慮模型的相關(guān)