模型評估與方法

第2章模型評估與選擇1模型評估與方法5/8/20242.1經驗誤差與過擬合2.2評估方法2.3性能度量2.4比較檢驗2.5偏差與方差2模型評估與方法5/8/20242.1經驗誤差與過擬合經驗誤差VS泛化誤差過擬合VS欠擬合3模型評估與方法5/8/20244模型評估與方法5/8/20242.2評估方法2.2.1、留出法（hold-out）直接將數(shù)據(jù)集D劃分為兩個互斥的集合。2.2.2交叉驗證法（crossvalidation）將數(shù)據(jù)集D劃分為K個大小相似的互斥子集，每次用K-1個子集的并集作為訓練集，余下的子集作為測試集。

缺點比較：我們希望評估的是用D訓練的模型。但在留出法和交叉驗證法中，由于保留了一部分樣本用于測試，因此實際評估的模型所使用的訓練集比D小，這必然會引入一些因訓練樣本規(guī)模不同而導致的估計偏差。

5模型評估與方法5/8/20242.2.3自助法“自助法”是針對上述缺點的一個比較好的解決方案，它直接以自助采樣法為基礎。給定包含m個樣本的數(shù)據(jù)集D，我們對它進行采樣產生數(shù)據(jù)集D’：每次隨機從D中挑選一個樣本，將其拷貝放入D’，然后再將該樣本放回初始數(shù)據(jù)集D中，使得該樣本在下次采樣時仍有可能被采到；這個過程重復執(zhí)行m次后，我們就得到了包含m個樣本的數(shù)據(jù)集D’，這就是自助采樣的結果。

于是我們可將D’用作訓練集，D\D’用作測試集；這樣，實際評估的模型與期望評估的模型都使用m個訓練樣本，而我們仍有數(shù)據(jù)總量約1/3的、沒在訓練集中出現(xiàn)的樣本用于測試。6模型評估與方法5/8/20242.2.4調參與最終模型

現(xiàn)實中常見的做法，是對每個參數(shù)選擇一個范圍和變化步長，例如在[0,0.2]范圍內以0.05為步長，則實際要評估的候選參數(shù)值是5個，最終從這5個值中產生選定值。7模型評估與方法5/8/20242.3性能度量衡量模型泛化能力的評價標準2.3.1錯誤率與精度錯誤率是分類錯誤的樣本數(shù)占樣本總數(shù)的比例精度是分類正確的樣本數(shù)占樣本總數(shù)的比例8模型評估與方法5/8/2024

真實情況預測結果正例反例正例TP（真正例）FN（假反例）反例FP（假正例）TN（真反例）9模型評估與方法5/8/2024“平衡點”（Break-EventPoint，簡稱BEP）,就是查準率與查全率時的取值。10模型評估與方法5/8/2024

11模型評估與方法5/8/20242.3.3ROC和AUC根據(jù)實值或概率預測結果，我們可以將測試樣本進行排序，“最可能”是正例的排在前面“最不可能”是正例的排在最后面。分類過程相當于在這個排序中以某個“截斷點”將樣本分為兩個部分，前一部分判做正例，后一部分則判作反例。在不同的應用任務中，我們可根據(jù)任務需求來采用不同的截斷點。排序本身質量的好壞，體現(xiàn)了綜合考慮學習器在不同任務下的“期望泛化性能”的好壞，或者說“一般情況下”泛化性能的好壞。ROC曲線則是從排序本身質量的好壞的角度來研究學習器泛化性能。12模型評估與方法5/8/2024ROC全名“受試者工作特征”曲線，以“真正例率”為縱軸，以“假正例率”為橫軸。真正例率TPR：真正例樣本數(shù)/真實情況是正例的樣本數(shù)（查全率）假正例率FPR：假正例樣本數(shù)/真實情況是是反例的樣本數(shù)基于ROC曲線的學習器性能評價規(guī)則

1.當曲線沒有交叉的時候：外側曲線的學習器性能優(yōu)于內側；2.當曲線有交叉的時候：比較ROC曲線下的面積即AUC(AreaUnderROCCurve)13模型評估與方法5/8/20242.3.4代價敏感錯誤率與代價曲線

在現(xiàn)實任務匯總常會遇到這樣的情況：不同類型的錯誤所造成的后果不同。為權衡不同類型錯誤所造成的的不同損失，可為錯誤賦予“非均等代價”(unequalcost)。如下圖所示，正確判斷的代價顯然應該為0，錯誤判斷的代價之間的比值會影響我們對學習器的改造。

可令costij為把i類樣本錯判為j類樣本的代價，對所有類型錯誤的數(shù)量與其錯誤代價的乘積求和，再除以樣本總數(shù)量，就得到代價敏感（cost-sensitive）錯誤率。14模型評估與方法5/8/2024在非均等代價下，ROC曲線不能直接反映出學習器的期望總體代價，而“代價曲線”則可以達到目的。代價曲線的橫軸是正例概率代價P(+)cost，縱軸是歸一化代價cost—normp是樣例為正例的概率FPR是假正例率，F(xiàn)NR=1-TPR15模型評估與方法5/8/20242.4比較檢驗2.4.1假設檢驗

假設檢驗的基本思想是小概率反證法思想。小概率思想是指小概率事件（P<0.01或P<0.05）在一次試驗中基本上不會發(fā)生。反證法思想是先提出假設(檢驗假設H0)，再用適當?shù)慕y(tǒng)計方法確定假設成立的可能性大小，如可能性小，則認為假設不成立，若可能性大，則還不能認為不假設成立。16模型評估與方法5/8/20242.4.2交叉驗證t檢驗

基本思想：若兩個學習器的性能相同，則使用相同的訓練/測試集得到的測試錯誤率應相同。假設檢驗的前提：測試錯誤率均為泛化錯誤率的獨立采樣。k折交叉驗證產生的K對測試錯誤率：先對每對結果求差，若兩個學習器性能相同則差值均值應為0。因此根據(jù)差值對“學習器AB性能相同”做t檢驗，計算差值的均值和方差，在顯著度確定條件下，判斷變量是否小于臨界值，若小于則無顯著差別，否則可判斷平均錯誤率較小的學習器性能較優(yōu)。因樣本有限，加查驗證不同輪次訓練集有重疊，測試錯誤率實際上不獨立，會導致過高估計假設成立的概率。

17模型評估與方法5/8/20242.4.3McNemar檢驗McNemar主要用于二分類問題，與成對t檢驗一樣也是用于比較兩個學習器的性能大小。主要思想是：若兩學習器的性能相同，則A預測正確B預測錯誤數(shù)應等于B預測錯誤A預測正確數(shù)，即e01=e10，且|e01-e10|服從N（1，e01+e10）分布。18模型評估與方法5/8/20242.4.4Friedman檢驗和Nemenyi后續(xù)檢驗上述的三種檢驗都只能在一組數(shù)據(jù)集上，F(xiàn)檢驗則可以在多組數(shù)據(jù)集進行多個學習器性能的比較，基本思想是在同一組數(shù)據(jù)集上，根據(jù)測試結果（例：測試錯誤率）對學習器的性能進行排序，賦予序值1,2,3…，相同則平分序值，如下圖所示：19模型評估與方法5/8/2024若學習器的性能相同，則它們的平均序值應該相同，且第i個算法的平均序值ri服從正態(tài)分布N（（k+1）/2，（k+1）(k-1)/12），則有：

20模型評估與方法5/8/2024

21模型評估與方法5/8/20242.5偏差與方差偏差-方差分解(bias-variancedecomposition)是解釋學習算法泛化性能的一種重要工具。算法的期望泛化誤差進行分解，得到E(f;D)=