數(shù)據(jù)挖掘模型評(píng)估課件

數(shù)據(jù)挖掘模型評(píng)估2022/11/251數(shù)據(jù)挖掘模型評(píng)估2022/9/241一、評(píng)估分類法的準(zhǔn)確率2022/11/252評(píng)估分類法準(zhǔn)確率的技術(shù)有保持（holdout）和k-折交叉確認(rèn)（k-foldcross-validation）方法。另外，還有兩種提供分類法準(zhǔn)確率的策略：裝袋（bagging）和推進(jìn)（boosting）。1、保持和k-折交叉在保持方法中，給定數(shù)據(jù)隨機(jī)劃分成兩個(gè)獨(dú)立的集合：訓(xùn)練集和測(cè)試集。通常，三分之二的數(shù)據(jù)分配到訓(xùn)練集，其余三分之一分配到訓(xùn)練集。一、評(píng)估分類法的準(zhǔn)確率2022/9/242評(píng)估分類法準(zhǔn)確率的2022/11/253“保持”這種評(píng)估方法是保守的，因?yàn)橹挥幸徊糠殖跏紨?shù)據(jù)用于導(dǎo)出的分類法。隨機(jī)子選樣是“保持”方法的一種變形，它將“保持”方法重復(fù)k次?？傮w準(zhǔn)確率估計(jì)取每次迭代準(zhǔn)確率的平均值。2022/9/243“保持”這種評(píng)估方法是保守的，因?yàn)橹挥幸籏—折交叉確認(rèn)在k—折交叉確認(rèn)（k—foldcross—validation）中，初試數(shù)據(jù)被劃分成k個(gè)互不相交的子集或“折”，每個(gè)折的大小大致相等。訓(xùn)練和測(cè)試k次。在第i次迭代，第i折用作測(cè)試集，其余的子集都用于訓(xùn)練分類法。準(zhǔn)確率估計(jì)是k次迭代正確分類數(shù)除以初始數(shù)據(jù)中的樣本總數(shù)。2022/11/254K—折交叉確認(rèn)在k—折交叉確認(rèn)（k—foldcross—v2、提高分類法的準(zhǔn)確率2022/11/255裝袋2、提高分類法的準(zhǔn)確率2022/9/245裝袋2022/11/256推進(jìn)即使用相同的分類器，各個(gè)分類器不是獨(dú)立的；使用同一個(gè)算法對(duì)樣本迭代訓(xùn)練，后建立的分類器關(guān)注于先前建立的分類器不能更好處理的部分?jǐn)?shù)據(jù)；最終的輸出為各個(gè)分類器的加權(quán)投票。

2022/9/246推進(jìn)即使用相同的分類器，各個(gè)分類器不是3、靈敏性和特效性度量假定你已經(jīng)訓(xùn)練了一個(gè)分類法，將醫(yī)療數(shù)據(jù)分類為“cancer”或“non_cancer”。90%的準(zhǔn)確率使得該分類法看上去相當(dāng)準(zhǔn)確，但是如果實(shí)際只有3—4%的訓(xùn)練樣本是“cancer”會(huì)怎么樣？顯然，90%的準(zhǔn)確率是不能接受的——該分類法只能正確的標(biāo)記“non_cancer”（稱作負(fù)樣本）樣本。但我們希望評(píng)估該分類能夠識(shí)別“cancer”（稱作正樣本）的情況。2022/11/2573、靈敏性和特效性度量假定你已經(jīng)訓(xùn)練了一個(gè)分類法，將醫(yī)療數(shù)據(jù)為此，除用準(zhǔn)確率評(píng)價(jià)分類模型外，還需要使用靈敏性（sensitivity）和特效性（specificity）度量。還可以使用精度（precision）來(lái)度量，即評(píng)估標(biāo)記為“cancer”，實(shí)際是“cancer”的樣本百分比。2022/11/258為此，除用準(zhǔn)確率評(píng)價(jià)分類模型外，還需要使用靈敏性（sensi其中，t_pos是真正樣本（被正確地按此分類的“cancer”樣本）數(shù)，pos是正（“cancer”）樣本數(shù)，t_neg是真負(fù)樣本（被正確地按此分類的“non_cancer”樣本）數(shù)，neg是負(fù)（“non_cancer”）樣本數(shù)，而f_pos假正樣本（被錯(cuò)誤地標(biāo)記為“cancer”的“non_cancer”樣本）數(shù)2022/11/259靈敏性特效性精度其中，t_pos是真正樣本（被正確地按此分類的“cancer2022/11/2510預(yù)測(cè)值1（實(shí)際“cancer”）0（實(shí)際no_cancer）1(預(yù)測(cè)“cancer”)000(預(yù)測(cè)“no_cancer”)10902022/9/2410預(yù)測(cè)值1（實(shí)際“cancer”）0（實(shí)二、數(shù)據(jù)挖掘模型評(píng)估的錯(cuò)誤觀念傳統(tǒng)評(píng)估分類預(yù)測(cè)模型時(shí)，通常使用的是“準(zhǔn)確度”。它的功能是評(píng)估模型分類實(shí)物是否正確。準(zhǔn)確度越高模型就越好。但事實(shí)上，這樣評(píng)估出來(lái)的模型并不是最好的。2022/11/2511二、數(shù)據(jù)挖掘模型評(píng)估的錯(cuò)誤觀念傳統(tǒng)評(píng)估分類預(yù)測(cè)模型時(shí)，通常使例：某家銀行發(fā)行現(xiàn)金卡，風(fēng)險(xiǎn)控管部門主管決定建立DM模型，利用申請(qǐng)人申請(qǐng)當(dāng)時(shí)的所填的資料，建立違約預(yù)測(cè)模型，來(lái)作為核發(fā)現(xiàn)金卡以及給予額度的標(biāo)準(zhǔn)。該銀行邀請(qǐng)兩家DM公司來(lái)設(shè)計(jì)模型，評(píng)比的標(biāo)準(zhǔn)是根據(jù)模型的“準(zhǔn)確度”。根據(jù)此標(biāo)準(zhǔn)，A公司所建模型的準(zhǔn)確度92%，B公司的準(zhǔn)確度是68%。銀行和A公司簽約。2022/11/2512例：某家銀行發(fā)行現(xiàn)金卡，風(fēng)險(xiǎn)控管部門主管決定建立DM模型，利利用A公司的模型后，結(jié)果發(fā)現(xiàn)里面只有一條規(guī)則，那就是“所有的人都不會(huì)違約”。為什么？A：所有的人都不會(huì)違約，因此它錯(cuò)誤的只有8%的違約分類錯(cuò)誤（違約誤判為不違約），因此準(zhǔn)確率是92%。B：在根據(jù)評(píng)分由高至低篩選出來(lái)前40%的名單中，可以將所有的違約戶都找出來(lái)。即有32%的非違約戶被誤判為違約戶，因此準(zhǔn)確率只有68%。哪一家的模型更好呢？由上可以發(fā)現(xiàn)，不能使用準(zhǔn)確率來(lái)評(píng)判模型的優(yōu)劣。2022/11/2513利用A公司的模型后，結(jié)果發(fā)現(xiàn)里面只有一條規(guī)則，那就是“所有的為什么會(huì)出現(xiàn)這樣的結(jié)果？原因在于兩類錯(cuò)誤，忽略了“錯(cuò)誤不等價(jià)”。如果把一個(gè)“會(huì)違約的人判斷成不會(huì)違約”，這家銀行損失20～30萬(wàn)元的現(xiàn)金卡卡金，但是如果將一個(gè)“不會(huì)違約的人錯(cuò)判成違約”，只是劃分了一些審查成本以及可能因?yàn)楸Ｊ亟o予額度而造成的機(jī)會(huì)成本損失。因此兩種誤判所造成的效益影響是不等價(jià)的。2022/11/2514為什么會(huì)出現(xiàn)這樣的結(jié)果？原因在于兩類錯(cuò)誤，忽略了“錯(cuò)誤不等價(jià)所謂小概率事件是發(fā)生概率小，而且一定是能夠?yàn)槠髽I(yè)界帶來(lái)高度獲利或嚴(yán)重?fù)p失的事件。由于小概率事件發(fā)生概率很小，如果針對(duì)所有客戶采取行動(dòng)，就會(huì)形成浪費(fèi)，因此，需要利用預(yù)測(cè)的技術(shù)將小概率事件找出來(lái)。那么，只針對(duì)預(yù)測(cè)的小概率事件采取行動(dòng)就會(huì)避免浪費(fèi)。DM的價(jià)值就在于能夠利用歷史資料找出“小概率事件”。2022/11/2515小概率事件：所謂小概率事件是發(fā)生概率小，而且一定是能夠?yàn)槠髽I(yè)界帶來(lái)高度獲因此，評(píng)估數(shù)據(jù)挖掘模型的第一步就必須從錯(cuò)誤狀態(tài)的分類入手。這需要建立分類矩陣，通過(guò)分類矩陣來(lái)查看所有錯(cuò)誤的分布。2022/11/2516因此，評(píng)估數(shù)據(jù)挖掘模型的第一步就必須從錯(cuò)誤狀態(tài)的分類入手。這H0

為真H0

為假真實(shí)情況所作判斷接受H0拒絕H0正確正確棄真錯(cuò)誤取偽錯(cuò)誤兩類錯(cuò)誤犯第一類錯(cuò)誤是棄真錯(cuò)誤；犯第二類錯(cuò)誤是取偽錯(cuò)誤

。2022/11/2517三、分類矩陣H0為真H0為假真實(shí)情況所作判斷接受H0拒絕H0正確正確對(duì)于DM來(lái)說(shuō)，通常第二類錯(cuò)誤的損失或收益要比第一類高。因此，我們需要確定哪一個(gè)狀況是我們所關(guān)心的小概率事件。把對(duì)這個(gè)事件的誤判會(huì)造成極大損失的情況，作為第二類錯(cuò)誤。例，把一個(gè)好賬的人當(dāng)作呆賬是第一類錯(cuò)誤，把一個(gè)呆賬的人當(dāng)作好賬是第二類錯(cuò)誤。2022/11/2518對(duì)于DM來(lái)說(shuō)，通常第二類錯(cuò)誤的損失或收益要比第一類高。202預(yù)測(cè)值1（實(shí)際“會(huì)違約”）0（實(shí)際“不會(huì)違約”）1662801857212022/11/2519表中，預(yù)測(cè)為會(huì)違約且實(shí)際也會(huì)違約的有66人，預(yù)測(cè)不會(huì)違約且實(shí)際沒(méi)有違約的有721人，這些是分類正確者。表中，預(yù)測(cè)為會(huì)違約且實(shí)際沒(méi)有違約的有28人，預(yù)測(cè)不會(huì)違約且實(shí)際違約的有185人，這些是預(yù)測(cè)模型判斷錯(cuò)誤的部分。其中，后者還會(huì)造成比較嚴(yán)重的損失，是值得關(guān)注的部分。預(yù)測(cè)值1（實(shí)際“會(huì)違約”）0（實(shí)際“不會(huì)違約”）166280該如何使用分類矩陣的信息呢？2022/11/2520主要看三個(gè)指標(biāo)，即回應(yīng)率、反查率以及間距縮減。該如何使用分類矩陣的信息呢？2022/9/2420主要看三個(gè)Responserate=預(yù)測(cè)會(huì)違約且實(shí)際會(huì)違約/所有預(yù)測(cè)會(huì)違約=66/(66+28)=70.21%預(yù)測(cè)模型回應(yīng)率的高低須和總體回應(yīng)率比較：總體responserate=總體實(shí)際會(huì)違約/總體=(66+185)/(66+185+28+721)=25.1%2022/11/2521預(yù)測(cè)值1（實(shí)際“會(huì)違約”）0（實(shí)際“不會(huì)違約”）166280185721回應(yīng)率(responserate)：在預(yù)測(cè)的名單中找出有多少小概率事件（在預(yù)測(cè)違約的名單中，真正違約的所占比例是多少）。Responserate2022/9/2421預(yù)測(cè)值1（實(shí)可以發(fā)現(xiàn)，原始回應(yīng)率為25.1%，運(yùn)用數(shù)據(jù)挖掘模型提升為70.21%，因此回應(yīng)率提升了2.8倍?；貞?yīng)率講究的是模型“寧缺勿濫”的能力?；貞?yīng)率高并不代表一定是好模型，因?yàn)槿绻脭?shù)據(jù)挖掘模型從一萬(wàn)人中挑出10個(gè)最有可能會(huì)買產(chǎn)品的顧客，結(jié)果回應(yīng)率是100%，但是卻漏掉了大多數(shù)會(huì)買產(chǎn)品的顧客，因此，還得參考“反查率”這個(gè)指標(biāo)。2022/11/2522可以發(fā)現(xiàn)，原始回應(yīng)率為25.1%，運(yùn)用數(shù)據(jù)挖掘模型提升為70Recall=預(yù)測(cè)會(huì)違約且實(shí)際違約/所有實(shí)際會(huì)違約=66/(66+185)=26.29%它的意義在于：預(yù)測(cè)出來(lái)會(huì)違約的人占了總體會(huì)違約的客戶多少百分比。反查率越高，表明犯第二類錯(cuò)誤的可能性越小，那么模型越好。2022/11/2523預(yù)測(cè)值1（實(shí)際“會(huì)違約”）0（實(shí)際“不會(huì)違約”）166280185721反查(recall)：預(yù)測(cè)出來(lái)的小概率事件占總體小概率事件的比例是多少。Recall2022/9/2423預(yù)測(cè)值1（實(shí)際“會(huì)違約”）完美的預(yù)測(cè)模型反查率是100%，但是反查率與回應(yīng)率是互相矛盾的。recall=67/(67+184)>66/(66+185)Responserate=67/(67+38)<66/(66+28)2022/11/2524預(yù)測(cè)值1（實(shí)際“會(huì)違約”）0（實(shí)際“不會(huì)違約”）167380184711預(yù)測(cè)值1（實(shí)際值）0（實(shí)際值）166280185721完美的預(yù)測(cè)模型反查率是100%，但是反查率與回應(yīng)率是互相矛盾Rangereduce=預(yù)測(cè)會(huì)違約/總體=(66+28)/(66+28+721+185)=9.4%間距縮減代表的是根據(jù)模型執(zhí)行活動(dòng)時(shí)的成本，當(dāng)如果名單量沒(méi)有有效縮減時(shí)，執(zhí)行的總成本會(huì)很高，因此間距縮減越低越好。2022/11/2525預(yù)測(cè)值1（實(shí)際值）0（實(shí)際值）166280185721間距縮減(rangereduce)：通過(guò)DM模型來(lái)找出小概率事件時(shí)，名單縮小了多少。Rangereduce2022/9/2425預(yù)測(cè)值1（實(shí)際從上述三個(gè)指標(biāo)來(lái)看，這個(gè)預(yù)測(cè)模型可以讓名單縮減至原來(lái)的9.4%，但是卻只包含了總體26.29%會(huì)違約的人（反查率），讓回應(yīng)率提升了原先的2.8倍。2022/11/2526從上述三個(gè)指標(biāo)來(lái)看，這個(gè)預(yù)測(cè)模型可以讓名單縮減至原來(lái)的9.4注意：很少有模型同時(shí)能夠滿足上述三個(gè)指標(biāo)的要求，當(dāng)回應(yīng)率很高時(shí)，一定是篩選高概率族群，因此名單間距縮減一定會(huì)變低，但是會(huì)遺漏掉低概率族群必定會(huì)造成反查降低，所以若只看分類矩陣，找不出最好的模型。分類矩陣是根據(jù)一個(gè)概率閥值將顧客分作兩種情況，過(guò)度簡(jiǎn)化了實(shí)際的結(jié)果。因?yàn)樗械难菟惴ǔ祟A(yù)測(cè)結(jié)果之外，同時(shí)還會(huì)提供概率值作為排序的基準(zhǔn)。2022/11/2527注意：很少有模型同時(shí)能夠滿足上述三個(gè)指標(biāo)的要求，當(dāng)回應(yīng)率很高四、增益圖（靈敏性分析）2022/11/2528橫軸百分比代表根據(jù)DM模型根據(jù)概率由高到低排序后的名單占總體百分比?？v軸則是在這批名單中小概率事件的人數(shù)占總體小概率事件人數(shù)的百分比。45度線表示隨機(jī)的狀態(tài)，代表當(dāng)篩選一半的名單去檢查違約狀況時(shí)，剛好會(huì)包含全體名單一半的違約戶數(shù)量。正常模型的增益圖要比45度線向第二象限彎曲，越向上彎曲表示模型效果越好。理想模型線：在增益圖的最上方兩段直線所構(gòu)成的，表示完美預(yù)測(cè)的結(jié)果。四、增益圖（靈敏性分析）2022/9/2428橫軸百分比代表AUC(areaundercurve)：模型曲線下面的陰影面積與完美模型曲線下面陰影面積的比值。AUC越接近于1，表示模型的預(yù)測(cè)能力越高。吉尼系數(shù)=模型曲線與45度線之間的面積/完美模型曲線與45度線之間的面積基尼系數(shù)？吉尼系數(shù)越接近1，表示模型的預(yù)測(cè)能力越高。2022/11/2529AUC(areaundercurve)：模型曲線下面的陰AUC與Gini系數(shù)對(duì)應(yīng)的模型分辨能力AUCGini模型預(yù)測(cè)能力=50%0無(wú)預(yù)測(cè)能力50%-70%0-0.4極差70%-80%0.4-0.6可以接受80%-90%0.6-0.8非常良好90%-100%0.8-1過(guò)度完美2022/11/2530AUC與Gini系數(shù)對(duì)應(yīng)的模型分辨能力AUCGini模型預(yù)測(cè)五、收益圖從收益的角度來(lái)看，DM有兩種類型：回應(yīng)模型（直效行銷）：預(yù)測(cè)的小概率事件能夠?yàn)槠髽I(yè)帶來(lái)大量獲利。損失模型：預(yù)測(cè)的小概率事件為企業(yè)帶來(lái)大量損失。2022/11/2531五、收益圖從收益的角度來(lái)看，DM有兩種類型：2022/9/2上述兩個(gè)模型都沒(méi)有包含整個(gè)公司的固定成本，不管成功案例多、少，都必須付出的成本。收益圖:首先在成本獲利參數(shù)的輸入對(duì)話框中，要輸入：總體（？）固定成本（？）單位成本（？）每個(gè)收益（？）：每個(gè)小概率事件發(fā)生時(shí)所得到的獲利或是減少的損失。2022/11/2532上述兩個(gè)模型都沒(méi)有包含整個(gè)公司的固定成本，不管成功案例多、少1、回應(yīng)模型假設(shè)電話銷售每打一通電話所要付出的人事、設(shè)備折舊以及辦公室設(shè)備相關(guān)成本總共是250元；而每成功銷售一通的話第一年可以為公司凈賺1000元。所以每打出去一通電話：銷售成功：1000—250=收益750（即正確預(yù)測(cè)稀有事件）銷售失?。簱p失250元2022/11/25331、回應(yīng)模型假設(shè)電話銷售每打一通電話所要付出的人事、設(shè)備折舊直效行銷設(shè)定：總體：50000；固定成本：200000；單位成本：250；每個(gè)收益：10002022/11/25346000005000004000003000002000000-100000—15萬(wàn)535萬(wàn)假設(shè)行銷活動(dòng)針對(duì)全體客戶進(jìn)行，獲利為-15萬(wàn)從圖上看，在概率最高的前34%-39%之間名單進(jìn)行行銷，可以獲利的最高點(diǎn)是535萬(wàn)元。橫軸表示模型會(huì)根據(jù)行銷成功概率由高至低將客戶排序縱軸表示行銷收益直效行銷設(shè)定：2022/9/2434600000—15萬(wàn)532、損失模型下面來(lái)看信用評(píng)級(jí)的預(yù)測(cè)模型，預(yù)測(cè)的目標(biāo)是違約客戶，假設(shè)每個(gè)客戶第一年帶來(lái)的信用卡刷卡手續(xù)費(fèi)以及利息收入為6000元，每個(gè)信用卡違約客戶違約時(shí)金額為20000元。所以每預(yù)測(cè)一個(gè)客戶違約狀態(tài)：違約戶：損失為20000—6000=損失14000元正常戶：獲利6000元2022/11/25352、損失模型下面來(lái)看信用評(píng)級(jí)的預(yù)測(cè)模型，預(yù)測(cè)的目標(biāo)是違約客戶信用評(píng)等模型設(shè)定：總體：50000；固定成本：200,000；單位成本：—6,000；每個(gè)收益：—20,0002022/11/25366000005000004000003000002000000-100000橫軸表示模型會(huì)根據(jù)違約概率由高至低將客戶排序本例最低點(diǎn)為35%，因此，建議該銀行針對(duì)違約概率最高的35%客戶拒絕發(fā)給信用卡因?yàn)榍鞍攵味际歉哌`約率客戶，因此損失曲線是直線下降縱軸表示行銷收益信用評(píng)等模型設(shè)定：2022/9/2436600000橫軸表示六、散布圖增益圖和收益圖都是用來(lái)評(píng)估類別變量預(yù)測(cè)問(wèn)題的，如果遇到連續(xù)變量如何評(píng)估？此時(shí)需要散布圖。如果預(yù)測(cè)的變量是連續(xù)型變量時(shí)，前面的分類矩陣、增益圖和收益圖都無(wú)法使用。此時(shí)，在SQL中“增益圖”會(huì)自動(dòng)切換到“散布圖”。2022/11/2537六、散布圖增益圖和收益圖都是用來(lái)評(píng)估類別變量預(yù)測(cè)問(wèn)題的，如果2022/11/2538600000500000400000300000200000100