第17章gbdt和分類模型評(píng)估算法角度

第17GBDT主要內(nèi) 3組合樹算法的發(fā)展歷目標(biāo)函目標(biāo)函數(shù)通常包含兩項(xiàng)：損失函數(shù)和正則損失函數(shù)—回?fù)p失函數(shù)——分負(fù)log似然損正則0本，但，隨 量值會(huì)化訓(xùn)練數(shù)據(jù)中可能會(huì)有復(fù)雜模型（預(yù)測(cè)）不穩(wěn)所以需要控制模型復(fù)雜正則項(xiàng)：對(duì)復(fù)雜模型施加懲常用正則函L1正則和稀疏模常見線性模型的損失和正則項(xiàng)組非線性模優(yōu)梯度下降（GradientDescent）算梯度下降算法L2損失函數(shù)梯Logistic損失梯Logistic損失函數(shù)梯度Logistic損失函數(shù)梯度Logistic損失函數(shù)梯度前向逐步遞 提實(shí)基模AdaBoostas前向逐步遞AdaBoostas前向逐步遞增前向逐步遞增—其他損失函Boostingas數(shù)梯度下GradientGradientGradientBoosting損失函數(shù)的二Scikit-learn中的Scikit-learn中的 34567 8.313456789 12 決策率\精確度\F排序ROC指標(biāo)K-S統(tǒng)計(jì)提升 客戶預(yù)測(cè)為正?？蛻簦瑒t代價(jià)慘重決策類模型評(píng) 每給定一個(gè)閾值，就可以出一矩打分反應(yīng)（預(yù)測(cè)未反應(yīng)（預(yù)測(cè)合結(jié)呈現(xiàn)信（真實(shí)未呈現(xiàn)信（真實(shí)）合TrueC（虛報(bào)FalseA+B（漏報(bào)FalseD（正確否定TrueB+A+C+A+B+C+正確率靈敏度（Sensitivity；覆蓋率(Precision、特異度(Specificity；負(fù)例的覆蓋率負(fù)(PV-)=6.F-Scikit-learn實(shí)現(xiàn) 矩 決策率\精確度\F排序ROC指提升 該類模型的需求是回答“會(huì)不會(huì)？”。比如預(yù)測(cè)一下客戶違約的概率、響應(yīng)的概率X:1-特異Y：靈敏X:X:深Y紅：正例累積密Y藍(lán)：負(fù)例累積密Y率：K-SX:Y：精確 ROC（ReceiverOperatingCharacterstic）曲線——接收者操作特征曲線。

PredictedPredicted1-13-13-0111101110100010000

01088113 1-靈敏靈敏1-特異 3-弱的模

強(qiáng)的模ROC曲線結(jié)果的取值在[0.5,1[0.95,0.1]社會(huì)科學(xué)建模中不大可能出現(xiàn)ROC圖 違約分值高處敏該模型在違約風(fēng)險(xiǎn)高人群中的測(cè)能力較強(qiáng)，而在違約率低的部部分客戶授予分期。

違約分值低處敏該模型在違約風(fēng)險(xiǎn)低人群中的測(cè)能力較強(qiáng)，而