




版權說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權,請進行舉報或認領
文檔簡介
1、評價指標模型方法-模型的評價 評分模型的評價指標 【摘要】如何評價一個評分模型的判別能力,一般在統(tǒng)計上用roc、cap、k-s統(tǒng)計量、gini系數(shù)統(tǒng)計量等圖形工具或統(tǒng)計指標。其中roc曲線是較受歡迎的,而k-s統(tǒng)計量、gini系數(shù)等和roc曲線之間有一定的聯(lián)系。 【關鍵詞】評分模型 評價指標 如果把業(yè)務上的二分類問題從統(tǒng)計角度理解,都在于尋找一個分類器,這個分類器可能是logistic模型,也可以是多元判別模型,還可以使其它復雜形式的模型。 一、roc曲線 roc,英文全稱receiver operating curve,翻譯成中文,簡稱受試者工作特征曲線。其在統(tǒng)計實務中應用甚廣,尤其應用于處
2、理醫(yī)學研究中的“正常組”和“異常組”區(qū)分建模問題,用于評價分類模型的表現(xiàn)能力。 roc曲線原理。 要說清楚roc曲線的原理,我們從一個簡單的分類實例問題說起。假如我們有了基于商業(yè)銀行企業(yè)貸款數(shù)據(jù)建立違約-非違約的業(yè)務分類模型,比如說我們是預測的所有樣本的違約概率或者信用評級得分,比如信用評級得分,我們獲得了關于兩類樣本的分布圖形: 圖 兩類樣本的違約率經(jīng)驗分布 1.基本假設 上面的圖例可以看成一個基于銀行債務人違約率分類的分類器。左邊的分布表示歷史樣本數(shù)據(jù)中違約者預測得到的違約率的分布;右邊的分布相應表示非違約者的分布,其中c點表示決策者做出決斷的切分點,對于該點有這樣的經(jīng)濟意義:一旦我們確定
3、了c點,不考慮其他業(yè)務處理,的樣本被預測為違約者,反之被預測為非謂語這。對于一個固定的cutoff點,我們可得到一些有實際意義的量化指標: hr=,表示在c點左邊,對defaulters的信用得分分布中,基于c點做決策時候,被正確命中的比率,這里h表示被正確預測的違約者的樣本個數(shù),nd表示違約樣本的總數(shù)。 hr=,表示在c點左邊,對non-defaulters的信用得分分布中,基于c點做決策時候,被錯誤預測的比率,這里f表示被錯誤預測的違約者的樣本個數(shù),nnd表示非違約樣本的總數(shù)。 繪制方法 很顯然,當我們移動c點的時候,我們得到了一個二維坐標點的集合,far,hr|c?綴信用得分區(qū)間這里的f
4、ar,hr是風險管理領域的專用表示方法。將其用統(tǒng)計中的一些概念進行一般化處理,得到:fd=,表示在c點左邊違約樣本個數(shù),fd表示在c點違約者信用得分的累積概率;fnd=far則相應表示非違約者信用得分的累積概率;同樣我們可得到二維坐標集合fnd,|c?綴信用得分區(qū)間。 我們將fnd,|c?綴在xy坐標平面上繪制,就得到了roc曲線。 roc曲線與其他評價指標間關系。 統(tǒng)計量 圖 roc曲線切線k-s統(tǒng)計量 k-s檢驗,用于檢驗樣本是否來自一個指定的分布或者檢驗兩類樣本是否同分布。對上述例子,兩樣本分布獨立性的檢驗常用k-s統(tǒng)計量: d=max|fd-fd|,這里為了符合常識,我們用表示變量得分
5、。 系數(shù)/ar準確率 gini系數(shù)和ar準確率實際上是同一個東西,gini系數(shù)這一稱呼不知道來源于哪,倒是ar準確率這一術語常常在金融風險管理中出現(xiàn)。它的計算方法是:roc曲線和對角線之間的面積與perfect model和對角線圍成的面積之比,用于度量模型精確性的一個相對指標。 ar=,這里表示roc曲線與對角線圍成的面積,pd表示y=1直線與對角線圍成的面積。很容易計算:ar=2auc-1。 考慮roc曲線上的導數(shù),很顯然由這個關系式,我們得到在roc曲線上某點的似然比為該點的導數(shù),這一指標可以刻畫模型局部的區(qū)分能力。 二、cap曲線 cap曲線,亦稱能力曲線,被各大銀行和評級機構用于對違約率類模型的檢驗,它檢驗模型的預測結果排序能力。 我們依然以上面信用評分模型為例子,能力曲線的繪制通過以下步驟得到: 1.對已經(jīng)評分的銀行客戶按其預測的違約概率從高到低排序; 2.橫坐標表示客戶按違約率概率從高到低排序后得到樣本總數(shù)的累計百分比,縱坐標表示違約客戶總數(shù)的累計百分比; 3.曲線上任何一點的坐標具有如下意義:表示給定所有排序后客戶樣本的一個比例;表示在給定的條件下,違約客戶概率大于等于比例的客戶中最小概率樣本個數(shù)占總的違約客戶樣
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 【正版授權】 ISO 19642-4:2019 EN Road vehicles - Automotive cables - Part 4: Dimensions and requirements for 30 V a.c. and 60 V d.c. single core aluminium conductor cables
- 2025至2030中國物資管理系統(tǒng)行業(yè)市場發(fā)展分析及競爭格局與投資發(fā)展報告
- 腹部腫瘤培訓課件總結
- 多功能工培訓大綱
- 白菜除蟲知識培訓課件
- 規(guī)范書寫教案培訓課件
- 實驗室質(zhì)量監(jiān)督培訓
- 調(diào)料銷售培訓課件
- 智慧城市規(guī)劃下的公共空間設計美學與實踐
- 平臺在提升城市形象中的貢獻
- 廚師三級考試試題及答案
- 一例膿毒性休克個案護理
- T/CGCC 17-2018商業(yè)信譽評價體系
- 項目運營授權協(xié)議書
- 2024北京豐臺區(qū)高二(下)期中政治(A卷)及答案
- (高清版)DG∕TJ 08-7-2021 建筑工程交通設計及停車庫(場)設置標準
- 國際壓力性損傷-潰瘍預防和治療臨床指南(2025年版)解讀課件
- 2025-2030中國鐵路牽引電動機行業(yè)市場發(fā)展趨勢與前景展望戰(zhàn)略研究報告
- 2025-2030中國手機游戲棋牌行業(yè)市場深度調(diào)研及競爭格局與投資前景研究報告
- 社區(qū)文化品牌塑造與居民認同的動態(tài)構建-全面剖析
- (高清版)DB510100∕T 082-2012 成都市商務寫字樓等級劃分
評論
0/150
提交評論