評價指標模型方法模型的評價

1、評價指標模型方法-模型的評價 評分模型的評價指標 【摘要】如何評價一個評分模型的判別能力，一般在統(tǒng)計上用roc、cap、k-s統(tǒng)計量、gini系數(shù)統(tǒng)計量等圖形工具或統(tǒng)計指標。其中roc曲線是較受歡迎的，而k-s統(tǒng)計量、gini系數(shù)等和roc曲線之間有一定的聯(lián)系。 【關鍵詞】評分模型 評價指標 如果把業(yè)務上的二分類問題從統(tǒng)計角度理解，都在于尋找一個分類器，這個分類器可能是logistic模型，也可以是多元判別模型，還可以使其它復雜形式的模型。 一、roc曲線 roc，英文全稱receiver operating curve，翻譯成中文，簡稱受試者工作特征曲線。其在統(tǒng)計實務中應用甚廣，尤其應用于處

2、理醫(yī)學研究中的“正常組”和“異常組”區(qū)分建模問題，用于評價分類模型的表現(xiàn)能力。 roc曲線原理。 要說清楚roc曲線的原理，我們從一個簡單的分類實例問題說起。假如我們有了基于商業(yè)銀行企業(yè)貸款數(shù)據(jù)建立違約-非違約的業(yè)務分類模型，比如說我們是預測的所有樣本的違約概率或者信用評級得分，比如信用評級得分，我們獲得了關于兩類樣本的分布圖形： 圖 兩類樣本的違約率經(jīng)驗分布 1.基本假設 上面的圖例可以看成一個基于銀行債務人違約率分類的分類器。左邊的分布表示歷史樣本數(shù)據(jù)中違約者預測得到的違約率的分布；右邊的分布相應表示非違約者的分布，其中c點表示決策者做出決斷的切分點，對于該點有這樣的經(jīng)濟意義：一旦我們確定

3、了c點，不考慮其他業(yè)務處理，的樣本被預測為違約者，反之被預測為非謂語這。對于一個固定的cutoff點，我們可得到一些有實際意義的量化指標： hr=，表示在c點左邊，對defaulters的信用得分分布中，基于c點做決策時候，被正確命中的比率，這里h表示被正確預測的違約者的樣本個數(shù)，nd表示違約樣本的總數(shù)。 hr=，表示在c點左邊，對non-defaulters的信用得分分布中，基于c點做決策時候，被錯誤預測的比率，這里f表示被錯誤預測的違約者的樣本個數(shù)，nnd表示非違約樣本的總數(shù)。 繪制方法 很顯然，當我們移動c點的時候，我們得到了一個二維坐標點的集合，far，hr|c？綴信用得分區(qū)間這里的f

4、ar，hr是風險管理領域的專用表示方法。將其用統(tǒng)計中的一些概念進行一般化處理，得到：fd=，表示在c點左邊違約樣本個數(shù)，fd表示在c點違約者信用得分的累積概率；fnd=far則相應表示非違約者信用得分的累積概率；同樣我們可得到二維坐標集合fnd，|c？綴信用得分區(qū)間。 我們將fnd，|c？綴在xy坐標平面上繪制，就得到了roc曲線。 roc曲線與其他評價指標間關系。 統(tǒng)計量 圖 roc曲線切線k-s統(tǒng)計量 k-s檢驗，用于檢驗樣本是否來自一個指定的分布或者檢驗兩類樣本是否同分布。對上述例子，兩樣本分布獨立性的檢驗常用k-s統(tǒng)計量： d=max|fd-fd|，這里為了符合常識，我們用表示變量得分

5、。 系數(shù)/ar準確率 gini系數(shù)和ar準確率實際上是同一個東西，gini系數(shù)這一稱呼不知道來源于哪，倒是ar準確率這一術語常常在金融風險管理中出現(xiàn)。它的計算方法是：roc曲線和對角線之間的面積與perfect model和對角線圍成的面積之比，用于度量模型精確性的一個相對指標。 ar=，這里表示roc曲線與對角線圍成的面積，pd表示y=1直線與對角線圍成的面積。很容易計算：ar=2auc-1。 考慮roc曲線上的導數(shù)，很顯然由這個關系式，我們得到在roc曲線上某點的似然比為該點的導數(shù)，這一指標可以刻畫模型局部的區(qū)分能力。 二、cap曲線 cap曲線，亦稱能力曲線，被各大銀行和評級機構用于對違約率類模型的檢驗，它檢驗模型的預測結果排序能力。 我們依然以上面信用評分模型為例子，能力曲線的繪制通過以下步驟得到： 1.對已經(jīng)評分的銀行客戶按其預測的違約概率從高到低排序； 2.橫坐標表示客戶按違約率概率從高到低排序后得到樣本總數(shù)的累計百分比，縱坐標表示違約客戶總數(shù)的累計百分比； 3.曲線上任何一點的坐標具有如下意義：表示給定所有排序后客戶樣本的一個比例；表示在給定的條件下，違約客戶概率大于等于比例的客戶中最小概率樣本個數(shù)占總的違約客戶樣