分類器評價指標總結_第1頁
分類器評價指標總結_第2頁
分類器評價指標總結_第3頁
全文預覽已結束

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

1、對于分類器(分類算法),評價指標主要有:PrecisionRecallF-scoreAaccuracyROCAUC首先,介紹混淆矩陣的概念?;煜仃囀潜O(jiān)督學習中的一種可視化工具,主要用于比較分類結果和實例的真實信息。 矩陣中的每一行代表實例的預測類別,每一列代表實例的真實類別。act u al valuepn toialpredict ionoutcometotalTruePositiveFalsePositiveFalseTrueNe-gativeNegativePN圖1混淆矩陣如圖1所示,在混淆矩陣中,每一個實例可以劃分為以下四種類型之一:真正(True Positive , TP):被模

2、型預測為正的正樣本假正(False Positive , FP):被模型預測為正的負樣本假負(False Negative ,FN):被模型預測為負的正樣本真負(True Negative , TN):被模型預測為負的負樣本真正率(True Positive Rate , TPR)【靈敏度(sensitivity)】:TPR = TP /(TP + FN),即正樣 本預測結果數/正樣本實際數假負率(False Negative Rate , FNR) : FNR = FN /(TP + FN),即被預測為負的正樣本結果 數/正樣本實際數假正率(False Positive Rate , FPR

3、) : FPR = FP /(FP + TN),即被預測為正的負樣本結果 數 /負樣本實際數真負率(True Negative Rate , TNR)【特指度(specificity)】:TNR = TN /(TN + FP),即負 樣本預測結果數/負樣本實際數然后,由混淆矩陣計算評價指標。精確度(Precision): P = TP/(TP+FP)召回率(Recall): R = TP/(TP+FN),即真正率F-score:查準率和查全率的調和平均值 更接近于P, R兩個數較小的那個:F=2* P* R/(P+ R)準確率(Aaccuracy):分類器對整個樣本的判定能力,即將正的判定為正

4、,負的判定為負:A = (TP + TN)/(TP + FN + FP + TN)ROC(Receiver Operating CharacteristicROC的主要分析工具是一個畫在ROC空間的曲線ROC curve,橫坐標為false positive rate(FPR),縱坐標為 true positive rate(TPR)。 如何畫ROC曲線?對于二值分類問題,實例的值往往是連續(xù)值,通過設定一個閾值,將實例分類到正類或 者負類(比如大于閾值劃分為正類)。因此,可以變化閾值,根據不同的閾值進行分類,根 據分類結果計算得到ROC空間中相應的點,連接這些點就形成ROC curveo RO

5、C curve經 過(0,0) (1,1),實際上(0,0)和(1,1)連線形成的ROC curve實際上代表的是一個隨機分類器。一 般情況下,這個曲線都應該處于(0,0)和(1,1)連線的上方,如圖2所示。Fid*已 pOhicive jiite圖2 ROC曲線 ROC曲線上幾個關鍵點的解釋(TPR=0,FPR=0):把每個實例都預測為負類的模型(TPR=1,FPR=1):把每個實例都預測為正類的模型(TPR=1,FPR=0):理想模型一個好的分類模型應該盡可能靠近圖形的左上角,而一個隨機猜測模型應位于連接點 (TPR=0,FPR=0)和(TPR=1,FPR=1)的主對角線上。為什么使用ROC曲線?既然已經這么多評價標準,為什么還要使用ROC和AUC呢?因為ROC曲線有個很好 的特性:當測試集中的正負樣本的分布變化的時候,ROC曲線能夠保持不變。在實際的數 據集中經常會出現類不平衡(class imbalance)現象,即負樣本比正樣本多很多(或者相反),而 且測試數據中的正負樣本的分布也可能隨著時間變化。6) AUC (AreaUnderrocCurve )AUC的值就是處于ROC curve下方的那部分面積的大小。通常,AUC的值介于0.5到 1.0之間,較大的AUC代表了較好

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論