理解混淆矩陣

1、理解混淆矩陣混淆矩陣是描述分類器/分類模型的性能的表。它包含有關(guān) 分類器完成的實(shí)際和預(yù)測(cè)分類的信息，此信息用于評(píng)估分 類器的性能。請(qǐng)注意，混淆矩陣僅用于分類任務(wù)，因此不能用于回歸模 型或其他非分類模型。在我們繼續(xù)之前，讓我們看看一些術(shù)語(yǔ)。 分類器：分類器基本上是一種算法，它使用從訓(xùn)練數(shù)據(jù) 中獲得的知識(shí)來(lái)將輸入數(shù)據(jù)映射到特定類別或類別。 分類器是二元分類器或多類/多分類/多標(biāo)簽/多輸出分類 器。 訓(xùn)練和測(cè)試數(shù)據(jù)：在構(gòu)建分類模型/分類器時(shí)，數(shù)據(jù)集 被分成訓(xùn)練數(shù)據(jù)和具有相關(guān)標(biāo)簽的測(cè)試數(shù)據(jù)。標(biāo)簽是 預(yù)期的輸出，它是數(shù)據(jù)所屬的類別或類別。 實(shí)際分類：這是數(shù)據(jù)的預(yù)期輸出（標(biāo)簽）。 預(yù)測(cè)分類：這是分類器為特

2、定輸入數(shù)據(jù)提供的輸出。一個(gè)例子：假設(shè)我們已經(jīng)建立了一個(gè)分類器來(lái)將汽車(chē)的輸 入圖像分類為轎車(chē)或者不是轎車(chē)，我們?cè)跀?shù)據(jù)集中有一個(gè) 標(biāo)記為非轎車(chē)的圖像，但分類模型歸類為轎車(chē)。在這種情況下，實(shí)際分類是非轎車(chē)，而預(yù)測(cè)分類是轎車(chē)?；煜仃嚨念愋陀袃煞N類型的混淆矩陣: 2級(jí)混淆矩陣多級(jí)混淆矩陣2級(jí)混淆矩陣顧名思義，2類是一個(gè)描述二元分類模型性能的混淆矩陣。 我之前描述的轎車(chē)分類器的2級(jí)矩陣可以這樣顯示：PredictedNon-sedanSedanActualNon-sedanabSedancd在此可視化中，我們有兩個(gè)已概述的部分。我們有預(yù)測(cè)的 分類部分，其中包含每個(gè)類的兩個(gè)子部分和實(shí)際的分類部 分，每個(gè)部

3、分有兩個(gè)子部分。如果這是您第一次看到混淆矩陣，我知道您必須想知道表 中的所有變量代表什么。實(shí)際上它很簡(jiǎn)單，我會(huì)盡可能簡(jiǎn) 單地解釋，但在我這樣做之前，知道這些變量代表了許多 預(yù)測(cè)是很重要的。變量a變量a屬于Actual和Predicted分類部分中的Non-sedan 子部分。這意味著一個(gè)預(yù)測(cè)所做的正確分類的非轎車(chē)作為 非轎車(chē)的圖像。變量b變量b屬于實(shí)際分類部分中的非轎車(chē)子部分和預(yù)測(cè)分類部 分中的轎車(chē)子部分。這意味著進(jìn)行了 b預(yù)測(cè)，將非轎車(chē)的圖像錯(cuò)誤地分類為轎車(chē)。變量c變量9落在下的轎車(chē)在次節(jié)實(shí)際分類段和下的非轎車(chē)在小節(jié) 預(yù)測(cè)分類部分。這意味著進(jìn)行了c預(yù)測(cè)，將轎車(chē)的圖像錯(cuò)誤 地分類為非轎車(chē)。變量

4、d變量d屬于實(shí)際和預(yù)測(cè)分類部分中的轎車(chē)子部分。這意味 著d預(yù)測(cè)所做的正確分類轎車(chē)的圖像作為轎車(chē)。容易膩的檸檬擠壓。（我希望？ ）但是等等，我們還沒(méi)有完成.現(xiàn)在我們的轎車(chē)分類器有我們的混淆矩陣，但這如何幫助 我們確定分類器的性能/效率？為了使用混淆矩陣及其包含的數(shù)據(jù)確定分類器的性能，我 們可以使用混淆矩陣中的數(shù)據(jù)（變量）來(lái)計(jì)算一些標(biāo)準(zhǔn)度 里。準(zhǔn)確性2級(jí)混淆矩陣的準(zhǔn)確性是正確預(yù)測(cè)總數(shù)與預(yù)測(cè)總數(shù)之比。從我們的混淆矩陣中，我們可以看到a和d預(yù)測(cè)正確地對(duì) 輸入圖像進(jìn)行了分類，并且b和c預(yù)測(cè)是對(duì)輸入圖像進(jìn)行 錯(cuò)誤分類的。因此，準(zhǔn)確度可以計(jì)算為：精度=(A + d) / (A + B + C + d)其中，

5、a + d是正確預(yù)測(cè)的總數(shù)，而a + b + c + d是預(yù)測(cè)的 總數(shù)。真陽(yáng)性，真陰性，假陽(yáng)性和假陰性與我們的分類器和混淆矩陣有關(guān)：真陽(yáng)性(TP)是轎車(chē)圖像被正確分類作為轎車(chē)的預(yù)測(cè)數(shù)里。從我們的混淆矩陣中，變量d也是TP。真陰性(TN)是非轎車(chē)圖像被正確分類作為非轎車(chē)的預(yù) 測(cè)數(shù)量。從我們的混淆矩陣中，變量a也是我們的TN。假陽(yáng)性(FP)是非轎車(chē)圖像被錯(cuò)誤地歸類為轎車(chē)的預(yù)測(cè)數(shù)里。從我們的混淆矩陣中，變量b也是我們的FP。假陰性(FN)是轎車(chē)圖像被錯(cuò)誤地歸類為非轎車(chē)的預(yù)測(cè)數(shù) 里。從我們的混淆矩陣中，變量C也是我們的FN。其陽(yáng)性率 真陽(yáng)性率是真陽(yáng)性與真陽(yáng)性和假陰性之和的比率。它顯示 了分類器將轎車(chē)圖

6、像分類為轎車(chē)的頻率。因此，真陽(yáng)性率可以計(jì)算為：真陽(yáng)性率=皿(c + d)其中d是TP和q是FN真陽(yáng)性率也稱為回憶或敏感性誤報(bào)率假陽(yáng)性率是假陽(yáng)性與真陰性和假陽(yáng)性之和的比率。它顯示 了分類器將非轎車(chē)的圖像分類為轎車(chē)的頻率。因此，誤報(bào)率可以計(jì)算為：假陽(yáng)性率=1)/ (A + B)其中一個(gè)是TN和b是FP真正的負(fù)面率真正的負(fù)面率是真實(shí)負(fù)面與真實(shí)負(fù)面和誤報(bào)之和的比率。 它顯示了分類器將非轎車(chē)的圖像分類為非轎車(chē)的頻率。因此，誤報(bào)率可以計(jì)算為：真陰性率=一個(gè)/ (A + B)其中一個(gè)是TN和b是FP真正的負(fù)面率也稱為特異性。假陰性率 假陰性率是假陰性與假陰性和真陽(yáng)性之和的比率。它顯示 了分類器將轎車(chē)圖像分類

7、為非轎車(chē)的頻率。因此，誤報(bào)率可以計(jì)算為:假陰性率=q/ (c + d) 其中d是TP和q是FN精確精確度是真陽(yáng)性與真陽(yáng)性和假陽(yáng)性之和的比率。它顯示了 分類器將輸入圖像分類為轎車(chē)的頻率，結(jié)果證明它是正確 的。計(jì)算方法如下：精度=d/ (B + d)其中d是TP和b是FP一個(gè)例子假設(shè)我們將下面的圖像作為分類器的混淆矩陣，我們可以 使用上面定義的度量來(lái)評(píng)估其性能。Confusion matrix從混淆矩陣中，我們可以看到: 4252個(gè)預(yù)測(cè)被正確地分類為非轎車(chē)【作為非轎車(chē) 因此，我們的變量a和真負(fù)值(TN)是4252。 有875個(gè)預(yù)測(cè)錯(cuò)誤地將非轎車(chē)歸類為轎車(chē)。因此, 我們的變量b和假陽(yáng)性(FP)是87

8、5。 有421個(gè)預(yù)測(cè)錯(cuò)誤地將轎車(chē)歸類為非轎車(chē)。因此, 我們的變量c和假陰性(FN)是421。制作了 4706個(gè)正確分類轎車(chē)作為轎車(chē)的預(yù)測(cè)。因此，我們的變量d和真陽(yáng)性(TP)是4706使用我們提取的數(shù)據(jù)，我們可以計(jì)算上述指標(biāo)并確定分 類器的性能。我們已經(jīng)可以告訴分類器表現(xiàn)良好，因?yàn)檎?確預(yù)測(cè)的數(shù)量大于不正確預(yù)測(cè)的數(shù)量。準(zhǔn)確性精度=(a + d) / (a + b + c + d)=(4252 + 4706) / (4252 + 875 + 421 + 4706)=(8958) / (10254 )=0.8736102984201287精度=0.87因此，分類器的準(zhǔn)確度為0.87,即87%真陽(yáng)性率

9、TPR = TP / (TP + FN)=4706 / (4706 + 421)=4706 / 5127=0.917885703140238TPR = 0.92因此，分類器的真陽(yáng)性率為0.92,為92%誤報(bào)率FPR = FP/ (FP + TN) = 875/ (875 + 4252) =875 / 5127=0.1706651062999805FPR = 0.17因此，分類器的假陽(yáng)性率為0.17,為17%真正的負(fù)面率TNR = TN / (TN + FP)= 4252 / (4252 + 875)=5127 分之 4252=0.8293348937000195TNR = 0.83因此,分類器

10、的真陰性率為0.83,即83%假陰性率FNR = FN/ (FN + TP)= 421/ (421 + 4706)=5127 分之 421=0.082114296859762FNR = 0.08因此，分類器的假陰性率為0.08,為8%精確精度=TP/ (TP + FP)=4706 / (4706 + 875)=五千五百八十一分之四千七百。六=0.8293348937000195精度=0.83因此,分類器的精度為0.83,即83%如何生成混淆矩陣matplotlib. pylab as pititertoolsnumpy as npsklearn. metricsconfusion_matrix

11、def plot_confusion_matrix(cm, classes, normalize False):pit. figure(figsize =(5,5)pit imshow(cm, interpolation 'nearest, cmap pit cm Blues)pit. title (, Confusion matrix')pit colorbar ()tick_marks np arange(len(classes)pit xticks(tick_marks, classes, rotation 90)pit yticks(tick_marks, classe

12、s)if normalize:cm cm astypeC float5) cm sum(axis-1), np newaxisthresh cm max() 2.for i, j itertools product(range(cm shape0), range(cm shape1): pit. text (j, i, cmi, j,horizontalalignment center”,color="white" if cmi, j > thresh else "black")pit. tight_layout ()pit. ylabel (&#

13、39; Actual')pit. xlabel (' Predicted')dict_characters 0: ' Non-sedan' , 1: Sedan5)y_pred model predict(test_data)y_pred_classes np argmax (y_pred, axis 1)y_true np argmax(test_labels, axis=l)confusion_mat confusion_matrix(y_true, y_pred_classes)plot_confusion_matrix(confusion_mat

14、, classes list(dict_characters values()為了生成混淆矩陣，我們利用numpy, matplotlib.pylab 來(lái)顯示矩陣，來(lái)自 skleam. metricsconfusion_matrix函數(shù)生成混淆矩陣，使用itertools進(jìn)行循環(huán)/迭代。首先，我們定義一個(gè)函數(shù)plot_confusion_matrix,它將生 成的混淆矩陣和期望/可能的類作為參數(shù)，并使用 matplotlib.pylab來(lái)顯示混淆矩陣。在摘錄中，我們假設(shè)我們已經(jīng)擁有經(jīng)過(guò)培訓(xùn)的模型和培訓(xùn) 以及相關(guān)標(biāo)簽的測(cè)試數(shù)據(jù)。dict_characters是兩個(gè)可能的類的字典，在我們的例子中, 非轎車(chē)和轎車(chē)。y_pred是分類器在測(cè)試數(shù)據(jù)模型上完成的預(yù)測(cè)數(shù)組是我們訓(xùn)練有素的分類器/算法tesjdata是我們的測(cè)試數(shù)據(jù)y pred classes是一個(gè)相對(duì)于 y_pred的索引的numpy數(shù) 組，y_pred是分類器在測(cè)試中完成的預(yù)測(cè)數(shù)組數(shù)據(jù)。y true是相對(duì)于test_data的實(shí)際/正確標(biāo)簽的numpy索引 數(shù)組。testjabels是測(cè)試數(shù)