計算機視覺-第08章2-神經(jīng)網(wǎng)絡(luò)和深度學習

人工智能視覺課程

神經(jīng)網(wǎng)絡(luò)和深度學習人工智能學院01引言02神經(jīng)網(wǎng)絡(luò)和深度學習簡史03神經(jīng)網(wǎng)絡(luò)基本概念04深度學習基本概念05使用和訓練神經(jīng)網(wǎng)絡(luò)過擬合2024/1/153假設(shè)要學習英語，而目前唯一的教學資源是一名青少年一開始，跟著這名青少年會有很好的學習效果但如果這名青少年是僅有的資源，我們會不可避免地學到他常用的俚語、說話方式和口音（過擬合）某種程度上，會阻礙我們和其他人用英語交談（泛化能力）知識問答2024/1/154深度學習中，過擬合指的是？過擬合曲線2024/1/155藍色曲線不斷下降，最終收斂紅色曲線在某個點之后逐漸上升代表出現(xiàn)了過擬合紅色曲線是我們真正要關(guān)注的，即模型的泛化能力解決過擬合的思路2024/1/156擬合過程中通常都傾向于讓權(quán)值盡可能小最后構(gòu)造一個所有參數(shù)都比較小的模型因為一般認為參數(shù)值小的模型比較簡單，能適應不同的數(shù)據(jù)集也在一定程度上避免了過擬合現(xiàn)象解決過擬合的思路2024/1/157擬合過程中通常都傾向于讓權(quán)值盡可能小假設(shè)有一個線性回歸方程如果參數(shù)很大，那么只要數(shù)據(jù)偏移一點點，就會對結(jié)果造成很大的影響如果參數(shù)足夠小，數(shù)據(jù)偏移得多一點也不會對結(jié)果造成什么影響，專業(yè)一點的說法是”抗擾動能力強“添加模型復雜度懲罰項2024/1/158我們希望盡可能降低模型的復雜度根據(jù)奧卡姆剃刀定律衡量模型復雜度有多種方式將模型復雜度作為模型中所有特征的權(quán)重的函數(shù)將模型復雜度作為具有非零權(quán)重的特征總數(shù)的函數(shù)......如果模型復雜度是權(quán)重的函數(shù)，則特征權(quán)重的絕對值越高，對模型復雜度的貢獻就越大添加模型復雜度懲罰項2024/1/159將這種想法納入訓練時所進行的優(yōu)化中訓練專注于獲取正確的樣本最大程度減少經(jīng)驗風險（經(jīng)驗風險最小化）minimize:Loss(Data|Model)引入第二項因素即最小化損失，但同時平衡模型復雜度（結(jié)構(gòu)風險最小化）minimize:Loss(Data|Model)+complexity(Model)添加模型復雜度懲罰項2024/1/1510訓練優(yōu)化算法是一個由兩項內(nèi)容組成的函數(shù)一個是損失項，用于衡量模型與數(shù)據(jù)的擬合度另一個是正則化項，用于衡量模型復雜度知識問答2024/1/1511以下關(guān)于正則化項，說法正確的是？先驗概率和后驗概率2024/1/1512先驗概率指根據(jù)以往經(jīng)驗和分析得到的概率意思是說我們?nèi)擞幸粋€常識比如骰子我們都知道概率是1/6而且無數(shù)次重復實驗也表明是這個數(shù)這是一種我們?nèi)说某ＷR也是我們在不知道任何情況下必然會說出的一個值而所謂的先驗概率是我們?nèi)嗽谖粗獥l件下對事件發(fā)生可能性猜測的數(shù)學表示先驗概率和后驗概率2024/1/1513后驗概率事情已經(jīng)發(fā)生，要求這件事情發(fā)生的原因是由某個因素引起的可能性的大小桌子上如果有一塊肉和一瓶醋你如果吃了一塊肉，然后你覺得是酸的那你覺得肉里加了醋的概率有多大?你說：80%可能性加了醋即你進行了一次后驗概率的猜測條件概率2024/1/1514設(shè)A,B是兩個事件，且P(B)>0則在事件B發(fā)生的條件下，事件A發(fā)生的條件概率為P(A|B)=P(AB)/P(B)P(AB)為事件AB的聯(lián)合概率P(A|B)為條件概率，表示在B條件下A的概率P(B)為事件B的概率乘法公式P(AB)=P(A|B)P(B)=P(B|A)P(A)貝葉斯公式2024/1/1515建立在條件概率的基礎(chǔ)上尋找事件發(fā)生的原因即大事件A已經(jīng)發(fā)生的條件下，分割中的小事件Bi的概率設(shè)B1,B2,...是樣本空間Ω的一個劃分則對任一事件A（P(A)>0)，有Bi常被視為導致試驗結(jié)果A發(fā)生的”原因“P(Bi)(i=1,2,...)表示各種原因發(fā)生的可能性大小，故稱先驗概率P(Bi|A)(i=1,2...)則反映當試驗產(chǎn)生了結(jié)果A之后，再對各種原因概率的新認識，故稱后驗概率貝葉斯公式的一個例子2024/1/1516發(fā)報臺分別以概率0.6和0.4發(fā)出信號“∪”和“—”由于通信系統(tǒng)受到干擾，當發(fā)出信號“∪”時，收報臺分別以概率0.8和0.2收到信號“∪”和“—”又當發(fā)出信號“—”時，收報臺分別以概率0.9和0.1收到信號“—”和“∪”求當收報臺收到信號“∪”時，發(fā)報臺確系發(fā)出“∪”的概率P(B1|A）=(0.6*0.8)/(0.6*0.8+0.4*0.1)=0.923從貝葉斯的角度理解正則化

2024/1/1517正則化等價于對模型參數(shù)引入先驗分布使得模型復雜度變小（縮小解空間）對于噪聲以及異常值的魯棒性增強（泛化能力）整個最優(yōu)化問題從貝葉斯觀點來看是一種貝葉斯最大后驗估計其中正則化項對應后驗估計中的先驗信息損失函數(shù)對應后驗估計中的似然函數(shù)兩者的乘積即對應貝葉斯最大后驗估計的形式知識問答2024/1/1518從貝葉斯的角度來看，正則化相當于？龐大特征數(shù)量帶來的困擾2024/1/1519稀疏矢量通常包含許多維度創(chuàng)建特征組合會導致包含更多維度使用此類高維度特征矢量，模型可能會非常龐大，并且需要大量的存儲空間在高維度稀疏矢量中，最好盡可能使權(quán)重正好降至0正好為0的權(quán)重基本上會使相應特征從模型中移除將特征設(shè)為0可節(jié)省存儲空間，且可以減少模型中的噪點稀疏矩陣與特征選擇2024/1/1520稀疏矩陣指的是很多元素為0只有少數(shù)元素是非零值的矩陣即得到的線性回歸模型的大部分系數(shù)都是0通常機器學習中特征數(shù)量很多例如文本處理時，如果將一個詞組（term）作為一個特征，那么特征數(shù)量會達到上萬個（bigram）稀疏矩陣與特征選擇2024/1/1521在預測或分類時，特征過多顯然難以選擇如果代入這些特征得到的模型是一個稀疏模型表示只有少數(shù)特征對這個模型有貢獻絕大部分特征是沒有貢獻的，或者貢獻微小（因為它們前面的系數(shù)是0或者是很小的值，即使去掉對模型也沒有什么影響）此時我們就可以只關(guān)注系數(shù)是非零值的特征這就是稀疏模型與特征選擇的關(guān)系稀疏矩陣與特征選擇2024/1/1522以一個涵蓋全球地區(qū)的住房數(shù)據(jù)集為例按分（每度為60分）對全球緯度（90度*2）進行分桶則在一次稀疏編碼過程中會產(chǎn)生大約1萬個維度如果按分對全球經(jīng)度（180度*2）進行分桶則在一次稀疏編碼過程中會產(chǎn)生大約2萬個維度這兩種特征的特征組合會產(chǎn)生大約2億個維度（1萬*2萬）稀疏矩陣與特征選擇2024/1/1523這2億個維度中的很多維度代表非常有限的居住區(qū)域例如海洋里很難使用這些數(shù)據(jù)進行有效泛化若為這些不需要的維度支付存儲費用就太不明智了稀疏矩陣與特征選擇2024/1/1524最好是使無意義維度的權(quán)重正好降至0這樣我們就可以避免在推理時支付這些模型系數(shù)的存儲費用一種方法是嘗試創(chuàng)建一個正則化項課堂討論2024/1/1525大家知道有哪些正則化方法嗎？L0正則化2024/1/1526L0正則化的思想減少模型中的非零參數(shù)值的計數(shù)只有在模型能夠與數(shù)據(jù)擬合時增加此計數(shù)才有意義L0正則化2024/1/1527L0范數(shù)向量中非0元素的個數(shù)L0范數(shù)越小0元素越多，也就越稀疏例如A=[-1,2,-3;4,-6,6]的L0范數(shù)就是：6如果我們用L0范數(shù)來正則化一個參數(shù)矩陣W的話，就是希望W的大部分元素都是0L0正則化2024/1/1528L0范數(shù)當p趨近于0的時候這個函數(shù)就只有在x=0的時候等于0其他的位置都為1L0范數(shù)可以用于表達一個向量/矩陣的稀疏性搶答（答錯扣分）2024/1/1529NP問題是什么東西來著？NP問題2024/1/1530NP問題Non-DeterministicPolynomial問題非確定多項式問題指可以在多項式時間內(nèi)被非確定機解決的問題有些問題很難找到多項式時間的算法或許根本不存在例如“找出無向圖中哈密頓回路”問題NP問題2024/1/1531但如果給了該問題的一個答案可以在多項式時間內(nèi)判斷這個答案是否正確例如說對于哈密頓回路問題給一個任意的回路很容易判斷它是否是哈密頓回路只要看是不是所有的頂點都在回路中就可以了NP問題2024/1/1532這里給出NP問題的另一個定義這種可以在多項式時間內(nèi)驗證一個解是否正確的問題稱為NP問題亦稱為驗證問題類L0正則化2024/1/1533L0正則化是非凸優(yōu)化問題即NP困難

假設(shè)矩陣size=500*2000(n=500,m=2000)如果我們知道稀疏解為20（也就是說有20個非零）要想知道這20個點3.9E+47（3.9*10^47）種可能每次測試需要1E-9(s),那么需要1.2E+31yearsL0正則化這種想法在實踐中并不是一種有效的方法知識問答2024/1/1534L0正則化可以解決什么問題？L1正則化（Lasso正則化）2024/1/1535模型復雜度=權(quán)重的絕對值之和模型的確會關(guān)注訓練數(shù)據(jù)，但會盡量確保最后的權(quán)重不會超過所需的大小即損失項，取決于訓練數(shù)據(jù)，旨在減少訓練誤差即lambda（正則化率），控制如何平衡權(quán)重的標量值，代表對獲取正確樣本和簡化模型的關(guān)注程度之比平衡復雜度權(quán)重的絕對值之和L1范式稀疏性的通俗解釋2024/1/1536假設(shè)想要找到與二維空間中的一組點相匹配的線至少2個點才能確定一條線但是如果訓練數(shù)據(jù)只有一點呢？那么將有無限的解決方案通過這一點的每條線都是一個解決方案假設(shè)該點在(10,5)，并且一條線被定義為函數(shù)y=a*x+b將(10,5)帶入方程，即：L1范式稀疏性的通俗解釋2024/1/1537b=5-10*a直線b=5-10*a上的所有點都是一個解決方案L1范式稀疏性的通俗解釋2024/1/1538在二維空間，對于一個向量(w1,w2)，其L1范式為|w1|+|w2|對于一個給定的L1范式的值，其函數(shù)圖形如下只有在尖點，點是稀疏的也就是說，一個點的w1或w2分量是零L1范式稀疏性的通俗解釋2024/1/1539L1范式取不同的值，相當于放大或縮小這個菱形L1范式稀疏性的通俗解釋2024/1/1540假設(shè)藍色直線為b=5-10*a觸點(0.5,0)是一個稀疏矢量通過在所有可能的解決方案(藍線上的點)中找到具有最小L1范式(0.5)的解點即這個點首先應該在藍色直線上，其次這個點對應的L1范式的值應該最小我們找到了一個針對我們的問題的稀疏解(0.5,0)在接觸點上，常數(shù)c是所有可能解決方案中可以找到的最小L1范式基于等高線表示的梯度下降法2024/1/1541對于只有兩維屬性的樣本，J(θ)即J(θ0,θ1)的等高線圖L1正則化在二維空間的圖像2024/1/1542L1正則化可以產(chǎn)生稀疏模型L1讓系數(shù)等于零兩個圖是一個意思圖中菱形圖案表示L1正則化項橢圓環(huán)表示損失函數(shù)L1正則化在二維空間的圖像2024/1/1543同一條線上（或同一個環(huán)上），表示對應的函數(shù)值相同不同圖案的中心分別表示L1正則化項以及損失函數(shù)分別的最小值位置L1正則化在二維空間的圖像2024/1/1544右邊表示損失函數(shù)加上對應的正則化項之后的圖像添加正則化項之后，會影響原來的代價函數(shù)的最小值的位置，以及梯度下降時的路線（右邊白色路線）最終停留在了θ2(w2)=0這條線上L1正則化在二維空間的圖像2024/1/1545如果參數(shù)調(diào)整合適的話，最小值應該在距離原來損失函數(shù)最小值附近且與正則化項的圖像相交因為此時這兩項在相互約束的情況下都取到最小值它們的和也最小L1正則化在二維空間的圖像2024/1/1546當正則化項的權(quán)重非常大的時候，會產(chǎn)生左側(cè)黃色點標識的路線最終所有參數(shù)都為0但是趨近原點的方式不同這是因為對于范式來說，原點是它們的最小值點知識問答2024/1/1547L1正則化中模型復雜度等于？L2正則化（Ridge正則化、嶺正則化）2024/1/1548模型復雜度=權(quán)重的平方和（也有版本是求完平方和再求平方根）模型的確會關(guān)注訓練數(shù)據(jù)，但會盡量確保最后的權(quán)重不會超過所需的大小即損失項，取決于訓練數(shù)據(jù)，旨在減少訓練誤差即lambda（正則化率），控制如何平衡權(quán)重的標量值，代表對獲取正確樣本和簡化模型的關(guān)注程度之比平衡復雜度權(quán)重的平方和L2正則化2024/1/1549L2正則化公式將正則化項定義為所有特征權(quán)重的平方和接近于0的權(quán)重對模型復雜度幾乎沒有影響而離群值權(quán)重則可能會產(chǎn)生巨大的影響L2正則化實例2024/1/1550某個線性模型具有以下權(quán)重L2正則化項為w3的平方值為25，幾乎貢獻了全部的復雜度所有5個其他權(quán)重的平方和對L2正則化項的貢獻僅為1.915L2正則化在二維空間的圖像2024/1/1551兩個圖是一個意思圖中圓形圖案表示L2正則化項橢圓環(huán)表示損失函數(shù)同一條線上（或同一個環(huán)上），表示對應的函數(shù)值相同不同圖案的中心分別表示L2正則化項以及損失函數(shù)分別的最小值位置L2正則化在二維空間的圖像2024/1/1552L2正則化項的函數(shù)圖形是一個圓沒有棱角（L1正則化項有棱角）兩個圖形的交點使得θ1(w1)或θ2(w2)等于0的幾率小了很多即L2正則化不具備稀疏性L2正則化在二維空間的圖像2024/1/1553右邊表示損失函數(shù)加上對應的正則化項之后的圖像添加正則化項之后，會影響原來的代價函數(shù)的最小值的位置，以及梯度下降時的路線（右邊白色路線）L2正則化在二維空間的圖像2024/1/1554如果參數(shù)調(diào)整合適的話，最小值應該在距離原來損失函數(shù)最小值附近且與正則化項的圖像相交此時這兩項在相互約束的情況下都取到最小值它們的和也最小L2范式稀疏性的通俗解釋2024/1/1555當正則化項的權(quán)重非常大的時候，會產(chǎn)生左側(cè)黃色點標識的路線最終所有參數(shù)都為0但是趨近原點的方式不同這是因為對于范式來說，原點是它們的最小值點L2正則化-權(quán)重分布2024/1/1556執(zhí)行L2正則化對模型具有以下影響使權(quán)重值接近于0（但并非正好為0）使權(quán)重的平均值接近于0，且呈正態(tài)（鐘形曲線或高斯曲線）分布增加lambda值將增強正則化效果降低lambda的值往往會得出比較平緩的直方圖L1正則化和L2正則化的比較2024/1/1557L1正則化可以產(chǎn)生稀疏權(quán)值矩陣即產(chǎn)生一個稀疏模型，可以用于特征選擇L2正則化可以防止模型過擬合（overfitting）一定程度上，L1也可以防止過擬合神經(jīng)網(wǎng)絡(luò)基本概念–合理的特征2024/1/1558特征具有合理的范圍大致以0為中心，[-1,1]的范圍通常效果比較好也可以是負5到正5，或者0到1，只要所有輸入的范圍大致相同就可以有助于梯度下降法收斂避免NaN陷阱對避免離群值也會有幫助丟棄正則化2024/1/1559丟棄：另一種正則化形式，對神經(jīng)網(wǎng)絡(luò)很有用在一個梯度步長中隨機“丟棄”網(wǎng)絡(luò)的節(jié)點Dropout某些檢測器依賴其他檢測器才能發(fā)揮作用減少特征檢測器（隱層節(jié)點）間的相互作用丟棄正則化2024/1/1560丟棄得越多，正則化效果就越強0.0=無丟棄正則化1.0=丟棄所有內(nèi)容（學不到任何規(guī)律）中間值更有用（0.25、0.5......）知識問答2024/1/1561以下關(guān)于正則化的說法中不正確的是？結(jié)束了嗎?2024/1/1562搶答（答錯扣分）2024/1/1563誰上來給大家講講伊索寓言中，狼來了的故事？伊索寓言：狼來了2024/1/1564有一位牧童要照看鎮(zhèn)上的羊群但是他開始厭煩這份工作為了找點樂子他大喊道：“狼來了！”其實根本一頭狼也沒有出現(xiàn)村民們迅速跑來保護羊群但他們發(fā)現(xiàn)這個牧童是在開玩笑后非常生氣這樣的情形重復出現(xiàn)了很多次伊索寓言：狼來了2024/1/1565一天晚上牧童看到真的有一頭狼靠近羊群他大聲喊道：“狼來了！”村民們不想再被他捉弄都待在家里不出來這頭饑餓的狼對羊群大開殺戒，美美飽餐了一頓整個鎮(zhèn)子都揭不開鍋了恐慌也隨之而來課堂討論2024/1/1566這則寓言告訴了我們什么？真與假以及正類別與負類別實例2024/1/1567我們做出以下定義“狼來了”是正類別“沒有狼”是負類別可以使用一個2*2混淆矩陣來總結(jié)我們的“狼預測”模型該矩陣描述了所有可能出現(xiàn)的結(jié)果（共四種）真與假以及正類別與負類別實例2024/1/1568真正例TruePositive，TP模型將正類別樣本正確地預測為正類別真負例TrueNegative，TN模型將負類別樣本正確地預測為負類別真與假以及正類別與負類別實例2024/1/1569假正例FalsePositive，F(xiàn)P模型將負類別樣本錯誤地預測為正類別假負例FalseNegative，F(xiàn)N模型將正類別樣本錯誤地預測為負類別準確率2024/1/1570準確率：正確的預測所占的比例正確預測結(jié)果數(shù)除以預測總數(shù)準確率2024/1/1571對于二元分類，也可以根據(jù)正類別和負類別按如下方式計算準確率TP=真正例TN=真負例FP=假正例FN=假負例準確率實例2024/1/1572計算以下模型的準確率目標：檢測惡性腫瘤該模型將100個腫瘤分為惡性（正類別）或良性（負類別）知識問答2024/1/1573上例中，準確率是多少？準確率實例2024/1/1574計算以下模型的準確率準確率2024/1/1575不適用場景不同類型的錯誤具有不同的代價時分類不平衡比如正類別標簽和負類別標簽的數(shù)量之間存在明顯差異準確率2024/1/1576不適用場景假設(shè)有一個用于預測展示廣告的廣告點擊率的模型假設(shè)使用準確率指標來評估此模型的質(zhì)量對于展示廣告，點擊率通常為千分之一、萬分之一，甚至更低準確率不適用的場景2024/1/1577假設(shè)存在這樣一個模型這個模型只有一個始終預測“假”的偏差特征假設(shè)展示了10000次廣告，只點擊1次只要10000次都預測為假，則準確率為99.99%但是這樣的預測沒有意義準確率不適用的場景2024/1/1578上一個腫瘤預測的例子中準確率為0.91，即91%（總共100個樣本中有91個預測正確）在91個良性腫瘤中，該模型將90個正確識別為良性在9個惡性腫瘤中，該模型僅將1個正確識別為惡性9個惡性腫瘤中有8個未被診斷出來準確率不適用的場景2024/1/157991%的準確率可能乍一看還不錯如果另一個腫瘤分類器模型總是預測良性那么這個模型使用我們的樣本進行預測也會實現(xiàn)相同的準確率100個中有91個預測正確我們的模型與那些沒有預測能力來區(qū)分惡性腫瘤和良性腫瘤的模型差不多精確率2024/1/1580精確率=（真正例次數(shù)）/（所有正類別預測次數(shù)）在被識別為正類別的樣本中，確實為正類別的比例是多少也就是，在小男孩說“狼來了”的情況中，有多少次是對的精確率實例2024/1/1581上一部分中用于分析腫瘤的機器學習模型的精確率該模型的精確率為0.5該模型在預測惡性腫瘤方面的正確率是50%召回率2024/1/1582召回率：（真正例次數(shù)）/（所有實際正類別數(shù)）也叫查全率在所有正類別樣本中，被正確識別為正類別的比例是多少是否漏掉了任何“狼來了”的情況召回率實例2024/1/1583上一部分中用于分析腫瘤的機器學習模型的召回率該模型的召回率是0.11該模型能夠正確識別出所有惡性腫瘤的百分比是11%知識問答2024/1/1584設(shè)TP=真正例，TN=真負例，F(xiàn)P=假正例，F(xiàn)N=假負例精確率的計算公式是？精確率和召回率2024/1/1585精確率和召回率此消彼長提高精確率通常會降低召回率值反之亦然精確率和召回率2024/1/1586如果希望在召回率方面做得更好即使只聽到灌木叢中傳出的一點點聲響，也要早些指出“狼來了”這種做法會降低分類閾值如果我們希望非常精確正確的做法是只在我們完全確定時才說“狼來了”這樣會提高分類閾值精確率和召回率2024/1/1587精確率和召回率此消彼長每當有人說精確率值是多少時還需要問召回率值是多少然后才能評價模型的優(yōu)劣我們選擇特定的分類閾值后，精確率和召回率值便都可以確定精確率和召回率實例2024/1/1588下圖為電子郵件分類模型做出的30項預測分類閾值右側(cè)的被歸類為“垃圾郵件”左側(cè)的則被歸類為“非垃圾郵件”搶答（答錯扣分）2024/1/1589上例中，精確率和召回率分別等于多少？精確率和召回率實例2024/1/1590計算精確率和召回率精確率：被模型標記為垃圾郵件的電子郵件中確實是垃圾郵件所占的百分比召回率：實際垃圾郵件中被模型標記為垃圾郵件的電子郵件所占的百分比精確率和召回率實例2024/1/1591提高閾值精確率和召回率實例2024/1/1592假正例數(shù)量會減少但假負例數(shù)量會相應地增加精確率有所提高召回率有所降低精確率和召回率實例2024/1/1593降低閾值精確率和召回率實例2024/1/1594假正例數(shù)量會增加而假負例數(shù)量會減少精確率有所降低召回率有所提高精確率和召回率2024/1/1595如果某個模型的精確率和召回率均優(yōu)于另一模型一般來說該模型可能更好我們需要確保在精確率/召回率點處進行比較，因為這樣做才有實際意義例如，假設(shè)我們的垃圾郵件檢測模型需要達到至少90%的精確率才算有用將{20%精確率，99%召回率}模型與{15%精確率，98%召回率}模型進行比較沒有太大意義因為這兩個模型都不符合90%的精確率要求ROC曲線2024/1/1596ROC曲線ReceiverOperatingCharacteristic即接收者操作特征曲線是一種顯示分類模型在所有分類閾值下的效果的圖表ROC曲線2024/1/1597真正例率TPR代表模型可以找到的正樣本概率也就是召回率，代表收益分母是總的正樣本數(shù)目ROC曲線2024/1/1598假正例率FPR表示找到的錯誤的正樣本的概率表示模型的損失分母是總的負樣本數(shù)目ROC曲線2024/1/1599我們對每個可能的分類閾值進行評估觀察相應閾值下的兩個參數(shù)真正例率（TPR）假正例率（FPR）繪制一條曲線將這些點連接起來ROC曲線2024/1/15100ROC曲線用于繪制采用不同分類閾值時的TPR與FPR降低分類閾值會導致將更多樣本歸為正類別從而增加假正例和真正例的個數(shù)ROC上的任意一點表示模型在獲得收益的同時，需要付出的代價ROC曲線的意義2024/1/15101ROC曲線能很容易的查出任意閾值對模型的泛化性能影響有助于選擇最佳的閾值ROC曲線越靠近左上角，模型的召回率就越高最靠近左上角的ROC曲線上的點是分類錯誤最少的最好閾值，其假正例和假反例總數(shù)最少ROC曲線的意義2024/1/15102ROC曲線可以對不同的模型比較性能將各個學習器的ROC曲線繪制到同一坐標中直觀地鑒別優(yōu)劣靠近左上角的ROC曲所代表的模型準確性最高知識問答2024/1/15103ROC曲線可以用來做什么？ROC曲線的問題2024/1/15104如果兩條ROC曲線沒有相交哪條曲線最靠近左上角，哪條曲線代表的模型性能就最好實際任務中，情況很復雜如果兩條ROC曲線發(fā)生了交叉則很難一般性地斷言誰優(yōu)誰劣ROC曲線下面積（AUC）2024/1/15105ROC曲線相交模型的優(yōu)劣判斷AUC面積AreaUnderROCCurve曲線下面積ROC曲線下面積這個面積的數(shù)值不會大于1ROC曲線下面積（AUC）2024/1/15106對于隨機選擇的正類別樣本確實為正類別，以及隨機選擇的負類別樣本為正類別，分類器更確信前者的概率另一種解讀方式：看作模型將某個隨機正類別樣本排列在某個隨機負類別樣本之上的概率另一種解讀方式：從所有正樣本中隨機選擇一個樣本，從所有負樣本中隨機選擇一個樣本，然后根據(jù)你的分類器對兩個隨機樣本進行預測，把正樣本預測為正例的概率p1，把負樣本預測為正例的概率p2，p1>p2的概率就等于AUCROC曲線下面積（AUC）2024/1/15107計算AUC的公式為x和y分別對應FPR和TPR，也是ROC曲線的橫縱坐標t=?∞對應ROC圖像最右上角的點t=∞對應ROC圖像最左下角的點積分項里面是一個事件的概率：隨機取一對正負樣本，負樣本得分為t且正樣本大于t對其積分就可以得到正樣本得分大于負樣本的概率ROC曲線下面積（AUC）2024/1/15108曲線下面積測量從(0,0)到(1,1)之間整個ROC曲線以下的整個二維面積（參考積分學）AUC越大表示模型區(qū)分正例和負例的能力越強，即模型越好AUC等于0.5時，檢測方法的真實性最低，無應用價值ROC曲線下面積（AUC）2024/1/15109AUC=1，完美分類器AUC=[0.85,0.95]，效果很好AUC=[0.7,0.85]，效果一般AUC=[0.5,0.7]，效果不太好，但用于預測股票已經(jīng)很不錯了AUC=0.5，跟隨機猜測一樣（例：丟銅板），模型沒有預測價值A(chǔ)UC<0.5，比隨機猜測還差但只要總是反預測而行，就優(yōu)于隨機猜測ROC曲線下面積（AUC）實例2024/1/15110以下面的樣本為例曲線下面積表示隨機正類別（綠色）樣本位于隨機負類別（紅色）樣本右側(cè)的概率曲線下面積的取值范圍為0-1預測結(jié)果100%錯誤的模型的曲線下面積為0.0而預測結(jié)果100%正確的模型的曲線下面積為1.0ROC曲線下面積（AUC）的優(yōu)勢2024/1/15111曲線下面積的尺度不變它測量預測的排名情況，而不是測量其絕對值廣告等需要絕對的點擊率場景下，AUC并不適合作為評估指標，而是用logloss等指標曲線下面積的分類閾值不變它測量模型預測的質(zhì)量而不考慮所選的分類閾值ROC曲線下面積（AUC）的問題2024/1/15112并非總是希望尺度不變有時需要被良好校準的概率輸出而曲線下面積無法告訴我們這一結(jié)果并非總是希望分類閾值不變在假負例與假正例的代價存在較大差異時，盡量減少一種類型的分類錯誤可能至關(guān)重要例如在進行垃圾郵件檢測時，可能希望優(yōu)先考慮盡量減少假正例（即使這會導致假負例大幅增加）對于此類優(yōu)化，曲線下面積并非一個實用的指標知識問答2024/1/15113將給定模型的所有預測結(jié)果都乘以2.0例如，如果模型預測的結(jié)果為0.4，我們將其乘以2.0得到0.8會使按AUC衡量的模型效果產(chǎn)生何種變化？ROC曲線下面積（AUC）2024/1/15114沒有變化AUC以相對預測為依據(jù)保持相對排名的任何預測變化都不會對AUC產(chǎn)生影響而對其他指標而言顯然并非如此，例如平方誤差、對數(shù)損失函數(shù)或預測偏差ROC曲線下面積（AUC）2024/1/15115AUC要達到多少才表示模型擬合的比較好？在實際建模中發(fā)現(xiàn)，預測點擊的模型比預測下單的模型AUC要低很多在月活用戶里面預測下單和日活用戶里面預測下單的AUC差異也很明顯預測用戶未來1小時下單和預測未來1天的下單模型AUC差異也很大AUC非常依賴于具體任務ROC曲線下面積（AUC）2024/1/15116以預測點擊和預測下單為