【畢業(yè)學(xué)位論文】（Word原稿）基于ROC分析的分類器性能評(píng)估-計(jì)算機(jī)科學(xué)與技術(shù)

本科畢業(yè)設(shè)計(jì)（論文）說明書 基于 析的分類器性能評(píng)估 學(xué) 院 計(jì)算機(jī)科學(xué)與工程 專 業(yè) 計(jì)算機(jī)科學(xué)與技術(shù) 學(xué)生姓名 指導(dǎo)教師 提交日期 2010年 5 月 26日 華 南 理 工 大 學(xué) 畢 業(yè) 設(shè) 計(jì) （論文） 任 務(wù) 書 正文小四號(hào)宋體，行距為固定值 20 磅 茲發(fā)給 2006 級(jí)計(jì)科 (2) 班學(xué)生 畢業(yè)設(shè)計(jì)（論文）任務(wù)書，內(nèi)容如下： 文）題目： 基于 析的分類器性能評(píng)估 （ 1） （ 2） （ 3） （ 4） （ 1） （ 2） （ 3） （ 4） （ 5） （ 6） （ 7） 文）任務(wù)書于 年 月 日發(fā)出，應(yīng)于 年 月 日前完成， 然后提交畢業(yè)考試委員會(huì)進(jìn)行答辯。 專業(yè)教研組（系）、研究所負(fù)責(zé)人 審核 年 月 日 指導(dǎo)教師 簽發(fā) 年 月 日 畢業(yè)設(shè)計(jì)（論文）評(píng)語： （ 應(yīng)包括平時(shí)表現(xiàn)、論文質(zhì)量、答辯 表 現(xiàn)等內(nèi)容 ） 畢業(yè)設(shè)計(jì)（論文）總評(píng)成績(jī)： 畢業(yè)設(shè)計(jì)（ 論文）答辯負(fù)責(zé)人簽字： 年 月 日 基于 析的分類器性能評(píng)估 摘要 I 摘要 分類器評(píng)估是數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)研究熱點(diǎn)和難題。研究人員不斷地尋找更有效的分類器評(píng)估方法，準(zhǔn)確性標(biāo)準(zhǔn) 目前分類器性能的主要評(píng)估標(biāo)準(zhǔn)，但準(zhǔn)確性評(píng)估標(biāo)準(zhǔn)存在著很多缺點(diǎn)。近年來， 試者操作特征） 曲線分析方法越來越多的應(yīng)用到數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)中，成為分析和預(yù)測(cè)機(jī)器學(xué)習(xí)算法的一個(gè)有效工具。理論證明，基于 析的 法是優(yōu)于準(zhǔn) 確率評(píng)估方法的。首先，它能考慮到類的不同分布，當(dāng)存在數(shù)據(jù)不平衡的情況時(shí)，不同的數(shù)據(jù)分布，將得到不同的分類結(jié)果，而準(zhǔn)確率評(píng)估默認(rèn)所有的數(shù)據(jù)集都是平衡數(shù)據(jù)集；其次，它能考慮到不同種類的錯(cuò)誤分類代價(jià)，而準(zhǔn)確率評(píng)估默認(rèn)了所有的錯(cuò)誤代價(jià)都是相同的。但是 估方法只適用在二類分類問題。如何進(jìn)行多類分類器評(píng)估是個(gè)難點(diǎn)。本文提出利用糾錯(cuò)輸出碼 原理，將多個(gè)問題轉(zhuǎn)換成多個(gè)二類分類問題，然后計(jì)算每個(gè)二類分類器的 ，再求其平均值，得到的評(píng)價(jià) ，用 作為多類分類器性能 評(píng)估 的標(biāo)準(zhǔn)。 關(guān)鍵詞： 分類 算法； 試者操作特征 ； 能評(píng)估 基于 析的分類器性能評(píng)估 I is a a in of to is of of to an in OC is of of it of is in of to a as it of UC is to to is to to UC of UC is of a 于 析的分類器性能評(píng)估 目錄 目 錄 第一章 緒論 . 1 析的研究背景 . 1 析的研究意義 . 2 文主要工作 . 2 容安排 . 3 第二章 分類算法的介紹及其性能評(píng)估標(biāo)準(zhǔn) . 1 類算法的介紹 . 1 類的概念和目的 . 1 要的分類方法 . 2 統(tǒng)分類器評(píng)估方法 . 2 類器的評(píng)估標(biāo)準(zhǔn) . 2 何評(píng)估分類算法的準(zhǔn)確率 . 4 統(tǒng)評(píng)估方法的局限性 . 5 第三章 析介紹 . 7 析的基礎(chǔ) . 7 類器評(píng)價(jià)標(biāo)準(zhǔn) . 12 法的優(yōu)勢(shì) . 14 類分類器的 算方法 . 16 第四章 基于二類分類器的 線生成算法 . 17 于離散分類器的 線生成算法 . 17 于概率分類器的 線生成算法 . 18 種分類器的比較與分析 . 20 第五章 多類問題轉(zhuǎn)化成二類問題 . 22 碼介紹 . 22 碼方法概述 . 23 全碼編碼原理 . 23 用完全碼求解 . 24 第六章 實(shí)驗(yàn)結(jié)果與說明 . 25 驗(yàn)平臺(tái)構(gòu)建 . 25 于分類器的輸出評(píng)估其性能 . 25 基于 析的分類器性能評(píng)估 目錄 估離散分類器的輸出結(jié)果 . 25 估概率分類器的輸出結(jié)果 . 26 基準(zhǔn)數(shù)據(jù)庫上評(píng)估分類器 . 27 準(zhǔn)數(shù)據(jù)集評(píng)估二類分類器 . 27 準(zhǔn)數(shù)據(jù)集評(píng)估多類分類器 . 34 章小結(jié) . 36 第七章 結(jié)論 . 37 參考文獻(xiàn) . 38 致謝 . 39 基于 析的分類器性能評(píng)估 緒論 1 第一章 緒論 析的研究背景 機(jī)器學(xué)習(xí)是人工智能的核心研究領(lǐng)域之一，它利用經(jīng)驗(yàn)改善系統(tǒng)自身的性能。機(jī)器學(xué)習(xí)起源于人工智能對(duì)人類學(xué)習(xí)能力的追求，傳統(tǒng)的研究幾乎完全局限在人工智能這一領(lǐng)域中，而現(xiàn)在機(jī)器學(xué)習(xí)已經(jīng)開始進(jìn)入了計(jì)算機(jī)科學(xué)的不同領(lǐng)域，甚至其他學(xué)科。 由于近 20年的快速發(fā)展，機(jī)器學(xué)習(xí)已經(jīng)具備了一定的解決實(shí)際問題的能力，在眾多的學(xué)科領(lǐng)域都得以應(yīng)用，我們?nèi)粘？梢砸姷降膽?yīng)用如防火墻、生物信息、搜索引擎等。這些應(yīng)用的支撐技術(shù)都來自于機(jī)器學(xué)習(xí)?，F(xiàn)階段對(duì)機(jī)器學(xué)習(xí)的研究可能不再過多地強(qiáng)調(diào)模擬人的學(xué)習(xí)能力，而是把機(jī)器學(xué)習(xí)真正當(dāng)成一種支持技術(shù)，為其它領(lǐng)域服務(wù) 1 傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)基本上只考慮平衡數(shù)據(jù)，假設(shè)測(cè)試數(shù)據(jù)上的樣例分布與訓(xùn)練數(shù)據(jù)具有同分布 其是在統(tǒng)計(jì)學(xué)，醫(yī)療診斷，模式識(shí)別，決策理論等領(lǐng)域。其次，目前的機(jī)器學(xué)習(xí)技術(shù)主要基于假設(shè)：處理第 一類錯(cuò)誤 (棄真錯(cuò)誤 )和第二類錯(cuò)誤 (取偽錯(cuò)誤 )的代價(jià)相同。然而在實(shí)際應(yīng)用中我們會(huì)發(fā)現(xiàn)“錯(cuò)誤”之間是存在區(qū)別的，大多數(shù)領(lǐng)域中的錯(cuò)誤代價(jià)都不一樣。以乳腺癌診斷為例，“將病人誤診為健康人的代價(jià)”與“將健康人誤診為病人的代價(jià)”是不同的。以信用卡盜用檢測(cè)為例，“將盜用誤認(rèn)為正常使用的代價(jià)”與“將正常使用誤認(rèn)為盜用的代價(jià)”是不同的。但是傳統(tǒng)機(jī)器學(xué)習(xí)技術(shù)基本上只考慮相同代價(jià)。 這些數(shù)據(jù)特征往往被傳統(tǒng)機(jī)器學(xué)習(xí)算法忽略，為了使機(jī)器學(xué)習(xí)方法得到更廣泛的應(yīng)用，需要反思過去機(jī)器學(xué)習(xí)領(lǐng)域中的基本假設(shè)，基本概念和學(xué)習(xí)算法等。首先應(yīng)該是對(duì) 學(xué)習(xí)方法優(yōu)劣度量標(biāo)準(zhǔn)的重新思考。 價(jià)不敏感，直觀以及可理解性等在評(píng)價(jià)和比較分類器問題上的優(yōu)勢(shì)足以使它在代價(jià)敏感等學(xué)習(xí)領(lǐng)域代替正確率成為更好的度量標(biāo)準(zhǔn)。 基于 析的分類器性能評(píng)估 緒論 2 析的研究意義 監(jiān)督學(xué)習(xí)中的分類算法一直是機(jī)器學(xué)習(xí)研究的核心主題。分類學(xué)習(xí)算法從帶有類標(biāo)的訓(xùn)練集上構(gòu)造一個(gè)擁有預(yù)測(cè)功能的分類器，它用于提取描述重要數(shù)據(jù)類別的模型或預(yù)測(cè)未來的數(shù)據(jù)趨勢(shì)，為電信、銀行、保險(xiǎn)、零售、醫(yī)療等諸多行業(yè)提供科學(xué)決策支持。 在國(guó)內(nèi)， 應(yīng)用在醫(yī)療領(lǐng)域應(yīng)用已經(jīng)很成熟，但是在機(jī)器學(xué)習(xí)領(lǐng)域還很少看到關(guān)于 研究成果。 析主要應(yīng)用環(huán)境如代價(jià)敏感學(xué)習(xí)，集成學(xué)習(xí)，決策支持敏感應(yīng)用已經(jīng)開始受到廣泛重視。 0 世紀(jì) 50 年代起源于統(tǒng)計(jì)決策理論 ,用來說明分類器命中率和誤報(bào)警率之間的關(guān)系 ,最早在第二次世界大戰(zhàn)中應(yīng)用于雷達(dá)信號(hào)觀察能力的評(píng)價(jià) ,后來使用在晶體管和心理物理學(xué)等的相關(guān)研究中。 1960年由后 1980 年前后 ,此時(shí) ,而且被導(dǎo)入了核醫(yī)學(xué)成像領(lǐng)域 ,隨后被用于診斷放射學(xué)實(shí)驗(yàn)室醫(yī)療癌癥的篩選和精神病的診斷尤其是醫(yī)療影像診斷準(zhǔn)確性的評(píng)價(jià)。 等的研究成果為近十年來 ,在人工智能的一些領(lǐng)域也有相關(guān)地引進(jìn) ,如 :機(jī)器學(xué)習(xí) ,多代理系統(tǒng) ,智能決策支持和專家系統(tǒng)等。 (1989)最早將 他證明了 文主要工作 本文首先 介紹了 析的研究背景和研究意義，介紹了 析的發(fā)展歷程，并說明了 析技術(shù)在評(píng)價(jià)和比較分類器上的優(yōu)勢(shì)。同時(shí)， 本為闡述了正確率分析方法的發(fā)展歷程，以及正確率分析方法的局限性，在此基礎(chǔ)上引出 析方法的優(yōu)勢(shì)，并分析其發(fā)展形勢(shì)。本文全面介紹了 析方法的基礎(chǔ)，并在 有的局限性即只能處理兩類別的數(shù)據(jù)上，提出了一種有效的解決辦法，以處理多類別數(shù)據(jù)。目前存在的多類別方法主要有三類，第一類方法是直接擴(kuò)展二維 間到多維空間，通過改變坐標(biāo)軸位置或者改變表示方法等手 段來擴(kuò)展，但這種方法難以表述和理解，并且計(jì)算復(fù)雜度非常的高；第二類就是擴(kuò)展 概念；第三類就是把多類別轉(zhuǎn)化成個(gè)二類別問題，將多類別 化成基于 析的分類器性能評(píng)估 緒論 3 多個(gè)二類別 估。本文在 機(jī)器學(xué)習(xí)平臺(tái) 件上開發(fā)。 容安排 本文共分為六章，第一章介紹了 析方法的發(fā)展背景及其研究的背景意義，第二章介紹了分類算法及其性能的評(píng)估標(biāo)準(zhǔn)，第三章主要介紹了 析技術(shù)，使用數(shù)據(jù)環(huán)境和衡量理論兩方面闡述了 為評(píng)價(jià)標(biāo)準(zhǔn)的優(yōu)越性，分析了多類 量技術(shù)目前的研究概況，并說明了現(xiàn)有方法的優(yōu)勢(shì) 和不足。第四章介紹了幾種將多類問題轉(zhuǎn)化為二類問題的方法 ， 將 于多類 量的方法 ，并說明如何使用完全碼編碼求解 五章在基準(zhǔn)數(shù)據(jù)庫上評(píng)估各種分類器的性能，并給出評(píng)估結(jié)果。第六章總結(jié)并指出將要做的工作。基于 析的分類器性能評(píng)估 分類算法的介紹及其性能評(píng)估標(biāo)準(zhǔn) 1 第二章 分類算法的介紹及其性能評(píng)估標(biāo)準(zhǔn) 類算法的介紹 監(jiān)督學(xué)習(xí)中的分類算法一直是機(jī)器學(xué)習(xí)研究的核心主題。分類學(xué)習(xí)算法從帶有類標(biāo)的訓(xùn)練集上構(gòu)造一個(gè)擁有預(yù)測(cè)功能的分類器，它用于提取描述重要數(shù)據(jù)類別的模型或預(yù)測(cè)未來的數(shù)據(jù)趨勢(shì) 4，為電信、銀行、保險(xiǎn)、零售、醫(yī)療等諸多行業(yè)提供科學(xué)決策支持。分類學(xué) 習(xí)的目的是分析輸入數(shù)據(jù)，通過在訓(xùn)練集中的數(shù)據(jù)表現(xiàn)出來的特性，為每一個(gè)類別找到一種準(zhǔn)確的描述或者模型。由此生成的類別描述用來對(duì)未來測(cè)試數(shù)據(jù)進(jìn)行分類。盡管這些未來的測(cè)試數(shù)據(jù)的類別標(biāo)簽是未知的，我們?nèi)钥梢杂纱祟A(yù)測(cè)這些新數(shù)據(jù)所屬的類別。我們也可以由此對(duì)數(shù)據(jù)中的每一個(gè)類別有更好的理解。也就是說我們獲得了對(duì)這個(gè)類別的知識(shí)。 用于學(xué)習(xí)分類模型的傳統(tǒng)算法有很多，如決策樹方法，神經(jīng)網(wǎng)絡(luò)，貝葉斯分類， 為本文的實(shí)驗(yàn)主要基于決策樹方法，本文將主要介紹決策樹算法。同時(shí)分類算法還與其它智能算法的經(jīng)驗(yàn)結(jié)合發(fā)展出基于粗 糙集的分類方法，基于遺傳算法的分類算法等 類的概念和目的 分類是數(shù)據(jù)挖掘三大核心技術(shù) (關(guān)聯(lián)規(guī)則、分類、聚類 ) 之一 ,其實(shí)質(zhì)是產(chǎn)生一個(gè)目標(biāo)函數(shù) f ,該函數(shù)將輸入數(shù)據(jù)集的屬性集 x 映射到已經(jīng)定義的類標(biāo)簽 y 上。該目標(biāo)函數(shù)通常也被稱為分類模型或分類器。當(dāng)前 , 分類在很多領(lǐng)域都得到了應(yīng)用和推廣。迄今為止 ,已經(jīng)發(fā)展了很多種分類器。例如 , 決策樹、樸素貝葉斯、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等。這些分類器分別采用不同的學(xué)習(xí)算法建立模型 ,該模型應(yīng)盡量擬合輸入數(shù)據(jù)集的屬性集與類別之間的關(guān)系。第一階段 ,采用學(xué)習(xí)算法 ,通過對(duì)訓(xùn)練集進(jìn)行歸 納學(xué)習(xí)得到分類模型 ; 第二階段 , 將已經(jīng)學(xué)習(xí)得到的分類模型用于測(cè)試集 , 對(duì)測(cè)試集中未知類別的實(shí)例進(jìn)行分類 ,即問號(hào)處最終會(huì)取得訓(xùn)練集中類別的某個(gè)值。很顯然 ,通過訓(xùn)練集產(chǎn)生的分類模型未必是最佳的 ,這就導(dǎo)致對(duì)測(cè)試集的分類可能產(chǎn)生錯(cuò)誤。而人們希望盡量得到性能最佳的分類模型 , 這使得對(duì)分類器性能的評(píng)價(jià)至關(guān)重要。只有通過優(yōu)秀的評(píng)價(jià)標(biāo)準(zhǔn)才能選擇出性能更好的分類器。 基于 析的分類器性能評(píng)估 分類算法的介紹及其性能評(píng)估標(biāo)準(zhǔn) 2 要的分類方法 決策樹方法以其易被人理解、需要信息少、效率及準(zhǔn)確率較高等優(yōu)點(diǎn)在機(jī)器學(xué)習(xí)領(lǐng)域占據(jù)著重要地位。決策樹方法從產(chǎn)生至今，先后涌現(xiàn)出多種算法，包括 于人機(jī)交互的方法等。他們的共同特點(diǎn)是對(duì)訓(xùn)練樣本集進(jìn)行訓(xùn)練后都會(huì)生成一棵形如二叉或多叉的決策樹。樹的葉子節(jié)點(diǎn)代表某一類別，非葉 子 節(jié)點(diǎn) (內(nèi)節(jié)點(diǎn) )包括根節(jié)點(diǎn)代表某個(gè)一般屬性 (非類別屬性 )的一個(gè)測(cè)試，測(cè)試的結(jié)果形成非葉 子 節(jié)點(diǎn)的一個(gè)分枝。從根節(jié)點(diǎn)到葉子節(jié)點(diǎn)的一條路徑形成一條分類規(guī)則，一棵決策樹能夠很方便的轉(zhuǎn)化為若干條分類規(guī)則。人們可以依據(jù)分類規(guī)則直觀地對(duì)未知類別的樣本進(jìn)行預(yù)測(cè)。其中，選擇測(cè)試屬性和劃分樣本集是構(gòu)建決策樹的關(guān)鍵環(huán)節(jié)。不同的決策樹算法在此使用的 技術(shù)不盡相同。 目前在數(shù)據(jù)挖掘軟件中運(yùn)用的最早也是最多的分類算法是神經(jīng)網(wǎng)絡(luò)，它具有對(duì)非線性數(shù)據(jù)快速建模的能力，通過對(duì)訓(xùn)練集的反復(fù)學(xué)習(xí)來調(diào)節(jié)自身的網(wǎng)絡(luò)結(jié)構(gòu)和連接權(quán)值，并對(duì)未知的數(shù)據(jù)進(jìn)行分類和預(yù)測(cè)。但是，神經(jīng)網(wǎng)絡(luò)從某種意義上說是一種啟發(fā)式的學(xué)習(xí)機(jī)，本身有很大經(jīng)驗(yàn)的成分，為了克服傳統(tǒng)神經(jīng)網(wǎng)絡(luò)方面不可避免的難題， 出了一種新的神經(jīng)網(wǎng)絡(luò)支持向量機(jī)。 一種基于統(tǒng)計(jì)的學(xué)習(xí)方法，它是對(duì)結(jié)構(gòu)化風(fēng)險(xiǎn)最小歸納原則的近似，其理論基礎(chǔ)是統(tǒng)計(jì)學(xué)習(xí)理論。為了最小化期望風(fēng)險(xiǎn)的上界， 固定學(xué)習(xí)機(jī)經(jīng)驗(yàn)風(fēng)險(xiǎn)的條件下最 小化 信度。 支持向量機(jī)通過某種事先選擇的非線性映射 (核函數(shù) )將輸入向量映射到一個(gè)高維特征空間，在這個(gè)空間中構(gòu)造最優(yōu)分類超平面。因此，使用 行數(shù)據(jù)集分類工作的過程為：首先，通過預(yù)先選定的一些非線性映射將輸入空間映射到高維特征空間，使得在高維屬性空間中有可能對(duì)訓(xùn)練數(shù)據(jù)實(shí)現(xiàn)超平面的分割，避免了在原輸入空間中進(jìn)行非線性曲面分割計(jì)算。 據(jù)集形成的分類函數(shù)具有這樣的性質(zhì)：它是一組以 持向量 )為參數(shù)的非線性函數(shù)的線性組合，因此分類函數(shù)的表達(dá)式僅和 獨(dú)立與空間的維度。在處理高維輸入空間 的分類時(shí)，這種方法尤其有效。 統(tǒng)分類器評(píng)估方法 類器的評(píng)估標(biāo)準(zhǔn) 目前 ,分類器性能評(píng)價(jià)標(biāo)準(zhǔn)很多 ,其中比較常用的主要有準(zhǔn)確 率 或錯(cuò)誤率、查全率、查準(zhǔn)率和 5。為了清楚地認(rèn)識(shí)這些評(píng)價(jià)標(biāo)準(zhǔn) ,首先介紹一下混合矩陣。 基于 析的分類器性能評(píng)估 分類算法的介紹及其性能評(píng)估標(biāo)準(zhǔn) 3 在運(yùn)用分類器對(duì)測(cè)試集進(jìn)行分類時(shí) ,有些實(shí)例被正確分類 ,有些實(shí)例被錯(cuò)誤分類 ,這些信息可以通過混合矩陣反映出來。表 1 是一個(gè)兩類問題下混合矩陣的例子。 預(yù)測(cè)類別 + - 實(shí)際類別 + 正確的正例 誤的負(fù)例 錯(cuò)誤的正例 確的負(fù)例 1：兩類問題的混淆矩陣 在混 合矩陣中 , 主對(duì)角線上分別是被正確分類的正例個(gè)數(shù) ( ) 和被正確分類的負(fù)例 的 個(gè)數(shù) ( ) ,次對(duì)角線上依次是被錯(cuò)誤分類的負(fù)例 的 個(gè)數(shù) ( ) 和被錯(cuò)誤分類的正例個(gè)數(shù) ( ) 。那么 ,實(shí)際正例數(shù) ( P) = 實(shí)際負(fù)例數(shù) ( N) = 實(shí)例總數(shù) ( C) = P +N 。很顯然 ,一個(gè)混合矩陣已經(jīng)能夠顯示出評(píng)價(jià)分類器性能的一些必要信息 , 但是 , 為了更方便地比較不同分類器的性能 ,從混合矩陣中總結(jié)得出上述一些常用的數(shù)字評(píng)價(jià)標(biāo)準(zhǔn)。 1) 準(zhǔn)確度（ 義 為正確分類的測(cè)試實(shí)例個(gè)數(shù)占測(cè)試實(shí)例總數(shù)的比例，即， 2) 錯(cuò)誤率（ 定義 為錯(cuò)誤分類的測(cè)試實(shí)例個(gè)數(shù)占測(cè)試實(shí)例總數(shù)的比例，即， 3) 查準(zhǔn)率（ 義為正確分類的正例個(gè)數(shù)占分類為正例的實(shí)例個(gè)數(shù)的比例，即， 4) 查全率（ 義為正確分類的正例個(gè)數(shù)占實(shí)際正例個(gè)數(shù)的比例，即， 5) 即是查全率與查準(zhǔn)率的調(diào)和平均數(shù) ，即， 使用這些評(píng)價(jià)標(biāo)準(zhǔn)可以對(duì)分類器進(jìn)行評(píng)估 ,尤其是其中的準(zhǔn)確度或錯(cuò)誤率 ,是比較常用的分類器性能評(píng)價(jià)標(biāo)準(zhǔn)。但是 ,所有這些性能評(píng)價(jià)標(biāo)準(zhǔn)都只在一個(gè)操作點(diǎn)有效 ,這 個(gè)操作點(diǎn)即是選擇使得錯(cuò)誤概率最小的點(diǎn) 6。而且 ,其中大部分評(píng)價(jià)標(biāo)準(zhǔn)都有一個(gè)共同的弱點(diǎn) ,即它們對(duì)于類 的 分布的改變顯得不夠強(qiáng)壯 7。當(dāng)測(cè)試集中正例和負(fù)例的比例改變時(shí) ,它們可能不再具基于 析的分類器性能評(píng)估 分類算法的介紹及其性能評(píng)估標(biāo)準(zhǔn) 4 有良好的性能 ,有時(shí)甚至不能被接受。 何評(píng)估分類算法的準(zhǔn)確率 一般認(rèn)為可以從三個(gè)方面來評(píng)價(jià)分類器：預(yù)測(cè)正確率，計(jì)算復(fù)雜度，模型描述的簡(jiǎn)潔度。當(dāng)然模型結(jié)果的可理解性，算法的可擴(kuò)展性針對(duì)特殊應(yīng)用也是非常重要。幾乎所有的領(lǐng)域，都希望越準(zhǔn)越好，提高泛化能力是永遠(yuǎn)的追求。估計(jì)分類器的正確率顯然是分類器指標(biāo)中最重要的，它使得我們可以估計(jì)一個(gè)給 定的分類算法對(duì)未見數(shù)據(jù)正確分類的正確率。例如，如果先前的數(shù)據(jù)用于訓(xùn)練分類算法，以便預(yù)測(cè)顧客的購物行為，我們希望估計(jì)該分類算法預(yù)測(cè)未來顧客購物行為的正確率。正確率也可以用來比較不同的分類算法。 由于學(xué)習(xí)算法對(duì)數(shù)據(jù)過分特化，使用訓(xùn)練數(shù)據(jù)導(dǎo)出分類算法，然后評(píng)估分類算法，可能錯(cuò)誤地導(dǎo)致過于樂觀的估計(jì)，下面我們將介紹一些評(píng)估分類算法正確率的方法。 保持 (在保持方法中，給定數(shù)據(jù)隨機(jī)地劃分成兩個(gè)獨(dú)立的集合：訓(xùn)練集和測(cè)試集。通常三分之二的數(shù)據(jù)分配到訓(xùn)練集，其余三分之一分配到測(cè)試集。使用訓(xùn)練集導(dǎo)出分類算法 模型，其正確率用測(cè)試集評(píng)估。評(píng)估是保守的，因?yàn)橹挥幸徊糠执偈箶?shù)據(jù)用于導(dǎo)出分類模型，隨機(jī)子選樣是保持方法的一種變形，它將保持方法重復(fù) K 次，總體正確率估計(jì)取每次迭代正確率的平均值。這種方法適用于大量的數(shù)據(jù)條件下。 K 折交叉驗(yàn)證 假定一個(gè)算法 A 和一個(gè)小數(shù)據(jù)集 S，當(dāng) A 在一個(gè)與 S 具有相同大小的新的訓(xùn)練集上訓(xùn)練時(shí)， A 產(chǎn)生的分類器的正確率是多少？ 出用分層 10 折交叉驗(yàn)證方法計(jì)算算法的正確率。在這種情況下，它能產(chǎn)生相當(dāng)好的估計(jì)。需要注意的是在任何重復(fù)采樣方法中，我們不能在一個(gè)大小和 S 精確相同的訓(xùn)練集上訓(xùn)練 A，相 反，我們?cè)跇永齻€(gè)數(shù)明顯少一些的數(shù)據(jù)集上訓(xùn)練， (例如 10 折交叉驗(yàn)證中使用 S 全部大小的 90%)并且基于學(xué)習(xí)算法性能隨著訓(xùn)練數(shù)據(jù)大小連續(xù)變化的假設(shè)。這個(gè)假設(shè)通過執(zhí)行額外的交叉驗(yàn)證研究被實(shí)驗(yàn)證實(shí)成立，甚至在非常小的數(shù)據(jù)集也成立。但是假設(shè)成立的條件與訓(xùn)練集 S 的大小并不直接相關(guān)，在某些情況下，學(xué)習(xí)曲線形狀的結(jié)果顯示，這種正確率連續(xù)變化的假定不一定成立。然而在許多實(shí)際應(yīng)用中，這種假設(shè)是合理的。 K 折交叉驗(yàn)證 (也稱 K 折交叉確認(rèn) )方法首先將初始數(shù)據(jù)被劃分成 K 個(gè)互不相交的子集或“折” ， 個(gè)折的大小大致相等。 訓(xùn)練和測(cè)試進(jìn)行 K 次。在第 i 次迭代， 余的子集都用于訓(xùn)練分類模型。即是，第一次迭代的分類法在子集 ，訓(xùn)練，而在 測(cè)試，第二次迭代在的分類法在子集 ， 訓(xùn)練，而在測(cè)試；如此下去。正確率估計(jì)是 K 次迭代正確分類數(shù)除以初始數(shù)據(jù)中樣本總數(shù)。在分層交叉確認(rèn)中，折被分層，使得每個(gè)折中樣本的類分布與在初始數(shù)據(jù)中大致相同。評(píng)估分基于 析的分類器性能評(píng)估 分類算法的介紹及其性能評(píng)估標(biāo)準(zhǔn) 5 類法正確率的其它方法包括引導(dǎo) (留一交叉驗(yàn)證 ( 前者使用一致的、帶回放的選樣，選取給定的訓(xùn)練實(shí)例；后者是 K折交叉確認(rèn)，這里 K 為初始樣本數(shù) S。一般地，建議使用調(diào)整的 10 折交叉確認(rèn)，因?yàn)樗哂邢鄬?duì)低的偏置和方差。使用這些技術(shù)評(píng)估分類算法的正確率增加了總體的計(jì)算時(shí)間，但是對(duì)于由多個(gè)分類算法中選擇一個(gè)好的分類算法仍然是有用的。 K 折交叉確認(rèn)適用于中量的數(shù)據(jù)集而 適用于小量的數(shù)據(jù)集。 統(tǒng)評(píng)估方法的局限性 分類學(xué)習(xí)算法從帶有類標(biāo)識(shí)的訓(xùn)練集上構(gòu)造一個(gè)擁有預(yù)測(cè)功能的分類器 ,它用于提取描述重要數(shù)據(jù)類別的模型或預(yù)測(cè)未來的數(shù)據(jù)趨勢(shì) 4,它們的預(yù)測(cè)能力通常用在 測(cè)試集上預(yù)測(cè)正確率 (來衡量 ,這類度量標(biāo)準(zhǔn)在當(dāng)前的實(shí)際應(yīng)用中發(fā)現(xiàn)了很多限制和不足。主要出現(xiàn)在以下兩種情況 : (1) 在數(shù)據(jù)不平衡的情況下 ,即數(shù)據(jù)的類別分布比例相差很大時(shí) ,正確率并不能準(zhǔn)確表達(dá)分類器的性能。在實(shí)際應(yīng)用中 ,類分布比例在 10 和 102 刻度上十分普遍 ,甚至在某些領(lǐng)域達(dá)到了 106,如正確率達(dá)到 分類算法可能比隨機(jī)猜測(cè)所有的信用卡都是“正常使用”的正確率還要低 ,此時(shí)很高的正確率并不能夠充分說明分類器性能的好壞 ;或者當(dāng)正確率用在動(dòng)態(tài)環(huán)境 ,諸如網(wǎng)頁信息獲取 ,查詢到的不相關(guān)網(wǎng)頁的數(shù)量大 大的超過想要查詢的網(wǎng)頁數(shù)量 ,并且隨著時(shí)間的推移 ,這個(gè)比例隨著網(wǎng)頁數(shù)量還會(huì)穩(wěn)步地增加。此時(shí) ,測(cè)試集和訓(xùn)練集上的類別分布變化 ,如果用正確率評(píng)價(jià) ,一些在訓(xùn)練集中正確率很高的分類器性能可能會(huì)急劇下降 ,這顯然會(huì)影響對(duì)算法的客觀評(píng)價(jià)。 (2) 當(dāng)分類錯(cuò)誤代價(jià)不相等時(shí) ,正確率只能保證出現(xiàn)錯(cuò)誤的數(shù)量最小 ,但是并不能保證是總體代價(jià)最小。例如“將信用卡盜用誤認(rèn)為正常使用”對(duì)于銀行發(fā)生的損失是將“正常使用誤認(rèn)為盜用”的很多倍 ,甚至在一些與人身生命安全相關(guān)的重要決策中 ,這種錯(cuò)誤代價(jià)的關(guān)系往往無法具體衡量。從實(shí)用角度 講 ,分類學(xué)習(xí)算法 應(yīng)該盡量地減少代價(jià)高的錯(cuò)誤出現(xiàn) ,而不是著重于減少錯(cuò)誤數(shù)量。此外 ,因?yàn)殄e(cuò)誤代價(jià)的不同 ,在典型信息獲取過程中 ,需要高的準(zhǔn)確度 (在醫(yī)療影像診斷中 ,需要高的召回率 (這些應(yīng)用中并不需要以正確率作為選擇合適算法的標(biāo)準(zhǔn)。另外在越來越多的應(yīng)用中 ,需要有些分類器能夠提供分類的可靠性 ,相似度或者對(duì)每個(gè)樣例分類質(zhì)量的數(shù)值估計(jì)。也就是說不僅希望模型為每個(gè)樣例預(yù)測(cè)出一個(gè)類別 ,而且希望它能為每次預(yù)測(cè)提供一個(gè)可靠性估計(jì)。因此在當(dāng)前的應(yīng)用中 ,正確率已經(jīng)顯示出了很多的不足和缺陷 ,它已不再能夠充分描述分類 器的性能或者比較多個(gè)分類算法的優(yōu)劣。 析對(duì)類別分布、錯(cuò)誤代價(jià)不敏感、直觀以及可理解性等特性 ,逐漸使它代替正基于 析的分類器性能評(píng)估 分類算法的介紹及其性能評(píng)估標(biāo)準(zhǔn) 6 確率成為更好的度量方法。 基于 析的分類器性能評(píng)估 析介紹 7 第三章 析介紹 早將 析技術(shù)引用到機(jī)器學(xué)習(xí)領(lǐng)域中，他說明了 線的值估計(jì)和比較算法。 析技術(shù)在最近幾年越來越多的應(yīng)用到機(jī)器學(xué)習(xí)領(lǐng)域中全面度量分類算法的性能。 析技術(shù)不僅是一種通用圖形化性能的方法，而且 線的獨(dú)特屬性使它在類別分布不平衡或者分類錯(cuò)誤代價(jià)不相等的領(lǐng)域，這使它在類別分布未知的領(lǐng)域和代價(jià)敏感學(xué)習(xí)中變得越來越重要 。此外， 的 另外一個(gè)重要的特征就是它也可以給出清楚的解釋，在多類 題中我們將更加深刻的領(lǐng)會(huì)這個(gè)特征的重要。 析對(duì)類別分布、代價(jià)不敏感，直觀以及可理解性等在評(píng)價(jià)和比較分類器問題上的優(yōu)勢(shì)足以使它代替正確率成為更好的度量標(biāo)準(zhǔn)。 析的基礎(chǔ) 對(duì)于二類別分類器，給定一個(gè)分類器和一個(gè)實(shí)例，存在著四種這樣的可能的輸出：實(shí)例是正的，并且分類器的預(yù)測(cè)也是正的，那么 1，如果分類器的預(yù)測(cè)是負(fù)的，那么 1，實(shí)例是負(fù)的并且分類器的預(yù)測(cè)也是負(fù)的，那么 1，如果分類器預(yù)測(cè)是正的，則 1。 所以給定一個(gè)二類分類器和測(cè)試數(shù)據(jù)集，我們可以構(gòu)造一個(gè) 2 2 的混淆矩陣來表示分類算法的分類結(jié)果。 定義分類算法將負(fù)例誤分為正例的個(gè)數(shù)與所有負(fù)例的比值為 將正例分為正例的個(gè)數(shù)與所有正例的比值為 是以 橫軸，以 縱軸的二維圖。即 繪制 間的關(guān)系。如果 正例相對(duì)于負(fù)例在測(cè)試集上的比例發(fā)生了變化，分類器在 個(gè)特征表明 對(duì)類分布不敏感。 算法分類器中包含兩種分類器，一種是硬分類器（ 者離散分類器，另一種是軟分類器（ 1） 硬分類器（ 硬分類器的輸出結(jié)果僅僅是一個(gè)類別標(biāo)簽。這樣的分類器在對(duì)數(shù)據(jù)集進(jìn)行分類的時(shí)候，僅僅產(chǎn)生一個(gè)混淆矩陣，因此一個(gè)算法對(duì)應(yīng) 間上的一個(gè)點(diǎn) 。在 間上，有幾個(gè)基于 析的分類器性能評(píng)估 析介紹 8 重要的點(diǎn)，一個(gè)是左下的點(diǎn)（ ， ），意味將每一個(gè)實(shí)例都預(yù)測(cè)為負(fù)例，這個(gè)點(diǎn)稱為負(fù)分類點(diǎn)；一個(gè)是右上方的點(diǎn)（ ， ），意味著講每一個(gè)實(shí)例都預(yù)測(cè)為正例，這個(gè)點(diǎn)橙味正分類點(diǎn)；點(diǎn)（ ， ）是最理想的分類點(diǎn)，代表最理想的分類器，它的分類是完全正確的。 一般來說，位于 間上左上位置的分類器，其性能較其它分類器好。 在 左邊靠近 X 軸的分類器 (如圖 的 法 )行為比較保守，算法嚴(yán)格檢驗(yàn)正例，使他們的 小，但是他們經(jīng)常也會(huì)拒絕接受正例，因此會(huì)產(chǎn)生低的 右上的分類器，如圖 的 法，則比較激進(jìn)，他們對(duì)正例檢查很弱，因此分類結(jié)果大多是正例，但是他們也經(jīng)常有高的 有大量負(fù)例的實(shí)際應(yīng)用數(shù)據(jù)中，在 更左邊的分類器性能會(huì)較好，而且這種情況相對(duì)比較多，如搜索引擎命中的網(wǎng)頁往往與用戶要求一致的比例很小。 中對(duì)角線 Y=X 描述了一個(gè)隨機(jī)猜測(cè)的分類器。例如，如果分類器以 概 率 隨機(jī)猜測(cè)為正例，那么將有一半的正例和負(fù)例分類正確。這個(gè)分類器在 間中對(duì) 應(yīng) 的點(diǎn)為 (如果以 概率猜測(cè)， 那么分類結(jié)果的 于 么這個(gè)分類器對(duì)應(yīng) (因此隨機(jī)分類器將產(chǎn)生一個(gè)在對(duì)角線上 以 它猜測(cè)正例概率的 。為了遠(yuǎn)離對(duì)角線進(jìn)入上三角