【畢業(yè)學(xué)位論文】（Word原稿）基于支持向量機(jī)的多分類(lèi)算法改進(jìn)與應(yīng)用-軟件工程

碩士學(xué)位論文 （專(zhuān)業(yè)學(xué)位） 基于支持向量機(jī)的多分類(lèi)算法 改進(jìn) 與應(yīng)用 姓 名： 學(xué) 號(hào)： 所在院系：軟件學(xué)院 職業(yè)類(lèi)型： 工程碩士 專(zhuān)業(yè)領(lǐng)域：軟件工程 指導(dǎo)教師： 副 指導(dǎo)教師 ： 二一 二 年 三 月 A in n 2012 基于支持向量機(jī)的多分類(lèi)算法改進(jìn)與應(yīng)用 同濟(jì)大學(xué) 學(xué)位論文版權(quán)使用授權(quán)書(shū) 本人完全了解同濟(jì)大學(xué)關(guān)于收集、保存、使用學(xué)位論文的規(guī)定，同意如下各項(xiàng)內(nèi)容：按照學(xué)校要求提交學(xué)位論文的印刷本和電子版本；學(xué)校有權(quán)保存學(xué)位論文的印刷本和電子版，并采用影印、縮印、掃描、數(shù)字化或其它手段保存論文；學(xué)校有權(quán)提供目錄檢索以及提供本學(xué)位論文全文或者部分的閱覽服務(wù)；學(xué)校有權(quán)按有關(guān)規(guī)定向國(guó)家有關(guān)部門(mén)或者機(jī)構(gòu)送交論文的復(fù)印件和電子版；在不以贏利為目的的前提下，學(xué)?？梢赃m當(dāng)復(fù)制論文的部分或全部?jī)?nèi)容用于學(xué)術(shù)活動(dòng) 。 學(xué)位論 文作者簽名： 2012 年 3 月 1 日 同濟(jì)大學(xué)學(xué)位論文原創(chuàng)性聲明 本人鄭重聲明：所呈交的學(xué)位論文，是本人在導(dǎo)師指導(dǎo)下，進(jìn)行研究工作所取得的成果。除文中已經(jīng)注明引用的內(nèi)容外，本學(xué)位論文的研究成果不包含任何他人創(chuàng)作的、已公開(kāi)發(fā)表或者沒(méi)有公開(kāi)發(fā)表的作品的內(nèi)容。對(duì)本論文所涉及的研究工作做出貢獻(xiàn)的其他個(gè)人和集體，均已在文中以明確方式標(biāo)明。本學(xué)位論文原創(chuàng)性聲明的法律責(zé)任由本人承擔(dān)。 學(xué)位論文作者簽名： 2012 年 3 月 1 日同濟(jì)大學(xué) 碩士學(xué)位論文 摘要 I 摘要 支持向量機(jī)是由 驗(yàn)室的 人提出的一種針對(duì)分類(lèi)和回歸問(wèn)題的新型機(jī)器學(xué)習(xí)方法，是借助于最優(yōu)化方法解決機(jī)器學(xué)習(xí)問(wèn)題的新工具支持向量機(jī)方法 是 基于統(tǒng)計(jì)學(xué)習(xí)理論與結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理，具有良好的推廣性和 比 較高的準(zhǔn)確率它集成了最優(yōu)分類(lèi)超平面、核技巧、凸二次規(guī)劃等多項(xiàng)技術(shù)，能有效地解決“過(guò)學(xué)習(xí)”、“維數(shù)災(zāi)難”和局部極小點(diǎn)等問(wèn)題由于出色的學(xué)習(xí)性能，支持向量機(jī)已經(jīng)成為當(dāng)前機(jī)器學(xué)習(xí)界的一個(gè)研究熱點(diǎn)，并在很多領(lǐng)域得到了廣泛的應(yīng)用，包括 模式識(shí)別、回歸估計(jì)等方面由于支持向量機(jī)方法最初是針對(duì)二類(lèi)別的分類(lèi)問(wèn)題提出的，如何將二類(lèi)別分類(lèi)方法擴(kuò)展到多類(lèi)別分類(lèi)是支持向量機(jī)研究的一個(gè)重要內(nèi)容 本文主要做了以下幾個(gè)方面的工作 1介紹了機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)習(xí)理論以及支持向量機(jī)的發(fā)展和研究現(xiàn)狀討論了支持向量機(jī)的理論和算法，包括核函數(shù)理論、參數(shù)選擇等熱點(diǎn)問(wèn)題 2總結(jié)了目前常用的基于支持向量機(jī)的多分類(lèi)方法，包括一對(duì)多方法、一對(duì)一方法、決策二叉樹(shù)方法對(duì)比討論了各種方法的優(yōu)缺點(diǎn)本文針對(duì)構(gòu)建分類(lèi)超平面的支持向量的空間分布特點(diǎn)結(jié)合模糊隸屬度和“一對(duì)一”鄉(xiāng)分類(lèi) 方法所存在的弊端，提出了一種改進(jìn)的多分類(lèi)方法，并通過(guò)仿真試驗(yàn)驗(yàn)證了改進(jìn)方法的有效性 關(guān)鍵詞： 機(jī)器學(xué)習(xí)；支持向量機(jī)；多分類(lèi) I is a It is a to of on on by of of as in is in as so is to it is a In is as 1. of of of 2. of at of a is to of of is by of 濟(jì)大學(xué) 碩士學(xué)位論文 目錄 I 目錄 第 1 章 緒論 . 1 題研究背景 . 1 持向量機(jī)的發(fā)展歷史與研究現(xiàn)狀 . 2 持向量機(jī)的發(fā)展歷史 . 2 持向量機(jī)的研究現(xiàn)狀 . 2 持向量機(jī)的應(yīng)用 . 3 文的 研究?jī)?nèi)容和組織結(jié)構(gòu) . 4 文研究?jī)?nèi)容 . 4 文的組織結(jié)構(gòu) . 4 第 2 章 機(jī)器學(xué)習(xí)與統(tǒng)計(jì)學(xué)習(xí)理論概述 . 5 器學(xué)習(xí)的基本問(wèn)題 . 5 器學(xué)習(xí)的發(fā)展歷史 . 5 器學(xué)習(xí)問(wèn)題的表述 . 6 計(jì)學(xué)習(xí)理論的基本內(nèi)容 . 7 習(xí)一致性條件 . 8 C 維 . 8 廣性的界理論 . 8 構(gòu)風(fēng)險(xiǎn)最小化原則 . 9 第 3 章 支持向量機(jī)基本方法 . 11 持向量機(jī)基本方法 . 11 性支持向量機(jī) . 11 線(xiàn)性支持向量機(jī)與核函數(shù) . 15 支持向量 . 17 回歸支持向量機(jī) . 17 數(shù)選擇 . 20 數(shù)選擇的意義 . 20 數(shù)的作用與影響 . 20 于網(wǎng)格搜索的參數(shù)選擇方法 . 21 支持向量機(jī)的訓(xùn)練 算法 . 22 算法 . 23 解算法 . 24 貫最小優(yōu)化算法 (. 25 第 4 章 基于支持向量機(jī)的多分類(lèi)方法改進(jìn) . 26 同濟(jì)大學(xué) 碩士學(xué)位論文 目錄 常見(jiàn)的多類(lèi)分類(lèi)算法 . 26 一對(duì)多分類(lèi)器 . 27 一對(duì)一分類(lèi)器 . 27 叉樹(shù)分類(lèi)器 . 28 一種改進(jìn)的一對(duì)一多類(lèi)分類(lèi)器 . 29 糊集的基本概念 . 29 種改進(jìn)的一對(duì)一多類(lèi)分類(lèi)器 . 30 第五章 支持向量機(jī)的多分類(lèi)算法應(yīng)用 . 37 用背景簡(jiǎn)介 . 37 據(jù)的獲取 . 37 驗(yàn)結(jié)果及分析 . 39 第六章 總結(jié)與展望 . 41 參考文獻(xiàn) . 42 致 謝 . 45 個(gè)人簡(jiǎn)歷、在讀期間發(fā)表的學(xué)術(shù)論文與研究成 果 . 46 第 1 章 緒論 1 第 1章 緒論 課題 研究背景 20 世紀(jì) 90 年代以來(lái)，計(jì)算機(jī)技術(shù)和信息技術(shù)的迅猛發(fā)展 同時(shí) 宣告了信息時(shí)代的到來(lái)，這個(gè)時(shí)代的重要特征就是 ： 人們有了更多的機(jī)會(huì)和手段 能 接觸到大量數(shù)據(jù)海量數(shù)據(jù)時(shí)刻充斥著我們的生活，它們將在生產(chǎn)和生活中發(fā)揮巨大作用因此人們投入了大量資源去收集、存儲(chǔ)和處理數(shù)據(jù)而 在 實(shí)際問(wèn)題中由于數(shù)據(jù)量太大，很難對(duì) 數(shù)據(jù) 進(jìn)行高效管理，或者由于數(shù)據(jù)結(jié)構(gòu)太復(fù)雜，很難對(duì)其進(jìn)行有效 的 分析，所以這些海量數(shù)據(jù)只有一小部分在發(fā)揮作用，大量潛在的有價(jià) 值 的 信息仍沒(méi)有被挖掘出來(lái)，這就出現(xiàn)了 “ 數(shù)據(jù)爆炸，信息匾乏 ” 等 現(xiàn)象 對(duì)大型、復(fù)雜、信息豐富的數(shù)據(jù)集的理解 ， 實(shí)際上是政府、企業(yè)和科研領(lǐng)域的共同需要在政府機(jī)構(gòu)中，很多政策、法律、法規(guī)的制訂都要有數(shù)據(jù)信息作為依據(jù)；在商務(wù)領(lǐng)域 、 公司和顧客的數(shù)據(jù)都被認(rèn)為是一種戰(zhàn)略 性 資產(chǎn)；在科研領(lǐng)域，研究者們從數(shù)據(jù)中尋找規(guī)律 的同時(shí) 又在用數(shù)據(jù)檢驗(yàn)規(guī)律這就要求對(duì) 我們對(duì) 數(shù)據(jù)有深刻 的理解，傳統(tǒng)的數(shù)據(jù)庫(kù)技術(shù)和數(shù)據(jù)分析方法已經(jīng) 難以滿(mǎn)足 人們 的要求如何從海量數(shù)據(jù)中快速挖掘出有用知識(shí)，己成為信息時(shí)代一個(gè)十分緊迫而富有挑戰(zhàn)的研究課題數(shù)據(jù)挖掘技術(shù) (1就是在這樣的背景下應(yīng)運(yùn)而生的 基于數(shù)據(jù)的機(jī)器學(xué)習(xí) (數(shù)據(jù)挖掘技術(shù)中的重要內(nèi)容，它研究從觀(guān)測(cè)數(shù)據(jù)出發(fā)尋找規(guī)律，并利用這些規(guī)律對(duì)未來(lái)數(shù)據(jù)或無(wú)法觀(guān)測(cè)的數(shù)據(jù)進(jìn)行預(yù)測(cè)現(xiàn)有機(jī)器學(xué)習(xí)方法共同的重要理論基礎(chǔ)之一是統(tǒng)計(jì)學(xué)傳統(tǒng)統(tǒng)計(jì)學(xué)研究的是樣本數(shù)目趨于無(wú)窮大時(shí)的漸近理論，即當(dāng)樣本趨于無(wú)窮多時(shí)的統(tǒng)計(jì)性質(zhì)但在實(shí)際問(wèn)題中，樣本數(shù)目往往是有限的，通常的方法仍以樣本無(wú)窮多為假設(shè)進(jìn)行算法推導(dǎo)和建模，因此一些理論上很優(yōu)秀的學(xué)習(xí)方法在實(shí)際中的表現(xiàn)可能難以令人滿(mǎn) 意比如，在普通的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中，當(dāng)樣本數(shù)有限時(shí)，本來(lái)很好的學(xué)習(xí)機(jī)器卻表現(xiàn)出很差的推廣能力，這種現(xiàn)象被稱(chēng)為過(guò)學(xué)習(xí)現(xiàn)象 為了解決這類(lèi)問(wèn)題，許多學(xué)者進(jìn)行了堅(jiān)持不懈的研究工作二十世紀(jì)六七十年代，人開(kāi)始建立一種研究有限樣本情形下統(tǒng)計(jì)規(guī)律及學(xué)習(xí)方法性質(zhì)的理論，即統(tǒng)計(jì)學(xué)習(xí)理論 (2它為有限樣本的機(jī)器學(xué)習(xí)問(wèn)題建立了一個(gè)良好的理論框架，較好地解決了小樣本、非線(xiàn)性、高維數(shù)和局部極小點(diǎn)等實(shí)際問(wèn)題隨著其理論的不斷發(fā)展和成熟，也由于神經(jīng)網(wǎng)絡(luò)等 學(xué)習(xí)有法在理論上缺乏實(shí)質(zhì)性進(jìn)展，統(tǒng)同濟(jì)大學(xué) 碩士學(xué)位論文 基于支持向量機(jī)的多分類(lèi)算法改進(jìn)與應(yīng)用 2 計(jì)學(xué)習(xí)理論開(kāi)始受到越來(lái)越廣泛的重視直到 1995 年， 他的合作者們明確提出一種新的通用學(xué)習(xí)方法一支持向量機(jī) ( 4后，該理論才受到廣泛的重視并應(yīng)用到不同的領(lǐng)域它基于 理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理(練學(xué)習(xí)機(jī)器，在很大程度上克服了傳統(tǒng)機(jī)器學(xué)習(xí)中的維數(shù)災(zāi)難以及局部極小等問(wèn)題 2同時(shí)，根據(jù)有限的樣本信息在模型的復(fù)雜性 (即對(duì)特定訓(xùn)練樣本的學(xué)習(xí)精度 ， 學(xué)習(xí)能力（即無(wú)錯(cuò)誤地識(shí)別任意樣本的能力）之間尋求最佳折衷，以期獲得最好的推廣能力 ( 支持向量機(jī)的 發(fā)展歷史與研究現(xiàn)狀 持向量機(jī)的發(fā)展歷史 早在上世紀(jì)六十年代， 開(kāi)始了統(tǒng)計(jì)學(xué)習(xí)理論的研究，于上世紀(jì)六十至七十年代建立了統(tǒng)計(jì)學(xué)習(xí)理論的基本理論框架 1971 年， 1提出 理論 1982 年， 出結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理 1992 年， 1提出最優(yōu)邊界分類(lèi)器 1995 年， 1等人提出支持向量機(jī)概念 1997 年， 紹了基于支持向量機(jī)方法的回歸算法 持向量機(jī)的研究現(xiàn)狀 由于 實(shí)的理論基礎(chǔ)及其在很多領(lǐng)域表現(xiàn)出的良好性能，國(guó)內(nèi)外正廣泛開(kāi)展對(duì) 研究目前對(duì) 研究主要包括： 支持向量機(jī)的變形： 為了使支持向量機(jī)在解決某些實(shí)際問(wèn)題時(shí)具有更優(yōu)良的特性，學(xué)者們對(duì)二次規(guī)劃的目標(biāo)函數(shù)進(jìn)行適當(dāng)修改，從而構(gòu)造出一些具有新的性質(zhì)的支持向量機(jī)，如 :支持向量機(jī) (19，最小二乘支持向量機(jī) (20，加權(quán)文持向量機(jī) (21和模糊支持向量機(jī) (22,23 訓(xùn)練算法的改進(jìn)： 針對(duì) 練速度慢和時(shí)間空間復(fù)雜度大的問(wèn)題，目前常見(jiàn)的支持向量機(jī)訓(xùn)練算法有： 人在 1992 年提出的選塊算法 (5= 1997 年提出的分解算法 16,17； 1998 年提出的序貫最小優(yōu)化 (法 18； 第 1 章 緒論 3 利用 決多類(lèi)分類(lèi)問(wèn)題： 由于 針對(duì)兩分類(lèi)問(wèn)題提出的，因此存在一個(gè)如何將其推廣到多分類(lèi)上的問(wèn)題目前對(duì)于多類(lèi)問(wèn)題， 算法主要有：“一對(duì)多”多分類(lèi)方法 24 25，“一對(duì)一”多分類(lèi)方法 25二叉樹(shù)多分類(lèi)方法 27,28和一次性求解方法 29 持向量機(jī)的應(yīng)用 支持向量機(jī)出色的學(xué)習(xí)性能，使該技術(shù)已經(jīng)成為機(jī)器學(xué)習(xí)界的研究熱點(diǎn)，并在很多領(lǐng)域中得到了成功的應(yīng) 用國(guó)內(nèi)外學(xué)者的積極研究極大地推進(jìn)了支持向量機(jī)在各領(lǐng)域應(yīng)用的快速發(fā)展如：手寫(xiě)漢字識(shí)別 6， 7、人膾識(shí)別和人臉檢測(cè) 8網(wǎng)絡(luò)入侵檢測(cè) 9、文本分類(lèi) 10、語(yǔ)音識(shí)別 11、信號(hào)處理 12、圖像分類(lèi)與識(shí)別 13、三維地形處理 14、醫(yī)療診斷 15等眾多研究領(lǐng)域 同濟(jì)大學(xué) 碩士學(xué)位 論文 基于支持向量機(jī)的多分類(lèi)算法改進(jìn)與應(yīng)用 4 論文的研究?jī)?nèi)容 和組織結(jié)構(gòu) 文研究?jī)?nèi)容 法擁有完備的數(shù)學(xué)理論基礎(chǔ)，是一種在高維空間 用于 表示復(fù)雜的函數(shù)依賴(lài)關(guān)系的高效通用手段和其他同類(lèi)方法相比， 有全局優(yōu)化、適應(yīng)性強(qiáng)、理論完備、泛化性能好等優(yōu)點(diǎn)自 20 世紀(jì) 90 年代初對(duì) 研究取得突破性進(jìn)展后， 們 研究的熱點(diǎn)但是 持向量模式分類(lèi)方法最初是針對(duì)二類(lèi)別的分類(lèi)而提出的，如何將 效地推廣到多類(lèi)別分類(lèi) ， 仍然是當(dāng)前支持向量機(jī)研究的一個(gè)重要 課題 本文將針對(duì)此問(wèn)題，對(duì)支持向量機(jī)多類(lèi)分類(lèi)方法進(jìn)行探討，其中包括： 1討論了現(xiàn)有的支持向量機(jī)多分類(lèi)方法 2針對(duì)支持向量機(jī)方法構(gòu)建分類(lèi)超平面時(shí)所用的支持向量的空間分布特點(diǎn)結(jié)合模糊隸屬度和“一對(duì)一”方法的不足，提出了一種改進(jìn)的多分類(lèi)方法 3用常用的訓(xùn)練數(shù)據(jù)集對(duì)本文提出的改進(jìn)的多分類(lèi)方法進(jìn)行了測(cè)試， 并與其他方法的測(cè)試結(jié)果進(jìn)行了對(duì)比，最后對(duì)結(jié)果進(jìn)行了分析試驗(yàn)表明：本文提出的改進(jìn)的多分類(lèi)方法能夠明顯地提高支持向量機(jī)的多分類(lèi)性能 文的組織結(jié)構(gòu) 第一章緒論主要介紹了機(jī)器學(xué)習(xí)的發(fā)展歷程、基本問(wèn)題 及 主要理論成果闡述了基于統(tǒng)計(jì)學(xué)習(xí)理論的支持向量機(jī)的產(chǎn)生、主要研究?jī)?nèi)容和國(guó)內(nèi)外研究現(xiàn)狀 第二章機(jī)器學(xué)習(xí)與統(tǒng)計(jì)學(xué)習(xí)理論概述對(duì)支持向量機(jī)的應(yīng)用背景 、機(jī)器學(xué)習(xí) 及它的理論基礎(chǔ)統(tǒng)計(jì)學(xué)習(xí)理論進(jìn)行了簡(jiǎn)要介紹 第三章支持向量機(jī) 基本方法 詳細(xì)地介紹了支持向量機(jī)的理論，并對(duì)支持向量機(jī)算法進(jìn)行了詳細(xì)的推導(dǎo)對(duì)核函數(shù)理論 、參數(shù)選擇以及支持向量機(jī)的訓(xùn)練算法等熱點(diǎn)問(wèn)題進(jìn)行了討論 第四章基于支持向量機(jī)的多分類(lèi)方法 改進(jìn) 對(duì)幾種常用的支持向量機(jī)多分類(lèi)方法進(jìn)行了分析與總結(jié)，討論了各種方法的優(yōu)缺點(diǎn)針對(duì)構(gòu)建分類(lèi)超平面的支持向量的空間分布特點(diǎn)結(jié)合模糊隸屬度和“一對(duì)一”多分類(lèi)方法所存在的弊端，提出了一種改進(jìn)的多分類(lèi)方法，并通過(guò)仿真試驗(yàn)驗(yàn)證了改進(jìn)方法的有效性 第五章支持向量機(jī)的多分類(lèi)算法應(yīng)用 對(duì)于孤立性肺結(jié)節(jié)診斷，對(duì)比原有診斷方法，采用改進(jìn)的多分類(lèi)方法進(jìn)行分析診斷，能極大的提高工作效率 第 六 章為結(jié)論與展望首先對(duì)整個(gè)論文的研究工作進(jìn)行系 統(tǒng)總結(jié)，對(duì)將來(lái)的研究方向和內(nèi)容進(jìn)行展望第 2 章 機(jī)器學(xué)習(xí)與統(tǒng)計(jì)學(xué)習(xí)理論概述 5 第 2章 機(jī)器學(xué)習(xí)與統(tǒng)計(jì)學(xué)習(xí)理論概述 20 世紀(jì) 90 年代中期， 人在統(tǒng)計(jì)學(xué)習(xí)理論、 理論、結(jié)構(gòu)風(fēng)險(xiǎn)最小化理論、核函數(shù)理論的基礎(chǔ)上研究提出來(lái)的一種最新的機(jī)器學(xué)習(xí)算法，它在很多領(lǐng)域都表現(xiàn)出優(yōu)于現(xiàn)有學(xué)習(xí)算法的性能從分類(lèi)的角度來(lái)講， 是在 性感知機(jī) 30的基礎(chǔ)上，通過(guò)引入結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理、核函數(shù)理論、最優(yōu)化理論演變而成的 本章簡(jiǎn)要地介紹了機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)習(xí)理論 器學(xué)習(xí)的基本問(wèn)題 器學(xué)習(xí)的發(fā)展歷史 機(jī)器學(xué)習(xí)問(wèn)題的研究歷史可以分為四個(gè)階段 2 第一階段：第一個(gè)學(xué)習(xí)機(jī)器的創(chuàng)立 感知器 (20 世紀(jì) 60 年代 ) F 出了第一個(gè)學(xué)習(xí)機(jī)器的模型，稱(chēng)之為感知器 30這標(biāo)志著人們對(duì)學(xué)習(xí)過(guò)程進(jìn)行數(shù)學(xué)研究的真正開(kāi)始這個(gè)階段的研究工作導(dǎo)致了模式識(shí)別這個(gè)新學(xué)科的誕生，同時(shí)還形成了機(jī)器學(xué)習(xí)的一種重要方法判別函數(shù)法 第二階段：學(xué)習(xí)理論基礎(chǔ)的創(chuàng)立 (20 世紀(jì) 60 年代 70 年代 )在這段時(shí)間內(nèi)理論分析學(xué)派完 成了模式識(shí)別學(xué)習(xí)理論和經(jīng)驗(yàn)風(fēng) 險(xiǎn)最小化歸納 和 推理的分析 第三階段：神經(jīng)網(wǎng) 絡(luò)的創(chuàng)立 (20 世紀(jì) 80 年代 ) 1986 年，研究者提出了同時(shí)構(gòu)造感知器 神經(jīng)元 向量系數(shù)的方法，即后向傳 播的方法這一方法的思想是很簡(jiǎn)單的，在修改的模型中，新的神經(jīng)元 合成是一個(gè)連續(xù)函數(shù)，利用計(jì)算神經(jīng)元的系統(tǒng)梯度，人們可以應(yīng)用 于 任何基于梯度的方法來(lái)構(gòu)造對(duì)期望函數(shù)的逼近后向傳播技術(shù)的提出是感知器的一次飛躍，這時(shí)的感知器也被 人們 稱(chēng)為神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)在很多實(shí)際應(yīng)用中也取得了 非常 好的效果然而，所得到的理論成果并沒(méi)有對(duì)一般的學(xué)習(xí)理論帶來(lái)很 大的貢獻(xiàn)在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中，并沒(méi)有發(fā)現(xiàn)新的有意義的現(xiàn)象 第四階段：統(tǒng)計(jì)學(xué)習(xí)理論 (20 世紀(jì) 90 年代 )由于神經(jīng)網(wǎng)絡(luò)等現(xiàn)有的機(jī)器學(xué)習(xí)方法的共同理論基礎(chǔ)之一是傳統(tǒng)統(tǒng)計(jì)學(xué)，傳統(tǒng)統(tǒng)計(jì)學(xué) 所 研究的是樣本數(shù)目趨于無(wú)限大時(shí)的漸進(jìn)理論但在實(shí)際問(wèn)題中，樣本數(shù)往往是有限的，與傳統(tǒng) 的 統(tǒng)計(jì)學(xué)相比，統(tǒng)計(jì)學(xué)習(xí)理論 ( 一種專(zhuān)門(mén)研究小樣本情第 2 章 機(jī)器學(xué)習(xí)與統(tǒng)計(jì)學(xué)習(xí)理論概述 6 況下機(jī)器學(xué)習(xí)規(guī)律的理論該理論針對(duì)小樣本統(tǒng)計(jì) 的 問(wèn)題建立了一套新的理論體系，在這種體系下的統(tǒng)計(jì)推理規(guī)則不僅考慮了對(duì)漸近性能的要求，而且追求在現(xiàn)有有限信息的條件下得到最優(yōu)緒果 V 人從六、七十年代開(kāi)始致力于統(tǒng)計(jì) 學(xué)習(xí)理論 ( 研究，到九十年代中期，隨著其理論的不斷發(fā)展和成熟，也由于神經(jīng)網(wǎng)絡(luò)等學(xué)習(xí)方法在理論上缺乏實(shí)質(zhì)性進(jìn)展，統(tǒng)計(jì)學(xué)習(xí)理論開(kāi)始受到越來(lái)越廣泛的重視 器學(xué)習(xí)問(wèn)題的表述 機(jī)器學(xué)習(xí)的目的是根據(jù)給定的訓(xùn)練樣本，估計(jì)系統(tǒng)輸入與輸出之間 的 依賴(lài)關(guān)系，使 它 能夠盡可能準(zhǔn)確地預(yù)測(cè) 出 系統(tǒng)的未來(lái)輸出系統(tǒng)是研究的對(duì)象，它在給定的輸入 X 下得到輸出 Y在訓(xùn)練過(guò)程中，輸入與輸出組成訓(xùn)練樣本（ X， Y），提供給學(xué)習(xí)機(jī)器在測(cè)試過(guò)程中，訓(xùn)練后的學(xué)習(xí)機(jī)器對(duì)于輸入 X 給出預(yù)測(cè)輸出 Y。 假定對(duì)于 我們 研究的系統(tǒng)，已知在其輸出 Y 可與輸入 X 之間具有某種未知的依賴(lài)關(guān)系，即存在一個(gè)未知的聯(lián)合分布 F(X， Y)對(duì)該系統(tǒng)的輸入輸出進(jìn)行觀(guān)測(cè)，得到如下獨(dú)立同分布的觀(guān)測(cè)樣本 (， (， (其中 m 表示訓(xùn)練樣本數(shù)， 示 n 維輸入的模式向量， 示系統(tǒng)輸出對(duì)于兩類(lèi)的模式識(shí)別問(wèn)題， 1， 示該模式向量 對(duì)應(yīng)的類(lèi)別而在回歸估計(jì)中， R 表示對(duì)應(yīng)于該向量的實(shí)際值 假定學(xué)習(xí)機(jī)器具有廣義參數(shù) u（ u A，代表所有參數(shù)的集合），則對(duì)于輸入X，學(xué)習(xí)機(jī)器 的預(yù)測(cè)輸出 Y 可以表示為 Y= f(X， u)，則該學(xué)習(xí)機(jī)器的預(yù)測(cè)輸出的期望風(fēng)險(xiǎn)可以表示為， R(u)= ( ( ) ) ( )L Y f X u d F X Y ， ， ， (同濟(jì)大學(xué) 碩士學(xué)位論文 基于支持向量機(jī)的多分類(lèi)算法改進(jìn)與應(yīng)用 7 其中 f(X， u)稱(chēng)為預(yù)測(cè)函數(shù)集， L(Y， f(X， u)表示在輸入 X 下，用學(xué)習(xí)機(jī)器的預(yù)測(cè)輸出 Y 對(duì)系統(tǒng)的實(shí)際輸出可進(jìn)行估計(jì)而造成的損失因此，機(jī)器學(xué)習(xí)問(wèn)題也可以表示為，從一組獨(dú)立 的 同分 式 的觀(guān)測(cè)樣本出發(fā)，通過(guò)最小化風(fēng)險(xiǎn)泛函 R(U)，確定學(xué)習(xí)機(jī)器的廣義參數(shù) u 的過(guò)程 學(xué)習(xí)問(wèn)題 的形式化表述涉及面很廣，它包括了很多特殊的問(wèn)題最基本的機(jī)器學(xué)習(xí)問(wèn)題有三類(lèi)：模式識(shí)別（分類(lèi)）、函數(shù)逼近（回歸估計(jì)）和概率密度估 計(jì) 1模式識(shí)別問(wèn)題 模式識(shí)別即分類(lèi)問(wèn)題，系統(tǒng)的輸出為類(lèi)別標(biāo)號(hào)在兩類(lèi)情況下，令訓(xùn)練樣本中輸出 Y 只取兩種值 Y=+1， 并令 f(X， u)， u A 為指示函數(shù)集，考慮損失函數(shù)：當(dāng) Y=f(X， u)時(shí)， L(Y， f(X， u)=1； 當(dāng) Y f(X， u)時(shí)， L(Y， f(X， u)=上述損失函數(shù)，式 (泛函確定了訓(xùn)練器和指示函數(shù) f(X， u)所給出的值不同的概率通常把指 示函數(shù)給出的值與訓(xùn)練器輸出不同的情況叫做分類(lèi)誤差因此，對(duì)模式識(shí)別問(wèn)題來(lái)說(shuō)，學(xué)習(xí)問(wèn)題就是在概率測(cè)度 F(X， u)未知，但訓(xùn)練樣本集已知的情況下，尋找使分類(lèi)誤差的概率最小的函數(shù) 2回歸函數(shù)估計(jì)問(wèn)題 回歸函數(shù)估計(jì)問(wèn)題即函數(shù)逼近 的 問(wèn)題，訓(xùn)練器的輸出 Y 為實(shí)數(shù)值，并令 f(X，u)， u A 為實(shí)函數(shù)集合回歸函數(shù)就是在損失函數(shù) L(Y， f(X， u)=(Y- f(X， u)2下使風(fēng)險(xiǎn)泛函最小的函數(shù)這樣，回歸估計(jì)的問(wèn)題就是在 概 率 檢 測(cè)度 F(X， u)未知，但訓(xùn)練樣本集已知 的情況下，尋找使得風(fēng)險(xiǎn)泛函最小 密度 的 函數(shù) 3概率密 度估計(jì)問(wèn)題 概率密度估計(jì)問(wèn)題 ， 就是從密度函數(shù)集 p(X， u)， u A 中估計(jì)密度函數(shù)的問(wèn)題考慮損失函數(shù) L(Y， f(X， u)=， u)，待求的密度函數(shù)就是在損失函數(shù)下使風(fēng)險(xiǎn)泛函最小化因此從訓(xùn)練樣 本集估計(jì)密度函數(shù)的問(wèn)題就是，在相應(yīng)的概率測(cè)度 F(X)未知，但給出了獨(dú)立同分布數(shù)據(jù)的情況下使風(fēng)險(xiǎn)泛函最小化 計(jì)學(xué)習(xí)理論的基本內(nèi)容 統(tǒng)計(jì)學(xué)習(xí)理論針對(duì)小樣本統(tǒng)計(jì)問(wèn)題 ， 建立了一套新的理論體系，在這種體系下的統(tǒng)計(jì)推理規(guī)則不僅考慮對(duì)漸近性能的要求，而且追求在現(xiàn)有 的 有限信息的條件下得到最優(yōu)結(jié)果統(tǒng)計(jì)學(xué)習(xí)理論主要內(nèi)容包 括 ： 經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則下統(tǒng)計(jì)學(xué)習(xí)一致性 ( 條件、在這些條件下關(guān)于統(tǒng)計(jì)學(xué)習(xí)方法推廣性的界的結(jié)論、在這些界的基礎(chǔ)上建立的小樣本歸納推理準(zhǔn)則以及實(shí)現(xiàn)新的準(zhǔn)則的實(shí)際方法（算法） 第 2 章 機(jī)器學(xué)習(xí)與統(tǒng)計(jì)學(xué)習(xí)理論概述 8 學(xué)習(xí)一致性條件 所謂學(xué)習(xí)一致性是指 ： 當(dāng)訓(xùn)練樣本數(shù)趨于無(wú)窮大時(shí)，經(jīng)驗(yàn)風(fēng)險(xiǎn)的最優(yōu)值能收斂到真實(shí)風(fēng)險(xiǎn)的最優(yōu)值對(duì)于有界的損失函數(shù)，學(xué)習(xí)過(guò)程一致性充分必要條件是經(jīng)驗(yàn)風(fēng)險(xiǎn)在以下意義上一致收斂于真實(shí)風(fēng)險(xiǎn)，經(jīng)驗(yàn)風(fēng)險(xiǎn)和期望風(fēng)險(xiǎn)都是預(yù)測(cè)函數(shù)的函數(shù)，通過(guò)求使經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化的函數(shù)來(lái)逼近能夠使期望風(fēng)險(xiǎn)最小化的函數(shù)統(tǒng)計(jì)學(xué)習(xí)理論定義了一 些指標(biāo)來(lái)衡量函數(shù)的住能，其中最重要的是 ( (統(tǒng)計(jì)學(xué)習(xí)理論中 一個(gè)重要的概念模式識(shí)別方法中對(duì) 的定義為：對(duì)一個(gè)指數(shù)函數(shù)集，如果存在 h 個(gè)樣本能夠被函數(shù)集里的函數(shù)按照所有可能的 2h 中形式分開(kāi)，則稱(chēng)函數(shù)集能夠把 h 個(gè)樣本打散函數(shù)集的 就是它能夠打散的最大樣本數(shù)目 h若對(duì)于任意數(shù)目的樣本都有函數(shù)能將它們打散，則函數(shù)集的 是無(wú)窮大 簡(jiǎn)而言之， 它描述了 組成學(xué)習(xí)模型的函數(shù)集合的容量，也就是說(shuō)刻畫(huà)了此函數(shù)集合的學(xué)習(xí)能力 31 越大，函數(shù)集合越大，其相應(yīng)的學(xué)習(xí)能力就越強(qiáng)例如對(duì)于二類(lèi)分類(lèi)問(wèn)題，對(duì)于 每個(gè)可能的劃分，在此函數(shù)集合中均存在一個(gè)函數(shù) 使得此函數(shù)對(duì)其中一個(gè)類(lèi)取 +l，而對(duì)另外一個(gè)類(lèi)取 推廣性的界理論 對(duì)于一個(gè)學(xué)習(xí)機(jī)器，我們關(guān)心的是該學(xué)習(xí)機(jī)器對(duì)訓(xùn)練樣本之外的樣本數(shù)據(jù)的處理能力，即學(xué)習(xí)機(jī)的推廣性統(tǒng)計(jì)學(xué)習(xí)理論系統(tǒng)地研究了對(duì)于不同類(lèi)型的函數(shù)同濟(jì)大學(xué) 碩士學(xué)位論文 基于支持向量機(jī)的多分類(lèi)算法改進(jìn)與應(yīng)用 9 集，其經(jīng)驗(yàn)風(fēng)險(xiǎn)和實(shí)際風(fēng)險(xiǎn)之間的關(guān) 系，即推廣性的界，它 也 是分析學(xué)習(xí)機(jī)器性能 及 發(fā)展新的學(xué)習(xí)算法的重要基礎(chǔ)推廣 能力界的結(jié)論從理論上說(shuō)明了學(xué)習(xí)機(jī)器的實(shí)際風(fēng)險(xiǎn)是由兩部分組成的，即： 實(shí)際風(fēng)險(xiǎn) =經(jīng)驗(yàn)風(fēng)險(xiǎn)（訓(xùn)練誤差） +置信范圍， 置信范圍和學(xué)習(xí)機(jī)器的 h 及訓(xùn)練樣本 n 有關(guān)， 隨 n/h 變化趨勢(shì)如圖 對(duì)于一個(gè)特定的問(wèn)題，其樣本數(shù) n 是固定的，此時(shí)學(xué)習(xí)機(jī)器（分類(lèi)器）的越高（即復(fù)雜性越高），則置信范圍就越大， 從而 導(dǎo)致實(shí)際風(fēng)險(xiǎn)與經(jīng)驗(yàn)風(fēng)險(xiǎn)之間可能的差就越大因此，在設(shè)計(jì)分類(lèi)器時(shí)，我們不但要 要 使經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化，還要使 盡量小，從而縮小 了 置信范圍，使期望風(fēng)險(xiǎn)最小神經(jīng)網(wǎng)絡(luò)等方法之所以會(huì)出現(xiàn) “ 過(guò)學(xué)習(xí)現(xiàn)象 ” ，就是 因?yàn)樵谟邢迾颖镜那闆r下，如果網(wǎng)絡(luò)或算法設(shè)計(jì)不合理，就會(huì)導(dǎo)致雖然經(jīng)驗(yàn)風(fēng)險(xiǎn)較小，但置信范圍會(huì)很大，導(dǎo)致推廣能力下降，這 也 就是為什么在一般情況下選用過(guò)于復(fù)雜的分類(lèi)器或神經(jīng)網(wǎng)絡(luò)往往得不到好的推廣效果的原因 結(jié)構(gòu)風(fēng) 險(xiǎn)最小化原則 傳統(tǒng)機(jī)器學(xué)習(xí)方法中普遍采用經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則，由上面的結(jié)論可知在有限數(shù)據(jù)樣本時(shí)只 有 最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)是不合理的因?yàn)榻?jīng)驗(yàn)風(fēng)險(xiǎn)和置信范圍需要 我們 同時(shí)最小化，才能得到最小的實(shí)際風(fēng)險(xiǎn) R(u)實(shí)際上，在傳統(tǒng)方法中，選擇學(xué)習(xí)模型和算法的過(guò)程就是調(diào)整和優(yōu)化置信范圍的過(guò)程，如果 選擇的模型比較適合現(xiàn)有的訓(xùn)練 樣本（相當(dāng)于 h n 值適當(dāng)），則 我們 可以取得較好的效果譬如 ： 應(yīng)用神經(jīng)網(wǎng)絡(luò)時(shí)，需要根據(jù)實(shí)際問(wèn)題和樣本的具體情況來(lái)選擇不同的網(wǎng)絡(luò)結(jié)構(gòu)（對(duì)應(yīng)有不同的 ），然后 我們 再進(jìn)行經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化為解決經(jīng)驗(yàn)風(fēng)險(xiǎn)和置信第 2 章 機(jī)器學(xué)習(xí)與統(tǒng)計(jì)學(xué)習(xí)理論概述 10 范圍這兩項(xiàng)最小化風(fēng)險(xiǎn)泛函問(wèn)題，統(tǒng)計(jì)學(xué)習(xí)理論提出一種新的策略：結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則 (簡(jiǎn)稱(chēng) 則統(tǒng)計(jì)學(xué)習(xí)理論同時(shí)還給出了合理的函數(shù)子集結(jié)構(gòu)應(yīng)滿(mǎn)足的條件及在 則下實(shí)際風(fēng)險(xiǎn)的收斂性質(zhì)2 設(shè)給定樣本數(shù)目 n，那么隨著 的增加，經(jīng)驗(yàn)風(fēng)險(xiǎn) 會(huì) 逐漸 變小，而置信范圍 會(huì) 逐漸遞增真實(shí)風(fēng)險(xiǎn)的界是經(jīng)驗(yàn)風(fēng)險(xiǎn)和置信范圍之和，隨著結(jié)構(gòu)元素序號(hào)的增加，經(jīng)驗(yàn)風(fēng)險(xiǎn)將 逐漸 減小，而置信范圍將 逐漸 增加最小的真實(shí)風(fēng)險(xiǎn)的上界是在結(jié)構(gòu)的某個(gè)適當(dāng)?shù)脑厣先〉玫木C合考慮經(jīng)驗(yàn)風(fēng)險(xiǎn)與置信區(qū)的變化， 我們 可以求得最小的風(fēng)險(xiǎn)邊界，它所對(duì)應(yīng)的函數(shù)集的中間子集 以作為具有最佳泛化能力的函數(shù)集合 實(shí)現(xiàn) 可以有兩種思路， 是在每個(gè)子集中求 得 最小經(jīng)驗(yàn)風(fēng)險(xiǎn)，然后選擇使最小經(jīng)驗(yàn)風(fēng)險(xiǎn)和置信范圍之和最小的子集顯然這種方法比較費(fèi)時(shí) 費(fèi)力 ，當(dāng)子集數(shù)目很大甚至是無(wú)窮時(shí)是 該方法 不可行的第二種思路，即設(shè) 計(jì)函數(shù)集的某 個(gè) 結(jié)構(gòu)使每個(gè)子集中都能取得最小的經(jīng)驗(yàn)風(fēng)險(xiǎn)（如使訓(xùn)練誤差為 0），然后只需選擇適當(dāng)?shù)淖蛹怪眯欧秶?達(dá)到 最小，則這個(gè)子集中使經(jīng)驗(yàn)風(fēng)險(xiǎn)最小的函數(shù)就是最優(yōu)函數(shù)支持向量機(jī)方法實(shí)際上就是這種思想的具體實(shí)現(xiàn) 過(guò)程 第 3 章 支持向量機(jī)基本方法 11 第 3 章 支持向量機(jī) 基本方法 支持向量機(jī)的理論最初來(lái)自于對(duì)數(shù)據(jù)分類(lèi)問(wèn)題的處理對(duì)于線(xiàn)性可分?jǐn)?shù)據(jù)的二值分類(lèi)，如果采用神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)，其機(jī)理可以簡(jiǎn)單描述為：系統(tǒng)隨機(jī)地產(chǎn)生一個(gè)超平面并 且 移動(dòng)它，直到訓(xùn)練集合中屬于不同類(lèi)別的點(diǎn)正好位于該超平面的不同側(cè)面，就完成了對(duì) 整個(gè) 網(wǎng)絡(luò)的設(shè)計(jì)要求但是這種機(jī)理決定了 我們不 能保證最終所獲得的分割平面位于兩個(gè)類(lèi)別的中心，這對(duì)于分類(lèi)問(wèn)題的容錯(cuò)性是 非常 不利的保證最終所獲得的平面位于兩個(gè)類(lèi)別的中心對(duì)于分類(lèi)問(wèn)題的實(shí)際應(yīng)用是很重要的支持向量機(jī)方法很巧妙地解決了這一問(wèn)題 31,33， 34該方法的機(jī)理可以簡(jiǎn)單描述為：尋找一個(gè)滿(mǎn)足分類(lèi)要求的最優(yōu)分類(lèi)超平面，使得超平面在保證分類(lèi)精度的同時(shí)，能夠使超平面兩側(cè)的空白區(qū)域最大化理論上來(lái)說(shuō)，支持向量機(jī)能夠?qū)崿F(xiàn)對(duì)線(xiàn)性可分?jǐn)?shù)據(jù)的最優(yōu)分類(lèi)為了進(jìn)一步解決非線(xiàn)性問(wèn)題，人通過(guò)引入核映射方法將低維空間中的非線(xiàn)性問(wèn)題轉(zhuǎn)化為高維空間的線(xiàn)性可分問(wèn)題來(lái) 解決 持向量機(jī)基本方法 線(xiàn)性支持向量機(jī) 給定訓(xùn)練樣本集 ( i=1， 2， N）， +1， 它們從萊一確定但未知分布 p(x， y)中隨機(jī)獨(dú)立抽取 一、線(xiàn)性可分情形 我們 假設(shè) +1 類(lèi)與 可用超平面完全正確分離，當(dāng)然這樣的分離超平面可能有許多 種 ，那么 我們 如何選擇一個(gè)較好的超平面作為分類(lèi)判決面，使得它的推廣能力即對(duì)新樣本的正確分類(lèi)能力高呢？線(xiàn)性支持向量機(jī)就是把具有最大分類(lèi)面間距的分離超平面作為它的解，其中分類(lèi)面間距的定義如下 定義 1 設(shè)分離超平面 T+b=0 把樣本集 ( i=1， 2， N）正確分離，即 或統(tǒng)一寫(xiě)成 1 ， i=1， 2， N， 1111第 3 章 支持向量機(jī)基本方法 12 則該分離超平面的分類(lèi)面間距定義為 分類(lèi)面間距 =d+ + 其中 該定義表明，一個(gè)分離超平面的分類(lèi)面間距實(shí)際上就是兩類(lèi)樣本點(diǎn)到該平面的最短距離之和當(dāng)存在點(diǎn)使得 1 ， d+ +=1/ | 即 分類(lèi)面間距 =2/ | 。 顯然，從直觀(guān)上也可以看出當(dāng)分離超平面的分類(lèi)面間距越大，它對(duì)新樣本的正確分類(lèi)能力也越高 。 見(jiàn)圖 義 1 對(duì)于給定的訓(xùn)練樣本集，它的具有最大分類(lèi)面間距的分離超平面稱(chēng)為最優(yōu)分離超平面 線(xiàn)性 是要求最優(yōu)分離超平面，即求 0 其中 是以下凸二次規(guī)劃 (解： |/)(m in d 1: bx i |/)(m in d 1: bx i 同濟(jì)大學(xué) 碩士學(xué)位論文 基于支持向量機(jī)的多分類(lèi)算法改進(jìn)與應(yīng)用 13 引入拉格朗日函數(shù) 以上三式再加上原約束條件就構(gòu)成式 ( 件，由于式 (凸二次規(guī)劃，所以它們也是式 (解的充分必要條件把它們代入 L( ， b，a I)中并消去 ，得到式 (對(duì)偶規(guī)劃式 （ 設(shè) a*是式 (解，則 得的最優(yōu)分離超平面是 ： 其中 0)( * bx 而 b 可由約束條件 第 3 章 支持向量機(jī)基本方法 14 確定，若 a* 0，則 求得 二、非線(xiàn)性可分情形 此時(shí)兩類(lèi)樣本點(diǎn)非線(xiàn)性可分，即一個(gè)超平面不能把它們完全分開(kāi)，但幾乎線(xiàn)性可分，即只有少數(shù)點(diǎn)被錯(cuò)分，所以仍舊用一個(gè)超平面作為分界面引入松弛變量 使超平面 0 滿(mǎn)足 樣本 能被錯(cuò)分，所以是被錯(cuò)分樣本數(shù)的一個(gè)上界 如圖 示，圖中兩條虛線(xiàn)的方程為 1 ，中間的實(shí)線(xiàn)就是分界線(xiàn) 0 雖然每類(lèi)有兩個(gè)點(diǎn)落在兩虛線(xiàn) 之間，但它們沒(méi)有越過(guò)分界線(xiàn)，即滿(mǎn)足 0l因此式 (值大于錯(cuò)分樣本數(shù) 4，即式 ( 我們 引入以下目標(biāo)函數(shù) 其中 C 是一個(gè)正常 數(shù)，可以稱(chēng)為懲罰因子，如果 C 很大，說(shuō)明對(duì)于錯(cuò)分的懲罰大此時(shí) 過(guò)求解以下二次規(guī)劃式 (實(shí)現(xiàn) 非線(xiàn)性支持向量機(jī)與核函數(shù) 上一節(jié)我們討論了最簡(jiǎn)單 的線(xiàn)性支持向量機(jī)，即在原空間直接建立一個(gè)超平面作為分界面，顯然這樣 只有在給定樣本集線(xiàn)性或幾乎線(xiàn)性可分時(shí)才能得到較好的結(jié)果而實(shí)際上許多分類(lèi)問(wèn)題 要 復(fù)雜 很多 ，用簡(jiǎn)單的超平面無(wú)法達(dá)到分類(lèi)的目的， 我們 必須以復(fù)雜的超曲面作為分界面我們這一節(jié)將要討論的非線(xiàn)性支持向量機(jī)就是通過(guò)在另一個(gè)更高維的空間用前面的方法建立一個(gè)分類(lèi)超平面，從面在原空間建立一個(gè)分類(lèi)超 曲面 首先引入一個(gè)非線(xiàn)性映射， HR d : 把數(shù)據(jù)從原空間 射到更高維的特征空間 H，使得數(shù)據(jù)在 H 上是線(xiàn)性或幾乎線(xiàn)性可分，如圖 3 章 支持向量機(jī)基本方法 16 例 原空間 2R 中有兩類(lèi)數(shù)據(jù)點(diǎn)以圓周 9)2()1( 2221 分界面，引入映射 42: 則在 2R 中的圓周分界面變?yōu)?H 中的超平面： 4424321 的樣本集 ( i=1， 2， N） 映射到特征空間 H 上的新樣本集，對(duì)該新樣本集利用線(xiàn)性 H 上建立一個(gè)超平面，我們不需要重新推導(dǎo)。 所以非線(xiàn)性 H 上建立了如下超平面，亦即在原空間 建立一個(gè)超平面 0)( 其中 而 ),2,1( 是以下二次規(guī)劃的解 分類(lèi)判決函數(shù) 從上面的公式中 看出西 (x) 總是以?xún)?nèi)積的形式出現(xiàn)，所以在計(jì)算時(shí)可以把它們作整體處理，這樣在整個(gè)計(jì)算過(guò)程中，只需在原空間上計(jì)算而根本不用在同濟(jì)大學(xué) 碩士學(xué)位論文 基于支持向量機(jī)的多分類(lèi)算法改進(jìn)與應(yīng)用 17 特征空間上進(jìn)行任何計(jì)算實(shí)際上我們也不必去考慮映射西是如何構(gòu)造的，而只要找一個(gè)核函數(shù) k（ x， y）使得它可以寫(xiě)成同一個(gè)函數(shù)的內(nèi)積形式 定理 若對(duì)稱(chēng)核函數(shù) k(x， y)滿(mǎn)足 其中 z(x)為任意滿(mǎn)足 的函數(shù)，則 k(x，可 )可以寫(xiě)成內(nèi)積形式 下面列出幾種常用的核函數(shù)， (1)p 階多項(xiàng)式核函數(shù)： (2)徑向基核函數(shù)： (3) 函數(shù)： 持向量 對(duì)式 (最優(yōu)化求解得到的拉格朗日乘子 取值可能是：(1) 0i(2) 0i C， (3) i C 當(dāng)i是后兩種取值時(shí)，所對(duì)應(yīng)的 為支持向量也即是說(shuō)，支持向量是那些定義最優(yōu) 分類(lèi)超平面的訓(xùn)練樣本，也是那些最難被分類(lèi)的模式由式 (知，只有那些是支持向量的樣本才對(duì)最優(yōu)分類(lèi)超平面和決策函數(shù)有貢獻(xiàn) 回歸支持向量機(jī) 支持向量機(jī)最初是為 了 分類(lèi)問(wèn)題而設(shè)計(jì)的，而支持向量機(jī)用在函數(shù)回歸問(wèn)題當(dāng)中時(shí)，也同樣具有很好的性能 32 回歸支持向量機(jī)有線(xiàn)性回歸和非線(xiàn)性回歸，對(duì)于線(xiàn)性回歸，考慮用線(xiàn)性回歸函數(shù) 第 3 章 支持向量機(jī)基本方法 18 擬合數(shù)據(jù) , , 1, 2 , , , ,di i i ix y i N x y 保證回歸函數(shù) (平坦，必須尋找一個(gè)最小的 ，為此，采用最小化歐幾里德空間的泛數(shù)其中， 和 b 分別為性回歸函數(shù)的法向量及偏移量，并假設(shè)所有的訓(xùn)練數(shù)據(jù)在精度 們可以解下面的優(yōu)化問(wèn)題，即 在不能完全滿(mǎn)足 (中約束的情況下，我們可以引入松弛變量i和*i ，