哈工大模式識(shí)別課程期末總結(jié)名師優(yōu)質(zhì)課獲獎(jiǎng)市賽課一等獎(jiǎng)?wù)n件

哈爾濱工業(yè)大學(xué)課程總復(fù)習(xí)第1頁(yè)主要內(nèi)容1.關(guān)于期末考試/考查2.章節(jié)知識(shí)點(diǎn)整理第2頁(yè)21.關(guān)于期末考試/考查第3頁(yè)31.確認(rèn)考試人員名單；2.考試/考查方式學(xué)位課：考試70%+匯報(bào)30%；選修課：匯報(bào)100%（不用考試）。3.匯報(bào)形式(見(jiàn)word文檔)4.考試題目（100分）1．簡(jiǎn)答題（35分）7*5’=35分2．推導(dǎo)題（8分）3．證實(shí)題（8分）4．問(wèn)答題（24分）3*8’=24分5．計(jì)算題（25分）9’+8’+8’=25分（記得要帶尺子，鉛筆，橡皮擦）【關(guān)于期末考試】第4頁(yè)42.章節(jié)知識(shí)點(diǎn)整理第5頁(yè)5哈爾濱工業(yè)大學(xué)第1章模式識(shí)別緒論第6頁(yè)主要內(nèi)容模式識(shí)別基本概念模式識(shí)別系統(tǒng)組成模式識(shí)別基本問(wèn)題應(yīng)用領(lǐng)域小結(jié)第7頁(yè)模式識(shí)別系統(tǒng)組成

第8頁(yè)【模式識(shí)別系統(tǒng)組成】1.信息獲取：經(jīng)過(guò)測(cè)量、采樣、量化并用矩陣或向量表示。通常輸入對(duì)象信息有三個(gè)類(lèi)型：二維圖像（文字、指紋、地圖、照片等）、一維波形（腦電圖、心電圖、機(jī)械震動(dòng)波形等）、物理參量和邏輯值（體檢中溫度、血化驗(yàn)結(jié)果等）2.預(yù)處理：去除噪聲，加強(qiáng)有用信息，并對(duì)輸入測(cè)量?jī)x器或其它原因造成干擾進(jìn)行處理。3.特征提取與選擇：為了實(shí)現(xiàn)有效識(shí)別分類(lèi)，要對(duì)原始數(shù)據(jù)進(jìn)行變換得到最能反應(yīng)分類(lèi)本質(zhì)特征，此過(guò)程為特征提取和選擇。4.分類(lèi)決議：在特征空間中用統(tǒng)計(jì)方法把被識(shí)別對(duì)象歸為某一類(lèi)。基本作法是在樣本訓(xùn)練集基礎(chǔ)上確定某個(gè)判決規(guī)則，使按這種判決規(guī)則對(duì)被識(shí)別對(duì)象進(jìn)行分類(lèi)所造成錯(cuò)誤識(shí)別率最小或引發(fā)損失最小。5.后處理：針對(duì)決議采取對(duì)應(yīng)行動(dòng)。信息獲取預(yù)處理特征提取與選擇分類(lèi)決議后處理模式識(shí)別系統(tǒng)組成框圖第9頁(yè)哈爾濱工業(yè)大學(xué)第2章貝葉斯決議理論第10頁(yè)主要內(nèi)容概率論基礎(chǔ)知識(shí)貝葉斯決議基礎(chǔ)知識(shí)基于最小錯(cuò)誤率貝葉斯決議基于最小風(fēng)險(xiǎn)貝葉斯決議貝葉斯分類(lèi)器設(shè)計(jì)正態(tài)分布時(shí)統(tǒng)計(jì)決議小結(jié)第11頁(yè)貝葉斯決議基礎(chǔ)知識(shí)第12頁(yè)【貝葉斯決議基礎(chǔ)知識(shí)】貝葉斯決議理論先驗(yàn)概率：后驗(yàn)概率：類(lèi)條件概率：貝葉斯公式：第13頁(yè)基于最小錯(cuò)誤率貝葉斯決議第14頁(yè)【基于最小錯(cuò)誤率貝葉斯決議】

（4）第15頁(yè)【基于最小錯(cuò)誤率貝葉斯決議】

第16頁(yè)【基于最小錯(cuò)誤率貝葉斯決議】第17頁(yè)【基于最小風(fēng)險(xiǎn)貝葉斯決議】概念

決議決議空間前面所講錯(cuò)誤率抵達(dá)最小。在一些實(shí)際應(yīng)用中，最小錯(cuò)誤率貝葉斯準(zhǔn)則并不適合。以癌細(xì)胞識(shí)別為例，診療中假如把正常細(xì)胞判為癌癥細(xì)胞，當(dāng)然會(huì)給病人精神造成傷害，但傷害有限；相反地，若把癌癥細(xì)胞誤判為正常細(xì)胞，將會(huì)使早期癌癥患者失去治療最正確時(shí)機(jī)，造成驗(yàn)證后果。第18頁(yè)【基于最小風(fēng)險(xiǎn)貝葉斯決議】數(shù)學(xué)描述

第19頁(yè)【基于最小風(fēng)險(xiǎn)貝葉斯決議】期望風(fēng)險(xiǎn)：條件期望損失：目標(biāo)：期望風(fēng)險(xiǎn)最小化第20頁(yè)【基于最小風(fēng)險(xiǎn)貝葉斯決議】最小風(fēng)險(xiǎn)貝葉斯決議規(guī)則:

第21頁(yè)【基于最小風(fēng)險(xiǎn)貝葉斯決議】算法步驟:

第22頁(yè)【基于最小風(fēng)險(xiǎn)貝葉斯決議】例題2:

第23頁(yè)【基于最小風(fēng)險(xiǎn)貝葉斯決議】第24頁(yè)【基于最小錯(cuò)誤率貝葉斯決議與最小風(fēng)險(xiǎn)貝葉斯決議關(guān)系】定理：0-1風(fēng)險(xiǎn)

第25頁(yè)哈爾濱工業(yè)大學(xué)第3章概率密度函數(shù)預(yù)計(jì)第26頁(yè)主要內(nèi)容

引言參數(shù)預(yù)計(jì)正態(tài)分布參數(shù)預(yù)計(jì)非參數(shù)預(yù)計(jì)本章小結(jié)第27頁(yè)參數(shù)預(yù)計(jì)

第28頁(yè)【參數(shù)預(yù)計(jì)】

最大似然預(yù)計(jì)貝葉斯預(yù)計(jì)貝葉斯學(xué)習(xí)第29頁(yè)【最大似然預(yù)計(jì)】基本假設(shè)第30頁(yè)【最大似然預(yù)計(jì)】基本概念第31頁(yè)【最大似然預(yù)計(jì)】基本原理第32頁(yè)【最大似然預(yù)計(jì)】預(yù)計(jì)量預(yù)計(jì)值第33頁(yè)【最大似然預(yù)計(jì)】一元參數(shù)第34頁(yè)【最大似然預(yù)計(jì)】多元參數(shù)第35頁(yè)【最大似然預(yù)計(jì)】例子（梯度法不適合）：不成功！第36頁(yè)【貝葉斯預(yù)計(jì)】采取最小風(fēng)險(xiǎn)貝葉斯決議第37頁(yè)【貝葉斯預(yù)計(jì)】第38頁(yè)【貝葉斯預(yù)計(jì)】第39頁(yè)【貝葉斯學(xué)習(xí)】第40頁(yè)【三種方法總結(jié)】第41頁(yè)【三種方法總結(jié)】第42頁(yè)哈爾濱工業(yè)大學(xué)第4章線性判別函數(shù)第43頁(yè)主要內(nèi)容線性判別函數(shù)基本概念Fisher線性判別準(zhǔn)則函數(shù)感知準(zhǔn)則函數(shù)最小平方誤差準(zhǔn)則函數(shù)多類(lèi)問(wèn)題第44頁(yè)§4.1.1概念提出【線性判別函數(shù)】定義第45頁(yè)§4.1.1概念提出【線性判別函數(shù)】分類(lèi)決議第46頁(yè)§4.1.1概念提出【線性判別函數(shù)】分析第47頁(yè)§4.1.1概念提出【線性判別函數(shù)】分析說(shuō)明：判別函數(shù)g(x)正比于任意一點(diǎn)x到超平面代數(shù)距離。第48頁(yè)Fisher線性判別準(zhǔn)則函數(shù)第49頁(yè)【Fisher線性判別準(zhǔn)則函數(shù)】概念

應(yīng)用統(tǒng)計(jì)方法處理模式識(shí)別問(wèn)題時(shí)，往往碰到維數(shù)問(wèn)題（舉例：圖像識(shí)別），降維是有效方法。考慮到降d維空間樣本投影到一條直線上，假如投影到任意一條直線上則可能造成原來(lái)有很好區(qū)分度樣本在直線上線性不可分。所以，直線方向很關(guān)鍵。第50頁(yè)【Fisher線性判別準(zhǔn)則函數(shù)】基本思緒Fisher判別基本思想：希望投影后一維數(shù)據(jù)滿(mǎn)足：兩類(lèi)之間距離盡可能遠(yuǎn)；每一類(lèi)本身盡可能緊湊。第51頁(yè)【Fisher線性判別準(zhǔn)則函數(shù)】第52頁(yè)【Fisher線性判別準(zhǔn)則函數(shù)】第53頁(yè)【Fisher線性判別準(zhǔn)則函數(shù)】第54頁(yè)【Fisher線性判別準(zhǔn)則函數(shù)】第55頁(yè)哈爾濱工業(yè)大學(xué)第5章非線性判別函數(shù)第56頁(yè)主要內(nèi)容基本概念基于距離分段線性判別函數(shù)分段線性分類(lèi)器設(shè)計(jì)二次判別函數(shù)程序設(shè)計(jì)方法實(shí)際應(yīng)用系統(tǒng)設(shè)計(jì)研究匯報(bào)第57頁(yè)哈爾濱工業(yè)大學(xué)第6章特征選擇與提取第58頁(yè)主要內(nèi)容1.引言2類(lèi)別可分離性判據(jù)3特征選擇4.特征提取第59頁(yè)哈爾濱工業(yè)大學(xué)第7章近鄰法第60頁(yè)60主要內(nèi)容0.引言1.近鄰法原理及其決議規(guī)則2.快速搜索近鄰法3.剪輯近鄰法4.壓縮近鄰法第61頁(yè)611.近鄰法原理及其決議規(guī)則第62頁(yè)62【基本原理】最小距離分類(lèi)器是將各類(lèi)訓(xùn)練樣本劃分成若干子類(lèi)，并在每個(gè)子類(lèi)中確定代表點(diǎn)，普通用子類(lèi)質(zhì)心或鄰近質(zhì)心某一樣本為代表點(diǎn)。測(cè)試樣本類(lèi)別則以其與這些代表點(diǎn)距離最近作決議。該法缺點(diǎn)是所選擇代表點(diǎn)并不一定能很好地代表各類(lèi),后果將使錯(cuò)誤率增加。近鄰法基本思想：增加代表點(diǎn)數(shù)量有沒(méi)有可能取得性能好分類(lèi)器呢?一個(gè)極端情況是以全部訓(xùn)練樣本作為“代表點(diǎn)”，計(jì)算測(cè)試樣本與這些“代表點(diǎn)”，即全部樣本距離，并以最近鄰者類(lèi)別作為決議。此為近鄰法基本思想。第63頁(yè)63【最近鄰法決議規(guī)則

】若則其中表示是類(lèi)第

個(gè)樣本。決議規(guī)則為:

定義：將與測(cè)試樣本最近鄰樣本類(lèi)別作為決議方法。對(duì)一個(gè)

類(lèi)別問(wèn)題，每類(lèi)有個(gè)樣本，，則第

類(lèi)判別函數(shù)

第64頁(yè)64最近鄰法能夠擴(kuò)展成找測(cè)試樣本個(gè)最近樣本作決議依據(jù)方法。其基本規(guī)則是，在全部個(gè)樣本中找到與測(cè)試樣本

個(gè)最近鄰者；其中各類(lèi)別所占個(gè)數(shù)表示成則決議為：【-近鄰法決議規(guī)則

】注意：

近鄰普通采取為奇數(shù)，跟投票表決一樣，防止因兩種票數(shù)相等而難以決議。

若則第65頁(yè)65【問(wèn)題提出】上述討論中能夠看出，盡管近鄰法有其優(yōu)良品質(zhì)，不過(guò)它一個(gè)嚴(yán)重弱點(diǎn)與問(wèn)題是需要存放全部訓(xùn)練樣本，以及繁重距離計(jì)算量。但以簡(jiǎn)單方式降低樣本數(shù)量，只能使其性能降低，這也是不希望。為此要研究既能降低近鄰法計(jì)算量與存放量，同時(shí)又不顯著降低其性能一些改進(jìn)算法。

改進(jìn)算法大致基于兩種原理。一個(gè)是對(duì)樣本集進(jìn)行組織與整理，分群分層，盡可能將計(jì)算壓縮到在靠近測(cè)試樣本鄰域小范圍內(nèi)，防止與訓(xùn)練樣本集中每個(gè)樣本進(jìn)行距離計(jì)算。另一個(gè)原理則是在原有樣本集中挑選出對(duì)分類(lèi)計(jì)算有效樣本，使樣本總數(shù)合理地降低，以同時(shí)到達(dá)既降低計(jì)算量，又降低存放量雙重效果。第66頁(yè)662.快速搜索近鄰法第67頁(yè)673.剪輯近鄰法第68頁(yè)684.壓縮近鄰法第69頁(yè)69哈爾濱工業(yè)大學(xué)第8章主成份分析(PCA)第70頁(yè)70主要內(nèi)容1.引言2主成份分析(PCA)3基于K-L展開(kāi)式特征提取4.應(yīng)用舉例第71頁(yè)712.主成份分析第72頁(yè)72依據(jù)方差最大化原理，用一組新、線性無(wú)關(guān)且相互正交向量來(lái)表征原來(lái)數(shù)據(jù)矩陣行（或列）。這組新向量（主成份）是原始數(shù)據(jù)向量線性組合。經(jīng)過(guò)對(duì)原始數(shù)據(jù)平移、尺度伸縮(減均值除方差)和坐標(biāo)旋轉(zhuǎn)(特征分解)，得到新坐標(biāo)系(特征向量)后，用原始數(shù)據(jù)在新坐標(biāo)系下投影(點(diǎn)積)來(lái)替換原始變量。一.主成份分析基本原理第73頁(yè)73主成份分析優(yōu)點(diǎn)

★它能找到表現(xiàn)原始數(shù)據(jù)陣最主要變量組合★

經(jīng)過(guò)表示最大方差，能有效地直觀反應(yīng)樣本之間關(guān)系★

能從最大幾個(gè)主成份得分來(lái)近似反應(yīng)原始數(shù)據(jù)陣信息第74頁(yè)74圖像預(yù)處理

【人臉識(shí)別】第75頁(yè)75【人臉識(shí)別】第76頁(yè)76【人臉識(shí)別】第77頁(yè)77【人臉識(shí)別】第78頁(yè)78基于PCA構(gòu)建特征臉空間是對(duì)圖像進(jìn)行K-L變換，以去除樣本間相關(guān)性，然后依據(jù)特征值大小選擇特征向量。這種方法首先將人臉圖像映射為高維空間向量，然后應(yīng)用基于統(tǒng)計(jì)離散K-L變換方法，結(jié)構(gòu)一個(gè)各分量互不相關(guān)特征空間，即特征臉空間，再將人臉圖像在高維空間中向量映射到特征臉空間，得到特征系數(shù)。PCA構(gòu)建特征臉空間第79頁(yè)79哈爾濱工業(yè)大學(xué)第9章人工神經(jīng)網(wǎng)絡(luò)第80頁(yè)主要內(nèi)容1.基礎(chǔ)知識(shí)2.前饋神經(jīng)網(wǎng)絡(luò)3.反饋神經(jīng)網(wǎng)絡(luò)4.自組織映射神經(jīng)網(wǎng)絡(luò)第81頁(yè)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)：從環(huán)境中獲取知識(shí)并改進(jìn)本身性能，主要指調(diào)整網(wǎng)絡(luò)參數(shù)使網(wǎng)絡(luò)到達(dá)某種度量，又稱(chēng)為網(wǎng)絡(luò)訓(xùn)練。學(xué)習(xí)方式：監(jiān)督學(xué)習(xí)非監(jiān)督學(xué)習(xí)再勵(lì)學(xué)習(xí)學(xué)習(xí)規(guī)則：誤差糾正學(xué)習(xí)算法競(jìng)爭(zhēng)學(xué)習(xí)算法第82頁(yè)4.自組織映射自組織映射Self-OrganizingMap亦稱(chēng)SOFM。Kohonen提出（1980s）第83頁(yè)SOM用于非監(jiān)督模式識(shí)別自組織學(xué)習(xí)過(guò)程本身就是一個(gè)非監(jiān)督學(xué)習(xí)過(guò)程SOMA(自組織分析)基本思緒：用未知樣本集訓(xùn)練SOM;計(jì)算象密度圖;依據(jù)象密度圖劃分聚類(lèi)(把結(jié)點(diǎn)代表小聚類(lèi)合并)。特點(diǎn)：對(duì)數(shù)據(jù)分布形狀少依賴(lài)性；可反應(yīng)真實(shí)存在聚類(lèi)數(shù)目，尤其適合人機(jī)合作分析(高維數(shù)據(jù)有效二維顯示)數(shù)學(xué)上待研究問(wèn)題多：象密度與樣本分布密度之間關(guān)系？拓?fù)浔３痔卣?？怎樣在SOM平面上聚類(lèi)？第84頁(yè)哈爾濱工業(yè)大學(xué)第10章無(wú)監(jiān)督學(xué)習(xí)第85頁(yè)主要內(nèi)容1.引言2.單峰子集（類(lèi)）分離方法3.類(lèi)別分離間接方法4.分級(jí)聚類(lèi)方法第86頁(yè)監(jiān)督模式識(shí)別：（已知）樣本集→訓(xùn)練（學(xué)習(xí)）→識(shí)別（分類(lèi)）非監(jiān)督模式識(shí)別：（未知）樣本集→非監(jiān)督學(xué)習(xí)（聚類(lèi)分析）→后處理【引言】經(jīng)過(guò)尋找可能存在分類(lèi)來(lái)了解某一對(duì)象將復(fù)雜多樣對(duì)象用有限經(jīng)典來(lái)代表依據(jù)：某種假設(shè)（對(duì)聚類(lèi)應(yīng)含有性質(zhì)認(rèn)識(shí)）結(jié)果：聚類(lèi)（clusters）屬中間結(jié)果（數(shù)學(xué)結(jié)果），需經(jīng)解釋賦予物理含義（后處理）應(yīng)用：復(fù)雜系統(tǒng)未知特征分析（舉例）航天、航空、航海（詳細(xì)闡述）直接方法:基于概率密度函數(shù)預(yù)計(jì)

相間接聚類(lèi)方法:基于樣本間似性度量第87頁(yè)【動(dòng)態(tài)聚類(lèi)】屢次迭代，逐步調(diào)整類(lèi)別劃分，最終使某準(zhǔn)則到達(dá)最優(yōu)。三個(gè)關(guān)鍵點(diǎn)：①選某種距離作為樣本相同性度量②定義某個(gè)準(zhǔn)則函數(shù)，用于評(píng)價(jià)聚類(lèi)質(zhì)量。③初始分類(lèi)方法及迭代算法C-均值聚類(lèi)ISODATA聚類(lèi)慣用算法：第88頁(yè)【動(dòng)態(tài)聚類(lèi)】C均值算法第89頁(yè)【動(dòng)態(tài)聚類(lèi)】C均值算法第90頁(yè)【動(dòng)態(tài)聚類(lèi)】C均值算法初始劃分：普通可先選代表點(diǎn)，再進(jìn)行初始分類(lèi)。代表點(diǎn)選擇方法：1.經(jīng)驗(yàn)選擇2.隨機(jī)分成c類(lèi)，選各類(lèi)重心作為代表點(diǎn)3.“密度”法。計(jì)算每個(gè)樣本一定球形鄰域內(nèi)樣本數(shù)作為“密度”，選“密度”最大樣本點(diǎn)作為第一個(gè)代表點(diǎn)，在離它一定距離選最大“密度”點(diǎn)作為第二個(gè)代表點(diǎn)，…，依次類(lèi)推。4.用前c個(gè)樣本點(diǎn)作為代表點(diǎn)。5.用c?1聚類(lèi)求c個(gè)代表點(diǎn)：各類(lèi)中心外加離它們最遠(yuǎn)樣本點(diǎn)，從1類(lèi)開(kāi)始。第91頁(yè)【動(dòng)態(tài)聚類(lèi)】C均值算法初始分類(lèi)方法：1.最近距離法。離哪個(gè)代表點(diǎn)近就歸入哪一類(lèi)。2.最近距離法歸類(lèi)，但每次都重新計(jì)算該類(lèi)代表點(diǎn)。3.直接劃分初始分類(lèi)：每一個(gè)樣本自成一類(lèi)，第二個(gè)樣本若離它小于某距離閾值則歸入這類(lèi)，不然建新類(lèi)，……4.將特征歸一化，用樣本各特征之和作為初始分類(lèi)依據(jù)。說(shuō)明：初始劃分無(wú)一定之規(guī)，多為啟發(fā)式方法。C均值方法結(jié)果受初值影響，是局部最優(yōu)解。第92頁(yè)【動(dòng)態(tài)聚類(lèi)】C均值聚類(lèi)方法用于非監(jiān)督模式識(shí)別問(wèn)題：要求類(lèi)別數(shù)已知；是最小方差劃分，并不一定能反應(yīng)內(nèi)在分布；與初始劃分相關(guān)，不確保全局最優(yōu)。C均值算法第93頁(yè)4.分級(jí)聚類(lèi)方法（HierachicalClustering）第94頁(yè)【分級(jí)聚類(lèi)方法

】思想：從各類(lèi)只有一個(gè)樣本點(diǎn)開(kāi)始，逐層合并，每級(jí)只合并兩類(lèi)，直到最終全部樣本都?xì)w到一類(lèi)。Hierarchicaltree--dendrogram聚類(lèi)過(guò)程中逐層考查類(lèi)間相同度，依此決定類(lèi)別數(shù)第95頁(yè)樹(shù)枝長(zhǎng)度：反應(yīng)結(jié)點(diǎn)/樹(shù)枝之間相同度或距離樹(shù)枝位置：在不改變樹(shù)結(jié)構(gòu)情況下能夠任意調(diào)整，調(diào)整方法需研究距離/相同性度量：各種選擇，如歐式距離、相關(guān)、CityBlock、…【分級(jí)聚類(lèi)方法

】第96頁(yè)距離（相同性度量）：樣本之間度量聚類(lèi)之間度量算法（從底向上）：（1）初始化，每個(gè)樣本形成一類(lèi)（2）把相同性最大（距離最小）兩類(lèi)合并（3）重復(fù)（2），直到全部樣本合并為兩類(lèi)?！痉旨?jí)聚類(lèi)方法

】第97頁(yè)【分級(jí)聚類(lèi)方法

】第98頁(yè)哈爾濱工業(yè)大學(xué)第11章含糊模式識(shí)別第99頁(yè)主要內(nèi)容1.引言2.含糊集基本知識(shí)3.含糊特征和含糊分類(lèi)4.特征含糊評(píng)價(jià)5.含糊聚類(lèi)方法6.含糊k近鄰分類(lèi)器第100頁(yè)【含糊C均值方法（FCM）】C均值算法第101頁(yè)【含糊C均值】第102頁(yè)【含糊C均值】第103頁(yè)【含糊C均值】含糊C均值算法：第104頁(yè)【改進(jìn)含糊C均值算法】含糊C均值算法一個(gè)缺點(diǎn)：第105頁(yè)【改進(jìn)含糊C均值算法】第106頁(yè)【改進(jìn)含糊C均值算法】特點(diǎn)AFC有更加好魯棒，且對(duì)給定聚類(lèi)數(shù)目不十分敏感。但有時(shí)可能會(huì)出現(xiàn)一個(gè)類(lèi)中只包含一個(gè)樣本情況，可經(jīng)過(guò)在距離計(jì)算中引入非線性，使之不會(huì)小于革值來(lái)改進(jìn)。

AFC、FCM與C均值一樣，依賴(lài)于初值。試驗(yàn)效果舉例例一：類(lèi)別重迭及類(lèi)別不顯著情況+：C圴值×：FCMO：AFC第107頁(yè)【改進(jìn)含糊C均值算法】正確聚類(lèi)(C=4)CM聚類(lèi)(C=3)FCM聚類(lèi)(C=3)AFC聚類(lèi)(C=3)例二：給定類(lèi)別數(shù)與實(shí)際類(lèi)別數(shù)不一致情況第108頁(yè)改進(jìn)含糊C均值算法改進(jìn)含糊C均值算法較前面提到含糊C均值算法含有更加好魯棒性，它不但能夠在有孤立樣本存在情況下得到很好聚類(lèi)效果，而且能夠放松隸屬度條件，而且因?yàn)榉潘闪穗`屬度條件，使最終聚類(lèi)結(jié)果對(duì)預(yù)先確定聚類(lèi)數(shù)目不十分敏感。與確定性C均值算法和含糊C均值算法一樣，改進(jìn)含糊C均值算法依然對(duì)聚類(lèi)中心初值十分敏感，為了得到很好結(jié)果，能夠用確定性C均值算法或含糊C均值算法結(jié)果作為初值?！靖倪M(jìn)含糊C均值算法】第109頁(yè)109哈爾濱工業(yè)大學(xué)第12章統(tǒng)計(jì)學(xué)習(xí)理論第110頁(yè)主要內(nèi)容1.統(tǒng)計(jì)學(xué)習(xí)理論2.支持向量機(jī)3.核方法第111頁(yè)2.支持向量機(jī)第112頁(yè)依據(jù)統(tǒng)計(jì)學(xué)習(xí)理論，學(xué)習(xí)機(jī)器實(shí)際風(fēng)險(xiǎn)由經(jīng)驗(yàn)風(fēng)險(xiǎn)值和置信范圍值兩部分組成。而基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則學(xué)習(xí)方法只強(qiáng)調(diào)了訓(xùn)練樣本經(jīng)驗(yàn)風(fēng)險(xiǎn)最小誤差，沒(méi)有最小化置信范圍值，所以其推廣能力較差?！净靖拍睢縑apnik與1995年提出支持向量機(jī)（SupportVectorMachine,SVM）以訓(xùn)練誤差作為優(yōu)化問(wèn)題約束條件，以置信范圍值最小化作為優(yōu)化目標(biāo)，即SVM是一個(gè)基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則學(xué)習(xí)方法，其推廣能力顯著優(yōu)于一些傳統(tǒng)學(xué)習(xí)方法。第113頁(yè)【基本概念】因?yàn)镾VM求解最終轉(zhuǎn)化成二次規(guī)劃問(wèn)題求解，所以SVM解是全局唯一最優(yōu)解SVM在處理小樣本、非線性及高維模式識(shí)別問(wèn)題中表現(xiàn)出許多特有優(yōu)勢(shì)，并能夠推廣應(yīng)用到函數(shù)擬合等其它機(jī)器學(xué)習(xí)問(wèn)題中Joachims最近采取SVM在Reuters-21578來(lái)進(jìn)行文本分類(lèi)，并聲稱(chēng)它比當(dāng)前發(fā)表其它方法都好第114頁(yè)【基本概念】因?yàn)镾VM求解最終轉(zhuǎn)化成二次規(guī)劃問(wèn)題求解，所以SVM解是全局唯一最優(yōu)解SVM在處理小樣本、非線性及高維