哈工大模式識(shí)別課程期末總結(jié)

主要內(nèi)容1.關(guān)于期末考試/考察2.章節(jié)知識(shí)點(diǎn)整理第一頁(yè)1第二頁(yè)，共123頁(yè)。1.關(guān)于期末考試/考察第二頁(yè)2第三頁(yè)，共123頁(yè)。1.確認(rèn)考試人員名單；2.考試/考察方式學(xué)位課：考試70%+報(bào)告30%；選修課：報(bào)告100%（不用考試）。3.報(bào)告形式(見(jiàn)word文檔)4.考試題目（100分）1．簡(jiǎn)答題（35分）7*5’=35分2．推導(dǎo)題（8分）3．證明題（8分）4．問(wèn)答題（24分）3*8’=24分5．計(jì)算題（25分）9’+8’+8’=25分（記得要帶尺子，鉛筆，橡皮擦）【關(guān)于期末考試】第三頁(yè)3第四頁(yè)，共123頁(yè)。2.章節(jié)知識(shí)點(diǎn)整理第四頁(yè)4第五頁(yè)，共123頁(yè)。哈爾濱工業(yè)大學(xué)第1章模式識(shí)別緒論第五頁(yè)第六頁(yè)，共123頁(yè)。主要內(nèi)容模式識(shí)別基本概念模式識(shí)別系統(tǒng)組成模式識(shí)別基本問(wèn)題應(yīng)用領(lǐng)域小結(jié)第六頁(yè)第七頁(yè)，共123頁(yè)。模式識(shí)別系統(tǒng)組成

第七頁(yè)第八頁(yè)，共123頁(yè)?！灸Ｊ阶R(shí)別系統(tǒng)組成】1.信息的獲?。和ㄟ^(guò)測(cè)量、采樣、量化并用矩陣或向量表示。通常輸入對(duì)象的信息有三個(gè)類(lèi)型：二維圖像（文字、指紋、地圖、照片等）、一維波形（腦電圖、心電圖、機(jī)械震動(dòng)波形等）、物理參量和邏輯值（體檢中的溫度、血化驗(yàn)結(jié)果等）2.預(yù)處理：去除噪聲，加強(qiáng)有用的信息，并對(duì)輸入測(cè)量?jī)x器或其它因素造成的干擾進(jìn)行處理。3.特征提取與選擇：為了實(shí)現(xiàn)有效的識(shí)別分類(lèi)，要對(duì)原始數(shù)據(jù)進(jìn)行變換得到最能反映分類(lèi)本質(zhì)的特征，此過(guò)程為特征提取和選擇。4.分類(lèi)決策：在特征空間中用統(tǒng)計(jì)方法把被識(shí)別對(duì)象歸為某一類(lèi)?；咀鞣ㄊ窃跇颖居?xùn)練集基礎(chǔ)上確定某個(gè)判決規(guī)則，使按這種判決規(guī)則對(duì)被識(shí)別對(duì)象進(jìn)行分類(lèi)所造成的錯(cuò)誤識(shí)別率最小或引起的損失最小。5.后處理：針對(duì)決策采取相應(yīng)的行動(dòng)。信息獲取預(yù)處理特征提取與選擇分類(lèi)決策后處理模式識(shí)別系統(tǒng)組成框圖第八頁(yè)第九頁(yè)，共123頁(yè)。哈爾濱工業(yè)大學(xué)第2章貝葉斯決策理論第九頁(yè)第十頁(yè)，共123頁(yè)。主要內(nèi)容概率論基礎(chǔ)知識(shí)貝葉斯決策基礎(chǔ)知識(shí)基于最小錯(cuò)誤率的貝葉斯決策基于最小風(fēng)險(xiǎn)的貝葉斯決策貝葉斯分類(lèi)器設(shè)計(jì)正態(tài)分布時(shí)的統(tǒng)計(jì)決策小結(jié)第十頁(yè)第十一頁(yè)，共123頁(yè)。貝葉斯決策基礎(chǔ)知識(shí)第十一頁(yè)第十二頁(yè)，共123頁(yè)。【貝葉斯決策基礎(chǔ)知識(shí)】貝葉斯決策理論先驗(yàn)概率：后驗(yàn)概率：類(lèi)條件概率：貝葉斯公式：第十二頁(yè)第十三頁(yè)，共123頁(yè)。基于最小錯(cuò)誤率的貝葉斯決策第十三頁(yè)第十四頁(yè)，共123頁(yè)。【基于最小錯(cuò)誤率的貝葉斯決策】

（4）第十四頁(yè)第十五頁(yè)，共123頁(yè)?！净谧钚″e(cuò)誤率的貝葉斯決策】

第十五頁(yè)第十六頁(yè)，共123頁(yè)。【基于最小錯(cuò)誤率的貝葉斯決策】第十六頁(yè)第十七頁(yè)，共123頁(yè)?！净谧钚★L(fēng)險(xiǎn)的貝葉斯決策】概念

決策決策空間前面所講的錯(cuò)誤率達(dá)到最小。在某些實(shí)際應(yīng)用中，最小錯(cuò)誤率的貝葉斯準(zhǔn)則并不適合。以癌細(xì)胞識(shí)別為例，診斷中如果把正常細(xì)胞判為癌癥細(xì)胞，固然會(huì)給病人精神造成傷害，但傷害有限；相反地，若把癌癥細(xì)胞誤判為正常細(xì)胞，將會(huì)使早期的癌癥患者失去治療的最佳時(shí)機(jī)，造成驗(yàn)證的后果。第十七頁(yè)第十八頁(yè)，共123頁(yè)?！净谧钚★L(fēng)險(xiǎn)的貝葉斯決策】數(shù)學(xué)描述

第十八頁(yè)第十九頁(yè)，共123頁(yè)?！净谧钚★L(fēng)險(xiǎn)的貝葉斯決策】期望風(fēng)險(xiǎn)：條件期望損失：目的：期望風(fēng)險(xiǎn)最小化第十九頁(yè)第二十頁(yè)，共123頁(yè)。【基于最小風(fēng)險(xiǎn)的貝葉斯決策】最小風(fēng)險(xiǎn)貝葉斯決策規(guī)則:

第二十頁(yè)第二十一頁(yè)，共123頁(yè)?！净谧钚★L(fēng)險(xiǎn)的貝葉斯決策】算法步驟:

第二十一頁(yè)第二十二頁(yè)，共123頁(yè)?！净谧钚★L(fēng)險(xiǎn)的貝葉斯決策】例題2:

第二十二頁(yè)第二十三頁(yè)，共123頁(yè)?！净谧钚★L(fēng)險(xiǎn)的貝葉斯決策】第二十三頁(yè)第二十四頁(yè)，共123頁(yè)。【基于最小錯(cuò)誤率的貝葉斯決策與最小風(fēng)險(xiǎn)的貝葉斯決策的關(guān)系】定理：0-1風(fēng)險(xiǎn)

第二十四頁(yè)第二十五頁(yè)，共123頁(yè)。哈爾濱工業(yè)大學(xué)第3章概率密度函數(shù)估計(jì)第二十五頁(yè)第二十六頁(yè)，共123頁(yè)。主要內(nèi)容

引言參數(shù)估計(jì)正態(tài)分布的參數(shù)估計(jì)非參數(shù)估計(jì)本章小結(jié)第二十六頁(yè)第二十七頁(yè)，共123頁(yè)。參數(shù)估計(jì)

第二十七頁(yè)第二十八頁(yè)，共123頁(yè)。【參數(shù)估計(jì)】

最大似然估計(jì)貝葉斯估計(jì)貝葉斯學(xué)習(xí)第二十八頁(yè)第二十九頁(yè)，共123頁(yè)?！咀畲笏迫还烙?jì)】基本假設(shè)第二十九頁(yè)第三十頁(yè)，共123頁(yè)。【最大似然估計(jì)】基本概念第三十頁(yè)第三十一頁(yè)，共123頁(yè)?！咀畲笏迫还烙?jì)】基本原理第三十一頁(yè)第三十二頁(yè)，共123頁(yè)。【最大似然估計(jì)】估計(jì)量估計(jì)值

第三十二頁(yè)第三十三頁(yè)，共123頁(yè)?！咀畲笏迫还烙?jì)】一元參數(shù)第三十三頁(yè)第三十四頁(yè)，共123頁(yè)?！咀畲笏迫还烙?jì)】多元參數(shù)第三十四頁(yè)第三十五頁(yè)，共123頁(yè)?！咀畲笏迫还烙?jì)】例子（梯度法不適合）：不成功！第三十五頁(yè)第三十六頁(yè)，共123頁(yè)?！矩惾~斯估計(jì)】采用最小風(fēng)險(xiǎn)貝葉斯決策第三十六頁(yè)第三十七頁(yè)，共123頁(yè)?！矩惾~斯估計(jì)】第三十七頁(yè)第三十八頁(yè)，共123頁(yè)?！矩惾~斯估計(jì)】第三十八頁(yè)第三十九頁(yè)，共123頁(yè)?！矩惾~斯學(xué)習(xí)】第三十九頁(yè)第四十頁(yè)，共123頁(yè)。【三種方法總結(jié)】第四十頁(yè)第四十一頁(yè)，共123頁(yè)?！救N方法總結(jié)】第四十一頁(yè)第四十二頁(yè)，共123頁(yè)。哈爾濱工業(yè)大學(xué)第4章線(xiàn)性判別函數(shù)第四十二頁(yè)第四十三頁(yè)，共123頁(yè)。主要內(nèi)容線(xiàn)性判別函數(shù)的基本概念Fisher線(xiàn)性判別準(zhǔn)則函數(shù)感知準(zhǔn)則函數(shù)最小平方誤差準(zhǔn)則函數(shù)多類(lèi)問(wèn)題第四十三頁(yè)第四十四頁(yè)，共123頁(yè)?！?.1.1概念的提出【線(xiàn)性判別函數(shù)】定義第四十四頁(yè)第四十五頁(yè)，共123頁(yè)?！?.1.1概念的提出【線(xiàn)性判別函數(shù)】分類(lèi)決策第四十五頁(yè)第四十六頁(yè)，共123頁(yè)?！?.1.1概念的提出【線(xiàn)性判別函數(shù)】分析第四十六頁(yè)第四十七頁(yè)，共123頁(yè)?！?.1.1概念的提出【線(xiàn)性判別函數(shù)】分析說(shuō)明：判別函數(shù)g(x)正比于任意一點(diǎn)x到超平面的代數(shù)距離。第四十七頁(yè)第四十八頁(yè)，共123頁(yè)。Fisher線(xiàn)性判別準(zhǔn)則函數(shù)第四十八頁(yè)第四十九頁(yè)，共123頁(yè)。【Fisher線(xiàn)性判別準(zhǔn)則函數(shù)】概念

應(yīng)用統(tǒng)計(jì)方法解決模式識(shí)別問(wèn)題時(shí)，往往遇到維數(shù)問(wèn)題（舉例：圖像識(shí)別），降維是有效方法?？紤]到降d維空間的樣本投影到一條直線(xiàn)上，如果投影到任意一條直線(xiàn)上則可能造成本來(lái)有很好區(qū)分度的樣本在直線(xiàn)上線(xiàn)性不可分。因此，直線(xiàn)的方向很關(guān)鍵。第四十九頁(yè)第五十頁(yè)，共123頁(yè)?！綟isher線(xiàn)性判別準(zhǔn)則函數(shù)】基本思路

Fisher判別的基本思想：希望投影后的一維數(shù)據(jù)滿(mǎn)足：兩類(lèi)之間的距離盡可能遠(yuǎn)；每一類(lèi)自身盡可能緊湊。第五十頁(yè)第五十一頁(yè)，共123頁(yè)?！綟isher線(xiàn)性判別準(zhǔn)則函數(shù)】第五十一頁(yè)第五十二頁(yè)，共123頁(yè)?！綟isher線(xiàn)性判別準(zhǔn)則函數(shù)】第五十二頁(yè)第五十三頁(yè)，共123頁(yè)?！綟isher線(xiàn)性判別準(zhǔn)則函數(shù)】第五十三頁(yè)第五十四頁(yè)，共123頁(yè)。【Fisher線(xiàn)性判別準(zhǔn)則函數(shù)】第五十四頁(yè)第五十五頁(yè)，共123頁(yè)。哈爾濱工業(yè)大學(xué)第5章非線(xiàn)性判別函數(shù)第五十五頁(yè)第五十六頁(yè)，共123頁(yè)。主要內(nèi)容基本概念基于距離的分段線(xiàn)性判別函數(shù)分段線(xiàn)性分類(lèi)器設(shè)計(jì)二次判別函數(shù)程序設(shè)計(jì)方法實(shí)際應(yīng)用系統(tǒng)設(shè)計(jì)研究報(bào)告第五十六頁(yè)第五十七頁(yè)，共123頁(yè)。哈爾濱工業(yè)大學(xué)第6章特征的選擇與提取第五十七頁(yè)第五十八頁(yè)，共123頁(yè)。主要內(nèi)容1.引言2類(lèi)別可分離性判據(jù)3特征選擇4.特征提取第五十八頁(yè)第五十九頁(yè)，共123頁(yè)。哈爾濱工業(yè)大學(xué)第7章近鄰法第五十九頁(yè)59第六十頁(yè)，共123頁(yè)。主要內(nèi)容0.引言1.近鄰法原理及其決策規(guī)則2.快速搜索近鄰法3.剪輯近鄰法4.壓縮近鄰法第六十頁(yè)60第六十一頁(yè)，共123頁(yè)。1.近鄰法原理及其決策規(guī)則第六十一頁(yè)61第六十二頁(yè)，共123頁(yè)?！净驹怼孔钚【嚯x分類(lèi)器是將各類(lèi)訓(xùn)練樣本劃分成若干子類(lèi)，并在每個(gè)子類(lèi)中確定代表點(diǎn)，一般用子類(lèi)的質(zhì)心或鄰近質(zhì)心的某一樣本為代表點(diǎn)。測(cè)試樣本的類(lèi)別則以其與這些代表點(diǎn)距離最近作決策。該法的缺點(diǎn)是所選擇的代表點(diǎn)并不一定能很好地代表各類(lèi),后果將使錯(cuò)誤率增加。近鄰法的基本思想：增加代表點(diǎn)的數(shù)量有沒(méi)有可能獲得性能好的分類(lèi)器呢?一種極端的情況是以全部訓(xùn)練樣本作為“代表點(diǎn)”，計(jì)算測(cè)試樣本與這些“代表點(diǎn)”，即所有樣本的距離，并以最近鄰者的類(lèi)別作為決策。此為近鄰法的基本思想。第六十二頁(yè)62第六十三頁(yè)，共123頁(yè)?！咀罱彿Q策規(guī)則

】若則其中表示是類(lèi)的第

個(gè)樣本。決策規(guī)則為:

定義：將與測(cè)試樣本最近鄰樣本類(lèi)別作為決策的方法。對(duì)一個(gè)

類(lèi)別問(wèn)題，每類(lèi)有個(gè)樣本，，則第

類(lèi)的判別函數(shù)

第六十三頁(yè)63第六十四頁(yè)，共123頁(yè)。最近鄰法可以擴(kuò)展成找測(cè)試樣本的個(gè)最近樣本作決策依據(jù)的方法。其基本規(guī)則是，在所有個(gè)樣本中找到與測(cè)試樣本的

個(gè)最近鄰者；其中各類(lèi)別所占個(gè)數(shù)表示成則決策為：【-近鄰法決策規(guī)則

】注意：

近鄰一般采用為奇數(shù)，跟投票表決一樣，避免因兩種票數(shù)相等而難以決策。

若則第六十四頁(yè)64第六十五頁(yè)，共123頁(yè)。【問(wèn)題的提出】上述討論中可以看出，盡管近鄰法有其優(yōu)良品質(zhì)，但是它的一個(gè)嚴(yán)重弱點(diǎn)與問(wèn)題是需要存儲(chǔ)全部訓(xùn)練樣本，以及繁重的距離計(jì)算量。但以簡(jiǎn)單的方式降低樣本數(shù)量，只能使其性能降低，這也是不希望的。為此要研究既能減少近鄰法計(jì)算量與存儲(chǔ)量，同時(shí)又不明顯降低其性能的一些改進(jìn)算法。

改進(jìn)算法大致基于兩種原理。一種是對(duì)樣本集進(jìn)行組織與整理，分群分層，盡可能將計(jì)算壓縮到在接近測(cè)試樣本鄰域的小范圍內(nèi)，避免與訓(xùn)練樣本集中每個(gè)樣本進(jìn)行距離計(jì)算。另一種原理則是在原有樣本集中挑選出對(duì)分類(lèi)計(jì)算有效的樣本，使樣本總數(shù)合理地減少，以同時(shí)達(dá)到既減少計(jì)算量，又減少存儲(chǔ)量的雙重效果。第六十五頁(yè)65第六十六頁(yè)，共123頁(yè)。2.快速搜索近鄰法第六十六頁(yè)66第六十七頁(yè)，共123頁(yè)。3.剪輯近鄰法第六十七頁(yè)67第六十八頁(yè)，共123頁(yè)。4.壓縮近鄰法第六十八頁(yè)68第六十九頁(yè)，共123頁(yè)。哈爾濱工業(yè)大學(xué)第8章主成分分析(PCA)第六十九頁(yè)69第七十頁(yè)，共123頁(yè)。主要內(nèi)容1.引言2主成分分析(PCA)3基于K-L展開(kāi)式的特征提取4.應(yīng)用舉例第七十頁(yè)70第七十一頁(yè)，共123頁(yè)。2.主成分分析第七十一頁(yè)71第七十二頁(yè)，共123頁(yè)。根據(jù)方差最大化原理，用一組新的、線(xiàn)性無(wú)關(guān)且相互正交的向量來(lái)表征原來(lái)數(shù)據(jù)矩陣的行（或列）。這組新向量（主成分）是原始數(shù)據(jù)向量的線(xiàn)性組合。通過(guò)對(duì)原始數(shù)據(jù)的平移、尺度伸縮(減均值除方差)和坐標(biāo)旋轉(zhuǎn)(特征分解)，得到新的坐標(biāo)系(特征向量)后，用原始數(shù)據(jù)在新坐標(biāo)系下的投影(點(diǎn)積)來(lái)替代原始變量。一.主成分分析的基本原理第七十二頁(yè)72第七十三頁(yè)，共123頁(yè)。主成分分析的優(yōu)點(diǎn)

★它能找到表現(xiàn)原始數(shù)據(jù)陣最重要的變量的組合★

通過(guò)表示最大的方差，能有效地直觀(guān)反映樣本之間的關(guān)系★

能從最大的幾個(gè)主成分的得分來(lái)近似反映原始的數(shù)據(jù)陣的信息第七十三頁(yè)73第七十四頁(yè)，共123頁(yè)。圖像預(yù)處理

【人臉識(shí)別】第七十四頁(yè)74第七十五頁(yè)，共123頁(yè)?！救四樧R(shí)別】第七十五頁(yè)75第七十六頁(yè)，共123頁(yè)?！救四樧R(shí)別】第七十六頁(yè)76第七十七頁(yè)，共123頁(yè)?！救四樧R(shí)別】第七十七頁(yè)77第七十八頁(yè)，共123頁(yè)?；赑CA構(gòu)建特征臉空間是對(duì)圖像進(jìn)行K-L變換，以去除樣本間的相關(guān)性，然后根據(jù)特征值的大小選擇特征向量。這種方法首先將人臉圖像映射為高維空間的向量，然后應(yīng)用基于統(tǒng)計(jì)的離散K-L變換方法，構(gòu)造一個(gè)各分量互不相關(guān)的特征空間，即特征臉空間，再將人臉圖像在高維空間中的向量映射到特征臉空間，得到特征系數(shù)。PCA構(gòu)建特征臉空間第七十八頁(yè)78第七十九頁(yè)，共123頁(yè)。哈爾濱工業(yè)大學(xué)第9章人工神經(jīng)網(wǎng)絡(luò)第七十九頁(yè)第八十頁(yè)，共123頁(yè)。主要內(nèi)容1.基礎(chǔ)知識(shí)2.前饋神經(jīng)網(wǎng)絡(luò)3.反饋神經(jīng)網(wǎng)絡(luò)4.自組織映射神經(jīng)網(wǎng)絡(luò)第八十頁(yè)第八十一頁(yè)，共123頁(yè)。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)：從環(huán)境中獲取知識(shí)并改進(jìn)自身性能，主要指調(diào)節(jié)網(wǎng)絡(luò)參數(shù)使網(wǎng)絡(luò)達(dá)到某種度量，又稱(chēng)為網(wǎng)絡(luò)的訓(xùn)練。學(xué)習(xí)方式：監(jiān)督學(xué)習(xí)非監(jiān)督學(xué)習(xí)再勵(lì)學(xué)習(xí)學(xué)習(xí)規(guī)則：誤差糾正學(xué)習(xí)算法競(jìng)爭(zhēng)學(xué)習(xí)算法第八十一頁(yè)第八十二頁(yè)，共123頁(yè)。4.自組織映射自組織映射Self-OrganizingMap亦稱(chēng)SOFM。Kohonen提出（1980s）第八十二頁(yè)第八十三頁(yè)，共123頁(yè)。SOM用于非監(jiān)督模式識(shí)別自組織學(xué)習(xí)過(guò)程本身就是一個(gè)非監(jiān)督學(xué)習(xí)過(guò)程SOMA(自組織分析)基本思路：用未知樣本集訓(xùn)練SOM;計(jì)算象密度圖;根據(jù)象密度圖劃分聚類(lèi)(把結(jié)點(diǎn)代表的小聚類(lèi)合并)。特點(diǎn)：對(duì)數(shù)據(jù)分布形狀少依賴(lài)性；可反映真實(shí)存在的聚類(lèi)數(shù)目，尤其適合人機(jī)合作分析(高維數(shù)據(jù)的有效二維顯示)數(shù)學(xué)上待研究的問(wèn)題多：象密度與樣本分布密度之間的關(guān)系？拓?fù)浔３痔匦裕咳绾卧赟OM平面上聚類(lèi)？第八十三頁(yè)第八十四頁(yè)，共123頁(yè)。哈爾濱工業(yè)大學(xué)第10章無(wú)監(jiān)督學(xué)習(xí)第八十四頁(yè)第八十五頁(yè)，共123頁(yè)。主要內(nèi)容1.引言2.單峰子集（類(lèi)）的分離方法3.類(lèi)別分離的間接方法4.分級(jí)聚類(lèi)方法第八十五頁(yè)第八十六頁(yè)，共123頁(yè)。監(jiān)督模式識(shí)別：（已知）樣本集→訓(xùn)練（學(xué)習(xí)）→識(shí)別（分類(lèi)）非監(jiān)督模式識(shí)別：（未知）樣本集→非監(jiān)督學(xué)習(xí)（聚類(lèi)分析）→后處理【引言】通過(guò)尋找可能存在的分類(lèi)來(lái)理解某一對(duì)象將復(fù)雜多樣的對(duì)象用有限典型來(lái)代表根據(jù)：某種假設(shè)（對(duì)聚類(lèi)應(yīng)具有的性質(zhì)的認(rèn)識(shí)）結(jié)果：聚類(lèi)（clusters）屬中間結(jié)果（數(shù)學(xué)結(jié)果），需經(jīng)解釋賦予物理含義（后處理）應(yīng)用：復(fù)雜系統(tǒng)未知特性分析（舉例）航天、航空、航海（具體闡述）直接方法:基于概率密度函數(shù)估計(jì)

相間接聚類(lèi)方法:基于樣本間似性度量第八十六頁(yè)第八十七頁(yè)，共123頁(yè)?！緞?dòng)態(tài)聚類(lèi)】多次迭代，逐步調(diào)整類(lèi)別劃分，最終使某準(zhǔn)則達(dá)到最優(yōu)。三個(gè)要點(diǎn)：①選某種距離作為樣本相似性度量②定義某個(gè)準(zhǔn)則函數(shù)，用于評(píng)價(jià)聚類(lèi)質(zhì)量。③初始分類(lèi)方法及迭代算法C-均值聚類(lèi)ISODATA聚類(lèi)常用算法：第八十七頁(yè)第八十八頁(yè)，共123頁(yè)?！緞?dòng)態(tài)聚類(lèi)】C均值算法第八十八頁(yè)第八十九頁(yè)，共123頁(yè)。【動(dòng)態(tài)聚類(lèi)】C均值算法第八十九頁(yè)第九十頁(yè)，共123頁(yè)?！緞?dòng)態(tài)聚類(lèi)】C均值算法初始劃分：一般可先選代表點(diǎn)，再進(jìn)行初始分類(lèi)。代表點(diǎn)選擇方法：1.經(jīng)驗(yàn)選擇2.隨機(jī)分成c類(lèi)，選各類(lèi)重心作為代表點(diǎn)3.“密度”法。計(jì)算每個(gè)樣本的一定球形鄰域內(nèi)的樣本數(shù)作為“密度”，選“密度”最大的樣本點(diǎn)作為第一個(gè)代表點(diǎn)，在離它一定距離選最大“密度”點(diǎn)作為第二個(gè)代表點(diǎn)，…，依次類(lèi)推。4.用前c個(gè)樣本點(diǎn)作為代表點(diǎn)。5.用c?1聚類(lèi)求c個(gè)代表點(diǎn)：各類(lèi)中心外加離它們最遠(yuǎn)的樣本點(diǎn)，從1類(lèi)開(kāi)始。第九十頁(yè)第九十一頁(yè)，共123頁(yè)?！緞?dòng)態(tài)聚類(lèi)】C均值算法初始分類(lèi)方法：1.最近距離法。離哪個(gè)代表點(diǎn)近就歸入哪一類(lèi)。2.最近距離法歸類(lèi)，但每次都重新計(jì)算該類(lèi)代表點(diǎn)。3.直接劃分初始分類(lèi)：每一個(gè)樣本自成一類(lèi)，第二個(gè)樣本若離它小于某距離閾值則歸入此類(lèi)，否則建新類(lèi)，……4.將特征歸一化，用樣本各特征之和作為初始分類(lèi)依據(jù)。說(shuō)明：初始劃分無(wú)一定之規(guī)，多為啟發(fā)式方法。C均值方法結(jié)果受初值影響，是局部最優(yōu)解。第九十一頁(yè)第九十二頁(yè)，共123頁(yè)?！緞?dòng)態(tài)聚類(lèi)】C均值聚類(lèi)方法用于非監(jiān)督模式識(shí)別的問(wèn)題：要求類(lèi)別數(shù)已知；是最小方差劃分，并不一定能反映內(nèi)在分布；與初始劃分有關(guān)，不保證全局最優(yōu)。C均值算法第九十二頁(yè)第九十三頁(yè)，共123頁(yè)。4.分級(jí)聚類(lèi)方法（HierachicalClustering）第九十三頁(yè)第九十四頁(yè)，共123頁(yè)?！痉旨?jí)聚類(lèi)方法

】思想：從各類(lèi)只有一個(gè)樣本點(diǎn)開(kāi)始，逐級(jí)合并，每級(jí)只合并兩類(lèi)，直到最后所有樣本都?xì)w到一類(lèi)。Hierarchicaltree--dendrogram聚類(lèi)過(guò)程中逐級(jí)考查類(lèi)間相似度，依此決定類(lèi)別數(shù)第九十四頁(yè)第九十五頁(yè)，共123頁(yè)。樹(shù)枝長(zhǎng)度：反映結(jié)點(diǎn)/樹(shù)枝之間的相似度或距離樹(shù)枝位置：在不改變樹(shù)結(jié)構(gòu)情況下可以任意調(diào)整，調(diào)整方法需研究距離/相似性度量：多種選擇，如歐式距離、相關(guān)、CityBlock、…【分級(jí)聚類(lèi)方法

】第九十五頁(yè)第九十六頁(yè)，共123頁(yè)。距離（相似性度量）：樣本之間的度量聚類(lèi)之間的度量算法（從底向上）：（1）初始化，每個(gè)樣本形成一類(lèi)（2）把相似性最大（距離最?。┑膬深?lèi)合并（3）重復(fù)（2），直到所有樣本合并為兩類(lèi)?！痉旨?jí)聚類(lèi)方法

】第九十六頁(yè)第九十七頁(yè)，共123頁(yè)。【分級(jí)聚類(lèi)方法

】第九十七頁(yè)第九十八頁(yè)，共123頁(yè)。哈爾濱工業(yè)大學(xué)第11章模糊模式識(shí)別第九十八頁(yè)第九十九頁(yè)，共123頁(yè)。主要內(nèi)容1.引言2.模糊集的基本知識(shí)3.模糊特征和模糊分類(lèi)4.特征的模糊評(píng)價(jià)5.模糊聚類(lèi)方法6.模糊k近鄰分類(lèi)器第九十九頁(yè)第一百頁(yè)，共123頁(yè)?！灸：鼵均值方法（FCM）】C均值算法第一百頁(yè)第一百零一頁(yè)，共123頁(yè)。【模糊C均值】第一百零一頁(yè)第一百零二頁(yè)，共123頁(yè)?！灸：鼵均值】第一百零二頁(yè)第一百零三頁(yè)，共123頁(yè)?！灸：鼵均值】模糊C均值算法：第一百零三頁(yè)第一百零四頁(yè)，共123頁(yè)?！靖倪M(jìn)的模糊C均值算法】模糊C均值算法的一個(gè)缺點(diǎn)：第一百零四頁(yè)第一百零五頁(yè)，共123頁(yè)。【改進(jìn)的模糊C均值算法】第一百零五頁(yè)第一百零六頁(yè)，共123頁(yè)。【改進(jìn)的模糊C均值算法】特點(diǎn)AFC有更好的魯棒，且對(duì)給定的聚類(lèi)數(shù)目不十分敏感。但有時(shí)可能會(huì)出現(xiàn)一個(gè)類(lèi)中只包含一個(gè)樣本的情況，可通過(guò)在距離計(jì)算中引入非線(xiàn)性，使之不會(huì)小于革值來(lái)改進(jìn)。

AFC、FCM與C均值一樣，依賴(lài)于初值。實(shí)驗(yàn)效果舉例例一：類(lèi)別重迭及類(lèi)別不明顯情況+：C圴值×：FCMO：AFC第一百零六頁(yè)第一百零七頁(yè)，共123頁(yè)?！靖倪M(jìn)的模糊C均值算法】正確聚類(lèi)(C=4)CM聚類(lèi)(C=3)FCM聚類(lèi)(C=3)AFC聚類(lèi)(C=3)例二：給定類(lèi)別數(shù)與實(shí)際類(lèi)別數(shù)不一致的情況第一百零七頁(yè)第一百零八頁(yè)，共123頁(yè)。改進(jìn)的模糊C均值算法改進(jìn)的模糊C均值算法較前面提到的模糊C均值算法具有更好的魯棒性，它不但可以在有孤立樣本存在的情況下得到較好的聚類(lèi)效果，而且可以放松隸屬度條件，而且因?yàn)榉潘闪穗`屬度條件，使最終聚類(lèi)結(jié)果對(duì)預(yù)先確定的聚類(lèi)數(shù)目不十分敏感。與確定性C均值算法和模糊C均值算法一樣，改進(jìn)的模糊C均值算法仍然對(duì)聚類(lèi)中心的初值十分敏感，為了得到較好的結(jié)果，可以用確定性C均值算法或模糊C均值算法的結(jié)果作為初值。【改進(jìn)的模糊C均值算法】第一百零八頁(yè)108第一百零九頁(yè)，共123頁(yè)。哈爾濱工業(yè)大學(xué)第12章統(tǒng)計(jì)學(xué)習(xí)理論第一百零九頁(yè)第一百一十頁(yè)，共123頁(yè)。主要內(nèi)容1.統(tǒng)計(jì)學(xué)習(xí)理論2.支持向量機(jī)3.核方法第一百一十頁(yè)第一百一十一頁(yè)，共123頁(yè)。2.支持向量機(jī)第一百一十一頁(yè)第一百一十二頁(yè)，共123頁(yè)。根據(jù)統(tǒng)計(jì)學(xué)習(xí)理論，學(xué)習(xí)機(jī)器的實(shí)際風(fēng)險(xiǎn)由經(jīng)驗(yàn)風(fēng)險(xiǎn)值和置信范圍值兩部分組成。而基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則的學(xué)習(xí)方法只強(qiáng)調(diào)了訓(xùn)練樣本的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小誤差，沒(méi)有最小化置信范圍值，因此其推廣能力較差?！净靖拍睢縑apnik與1995年提出的支持向量機(jī)（SupportVectorMachine,SVM）以訓(xùn)練誤差作為優(yōu)化問(wèn)題的約束條件，以置信范圍值最小化作為優(yōu)化目標(biāo)，即SVM是一種基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則的學(xué)習(xí)方法，其推廣能力明顯優(yōu)于一些傳統(tǒng)的學(xué)習(xí)方法。第一百一十二頁(yè)第一百一十三頁(yè)，共123頁(yè)?！净靖拍睢坑捎赟VM的求解最后轉(zhuǎn)化成二次規(guī)劃問(wèn)題的求解，因此SVM的解是全局唯一的最優(yōu)解SVM在解決小樣本、非線(xiàn)性及高維模式識(shí)別問(wèn)題中表現(xiàn)出許多特有的優(yōu)勢(shì)，并能夠推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問(wèn)題中Joachims最近采用SVM在Reuters-21578來(lái)進(jìn)行文本分類(lèi)，并聲稱(chēng)它比當(dāng)前發(fā)表的其他方法都好第一百一十三頁(yè)第一百一十四頁(yè)，共123頁(yè)。【基本概念】由于SVM的求解最后轉(zhuǎn)化成二次規(guī)劃問(wèn)題的求解，因此SVM的解是全