模式識(shí)別-復(fù)習(xí)筆記

第一章概論什么是模式識(shí)別？使計(jì)算機(jī)模仿人的感知能力，從感知數(shù)據(jù)中提取信息〔判別物體和行為〕的過(guò)程?！怖蠋煹暮?jiǎn)略說(shuō)法：用機(jī)器判斷事物類別〕模式識(shí)別系統(tǒng)主要由四個(gè)局部組成：原始數(shù)據(jù)的獲取和預(yù)處理，特征提取與選擇，分類或類聚，后處理。緊致性：做模式識(shí)別的前提條件是每個(gè)模式類滿足緊致性。相似性度量滿足的條件：1234點(diǎn)一些專業(yè)術(shù)語(yǔ)的中英文：PR〔patternrecognition〕模式識(shí)別 BP〔back-propagation〕反向傳播算法 PCA〔principalcomponentanalysis〕主成分分析NN〔neuralnetworks〕神經(jīng)網(wǎng)絡(luò)歐式距離：馬氏距離：貝葉斯決策〔兩大貝葉斯決策=最小錯(cuò)誤率貝葉斯決策+最小風(fēng)險(xiǎn)貝葉斯決策〕：貝葉斯決策的三個(gè)前提條件：類別數(shù)確定，各類的先驗(yàn)概率p(wi)，各類的條件概率密度函數(shù)p(x|wi)。最小錯(cuò)誤率貝葉斯決策：使錯(cuò)誤率最小的分類決策。對(duì)應(yīng)于最大后驗(yàn)概率。貝葉斯公式：P17白細(xì)胞例子最小風(fēng)險(xiǎn)貝葉斯決策：考慮各種錯(cuò)誤造成損失不同時(shí)的一種最優(yōu)決策。第三章最大似然估計(jì)〔兩大參數(shù)估計(jì)=最大似然估計(jì)+貝葉斯估計(jì)〕：最可能出一題最大似然估計(jì)的計(jì)算題。判斷估計(jì)好壞的標(biāo)準(zhǔn)：無(wú)偏性、有效性、一致性。最大似然估計(jì)的求解流程：1、構(gòu)造似然函數(shù)2、對(duì)數(shù)化3、求偏導(dǎo)4、求解第四章線性分類器Fisher判別法Fisher準(zhǔn)那么：找到一個(gè)最適宜的投影軸，使兩類樣本在該軸上的投影之間的距離盡可能遠(yuǎn)，而每一類樣本的投影盡可能緊湊，從而使分類效果為最正確。各類樣本均值向量mi判定函數(shù)J〔w〕越大，說(shuō)明分子類間距離越大，分母類內(nèi)距離越小。符合fisher準(zhǔn)那么。引入拉格朗日函數(shù)：求偏導(dǎo)最小二乘法y=ax+b第五章非線性分類器反向傳播算法BP：三層結(jié)構(gòu)簡(jiǎn)述BP過(guò)程、偏差回來(lái)調(diào)整權(quán)系數(shù)P95學(xué)習(xí)規(guī)那么：隨機(jī)給定權(quán)系數(shù)；計(jì)算輸出；得到偏差；進(jìn)行調(diào)整算法步驟：第七章特征選擇遺傳算法過(guò)程：初始化：設(shè)置進(jìn)化代數(shù)計(jì)數(shù)器t=0，設(shè)置最大進(jìn)化代數(shù)T，隨機(jī)生成M個(gè)個(gè)體作為初始群體P〔0〕.個(gè)體評(píng)價(jià)：計(jì)算群體P〔t〕中各個(gè)個(gè)體的適應(yīng)度。選擇：將選擇算子作用于群體。選擇的目的是把優(yōu)化的個(gè)體直接遺傳到下一代或通過(guò)配對(duì)交叉產(chǎn)生新的個(gè)體再遺傳到下一代。選擇操作是建立在群體中個(gè)體的適應(yīng)度評(píng)估根底上的。交叉：將交叉算子作用于群體。作為交叉是指把兩個(gè)父代個(gè)體的局部結(jié)構(gòu)加以替換重組而生成新個(gè)體的操作。遺傳算法中起核心作用的就是交叉算子。變異：將變異算子作用于群體。即是對(duì)群體中的個(gè)體串的某些基因座上的基因值變動(dòng)。群體P(t)經(jīng)過(guò)選擇、交叉、變異運(yùn)算之后得到下一代群體P(t+1)。終止條件判斷：假設(shè)t=T，那么以進(jìn)化過(guò)程中所得到的具有最大適應(yīng)度個(gè)體作為最優(yōu)解輸出，終止計(jì)算?！步K止條件：到達(dá)適應(yīng)度函數(shù)或到達(dá)進(jìn)化規(guī)定的代數(shù)〕第八章特征提取PCA〔主成分分析〕K-L變換〔最優(yōu)正交線性〕〔完整掌握〕結(jié)合KL變換表達(dá)人臉識(shí)別的經(jīng)典流程：對(duì)向量x用確定的完備正交歸一向量基uj展開(kāi)，對(duì)應(yīng)到的人臉識(shí)別問(wèn)題上就是一個(gè)臉可以由無(wú)窮多個(gè)本征臉進(jìn)行重構(gòu)；用有限項(xiàng)估計(jì)X，對(duì)應(yīng)人臉識(shí)別時(shí)一個(gè)臉由有限個(gè)本征臉進(jìn)行重構(gòu)，假設(shè)有d個(gè)，那么；下面是尋找uj，即對(duì)應(yīng)的本征臉；由于是用d個(gè)本征臉來(lái)重構(gòu)一張臉x，所以存在一定的誤差。求估計(jì)的均方誤差：第九章非監(jiān)督模式識(shí)別K均值聚類根本思想：k均值聚類是最著名的劃分聚類算法，由于簡(jiǎn)潔和效率使得他成為所有聚類算法中最廣泛使用的。給定一個(gè)數(shù)據(jù)點(diǎn)集合和需要的聚類數(shù)目k，k由用戶指定，k均值算法根據(jù)某個(gè)距離函數(shù)反復(fù)把數(shù)據(jù)分入k個(gè)聚類中。K均值的迭代思想：K均值算法：先隨機(jī)選取K個(gè)對(duì)象作為初始的聚類中心。然后計(jì)算每個(gè)對(duì)象與各個(gè)種子聚類中心之間的距離，把每個(gè)對(duì)象分配給距離它最近的聚類中心。聚類中心以及分配給它們的對(duì)象就代表一個(gè)聚類。一旦全部對(duì)象都被分配了，每個(gè)聚類的聚類中心會(huì)根據(jù)聚類中現(xiàn)有的對(duì)象被重新計(jì)算。這個(gè)過(guò)程將不斷重復(fù)直到滿足某個(gè)終止條件。終止條件可以是以下任何一個(gè)：1)沒(méi)有〔或最小數(shù)目〕對(duì)象