東華理工模式識別小抄.doc

1. 模式識別的定義：所謂模式識別是根據研究對象的特征或屬性，利用以計算機為中心的機器系統(tǒng)運用一定的分析算法認定它的類別，系統(tǒng)應使分類識別的結果盡可能地符合真實。2. 模式識別系統(tǒng)的主要環(huán)節(jié)：1特征提取2特征選擇3學習和訓練4分類識別3. 特征空間和特征矢量能描述模式特性的量（測量值）。在統(tǒng)計模式識別方法中，通常用一個矢量 表示，稱之為特征矢量，記為 4. 模式識別三大任務：模式采集：從客觀世界（對象空間）到模式空間的過程稱為模式采集。特征提取和特征選擇：由模式空間到特征空間的變換和選擇類型判別：特征空間到類型空間所作的操作。5. 聚類分析的基本思想：相似的歸為一類，不相似的作為另外一類。6. 分類無效時的情況：1特征選取不當使分類無效2特征選取不足可能使不同類別的模式判為一類3特征選取過多可能無益反而有害，增加分析負擔并使分析效果變差4量綱選取不當，也可使分類無效7. 距離測度（差值測試）測度基礎：兩個矢量矢端的距離測度數值：兩矢量各相應分量之差的函數。1. 歐氏(Euclidean)距離： 2. 絕對值距離：d(x,y)=ni=1 |Xi-Yi|結論：馬氏距離對一切非奇異線性變換都是不變的！8. 匹配測度：此時，若對象有此特征，則相應分量定義為1，而相應分量為0表示對象無此特征，這就是所謂的二值特征。(1) Tanimoto測度：例題：設兩個矢量 x=（0，1，0，1，1，0） ，y=（0，0，1，1，0，1）可算得： xx=3，yy=3，xy=1則：(2) Rao測度(3)(4) 簡單匹配系數：(5)(6) Dice系數：（7）Kulzinsky系數： 9. 基于類內，類間距離的準則函數：設待分類模式集Xi；i=1，2，.N，將它們分成c類，Wj類含nj個模式，分類后個模式記為X（j）i；j=1，2，.,c;i=1,2,nj。 例題：證明：聚類準則函數： 10. 譜系聚類法：（系統(tǒng)聚類法，層次聚類法）算法思想：首先將 N 個模式視作各自成為一類，然后計算類與類之間的距離，選擇距離最小的一對合并成一個新類，計算在新的類別分劃下各類之間的距離，再將距離最近的兩類合并，直至所有模式聚成兩類為止。例題：P29頁。例題：給出6個樣本特征矢量如下，按最小距離原則進行聚類： X1=(0,3,1,2,0) X2=(1,3,0,1,0) X3=(3,3,0,0,1) X4=(1,1,0,2,0) X5=(3,2,1,2,1) X6=(4,1,1,1,0)解答：P29頁自己抄上去太長了。11. C-均值法基本思想：該方法取定 C個類別和選取 C個初始聚類中心，按最小距離原則將各模式分配到 C類中的某一類，之后不斷地計算類心和調整各模式的類別，最終使各模式到其判屬類別中心的距離平方之和最小。算法步奏：1） 任選C個模式特征矢量作為初始聚類中心：z1，z2，z3，。zc，令K=02） 將帶分類的模式特征矢量集Xi中的模式諸葛按最小距離原則分劃給c類中的某一類。3） 計算重新分類后的各類中心4） 如果Z12. 改進算法：13.該章習題答案：2.7 試用最大最小距離聚類算法對樣本集X進行聚類，。 解：Step1.選第一個類心；找距離最遠的樣本作為第二個類心；計算；取參數q=0.3；求距離門限Step2.對剩余樣本按最近原則聚類: 所有樣本均已歸類，故聚類結果為：，。2.8 對2.7題中的樣本集X，試用C-均值算法進行聚類分析。解：取類數C=2Step1.選初始類心，第一個類心；Step2. 按最近原則聚類:由圖示可知，其余樣本距離較近，所以第一次聚類為：，Step3.計算類心：Step4.若類心發(fā)生變換，則返回Step2,否則結束。計算過程如下：同理可得所以第二次聚類為：，計算新的類心：同上，第三次聚類為：，各樣本類別歸屬不變，所以類心也不變，故結束14. 線性可分：對于來自兩類的一組模式X1,X2,.Xn，如果能用一個線性判別函數正確分類則稱他們是線性可分的，否則成為非線性可分。15. 例題：根據結論得出X歸屬于W216. Fisher線性判別：Fisher判別規(guī)則為:17. 感知器算法：對初始的或迭代中的增廣權矢量W，用訓練模式檢驗它的合理性，當不合理時，對其進行校正，校正方法實際上是最優(yōu)化技術中的梯度下降法。18. 最小誤判概率準則判決：判決規(guī)則：如果：則等價判決規(guī)則：例題：模式分布如圖所示，兩類的均矢和協(xié)方差陣可用下式估計。 解： 假設判決式：4.2 設一維兩類模式滿足正態(tài)分布，它們的均值和方差分別為，m1=0，s1=2，m2=2，s2=2，p(x) N(m,s)，窗函數P(1)= P(2)，取0-1損失函數，試算出判決邊界點，并繪出它們的概率密度函數曲線；試確定樣本-3，-2，1，3，5各屬哪一類。解：19. 參數估計有兩類方法:將參數作為非隨機量處理，如矩法估計、最大似然估計；將參數作為隨機變量，貝葉斯估計就屬此類。例題5.120. 一、 設總體分布密度為, , 并設，分別用最大似然估計和貝葉斯估計計算，已知的先驗分布。21. 解：根據貝葉斯公式：1- NN法的誤判概率思想：（這個不太肯定，太復雜了。Y的要人命?。?2. 剪輯最近鄰法：思想：清理兩類的辯解，去掉類別混雜的樣本，使兩類邊界更清晰。23. 特征提取與選擇的基本任務是研究如何從眾多特征中秋出那些對分類識別最具有效的特征，從而實現特征空間維數的壓縮。24. 類別可分性判據：(1) 與誤判概率(或誤分概率的上界、下界)有單調關系。(2) 當特征相互獨立時，判據有可加性，即 ：(3)