第二統(tǒng)計(jì)模式識(shí)別基礎(chǔ)

1、模式識(shí)別模式識(shí)別Pattern Classification第二章第二章:統(tǒng)計(jì)模式識(shí)別基礎(chǔ)模式識(shí)別，第二章3基本概念基本概念觀測(cè)向量對(duì)樣本進(jìn)行觀測(cè)、采樣、量化得到的原始數(shù)據(jù)構(gòu)成的向量對(duì)樣本進(jìn)行觀測(cè)、采樣、量化得到的原始數(shù)據(jù)構(gòu)成的向量觀測(cè)空間由觀測(cè)向量的維數(shù)決定的由觀測(cè)向量的維數(shù)決定的m維幾何空間維幾何空間TmrrrR,21 觀測(cè)向量觀測(cè)值模式識(shí)別，第二章4基本概念基本概念特征向量對(duì)觀測(cè)向量進(jìn)行特征選擇和提取，得到反映事物本質(zhì)特性的特征構(gòu)成的向量特征空間由特征向量的維數(shù)決定的n維幾何空間（nm），每個(gè)特征向量即是特征空間中的一個(gè)點(diǎn)TnxxxX,21 特征向量特征值qwertrt模式識(shí)別，第二章5

2、特征空間特征空間模式識(shí)別，第二章6特征空間特征空間鮭鮭 魚(yú)魚(yú)鱸鱸 魚(yú)魚(yú)模式識(shí)別，第二章7基本概念基本概念特征選擇去除次要的特征，篩選出重要的特征特征提取通過(guò)壓縮變換或映射，降低特征維數(shù)模式識(shí)別，第二章8基本概念基本概念模式識(shí)別的基本思路相似的歸為一類相似度測(cè)度模式識(shí)別，第二章9基本概念基本概念相似度測(cè)度即樣本與樣本的相似程度，是模式識(shí)別的重要分類依據(jù)通常以樣本特征向量在特征空間中的距離作為樣本的相似度樣本相似度歐氏距離平方和距離絕對(duì)值距離加權(quán)距離模式識(shí)別，第二章10基本概念基本概念歐氏距離設(shè)有兩個(gè)n維特征向量X1和 X2則此二樣本的歐氏距離定義為：TnxxxX,112111 TnxxxX,22

3、2212 221222122211121nnxxxxxxXXX X1X2模式識(shí)別，第二章11基本概念基本概念非標(biāo)準(zhǔn)歐氏距離kkiniikknnkkxxxxxxxxX12112122122111)( 時(shí)，即為歐氏距離2k模式識(shí)別，第二章12基本概念基本概念絕對(duì)值距離（曼哈頓距離）平方和距離22122212221112nnxxxxxxX nnxxxxxxX2122122111 模式識(shí)別，第二章13(Xi, Yi )(Xj, Yj) 22jijiYYXXdjijiYYXXd6 . 016 . 06 . 0jijiYYXXd歐式距離曼哈頓距離非歐式距離歐氏距離、曼哈頓距離和一種非歐氏距離歐氏距離、曼哈

4、頓距離和一種非歐氏距離 模式識(shí)別，第二章14基本概念基本概念加權(quán)距離可根據(jù)各個(gè)特征在識(shí)別中的重要程度設(shè)置各加權(quán)系數(shù)nnnxxxxxxD212212221111 模式識(shí)別，第二章15基本概念基本概念模板匹配法統(tǒng)計(jì)決策方法的特殊情況，也是最簡(jiǎn)單的情況待分類的每一類模式只有一個(gè)唯一的標(biāo)準(zhǔn)（印刷體字符、標(biāo)準(zhǔn)普通話）模式識(shí)別，第二章16模板匹配法原理及過(guò)程學(xué)習(xí)過(guò)程對(duì)每一類已知類的學(xué)習(xí)樣本進(jìn)行特征提取，得到模板向量X1， X2， XC（C為類別數(shù)）設(shè)置識(shí)別門限值以待識(shí)樣本與模板向量之間的相似度（距離）為識(shí)別準(zhǔn)則模式識(shí)別，第二章17模板匹配法原理及過(guò)程識(shí)別過(guò)程對(duì)待識(shí)樣本進(jìn)行特征提取，得到特征向量X計(jì)算待識(shí)樣

5、本特征向量X與模板向量X1， X2， XC之間的距離 D1， ，DC若Di = min Dj ，j=1, 2 , ,C，且 Di ，則判樣本屬于第i類,，記為X i若所有Di（ i=1, 2 , ,C ）均大于，則拒識(shí)。模式識(shí)別，第二章18模板匹配法原理及過(guò)程為提高模板匹配法的魯棒性，可采用彈性模板匹配將模板樣本進(jìn)行平移、旋轉(zhuǎn)、縮放得到多個(gè)模板向量模式識(shí)別，第二章19模板匹配法的應(yīng)用圖像識(shí)別印刷體字符識(shí)別標(biāo)準(zhǔn)普通話識(shí)別模式識(shí)別，第二章20模板匹配法的應(yīng)用人臉識(shí)別 設(shè)檢測(cè)對(duì)象的模板臉為t(x,y)，令其中心與圖像f(x,y)中的一點(diǎn)(I,j)重合，檢測(cè)t(x,y)與圖像重合部分的相似度（模板匹配

6、）。 對(duì)圖像中所有的點(diǎn)遍歷上述操作，根據(jù)相似度最大或超過(guò)某一閾值來(lái)判斷對(duì)象是否存在。模式識(shí)別，第二章21模板匹配法的應(yīng)用模板臉 t(x,y)(i,j)圖像 f(x,y)模式識(shí)別，第二章22統(tǒng)計(jì)模式識(shí)別基礎(chǔ)問(wèn)題模板匹配法將每一類模式的特征向量視為只有唯一標(biāo)準(zhǔn)的模板向量實(shí)際應(yīng)用中，由于樣本的不確定性，每一類模式在特征空間中分布為一區(qū)域造成樣本分布不確定的原因：樣本本身的空間分布傳輸處理過(guò)程中的噪聲和干擾模式識(shí)別，第二章23統(tǒng)計(jì)模式識(shí)別基礎(chǔ)解決辦法將特征向量視為具有一定空間概率分布的隨機(jī)向量利用概率統(tǒng)計(jì)的方法進(jìn)行分類器設(shè)計(jì)模式識(shí)別，第二章24統(tǒng)計(jì)模式識(shí)別基礎(chǔ)先驗(yàn)概率 設(shè)有C個(gè)類別的識(shí)別問(wèn)題（1， 2

7、 ， ， c ），則i 類發(fā)生（出現(xiàn)）的概率P (i ) 稱為第 i 類的先驗(yàn)概率。 顯然：例如：乙肝病診斷 手寫體數(shù)字識(shí)別1)(1ciiP01. 0)(,99. 0)(21PP1 . 0)()(101 PP模式識(shí)別，第二章25統(tǒng)計(jì)模式識(shí)別基礎(chǔ)類概率密度 指在已知樣本類別為i 的條件下，特征向量在特征空間X處發(fā)生的概率，記為P( X / i )。 顯然：P( X / i ) 隨X的變化函數(shù)稱為第 i 類的類概率密度函數(shù)。1)/(dxXPi模式識(shí)別，第二章26統(tǒng)計(jì)模式識(shí)別基礎(chǔ)一維二類情況下的類概率密度函數(shù)一維二類情況下的類概率密度函數(shù)模式識(shí)別，第二章27統(tǒng)計(jì)模式識(shí)別基礎(chǔ)模板匹配法情況下的類概率密

8、度函數(shù)？先驗(yàn)知識(shí)先驗(yàn)概率和類概率密度的總稱統(tǒng)計(jì)方法即是基于樣本先驗(yàn)知識(shí)的模式識(shí)別方法模式識(shí)別，第二章28后驗(yàn)概率 指樣本X被觀測(cè)的條件下，該樣本屬于類別i 的概率，記為P(i / X)。 統(tǒng)計(jì)模式識(shí)別基礎(chǔ)模式識(shí)別，第二章29統(tǒng)計(jì)模式識(shí)別基礎(chǔ)統(tǒng)計(jì)決策法Bayes決策法參數(shù)估計(jì)法非參數(shù)估計(jì)法線性判別函數(shù)概率方法幾何方法聚類分析非線性判別函數(shù)有師識(shí)別有師識(shí)別無(wú)師識(shí)別無(wú)師識(shí)別模式識(shí)別，第二章30統(tǒng)計(jì)模式識(shí)別基礎(chǔ)Bayes決策法已知各類樣本的先驗(yàn)概率P(i )及類概率密度P( X / i )通過(guò)先驗(yàn)概率估計(jì)后驗(yàn)概率參數(shù)估計(jì)法僅知道各類樣本的類概率密度P( X / i )的函數(shù)形式，函數(shù)中的參數(shù)末知由學(xué)習(xí)

9、樣本估計(jì)類概率密度函數(shù)中的參數(shù)模式識(shí)別，第二章31統(tǒng)計(jì)模式識(shí)別基礎(chǔ)非參數(shù)估計(jì)法幾乎無(wú)先驗(yàn)知識(shí)，類概率密度函數(shù)形式均末知直接由學(xué)習(xí)樣本進(jìn)行分類器設(shè)計(jì)線性判別函數(shù)基于對(duì)學(xué)習(xí)樣本的分析，得到線性判別函數(shù)由線性判別函數(shù)決定的分界面，將特征空間劃分為若干區(qū)域根據(jù)待識(shí)樣本落入哪個(gè)區(qū)域來(lái)進(jìn)行分類模式識(shí)別，第二章32統(tǒng)計(jì)模式識(shí)別基礎(chǔ)鮭鮭 魚(yú)魚(yú)鱸鱸 魚(yú)魚(yú)線性判別函數(shù)線性判別函數(shù)決定的分界面決定的分界面模式識(shí)別，第二章33影響模式識(shí)別的關(guān)鍵因素 模式的緊致性問(wèn)題若將模式類視為集合，則集合中的點(diǎn)可分為兩類：內(nèi)點(diǎn)和臨界點(diǎn) 內(nèi)點(diǎn)：與該點(diǎn)相鄰的點(diǎn)（距離最近的點(diǎn)）仍然屬于該點(diǎn)所在的集合 臨界點(diǎn)：與該點(diǎn)相鄰的點(diǎn)屬于另外的集合

10、（模式類）。模式識(shí)別，第二章34影響模式識(shí)別的關(guān)鍵因素模式的緊致性問(wèn)題若將模式類視為集合，則集合中的點(diǎn)可分為兩類：內(nèi)點(diǎn)和臨界點(diǎn) 內(nèi)點(diǎn)：與該點(diǎn)相鄰的點(diǎn)（距離最近的點(diǎn)）仍然屬于該點(diǎn)所在的集合 臨界點(diǎn)：與該點(diǎn)相鄰的點(diǎn)屬于另外的集合（模式類）。模式識(shí)別，第二章35影響模式識(shí)別的關(guān)鍵因素模式的緊致性問(wèn)題無(wú)臨界點(diǎn)無(wú)臨界點(diǎn)臨界點(diǎn)較少臨界點(diǎn)較少臨界點(diǎn)多得無(wú)法臨界點(diǎn)多得無(wú)法進(jìn)行分類進(jìn)行分類模式識(shí)別，第二章36影響模式識(shí)別的關(guān)鍵因素模式的緊致性問(wèn)題緊致集：指滿足下列條件的模式類臨界點(diǎn)的數(shù)量與總的樣本點(diǎn)數(shù)相比很少每個(gè)內(nèi)點(diǎn)對(duì)都有足夠大的鄰域，使得該鄰域內(nèi)的點(diǎn)都在同一集合 假若每一模式類都滿足緊致集的假設(shè)，則模式識(shí)別并不存在多大困難，但對(duì)于許多識(shí)別問(wèn)題，該假設(shè)并不成立。模式識(shí)別，第二章37影響模式識(shí)別的關(guān)鍵因素解決問(wèn)題的途徑通過(guò)空間變換或映射來(lái)解決，不滿足緊致性假設(shè)的模式類映射到另外的幾何空間可能就滿足緊致性。如何進(jìn)行特征空間變換或映射？模式識(shí)別，