模式識別導論一

1、模式識別導論一2022/9/21北京郵電大學信息工程學院第1頁，共23頁，2022年，5月20日，6點27分，星期四參考書模式識別 人民郵電出版社 羅耀光 盛立東模式識別 清華大學出版社 邊肇祺模式識別及應用 科學出版社 付京蓀Syntactic Pattern Recognition and Application K.S.Fu Pattern Recognition Principles 第2頁，共23頁，2022年，5月20日，6點27分，星期四作業(yè)：大型上機作業(yè)題考試：開卷考試第3頁，共23頁，2022年，5月20日，6點27分，星期四第一章 概論 1-1 模式識別的基本概念一.模式識

2、別的基本定義 模式(pattern) - 存在于時間，空間中可觀察 的事物，具有時間或空間分布的信息。 模式識別(Pattern Recognition) - 用計算機實 現(xiàn)人對各種事物或現(xiàn)象的分析,描述,判斷,識別。模式識別與圖象識別，圖象處理的關系 模式識別是模擬人的某些功能 模擬人的視覺: 計算機+光學系統(tǒng) 模擬人的聽覺: 計算機+聲音傳感器 模擬人的嗅覺和觸覺: 計算機+傳感器第4頁，共23頁，2022年，5月20日，6點27分，星期四二.模式識別的發(fā)展史1929年 G. Tauschek發(fā)明閱讀機 ，能夠閱讀0-9的數(shù)字。30年代 Fisher提出統(tǒng)計分類理論,奠定了統(tǒng)計模式識別的基

3、礎。因此，在6070年代，統(tǒng)計模式識別發(fā)展很快，但由于被識別的模式愈來愈復雜，特征也愈多，就出現(xiàn)“維數(shù)災難”。但由于計算機運算速度的迅猛發(fā)展，這個問題得到一定克服。統(tǒng)計模式識別仍是模式識別的主要理論。第5頁，共23頁，2022年，5月20日，6點27分，星期四50年代 Noam Chemsky 提出形式語言理論 美籍華人付京蓀 提出句法結(jié)構(gòu)模式識別。60年代 提出了模糊集理論，模糊模式識別理論得到了較廣泛的應用。80年代 Hopfield提出神經(jīng)元網(wǎng)絡模型理論。近些年人工神經(jīng)元網(wǎng)絡在模式識別和人工智能上得到較廣泛的應用。90年代 小樣本學習理論，支持向量機也受到了很大的重視。第6頁，共23頁，

4、2022年，5月20日，6點27分，星期四三.關于模式識別的國內(nèi)、國際學術組織1973年 IEEE發(fā)起了第一次關于模式識別的國際會議“ICPR”，成立了國際模式識別協(xié)會-“IAPR”，每2年召開一次國際學術會議。1977年 IEEE的計算機學會成立了模式分析與機器智能（PAMI）委員會，每2年召開一次模式識別與圖象處理學術會議。國內(nèi)的組織有電子學會，通信學會，自動化協(xié)會，中文信息學會.。第7頁，共23頁，2022年，5月20日，6點27分，星期四1-2 模式識別系統(tǒng)信息的獲?。菏峭ㄟ^傳感器，將光或聲音等信息轉(zhuǎn)化為電信息。信息可以是二維的圖象如文字，圖象等；可以是一維的波形如聲波，心電圖，腦電圖

5、；也可以是物理量與邏輯值。預處理：包括AD,二值化，圖象的平滑，變換，增強，恢復，濾波等, 主要指圖象處理。第8頁，共23頁，2022年，5月20日，6點27分，星期四特征抽取和選擇：在模式識別中，需要進行特征的抽取和選擇，例如，一幅64x64的圖象可以得到4096個數(shù)據(jù)，這種在測量空間的原始數(shù)據(jù)通過變換獲得在特征空間最能反映分類本質(zhì)的特征。這就是特征提取和選擇的過程。分類器設計：分類器設計的主要功能是通過訓練確定判決規(guī)則，使按此類判決規(guī)則分類時，錯誤率最低。把這些判決規(guī)則建成標準庫。分類決策：在特征空間中對被識別對象進行分類。第9頁，共23頁，2022年，5月20日，6點27分，星期四1-3

6、 模式識別的應用1 .字符識別：包括印刷體字符的識別；手寫體字符的識別（脫機），各種OCR設備例如信函分揀、文件處理、卡片輸入、支票查對、自動排板、期刊閱讀、稿件輸入；在線手寫字符的識別（聯(lián)機），各種書寫輸入板。2. 醫(yī)療診斷：心電圖，腦電圖，染色體，癌細胞識別，疾病診斷，例如關幼波肝炎專家系統(tǒng)。3. 遙感：資源衛(wèi)星照片，氣象衛(wèi)星照片處理，數(shù)字化地球，圖象分辨率可以達到1米。第10頁，共23頁，2022年，5月20日，6點27分，星期四4. 指紋識別 臉形識別5. 檢測污染分析，大氣，水源，環(huán)境監(jiān)測。6. 自動檢測：產(chǎn)品質(zhì)量自動檢測7. 語聲識別，機器翻譯，電話號碼自動查詢，偵聽，機器故障判斷

7、。8. 軍事應用第11頁，共23頁，2022年，5月20日，6點27分，星期四1-4 模式識別的基本問題一.模式(樣本)表示方法向量表示 : 假設一個樣本有n個變量(特征) = (X1,X2,Xn)T2. 矩陣表示: N個樣本，n個變量(特征)第12頁，共23頁，2022年，5月20日，6點27分，星期四3. 幾何表示 一維表示 X1=1.5 X2=3 二維表示 X1=(x1,x2)T=(1,2)T X2=(x1,x2)T=(2,1)T 三維表示 X1=(x1,x2, x3)T=(1,1,0)T X2=(x1,x2 , x3)T=(1,0,1)T第13頁，共23頁，2022年，5月20日，6點

8、27分，星期四4. 基元（鏈碼）表示：在右側(cè)的圖中八個基元分別表示0，1，2，3，4，5，6，7，八個方向和基元線段長度。則右側(cè)樣本可以表示為 X1=006666這種方法將在句法模式識別中用到。第14頁，共23頁，2022年，5月20日，6點27分，星期四二.模式類的緊致性1. 緊致集：同一類模式類樣本的分布比較集中，沒有或臨界樣本很少，這樣的模式類稱緊致集。第15頁，共23頁，2022年，5月20日，6點27分，星期四2. 臨界點(樣本)：在多類樣本中，某些樣本的值有微小變化時就變成另一類樣本稱為臨界樣本（點）。3. 緊致集的性質(zhì) 要求臨界點很少 集合內(nèi)的任意兩點的連線,在線上的點屬于同 一

9、集合 集合內(nèi)的每一個點都有足夠大的鄰域,在鄰域內(nèi)只包含同一集合的點4. 模式識別的要求:滿足緊致集，才能很好的分類；如果不滿足緊致集，就要采取變換的方法,滿足緊致集.第16頁，共23頁，2022年，5月20日，6點27分，星期四三.相似與分類 1.兩個樣本xi ，xj之間的相似度量滿足以下要求： 應為非負值 樣本本身相似性度量應最大 度量應滿足對稱性 在滿足緊致性的條件下，相似性應該是點間距離的 單調(diào)函數(shù) 2. 用各種距離表示相似性： 絕對值距離 已知兩個樣本 xi=(xi1, xi2 , xi3,xin)T xj=(xj1, xj2 , xj3,xjn)T 第17頁，共23頁，2022年，5

10、月20日，6點27分，星期四 歐幾里德距離明考夫斯基距離 其中當q=1時為絕對值距離，當q=2時為歐氏距離第18頁，共23頁，2022年，5月20日，6點27分，星期四 切比雪夫距離 q趨向無窮大時明氏距離的極限情況 馬哈拉諾比斯距離 其中xi ，xj為特征向量， 為協(xié)方差。使用的條件是 樣 本符合正態(tài)分布第19頁，共23頁，2022年，5月20日，6點27分，星期四 夾角余弦 為xi xj的均值 即樣本間夾角小的為一類，具有相似性例： x1 , x2 , x3的夾角如圖：因為x1 , x2 的夾角小，所以x1 , x2 最相似。x1x2x1x2x3第20頁，共23頁，2022年，5月20日，

11、6點27分，星期四 相關系數(shù) 為xi xj的均值注意：在求相關系數(shù)之前，要將數(shù)據(jù)標準化3. 分類的主觀性和客觀性 分類帶有主觀性：目的不同，分類不同。例如：鯨魚，牛，馬從生物學的角度來講都屬于哺乳類，但是從產(chǎn)業(yè)角度來講鯨魚屬于水產(chǎn)業(yè)，牛和馬屬于畜牧業(yè)。 分類的客觀性：科學性判斷分類必須有客觀標準，因此分類是追求客觀性的，但主觀性也很難避免，這就是分類的復雜性。第21頁，共23頁，2022年，5月20日，6點27分，星期四四.特征的生成 1.低層特征： 無序尺度：有明確的數(shù)量和數(shù)值。 有序尺度：有先后、好壞的次序關系，如酒 分為上，中，下三個等級。 名義尺度：無數(shù)量、無次序關系，如有紅， 黃兩種顏色 2. 中層特征：經(jīng)過計算，變換得到的特征 3. 高層特征：在中層特征的基礎上有目的的經(jīng)過運 算形成例如：椅子的重量=體積*比重 體積與長，寬，高有關；比重與材料，紋理，顏色有關。這里低、中