模式識別與圖像處理PPT學(xué)習(xí)課件

1、模式識別與圖像處理,熊衛(wèi)華 Vihoo_15#222,1,引 言,2,與模式識別相關(guān)的學(xué)科,統(tǒng)計(jì)學(xué) 概率論 線性代數(shù)（矩陣計(jì)算） 形式語言 機(jī)器學(xué)習(xí) 人工智能 圖像處理 計(jì)算機(jī)視覺 ,3,教學(xué)方法,著重講述模式識別的基本概念、 基本方法。 介紹圖像處理的相關(guān)知識。,4,教學(xué)目標(biāo),掌握模式識別的基本概念和方法 為研究新的模式識別的理論和方法打下基礎(chǔ),5,參考文獻(xiàn),R. Duda, P. Hart, D. Stork, Pattern Classification, second edition, 2000（有中譯本）. 邊肇祺，模式識別（第二版），清華大學(xué)出版社，200

2、0。 蔡元龍，模式識別，西北電訊工程學(xué)院出版社，1986。,6,機(jī)構(gòu)、會議、刊物,1973年 IEEE發(fā)起了第一次關(guān)于模式識別的國際會議“ICPR”（此后兩年一次），成立了國際模式識別協(xié)會-“IAPR” 1977年IEEE成立PAMI委員會，創(chuàng)立IEEE Trans. on PAMI，并支持ICCV, CVPR兩個(gè)會議 世界計(jì)算機(jī)視覺和模式識別領(lǐng)域頂尖期刊IEEE PAMI ，全稱IEEE Transactions on Pattern Analysis and Machine Intelligence,7,國際計(jì)算機(jī)視覺大會ICCV，全稱International Conference on

3、 Computer Vision 世界計(jì)算機(jī)視覺和模式識別領(lǐng)域頂級國際會議CVPR全稱IEEE Conference on Computer Vision and Pattern Recognition,8,其它刊物 Pattern Recognition (PR) Pattern Recognition Letters (PRL) Pattern Analysis and Application (PAA) International Journal of Pattern Recognition and Artificial Intelligence (IJPRAI) 模式識別的國內(nèi)學(xué)術(shù)組織

4、 國內(nèi)的組織有電子學(xué)會，通信學(xué)會，自動化協(xié)會，中文信息學(xué)會.。,9,第 1 章 緒論,10,1.1 模式識別和模式的概念,什么是模式（Pattern）？,11,什么是模式？,廣義地說，存在于時(shí)間和空間中可觀察的物體，如果我們可以區(qū)別它們是否相同或是否相似，都可以稱之為模式。 模式所指的不是事物本身，而是從事物獲得的信息，因此，模式往往表現(xiàn)為具有時(shí)間和空間分布的信息。 模式的直觀特性: 可觀察性 可區(qū)分性 相似性,12,模式識別的概念,模式識別（ Pattern Recognition ） 直觀，無所不在，“人以類聚，物以群分” 周圍物體的認(rèn)知：桌子、椅子 人的識別：張三、李四 聲音的辨別：汽車

5、、火車，狗叫、人語 氣味的分辨：炸帶魚、紅燒肉 用計(jì)算機(jī)實(shí)現(xiàn)人對各種事物或現(xiàn)象的分析,描述,判斷,識別。 人和動物的模式識別能力是極其平常的，但對計(jì)算機(jī)來說卻是非常困難的。,13,模式識別的研究,目的：利用計(jì)算機(jī)對物理對象進(jìn)行分類，在錯(cuò)誤概率最小的條件下，使識別的結(jié)果盡量與客觀物體相符合。 Y = F(X) X的定義域取自特征集 Y的值域?yàn)轭悇e的標(biāo)號集 F是模式識別的判別方法,14,模式識別簡史,1929年 G. Tauschek發(fā)明閱讀機(jī) ，能夠閱讀0-9的數(shù)字。 30年代 Fisher（Ronald Aylmer Fisher ）提出統(tǒng)計(jì)分類理論，奠定了統(tǒng)計(jì)模式識別的基礎(chǔ)。因此，在6070

6、年代，統(tǒng)計(jì)模式識別發(fā)展很快，但由于被識別的模式愈來愈復(fù)雜，特征也愈多，就出現(xiàn)“維數(shù)災(zāi)難”。但由于計(jì)算機(jī)運(yùn)算速度的迅猛發(fā)展，這個(gè)問題得到一定克服。統(tǒng)計(jì)模式識別仍是模式識別的主要理論。,15,50年代 Noam Chemsky 提出形式語言理論 美籍華人傅京蓀 提出句法結(jié)構(gòu)模式識別。 60年代 L.A.Zadeh提出了模糊集理論，模糊模式識別方法得以發(fā)展和應(yīng)用。 80年代以Hopfield網(wǎng)、BP網(wǎng)為代表的神經(jīng)網(wǎng)絡(luò)模型導(dǎo)致人工神經(jīng)元網(wǎng)絡(luò)復(fù)活，并在模式識別得到較廣泛的應(yīng)用。 90年代小樣本學(xué)習(xí)理論，支持向量機(jī)也受到了很大的重視。,16,模式識別的應(yīng)用,1 .字符識別：包括印刷體字符的識別；手寫體字符

7、的識別（脫機(jī)），各種OCR設(shè)備例如信函分揀、文件處理、卡片輸入、支票查對、自動排板、期刊閱讀、稿件輸入；在線手寫字符的識別（聯(lián)機(jī)），各種書寫輸入板。 2. 醫(yī)療診斷：心電圖，腦電圖，染色體，癌細(xì)胞識別，疾病診斷，例如關(guān)幼波肝炎專家系統(tǒng)。 3. 遙感：資源衛(wèi)星照片，氣象衛(wèi)星照片處理，數(shù)字化地球，圖象分辨率可以達(dá)到1米。,17,模式識別的應(yīng)用,4. 指紋識別 臉形識別 5. 檢測污染分析，大氣，水源，環(huán)境監(jiān)測。 6. 自動檢測：產(chǎn)品質(zhì)量自動檢測 7. 語聲識別，機(jī)器翻譯，電話號碼自動查詢，偵聽，機(jī)器故障判斷。 8. 軍事應(yīng)用,18,模式識別方法,模式識別系統(tǒng)的目標(biāo)：在特征空間和解釋空間之間找到一種

8、映射關(guān)系，這種映射也稱之為假說。 特征空間：從模式得到的對分類有用的度量、屬性或基元構(gòu)成的空間。 解釋空間：將c個(gè)類別表示為 其中 為所屬類別的集合，稱為解釋空間。,19,假說的兩種獲得方法,監(jiān)督學(xué)習(xí)、概念驅(qū)動或歸納假說：在特征空間中找到一個(gè)與解釋空間的結(jié)構(gòu)相對應(yīng)的假說。在給定模式下假定一個(gè)解決方案，任何在訓(xùn)練集中接近目標(biāo)的假說也都必須在“未知”的樣本上得到近似的結(jié)果。 依靠已知所屬類別的的訓(xùn)練樣本集，按它們特征向量的分布來確定假說 （通常為一個(gè)判別函數(shù)），只有在判別函數(shù)確定之后才能用它對未知的模式進(jìn)行分類； 對分類的模式要有足夠的先驗(yàn)知識，通常需要采集足夠數(shù)量的具有典型性的樣本進(jìn)行訓(xùn)練。,2

9、0,假說的兩種獲得方法（續(xù)）,非監(jiān)督學(xué)習(xí)、數(shù)據(jù)驅(qū)動或演繹假說：在解釋空間中找到一個(gè)與特征空間的結(jié)構(gòu)相對應(yīng)的假說。這種方法試圖找到一種只以特征空間中的相似關(guān)系為基礎(chǔ)的有效假說。 在沒有先驗(yàn)知識的情況下，通常采用聚類分析方法，基于“物以類聚”的觀點(diǎn)，用數(shù)學(xué)方法分析各特征向量之間的距離及分散情況； 如果特征向量集聚集若干個(gè)群，可按群間距離遠(yuǎn)近把它們劃分成類； 這種按各類之間的親疏程度的劃分，若事先能知道應(yīng)劃分成幾類，則可獲得更好的分類結(jié)果。,21,模式分類的主要方法,數(shù)據(jù)聚類 統(tǒng)計(jì)分類 結(jié)構(gòu)模式識別 神經(jīng)網(wǎng)絡(luò),22,數(shù)據(jù)聚類,目標(biāo)：用某種相似性度量的方法將原始數(shù)據(jù)組織成有意義的和有用的各種數(shù)據(jù)集。

10、是一種非監(jiān)督學(xué)習(xí)的方法，解決方案是數(shù)據(jù)驅(qū)動的。,23,統(tǒng)計(jì)分類,基于概率統(tǒng)計(jì)模型得到各類別的特征向量的分布，以取得分類的方法。 特征向量分布的獲得是基于一個(gè)類別已知的訓(xùn)練樣本集。 是一種監(jiān)督分類的方法，分類器是概念驅(qū)動的。,24,結(jié)構(gòu)模式識別,該方法通過考慮識別對象的各部分之間的聯(lián)系來達(dá)到識別分類的目的。 識別采用結(jié)構(gòu)匹配的形式，通過計(jì)算一個(gè)匹配程度值（matching score）來評估一個(gè)未知的對象或未知對象某些部分與某種典型模式的關(guān)系如何。 當(dāng)成功地制定出了一組可以描述對象部分之間關(guān)系的規(guī)則后，可以應(yīng)用一種特殊的結(jié)構(gòu)模式識別方法 句法模式識別，來檢查一個(gè)模式基元的序列是否遵守某種規(guī)則，即

11、句法規(guī)則或語法。,25,神經(jīng)網(wǎng)絡(luò),神經(jīng)網(wǎng)絡(luò)是受人腦組織的生理學(xué)啟發(fā)而創(chuàng)立的。 由一系列互相聯(lián)系的、相同的單元（神經(jīng)元）組成。相互間的聯(lián)系可以在不同的神經(jīng)元之間傳遞增強(qiáng)或抑制信號。 增強(qiáng)或抑制是通過調(diào)整神經(jīng)元相互間聯(lián)系的權(quán)重系數(shù)來（weight）實(shí)現(xiàn)。 神經(jīng)網(wǎng)絡(luò)可以實(shí)現(xiàn)監(jiān)督和非監(jiān)督學(xué)習(xí)條件下的分類。,26,1.2 模式識別系統(tǒng),模式識別系統(tǒng)的基本構(gòu)成,數(shù)據(jù)獲取,特征提取和選擇,預(yù)處理,分類決策,分類器設(shè)計(jì),27,模式識別系統(tǒng)組成單元,數(shù)據(jù)獲?。河糜?jì)算機(jī)可以運(yùn)算的符號來表示所研究的對象 二維圖像：文字、指紋、地圖、照片等 一維波形：腦電圖、心電圖、季節(jié)震動波形等 物理參量和邏輯值：體溫、化驗(yàn)數(shù)據(jù)、

12、參量正常與否的描述 預(yù)處理單元：去噪聲，提取有用信息，并對輸入測量儀器或其它因素所造成的退化現(xiàn)象進(jìn)行復(fù)原,28,模式識別系統(tǒng)組成單元,特征提取和選擇：對原始數(shù)據(jù)進(jìn)行變換，得到最能反映分類本質(zhì)的特征 測量空間：原始數(shù)據(jù)組成的空間 特征空間：分類識別賴以進(jìn)行的空間 模式表示：維數(shù)較高的測量空間-維數(shù)較低的特征空間 分類決策：在特征空間中用模式識別方法把被識別對象歸為某一類別 基本做法：在樣本訓(xùn)練集基礎(chǔ)上確定某個(gè)判決規(guī)則，使得按這種規(guī)則對被識別對象進(jìn)行分類所造成的錯(cuò)誤識別率最小或引起的損失最小,29,模式識別過程實(shí)例,在傳送帶上用光學(xué)傳感器件對魚按品種分類 鱸魚(Seabass) 品種 鮭魚(Sal

13、mon),30,識別過程,數(shù)據(jù)獲取：架設(shè)一個(gè)攝像機(jī)，采集一些樣本圖像，獲取樣本數(shù)據(jù) 預(yù)處理：去噪聲，用一個(gè)分割操作把魚和魚之間以及魚和背景之間分開,31,識別過程,特征提取和選擇：對單個(gè)魚的信息進(jìn)行特征選擇，從而通過測量某些特征來減少信息量 長度 亮度 寬度 魚翅的數(shù)量和形狀 嘴的位置，等等 分類決策：把特征送入決策分類器,32,33,1.3 模式識別的基本問題,一.模式(樣本)表示方法 向量表示 : 假設(shè)一個(gè)樣本有n個(gè)變量(特征) = (X1,X2,Xn)T 2. 矩陣表示: N個(gè)樣本，n個(gè)變量(特征),34,3. 幾何表示 一維表示 X1=1.5 X2=3 二維表示 X1=(x1,x2)T

14、=(1,2)T X2=(x1,x2)T=(2,1)T 三維表示 X1=(x1,x2, x3)T=(1,1,0)T X2=(x1,x2 , x3)T=(1,0,1)T,35,4. 基元（鏈碼）表示： 在右側(cè)的圖中八個(gè)基元 分別表示0，1，2，3， 4，5，6，7，八個(gè)方向 和基元線段長度。 則右側(cè)樣本可以表示為 X1=006666 這種方法將在句法模式識 別中用到。,36,二.模式類的緊致性,1. 緊致集：同一類模式類樣本的分布比較集中，沒有或臨界樣本很少，這樣的模式類稱緊致集。,37,2. 臨界點(diǎn)(樣本)：在多類樣本中，某些樣本的值有微小變化時(shí)就變成另一類樣本稱為臨界樣本（點(diǎn)）。 3. 緊致集

15、的性質(zhì) 要求臨界點(diǎn)很少 集合內(nèi)的任意兩點(diǎn)的連線,在線上的點(diǎn)屬于同 一集合 集合內(nèi)的每一個(gè)點(diǎn)都有足夠大的鄰域,在鄰域內(nèi)只包含同一集合的點(diǎn) 4. 模式識別的要求:滿足緊致集，才能很好的分類；如果不滿足緊致集，就要采取變換的方法,滿足緊致集.,38,三.相似與分類,1.兩個(gè)樣本xi ，xj之間的相似度量滿足以下要求： 應(yīng)為非負(fù)值 樣本本身相似性度量應(yīng)最大 度量應(yīng)滿足對稱性 在滿足緊致性的條件下，相似性應(yīng)該是點(diǎn)間距離的 單調(diào)函數(shù) 2. 用各種距離表示相似性： 絕對值距離 已知兩個(gè)樣本 xi=(xi1, xi2 , xi3,xin)T xj=(xj1, xj2 , xj3,xjn)T,39, 歐幾里德距

16、離 明考夫斯基距離 其中當(dāng)q=1時(shí)為絕對值距離，當(dāng)q=2時(shí)為歐氏距離,40, 切比雪夫距離 q趨向無窮大時(shí)明氏距離的極限情況 馬哈拉諾比斯距離 其中xi ，xj為特征向量， 為協(xié)方差。使用的條件是 樣 本符合正態(tài)分布,41, 夾角余弦 為xi xj的均值 即樣本間夾角小的為一類，具有相似性 例： x1 , x2 , x3的夾角如圖： 因?yàn)閤1 , x2 的夾角小，所以x1 , x2 最相似。,x1,x2,x1,x2,x3,42, 相關(guān)系數(shù) 為xi xj的均值 注意：在求相關(guān)系數(shù)之前，要將數(shù)據(jù)標(biāo)準(zhǔn)化 3. 分類的主觀性和客觀性 分類帶有主觀性：目的不同，分類不同。例如：鯨魚，牛，馬從生物學(xué)的角度

17、來講都屬于哺乳類，但是從產(chǎn)業(yè)角度來講鯨魚屬于水產(chǎn)業(yè)，牛和馬屬于畜牧業(yè)。 分類的客觀性：科學(xué)性 判斷分類必須有客觀標(biāo)準(zhǔn)，因此分類是追求客觀性的， 但主觀性也很難避免，這就是分類的復(fù)雜性。,43,四.特征的生成 1.低層特征： 無序尺度：有明確的數(shù)量和數(shù)值。 有序尺度：有先后、好壞的次序關(guān)系，如酒 分為上，中，下三個(gè)等級。 名義尺度：無數(shù)量、無次序關(guān)系，如有紅， 黃兩種顏色 2. 中層特征：經(jīng)過計(jì)算，變換得到的特征 3. 高層特征：在中層特征的基礎(chǔ)上有目的的經(jīng)過運(yùn) 算形成 例如：椅子的重量=體積*比重 體積與長，寬，高有關(guān)；比重與材料，紋理，顏色有關(guān)。這里低、中、高三層特征都有了。,44,五.數(shù)據(jù)

18、的標(biāo)準(zhǔn)化 1.極差標(biāo)準(zhǔn)化，一批樣本中，每個(gè)特征的最大值與最小值之差。 極差 極差標(biāo)準(zhǔn)化 2. 方差標(biāo)準(zhǔn)化 Si 為方差 標(biāo)準(zhǔn)化的方法很多，原始數(shù)據(jù)是否應(yīng)該標(biāo)準(zhǔn)化，應(yīng)采用 什么方法標(biāo)準(zhǔn)化，都要根據(jù)具體情況來定。,45,1.4 本門課程的主要內(nèi)容,第一章 緒論 第二章 統(tǒng)計(jì)判別 第三章 判別函數(shù) 第四章 特征選擇和提取 第五章神經(jīng)網(wǎng)絡(luò) 第六章圖像處理,46,相關(guān)數(shù)學(xué)概念,隨機(jī)向量及其分布 隨機(jī)向量 如果一個(gè)對象的特征觀察值為x1, x2, , xn，它可構(gòu)成一個(gè)n維的特征向量值x，即 x = (x1, x2, , xn)T 式中， x1, x2, , xn為特征向量x的各個(gè)分量。 一個(gè)特征可以看作n維空間中的向量或點(diǎn)，此空間稱為模式的特征空間Rn。,47,相關(guān)數(shù)學(xué)概念,隨機(jī)向