模式識別入門

模式識別入門第一頁，共七十七頁，2022年，8月28日課程性質(zhì)任意選修課授課對象：電子信息,通信工程,信息對抗,

微電子學(xué)時：32（其中8學(xué)時實驗）考查方式：閉卷或開卷考試第二頁，共七十七頁，2022年，8月28日教材及參考文獻

教材

邊肇祺，張學(xué)工.模式識別（第二版）.清華大學(xué)出版社，2000.1

參考文獻

[1]R.Duda,P.Hart,D.Stork,PatternClassification,secondedition,2000(有中譯本)[2]蔡云龍,模式識別,西北電訊工程學(xué)院出版社,1986.[3]李宏東，姚天翔譯，RichardO.Duda著.模式分類（第二版）.機械工業(yè)出版社，2003.9

第三頁，共七十七頁，2022年，8月28日教材及參考文獻

參考文獻

[4]李晶皎譯，SergiosTheodoridis（希臘）著.模式識別（第三版）.電子工業(yè)出版社，2006.12[5]黃鳳崗，宋克歐.模式識別.哈爾濱工程大學(xué)出版社，1997

[6]楊淑瑩.圖像模式識別-VC++技術(shù)實現(xiàn).清華大學(xué)出版社，2005.7[7]楊淑瑩.模式識別與智能計算-MATLAB技術(shù)實現(xiàn).電子工業(yè)出版社，2008.1第四頁，共七十七頁，2022年，8月28日機構(gòu)、會議、刊物1973年,IEEE發(fā)起了第一次關(guān)于模式識別的國際會議“ICPR”(此后兩年一次)，成立了國際模式識別協(xié)會---’’IAPR”1977年IEEE成立PAMI委員會，創(chuàng)立IEEETrans.OnPAMI，并支持ICCV，CVPR兩個會議-PatternRecognition(PR)-PatternRecognitionLetters(PRL)-PatternAnalysisandApplication(PAA)-InternationalJouralofPatternRecognitionandArtificialIntelligence(IJPRAI)第五頁，共七十七頁，2022年，8月28日先修課程概率論

本課程研究的主要內(nèi)容：統(tǒng)計P.R.線性代數(shù)

利用特征向量表示模式

矩陣計算圖像處理、語音信號處理、人工智能、計算機視覺……

第六頁，共七十七頁，2022年，8月28日教學(xué)目標掌握模式識別的基本概念和基本方法有效運用所學(xué)的知識和方法解決實際問題為研究新的模式識別理論和方法打下基礎(chǔ)第七頁，共七十七頁，2022年，8月28日教學(xué)方法著重講述模式識別的基本概念,基本方法和算法原理注重理論與實踐緊密結(jié)合實例教學(xué):通過實例講述如何將所學(xué)的知識運用到實際應(yīng)用中避免引用過多的、繁瑣的數(shù)學(xué)推導(dǎo)第八頁，共七十七頁，2022年，8月28日第1章緒論1.1P.R.基本概念1.2P.R.發(fā)展簡史1.3P.R.應(yīng)用1.4P.R.分類1.5P.R.系統(tǒng)第九頁，共七十七頁，2022年，8月28日1.1P.R.基本概念什么是模式？

第十頁，共七十七頁，2022年，8月28日什么是模式？什么是模式？模式類？模式識別？廣義定義:存在于時間和空間中可觀察的物體，如果我們可以區(qū)別它們是否相同或是否相似，都可以稱之為模式。

模式所指的不是事物本身,而是從事物獲得的信息,因此模式往往表現(xiàn)為具有時間和空間的分布信息

第十一頁，共七十七頁，2022年，8月28日什么是模式？本課研究內(nèi)容用計算機模擬人的識別能力，提出識別具體客體的基本理論與實用技術(shù)。根據(jù)這一研究內(nèi)容，可作狹義定義。

狹義定義:對感興趣的客體的定量的或結(jié)構(gòu)的描述。模式：語音、圖像、信號

模式的直觀特性—可觀察性—可區(qū)分性—相似性第十二頁，共七十七頁，2022年，8月28日什么是模式？

模式類？

具有某些共同特性的模式的集合。模式識別？

利用計算機自動地（或者人進行少量干涉）把待識模式分到各自的模式類中去的技術(shù)。第十三頁，共七十七頁，2022年，8月28日模式識別研究的目的利用計算機對物理對象進行分類,在錯誤概率最小的條件下,使識別的結(jié)果盡量與客觀物體相符合

Y=F(X)X—定義域取自特征集Y—值域為類別的標號集F—是模式識別的判別方法第十四頁，共七十七頁，2022年，8月28日1.2P.R.簡史20世紀20年代出現(xiàn)，60年代發(fā)展為學(xué)科1929年G.Tauschek發(fā)明閱讀機,能夠閱讀0-9的數(shù)字.30年代Fisher提出統(tǒng)計分類理論,奠定了統(tǒng)計模式識別的基礎(chǔ).50年代NoamChemsky提出形式語言理論,傅京蓀提出了句法模式識別第十五頁，共七十七頁，2022年，8月28日1.2P.R.簡史60年代提出了模糊集理論，模糊模式識別方法得以發(fā)展和應(yīng)用80年代以Hopfield網(wǎng)、BP網(wǎng)為代表的神經(jīng)網(wǎng)絡(luò)模型導(dǎo)致人工神經(jīng)元網(wǎng)絡(luò)復(fù)活,并在模式識別得到較廣泛的應(yīng)用。90年代小樣本理論，支持向量機也受到了很大的重視。第十六頁，共七十七頁，2022年，8月28日1.2P.R.簡史21世紀以來，模式識別研究呈現(xiàn)一些新的特點（1）貝葉斯學(xué)習(xí)理論越來越多的用來解決模式識別和模型選擇問題，產(chǎn)生了良好的分類性能。（2）傳統(tǒng)的問題，如概率密度估計、特征選擇、聚類等方法不斷受到新的關(guān)注。新的方法或改進\混合的方法

不斷提出（3）模式識別和機器學(xué)習(xí)相互滲透、特征提取和選擇、分類、聚類、半監(jiān)督學(xué)習(xí)的問題日益成為二者共同關(guān)注的熱點。

（4）模式識別系統(tǒng)開始越來越多地用于現(xiàn)實生活，如車牌識別、手寫字符識別、生物特征識別。第十七頁，共七十七頁，2022年，8月28日1.3P.R.應(yīng)用生物學(xué)

自動細胞學(xué)、染色體特性研究、遺傳研究。

天文學(xué)

天文望遠鏡圖像分析、自動光譜學(xué)經(jīng)濟學(xué)

股票交易預(yù)測、企業(yè)行為分析醫(yī)學(xué)

心電圖分析、腦電圖分析、醫(yī)學(xué)圖像分析、癌細胞分類、X光片分析、CT片分析第十八頁，共七十七頁，2022年，8月28日P.R.應(yīng)用工程

產(chǎn)品缺陷檢測、特征識別、語音識別、自動導(dǎo)航系統(tǒng)、污染分析

軍事

航空攝像分析、雷達和聲納信號檢測和分類、自動目標識別安全人臉、掌紋、虹膜、手形、語音、簽字、監(jiān)視和報警系統(tǒng)第十九頁，共七十七頁，2022年，8月28日P.R.的應(yīng)用領(lǐng)域一、文字識別始于1929年，較早

OCR（OpticalCharacterRecognition）第二十頁，共七十七頁，2022年，8月28日字符識別之牌照識別第二十一頁，共七十七頁，2022年，8月28日字符識別之牌照識別第二十二頁，共七十七頁，2022年，8月28日1.5P.R.的應(yīng)用領(lǐng)域二、條碼識別第二十三頁，共七十七頁，2022年，8月28日P.R.的應(yīng)用領(lǐng)域

三、語音識別語義識別

孤立詞識別（較為成熟）、連續(xù)語音識別

身份識別

話者識別第二十四頁，共七十七頁，2022年，8月28日語音識別應(yīng)用之自動廣告監(jiān)播第二十五頁，共七十七頁，2022年，8月28日P.R.的應(yīng)用領(lǐng)域四、遙感圖像地物分類

原始影像神經(jīng)網(wǎng)絡(luò)分類結(jié)果第二十六頁，共七十七頁，2022年，8月28日P.R.的應(yīng)用領(lǐng)域五、身份識別之人臉識別在不同環(huán)境條件下，人臉膚色分布始終近似服從高斯分布第二十七頁，共七十七頁，2022年，8月28日P.R.的應(yīng)用領(lǐng)域五、身份識別之指紋識別第二十八頁，共七十七頁，2022年，8月28日P.R.的應(yīng)用領(lǐng)域六、公共安全應(yīng)用檢測流動高熱人群第二十九頁，共七十七頁，2022年，8月28日P.R.的應(yīng)用領(lǐng)域七、軍事應(yīng)用第三十頁，共七十七頁，2022年，8月28日圖像制導(dǎo)國產(chǎn)空地電視制導(dǎo)導(dǎo)引頭前蘇聯(lián)Kh-59M空地導(dǎo)彈導(dǎo)引頭第三十一頁，共七十七頁，2022年，8月28日圖像制導(dǎo)—AGM-130美國AGM-130空對地導(dǎo)彈AGM-130空地導(dǎo)彈

AGM-130是美國1984年研制的空對地導(dǎo)彈，是GBU-15光電制導(dǎo)炸彈的裝有動力裝置的變型,具有遠距離投放能力和強殺傷力。彈徑460毫米(A),520毫米(B);彈重1323千克(A),1316千克(B),采用電視或紅外成像+雙數(shù)據(jù)傳輸裝置制導(dǎo)方式?？裳b備F-111、F-4、F-15、F-16和F-10等飛機。在美英對伊拉克的空襲中,美國空軍第一次在實戰(zhàn)中使用AGM-130導(dǎo)彈。

AGM-130可由空勤人員保持其飛向目標的航向,也可利用電視或紅外導(dǎo)引頭自動導(dǎo)航。AGM-130同高速反輻射導(dǎo)彈(HARM)一樣,也可用來摧毀雷達,使導(dǎo)彈發(fā)射器"致盲",但是HARM的彈頭很小,不能保證摧毀發(fā)射器,而AGM-130的彈頭要大得多,重約900公斤。它能完全一舉摧毀防空雷達和導(dǎo)彈發(fā)射架。第三十二頁，共七十七頁，2022年，8月28日圖像制導(dǎo)—AGM-130AGM-130炸大橋AGM-130機載發(fā)射第三十三頁，共七十七頁，2022年，8月28日P.R.的應(yīng)用領(lǐng)域鐵路油罐車罐口視覺定位系統(tǒng)第三十四頁，共七十七頁，2022年，8月28日1.5P.R.的應(yīng)用領(lǐng)域鐵路油罐車罐口視覺定位系統(tǒng)第三十五頁，共七十七頁，2022年，8月28日P.R.的應(yīng)用領(lǐng)域機器人拆垛系統(tǒng)第三十六頁，共七十七頁，2022年，8月28日1.4P.R.分類要在特征空間和解釋空間找到一種映射關(guān)系，這種映射稱之為假說特征空間-從模式得到的對分類有用的度量、屬性或基元構(gòu)成的空間.解釋空間-將個類別表示為:其中為所屬類別的集合，稱為解釋空間。第三十七頁，共七十七頁，2022年，8月28日1.4P.R.分類假說的兩種獲得方法：

（1）監(jiān)督學(xué)習(xí)

（2）非監(jiān)督學(xué)習(xí)

第三十八頁，共七十七頁，2022年，8月28日P.R.分類監(jiān)督學(xué)習(xí)、概念驅(qū)動或歸納假說：在特征空間中找到一個與解釋空間的結(jié)構(gòu)相對應(yīng)的假說。在給定模式下假定一個解決方案，任何在訓(xùn)練集中接近目標的假說，也都必須在“未知”的樣本上得到近似的結(jié)果。

（1）依靠已知所屬類別的訓(xùn)練樣本集，按他們的特征向量分布來確定假說（通常為一判別函數(shù)），在判別函數(shù)確定之后能用他對未知的模式進行分類；

（2）對分類的模式要有足夠的先驗知識，通常需要采集足夠數(shù)量的具有典型性的樣本進行訓(xùn)練。

第三十九頁，共七十七頁，2022年，8月28日1.4P.R.分類非監(jiān)督學(xué)習(xí)、數(shù)據(jù)驅(qū)動或演繹假說：在解釋空間中找到一個與特征空間的結(jié)構(gòu)相對應(yīng)的假說。這種方法試圖找到一種只以特征空間中的相似關(guān)系為基礎(chǔ)的假說。

（1）在沒有先驗知識的前提下，通常采用聚類分析方法，基于“物以類聚”的觀點，用數(shù)學(xué)方法分析各特征向量之間距離及分散情況。

（2）如果特征向量聚集若干個群，可按群間距離遠近把他們劃分成類。

（3）這種按各類之間親疏程度的劃分，若事先能知道應(yīng)劃分幾類，則可獲得更好的分類效果。

第四十頁，共七十七頁，2022年，8月28日P.R.分類的主要方法（1）數(shù)據(jù)聚類。

（2）統(tǒng)計分類。

（3）結(jié)構(gòu)模式識別。

（4）神經(jīng)網(wǎng)絡(luò)。

第四十一頁，共七十七頁，2022年，8月28日P.R.分類的主要方法（1）數(shù)據(jù)聚類。

目標：用某種相似性度量的方法將原始數(shù)據(jù)組織成有意義的和有用的各種數(shù)據(jù)集。

是一種非監(jiān)督學(xué)習(xí)方法，解決的方案是數(shù)據(jù)驅(qū)動。第四十二頁，共七十七頁，2022年，8月28日P.R.分類的主要方法（2）統(tǒng)計分類。又稱為決策理論識別方法。

基于概率統(tǒng)計模型得到各類別的特征向量的分布，以取得

分類的方法。

特征向量分布的獲得是基于一個類別已知的訓(xùn)練樣本集。

是一種監(jiān)督分類方法，分類器是概念驅(qū)動的。第四十三頁，共七十七頁，2022年，8月28日P.R.分類的主要方法（3）結(jié)構(gòu)模式識別。

通過考慮識別對象各部分之間的聯(lián)系來達到識別分類的目的。

識別采用結(jié)構(gòu)匹配的方式，通過計算一個匹配程度值（matchingscore）來評估一個未知的對象或未知的對象的某些部分與某種典型形式的關(guān)系如何。

當成功地制定出了一組可以描述對象部分之間關(guān)系的規(guī)則后，可以應(yīng)用一種特殊的結(jié)構(gòu)模式識別方法—句法模式識別，來檢查一個模式基元的序列是否遵守某種規(guī)則，即句法規(guī)則或語法。創(chuàng)始人：傅京孫，1930-1985，美籍華人，傅京孫獎第四十四頁，共七十七頁，2022年，8月28日符號串（樹）：abcb第四十五頁，共七十七頁，2022年，8月28日P.R.分類的主要方法（4）神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)是受人腦組織的生理學(xué)啟發(fā)而創(chuàng)立的。

是由一系列互相聯(lián)系的、相同的單元(神經(jīng)元)組成，相互間的聯(lián)系可以在不同神經(jīng)元之間傳遞增強或抑制信號。增強或抑制是通過調(diào)整神經(jīng)元相互間聯(lián)系的權(quán)重系數(shù)(weight)實現(xiàn).神經(jīng)網(wǎng)絡(luò)可以實現(xiàn)監(jiān)督和非監(jiān)督學(xué)習(xí)條件下的分類。

第四十六頁，共七十七頁，2022年，8月28日模式的特征向量表示樣本：模式識別中，被觀測的每個對象稱為樣本。如手寫字符識別中的每個手寫字符。特征：對于一個樣本，每一個與識別有關(guān)的因素稱為一個特征。模式是樣本所具有的特征描述。特征向量：模式的特征集由處于同一個特征空間中的特征向量表示，特征向量的每一個元素為一個特征。第四十七頁，共七十七頁，2022年，8月28日模式的特征向量表示選擇2個特征選擇3個特征模式識別研究的問題即是在特征空間中如何將樣本點分類第四十八頁，共七十七頁，2022年，8月28日訓(xùn)練樣本監(jiān)督模式識別非監(jiān)督模式識別客體1.5模式識別系統(tǒng)信息獲取預(yù)處理特征提取和選擇分類器設(shè)計分類決策待識樣本通過各種傳感器訓(xùn)練過程第四十九頁，共七十七頁，2022年，8月28日1、信息獲取

為使計算機能夠?qū)腕w進行分類識別，必須使用計算機能夠接受的方式來表示客體。（1）二維圖像，如文字、指紋、照片等

CCD(ChargeCoupledDevice)、CMOS徠卡M8M8的柯達1030萬像素CCDCMOS圖像傳感器第五十頁，共七十七頁，2022年，8月28日1、信息獲取

（2）一維波形：語音、機械振動波、心電圖等語音信號利用MSP430設(shè)計的12位心電放大器采集的心電圖第五十一頁，共七十七頁，2022年，8月28日

（3）物理參量和邏輯值體溫、化驗數(shù)據(jù)、各種實驗數(shù)據(jù)、參量正常與否等。

通過測量、采樣和量化，可以用矩陣表示2D圖像，用向量表示1D波形，這就是信息的獲取過程。

物理量電信號，模擬信號數(shù)字信號

1、信息獲取第五十二頁，共七十七頁，2022年，8月28日2、預(yù)處理

預(yù)處理的目的是去除噪聲，加強有用的信息并對種種因素造成的退化現(xiàn)象進行復(fù)原。圖像預(yù)處理：直方圖修正、平滑濾波、邊緣檢測、圖像復(fù)原（已知退化模型）

第五十三頁，共七十七頁，2022年，8月28日3、特征提取和選擇通過傳感器獲取的信息原始數(shù)據(jù)量一般比較大。高速相機+IOIndustries高速記錄系統(tǒng)采集速度：850MByte/s1K*1K*1Byte,500f/s=500MByte/s第五十四頁，共七十七頁，2022年，8月28日高速記錄1—1280*1023第五十五頁，共七十七頁，2022年，8月28日高速記錄2—508*508第五十六頁，共七十七頁，2022年，8月28日高速記錄3—1536*1024第五十七頁，共七十七頁，2022年，8月28日高速記錄4—1536*1024第五十八頁，共七十七頁，2022年，8月28日3、特征提取和選擇

為有效地實現(xiàn)分類識別，要對原始數(shù)據(jù)進行選擇或者變換，得到最能反映分類本質(zhì)的特征，構(gòu)成特征向量。特征形成特征提取特征選擇第五十九頁，共七十七頁，2022年，8月28日3、特征提取和選擇特征形成

根據(jù)被識別的對象產(chǎn)生出一組基本特征，它可以是計算出來的，也可以是儀表或者傳感器測量出來的，這樣產(chǎn)生出來的特征叫原始特征。一般將原始數(shù)據(jù)組成的空間叫測量空間。

信息獲取階段，如數(shù)字圖像中的灰度值即可以看成是一種原始特征。第六十頁，共七十七頁，2022年，8月28日3、特征提取和選擇特征提取

原始特征數(shù)量可能很大，樣本處于一個高維空間里。通過映射或者變換的方法可以用低維空間來表示樣本，這個過程叫特征提取。

如1K*1K的灰度圖像相當于1K*1K維測量空間中的一個點。在高維空間中進行分類較為困難，且這種描述不能直接反映對象的本質(zhì)（灰度會隨著攝像機位置及照度等的變化而變化）變換

測量空間特征空間，通常為線性變換，如Fisher變換。

第六十一頁，共七十七頁，2022年，8月28日3、特征提取和選擇特征選擇

從一組特征中挑選出一些最有效的特征以達到降低特征空間維數(shù)的目的，這個過程叫特征選擇。降維兩大方法：

1、通過映射和變換把原始特征變?yōu)檩^少的新特征。

2、從原始特征中挑選出一些最有代表性的特征來。特征提取與選擇的原則盡量減小特征間的相關(guān)性一個極端的例子：圓識別，R—2R是兩個極度相關(guān)的特征第六十二頁，共七十七頁，2022年，8月28日4、分類器設(shè)計

為把待識別模式分配到各自的模式類中去，必須設(shè)計出一套分類判別規(guī)則?；咀龇ㄊ牵河靡欢〝?shù)量的樣本（稱為訓(xùn)練樣本集），確定出一套分類判別規(guī)則，使得按這套分類判別規(guī)則對待識模式進行分類所造成的錯誤識別率最小或引起的損失最小。如數(shù)字識別，首先要用0-9的訓(xùn)練樣本訓(xùn)練分類器。

第六十三頁，共七十七頁，2022年，8月28日5、分類決策

分類器按已確定的分類判別規(guī)則對待識模式進行分類判別，輸出分類結(jié)果。監(jiān)督模式識別與非監(jiān)督模式識別對于監(jiān)督模式識別，判別規(guī)則設(shè)計完成后轉(zhuǎn)入分類決策。對于非監(jiān)督模式識別，沒有訓(xùn)練樣本，分類器設(shè)計只能依靠待識別樣本集進行，分類器設(shè)計與決策一起完成，即設(shè)計完成后分類結(jié)果亦產(chǎn)生。

模式識別課程主要研究3、4、5部分。第六十四頁，共七十七頁，2022年，8月28日識別舉例在傳送帶上用光學(xué)傳感器對魚按品種分類品種鱸魚（Seabass）鮭魚（Salmon）識別過程（1）數(shù)據(jù)獲?。杭茉O(shè)一個攝像機，采集一些樣本圖像，獲取樣本數(shù)據(jù)。（2）預(yù)處理

：去噪聲，用一個分割操作把魚和魚之間以及魚和背景之