模式識別講稿

模式識別講稿第一頁，共六十六頁，編輯于2023年，星期日預(yù)處理、去噪、校正、能量均衡、光補(bǔ)償、歸一化、測量空間……特征空間、特征向量、特征選擇、分支界定算法、模擬退火、遺傳算法、群算法……特征提取、主成分分析、K-L變換、降維方法、Fisher算法……相似度度量、n維空間、空間距離、模板匹配……模式分類、分類器、感知器算法、LMSE算法……幾何分類、線性可分、線性不可分、勢函數(shù)……概率分類、Bayes法則、最小錯誤決策、最小風(fēng)險決策、最小最大決策……正態(tài)分布、概率密度函數(shù)、均值向量、方差矩陣、對分類的影響……第二頁，共六十六頁，編輯于2023年，星期日聚類與分類、維數(shù)相關(guān)性、聚類準(zhǔn)則……最近鄰法、k近鄰法、最大最小距離法、層次分類法、最小張樹法……K-均值算法、ISO-DATA算法……概念合取聚類法……模糊分類、隸屬函數(shù)、擇近原則、貼近度……智能模式識別、感知器模型、前饋網(wǎng)絡(luò)、誤差反向傳播網(wǎng)絡(luò)BP、RBF網(wǎng)絡(luò)、Hopfield網(wǎng)絡(luò)……支持向量機(jī)SVM、廣義線性分類面、核函數(shù)、徑向基……結(jié)構(gòu)模式識別、基元提取、基元編碼、模式文法（0型、I型、II型、III型）……串的識別、有限自動機(jī)、下推自動機(jī)……第三頁，共六十六頁，編輯于2023年，星期日參考書目沈清等，模式識別導(dǎo)論，國防科技大學(xué)出版社蔡元龍，模式識別，西北電訊工程學(xué)院出版社邊肇祺，模式識別，清華大學(xué)出版社舒寧，模式識別的理論與方法，武漢大學(xué)出版社楊正光，模式識別，中國科技大學(xué)出版社傅京孫，模式識別及其應(yīng)用，科學(xué)出版社第四頁，共六十六頁，編輯于2023年，星期日參考書目AndrewR.WebbStatisticalPatternRecognitionRichardO.Duda,PetterE.Hart,DavidG.StorkPatternClassificationJohnShaw-Taylor,NellCristicoini,

KernalMethodforPatternAnalysis第五頁，共六十六頁，編輯于2023年，星期日講課內(nèi)容概述統(tǒng)計(jì)模式識別-幾何可分時統(tǒng)計(jì)模式識別-概率分類法聚類分析結(jié)構(gòu)模式識別第六頁，共六十六頁，編輯于2023年，星期日第一章概述概念模式識別系統(tǒng)模式識別的方法模式信息的采集預(yù)處理第七頁，共六十六頁，編輯于2023年，星期日一、概念識別能力是人的本能客體具體客體：視覺-帥哥、靚妹聽覺-汽車剎車嗅覺-臭豆腐味覺-紅燒肉觸覺-瞎子摸象抽象客體：論點(diǎn)、思想、信仰第八頁，共六十六頁，編輯于2023年，星期日一、概念廣義的模式識別的定義模式是一些供模仿用的標(biāo)本。模式識別就是識別出特定客體所模仿的標(biāo)本。（存在于時間和空間可觀察到的事物，如我們可區(qū)分它們是否相同或相似，都可以稱之為模式。模式識別，就是在于面對具體事物，將其正確的歸入某一類別。）第九頁，共六十六頁，編輯于2023年，星期日一、概念狹義的定義

模式是對某感興趣的客體的定量或結(jié)構(gòu)描述，模式類是具有某些共同特征的模式的集合。模式識別是研究一種自動技術(shù)，依靠這種技術(shù)，機(jī)器將自動（或人盡量少的干涉）把待識別模式分配到各自的模式類中去第十頁，共六十六頁，編輯于2023年，星期日一、概念例：漢字“山”，按水平、垂直方向投影量化為（0，1，2，2，3）（2，1，3，1，2）或按網(wǎng)格黑白點(diǎn)量化為（0000000，0001000，

1001001，1001001，

1001001，1001001，

1111111）模式（特征向量）第十一頁，共六十六頁，編輯于2023年，星期日一、概念識別：

山

山第十二頁，共六十六頁，編輯于2023年，星期日一、概念模式不是具體事物本身模式往往表現(xiàn)為具有時間或空間分布的信息信息要取樣、量化計(jì)算機(jī)中信息表示一般為向量或數(shù)組，下標(biāo)對應(yīng)時間或空間，但并不唯一（例如：醫(yī)院化驗(yàn)項(xiàng)目和結(jié)論）廣義的時間和空間，我們泛指特征空間第十三頁，共六十六頁，編輯于2023年，星期日一、概念模式識別的另一定義

模式是對某個具體客體進(jìn)行觀察所得到的具有時間和空間分布的信息，而把模式所屬的類別或同一類中模式的總體稱為模式類，而給每個類命名，并用特定的符號來表示這個名字，那么模式識別就可以看成是具有時間和空間分布的信息向著符號集所作的映射。（也有人把模式類稱為模式，把具體的個別模式稱為樣本）第十四頁，共六十六頁，編輯于2023年，星期日二、模式識別系統(tǒng)模式識別系統(tǒng)由設(shè)計(jì)和實(shí)現(xiàn)兩過程組成

設(shè)計(jì)：用一定數(shù)量的樣品（也叫訓(xùn)練集或?qū)W習(xí)集）進(jìn)行分類器的訓(xùn)練

實(shí)現(xiàn)：用設(shè)計(jì)的分類器對待識別樣品進(jìn)行分類決策信息獲取預(yù)處理特征提取和選擇分類器設(shè)計(jì)分類決策第十五頁，共六十六頁，編輯于2023年，星期日二、模式識別系統(tǒng)1.信息獲?。?）一維波形（曲線）（2）二維圖象（曲面）（3）物理參數(shù)量、邏輯值采樣、量化、用矩陣或向量表示2.預(yù)處理去噪（干擾）加強(qiáng)有效信號復(fù)原（糾偏）第十六頁，共六十六頁，編輯于2023年，星期日二、模式識別系統(tǒng)3.特征提取和選擇對原始數(shù)據(jù)進(jìn)行交換，得到最能反映分類本質(zhì)的特征。測量空間：原始數(shù)據(jù)組成的空間特征空間：模式識別進(jìn)行的空間變換：把維數(shù)較高的測量空間中表示的模式變?yōu)榫S數(shù)較低的特征空間中表示的模式。

特征空間中的一個模式（樣本），往往可表示為一個向量(特征向量)，即看成是特征空間中的一個點(diǎn)。4.分類決策第十七頁，共六十六頁，編輯于2023年，星期日三、模式識別方法模式識別方法分類：統(tǒng)計(jì)模式識別結(jié)構(gòu)（句法）模式識別隨著發(fā)展和與其它學(xué)科的滲透：

模糊模式識別智能模式識別（邏輯推理法神經(jīng)網(wǎng)絡(luò)法）支持向量機(jī)基于認(rèn)知的模式識別……“古典”的方法第十八頁，共六十六頁，編輯于2023年，星期日三、模式識別方法1.統(tǒng)計(jì)模式識別舉例例：19名男女參加體檢，測量了身高，體重，血型……事后發(fā)現(xiàn)4人忘記了填寫性別，試問他們是男是女？編號身高體重…性別117068…男215048…女：：：：1515250…女1617370…？：：：：第十九頁，共六十六頁，編輯于2023年，星期日三、模式識別方法這里，待識別的模式類是：男，女測量空間：身高，體重，血型……

特征空間(2維)：身高，體重

特征向量：(170,68),(150,48)…訓(xùn)練集：15名已知的樣本特征（集）目的：建立一數(shù)學(xué)模型（判別函數(shù)），對4個未知模式進(jìn)行識別為直觀起見，我們繪出特征空間分布圖第二十頁，共六十六頁，編輯于2023年，星期日三、模式識別方法希望找出一個判別函數(shù)

d(x1,x2)=0當(dāng)

d(x1,x2)<0則女

d(x1,x2)>0則男模式識別：就是通過統(tǒng)計(jì)的方法獲得最優(yōu)的判別函數(shù)（常用線形的或二次的）身高體重1002002550。。。。。。。。。。。。。？？？？模式樣本在特征空間的分布圖判別邊界第二十一頁，共六十六頁，編輯于2023年，星期日三、模式識別方法2.結(jié)構(gòu)（句法）模式識別舉例例：識別英語句子“thisboyrunsquickly”-句子用簡單子句表示

-子句用更簡單子句、短語、語組、單詞

-這些基元按一定結(jié)構(gòu)關(guān)系組織

-多數(shù)采用樹形結(jié)構(gòu)表示

句子名詞短語動詞短語冠詞名詞動詞副詞TheTheboygirlrunsplaysquicklycheerfully第二十二頁，共六十六頁，編輯于2023年，星期日三、模式識別方法訓(xùn)練時：用已知結(jié)構(gòu)句為訓(xùn)練樣本，先識別基元和相互連接關(guān)系，再用構(gòu)造文法描述該句型的文法。識別時：先對未知結(jié)構(gòu)句進(jìn)行基元識別及結(jié)構(gòu)分析，然后用訓(xùn)練得到的文法作句法分析，如果能夠被某個文法規(guī)則分析出來，那該句就是相同的句型。統(tǒng)計(jì)方法與句法（結(jié)構(gòu)）方法在模式識別中是相互補(bǔ)充的。第二十三頁，共六十六頁，編輯于2023年，星期日模式識別課選題模式識別基礎(chǔ)理論特征提取、降維與特征選擇統(tǒng)計(jì)模式識別結(jié)構(gòu)模式識別無監(jiān)督學(xué)習(xí)、聚類人工神經(jīng)網(wǎng)絡(luò)支持向量機(jī)、核方法基于認(rèn)知的識別方法模型選擇、貝葉斯學(xué)習(xí)集成學(xué)習(xí)半監(jiān)督學(xué)習(xí)等第二十四頁，共六十六頁，編輯于2023年，星期日模式識別課選題模式識別應(yīng)用1----圖像與視頻處理圖像處理與增強(qiáng)圖像與視頻分割圖像特征提取基于內(nèi)容的圖像/視頻檢索圖形學(xué)與可視化信息隱藏與數(shù)字水印第二十五頁，共六十六頁，編輯于2023年，星期日模式識別課選題模式識別應(yīng)用2----計(jì)算機(jī)視覺視覺信息加工模型攝像機(jī)標(biāo)定、三維視覺機(jī)器人定位和視覺導(dǎo)航目標(biāo)描述與識別運(yùn)動目標(biāo)檢測與跟蹤運(yùn)動目標(biāo)行為分析視頻內(nèi)容語義理解場景理解第二十六頁，共六十六頁，編輯于2023年，星期日模式識別課選題模式識別應(yīng)用3----語音語言信息處理語音識別與說話人識別語音合成機(jī)器翻譯、口語翻譯、人機(jī)對話自然語言處理的基礎(chǔ)研究文本檢索自動文摘信息抽取文字識別與文檔分析語料庫與語言知識庫建設(shè)第二十七頁，共六十六頁，編輯于2023年，星期日模式識別課選題模式識別其它應(yīng)用多模態(tài)人機(jī)交互情感計(jì)算醫(yī)學(xué)圖像與腦成像遙感圖像分析生物特征識別生物信息學(xué)網(wǎng)絡(luò)內(nèi)容管理、搜索與安全智能機(jī)器人工業(yè)應(yīng)用第二十八頁，共六十六頁，編輯于2023年，星期日模式識別課參考文獻(xiàn)課后郵件發(fā)給大家第二十九頁，共六十六頁，編輯于2023年，星期日四、模式信息的采集三種類型的數(shù)據(jù)：（1）一維波形（2）二維圖象（3）物理參量其中（3）已經(jīng)為數(shù)值表示，不需要采集。（1）（2）需用采集裝置（儀器）數(shù)值化后計(jì)算機(jī)才能處理，即非電量轉(zhuǎn)換為電量，再數(shù)字化（A/D）的過程。（我們略去非電量儀器采集的問題，主要討論數(shù)字化過程中的幾個問題。）第三十頁，共六十六頁，編輯于2023年，星期日四、模式信息的采集1.傅里葉變換任何信息的轉(zhuǎn)移有三種形式傳遞（transfer）：把信號（圖象、聲音）原封不動的傳遞。如透鏡成像、話筒拾音。調(diào)制（modulation）：用周期或非周期脈沖相乘的傳遞方法。例將模擬信號截?cái)酁殡x散點(diǎn)圖象，特點(diǎn)是與原圖形基本相似。變換(transform)：對信號進(jìn)行數(shù)學(xué)計(jì)算（變換）后傳遞，形成與原信號完全不同，但反變換后依然一樣的信號。傅里葉變換是數(shù)學(xué)變換中的一種，也是最常用的一種變換。第三十一頁，共六十六頁，編輯于2023年，星期日四、模式信息的采集富氏變換說明任何一個復(fù)雜波都可以分解為許多振幅、相位、周期不同的簡諧波的迭加。例：彈簧衰減震蕩波形

用公式表示：++

=

簡諧波第三十二頁，共六十六頁，編輯于2023年，星期日四、模式信息的采集（1）一維富氏變換（聲音等）積分實(shí)際上是求和x(t)確定后X(f)是唯一確定的，同樣X(f)確定后x(t)也唯一確定，x(t)X(f)一一對應(yīng)富氏變換有明確物理意義，X(f)為x(t)的頻譜X(f)是復(fù)函數(shù)，故可表示為第三十三頁，共六十六頁，編輯于2023年，星期日四、模式信息的采集

振幅譜

相位譜fA(f)fφ(f)第三十四頁，共六十六頁，編輯于2023年，星期日四、模式信息的采集（2）二維富氏變換（圖象處理）同樣：第三十五頁，共六十六頁，編輯于2023年，星期日四、模式信息的采集但二維富氏變換的振幅譜和相位譜不式那么直觀，是一個曲面uvA(u,v)第三十六頁，共六十六頁，編輯于2023年，星期日四、模式信息的采集2.采樣定理

Δt等間距采樣，Δt越小，精度越高，Δt越大，越節(jié)省電路和存儲

Δt=?Δt第三十七頁，共六十六頁，編輯于2023年，星期日四、模式信息的采集(1)從正弦波談起（直覺及結(jié)果）

s(t)=Asin(t)=Asin(2πft+φ)

Δt=T/2(或>T/2)無法恢復(fù)s(t)

Δt<T/2=1/2f可以恢復(fù)s(t)

ts(t)φTA第三十八頁，共六十六頁，編輯于2023年，星期日四、模式信息的采集(2)采樣定理

fA(f)fcfmax第三十九頁，共六十六頁，編輯于2023年，星期日四、模式信息的采集3.語音信號的采集儀器：動圈式話筒、電容式話筒人耳聽到的聲音通常在:20Hz—20000Hz

人能夠發(fā)出：100Hz—8000Hz以模式識別的應(yīng)用語音識別時的采樣

Δt≤1/(2×8000)≈6.25-5≈60ms

聲音識別

Δt≤1/(2×20000)≈2.5-5≈25ms

第四十頁，共六十六頁，編輯于2023年，星期日四、模式信息的采集4.圖象信息采集儀器：掃描儀、攝像機(jī)、數(shù)碼相機(jī)、遙感遙測以掃描儀為例:

常用黑白掃描儀解析度為300dpi

反推它的（最大）可視動態(tài)

Δt=1inch/300=25.4mm/300=0.0847mmfmax=1/2Δt≈5.9/mm

也就是說，在這樣的分辨率的掃描儀掃出的圖象，無論如何處理，最多一毫米內(nèi)只能夠分辨出5條線來。第四十一頁，共六十六頁，編輯于2023年，星期日五、預(yù)處理

在特征提?。ㄓ蓽y量空間到特征空間）前，對采集的數(shù)據(jù)的干擾、噪聲、能量不均勻、失真、畸變、模糊等進(jìn)行彌補(bǔ)和校正。

第四十二頁，共六十六頁，編輯于2023年，星期日五、預(yù)處理1.(能量)歸一化由于采集儀器距離的改變造成數(shù)據(jù)能量的改變?nèi)鐃1-t0=n那么能量

能量譜t0t1(t0+t1)/2G(t)x(t)第四十三頁，共六十六頁，編輯于2023年，星期日五、預(yù)處理得到能量譜曲線，然后歸一化后數(shù)據(jù)

對于二維圖象由于光線照射的傾斜或射角的傾斜而造成的信號強(qiáng)度的衰減，也可以用類似方法解決，但窗口是二維的以半徑為參數(shù)的圓。第四十四頁，共六十六頁，編輯于2023年，星期日五、預(yù)處理2.圖象的幾何校正糾正圖形的幾何失真。如原坐標(biāo)系（x,y)，失真坐標(biāo)系（x’,y’），兩系統(tǒng)之間的變換方程：

x’=h1(x,y)y’=h2(x,y)對于透視失真（放大、縮小、位移）變換方程是線形的

x’=a11x+a12y+a13y’=a21x+a22y+a23

先用三個已知坐標(biāo)的點(diǎn)，得到線性方程的系數(shù)，再對所有的點(diǎn)進(jìn)行校正第四十五頁，共六十六頁，編輯于2023年，星期日五、預(yù)處理對于投影失真（變形）變換方程

先在圖上找到一些已知準(zhǔn)確坐標(biāo)的點(diǎn)，計(jì)算出該系數(shù)矩陣，再對所有的點(diǎn)進(jìn)行校正。第四十六頁，共六十六頁，編輯于2023年，星期日五、預(yù)處理4.干擾與噪聲的刪除（1）理想低通、帶通、高通濾波器濾波器：

X(f)X’(f)X’(f)=H(f)X(f)H(f)fH(f)1fcfH(f)1fcfH(f)1f0f01f≤fcH(f)=

0f>fc0f<f0H(f)=1f0

≤f≤f0

0f>f00f<f0H(f)=

1f≥f0第四十七頁，共六十六頁，編輯于2023年，星期日五、預(yù)處理二維的理想低通濾波器

uvH(u,v)DH(u,v)D01D(u,v)≤D0

H(u,v)=0其它D(u,v)=（u2+v2)1/2D0為截止頻率D0第四十八頁，共六十六頁，編輯于2023年，星期日五、預(yù)處理理想濾波器當(dāng)已知干擾源的頻率時干擾源頻率于有效信號的頻率不重疊可能會影響信號截頻附近的清晰（對于聲音是噪聲，二維圖象就是對清晰度的影響）實(shí)際使用的濾波器都要通過鑲邊來解決由于頻率域的突變而對時間域的干擾第四十九頁，共六十六頁，編輯于2023年，星期日五、預(yù)處理（2）n階巴特沃思濾波器H(u,v)（濾波器，傳遞函數(shù)）是一個漸變函數(shù)。D=0時，H(u,v)=1；D=D0時，H(u,v)=0.5。N越大濾波器越陡，越接近理想濾波器。這種濾波器濾去了大部分的噪音，但減少了對圖象邊緣的影響。一維的n階巴特沃思濾波器可類推。類似的濾器還有梯形濾波器、指數(shù)濾波器等。

uvH(u,v)DH(u,v)10.5D0第五十頁，共六十六頁，編輯于2023年，星期日五、預(yù)處理5.圖象邊緣的增強(qiáng)使圖形中景物的邊緣或輪廓變的清晰，也稱為圖象的蛻化處理。（1）梯度蛻化法思路：把圖象看成是各象素點(diǎn)灰度值組成的數(shù)據(jù)場?；叶葦?shù)據(jù)場為f(x,y),其梯度為

g(x,y)=grad[f(x,y)]

其模：第五十一頁，共六十六頁，編輯于2023年，星期日五、預(yù)處理用差分來計(jì)算偏導(dǎo)數(shù)三點(diǎn)法四點(diǎn)法三點(diǎn)法

用絕對值近似

.f(x,y).f(x+1,y).f(x,y+1).f(x,y).f(x+1,y).f(x,y+1).f(x+1,y+1)第五十二頁，共六十六頁，編輯于2023年，星期日五、預(yù)處理四點(diǎn)法

用絕對值近似四點(diǎn)法要比三點(diǎn)法精確一些

第五十三頁，共六十六頁，編輯于2023年，星期日五、預(yù)處理將各點(diǎn)灰度梯度值視為處理后的灰度值，即令：

g(x,y)=grad[f(x,y)]結(jié)果如圖蛻化后原灰度平緩區(qū)域的層次被模糊了，若想得到清晰邊界，同時保持內(nèi)部緩變的層次，可用閾值梯度法

g(x,y)=grad[f(x,y)]當(dāng)grad[f(x,y)]>Tf(x,y)其它結(jié)果：第五十四頁，共六十六頁，編輯于2023年，星期日五、預(yù)處理（2）拉普拉斯算子蛻化法思路：圖象的模糊可以用擴(kuò)散方程來模擬。即理解為膠片記錄圖象時，膠片在感光或化學(xué)處理過程中，某一強(qiáng)感光點(diǎn)可按擴(kuò)散方程把感光現(xiàn)象擴(kuò)散到了臨近的象素點(diǎn)上了。常用的擴(kuò)散方程式就是拉普拉斯方程該方程主要用于三維無源靜電場的電位分布或恒溫溫度場的溫度計(jì)算。第五十五頁，共六十六頁，編輯于2023年，星期日五、預(yù)處理現(xiàn)近似把它用于二維情況其物理意義：平面場中某一點(diǎn)的物理量（灰度值）對時間的偏導(dǎo)數(shù)和該點(diǎn)的拉普拉斯算子成正比

設(shè)：t=0時圖象未模糊，為f(x,y,0)t=τ時圖象模糊，為f(x,y,τ)拉普拉斯算子第五十六頁，共六十六頁，編輯于2023年，星期日五、預(yù)處理將函數(shù)f(x,y,t)用泰勒級數(shù)展開

第五十七頁，共六十六頁，編輯于2023年，星期日五、預(yù)處理欲恢復(fù)的圖象t=0

此式表示，邊緣清晰的圖象可以用已知的模糊圖象與拉普拉斯算子求得。

第五十八頁，共六十六頁，編輯于2023年，星期日五、預(yù)處理用差分法來計(jì)算拉氏算子（五點(diǎn)法）代入g(x,y)

.x,y-1.x-1,y.x,y.x+1,y

.x,y+1第五十九頁，共六十六頁，編輯于2023年，星期日五、預(yù)處理g(x,y)=f(x,y)-τK[f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y)]令τK=K’略去f(x,y,τ)中τg(x,y)=f(x,y)+5K’f(x,y)-5K’(1/5)[f(x,y)+f(x+1,y)+f(x-1,y)+f(x,f+1)+f(x,y-1)]=(1+5K’)f(x,y)-5K’favg(x,y)=Af(x,y)-Bfavg(x,y)其中：A=(1+5K’),B=5K’favg(x,y)為(x,y)周圍五點(diǎn)平均灰度值第六十頁，共六十六頁，編輯于2023年，星期日五、預(yù)處理此式表示，圖象某點(diǎn)得灰度值等于已知模糊圖象同一點(diǎn)的灰度值，減去鄰域象素點(diǎn)的平均灰度值減去平均值相當(dāng)于減去了模糊的成分，故能有突出邊緣的效果此公式與梯度蛻化法的公式類似，也為其提供了理論根據(jù)

梯度蛻化法：第六十一頁，共六十六頁，編輯于2023年，星期日五、預(yù)處理6.圖象的區(qū)域平滑用于文字識別的預(yù)處理去胡椒、白點(diǎn)1）Unger平滑算法

3x3窗口（米字窗口）xexhxkxfxixlxgxjxm第六十二頁，共六十六頁，編輯于2023年，星期日五、預(yù)處理（1）填白點(diǎn)當(dāng)且僅當(dāng)窗口相應(yīng)位置滿足以下條件時，將xi填為黑點(diǎn)：

i)xi為黑點(diǎn)，或者ii)xf,xh,xl,xj中至少有三個為黑點(diǎn)（2）去黑點(diǎn)當(dāng)且僅當(dāng)xi為黑點(diǎn),且滿足以下條件時，才保留xi為黑點(diǎn)