模式識別導(dǎo)論一

模式識別導(dǎo)論一參考書模式識別人民郵電出版社羅耀光盛立東模式識別清華大學(xué)出版社邊肇祺模式識別及應(yīng)用科學(xué)出版社付京蓀SyntacticPatternRecognitionandApplicationK.S.FuPatternRecognitionPrinciplesJ.T.TomR.C.Gouzales第2頁,共23頁，星期六，2024年，5月作業(yè)：大型上機(jī)作業(yè)題考試：開卷考試第3頁,共23頁，星期六，2024年，5月第一章概論

§1-1模式識別的基本概念一.模式識別的基本定義

模式(pattern)------存在于時(shí)間，空間中可觀察

的事物，具有時(shí)間或空間分布的信息。

模式識別(PatternRecognition)------用計(jì)算機(jī)實(shí)現(xiàn)人對各種事物或現(xiàn)象的分析,描述,判斷,識別。模式識別與圖象識別，圖象處理的關(guān)系

模式識別是模擬人的某些功能

模擬人的視覺:計(jì)算機(jī)+光學(xué)系統(tǒng)模擬人的聽覺:計(jì)算機(jī)+聲音傳感器模擬人的嗅覺和觸覺:計(jì)算機(jī)+傳感器第4頁,共23頁，星期六，2024年，5月二.模式識別的發(fā)展史1929年G.Tauschek發(fā)明閱讀機(jī)，能夠閱讀0-9的數(shù)字。30年代Fisher提出統(tǒng)計(jì)分類理論,奠定了統(tǒng)計(jì)模式識別的基礎(chǔ)。因此，在60～70年代，統(tǒng)計(jì)模式識別發(fā)展很快，但由于被識別的模式愈來愈復(fù)雜，特征也愈多，就出現(xiàn)“維數(shù)災(zāi)難”。但由于計(jì)算機(jī)運(yùn)算速度的迅猛發(fā)展，這個(gè)問題得到一定克服。統(tǒng)計(jì)模式識別仍是模式識別的主要理論。第5頁,共23頁，星期六，2024年，5月50年代NoamChemsky提出形式語言理論美籍華人付京蓀提出句法結(jié)構(gòu)模式識別。60年代L.A.Zadeh提出了模糊集理論，模糊模式識別理論得到了較廣泛的應(yīng)用。80年代Hopfield提出神經(jīng)元網(wǎng)絡(luò)模型理論。近些年人工神經(jīng)元網(wǎng)絡(luò)在模式識別和人工智能上得到較廣泛的應(yīng)用。90年代小樣本學(xué)習(xí)理論，支持向量機(jī)也受到了很大的重視。第6頁,共23頁，星期六，2024年，5月三.關(guān)于模式識別的國內(nèi)、國際學(xué)術(shù)組織1973年IEEE發(fā)起了第一次關(guān)于模式識別的國際會議“ICPR”，成立了國際模式識別協(xié)會---“IAPR”，每2年召開一次國際學(xué)術(shù)會議。1977年IEEE的計(jì)算機(jī)學(xué)會成立了模式分析與機(jī)器智能（PAMI）委員會，每2年召開一次模式識別與圖象處理學(xué)術(shù)會議。國內(nèi)的組織有電子學(xué)會，通信學(xué)會，自動化協(xié)會，中文信息學(xué)會….。第7頁,共23頁，星期六，2024年，5月§1-2模式識別系統(tǒng)信息的獲?。菏峭ㄟ^傳感器，將光或聲音等信息轉(zhuǎn)化為電信息。信息可以是二維的圖象如文字，圖象等；可以是一維的波形如聲波，心電圖，腦電圖；也可以是物理量與邏輯值。預(yù)處理：包括A\D,二值化，圖象的平滑，變換，增強(qiáng)，恢復(fù)，濾波等,主要指圖象處理。第8頁,共23頁，星期六，2024年，5月特征抽取和選擇：在模式識別中，需要進(jìn)行特征的抽取和選擇，例如，一幅64x64的圖象可以得到4096個(gè)數(shù)據(jù)，這種在測量空間的原始數(shù)據(jù)通過變換獲得在特征空間最能反映分類本質(zhì)的特征。這就是特征提取和選擇的過程。分類器設(shè)計(jì)：分類器設(shè)計(jì)的主要功能是通過訓(xùn)練確定判決規(guī)則，使按此類判決規(guī)則分類時(shí)，錯(cuò)誤率最低。把這些判決規(guī)則建成標(biāo)準(zhǔn)庫。分類決策：在特征空間中對被識別對象進(jìn)行分類。第9頁,共23頁，星期六，2024年，5月§1-3模式識別的應(yīng)用1.字符識別：包括印刷體字符的識別；手寫體字符的識別（脫機(jī)），各種OCR設(shè)備例如信函分揀、文件處理、卡片輸入、支票查對、自動排板、期刊閱讀、稿件輸入；在線手寫字符的識別（聯(lián)機(jī)），各種書寫輸入板。2.醫(yī)療診斷：心電圖，腦電圖，染色體，癌細(xì)胞識別，疾病診斷，例如關(guān)幼波肝炎專家系統(tǒng)。3.遙感：資源衛(wèi)星照片，氣象衛(wèi)星照片處理，數(shù)字化地球，圖象分辨率可以達(dá)到1米。第10頁,共23頁，星期六，2024年，5月4.指紋識別臉形識別5.檢測污染分析，大氣，水源，環(huán)境監(jiān)測。6.自動檢測：產(chǎn)品質(zhì)量自動檢測7.語聲識別，機(jī)器翻譯，電話號碼自動查詢，偵聽，機(jī)器故障判斷。8.軍事應(yīng)用第11頁,共23頁，星期六，2024年，5月§1-4模式識別的基本問題一.模式(樣本)表示方法向量表示:假設(shè)一個(gè)樣本有n個(gè)變量(特征)Ⅹ=(X1,X2,…,Xn)T2.矩陣表示:N個(gè)樣本，n個(gè)變量(特征)第12頁,共23頁，星期六，2024年，5月3.幾何表示一維表示

X1=1.5X2=3

二維表示

X1=(x1,x2)T=(1,2)T

X2=(x1,x2)T=(2,1)T

三維表示

X1=(x1,x2,x3)T=(1,1,0)T

X2=(x1,x2,x3)T=(1,0,1)T第13頁,共23頁，星期六，2024年，5月4.基元（鏈碼）表示：在右側(cè)的圖中八個(gè)基元分別表示0，1，2，3，4，5，6，7，八個(gè)方向和基元線段長度。則右側(cè)樣本可以表示為

X1=006666這種方法將在句法模式識別中用到。第14頁,共23頁，星期六，2024年，5月二.模式類的緊致性1.緊致集：同一類模式類樣本的分布比較集中，沒有或臨界樣本很少，這樣的模式類稱緊致集。第15頁,共23頁，星期六，2024年，5月2.臨界點(diǎn)(樣本)：在多類樣本中，某些樣本的值有微小變化時(shí)就變成另一類樣本稱為臨界樣本（點(diǎn)）。3.緊致集的性質(zhì)①要求臨界點(diǎn)很少②集合內(nèi)的任意兩點(diǎn)的連線,在線上的點(diǎn)屬于同一集合③集合內(nèi)的每一個(gè)點(diǎn)都有足夠大的鄰域,在鄰域內(nèi)只包含同一集合的點(diǎn)4.模式識別的要求:滿足緊致集，才能很好的分類；如果不滿足緊致集，就要采取變換的方法,滿足緊致集.第16頁,共23頁，星期六，2024年，5月三.相似與分類

1.兩個(gè)樣本xi，xj之間的相似度量滿足以下要求：①應(yīng)為非負(fù)值②樣本本身相似性度量應(yīng)最大③度量應(yīng)滿足對稱性④在滿足緊致性的條件下，相似性應(yīng)該是點(diǎn)間距離的單調(diào)函數(shù)

2.用各種距離表示相似性：①絕對值距離已知兩個(gè)樣本

xi=(xi1,xi2,xi3,…,xin)Txj=(xj1,xj2,xj3,…,xjn)T

第17頁,共23頁，星期六，2024年，5月②歐幾里德距離③明考夫斯基距離

其中當(dāng)q=1時(shí)為絕對值距離，當(dāng)q=2時(shí)為歐氏距離第18頁,共23頁，星期六，2024年，5月④切比雪夫距離

q趨向無窮大時(shí)明氏距離的極限情況⑤馬哈拉諾比斯距離

其中xi，xj為特征向量，為協(xié)方差。使用的條件是樣本符合正態(tài)分布第19頁,共23頁，星期六，2024年，5月⑥夾角余弦為xixj的均值即樣本間夾角小的為一類，具有相似性例：x1,x2,x3的夾角如圖：因?yàn)閤1,x2的夾角小，所以x1,x2最相似。x1x2x1x2x3第20頁,共23頁，星期六，2024年，5月⑦相關(guān)系數(shù)為xixj的均值注意：在求相關(guān)系數(shù)之前，要將數(shù)據(jù)標(biāo)準(zhǔn)化3.分類的主觀性和客觀性①分類帶有主觀性：目的不同，分類不同。例如：鯨魚，牛，馬從生物學(xué)的角度來講都屬于哺乳類，但是從產(chǎn)業(yè)角度來講鯨魚屬于水產(chǎn)業(yè)，牛和馬屬于畜牧業(yè)。②分類的客觀性：科學(xué)性判斷分類必須有客觀標(biāo)準(zhǔn)，因此分類是追求客觀性的，但主觀性也很難避免，這就是分類的復(fù)雜性。第21頁,共23頁，星期六，2024年，5月四.特征的生成

1.低層特征：①無序尺度：有明確的數(shù)量和數(shù)值。②有序尺度：有先后、好壞的次序關(guān)系，如酒分為上，中，下三個(gè)等級。③名義尺度：無數(shù)量、無次序關(guān)系，如有紅，黃兩種顏色

2.中層特征：經(jīng)過計(jì)算，變換得到的特征

3.高層特征：在中層特征的基礎(chǔ)上有目的的經(jīng)過運(yùn)算形成例如：椅子的重量=體積*比重體積與長，寬，高有關(guān)；比重與材料，紋理，顏色有關(guān)。這里低、中、高三層特征都有了。第22頁,共23頁，星期六，2024年，5月五.數(shù)據(jù)的標(biāo)準(zhǔn)化

1.極差標(biāo)準(zhǔn)化