模式識別講義第一章

模式識別講義第一章第1頁，課件共28頁，創(chuàng)作于2023年2月第一章引言模式識別基本概念模式識別的發(fā)展模式識別的方法模式識別系統(tǒng)的基本原理模式識別的基本問題第2頁，課件共28頁，創(chuàng)作于2023年2月例子1：醫(yī)生診病過程

1)測量病人的體溫和血壓，化驗血沉，詢問臨床表現(xiàn)；

2)通過綜合分析，抓住主要病癥；

3)醫(yī)生運用自己的知識、經(jīng)驗，根據(jù)主要病癥、測量化驗結(jié)果，作出正確的診斷。在模式識別技術(shù)中，常用的術(shù)語有：樣本、模式、特征、類型等等，對照醫(yī)生診病過程，有：a.樣本：醫(yī)院里的眾多患者，每個患者都是一個樣本；

單一樣本：醫(yī)生診斷的某一患者，就是樣本空間中的一個單一樣本；

樣本值：某一患者的化驗、檢查結(jié)果與表征現(xiàn)象。b.模式：各樣本值按一定的數(shù)據(jù)準則綜合的結(jié)果；

模式樣本：具有某種模式的樣本；

模式采集：獲取某樣本的測量數(shù)值的過程；第3頁，課件共28頁，創(chuàng)作于2023年2月醫(yī)生診病過程c.特征：患者某些具有顯著特征的化驗數(shù)據(jù)及表征；

特征選擇與提取：能表征(疾病)特異性的化驗結(jié)果與表征；d.判決：醫(yī)生運用知識、病例經(jīng)驗綜合分析給出診斷；

判決準則/規(guī)則：醫(yī)生的知識

判決結(jié)果：將患者明確(或以概率)確定為某一種病癥(或多種/并發(fā)病癥)的患者(及病患嚴重程度)事實上，最后的結(jié)果也成為分類。因此有預(yù)先知道類別(已知病癥)與未知類別(未知病癥)的區(qū)別。模式識別：就是以計算機為工具、各種傳感器為信息來源，數(shù)據(jù)計算與處理為方法，對各種現(xiàn)象、事物、狀態(tài)等進行準確地分析、判斷識別與歸類。第4頁，課件共28頁，創(chuàng)作于2023年2月模式：是一個物體或感興趣實體的定量的或結(jié)構(gòu)的描述。模式類：是具有某些共同特性的模式的集合。模式識別：從不相關(guān)的細節(jié)背景中，抽取數(shù)據(jù)的有意義的特征或?qū)傩?根據(jù)這些特征和屬性對數(shù)據(jù)進行分類，把特征和屬性相同的數(shù)據(jù)歸成同一類。具體項目的識別：識別字符、圖畫某些其他、音樂及周圍事物的過程，分為視覺和聽覺識別。抽象項目的識別：不靠外界的感官刺激而識別一個古老的論點或某個問題的解答。基本概念第5頁，課件共28頁，創(chuàng)作于2023年2月模式識別的發(fā)展1929年G.Tauschek發(fā)明閱讀機，能夠閱讀0-9的數(shù)字。30年代Fisher提出統(tǒng)計分類理論,奠定了統(tǒng)計模式識別的基礎(chǔ)。因此，在60～70年代，統(tǒng)計模式識別發(fā)展很快，但由于被識別的模式愈來愈復(fù)雜，特征也愈多，就出現(xiàn)“維數(shù)災(zāi)難”。隨著計算機運算速度的迅猛發(fā)展，這個問題得到一定克服。目前，統(tǒng)計模式識別仍是模式識別的主要理論。50年代NoamChemsky提出形式語言理論，在此基礎(chǔ)上，美籍華人付京蓀提出句法結(jié)構(gòu)模式識別。60年代L.A.Zadeh提出了模糊集理論，模糊模式識別理論得到了較廣泛的應(yīng)用。第6頁，課件共28頁，創(chuàng)作于2023年2月模式識別的發(fā)展80年代Hopfield提出神經(jīng)元網(wǎng)絡(luò)模型理論。近些年人工神經(jīng)元網(wǎng)絡(luò)在模式識別和人工智能上得到較廣泛的應(yīng)用。90年代小樣本學習理論，支持向量機也受到了很大的重視。1973年IEEE發(fā)起了第一次關(guān)于模式識別的國際會議“ICPR”，成立了國際模式識別協(xié)會---“IAPR”，每2年召開一次國際學術(shù)會議；1977年IEEE的計算機學會成立了模式分析與機器智能（PAMI）委員會，每2年召開一次模式識別與圖象處理學術(shù)會議；國內(nèi)的組織有電子學會，通信學會，自動化協(xié)會，中文信息學會….。第7頁，課件共28頁，創(chuàng)作于2023年2月模式識別的發(fā)展模式識別的應(yīng)用領(lǐng)域更加廣泛：生物、醫(yī)學、軍事、農(nóng)業(yè)、工業(yè)、社會、教育、航天、航空、經(jīng)濟、金融、生物認證、數(shù)字水印……基于語音：重點人物通信監(jiān)控語音識別系統(tǒng)/規(guī)模音頻資料檢索基于圖像：光學字符識別(OpticalCharacterRecognitionOCR)/車牌識別(VehicleLicensePlateRecognitionVLPR)/人臉識別/指紋識別/簽名認證/支票認證/表情和手勢識別/農(nóng)作物分類與害蟲識別/生物信息學：DNA識別/航空與衛(wèi)星遙測遙感數(shù)據(jù)資源調(diào)查/軍用目標的圖像識別/基于圖形模式識別的機器人控制等基于工程數(shù)據(jù)：振動模式分析與故障診斷/石油鉆井數(shù)據(jù)分析與事故預(yù)報/基于狀態(tài)模式的智能控制/數(shù)據(jù)挖掘與知識發(fā)現(xiàn)等第8頁，課件共28頁，創(chuàng)作于2023年2月模式識別的發(fā)展模式識別的計算手段更加先進：海量存儲技術(shù)、高速計算/并行計算技術(shù)、網(wǎng)格技術(shù)、網(wǎng)絡(luò)技術(shù)、新型前端器件(激光、紅外、MEMS、傳感器網(wǎng)絡(luò))……模式識別的新型算法層出不窮：

Computationwithword(Zadeh)SoftComputationDNAComputation……國內(nèi)外模式識別的學術(shù)活動從未間斷:

小波/模式識別國際會議、機器學習/模式識別國際會議、圖像處理/模式識別國際會議、數(shù)據(jù)挖掘/模式識別國際會議……第9頁，課件共28頁，創(chuàng)作于2023年2月模式識別的方法決策理論方法（統(tǒng)計識別法）：以判別函數(shù)為基礎(chǔ)，利用判別函數(shù)對模式進行分類。句法模式識別（結(jié)構(gòu)模式識別）：將對象分解為若干個基本單元—基元，用基元和他們的結(jié)構(gòu)關(guān)系描述對象，運用形式語言理論進行句法分析，根據(jù)其是否符合某一類的文法而決定其類別。模糊模式識別：運用模糊數(shù)學的理論和方法解決模式識別問題，適用于分類識別對象本身或要求的識別結(jié)果具有模糊性的場合。人工神經(jīng)網(wǎng)絡(luò)法：是由大量簡單的神經(jīng)元相互連接而構(gòu)成的非線性動態(tài)系統(tǒng)，具有學習、自組織、聯(lián)想能力，在學習中具有自動提取特征，進行識別、決策。人工智能方法：人工智能研究如何使機器具有人腦功能的理論和方法。將學習、知識表示、推理等用于模式識別。第10頁，課件共28頁，創(chuàng)作于2023年2月統(tǒng)計模式識別統(tǒng)計模式識別：是以決策函數(shù)為基礎(chǔ)，對模式向量進行分類。例w1,w2判別函數(shù)：d(X)=w1x1+w2x2+w3=0

式中w為參數(shù)，x1，x2是模式的坐標變量并且d(X)代表d(x1,x2)，把任何落在分界線上的觀測值X代入上述方程式都得到d(X)=0，任何來自w1類的模式X，在代入d(X)時，得一負數(shù)，而w2則位于正數(shù)一邊。N維情況下：w1w2X1X2+-i=1dk(X)=∑WklΦl(X)k=1,2…nk第11頁，課件共28頁，創(chuàng)作于2023年2月模式識別系統(tǒng)的基本原理

信息的獲?。菏峭ㄟ^傳感器，將光或聲音等信息轉(zhuǎn)化為電信息。信息可以是二維的圖象如文字，圖象等；可以是一維的波形如聲波，心電圖，腦電圖；也可以是物理量與邏輯值等等。預(yù)處理：包括A/D,二值化，圖象的平滑，變換，增強，恢復(fù)，濾波等。特征抽取和選擇：在模式識別中，需要進行特征的抽取和選擇，如，一幅64*64的圖象可以得到4096個數(shù)據(jù)，這種在測量空間的原始數(shù)據(jù)通過變換獲得在特征空間最能反映分類本質(zhì)的特征。這就是特征提取和選擇的過程。分類器設(shè)計：主要功能是通過訓練確定判決規(guī)則，使按此類判決規(guī)則分類時，錯誤率最低。把這些判決規(guī)則建成判決規(guī)則標準庫,這一過程稱為分類器設(shè)計。分類決策：在特征空間中對被識別對象進行分類。第12頁，課件共28頁，創(chuàng)作于2023年2月模式識別的基本問題模式(樣本)表示方法模式類的緊致性相似與分類特征的生成數(shù)據(jù)標準化第13頁，課件共28頁，創(chuàng)作于2023年2月模式表示法_向量表示法模式向量：以數(shù)量信息為特征的模式表示。即以模式的n個特征量測值組成一個n維特征矢量X=(x1,x2,…,xn)T表示模式。例：字符識別機，辨別每個輸入，判斷它是屬于哪一種字符，A—Z、0—9、拒絕類，共26+10+1=37個模式類。采用光電陣列把字符變成二值的圖象，如6×6方陣，X=[x1x2x3…x36]T。

第14頁，課件共28頁，創(chuàng)作于2023年2月矩陣表示:N個樣本，n個變量(特征)第15頁，課件共28頁，創(chuàng)作于2023年2月幾何表示一維表示

X1=0.5X2=3二維表示

X1=(x1,x2)T=(1,2)T

X2=(x1,x2)T=(2,1)T三維表示

X1=(x1,x2,x3)T=(1,1,0)TX2=(x1,x2,x3)T=(1,0,1)T第16頁，課件共28頁，創(chuàng)作于2023年2月符號串表示法（1）定義了一定的模式基元，用模式基元的連接表示模式。ba階梯模式：

abab…ab即(ab)n,n≥1第17頁，課件共28頁，創(chuàng)作于2023年2月符號串表示法（2）定義算子,增加串的表示能力

請給出串對應(yīng)的模式：[(a+b)*c]*[d+c+(~d)]baa+bbaa×bbaa*bb~b習題：a模式基元：cbda模式基元：ba-bba第18頁，課件共28頁，創(chuàng)作于2023年2月樹表示法任何一個分層有序系統(tǒng)都導(dǎo)致樹結(jié)構(gòu)，引入“在內(nèi)部”關(guān)系、“由…組成”關(guān)系。

abcdefghi$a$bcihgdfeR2R1R3T1T2墻（W）地板F立方體C錐體P錐體P$景物物體背景地板F墻W立方體CT1T2R1R2R3第19頁，課件共28頁，創(chuàng)作于2023年2月網(wǎng)表示法網(wǎng)表示法：網(wǎng)是無向帶標志的點圖。在上圖中，我們在引入“與…連接”，就可以得到圖所示的網(wǎng)。

R2R1R3

T1

T2墻（W）地板F立方體C錐體P$景物物體背景地板F墻W錐體P立方體CT1T2R1R2R3第20頁，課件共28頁，創(chuàng)作于2023年2月二.模式類的緊致性1.緊致集：同一類模式類樣本的分布比較集中，沒有臨界樣本或者臨界樣本很少，這樣的模式類稱緊致集。2.臨界點(樣本)：在多類樣本中，某些樣本的值有微小變化時就變成另一類樣本稱為臨界樣本（點）。3.緊致集的性質(zhì)①要求臨界點很少.②集合內(nèi)的任意兩點的連線,在線上的點屬于同一集合.③集合內(nèi)的每一個點都有足夠大的鄰域,在鄰域內(nèi)只包含同一集合的點.4.模式識別的要求:滿足緊致集，才能很好的分類；如果不滿足緊致集，就要采取變換的方法,滿足緊致集.第21頁，課件共28頁，創(chuàng)作于2023年2月相似與分類1.兩個樣本xi

和xj之間的相似度量滿足以下要求：

①應(yīng)為非負值。②樣本本身相似性度量應(yīng)最大。③度量應(yīng)滿足對稱性。④在滿足緊致性的條件下，相似性應(yīng)該是點間距離的單調(diào)函數(shù)。

2.用各種距離表示相似性：

已知兩個樣本

xi=(xi1,xi2,xi3,…,xin)Txj=(xj1,xj2,xj3,…,xjn)T

常用的距離有歐氏距離、馬氏距離等第22頁，課件共28頁，創(chuàng)作于2023年2月①絕對值距離②歐幾里德距離③明考夫斯基距離其中當q=1時為絕對值距離，當q=2時為歐氏距離.④切比雪夫距離

q趨向無窮大時明氏距離的極限情況.⑤馬哈拉諾比斯距離其中xi

，xj為特征向量，Σ為協(xié)方差.使用的條件是樣本符合正態(tài)分布.第23頁，課件共28頁，創(chuàng)作于2023年2月⑥夾角余弦xixj樣本(向量)間夾角越小，兩個樣本越具有相似性.例：x1,x2,x3,x4的夾角如圖：x1和x2間的夾角最小，所以x1,x2

最相似，可以歸為同一類.x3x1x2x4第24頁，課件共28頁，創(chuàng)作于2023年2月⑦相關(guān)系數(shù)為xixj的均值.注意：在求相關(guān)系數(shù)之前，要將數(shù)據(jù)標準化.3.分類的主觀性和客觀性①分類的主觀性：目的不同，分類不同。例如：鯨魚，牛，馬從生物學的角度來講都屬于哺乳類，但是從產(chǎn)業(yè)角度來講鯨魚屬于水產(chǎn)業(yè)，牛和馬屬于畜牧業(yè)。②分類的客觀性：科學性判斷分類必須有客觀標準，因此分類是追求客觀性的，但主觀性也很難避免，這就是分類的復(fù)雜性。第25頁，課件共28頁，創(chuàng)作于2023年2月四.特征的生成

1.低層特征：①無序尺度：有明確的數(shù)量和數(shù)值.②有序尺度：有先后、好壞的次序關(guān)系，如酒分為上，中，下三個等級.③名義尺度：無數(shù)量、無次序關(guān)系，如有紅，黃兩種顏色.2.中層特征：經(jīng)過計算，變換得到的特征.3.高層特征：在中層特征的基礎(chǔ)上有目的的經(jīng)過運算形成.

例如：椅子的重量=體積*比重.

體積與長，寬，高有關(guān)；比重與材料，紋理，