模式識(shí)別概述

模式識(shí)別概述第一頁，共五十九頁，2022年，8月28日第一章:模式識(shí)別概述第二頁，共五十九頁，2022年，8月28日一個(gè)例子通過光學(xué)感知手段，將傳送帶上的魚進(jìn)行自動(dòng)分類 鱸魚

魚類 鮭魚3第三頁，共五十九頁，2022年，8月28日問題分析架設(shè)一臺(tái)攝影像機(jī)，拍攝若干樣品的圖像提取用于區(qū)分兩類魚的有效特征(feature)長(zhǎng)度光澤度寬度鰭的數(shù)目和形狀嘴的位置，等等…….上述參數(shù)即是我們對(duì)兩類魚進(jìn)行分類的備選特征4第四頁，共五十九頁，2022年，8月28日

預(yù)處理（preprocessing）去除干擾，圖像增強(qiáng)采用圖像分割技術(shù)將不同的魚分離開來，或者將魚同背景分開特征提?。╢eatureextraction）將每條魚的數(shù)據(jù)送入特征提取器，通過測(cè)量特定的“特征”或“屬性”來簡(jiǎn)化原始數(shù)據(jù)類將特征送入分類器，以便進(jìn)行分類5第五頁，共五十九頁，2022年，8月28日鮭魚鮭魚鱸魚6第六頁，共五十九頁，2022年，8月28日分類（Classification）根據(jù)先驗(yàn)知識(shí)：鱸魚長(zhǎng)度一般要比鮭魚大選擇長(zhǎng)度（length）作為可能的分類特征獲取足夠多的樣本（訓(xùn)練樣本）進(jìn)行統(tǒng)計(jì)（直方圖）確定合適的長(zhǎng)度臨界值L*作為分類標(biāo)準(zhǔn)7第七頁，共五十九頁，2022年，8月28日鮭魚鱸魚分類標(biāo)準(zhǔn)8第八頁，共五十九頁，2022年，8月28日單一的特征判據(jù)（長(zhǎng)度）不足以完全正確分類無論怎樣確定臨界值，都有無法僅憑長(zhǎng)度就把兩類魚截然分開9第九頁，共五十九頁，2022年，8月28日選擇光澤度（lightness）作為分類特征獲取足夠多的樣本（訓(xùn)練樣本）進(jìn)行統(tǒng)計(jì)（直方圖）確定合適的光澤度臨界值x*作為分類標(biāo)準(zhǔn)以光澤度為分類特征，兩類魚的分離性更好！10第十頁，共五十九頁，2022年，8月28日分類標(biāo)準(zhǔn)鮭魚鱸魚11第十一頁，共五十九頁，2022年，8月28日判別邊界與判別代價(jià)

無論采用哪一種特征進(jìn)行分類都有代價(jià)：誤判上述判別邊界假設(shè)將鮭魚誤判為鱸魚和將鱸魚誤判為鮭魚的代價(jià)相等（對(duì)稱代價(jià)）非對(duì)稱代價(jià)：調(diào)整判別邊界的位置決策論12第十二頁，共五十九頁，2022年，8月28日鮭魚鱸魚調(diào)整判別邊界，減小判別代價(jià)13第十三頁，共五十九頁，2022年，8月28日為獲取更好的分類效果，組合運(yùn)用多個(gè)特征選取光澤度（lightness）和寬度（width）作為分類特征魚 xT=[x1,x2]特征向量：xT=[x1,x2]LightnessWidth14第十四頁，共五十九頁，2022年，8月28日鮭魚鱸魚判別標(biāo)準(zhǔn)：判別邊界組合特征優(yōu)于單一特征15第十五頁，共五十九頁，2022年，8月28日需要考慮的問題：特征越多分類性能越好嗎？什么樣的特征才是好的特征？特征的相關(guān)性與冗余？16第十六頁，共五十九頁，2022年，8月28日如何獲取判別邊界：判別模型？

什么樣的判別邊界才是最優(yōu)的：模型優(yōu)化？

17第十七頁，共五十九頁，2022年，8月28日復(fù)雜的模型鮭魚鱸魚18第十八頁，共五十九頁，2022年，8月28日復(fù)雜的模型可保證對(duì)所有訓(xùn)練樣本正確分類過于復(fù)雜的模型將導(dǎo)致復(fù)雜的判別曲線新模式推廣能力差19第十九頁，共五十九頁，2022年，8月28日分類系統(tǒng)的目標(biāo)是對(duì)未知的樣本正確分類，而不僅僅是對(duì)訓(xùn)練樣本分類必須在模型復(fù)雜度和推廣能力之間進(jìn)行折中考慮最優(yōu)模型20第二十頁，共五十九頁，2022年，8月28日鮭魚鱸魚優(yōu)化的判別邊界21第二十一頁，共五十九頁，2022年，8月28日什么是模式識(shí)別？定義利用機(jī)器（計(jì)算機(jī)）模仿人腦對(duì)現(xiàn)實(shí)世界各種事物進(jìn)行描述、分類、判斷和識(shí)別的過程。目標(biāo)用計(jì)算機(jī)實(shí)現(xiàn)具有感知、識(shí)別、理解、自學(xué)習(xí)和自適應(yīng)能力的靈活和智能的計(jì)算機(jī)器。22第二十二頁，共五十九頁，2022年，8月28日模式識(shí)別的產(chǎn)生與發(fā)展起源于20世紀(jì)40年代研究初期，模式識(shí)別被看作動(dòng)物所具有的自然生理現(xiàn)象，很多人認(rèn)為不值得研究。當(dāng)人們?cè)噲D使計(jì)算機(jī)去具有人腦的識(shí)別能力后，模式識(shí)別的難度和重要性才得以重視。23第二十三頁，共五十九頁，2022年，8月28日模式識(shí)別的產(chǎn)生與發(fā)展隨著計(jì)算機(jī)技術(shù)的發(fā)展，60年代后模式識(shí)別迅速發(fā)展為一門相對(duì)獨(dú)立的新興交叉學(xué)科明確的問題定義、嚴(yán)格的數(shù)學(xué)基礎(chǔ)、堅(jiān)實(shí)的理論框架、豐富的理論和應(yīng)用成果、廣闊的應(yīng)用前景24第二十四頁，共五十九頁，2022年，8月28日模式識(shí)別的相關(guān)學(xué)科模式識(shí)別人工智能計(jì)算機(jī)視覺機(jī)器學(xué)習(xí)認(rèn)知科學(xué)心理生物學(xué)25第二十五頁，共五十九頁，2022年，8月28日模式識(shí)別的應(yīng)用語音識(shí)別與理解（Speechrecognition）語音識(shí)別說話人識(shí)別語種識(shí)別語音情感識(shí)別特定人、非特定人母語、非母語孤立音、連續(xù)音26第二十六頁，共五十九頁，2022年，8月28日模式識(shí)別的應(yīng)用字符識(shí)別（CharacterRecognition）手寫體印刷體漢字、英文、阿拉伯?dāng)?shù)字27第二十七頁，共五十九頁，2022年，8月28日模式識(shí)別的應(yīng)用生物特征識(shí)別指紋識(shí)別掌紋識(shí)別人臉識(shí)別虹膜識(shí)別28第二十八頁，共五十九頁，2022年，8月28日模式識(shí)別的應(yīng)用生物醫(yī)學(xué)信號(hào)識(shí)別心電圖、心音、多普勒生物信號(hào)、染色體、DNA序列圖像檢索軍事目標(biāo)跟蹤與識(shí)別遙感圖像處理29第二十九頁，共五十九頁，2022年，8月28日研究模式識(shí)別的意義通過模式識(shí)別的研究和應(yīng)用，提高和擴(kuò)展計(jì)算機(jī)的應(yīng)用能力和領(lǐng)域，促進(jìn)人工智能的應(yīng)用與發(fā)展促進(jìn)人們對(duì)人腦識(shí)別過程的理解和認(rèn)識(shí)30第三十頁，共五十九頁，2022年，8月28日模式識(shí)別存在的問題模式識(shí)別是一門快速發(fā)展的新興學(xué)科，涉及到多學(xué)科、多領(lǐng)域的復(fù)雜問題和生物認(rèn)知系統(tǒng)相比，現(xiàn)有人工模式識(shí)別系統(tǒng)的適應(yīng)和識(shí)別能力還遠(yuǎn)遠(yuǎn)不能令人滿意模式識(shí)別的許多理論和基本方法方面的問題還遠(yuǎn)沒有得到解決新問題層出不窮傳統(tǒng)方法均存在一定的局限性31第三十一頁，共五十九頁，2022年，8月28日模式識(shí)別的理論基礎(chǔ)概率論與數(shù)理統(tǒng)計(jì)隨機(jī)過程線性代數(shù)優(yōu)化方法形式語言學(xué)32第三十二頁，共五十九頁，2022年，8月28日模式識(shí)別的基本方法模式識(shí)別方法經(jīng)典方法現(xiàn)代方法統(tǒng)計(jì)決策方法句法方法神經(jīng)網(wǎng)絡(luò)方法模糊模式識(shí)別33第三十三頁，共五十九頁，2022年，8月28日模式識(shí)別的基本方法統(tǒng)計(jì)決策法基于模式的定量描述與統(tǒng)計(jì)規(guī)律的識(shí)別方法，是模式識(shí)別最經(jīng)典、最成熟的方法，目前廣泛應(yīng)用于模式識(shí)別的各個(gè)領(lǐng)域原理：樣本觀測(cè)值特征概率統(tǒng)計(jì)決策準(zhǔn)則分類34第三十四頁，共五十九頁，2022年，8月28日模式識(shí)別的基本方法統(tǒng)計(jì)方法鮭魚鱸魚決策標(biāo)準(zhǔn)：判別邊界35第三十五頁，共五十九頁，2022年，8月28日模式識(shí)別的基本方法句法方法基于模式的空間結(jié)構(gòu)特征的定性描述與形式語言學(xué)的方法，廣泛應(yīng)用于字符識(shí)別、圖像識(shí)別等領(lǐng)域原理：樣本基元字符串形式語言文法分類36第三十六頁，共五十九頁，2022年，8月28日模式識(shí)別的基本方法句法方法定義基元：37第三十七頁，共五十九頁，2022年，8月28日模式識(shí)別的基本方法模糊模式識(shí)別基于模糊數(shù)學(xué)和統(tǒng)計(jì)分析的識(shí)別方法，在不能明確描述模式特征和結(jié)構(gòu)的復(fù)雜模式識(shí)別問題中得到了成功應(yīng)用根據(jù)隸屬度和模糊文法進(jìn)行分類模糊模式類很像三角形的圖形遠(yuǎn)大于2的整數(shù)清晰模式類三角形大于2的整數(shù)38第三十八頁，共五十九頁，2022年，8月28日模式識(shí)別的基本方法神經(jīng)網(wǎng)絡(luò)方法基于現(xiàn)代生物學(xué)和認(rèn)識(shí)科學(xué)對(duì)人類信息處理的研究成果采用人工神經(jīng)網(wǎng)絡(luò)模型，使識(shí)別和處理過程更接近人類的思維過程39第三十九頁，共五十九頁，2022年，8月28日模式識(shí)別的基本方法輸入層(i)輸入層(j)輸入層(k)W

ijW

jk神經(jīng)網(wǎng)絡(luò)方法40第四十頁，共五十九頁，2022年，8月28日模式識(shí)別的基本方法神經(jīng)網(wǎng)絡(luò)方法人工神經(jīng)網(wǎng)絡(luò)由相互廣泛連接的神經(jīng)元組成，信息分布于神經(jīng)網(wǎng)絡(luò)中每一節(jié)點(diǎn)的輸入為前一層所有節(jié)點(diǎn)輸出的加權(quán)和通過已知類別樣本的學(xué)習(xí)，調(diào)整各節(jié)點(diǎn)之間的加權(quán)系數(shù)具有自適應(yīng)學(xué)習(xí)能力，適用于并行計(jì)算與處理41第四十一頁，共五十九頁，2022年，8月28日模式識(shí)別的一般過程無論采用何種方法，模式識(shí)別一般都要包括下列兩個(gè)基本過程模式識(shí)別學(xué)習(xí)過程（設(shè)計(jì)過程）識(shí)別過程（實(shí)現(xiàn)過程）42第四十二頁，共五十九頁，2022年，8月28日模式識(shí)別的一般過程學(xué)習(xí)過程通過一批已知類別的學(xué)習(xí)樣本進(jìn)行分析，推出分類準(zhǔn)則。識(shí)別過程對(duì)末知類別的單個(gè)待識(shí)樣本，根據(jù)分類準(zhǔn)則進(jìn)行識(shí)別分類。43第四十三頁，共五十九頁，2022年，8月28日模式識(shí)別的一般過程學(xué)習(xí)樣本數(shù)據(jù)獲取預(yù)處理特征提取統(tǒng)計(jì)分析分類準(zhǔn)則待識(shí)樣本數(shù)據(jù)獲取預(yù)處理特征提取識(shí)別分類分類結(jié)果統(tǒng)計(jì)模式識(shí)別的過程44第四十四頁，共五十九頁，2022年，8月28日模式識(shí)別的一般過程數(shù)據(jù)獲取采用傳感器(攝像機(jī)或麥克風(fēng))，通過測(cè)量、采樣和量化，得到反映樣本信息的原始數(shù)據(jù)（一維波形、二維圖像等）數(shù)據(jù)質(zhì)量依賴于傳感器的特性和局限性（如帶寬、分辯率、靈敏度、信噪比等）預(yù)處理采用特定方法，對(duì)樣本數(shù)據(jù)進(jìn)行分割、噪聲濾除、邊緣增加等處理預(yù)處理的方法與樣本對(duì)象所屬領(lǐng)域密切相關(guān)（如語音、圖像）

45第四十五頁，共五十九頁，2022年，8月28日特征提取采用特定的方法提取反映樣本本質(zhì)特性的特征（Feature），壓縮原始數(shù)據(jù)。統(tǒng)計(jì)分析采用一定的統(tǒng)計(jì)方法，通過學(xué)習(xí)樣本的分布規(guī)律，建立識(shí)別模型，推斷出分類準(zhǔn)則。識(shí)別分類根據(jù)分類準(zhǔn)則，對(duì)待識(shí)樣本進(jìn)行分類。模式識(shí)別的一般過程46第四十六頁，共五十九頁，2022年，8月28日模式識(shí)別的一般過程句法模式識(shí)別的過程學(xué)習(xí)樣本數(shù)據(jù)獲取預(yù)處理基元提取文法推斷文法待識(shí)樣本數(shù)據(jù)獲取預(yù)處理基元提取句法分析分類結(jié)果47第四十七頁，共五十九頁，2022年，8月28日模式識(shí)別系統(tǒng)實(shí)現(xiàn)學(xué)習(xí)過程和識(shí)別過程的計(jì)算機(jī)系統(tǒng)稱為模式識(shí)別系統(tǒng)，亦稱為分類器。學(xué)習(xí)過程即是分類器的設(shè)計(jì)過程識(shí)別過程即是分類器的實(shí)現(xiàn)過程48第四十八頁，共五十九頁，2022年，8月28日分類器設(shè)計(jì)采集數(shù)據(jù)（Datacollection）選擇特征（FeatureChoice）選擇模型（ModelChoice）訓(xùn)練分類器（Training）評(píng)價(jià)分類器（Evaluation）計(jì)算復(fù)雜度（ComputationalComplexity）49第四十九頁，共五十九頁，2022年，8月28日開始采集數(shù)據(jù)選擇特征選擇模型訓(xùn)練分類器評(píng)價(jià)分類器結(jié)束先驗(yàn)知識(shí)50第五十頁，共五十九頁，2022年，8月28日采集數(shù)據(jù)（DataCollection）在開發(fā)模式識(shí)別系統(tǒng)費(fèi)用中，數(shù)據(jù)據(jù)采集占到令人吃驚的比重為保證分類器的性能，必須有足夠多的訓(xùn)練樣本怎樣才能知道已經(jīng)采集到足夠多有代表性的供訓(xùn)練和測(cè)試用的數(shù)據(jù)了呢？ 分類器設(shè)計(jì)51第五十一頁，共五十九頁，2022年，8月28日選擇特征（Featurechoice）怎么做才能把先驗(yàn)知識(shí)和訓(xùn)練數(shù)據(jù)有機(jī)結(jié)合起來，以發(fā)現(xiàn)有用的和有效的特征呢？分類器設(shè)計(jì)52第五十二頁，共五十九頁，2022年，8月28日特征選擇（Featurechoice）依賴于具體的問題（語音識(shí)別、圖像識(shí)別）選擇反映模式本質(zhì)特性的參數(shù)作為特征使樣本類間距離較大、類內(nèi)距離較小與類別信息不相關(guān)的變換（平移、旋轉(zhuǎn)、尺度變換）具有不變性盡量選擇相關(guān)性小的特征盡可能不受噪聲的干擾53第五十三頁，共五十九頁，2022年，8月28日模型選擇（ModelChoice）怎樣選擇合適的模型，得到識(shí)別分類的標(biāo)準(zhǔn)？模型是唯一的嗎？什么樣的模型更優(yōu)呢？分類器設(shè)計(jì)54第五十四頁，共五十九頁，2022年，8月28日訓(xùn)練或?qū)W習(xí)（Training）利用樣本數(shù)據(jù)來確定分類器的過程“基于樣本的學(xué)習(xí)”的方法是設(shè)計(jì)分類器的最有效的方法。分類器設(shè)計(jì)55第五十五頁，共五十九頁，2022年，8月28日評(píng)價(jià)分類器（Evaluation）識(shí)別率誤識(shí)