四川大學(xué)模式識(shí)別期末考試內(nèi)容

1、1、 在圖像識(shí)別中，假定有灌木和坦克2種類型，它們的先驗(yàn)概率分別是和，損失函數(shù)如下表所示。其中，類型w1和w2分別表示灌木和坦克，判決a1=w1，a2=w2?，F(xiàn)在做了2次實(shí)驗(yàn)，獲得2個(gè)樣本的類概率密度如下：狀態(tài)損失決策W1W2a12a24（1）試用最小錯(cuò)誤率貝葉斯準(zhǔn)則判決2個(gè)樣本各屬于哪一類？坦克、灌木。（2）試用最小風(fēng)險(xiǎn)決策規(guī)則判決2個(gè)樣本各屬于哪一類？灌木、灌木。答：（1）最小錯(cuò)誤率貝葉斯準(zhǔn)則（2）最小風(fēng)險(xiǎn)決策規(guī)則2、 給出二維樣本數(shù)據(jù)(-1,1),(2,2),(1,-1),(-2,-2)，試用K-L變換作一維數(shù)據(jù)壓縮。答：數(shù)據(jù)壓縮結(jié)果：0，0，3、 已知兩類的數(shù)據(jù)：1：(1,0),(2,

2、0),(1,1)；2：(-1,0),(0,1),(-1,1)，試求該組數(shù)據(jù)的類內(nèi)與類間散布矩陣。其中Sw為類內(nèi)，Sb為類間4、已知?dú)W氏二維空間中兩類9個(gè)訓(xùn)練樣本w1:(-1,0)T,(-2,0)T,(-2,1)T,(-2,-1)T w2:(1,1)T,(2,0)T,(1,-1)T,(2,1)T,(2,2)T，試分別用最近鄰法和K近鄰法求測(cè)試樣本(0,0)T的分類，取K=5，7。答：最近鄰法：最近鄰為(-1，0)T分類為w1K近鄰法：K=5：5個(gè)近鄰為1類的(-1,0)T,(-2,0)T，2類的(1,1)T,(2,0)T,(1,-1)T 分類為w2K=7：1）若近鄰為1類的(-1,0)T,(-2

3、,0)T,(-2,1)T,(-2,-1)T，2類的(1,1)T,(2,0)T,(1,-1)T，則分類為w12）若近鄰為1類的(-1,0)T,(-2,0)T,(-2,1)T或(-2,-1)T兩個(gè)之一，2類的(1,1)T,(2,0)T,(1,-1)T,(2,1)T，則分類為w25.已知兩類的訓(xùn)練樣本：w1(0,0)T,(0,2)T;w2(2,0)T,(2,2)T，試用最小平方誤差準(zhǔn)則算法進(jìn)行分類器訓(xùn)練，求解向量w*。簡(jiǎn)答題簡(jiǎn)答題1. 什么是模式與模式識(shí)別？模式：對(duì)象之間存在的規(guī)律性關(guān)系；模式識(shí)別：是研究用計(jì)算機(jī)來(lái)實(shí)現(xiàn)人類模式識(shí)別能力的一門學(xué)科。/*模式：廣義地說(shuō)，模式是一些供模仿用的、完美無(wú)缺的標(biāo)

4、本。本課程把所見(jiàn)到的具體事物稱為模式，而將它們歸屬的類別稱為模式類。模式的直觀特性:可觀察性，可區(qū)分性，相似性 模式識(shí)別：指對(duì)表征事物或現(xiàn)象的各種形式的(數(shù)值的、文字的和邏輯關(guān)系的)信息進(jìn)行處理和分析，以對(duì)事物或現(xiàn)象進(jìn)行描述、辨認(rèn)、分類和解釋的過(guò)程。*/2. 一個(gè)典型的模式識(shí)別系統(tǒng)主要由哪幾個(gè)部分組成3. 什么是后驗(yàn)概率？ 系統(tǒng)在某個(gè)具體的模式樣本X條件下位于某種類型的概率。4. 確定線性分類器的主要步驟采集訓(xùn)練樣本，構(gòu)成訓(xùn)練樣本集。樣本應(yīng)該具有典型性確定一個(gè)準(zhǔn)則J=J(w,x)，能反映分類器性能，且存在權(quán)值w*使得分類器性能最優(yōu)設(shè)計(jì)求解w的最優(yōu)算法，得到解向量w*5. 樣本集推斷總體概率分布

5、的方法6. 近鄰法的基本思想是什么？作為一種分段線性判別函數(shù)的極端情況，將各類中全部樣本都作為代表點(diǎn)，這樣的決策方法就是近鄰法的基本思想。7. 什么是K近鄰法？ 取未知樣本x的k個(gè)近鄰，看這k個(gè)近鄰中多數(shù)屬于哪一類，就把x歸為哪一類。7. 監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)的區(qū)別 利用已經(jīng)標(biāo)定類別的樣本集進(jìn)行分類器設(shè)計(jì)的方法稱為監(jiān)督學(xué)習(xí)。很多情況下無(wú)法預(yù)先知道樣本的類別，從沒(méi)有標(biāo)記的樣本集開(kāi)始進(jìn)行分類器設(shè)計(jì)，這就是非監(jiān)督學(xué)習(xí)。 /*監(jiān)督學(xué)習(xí)：對(duì)數(shù)據(jù)實(shí)現(xiàn)分類，分類規(guī)則通過(guò)訓(xùn)練獲得。該訓(xùn)練集由帶分類號(hào)的數(shù)據(jù)集組成，因此監(jiān)督學(xué)習(xí)方法的訓(xùn)練過(guò)程是離線的。 非監(jiān)督學(xué)習(xí)方法不需要單獨(dú)的離線訓(xùn)練過(guò)程，也沒(méi)有帶分類號(hào)的訓(xùn)練

6、數(shù)據(jù)集，一般用來(lái)對(duì)數(shù)據(jù)集進(jìn)行分析。如聚類，確定其分布的主分量等。*/8. 什么是誤差平方和準(zhǔn)則？ 對(duì)于一個(gè)給定的聚類，均值向量是最能代表聚類中所有樣本的一個(gè)向量，也稱其為聚類中心。一個(gè)好的聚類方法應(yīng)能使集合中的所有向量與這個(gè)均值向量的誤差的長(zhǎng)度平方和最小。9. 分級(jí)聚類算法的2種基本途徑是什么 按事物的相似性，或內(nèi)在聯(lián)系組織起來(lái)，組成有層次的結(jié)構(gòu)，使得本質(zhì)上最接近的劃為一類，然后把相近的類再合并，依次類推，這就是分級(jí)聚類算法的基本思想。聚合法：把所有樣本各自看為一類，逐級(jí)聚合成一類?；舅悸肥歉鶕?jù)類間相似性大小逐級(jí)聚合，每級(jí)只把相似性最大的兩類聚合成一類，最終把所有樣本聚合為一類。分解法：把所

7、有樣本看做一類，逐級(jí)分解為每個(gè)樣本一類。10. 特征抽取與特征選擇的區(qū)別？ 特征抽?。涸继卣鞯臄?shù)量可能很大，或者樣本處于一個(gè)高維空間中，通過(guò)映射（或變換）的方法可以用低維空間來(lái)表示樣本，這個(gè)過(guò)程叫特征抽取。所謂特征抽取在廣義上就是指一種變換。 特征選擇：從一組特征中挑選出一些最有效的特征以達(dá)到降低特征空間維數(shù)的目的，這個(gè)過(guò)程叫特征選擇。特征抽取是通過(guò)變換的方法組合原始高維特征，獲得一組低維的新特征，而特征選擇是根據(jù)專家的經(jīng)驗(yàn)知識(shí)或根據(jù)某種評(píng)價(jià)準(zhǔn)則來(lái)挑選出那些對(duì)分類最有影響力的特征，并未形成新的特征。11. 什么是最優(yōu)搜素算法？ 最優(yōu)搜索算法：至今能得到最優(yōu)解的唯一快速算法是“分支定界”算法。

8、屬于自上而下的算法，具有回溯功能。由于合理地組織搜索過(guò)程，使得有可能避免計(jì)算某些特征組合而不影響結(jié)果為最優(yōu)。12統(tǒng)計(jì)學(xué)習(xí)理論的核心問(wèn)題 統(tǒng)計(jì)學(xué)習(xí)理論被認(rèn)為是目前針對(duì)小樣本統(tǒng)計(jì)估計(jì)和預(yù)測(cè)學(xué)習(xí)的最佳理論。主要內(nèi)容包括4個(gè)方面：（1）經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則下統(tǒng)計(jì)學(xué)習(xí)一致性的條件（2）在這些條件下關(guān)于統(tǒng)計(jì)學(xué)習(xí)方法推廣性的界的結(jié)論（3）在這些界的基礎(chǔ)上建立的小樣本歸納推理原則（4）實(shí)現(xiàn)這些新的原則的實(shí)際方法13什么是支持向量機(jī)？ 支持向量機(jī)：在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上發(fā)展出的識(shí)別方法，在解決小樣本、非線性及高維模式識(shí)別問(wèn)題中表現(xiàn)出其優(yōu)勢(shì)。問(wèn)答題問(wèn)答題1. 描述貝葉斯公式及其主要作用4. 請(qǐng)?jiān)敿?xì)寫出Fisher算法

9、實(shí)現(xiàn)步驟5. 什么是兩分剪輯近鄰法和壓縮近鄰法 離散K-L變換又稱主成分分析（PCA），是一種基于目標(biāo)統(tǒng)計(jì)特性的最佳正交變換，被廣泛應(yīng)用于數(shù)據(jù)壓縮、特征降維等方面。一個(gè)非周期性隨機(jī)過(guò)程用具有互不相關(guān)系數(shù)的正交函數(shù)的級(jí)數(shù)展開(kāi)。K-L展開(kāi)式就是這樣一種展開(kāi)方法。一、 （15分）設(shè)有兩類正態(tài)分布的樣本集，第一類均值為，方差，第二類均值為，方差，先驗(yàn)概率，試求基于最小錯(cuò)誤率的貝葉斯決策分界面。解 根據(jù)后驗(yàn)概率公式， (2)及正態(tài)密度函數(shù) ,。 (2)基于最小錯(cuò)誤率的分界面為， (2)兩邊去對(duì)數(shù)，并代入密度函數(shù)，得 (1) (2)由已知條件可得，(2)設(shè)，把已知條件代入式（1），經(jīng)整理得， (5)二、

10、（15分）設(shè)兩類樣本的類內(nèi)離散矩陣分別為, ,各類樣本均值分別為，試用fisher準(zhǔn)則求其決策面方程，并判斷樣本的類別。解：(2)投影方向?yàn)?6)閾值為(4)給定樣本的投影為， 屬于第二類 (3)三、 （15分）給定如下的訓(xùn)練樣例實(shí)例x0x1x2t(真實(shí)輸出)11111212013101-14112-1用感知器訓(xùn)練法則求感知器的權(quán)值，設(shè)初始化權(quán)值為；1 第1次迭代（4）2 第2次迭代（2）3 第3和4次迭代四、 （15分）i. 推導(dǎo)正態(tài)分布下的最大似然估計(jì)；ii. 根據(jù)上步的結(jié)論，假設(shè)給出如下正態(tài)分布下的樣本，估計(jì)該部分的均值和方差兩個(gè)參數(shù)。1 設(shè)樣本為K=x1, x2 , xN ，正態(tài)密度函

11、數(shù)(2)則似然函數(shù)為(2)對(duì)數(shù)似然函數(shù)(2)最大似然估計(jì)(2)對(duì)于正態(tài)分布，(2)2 根據(jù)1中的結(jié)果，(5)五、 （15分）給定樣本數(shù)據(jù)如下：，（1） 對(duì)其進(jìn)行PCA變換（2） 用（1）的結(jié)果對(duì)樣本數(shù)據(jù)做一維數(shù)據(jù)壓縮解（1）PCA變換1 求樣本總體均值向量 2 求協(xié)方差矩陣(2) 3求特征根，令，得，。 (1)由，得特征向量，(2)則PCA為，(5)（2）要做一維壓縮，就是向最大特征根對(duì)應(yīng)的特征向量做投影，得 ，(5)五、(12分，每問(wèn)4分) 在目標(biāo)識(shí)別中，假定有農(nóng)田和裝甲車兩種類型，類型w1和類型w2分別代表農(nóng)田和裝甲車，它們的先驗(yàn)概率分別為0.8和0.2，損失函數(shù)如表1所示?，F(xiàn)在做了三次試

12、驗(yàn)，獲得三個(gè)樣本的類概率密度如下：0.3，0.1，0.6 ：0.7，0.8，0.3 （1）試用貝葉斯最小誤判概率準(zhǔn)則判決三個(gè)樣本各屬于哪一個(gè)類型；（2）假定只考慮前兩種判決，試用貝葉斯最小風(fēng)險(xiǎn)準(zhǔn)則判決三個(gè)樣本各屬于哪一類；（3）把拒絕判決考慮在內(nèi)，重新考核三次試驗(yàn)的結(jié)果。 表1類型損失判決145111解：由題可知：，（1）（4分）根據(jù)貝葉斯最小誤判概率準(zhǔn)則知：，則可以任判；，則判為；，則判為；（2）（4分）由題可知：則 ，判為；，判為；，判為；（3）（4分）對(duì)于兩類問(wèn)題，對(duì)于樣本，假設(shè)已知，有則對(duì)于第一個(gè)樣本，則拒判；，則拒判；，拒判。一、 已知一組數(shù)據(jù)的協(xié)方差矩陣為，試問(wèn)1 協(xié)方差矩陣中各元

13、素的含義。2 求該數(shù)組的兩個(gè)主分量。3 主分量分析或稱K-L變換，它的最佳準(zhǔn)則是什么？4 為什么說(shuō)經(jīng)主分量分析后，消除了各分量之間的相關(guān)性。答：協(xié)方差矩陣為，則1） 對(duì)角元素是各分量的方差，非對(duì)角元素是各分量之間的協(xié)方差。2） 主分量，通過(guò)求協(xié)方差矩陣的特征值，用得，則，相應(yīng)的特征向量為：，對(duì)應(yīng)特征向量為，對(duì)應(yīng)。這兩個(gè)特征向量即為主分量。3） K-L變換的最佳準(zhǔn)則為：對(duì)一組數(shù)據(jù)進(jìn)行按一組正交基分解，在只取相同數(shù)量分量的條件下，以均方誤差計(jì)算截尾誤差最小。4） 在經(jīng)主分量分解后，協(xié)方差矩陣成為對(duì)角矩陣，因而各主分量間相關(guān)消除。二、 設(shè)有兩類正態(tài)分布的樣本基于最小錯(cuò)誤率的貝葉斯決策分界面，分別為X

14、2=0，以及X1=3，其中兩類的協(xié)方差矩陣，先驗(yàn)概率相等，并且有， 。試求：以及。答：設(shè)待求，待求由于，先驗(yàn)概率相等。則基于最小錯(cuò)誤率的Bayes決策規(guī)則，在兩類決策面分界面上的樣本X應(yīng)滿足（1）其中按題意，（注：為方便起見(jiàn)，在下面計(jì)算中先去掉系數(shù)4/3）。按題意分界面由x1=3及x2=0兩條直線構(gòu)成，則分界面方程為 (2)對(duì)（1）式進(jìn)行分解有得 （3）由（3）式第一項(xiàng)得（4）將（4）式與（2）式對(duì)比可知a=1,c=1又由c=1與，得b2=1/4，b有兩種可能，即b=1/2或b=-1/2，如果b=1/2，則表明，此時(shí)分界面方程應(yīng)為線性，與題意不符，只有b=-1/2則（4）式為：2X1X2（5）

15、將相應(yīng)結(jié)果帶入（3）式第二項(xiàng)有（6）則結(jié)合（5）（2）應(yīng)有，則 （7） 解得， 由得十三、試分析五種常用決策規(guī)則思想方法的異同。答、五種常用決策是： 1. 基于最小錯(cuò)誤率的貝葉斯決策，利用概率論中的貝葉斯公式，得出使得錯(cuò)誤率最小的分類規(guī)則。 2. 基于最小風(fēng)險(xiǎn)的貝葉斯決策，引入了損失函數(shù)，得出使決策風(fēng)險(xiǎn)最小的分類。當(dāng)在01損失函數(shù)條件下，基于最小風(fēng)險(xiǎn)的貝葉斯決策變成基于最小錯(cuò)誤率的貝葉斯決策。 3. 在限定一類錯(cuò)誤率條件下使另一類錯(cuò)誤率最小的兩類別決策。 4. 最大最小決策：類先驗(yàn)概率未知，考察先驗(yàn)概率變化對(duì)錯(cuò)誤率的影響，找出使最小貝葉斯奉獻(xiàn)最大的先驗(yàn)概率，以這種最壞情況設(shè)計(jì)分類器。 5. 序

16、貫分類方法，除了考慮分類造成的損失外，還考慮特征獲取造成的代價(jià)，先用一部分特征分類，然后逐步加入性特征以減少分類損失，同時(shí)平衡總的損失，以求得最有效益。十四、假設(shè)在某個(gè)地區(qū)細(xì)胞識(shí)別中正常（w1）和異常（w2）兩類先驗(yàn)概率分別為 P(w1)=0.9，P(w2)=0.1，現(xiàn)有一待識(shí)別的細(xì)胞，其觀察值為x，從類條件概率密度分布曲線上查得，并且已知，試對(duì)該細(xì)胞x用一下兩種方法進(jìn)行分類：1. 基于最小錯(cuò)誤率的貝葉斯決策；2. 基于最小風(fēng)險(xiǎn)的貝葉斯決策；請(qǐng)分析兩種結(jié)果的異同及原因。答：1.2. 十七、寫出兩類和多類情況下最小風(fēng)險(xiǎn)貝葉斯決策判別函數(shù)和決策面方程。數(shù)據(jù)獲取預(yù)處理特征提取與選擇分類決策分類器設(shè)計(jì)信號(hào)空間特征空間十八、請(qǐng)論述模式識(shí)別系統(tǒng)的主要組成部分及其設(shè)計(jì)流程，并簡(jiǎn)述各組成部分中常用方法的主要思想。信息獲?。和ㄟ^(guò)測(cè)量、采樣和量化，可以用矩陣或向量表示二維圖像或以為波形。預(yù)處理：去除噪聲，加強(qiáng)有用的信息，并對(duì)輸入測(cè)量?jī)x器或其他因素造成的退化現(xiàn)象進(jìn)行復(fù)原。特征選擇和提?。簽榱擞行У貙?shí)現(xiàn)分類識(shí)別，就要對(duì)原始數(shù)據(jù)進(jìn)行變換，得到最能反映分類本質(zhì)的特征。分類決策：在特征空間中用統(tǒng)計(jì)方法把識(shí)別對(duì)象歸為某一類。十九、有兩