模式識別基礎(chǔ)復(fù)習(xí)資料

1、模式識別基礎(chǔ)2009秋季X清華大學(xué)自動化系2009秋季模式識別基礎(chǔ)復(fù)習(xí)資料教師：張學(xué)工Contents卷一、模式識別機經(jīng) 3卷二、20082009秋模式識別張學(xué)工期末B5卷三、20072008秋模式識別張學(xué)工期末B7卷四、20072008秋 模式識別 張學(xué)工 期末A10卷五、20062007秋模式識別張學(xué)工期末B11卷六、20052006秋 模式識別 張學(xué)工 期末12卷七、20042005秋 模式識別張學(xué)工期末13卷八、20032004秋 模式識別 張學(xué)工 期末14卷九、19992000春模式識別_張學(xué)工期末14附錄、名詞以及原理 錯誤！未定義書簽。清華大學(xué)自動化

2、系|卷一、模式識別機經(jīng) 5卷一、模式識別機經(jīng)1.（16分）正態(tài)分布N（0,9）與均勻分布5,10,先驗概率1/2最小錯誤率分類器，并畫圖.最小錯誤率分類器缺點答：1 .設(shè)計最小錯誤率分類器：如果P（切1 | X） A P（切2 I X）則X為斜反之P（切1 | X） P（切2 |x）則X為功2 （特別的，當(dāng)P（站|X）=P（切2|X），可以接受X為任何一類也可以拒絕。在連續(xù)情況 下這種情況幾乎完全不出現(xiàn)。p（Xi）Pi）&1 ,whenP®1 |x）aP（缶 2|x）P（F | x） =" | 八 , X 亡P（x|、）P（ 1） p（x| 2）P（ 2）- 

3、9;2 ,when P（ ” |x） ： P（ 2 |x）2.畫圖如下，紅色表示 P（斜|x） （5,10的勻分布的后驗概率），藍色表示P2|x） （N（0,9）的后驗概率）（注意！ ！ ！圖是錯的一一作者）y （圖是錯的）3. 最小錯誤分類器有許多局限性。其一，其只考慮到錯誤率的限制，并未考慮到實際情況中 不同錯誤的代價等等，為了克服這類局限性，學(xué)者們在最小錯誤率之外又設(shè)計了最小風(fēng)險分 類器、限定一類錯誤率令另一類錯誤率最小的分類器等；其二，其只能用于監(jiān)督學(xué)習(xí)，要求 已知分類情況，并且要滿足I.I.D條件即樣本與總體分布相符；其三，其要求必須知道先驗概率，許多實際問題的先驗概率是難以得到的。

4、2. （22分）8 個樣品 w1 3個.,w2 5個.1）最近鄰分類，畫圖2）給兩個點.,問怎么分3）最近鄰分類器線性分類器？ 4）設(shè)計二次曲面分之5）壓縮近鄰法壓縮過程及結(jié)果6）壓縮近鄰法分界面并比較 1）答：（題目不完整）最近鄰法（k=1） , k近鄰（k個最近的點投票），可以考慮加權(quán)3. （5分）證明兩個樣品構(gòu)成得協(xié)方差矩陣一般是奇異的（不可逆的）答：設(shè) X1,X2,M =X1 X2 ,從而 cov（X1,X2）= （X1-M ）供2項）=g2 X1 ）己1一'2 222其第i行j列元素為（相-x2j ）（x1,x2,j） , xm,n表示第m個樣本第n個維度的值。從而這 是一個

5、行列式為零的矩陣（第一行除以 （*,1-x2,1），第二行除以（x1,2-x2,2）之后想減得零，故 該協(xié)方差陣是奇異的。4. （26分）"距離"不同會有不同結(jié)果1）給出兩種你認為重要的距離，如何定義及物理意義2）貝葉斯分類器，近鄰法,fisher投影法，c均值法是否受距離度量影響，不受則說明理由，答：距離可以是任意一種范數(shù)，設(shè)對點X1,X2歐幾里得距離（2 范數(shù)）:|X1 X2|2 = （X1 X2）T（X1X2）1/2n每個坐標(biāo)的絕對值差之和（1范數(shù)）:|X1X2|1 = w |（x（1）i -x（2）i）| i日貝葉斯分類器不受、fisher投影法不受：都屬于判別函數(shù)

6、與距離度量無關(guān)的，故不受影響，近 鄰法，c均值法與受到距離度量的5. （15分）AB玩游戲,A問是非問題,B回答是或非.問1）游戲與模式識別什么內(nèi)容有關(guān)系 ？用模式識別語言描述2）B應(yīng)如何調(diào)整問題3）如果做成計算機游戲，寫出設(shè)計思路，方法，難點，解決方案.游戲受歡迎嗎 為什么？答：？?這是一類決策樹問題?？梢詫⒚恳粋€是非問題看做一個決策樹節(jié)點，是非答案決定了 分支的方向（左或右）。調(diào)整問題應(yīng)該使得在有效分類的情況下樹深度最淺，就能在單次游 戲最壞情況下最快猜出。（我覺得挺 2的，應(yīng)該不會受歡迎。不過可以用作公安局犯罪嫌 疑人指認的軟件）6. （6分）自己設(shè)計模糊數(shù)學(xué)用于模式識別的其他理論方法（

7、除去聚類）.寫出思路必要細節(jié).分析可能結(jié)果.答：例如k-近鄰法的模糊性質(zhì)。定義隸屬函數(shù)j（x）表示x屬于叫類的程度，值域上界為1,表示完全屬于叫，下界為0,表示完全不屬于叫，將對任意一個待判定的樣本，選取某個距 離度量（如歐幾里得距離）最近的k個已知類別的訓(xùn)練樣本 xi,1,2,., k ,從而令模式識別基礎(chǔ)2009秋季k%(x) =£ sigg在)/k得到x對于類的隸屬函數(shù)。 'j 47. (10分)專家經(jīng)常根據(jù)特殊筆跡或特殊長相分類 .問如何在一個人臉自動識別系統(tǒng)或筆跡 自動識別系統(tǒng)中實現(xiàn)人的這一經(jīng)驗.從數(shù)據(jù)預(yù)處理，特征提取，選擇分類器設(shè)計等角度描述 實現(xiàn)這一經(jīng)驗的方法與

8、可能性.優(yōu)點湫點？答：這是一類特殊的圖像識別問題，可以采用 K-L分類卷二、20082009秋模式識別張學(xué)工期末B1. (30)簡要介紹下列概念 ROC曲線、交叉驗證、似然函數(shù)、特征選擇與提取、推廣能力、隨機森林答：1. ROC 曲線(Receiver Operational Characteristic Curve)是以 False Positive Rate 為橫坐標(biāo),True Positive Rate為縱坐標(biāo)的繪制的曲線，通過改變分點給出對應(yīng)的FP和TP繪成。曲線的點表示了在敏感度和特殊性之間的平衡，例如越往左，也就是假陽性越小，則真陽性也越小。曲線下方的面積越大，則表示該方法越有利于

9、區(qū)分兩種類別。2. 交叉驗證是指 交叉驗證(Cross-validation)主要用于建模應(yīng)用中，在給定的建模樣本中，拿出大 部分樣本進行建模型，留小部分樣本用剛建立的模型進行預(yù)報，并求這小部分樣本的預(yù)報誤差，記錄它們的平方加和。這個過程一直進行，直到所有的樣本都被預(yù)報了一次而且僅被預(yù)報一次。 把每個樣本的預(yù)報誤差平方加和，這個數(shù)越小，表示該方法越好3. 特征選擇與提取：特征是指對事物的觀測或者某種運算，用于分類。特征提取是指直接觀測到或者經(jīng)過初步運算的特征原始特征。特征選擇是指從m個特征中選擇 ml個，m1<m。特征提取(特征壓縮、變換)將m個特征變?yōu)閙2個新特征。4. 推廣能力：在有

10、限的樣本上建立的學(xué)習(xí)機器對未來樣本的表現(xiàn)。5. 隨機森林是指通過 bootstrapping樣本來生成許多決策樹，對于決策樹上的每一個節(jié)點，選擇 m個變量來進行決策。計算訓(xùn)練集基于這m個變量的最佳分劃。(Wiki:在機器學(xué)習(xí)中,隨機森林是一個包含多個 決策樹的分類器,并且其輸出的類別是由個別樹輸出的類別的 眾數(shù)而定。Leo Breiman和Adele Cutler發(fā)展出推論出隨機森林的算法。而"Random Forests"是他們的商標(biāo)。這個術(shù)語是1995年由貝爾實驗室的 Tin Kam Ho所提出的 隨機決策森林 (random decision forests而來 的。

11、這個方法則是結(jié)合 Breimans的"Bootstrap aggregating 想法和 Ho 的"random subspace method"" 以建造決策樹的集合。)2. (30')簡述Fisher線性判別方法的基本原理并討論如何在Fisher線性判別中實現(xiàn)最小風(fēng)險的分類決策。答:清華大學(xué) 自動化系|卷二、20082009秋_模式識別_張學(xué)工_期末B 72009秋季模式識別基礎(chǔ)1. Fisher線性判別法是指：將多維判別決策問題通過線性組合降低為1維的時候，選擇一個最優(yōu)的一維線性判別函數(shù)的方法。該方法考慮了不同類別樣本的協(xié)方差和均值之差。決

12、策面法向量為 w =Sw(m1 -m2)。2. 考慮最小風(fēng)險分類決策的時候，需要甄選分界閾值點。從而可以根據(jù)貝葉斯決策規(guī)獲得一種一維內(nèi)的最小風(fēng)險分類器。例如，經(jīng)過投影后的。1,。2分別服從p(x |。1), p(x |。2)的分布規(guī)律P14頁下方3. (20')簡述C-均值方法的基本原理，并討論在什么情況下此方法比較適用。答：C均值法是一種動態(tài)聚類法，通過多次迭代，逐步調(diào)整類別劃分，最終使某準(zhǔn)則達到最優(yōu)。C均值法的目標(biāo)是最小化 Je最小方差劃分。用另一個角度來看，就是用 C個碼本 來代表整個樣本集，使這種表示帶來的總體誤差最小一一向量量化。誤差平方和聚類準(zhǔn)則：見課件 9.3(p14)適

13、用條件：課件9.3 (p22)4. (20' ) SVM與多層感知器都可以實現(xiàn)非線性分類，試討論它們在原理上的聯(lián)系與區(qū)別。答：1. 支持向量機(SVM: Supporting Vector Mechine)原理：課件 5.5 P6 (特點是：P13), 課本P301。支持向量機的基本思想可以概括為：首先通過非線性變化將輸入空間變換到一個高維 空間，然后在這個新空間中求取最優(yōu)先行分類面，而這種非線性變換是通過定義適當(dāng) 的內(nèi)積函數(shù)K(X,Y)實現(xiàn)的。2. 多層感知器(MLP:Multi-Layer Perception)原理：課件 5.4 P10是一種前饋人工神經(jīng)網(wǎng)絡(luò)。它利用三層或者三層以

14、上多個感知器來講輸入數(shù)據(jù)映射為 復(fù)雜輸出數(shù)據(jù)，使得分類器可以產(chǎn)生非線性的或者超平面的決策面，從而成為分線性 分類器。(Wiki:A multilayer perceptron is a feedforwardartificial neural network model that maps sets of input data onto a set of appropriate output. It is a modification of the standard linear perceptron in that it uses three or more layers of neuron

15、s (nodes) with nonlinear activation functions , and is more powerful than the perceptron in that it can1distinguish data that is not linearly separable, or separable by a hyperplane.)3. 聯(lián)系與差異：都屬于非線性分類器，但是其中一種是通過特征空間的非線性變換來實 現(xiàn)最優(yōu)決策面的，而多層感知器則是通過多層感知器(邏輯單元)的邏輯組合(輸入 -中間-輸出)以及每層之間各數(shù)據(jù)的線性組合來實現(xiàn)非線性決策面的模式識別基礎(chǔ)2

16、009秋季1. 通過模式識別基礎(chǔ)課程的學(xué)習(xí)。卷三、20072008秋模式識別張學(xué)工期末B1寫出英文全稱，中文，100字簡述5*6=30a)Hierachical Clustering b)MLP ； c)Nonparametric Estimation； d)SVMe)Fisher's Linear Discriminant Analysis f)PCA; g)Random Forest1. Hierachical Clustering,分級聚類(課件 9.4P45):從各類只有一個樣本點開始，逐級 合并，每級只合并兩類，直到最后所有樣本都歸到一類。聚類過程中考察類間相似度， 依次決定

17、類別數(shù)。2. MLP, Multi-Layer Perception,多層感知器原理：課件 5.4 P1Q是一種前饋人工神經(jīng)網(wǎng)絡(luò)。它利用三層或者三層以上多個感知器來講輸入數(shù)據(jù)映射為 復(fù)雜輸出數(shù)據(jù)，使得分類器可以產(chǎn)生非線性的或者超平面的決策面，從而成為分線性 分類器。(Wiki:A multilayer perceptron is a feedforwardartificial neural network model that maps sets of input data onto a set of appropriate output. It is a modification of th

18、e standard linear perceptron in that it uses three or more layers of neurons (nodes) with nonlinear activation functions , and is more powerful than the perceptron in that it can1、 distinguish data that is not linearly separable, or separable by a hyperplane.)3. Nonparametric Estimation :非參數(shù)估計(課件 3.

19、5.1, P36)不假設(shè)概率模型，通過樣本落在區(qū)域的概率來估計出一個概率密度函數(shù)。常用的有窗 函數(shù)法(如近鄰估計、Parzen窗估計)。4. SVM, Supporting Vector Mechine,支持向量機：課件 5.5 P6 (特點是：P13),課本 P301。支持向量機的基本思想可以概括為：首先通過非線性變化將輸入空間變換到一個高維 空間，然后在這個新空間中求取最優(yōu)先行分類面，而這種非線性變換是通過定義適當(dāng) 的內(nèi)積函數(shù)K(X,Y)實現(xiàn)的。5. Fisher's Linear Discriminant Analysis Fisher 線性判另U分析 :Fisher線性判別法是

20、指：將多維判別決策問題通過線性組合降低為1維的時候，選擇一個最優(yōu)的一維線性判別函數(shù)的方法。該方法考慮了不同類別樣本的協(xié)方差和均值之 . ,一，*- 1差。決策面法向重為 w = Sw (m1-m2)。6. PCA, Principal Component Analysis主成分分析：課件 8.2P21,目的：在統(tǒng)計學(xué)中， 主成分分析(principal components analysis (PCA)是一種簡化數(shù)據(jù)集的技術(shù)。它是一清華大學(xué) 自動化系|卷三、20072008秋模式識別張學(xué)工期末B I 92009秋季模式識別基礎(chǔ)個線性變換。這個變換把數(shù)據(jù)變換到一個新的坐標(biāo)系統(tǒng)中，使得任何數(shù)據(jù)投影

21、的第一大方差在第一個坐標(biāo)（稱為第一主成分）上，第二大方差在第二個坐標(biāo)（第二主成分）上，依次類推。主成分分析經(jīng)常用減少數(shù)據(jù)集的維數(shù)，同時保持?jǐn)?shù)據(jù)集的對方差 貢獻最大的特征。這是通過保留低階主成分，忽略高階主成分做到的。這樣低階成分往往能夠保留住數(shù)據(jù)的最重要方面。但是，這也不是一定的，要視具體應(yīng)用而定。6. Random Forest隨機森林： 隨機森林是指通過 bootstrapping樣本來生成許多決策樹，對于決策樹上的每一個節(jié)點，選擇m個變量來進行決策。計算訓(xùn)練集基于這m個變量的最佳分劃。（Wiki:在機器學(xué)習(xí)中,隨機森林是一個包含多個 決策樹的分類器,并且其輸出的類別是由個別樹 輸出的類別

22、的眾數(shù)而定。Leo Breiman和Adele Cutler發(fā)展出推論出隨機森林的算法。而"RandomForests"是他們的商標(biāo)。這個術(shù)語是1995年由貝爾實驗室的Tin Kam Ho所提出的隨機決策森林（random decision forests 而來的。這個方法則是結(jié)合 Breimans的"Bootstrap aggregating想法和 Ho 的"random subspace method"'以建造決策樹的集合。）2. 200 字簡述 4*5=20a斌小距離分類器何時是最優(yōu)分類器?b）寫出最小距離分類器，分段線性判別，最

23、近鄰法的關(guān)系c）寫出決策樹和隨機森林的關(guān)系，以及為什么要有隨機森林記不太清了，貌似有個 SVM的原理？d）寫出K-L變換和PCA的關(guān)系寫出特征提取和fisher線性判別的關(guān)系答：1. 最小距離分類器：（課本 P120頁）最小距離分類器是指在貝葉斯決策規(guī)則當(dāng)類條件概率 密度為正態(tài)分布且各特征統(tǒng)計獨立同方差時，利用貝葉斯決策規(guī)則在可以得到線性距離 判別函數(shù)，特別是當(dāng) P（叫）=P（2）時，決策規(guī)則式可以寫成|x-1 -|x-i|2!：: 0； x）10, ） x ，2這時的最小距離分類器是滿足貝葉斯決策規(guī)則的最優(yōu)分類器。2. 最小距離分類器是一種分段線性的判別方法。每個樣本點的類別由最近的代表點的

24、類別決定。最近鄰法是這種分類器的一種應(yīng)用，特殊之處在于（課本 P120頁）最近鄰法是將每一個樣本都當(dāng)做類別的代表點3. 隨機森林由多個決策樹組成。隨機森林的優(yōu)缺點：Wiki:The advantages of random forest are: For many data sets, it produces a highly accurate classifier It handles a very large number of input variables It estimates the importance of variables in determining classific

25、ation8 卷三、20072008秋_模式識別_張學(xué)工_期末B |清華大學(xué)自動化系2009秋季模式識別基礎(chǔ), It generates an internal unbiased estimate of the generalization error as the forest building progresses It includes a good method for estimating missing data and maintains accuracy when a large proportion of the data are missing It provides an

26、 experimental way to detect variable interactions, It can balance error in class population unbalanced data sets, It computes proximities between cases, useful foc lustering, detectingoutliers, and (by scaling) visualizing the data, Using the above, it can be extended to unlabeled data, leading to u

27、nsupervised clustering, outlier detection and data views, Learning is fastThe disadvantages of random forest are: Random forest are prone to overfitting for some datasets. This is even more pronounced in noisy classification/regression task Random Forest does not handle large numbers of irrelevant f

28、eatures as well as ensembles of entropy-reducing decision tree It is more efficient to select a random decision boundary than an entropy-reducing decision boundary, thus making larger ensembles more feasible. Although this may seem to be an advantage at first, it has the effect of shifting the compu

29、tation from training time to evaluation time, which is actually a disadvantage for most applications.3.寫出K-L變換和PCA的關(guān)系：PCA和K-L變換目的都是從高維的原始數(shù)據(jù)中提取低維度相 關(guān)性低的特征數(shù)據(jù)。(白云飛：PCA針對樣本協(xié)方差矩陣，找出特征值較大的，K-L變換針對產(chǎn)生矩陣，可以根據(jù)不同準(zhǔn)則挑選特征值和特征向量，二者本質(zhì)相同)3. 構(gòu)造兩類分類器，100個訓(xùn)練數(shù)據(jù)，使用 K近鄰法，如何選擇 K,給出一個合適的 K,說 明理由(1*5=5)答：K值不宜太大，太大則太多干擾樣本點被納入

30、，太小則無法適應(yīng)小規(guī)模錯誤情況，對 于100個訓(xùn)練數(shù)據(jù)，一般來說選擇5、7、9比較合適。去奇數(shù)是為了避免出現(xiàn)兩種類別數(shù)相同無法判決的情況。4. SOM若沒有鄰域作用，則變成什么算法？寫出該算法的目標(biāo)函數(shù)，算法基本步驟 (1*15=15)答：SOM思路類似先作向量量化(聚類)，用較少的點(子類)代表原樣本空間，把這些代表點進行分類。 (Wiki: A self-organizing map (SOM) or self-organizing feature map (SOFM)is a type of artificial neural network that is trained usingu

31、nsupervised learningto produce a low-dimensional (typically two-dimensional), discretized representation of the input space of the training samples, called amap. Self-organizing maps are different from other artificial neural networks in the sense that they use a neighborhood function to preserve th

32、e topological properties of the input space.） 如果沒有鄰域作用，就退化一個典型的一法。該算法計算步驟（課件 9.3, P17）5. 綜合題。文本自動分類的原理性設(shè)計，按內(nèi)容分類為軍事，體育，娛樂等。例舉本科所 學(xué)內(nèi)容和概念能在這個設(shè)計上怎么體現(xiàn)。1*30=30答：因為是按已知內(nèi)容分類，是一個監(jiān)督學(xué)習(xí)的模式識別問題。 考慮如下監(jiān)督學(xué)習(xí)模式1. 隨機獲取已經(jīng)定義好類別的樣本1. 特征提?。好總€樣本進行詞頻統(tǒng)計，詞匯來自辭海。假設(shè)辭海有80000個詞，則對每 一個樣本，得到一個 80000維的特征數(shù)據(jù)。顯然，這是一個高維數(shù)據(jù)。2. 特征處理：（1）首先去

33、所有樣本出現(xiàn)頻度都小于一定閾值的詞匯，比方說出現(xiàn)5次。剩下10000維。（2）對這10000維進行主成分分析，得到一個低維度的特征數(shù)據(jù)，比如4維。（3）對于這三維，可以進行一下分類：k近鄰法、支撐向量機法（廣義支撐向量機）、 Fisher判別法等。其中Fisher判別再次降維后還可以運用基于最小錯誤率的貝葉斯決策3. 對于以上監(jiān)督學(xué)習(xí)模式的樣本可以進行同一個方法的交叉驗證，去除一定的干擾。附加題.說明兩類錯誤率。在 SVM線性不可分的情況下，如何把最小風(fēng)險的概念引入 SVM,對目標(biāo)函數(shù)應(yīng)該怎樣修正。（最多 10分，全卷不會超過100分）答：（1）兩類錯誤率為“拒真納偽”。（2） （課本P298

34、）如果線性不可分，就是某些樣本不能滿足條件時y（wxi）+b-1芝0,弓I 入松弛因子芝0,使得條件變成乂（可環(huán)）+饑-1 +身芝0，對于足夠小的。,只要使n七=£弓。最小就能使錯分樣本數(shù)最小。對應(yīng)線性可分情況下的使分類間隔最大，在線性不 i Tc2 .1一 " .一可分的時候引入約束|w|壬膝，取終得到目標(biāo)函數(shù) min *（ w,-）=w卻+ C（ -i） , C為2id某個指定常數(shù)，起著控制對錯分樣本懲罰的程度（風(fēng)險）的作用。關(guān)于風(fēng)險的討論在課本 P299 頁卷四、20072008秋模式識別_張學(xué)工期末A （略）10卷四、20072008秋_模式識別_張學(xué)工_期末A （

35、略）|清華大學(xué) 自動化系2009秋季模式識別基礎(chǔ)卷五、20062007秋模式識別張學(xué)工期末B1. 寫出英文全稱并解釋相應(yīng)的概念或者方法的原理 30%a洲E參數(shù)估計b)非監(jiān)督模式識別c)最大似然估計d)MDS e片隹廣能力f)kNN答：其他見前文卷子。1. MDS : Multi-Dimensional Scaling,Multidimensional scaling (MDS) is a set of related statistical techniques often used in information visualization for exploring similarities

36、 or dissimilarities in data. MDS is a special case of ordination. An MDS algorithm starts with a matrix of item - item similarities, then assigns a location to each item in N- dimensional space, where N is specified a priori. For sufficiently small N, the resulting locations may be displayed in a gr

37、aph or 3D visualisation.2. 這里附上紅寶書預(yù)測詞匯：LDF:Linear Discriminant Functions 線性判別函數(shù)。ISOMAPIsomap6 is a combination of Curvilinear Distance Analysis (CDA) and Multidimensional Scaling (MDS). Both CDA and Isomap begin by finding a set of the nearest neighbors of each point. They seek to preserve the geode

38、sic distances between points while projecting the data into fewer dimensions. Geodesic distance is defined as the length of the shortest path between two points that stays on the manifold surface. These algorithms estimate geodesic distances by finding the shortest neighbor-to- neighbor path between

39、 every pair of points, which can be computed efficiently using Dijkstras algorithm. LLELocally-Linear Embedding (LLE)8 was presented at approximately the same time as Isomap. It has several advantages over Isomap, including faster optimization when implemented to take advantage of sparse matrix algo

40、rithms, and better results with many problems. LLE also begins by finding a set of the nearest neighbors of each point. It then computes a set of weights for each point that best describe the point as a linear combination of its neighbors. Finally, it uses an eigenvector-based optimization technique

41、 to find the low-dimensional embedding of points, such that each point is still described with the same linear combination of its neighbors. LLE tends to handle non-uniform sample densities poorly because there is no fixed unit to prevent the weights from drifting as various regions differ in sample

42、 densities. LLE has no internal model.2. 如果用kNN來解決作業(yè)中的男女生訓(xùn)練樣本問題，那么你如何選擇k?簡述理由答：K=5,7,9,理由見卷子3. 12%無鄰域相互作用的 SOM的相當(dāng)于是優(yōu)化什么目標(biāo)函數(shù)，寫出目標(biāo)函數(shù)。 8%答：C means,見前文4. 1）簡述兩類錯誤率的概念，并由此談一談最小風(fēng)險錯誤率Bayes分類器的原理？8%2）怎么把最小風(fēng)險的概念引入線性SVM中（考慮線性不可分的情況），嘗試寫出公式 6%3）怎么把最小風(fēng)險的概念引入 Fisher線性判別中，簡述一下。6%答：見前文5. 現(xiàn)在先要建立一種針對不同用戶的文本郵件分類系統(tǒng)，比如

43、分成私人郵件，公務(wù)郵件等。描述怎么建立，課上講的哪些方法和概念可以用到？30%答：見前文卷六、20052006秋模式識別張學(xué)工期末張老師說：言多必失1. 10%簡述最小錯誤率Bayes分類器的原理和適用范圍答：（NBAzzxy說）：原理：通過觀察 x把狀態(tài)的先驗概率轉(zhuǎn)化為狀態(tài)的后驗概率，比較 不同的后驗概率并作出決策。 適用范圍：各類別總體的概率分布是已知的，要決策分類的類 別數(shù)是一定的，離散數(shù)據(jù)，相較其它算法可以解決高維問題。2. 10%什么是分類器的錯誤率？如何估計？簡述兩類錯誤率的概念，以及如何控制兩類錯誤率的影響?答：兩類錯誤率是：拒真納偽?？刂苾深愬e誤率（1）選擇更好的特征。（2）對

44、特征進行提取。（3）變更分類器。（4）同一種分類器引入風(fēng)險函數(shù)進行權(quán)衡（Tradeoff）3. 10%寫出英文全稱模式識別似然函數(shù)非監(jiān)督學(xué)習(xí)非參數(shù)估計答：Pattern Recognition; Likelihood Function; Unsupervised Learning; Non-parametrical Estimation4. 10%無鄰域相互作用的 SOM的準(zhǔn)則函數(shù)？（記不清怎么說的了 .）C-means,見前文5. 15%學(xué)號末兩位和為奇數(shù)用身高數(shù)據(jù)，為偶數(shù)用體重數(shù)據(jù)體重：5557676850進行平均距離分級聚類，給出分類樹，給出每級的距離矩陣。 聚為幾類合適？為什么？（67,68）,50）,（55,57）獰為兩類合適。每級距離矩陣：（67168）力差 *50）方差 *（551.41457）,6. 15%參數(shù)估計和非參數(shù)估計的概念？最大似然估計和Parzen窗法的原理？如何估計錯誤率？15 卷六、20052006秋一模式識別一張學(xué)工一期末|清華大學(xué) 自動化系模式識別基礎(chǔ)2009秋季答：參數(shù)估計：已知概率模型，根據(jù)樣本對參數(shù)進行估計。非參數(shù)估計：未知概率模型，通過樣本對概率模型進行直接估計。最大似然估計：在參數(shù)估計中選取使樣本出現(xiàn)概率最大 * 、一 一 、一，、（Most Likelihood ）的參數(shù)6進仃的估計。Parzen窗法是一種非參