北郵模式識別課堂作業(yè)答案參考

1、第一次課堂作業(yè)1. 人在識別事物時是否可以避免錯識？2. 如果錯識不可避免，那么你是否懷疑你所看到的、 聽到的、嗅到的到底 是真是的，還是虛假的？3. 如果不是，那么你依靠的是什么呢？用學(xué)術(shù)語言該如何表示。4. 我們是以統(tǒng)計學(xué)為基礎(chǔ)分析模式識別問題， 采用的是錯誤概率評價分類 器性能。如果不采用統(tǒng)計學(xué)，你是否能想到還有什么合理地分類器性能評 價指標(biāo)來替代錯誤率？1. 知覺的特性為選擇性、整體性、理解性、恒常性。錯覺是錯誤的知覺，是在特定條件下產(chǎn)生的對客觀事物歪曲的知覺。認(rèn)知是一個過程，需要大腦的參與人的認(rèn)知并不神秘，也符合一定的規(guī)律，也會產(chǎn)生錯誤2. 不是3. 辨別事物的最基本方法是計算.從不

2、同事物所具有的不同屬性為出發(fā)點認(rèn)識事物.一種是對事物的屬性進行度量，屬于定量的表示方法 （向量表示法）。另 一種則是對事務(wù)所包含的成分進行分析，稱為定性的描述（結(jié)構(gòu)性描述方法）。4. 風(fēng)險第二次課堂作業(yè)作為學(xué)生，你需要判斷今天的課是否點名。結(jié)合該問題（或者其它你熟悉的識別問題, 女如'天氣預(yù)報”），說明：先驗概率、后驗概率和類條件概率？按照最小錯誤率如何決策？ 按照最小風(fēng)險如何決策？3i為老師點名的事件,X為判斷老師點名的概率1. 先驗概率：指根據(jù)以往經(jīng)驗和分析得到的該老師點名的概率，即為先驗概率P（3i ）后驗概率：在收到某個消息之后，接收端所了解到的該消息發(fā)送的概率稱為后驗概率。在

3、上過課之后，了解到的老師點名的概率為后驗概率P（3 i|x）類條件概率：在老師點名這個事件發(fā)生的條件下，學(xué)生判斷老師點名的概率P（X| 3i）2.叫IX）=單鞏如果P（3 1|X）P（ 3 2|X），則X歸為3 1類別如果P（ 3 1|X） W P（ 3 2|X），則X歸為3 2類別3.1）計算出后驗概率2）計算條件風(fēng)險已知R 3i）和P（X 3i），i=1,，C，獲得觀測到的特征向量 X 根據(jù)貝葉斯公式計算j=1,，xR（叫|冥）=£人宀卩（巴|50計算出每個決策的條件風(fēng)險3）找出使條件風(fēng)險最小的決策ak,則a k就是最小風(fēng)險貝葉斯決策。第3次課堂作業(yè)1. 正態(tài)分布概率下采用最小錯

4、誤率貝葉斯決策， 滿足什么條件時，分類邊界是線 性函數(shù)？2. 什么是參數(shù)估計，什么是非參數(shù)估計（分別舉例解釋）？1. 在正態(tài)分布條件下，基于最小錯誤率貝葉斯決策只要能做到兩類協(xié)方差矩 陣是一樣的，那么無論先驗概率相等不相等，都可以用線性分界面實現(xiàn)。a）在藝i = /l P （q）=P（ 3j）條件下，正態(tài)分布概率模型下的最小 錯誤率貝葉斯決策等價于最小距離分類器b)藝i=c極大似然估計：已經(jīng)得到實驗結(jié)果的情況下，尋找著使得這個結(jié)果出現(xiàn)的可能性最大 的那個數(shù)值作爲(wèi)B(tài)的估計 貝葉斯估計基本思想：已知參數(shù)B的概率密度函數(shù) ，根據(jù)樣本的觀測值，基于貝葉斯 決策來估計參數(shù)（理解部分，自己加吧加吧）第6次

5、課堂作業(yè)1. 線性分類器的分界面是什么曲線？WTX + w0 =0在線性判別函數(shù)條件下它對應(yīng) d維空間的一個超平面g（X） =WTX 十叫g(shù)（X） = 0就是相應(yīng)的決策面方程IP( 3 i) P( 3 j)判別函數(shù)為最小歐氏距距離分類器存如X + 於旳）+ In P（A） WjX + g 2口0 2）藝i=z判別函數(shù)嘰線性分類器2. 參數(shù)估計：已經(jīng)隨機變量服從正態(tài)分布，估計均值為卩和方差£ 非參數(shù)估計：未知數(shù)學(xué)模型，直接估計概率密度函數(shù)自己舉例子吧參數(shù)估計:基于貝葉斯的最小錯誤率估計方法非參數(shù)估計：Parzen窗口估計kN近鄰估計第4次課堂作業(yè)對比兩種方法，回答：1. 你怎樣理解極大

6、似然估計。2. 你怎樣理解貝葉斯估計基本思想。X1X= -2. 在兩維空間存在一條不過原點的直線,那么，在增加一維的三維空間中，為。ax計bx2+c=0，米用增廣向量形式：a TY=0表示的是，它的方程表示三維空間中決策面為一過原點的平面這樣，特征空間增加了一維，但保持了樣本間的歐氏距離不變對于分類效果也與原決策面相同，只是在Y空間中決策面是通過坐標(biāo)原點的3. 設(shè)五維空間的線性方程為55xi + 68 X2 + 32X3 + 16x4 + 26x5 + 10 = 0,試求出其權(quán)向量與樣本向量點積的表達(dá)式Wx+ W0=0中的W X和w以及增廣樣本向量形式中a TY的a與Y。W=55,68,32,

7、16,26'w0=10X=(x1,x2,x3,x4,x5)'A=10, 55,68,32,16,26'Y=1,x1,x2,x3,x4,x5)'第七次作業(yè)1. 線性分類器的分界面是超平面，線性分類器設(shè)計步驟是什么？2. Fisher 線性判別函數(shù)是研究這類判別函數(shù)中最有影響的方法之一，請簡述它的準(zhǔn)則3. 感知器的準(zhǔn)則函數(shù)是什么？它通過什么方法得到最優(yōu)解？(1)1.按需要確定一準(zhǔn)則函數(shù) J。2. 確定準(zhǔn)則函數(shù)J達(dá)到極值時W及W的具體數(shù)值，從而確定判別函數(shù)，完成分類 器設(shè)計。(2) Fisher準(zhǔn)則就是要找到一個最合適的投影軸，使兩類樣本在該軸上投影的交迭部分最少，從

8、而使分類效果為最佳。JP訓(xùn)練樣本的錯分最小幾=工p y)j*/梯度下降法和迭代法第八次作業(yè)答案1. 簡述最近鄰的決策規(guī)則2. 簡述k-最近鄰的決策規(guī)則3. 比較最近鄰決策和最小錯誤率貝葉斯決策的錯誤率1. 將與測試樣本的類別作為決策的方法成為最近鄰法2. 找測試樣本的k個最近樣本做決策依據(jù)的方法3.C-1最近鄰法的漸近平均錯誤率的上下界分別為貝葉斯錯誤率p*<p<2P*由于一般情況下 p*很小，因此又可粗略表示成一 一第九次作業(yè)研究模式識別中事物的描述方法主要靠什么？設(shè)原特征空間表示成 x=（xi, X2, X3/,即一個三維空間。現(xiàn)在在 x空間基礎(chǔ)上得到 一個二維的特征空間 Y:

9、（ yi, y2）T-其中若yi=xi, y2=X2,屬哪一種方法：特征選擇還是特征提?。?若嚴(yán)FFP2 =孟2，試問屬哪種？-怎樣利用距離可分性判據(jù) J2進行特征提?。?.模式就是用它們所具有的 特征（Feature）描述的。a）一種是對事物的屬性進行度量，屬于定量的表示方法（向量表示法）<b）另一種則是對事務(wù)所包含的成分進行分析，稱為定性的描述（結(jié)構(gòu)性描 述方法）。2選擇提取矩陣S-10的本征值為 入1,入2Xd,按大小順序排列為 入1X 2X D,選前d個本征值對應(yīng)的本征向量作為W即：W= 口 1 , 口 2 口 d 此時：j2（vy = x 計 x 2 + + x d第10次課堂

10、作業(yè)簡述PCA變換的基本思想？簡述PCA變換的過程有那些特征選擇的方法1. 主成分分析(PCA)基本思想進行特征降維變換，不能完全地表示原有的對象，能量總會有損失。 希望找到一種能量最為集中的的變換方法使損失最小2.原始輸入：x變換后特征:y變換矩陣(線性變換):A則 y=Ax考慮以R的特征向量作為A的列，貝UR=ARA = ai,a 2a n R< ai,a 2 a n = ai,a 2a n入 侖，入2a2入 nan=為對角矩陣，對角線元素為 入1,入2入n達(dá)到變換后特征不相關(guān)的目的原有N維，只保留m維，如果對特征向量排序，舍到最小的特征，則損失的 能量最小即去掉ym+1 y N3.

11、 特征提取按歐氏距離度量的特征提取方法按概率距離判據(jù)提取特征特征選擇最優(yōu)搜索算法次優(yōu)搜索法：單獨最優(yōu)特征組合，順序前進法，順序后退法，增I減r法第十一次課堂作業(yè)聯(lián)系實際問題或者人的認(rèn)知過程，談?wù)勈裁词菬o監(jiān)督學(xué)習(xí)？無監(jiān)督學(xué)習(xí)能 完成什么任務(wù)？然而在實際應(yīng)用中，不少情況下無法預(yù)先知道樣本的標(biāo)簽，也就是 說沒有訓(xùn)練樣本因而只能從原先沒有樣本標(biāo)簽的樣本集開始進行分類器設(shè)計，這就是通常說的無監(jiān)督學(xué)習(xí)方法。計算機視覺圖像分割 基于內(nèi)容的圖像檢索數(shù)據(jù)挖掘推薦系統(tǒng)/協(xié)同過濾 文本分類簡述C均值聚類算法？A工b-翊i誤差平方和為準(zhǔn)則，實現(xiàn)極小的聚類選定代表點后要進行初始劃分、迭代計算C均值算法可歸納成：(1)

12、選擇某種方法把N個樣本分成C個聚類的初始劃分，計算每個 聚類的均值和誤差平方和jc(2) 選擇一個備選樣本y，設(shè)其在第i類若Ni=1，則轉(zhuǎn)，否則繼續(xù)計算莎臺II嚴(yán)對于所有的j，若ej最小，則把y放入第j類重新計算第i, j類的均值和j c(7)若連續(xù)迭代N次(即所有樣本都運算過)不變，則停止，否則 轉(zhuǎn)到2。第十二次課堂作業(yè)畫出前饋人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)談?wù)剬ζ谕L(fēng)險、經(jīng)驗風(fēng)險和結(jié)構(gòu)風(fēng)險的理解。1.根據(jù)n個獨立同分布觀測樣本：(x1 , y1 ) , (x2 , y2 ),，(xn,yn),在一組函數(shù)f(X，)中求一個最優(yōu)的函數(shù)f(x, o)對依賴關(guān)系進行估計，使期望風(fēng)險 經(jīng)驗風(fēng)險最小化R( )L(y,f(x, 0)dF(x,y)最小2. 學(xué)習(xí)的目標(biāo)在于使期望風(fēng)險最小化，傳統(tǒng)的學(xué)習(xí)方法中采用了所謂經(jīng) 驗風(fēng)險最小化（ERM準(zhǔn)則，即用樣本定義經(jīng)驗風(fēng)險1 nRemP ） 一L（yi ,f （Xi ,）n i i作為對期望風(fēng)險的估計，設(shè)計學(xué)習(xí)算法使它最小化3. 結(jié)構(gòu)風(fēng)險最