模式識別試驗(基于Fisher準則線性分類器設(shè)計)(共7頁)

1、精選優(yōu)質(zhì)文檔-傾情為你奉上 模式識別實驗（三）一、 實驗名稱基于Fisher準則線性分類器設(shè)計二、實驗?zāi)康模罕緦嶒炛荚谧屚瑢W進一步了解分類器的設(shè)計概念，能夠根據(jù)自己的設(shè)計對線性分類器有更深刻地認識，理解Fisher準則方法確定最佳線性分界面方法的原理，以及Lagrange乘子求解的原理。三、實驗原理：線性判別函數(shù)的一般形式可表示成 其中根據(jù)Fisher選擇投影方向W的原則，即使原樣本向量在該方向上的投影能兼顧類間分布盡可能分開，類內(nèi)樣本投影盡可能密集的要求，用以評價投影方向W的函數(shù)為： 上面的公式是使用Fisher準則求最佳法線向量的解，該式比較重要。另外，該式這種形式的運算，我們稱為線性變換

2、，其中(m1-m2)式一個向量，Sw-1是Sw的逆矩陣，如(m1-m2)是d維，Sw和Sw-1都是d×d維，得到的也是一個d維的向量。向量就是使Fisher準則函數(shù)達極大值的解，也就是按Fisher準則將d維X空間投影到一維Y空間的最佳投影方向，該向量的各分量值是對原d維特征向量求加權(quán)和的權(quán)值。以上討論了線性判別函數(shù)加權(quán)向量W的確定方法，并討論了使Fisher準則函數(shù)極大的d維向量 的計算方法，但是判別函數(shù)中的另一項w0尚未確定，一般可采用以下幾種方法確定w0如或者 或當與已知時可用當W0確定之后，則可按以下規(guī)則分類，使用Fisher準則方法確定最佳線性分界面的方法是一個著名的方法，

3、盡管提出該方法的時間比較早，仍見有人使用。四、實驗內(nèi)容：已知有兩類數(shù)據(jù)和二者的概率已知=0.6，=0.4。中數(shù)據(jù)點的坐標對應(yīng)一一如下：數(shù)據(jù)：x = 0.2331 1.5207 0.6499 0.7757 1.0524 1.1974 0.2908 0.2518 0.6682 0.5622 0.9023 0.1333 -0.5431 0.9407 -0.2126 0.0507 -0.0810 0.7315 0.3345 1.0650 -0.0247 0.1043 0.3122 0.6655 0.5838 1.1653 1.2653 0.8137 -0.3399 0.5152 0.7226 -0.2

4、015 0.4070 -0.1717 -1.0573 -0.2099y = 2.3385 2.1946 1.6730 1.6365 1.7844 2.0155 2.0681 2.1213 2.4797 1.5118 1.9692 1.8340 1.8704 2.2948 1.7714 2.3939 1.5648 1.9329 2.2027 2.4568 1.7523 1.6991 2.4883 1.7259 2.0466 2.0226 2.3757 1.7987 2.0828 2.0798 1.9449 2.3801 2.2373 2.1614 1.9235 2.2604z = 0.5338

5、0.8514 1.0831 0.4164 1.1176 0.5536 0.6071 0.4439 0.4928 0.5901 1.0927 1.0756 1.0072 0.4272 0.4353 0.9869 0.4841 1.0992 1.0299 0.7127 1.0124 0.4576 0.8544 1.1275 0.7705 0.4129 1.0085 0.7676 0.8418 0.8784 0.9751 0.7840 0.4158 1.0315 0.7533 0.9548數(shù)據(jù)點的對應(yīng)的三維坐標為x2 = 1.4010 1.2301 2.0814 1.1655 1.3740 1.18

6、29 1.7632 1.9739 2.4152 2.5890 2.8472 1.9539 1.2500 1.2864 1.2614 2.0071 2.1831 1.7909 1.3322 1.1466 1.7087 1.5920 2.9353 1.4664 2.9313 1.8349 1.8340 2.5096 2.7198 2.3148 2.0353 2.6030 1.2327 2.1465 1.5673 2.9414y2 = 1.0298 0.9611 0.9154 1.4901 0.8200 0.9399 1.1405 1.0678 0.8050 1.2889 1.4601 1.4334

7、 0.7091 1.2942 1.3744 0.9387 1.2266 1.1833 0.8798 0.5592 0.5150 0.9983 0.9120 0.7126 1.2833 1.1029 1.2680 0.7140 1.2446 1.3392 1.1808 0.5503 1.4708 1.1435 0.7679 1.1288z2 = 0.6210 1.3656 0.5498 0.6708 0.8932 1.4342 0.9508 0.7324 0.5784 1.4943 1.0915 0.7644 1.2159 1.3049 1.1408 0.9398 0.6197 0.6603 1

8、.3928 1.4084 0.6909 0.8400 0.5381 1.3729 0.7731 0.7319 1.3439 0.8142 0.9586 0.7379 0.7548 0.7393 0.6739 0.8651 1.3699 1.1458數(shù)據(jù)的樣本點分布如下圖：五、實驗要求：1. 可以選擇二維的數(shù)據(jù)，或者選擇三維的數(shù)據(jù)作為樣本。根據(jù)Fisher選擇投影方向W的原則，即使原樣本向量在該方向上的投影能兼顧類間分布盡可能分開，類內(nèi)樣本投影盡可能密集的要求，求出評價投影方向W的函數(shù)，并在圖形表示出來。并在實驗報告中表示出來，并求使取極大值的。用matlab完成Fisher線性分類器的設(shè)計，程

9、序的語句要求有注釋。2. 根據(jù)上述的結(jié)果并判斷（1，1.5）， (1.2，1.0)，(2.0，0.9)，(1.2，1.5)，（0.23，2.33）或者（1，1.5，0.6）(1.2，1.0，0.55)，(2.0，0.9，0.68)，(1.2，1.5，0.89)，（0.23，2.33，1.43），屬于哪個類別，并畫出數(shù)據(jù)分類相應(yīng)的結(jié)果圖，要求畫出其在W上的投影。3. 分析一下W的比例因子對于Fisher判別函數(shù)沒有影響的原因。補充實驗：基于感知函數(shù)準則的線性分類器設(shè)計一、 實驗名稱線性分類器設(shè)計（感知準則函數(shù)準則）二、 實驗?zāi)康谋緦嶒炛荚谧屚瑢W理解感知準則函數(shù)的原理，通過軟件編程模擬線性分類器，

10、理解感知函數(shù)準則的的確定過程，掌握梯度下降算法求增廣權(quán)向量，進一步深刻認識線性分類器。三、 實驗原理：感知準則函數(shù)是五十年代由Rosenblatt提出的一種自學習判別函數(shù)生成方法，由于Rosenblatt企圖將其用于腦模型感知器，因此被稱為感知準則函數(shù)。其特點是隨意確定的判別函數(shù)初始值，在對樣本分類訓(xùn)練過程中逐步修正直至最終確定。感知準則函數(shù)利用梯度下降算法求增廣權(quán)向量的做法，可簡單敘述為： 任意給定一向量初始值，第k+1次迭代時的權(quán)向量等于第k次的權(quán)向量加上被錯分類的所有樣本之和與的乘積?？梢宰C明，對于線性可分的樣本集，經(jīng)過有限次修正，一定可以找到一個解向量，即算法能在有限步內(nèi)收斂。其收斂速度的快慢取決于初始權(quán)向量和系數(shù)。四、 實驗內(nèi)容已知有兩個樣本空間w1和w2，這些點對應(yīng)的橫縱坐標的分布情況是：x1=1,2,4,1,5;y1=2,1,-1,-3,-3;x2=-2.5,-2.5,-1.5,-4,-5,-3;y2=1,-1,5,1,-4,0;在二維空間樣本分布圖形如下所示：（plot(x1,y1,x2,y2)）五、實驗任務(wù)：1、 用matlab完成感知準則函數(shù)確定程序的設(shè)計。2、 請確定sample=0,1,-1,