基于LMSE的分類器設計

1、主主 講：周潤景講：周潤景 教授教授單單 位：電子信息工程學院位：電子信息工程學院基于LMSE的分類器設計目目 錄錄 LMSE算法簡介算法簡介算法的原理算法的原理算法的實現(xiàn)步驟算法的實現(xiàn)步驟實現(xiàn)算法的實現(xiàn)算法的MATLAB編程過程編程過程算法的算法的MATLAB仿真情況仿真情況結論結論 LMSE算法簡介算法簡介 LMSE是Least Mean Square Error的英文縮寫,中文的意思是 最小均方誤差, 常記做LMS算法。 感知器和自適應線性元件在歷史上幾乎是同時提出的，并且兩者在對權值的調(diào)整的算法非常相似。它們都是基于糾錯學習規(guī)則的學習算法。感知器算法存在如下問題：不能推廣到一般的前向網(wǎng)

2、絡中；函數(shù)不是線性可分時，得不出任何結果。而由美國斯坦福大學的Widrow和Hoff在研究自適應理論時提出的LMS算法，由于其容易實現(xiàn)而很快得到了廣泛應用，成為自適應濾波的標準算法。 LMSE算法是對準則函數(shù)引進最小均方誤差這一條件而建立起來的。這種算法的主要特點是在訓練過程中判定訓練集是否線性可分，從而可對結果的收斂性做出判斷。 LMSE算法屬于監(jiān)督學習的類型, 而且是“模型-無關”的，它是通過最小化輸出和期望目標值之間的偏差來實現(xiàn)的。一、算法的原理一、算法的原理( (一一) ) LMSE算法屬于自適應算法中一種常用的算法,它不同于C均值算法和ISODATA算法那樣屬于基于距離度量的算法,直

3、觀容易理解,它是通過調(diào)整權值函數(shù)求出判別函數(shù),進而將待測樣品代入判別函數(shù)求值最終做出判定得解。一、算法的原理一、算法的原理( (二二) ) 一、算法的原理一、算法的原理(二二)準則函數(shù): 準則函數(shù)在 時得 的最小值。 準則函數(shù)對Wi的偏導數(shù)為:21(,)() 2TJ Wi XEi XWi Xr0)(XWiXriT),(XWJiXWiXriXEWiJT)(一、算法的原理一、算法的原理(二二)求取迭代方程: 將上式偏導數(shù)代入迭代方程，得到: 對于多類問題來說，M類問題應該有M個權函數(shù)方程，對于每一個權函數(shù)方程來說，如 ，則 否則 )()()()()() 1(kXkWikXrikXakWkWTkii

4、ikX)(1)(kXriijMjkXri,.,2 , 10)(二、二、 LMSE算法算法步驟步驟1.設各個權矢量的初始值為0，即：2.輸入第k次樣品 ，計算 3.確定期望輸出函數(shù)值：若 ，則 ，否則 4.計算迭代方程，其中 。5.循環(huán)執(zhí)行第2步，直到滿足條件：屬于 類的所有樣品都滿足如下不等式： 。 0)0(.)0()0()0(9210WWWW)(kX)()()(kXkWkdTiiikX)(1)(kXri0)(kXrikk1iijXdXdji)()(三、實現(xiàn)三、實現(xiàn)LMSE算法的詳細過程算法的詳細過程l1.首先給定四類樣品，各樣品的特征向量經(jīng)過增1(這里以第一類為例)lpattern=stru

5、ct(feature,)lp1=864.45 1647.31 2665.9; 877.88 2031.66 3071.18; 1418.79 1775.89 2772.9; 1449.58 1641.58 3405.12; 864.45 1647.31 2665.9; 877.88 2031.66 3071.18; 1418.79 1775.89 2772.9; 1449.58 1641.58 3405.12; 1418.79 1775.89 2772.9; 1449.58 1641.58 3405.12;lpattern(1).feature=p1三、實現(xiàn)三、實現(xiàn)LMSE算法的詳細過程算法的

6、詳細過程lpattern(1).feature(4,:)=12.設權值向量的初始值均為0lw=zeros(4,4);%初始化權值3.計算di(k)lfor k=1:4l m=pattern(i).feature(:,j)l m=m/norm(m)l d(k)=w(:,k)*m %計算d4.調(diào)整權值lfor k=1:4l if k=il if d(i)=d(k)%d(i)不是最大，則繼續(xù)迭代l flag=1;三、實現(xiàn)三、實現(xiàn)LMSE算法的詳細過程算法的詳細過程lendl endl endl %調(diào)整權值l for k=1:4l w(:,k)=w(:,k)+m*(r(k)-d(k)/num 5. 通

7、過判別函數(shù)將待分類數(shù)據(jù)分類 調(diào)用function函數(shù)，將待測數(shù)據(jù)分類，因為調(diào)用一次只能判別一個樣品的類別，所以循環(huán)30次完成分類：lfor k=1:30l sample=sampletotall(:,k)l y=lmseclassify(sample)l x=sample(1)三、實現(xiàn)三、實現(xiàn)LMSE算法的詳細過程算法的詳細過程lyy=sample(2)l z=sample(3)l ac(k)=y6.用三維效果圖將結果直觀顯示laxis(0 3500 0 3500 0 3500) l if y=1 plot3(x,yy,z,g*); %一類表示為綠色l elseif y=2 plot3(x,y

8、y,z,r*) %二類表示為紅色l elseif y=3 plot3(x,yy,z,b*) %三類表示為藍色l elseif y=4 plot3(x,yy,z,y*) %四類表示為黃色lendlhold on四、算法四、算法的的MATLAB仿真仿真情況情況最終的分類結果：lac =l1 至 15 列l(wèi)3 3 1 3 4 2 2 3 4 1 3 2 1 2l4l16 至 30 列l(wèi)2 4 3 4 2 2 1 3 1 1 4 1 3 3l3四、算法四、算法的的MATLAB仿真仿真情況情況數(shù)數(shù)據(jù)據(jù)編編號號原原始始分分類類預預測測分分類類數(shù)數(shù)據(jù)據(jù)編編號號原原始始分分類類預預測測分分類類數(shù)數(shù)據(jù)據(jù)編編號號

9、原原始始分分類類預預測測分分類類數(shù)數(shù)據(jù)據(jù)編編號號原原始始分分類類預預測測分分類類數(shù)數(shù)據(jù)據(jù)編編號號原原始始分分類類預預測測分分類類133722131119442511233833142220222644311944154421222711433101116222231283354411331744233329336221232183324113033結果分析：從表中可以看出有結果分析：從表中可以看出有2個分類結果是錯的，正確率為個分類結果是錯的，正確率為93.3%。四、總結四、總結學習樣本的維數(shù)問題： 因為樣品類別不均勻（第一類4個樣品，第二類8個樣品，第三類9個樣品，第四類10個樣品），程序不

10、運行，后來將數(shù)據(jù)重復添加進去，保證了程序的正常運行。lfor j=1:10l 。l for k=1:4l m=pattern(i).feature(:,j)l d(k)=w(:,k)*m %計算dl end 。end四、總結四、總結p1=864.45 1647.31 2665.9; 877.88 2031.66 3071.18;1418.79 1775.89 2772.9; 1449.58 1641.58 3405.12;864.45 1647.31 2665.9;877.88 2031.66 3071.18;1418.79 1775.89 2772.9; 1449.581641.58 3405.12;1418.79 1775.89 2772.9; 1449.581641.58 3405.12; 注意：其中864.45 16