模式識別感知器算法求判別函數(shù)

1、感知器算法求判別函數(shù)一、實驗?zāi)康恼莆张袆e函數(shù)的概念和性質(zhì),并熟悉判別函數(shù)的分類方法,通過實驗更深入的了解判別函數(shù)及感知器算法用于多類的情況,為以后更好的學習模式識別打下根底.二、實驗內(nèi)容學習判別函數(shù)及感知器算法原理,在MATLAB平臺設(shè)計一個基于感知器算法進行練習得到三類分布于二維空間的線性可分模式的樣本判別函數(shù)的實驗,并畫出判決面,分析實驗結(jié)果并做出總結(jié).三、實驗原理3.1判別函數(shù)概念直接用來對模式進行分類的準那么函數(shù).假設(shè)分屬于必,32的兩類模式可用一方程d(X)=0來劃分,那么稱d(X)為判別函數(shù),或稱判決函數(shù)、決策函數(shù).如,一個二維的兩類判別問題,模式分布如圖示,這些分屬于必,32兩類

2、的模式可用一直線方程d(X)=0來劃分.其中d(X)=wkw2x2w3=0(1)x1,x2為坐標變量.將某一未知模式X代入(1)中：假設(shè)(X)>0,那么XW孫類;假設(shè)(X)<0,那么X亡鬼類；假設(shè)(X)=0,那么X*r或X*s或拒絕維數(shù)=3時：判別邊界為一平面.維數(shù)>3時：判別邊界為一超平面1.3.2 感知器算法1958年,(美)F.Rosenblatt提出,適于簡單的模式分類問題.感知器算法是對一種分類學習機模型的稱呼,屬于有關(guān)機器學習的仿生學領(lǐng)域中的問題,由于無法實現(xiàn)非線性分類而下馬.但“賞罰概念(reward-punishmentconcept)得到廣泛應(yīng)用,感知器算法

3、就是一種賞罰過程2.兩類線性可分白模式類與.2,設(shè)d(X)=WX其中,w=JW1,w2,wn,wn小,X=X1,x2,xn,1T應(yīng)具有性質(zhì)T0,d(X)=WTX0,對樣本進行標準化處理,即32類樣本全部乘以(-1),那么有:(3)火X)=wTx>o感知器算法通過對類別的練習樣本集的學習,尋找一個滿足上式的權(quán)向量.感知器算法步驟：(1)選才IN個分屬于/和32類的模式樣本構(gòu)成練習樣本集X1,XN構(gòu)成增廣向量形式,并進行標準化處理.任取權(quán)向量初始值W(1),開始迭代.迭代次數(shù)k=1o(2)用全部練習樣本進行一輪迭代,計算WT(k)Xi的值,并修正權(quán)向量.分兩種情況,更新權(quán)向量的值：1 .假設(shè)

4、WT(kXi00,分類器對第i個模式做了錯誤分類,權(quán)向量校正為：Wk1=WkcXic：正的校正增量.2 .假設(shè)W(kXi>°,分類正確,權(quán)向量不變：W(k+1)=W(k)統(tǒng)一寫為：W(jt)+cxWr(Jt)Xt>0Wr(t)X,<0(4)(3)分析分類結(jié)果：只要有一個錯誤分類,回到(2),直至對所有樣本正確分類.感知器算法是一種賞罰過程：分類正確時,對權(quán)向量“賞一一這里用“不罰,即權(quán)向量不變；分類錯誤時,對權(quán)向量“罰一一對其修改,向正確的方向轉(zhuǎn)換3.3.3 感知器算法的流程及框圖1、確1定樣本：輸入向量P、目標向量To2、網(wǎng)絡(luò)大?。焊鶕?jù)向量的維數(shù)來選擇網(wǎng)絡(luò)規(guī)模.3

5、、初始化：Wb取隨機值,范圍-1,+1網(wǎng)絡(luò)輸出：根據(jù)P、Wb來計算網(wǎng)絡(luò)的輸出Y.5 、學習偏差：E=T-Y.6 、新的網(wǎng)絡(luò)參數(shù)：W?=W+EXPT、.=0+E(5)反復(fù)練習,直到到達目標,或到達最大的練習次數(shù).任選一初始增廣權(quán)矢量用練習樣本檢盍分類是否前二二No對權(quán)值進行校正1號所有練習樣本都正確分類匚二IYesEND圖1感知器算法流程圖四、實驗結(jié)果與分析本次實驗先產(chǎn)生了三組服從正態(tài)分布的樣本,通過感知器算法畫出了他們的判別函數(shù)如圖2所示：FileEditViewInsertTookDesktopWn-dowHelpSJd/環(huán)10群®0乂,曼口OINatenewtoolbarbutt

6、ons:d田tmbruEhimig&.linkEdplots乂1,4國vid/口x10e6420H1NVhh-s一巍窣才+4"->*a49*d14aP一$一J：X1、w!A*：J留過*1*1sli411I-10-GJ-20246810圖2畫出的判別面得到的判別函數(shù)分別是d1=47.2296x1-92.9167x2+20.0000d2=55.4429x1-80.6872x2-48.0000d3=-252.8807x1-224.7119x2-72.0000通過分析上述實驗結(jié)果,雖然由于感知器算法是倆倆比擬,并且是線性分類,所以第三條判別函數(shù)可能會穿過第三類樣本,但可以看出判

7、別函數(shù)把三類樣本兩兩分開,到達了實驗的目的,也掌握了感知器算法的原理.五、總結(jié)本文通過研究基于感知器算法進行樣本分類,用MATLAB語言設(shè)計了程序,結(jié)果說明該系統(tǒng)根本實現(xiàn)了要求的功能,但系統(tǒng)也存在第三條判別函數(shù)不理想的情況,這也是感知器算法無法實驗非線性分類的結(jié)果,以后學習其他算法后可以改良.參考文獻1夏東盛,李永濤,張曉,等.模式線性可分時的一種單層感知器算法C/中國計算機學會第一屆全國Web信息系統(tǒng)及其應(yīng)用學術(shù)會議.2004:29-31.2劉建偉,申芳林,羅雄麟.感知器學習算法研究J.計算機工程,2021,第7期(7):190-192.3易中凱.感知器網(wǎng)絡(luò)學習算法研究與應(yīng)用D.北京理工大學

8、,2001.附錄程序源代碼clear;clc;mu1=12;S1=0.250;00.7;data1=mvnrnd(mu1,S1,100);mu2=46;S2=0.50;00.45;data2=mvnrnd(mu2,S2,100);mu3=-55;S3=0.70;00.4;data3=mvnrnd(mu3,S3,100);data=data1;data2;data3;%生成三組服從正態(tài)分布的樣本one=zeros(100,1);one(:,1)=1;X1=data1one;X2=data2one;X3=data3one;知曾廣矩陣W1=0,0,0;W2=0,0,0;W3=0,0,0;%W臺權(quán)向量

9、whiletruecounter=0;fori=1:100%寸第一組練習樣本迭代d11=W1*X1(i,:)'d12=W2*X1(i,:)'d13=W3*X1(i,:)'ifd11>d12&&d11>d13counter=counter+1;elseW1=W1+2*X1(i,:);W2=W2-2*X1(i,:);W3=W3-2*X1(i,:);endendfori=1:100%寸第二組練習樣本迭代d21=W1*X2(i,:)'d22=W2*X2(i,:)'d23=W3*X2(i,:)'ifd22>d21&

10、&d22>d23counter=counter+1;elseW1=W1-2*X2(i,:);W2=W2+2*X2(i,:);W3=W3-2*X2(i,:);endendfori=1:100%對第三組練習樣本迭代d31=W1*X3(i,:)'d32=W2*X3(i,:)'d33=W3*X3(i,:)'ifd33>d31&&d33>d32counter=counter+1;elseW1=W1-2*X3(i,:);W2=W2-2*X3(i,:);W3=W3+2*X3(i,:);endendifcounter=300breakenden

11、dplot(data(:,1),data(:,2),'b.','MarkerSize',6);%出三組聚類點holdon;a1=W1(:,1);b1=W1(:,2);c1=W1(:,3);a2=W2(:,1);b2=W2(:,2);c2=W2(:,3);a3=W3(:,1);b3=W3(:,2);c3=W3(:,3);x=linspace(-10,25,1000);y1=-(a1-a3)*x/(b1-b3)-(c1-c3)/(b1-b3);%fe成函數(shù)y2=-(a2-a1)*x/(b2-b1)-(c2-c1)/(b2-b1);y3=-(a3-a2)*x/(b3-

12、b2)-(c3-c2)/(b3-b2);holdon;plot(x,y1,'c',x,y2,'r',x,y3,'b')徭出判決面axis(-1010-210);holdon;gridon;7 Toolate為時太晚Theplanewaslateanddetectiveswerewaitingattheairportallmorning.TheywereexpectingavaluableparcelofdiamondsfromSouthAfrica.Afewhoursearlier,someonehadtoldthepolicethatthiev

13、eswouldtrytostealthediamonds.Whentheplanearrived,someofthedetectiveswerewaitinginsidethemainbuildingwhileotherswerewaitingontheairfield.TwomentooktheparcelofftheplaneandcarrieditintotheCustomsHouse.Whiletwodetectiveswerekeepingguardatthedoor,twoothersopenedtheparcel.Totheirsurprise,thepreciousparcel

14、wasfullofstonesandsand!飛機誤點了,偵探們在機場等了整整一上午.他們正期待從南非鉆石的貴重包裹.幾個小時前,有人告訴警察,小偷想偷鉆石.當飛機到達時,一些偵探等候在主樓內(nèi),另一局部那么等在停機坪.兩個男人帶著包裹下了飛機,進了海關(guān).當兩個偵探把住門口,另外兩個翻開包裹.令他們吃驚的是,那珍貴的包裹里面裝的全是石頭和沙子！Thebestandtheworst最好的和最差的JoeSandershasthemostbeautifulgardeninourtown.Nearlyeverybodyentersfor'TheNicestGardenCompetition'eachyear,butJoewinseverytime.BillFrith'sgardenislargerthanJoe's.BillworksharderthanJoeandgrowsmoreflowersandvegetables,butJoe'sgardenismoreinteresting.Hehasmadeneatpathsandhasbuiltawoodenbridgeoverapool.Ilikegardenstoo,butIdonotlikehardwork.EveryyearIent