神經(jīng)網(wǎng)絡(luò)-感知機

神經(jīng)網(wǎng)絡(luò)——感知機第1頁/共50頁 大腦是由生物神經(jīng)元構(gòu)成的巨型網(wǎng)絡(luò)，它在本質(zhì)上不同于計算機，是一種大規(guī)模的并行處理系統(tǒng)，它具有學習、聯(lián)想記憶、綜合等能力，并有巧妙的信息處理方法。第2頁/共50頁3 人工神經(jīng)網(wǎng)絡(luò)是模擬人腦思維方式的數(shù)學模型，從微觀結(jié)構(gòu)和功能上對人腦進行抽象和簡化，模擬人類智能。人工神經(jīng)網(wǎng)絡(luò)(簡稱神經(jīng)網(wǎng)絡(luò))也是由大量的、功能比較簡單的形式神經(jīng)元互相連接而構(gòu)成的復雜網(wǎng)絡(luò)系統(tǒng)，用它可以模擬大腦的許多基本功能和簡單的思維方式。第3頁/共50頁4 我們不可能對生物學上的神經(jīng)網(wǎng)絡(luò)作完全的了解，只可能在某種成度上描述我們所了解的情況。同樣，人工神經(jīng)網(wǎng)絡(luò)也只可能是在某種程度上對真實的神經(jīng)網(wǎng)絡(luò)的一種模擬和逼近。

第4頁/共50頁5神經(jīng)元模型生物神經(jīng)元模型神經(jīng)元neuron,neuralcell也就是神經(jīng)細胞。人腦就是由大量神經(jīng)元組合而成的。神經(jīng)元由細胞體、樹突和軸突組成。

中心接受器傳導信息第5頁/共50頁人工神經(jīng)元模型，如圖所示第6頁/共50頁感知機是最早被設(shè)計并被實現(xiàn)的人工神網(wǎng)絡(luò)。感知器是一種非常特殊的神經(jīng)網(wǎng)絡(luò)，它在人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史上有著非常重要的地位，盡管它的能力非常有限，主要用于線性分類。θ

或第7頁/共50頁某個神經(jīng)元j的輸入—輸出關(guān)系為

其中，為閥值，為連接權(quán)，f(?)為變換函數(shù)，也稱活化函數(shù)(activationfunction)。

第8頁/共50頁9感知機的結(jié)構(gòu)第9頁/共50頁10

我們以單層感知器來說明：兩個輸入x1

和x2。一個閥值θ兩個待調(diào)整的權(quán)值W1和W2決策函數(shù)為

樣本集分別屬于2類。θ第10頁/共50頁111特點：１）多輸入，單輸出２）激活函數(shù)／傳遞函數(shù)為二值，一般為階躍函數(shù)或符號函數(shù)３）輸出為二值：０／１或－１／１４）1

u>0-1

u≤0或1

u>0０u≤0第11頁/共50頁122感知機的工作方式：學習階段——修改權(quán)值（根據(jù)“已知的樣本”對權(quán)值不斷修改；――有導師學習）工作階段——計算單元變化，由響應(yīng)函數(shù)給出新輸入下的輸出。第12頁/共50頁13樣本：p＝{p1，p2……pp}Y＝{y1，y2……yp}pYW學習機W學習算法學習的過程，主要是修正權(quán)值Ｗ，閾值θ感知機的學習階段：第13頁/共50頁14設(shè)有N個訓練樣本當給定某個樣本p的輸入/輸出模式對時，感知機輸出單元會產(chǎn)生一個實際輸出向量，用期望輸出（樣本輸出）與實際輸出之差來修正網(wǎng)絡(luò)連接權(quán)值。第14頁/共50頁15權(quán)值修改采用簡單的誤差學習規(guī)則基本思想：利用某個神經(jīng)單元的期望輸出與實際輸出之間的差來調(diào)整該神經(jīng)單元與上一層中相應(yīng)神經(jīng)單元的的連接權(quán)值，最終減小這種偏差。即：神經(jīng)單元之間連接權(quán)的變化正比于輸出單元期望輸出與實際的輸出之差第15頁/共50頁16對于所有的i和j，i＝l，2，…，s；j＝1，2，…，r，感知器修正權(quán)值公式為：上述用來修正感知器權(quán)值的學習算法在MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中已編成了子程序，成為一個名為1earnp.m的函數(shù)。只要直接調(diào)用此函數(shù)，即可立即獲得權(quán)值的修正量。此函數(shù)所需要的輸入變量為：輸入、輸出矢量和目標矢量：P、A和T。調(diào)用命令為：[dW，dB]＝learnp(P，A，T)；(4-5)第16頁/共50頁17輸入矢量P，輸出矢量Y，目標矢量為T的感知器網(wǎng)絡(luò)，其學習規(guī)則為：如果第i個神經(jīng)元的輸出是正確的，即有：yi＝ti，那么與第i個神經(jīng)元聯(lián)接的權(quán)值wij和偏差值bi保持不變；第17頁/共50頁18如果第i個神經(jīng)元的輸出是0，但期望輸出為1，即有yi＝0，而ti＝1，此時權(quán)值修正算法為：新的權(quán)值wij為舊的權(quán)值wij加上輸入矢量pj；類似的，新的偏差bi為舊偏差bi加上它的輸入1；第18頁/共50頁19如果第i個神經(jīng)元的輸出為1，但期望輸出為0，即有yi＝1，而ti＝0，此時權(quán)值修正算法為：新的權(quán)值wij等于舊的權(quán)值wij減去輸入矢量pj；類似的，新的偏差bi為舊偏差bi減去1。第19頁/共50頁20感知器學習規(guī)則的實質(zhì)為：權(quán)值的變化量等于正負輸入矢量。第20頁/共50頁21舉例：用感知器實現(xiàn)“與”的功能1）設(shè)w1=0;w2=0;θ=0;2)輸入x={x1,x2}

輸出y樣本：x1=0011x2=0101y=0001要求：確定此感知器中的3個參數(shù)“w1,w2,θ”。第21頁/共50頁22即，

時y1=0,y2=0,y3=0,y4=1;第22頁/共50頁23計算感知機在ui作用下的輸出yi

由模型可描述為：j=1,2n=2i=1,2,3,4,用矩陣表示為s1=(w1,w2)×u1－θ=（0，0）×

－0＝0；s3=(w1,w2)×u3－θ=（0，0）×

－0＝0；s2=(w1,w2)×u2－θ=（0，0）×

－0＝0；s4=(w1,w2)×u4－θ=（0，0）×

－0＝0；第23頁/共50頁24由響應(yīng)函數(shù)Y=[1111],即y1=y2=y3=y4=1;第24頁/共50頁25調(diào)整權(quán)值和閾值由ei(t)=|di-yi(t)|e(t)=(1,1,1,0)求E(t)＝=3,設(shè)η＝0.5w1(t+1)=w1(t)+η∑(|di-yi(t)|×x1’)=0+0.5×(1,1,1,0)×(0,0,1,1)’=0.5;w2(t+1)=w2(t)+η∑(|di-yi(t)|×x2’)=0+0.5×(1,1,1,0)×(0,1,0,1)’=0.5;θ(t+1)=θ(t)+(E(t))2=0+9=9;由此w1=0.5,w2=0.5,θ=9;返回重新計算，直到E滿足要求。第25頁/共50頁26err_goal=0.001;lr=0.9;max_expoch=10000;X=[0011;0101];T=[0001];[M,N]=size(X);[L,N]=size(T);Wij=rand(L,M);y=0;b=rand(L);forepoch=1:max_expochNETi=Wij*X;

forj=1:Nfori=1:L

if(NETi(i,j)>=b(i))y(i,j)=1;elsey(i,j)=0;endend

end

E=(T-y);EE=0;forj=1:NEE=EE+abs(E(j));end

if(EE<err_goal)breakend

Wij=Wij+lr*E*X';%調(diào)整權(quán)值

b=b+sqrt(EE);%調(diào)整閾值endepoch,Wij,b

第26頁/共50頁27算法步驟：１）設(shè)輸入變量為x1,x2…,xm；(j=1,2,…,m)，設(shè)置權(quán)系數(shù)初值wj(wj一般取[-1,1]之間的隨機小數(shù))；２）確定學習樣本，即給定輸入／輸出樣本對，輸入：u={u1，u2……un}，,(i=1,2,…,n)

輸出：d={d1，d2……dn},(i=1,2,…,n)

第27頁/共50頁28３）分別計算感知機在ui作用下的輸出yi；

t指第t次計算并調(diào)整權(quán)值。

第28頁/共50頁29４）調(diào)整權(quán)值和閾值（1）求ei(t)=di-yi(t)（2）求E(t)＝若E(t)≠0，調(diào)整權(quán)值;wj(t+1)=wj(t)+η∑([di-yi(t)]xji)，寫出矩陣為W(t+1)=W(t)+η∑([di-yi(t)]ui);θ(t+1)=θ(t)+(E(t))2返回3若E(t)滿足要求則結(jié)束。η：訓練步長，一般0<η<1，η大收斂快，易振蕩，η小，收斂慢，不易振蕩第29頁/共50頁30工作階段例題x1為考試成績、x2為平時成績，將x1、x2作為兩個輸入，構(gòu)建兩輸入、單輸出的感知機實現(xiàn)成績評定系統(tǒng)其權(quán)值w1=0.7、w2=0.3，閾值θ=60。求下列成績的評定結(jié)果。X170306080x250905940第30頁/共50頁31x170306080x25090594070*0.7+50*0.3-60=7>030*0.7+90*0.3-60=-12<060*0.7+59*0.3-60=-0.3<080*0.7+40*0.3-60=8>0y1001Net第31頁/共50頁32%沿用例“求與”第二階段工作期，驗證網(wǎng)絡(luò)

X1=X;NETi=Wij*X1;[M,N]=size(X1);

for

j=1:Nfori=1:L

if(NETi(i,j)>=b(i))y(i,j)=1;elsey(i,j)=0;endend

endy第32頁/共50頁33初始化：initp訓練：trainp仿真：simup初始化： initp可自動產(chǎn)生[-1,1]區(qū)間中的隨機初始權(quán)值和閾值,例:[w,b]=initp(2,8)或[w,b]=initp(p,t)第33頁/共50頁34訓練：trainp感知器網(wǎng)絡(luò)學習和仿真的過程tp=[disp_freqmax_epoch];(顯示頻率和訓練的最大步數(shù))[w,b,te]=trainp[w,b,p,t,tp];Train函數(shù)完成每一步訓練后,返回新的網(wǎng)絡(luò)權(quán)值和閾值,并顯示已完成的訓練步數(shù)ep及誤差te第34頁/共50頁35仿真：simup注意:使用trainp函數(shù)并不能保證感知器網(wǎng)絡(luò)在取訓練所得到的權(quán)值和閾值時就可以順利達到要求,因此,訓練完成后，最好要驗證一下:a=simup[p,w,b];ifall(a==t);disp(‘Itworks!’);end第35頁/共50頁36%直接利用mat工具箱（initptrainpsimup）clearallNNTWARNOFFp=[0011;0101]t=[0001][w1,b1]=initp(p,t)%初始化[w1,b1,epoches,errors]=trainp(w1,b1,p,t,[-1])；%訓練%%%%%%%%%%計算完畢f(xié)igure(2);ploterr(errors)a1=simup(p,w1,b1);%%%%%%仿真a1ifall(a==t),disp(‘Itworks!’)；e=t-a1;k=1:1:4;figure(3);plot(k,e)第36頁/共50頁37感知器的圖形解釋 由感知器的網(wǎng)絡(luò)結(jié)構(gòu)，我們可以看出感知器的基本功能是將輸入矢量轉(zhuǎn)化成0或1的輸出。這一功能可以通過在輸人矢量空間里的作圖來加以解釋。感知器權(quán)值參數(shù)的設(shè)計目的，就是根據(jù)學習法則設(shè)計一條W*P+b＝0的軌跡，使其對輸入矢量能夠達到期望位置的劃分。第37頁/共50頁38以輸入矢量r＝2為例，對于選定的權(quán)值w1、w2和b，可以在以p1和p2分別作為橫、縱坐標的輸入平面內(nèi)畫出W*P+b＝w1p1十w2p2十b＝0的軌跡，它是一條直線，此直線上的及其線以上部分的所有p1、p2值均使w1p1十w2p2十b＞0，這些點若通過由w1、w2和b構(gòu)成的感知器則使其輸出為1；該直線以下部分的點則使感知器的輸出為0。

第38頁/共50頁39所以當采用感知器對不同的輸入矢量進行期望輸出為0或1的分類時，其問題可轉(zhuǎn)化為：對于已知輸入矢量在輸入空間形成的不同點的位置，設(shè)計感知器的權(quán)值W和b，將由W*P+b＝0的直線放置在適當?shù)奈恢蒙鲜馆斎胧噶堪雌谕敵鲋颠M行上下分類。第39頁/共50頁40輸入矢量平面圖第40頁/共50頁w的解并不唯一，能把兩類分開即可由于網(wǎng)絡(luò)是以w1x1+w2x2+……+θ=0為分界線的，這可以看成一直線或一超平面。所以，感知機具有線性分類能力，可用于兩類模式分類，得到的w1，w2，θ不唯一，但只限于線性分類。舉例：用感知機實現(xiàn)“與”的功能第41頁/共50頁感知機只能對線性可分離的模式進行正確的分類。當輸入模式是線性不可分時，則無論怎樣調(diào)節(jié)突觸的結(jié)合強度和閾值的大小也不可能對輸入進行正確的分類。

局限：所以在1969年，Minsky和Papert發(fā)表了名為Perceptron的專著,書中指出,這樣的簡單的線性感知器的功能非常有限，使得隨后的研究處于低潮。第42頁/共50頁第43頁/共50頁“或”運算“異或”運算可實現(xiàn)分類無法用一條直線劃分，對于異或，不能實現(xiàn)正確分類第44頁/共50頁16個布爾代數(shù)表x1x2y0y1y2y3y4y5y6y7y8y9y10y11y12