線性神經(jīng)網(wǎng)絡

線性神經(jīng)網(wǎng)絡線性神經(jīng)網(wǎng)絡第1頁Outline1.線性神經(jīng)網(wǎng)絡結構2.LMS學習算法3.LMS算法中學習率選擇4.線性神經(jīng)網(wǎng)絡與感知器對比5.線性神經(jīng)網(wǎng)絡相關函數(shù)詳解6.線性神經(jīng)網(wǎng)絡應用實例線性神經(jīng)網(wǎng)絡第2頁1.線性神經(jīng)網(wǎng)絡結構線性神經(jīng)網(wǎng)絡最經(jīng)典例子是自適應線性元件（AdaptiveLinearElement，Adaline）。線性神經(jīng)網(wǎng)絡與感知器主要區(qū)分在于，感知器傳輸函數(shù)只能輸出兩種可能值，而線性神經(jīng)網(wǎng)絡輸出能夠取任意值，其傳輸函數(shù)是線性函數(shù)。

線性神經(jīng)網(wǎng)絡在收斂精度和速度上較感知器都有了較大提升，但因為其線性運算規(guī)則，它也只能處理線性可分問題。

線性神經(jīng)網(wǎng)絡第3頁1.線性神經(jīng)網(wǎng)絡結構線性神經(jīng)網(wǎng)絡在結構上與感知器網(wǎng)絡非常相同，只是神經(jīng)元傳輸函數(shù)不一樣。線性神經(jīng)網(wǎng)絡第4頁1.線性神經(jīng)網(wǎng)絡結構若網(wǎng)絡中包含多個神經(jīng)元節(jié)點，就能形成多個輸出，這種線性神經(jīng)網(wǎng)絡叫Madaline網(wǎng)絡。Madaline能夠用一個間接方式處理線性不可分問題，方法是用多個線性函數(shù)對區(qū)域進行劃分，然后對各個神經(jīng)元輸出做邏輯運算。線性神經(jīng)網(wǎng)絡第5頁1.線性神經(jīng)網(wǎng)絡結構

線性神經(jīng)網(wǎng)絡處理線性不可分問題另一個方法是，對神經(jīng)元添加非線性輸入，從而引入非線性成份，這么做會使等效輸入維度變大。線性神經(jīng)網(wǎng)絡第6頁2.LMS學習算法LMS算法與感知器網(wǎng)絡學習算法在權值調整上都基于糾錯學習規(guī)則，但LMS更易實現(xiàn)，所以得到了廣泛應用，成為自適應濾波標準算法。也稱為規(guī)則采取均方誤差作為評價指標是輸入訓練樣本個數(shù)。線性神經(jīng)網(wǎng)絡學習目標是找到適當，使得誤差均方差最小。只要用對求偏導，再令該偏導等于零即可求出極值。顯然，必為正值，所以二次函數(shù)是凹向上，求得極值必為極小值。線性神經(jīng)網(wǎng)絡第7頁2.LMS學習算法誤差表示為求導誤差等于期望輸出—實際輸出求導代入，有：權值修正值正比于當前位置上梯度線性神經(jīng)網(wǎng)絡第8頁2.LMS學習算法（1）定義變量和參數(shù)。（2）初始化。給向量賦一個較小隨機初值。（3）輸入樣本，計算實際輸出和誤差。（4）調整權值向量。（5）判斷算法是否收斂。若滿足收斂條件，則算法結束，不然跳轉到第3步重新計算。線性神經(jīng)網(wǎng)絡第9頁3.LMS算法中學習率選擇學習率越小，算法運行時間就越長，算法也就記憶了更多過去數(shù)據(jù)。所以，學習率倒數(shù)反應了LMS算法記憶容量大小。1996年Hayjin證實，只要學習率滿足下式，LMS算法就是按方差收斂：輸入向量自相關矩陣最大特征值普通不可知，用矩陣跡代替，跡就是主對角線元素之和。線性神經(jīng)網(wǎng)絡第10頁3.LMS算法中學習率選擇自相關矩陣主對角線元素就是各輸入向量均方值，故：在感知器學習算法中曾提到，學習率伴隨學習進行逐步下降比一直不變愈加合理。反百分比函數(shù)指數(shù)式下降搜索—收斂方案線性神經(jīng)網(wǎng)絡第11頁4.線性神經(jīng)網(wǎng)絡與感知器對比網(wǎng)絡傳輸函數(shù)。感知器傳輸函數(shù)是一個二值閾值元件，而線性神經(jīng)網(wǎng)絡傳輸函數(shù)是線性。這就決定了感知器只能做簡單分類，而線性神經(jīng)網(wǎng)絡還能夠實現(xiàn)擬合或迫近。學習算法。LMS算法得到分類邊界往往處于兩類模式正中間，而感知器學習算法在剛才能正確分類位置就停下來了，從而使分類邊界離一些模式距離過近，使系統(tǒng)對誤差更敏感。線性神經(jīng)網(wǎng)絡第12頁5.線性神經(jīng)網(wǎng)絡相關函數(shù)詳解net=newlind(P,T)P：R*Q矩陣，包含Q個訓練輸入向量。T：S*Q矩陣，包含Q個期望輸出向量。net:訓練好線性神經(jīng)網(wǎng)絡newlind——設計一個線性層newlind函數(shù)返回net已經(jīng)訓練完成，不需要再自行調用train函數(shù)訓練線性神經(jīng)網(wǎng)絡第13頁5.線性神經(jīng)網(wǎng)絡相關函數(shù)詳解>>x=-5:5;>>y=3*x-7; %直線方程為>>randn('state',2); %設置種子，便于重復執(zhí)行>>y=y+randn(1,length(y))*1.5; %加入噪聲直線>>plot(x,y,'o');>>P=x;T=y;>>net=newlind(P,T); %用newlind建立線性層>>new_x=-5:.2:5; %新輸入樣本>>new_y=sim(net,new_x); %仿真>>holdon;plot(new_x,new_y);>>legend('原始數(shù)據(jù)點','最小二乘擬合直線');>>net.iw >>net.b >>title('newlind用于最小二乘擬合直線');newlind擬合直線線性神經(jīng)網(wǎng)絡第14頁5.線性神經(jīng)網(wǎng)絡相關函數(shù)詳解[net=newlin(P,S,ID,LR)P：R*Q矩陣，P中包含Q個經(jīng)典輸入向量，向量維數(shù)為RS：標量，表示輸出節(jié)點個數(shù)。ID：表示輸入延遲向量，默認值為0LR：學習率，默認值為0.01newlin——結構一個線性層。newlin函數(shù)用于創(chuàng)建一個未經(jīng)訓練線性神經(jīng)網(wǎng)絡。輸入?yún)?shù)格式以下線性神經(jīng)網(wǎng)絡第15頁5.線性神經(jīng)網(wǎng)絡相關函數(shù)詳解>>x=-5:5;>>y=3*x-7; %直線方程為>>randn('state',2); %設置種子，便于重復執(zhí)行>>y=y+randn(1,length(y))*1.5; %加入噪聲直線>>plot(x,y,'o');>>P=x;T=y;>>net=newlin(minmax(P),1,[0],maxlinlr(P)); %用newlin創(chuàng)建線性網(wǎng)絡>>tic;net=train(net,P,T);toc >>new_x=-5:.2:5;>>new_y=sim(net,new_x); %仿真>>holdon;plot(new_x,new_y);>>legend('原始數(shù)據(jù)點','最小二乘擬合直線');>>title('newlin用于最小二乘擬合直線');>>net.iw>>net.bnewlin實現(xiàn)直線擬合線性神經(jīng)網(wǎng)絡第16頁5.線性神經(jīng)網(wǎng)絡相關函數(shù)詳解purelin——線性傳輸函數(shù)輸入就等于輸出，不做其它操作線性神經(jīng)網(wǎng)絡第17頁5.線性神經(jīng)網(wǎng)絡相關函數(shù)詳解learnwh——LMS學習函數(shù)learnwh是Widrow-Hoff規(guī)則（LMS算法）學習函數(shù)。[dW,LS]=learnwh(W,P,Z,N,A,T,E,gW,gA,D,LP,LS)用learnwh能夠自行編寫訓練函數(shù)。用learwh實現(xiàn)線性神經(jīng)網(wǎng)絡與newlin、newlind函數(shù)算得結果是一樣。

運行example5_4.m線性神經(jīng)網(wǎng)絡第18頁5.線性神經(jīng)網(wǎng)絡相關函數(shù)詳解maxlinlr——計算最大學習率lr=maxlinlr(P)lr=maxlinlr(P,’bias’)

：包含偏置>>X=[12-47;0.13106]%輸入矩陣，由4個二維向量組成>>lr=maxlinlr(X,‘bias’) %帶偏置時最大學習率>>lr=maxlinlr(X) %不帶偏置最大學習率>>lr=0.9999/max(eig(X*X'))>>P=-5:5;>>lr=maxlinlr(P)線性神經(jīng)網(wǎng)絡第19頁5.線性神經(jīng)網(wǎng)絡相關函數(shù)詳解

mse——均方誤差性能函數(shù)。>>rand('seed',2)>>a=rand(3,4) >>mse(a) >>b=a(:); >>sum(b.^2)/length(b)>>mse(b) 線性神經(jīng)網(wǎng)絡第20頁5.線性神經(jīng)網(wǎng)絡相關函數(shù)詳解

linearlayer——結構線性層函數(shù).linearlayer函數(shù)用于設計靜態(tài)或動態(tài)線性系統(tǒng)，給定一個足夠小學習率能使它穩(wěn)定收斂。net=linearlayer(inputDelays,widrowHoffLR)inputDelays：表示輸入延遲行向量widrowHoffLR：學習率newlin是將被系統(tǒng)廢棄函數(shù)，使用newlin函數(shù)場所以后用linearlayer代替線性神經(jīng)網(wǎng)絡第21頁5.線性神經(jīng)網(wǎng)絡相關函數(shù)詳解>>x=-5:5;>>y=3*x-7;>>randn('state',2); %設置種子，便于重復執(zhí)行>>y=y+randn(1,length(y))*1.5; %加入噪聲直線>>plot(x,y,'o');>>P=x;T=y;>>lr=maxlinlr(P,'bias') %計算最大學習率>>net=linearlayer(0,lr); %用linearlayer創(chuàng)建線性層，輸入延遲為0>>tic;net=train(net,P,T);toc %用train函數(shù)訓練>>new_x=-5:.2:5;>>new_y=sim(net,new_x); %仿真>>holdon;plot(new_x,new_y);>>title('linearlayer用于最小二乘擬合直線');>>legend('原始數(shù)據(jù)點','最小二乘擬合直線');>>xlabel('x');ylabel('y');>>s=sprintf('y=%f*x+%f',net.iw{1,1},net.b{1,1})>>text(-2,0,s);linearlayer實現(xiàn)直線擬合線性神經(jīng)網(wǎng)絡第22頁6.線性神經(jīng)網(wǎng)絡應用實例——與網(wǎng)絡訓練中共需確定3個自由變量，而輸入訓練向量則有4個，所以能夠形成一個線性方程組：因為方程個數(shù)超出了自變量個數(shù)，所以方程沒有準確解，只有近似解，用偽逆方法能夠求得權值向量值：>>P=[0,0,1,1;0,1,0,1]>>P=[ones(1,4);P]>>d=[0,0,0,1] >>pinv(P')*d' 線性神經(jīng)網(wǎng)絡第23頁6.線性神經(jīng)網(wǎng)絡應用實例——與手算：%定義>>P=[0,0,1,1;0,1,0,1]>>P=[ones(1,4);P] %包含偏置輸入向量>>d=[0,0,0,1] %期望輸出向量%初始化>>w=[0,0,0] %權值向量初始化為零向量>>lr=maxlinlr(P) %依據(jù)輸入矩陣求解最大學習率>>MAX=200; %最大迭代次數(shù)，依據(jù)經(jīng)驗確定線性神經(jīng)網(wǎng)絡第24頁>>fori=1:MAX...fprintf('第%d次迭代\n',i);v=w*P; %求出輸出y=v;disp('線性網(wǎng)絡二值輸出：');yy=y>=0.5 %將模擬輸出轉化為二值輸出，以0.5為閾值e=d-y; %誤差m(i)=mse(e); %均方誤差fprintf('均方誤差：%f\n',m(i));dw=lr*e*P'; %權值向量調整量fprintf('權值向量：\n');w=w+dw %調整權值向量end6.線性神經(jīng)網(wǎng)絡應用實例——與線性神經(jīng)網(wǎng)絡第25頁plot([0,0,1],[0,1,0],'o');holdon;plot(1,1,'d');x=-2:.2:2;y=1.5-x;plot(x,y)axis([-0.5,2,-0.5,2])xlabel('x');ylabel('ylabel');title('線性神經(jīng)網(wǎng)絡用于求解與邏輯')legend('0','1','分類面');得到分類超平面為：6.線性神經(jīng)網(wǎng)絡應用實例——與線性神經(jīng)網(wǎng)絡第