人工神經(jīng)網(wǎng)絡(luò) 第2章 單層前向網(wǎng)絡(luò)及LMS學(xué)習(xí)算法

ArtificialNeuralNetwork

人工神經(jīng)網(wǎng)絡(luò)協(xié)同形成結(jié)構(gòu)競爭促進(jìn)發(fā)展合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室第2章單層前向網(wǎng)絡(luò)及LMS學(xué)習(xí)算法

2.1單層感知器

2.2自適應(yīng)線性元件

2.3LMS學(xué)習(xí)算法

2.4仿真實(shí)例

合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室2.1單層感知器2.1.1單層感知器模型

2.1.2單層感知器的學(xué)習(xí)算法合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室2.1.1單層感知器模型

合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室單層感知器模型感知器模型與MP模型的不同之處是假定神經(jīng)元的突觸權(quán)值是可變的，這樣就可以進(jìn)行學(xué)習(xí)。合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室單層感知器模型使用單層感知器的目的就是讓其對外部輸入x1,x2,…,xm進(jìn)行識別分類，單層感知器可將外部輸入分為兩類l1和l2。判別邊界合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室2.1.2單層感知器的學(xué)習(xí)算法

單層感知器對權(quán)值向量的學(xué)習(xí)算法是基于迭代的思想，通常是采用糾錯學(xué)習(xí)規(guī)則的學(xué)習(xí)算法。為方便起見，將偏差b作為神經(jīng)元突觸權(quán)值向量的第一個分量加到權(quán)值向量中去，那么對應(yīng)的輸入向量也應(yīng)增加一項(xiàng)，可設(shè)輸入向量的第一個分量固定為+1，這樣輸入向量和權(quán)值向量可分別寫成如下的形式：

合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室單層感知器的學(xué)習(xí)算法其中的變量n表示迭代次數(shù)，其中的b(n)可用w0(n)表示，則二值閾值元件的輸入可重新寫為：令上式等于零，即可得在m維信號空間的單層感知器的判決超平面。

合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室單層感知器的學(xué)習(xí)算法第一步：設(shè)置變量和參量：

X(n)=[1,x1(n),x2(n),…,xm(n)]為輸入向量，或稱訓(xùn)練樣本；W(n)=[b(n),w1(n),w2(n),…,wm(n)]為權(quán)值向量；b(n)為偏差；y(n)為實(shí)際輸出；d(n)為期望輸出；η為學(xué)習(xí)速率；n為迭代次數(shù)。合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室單層感知器的學(xué)習(xí)算法第二步：初始化，賦給Wj(0)各一個較小的隨機(jī)非零值，

n=0；第三步：對于一組輸入樣本X(n)=[1,x1(n),x2(n),…,xm(n)]，指定它的期望輸出（亦稱之為導(dǎo)師信號）。第四步：計(jì)算實(shí)際輸出：

合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室單層感知器的學(xué)習(xí)算法第五步：調(diào)整感知器的權(quán)值向量：

第六步：判斷是否滿足條件，若滿足算法結(jié)束，若不滿足將n值增加1，轉(zhuǎn)到第三步重新執(zhí)行。合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室對于線性可分的兩類模式，單層感知器的學(xué)習(xí)算法是收斂的。

合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室“與”b>w1x1x2

x1x2Y=w1·x1＋w2·x2－b=0條件000Y=w1·0＋w2·0－b<0b>0010Y=w1·0＋w2·1－b<0b>w2100Y=w1·1＋w2·0－b<0111Y=w1·1＋w2·1－b≥0b≤w1＋w2可解。比如取w1=1，w2=1，b=1.5。

合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室“與”運(yùn)算圖示，線性可分，可以實(shí)現(xiàn)合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室“或”運(yùn)算圖示，線性可分，可以實(shí)現(xiàn)合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室“異或”運(yùn)算圖示，線性不可分，不可以實(shí)現(xiàn)合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室2.2自適應(yīng)線性元件

合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室自適應(yīng)線性元件神經(jīng)元i的輸入信號向量：突觸權(quán)值向量：w0i常接有單位輸入，用以控制閾值電平。模擬輸出：二值輸出：合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室自適應(yīng)線性元件假定只有兩個輸入x1和x2，則自適應(yīng)線性元件的模擬輸出為：

調(diào)整臨界閾值條件，可令模擬輸出為零，即

該方程為直線方程，即單個自適應(yīng)線性元件實(shí)現(xiàn)線性可分函數(shù)。合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院圖像信息處理研究室自適應(yīng)線性元件的線