自適應線性元件

自適應線性元件第一頁，共十一頁，編輯于2023年，星期三自適應線性元件(AdaptiveLinearElement，簡稱Adaline)由威德羅（Widrow）和霍夫（Hoff）首先提出的它與感知器的主要不同之處在于其神經(jīng)元有一個線性激活函數(shù)，這允許輸出可以是任意值，而不僅僅只是像感知器中那樣只能取0或1。它采用的是W—H學習法則，也稱最小均方差(LMS)規(guī)則對權(quán)值進行訓練自適應線性元件的主要用途是線性逼近一個函數(shù)式而進行模式聯(lián)想。第二頁，共十一頁，編輯于2023年，星期三3．1自適應線性神經(jīng)元模型和結(jié)構(gòu)圖5.1自適應線性神經(jīng)網(wǎng)絡的結(jié)構(gòu)第三頁，共十一頁，編輯于2023年，星期三3．2W－H學習規(guī)則W—H學習規(guī)則是由威德羅和霍夫提出的用來修正權(quán)矢量的學習規(guī)則采用W—H學習規(guī)則可以用來訓練一定網(wǎng)絡的權(quán)值和偏差使之線性地逼近一個函數(shù)式而進行模式聯(lián)想(PatternAssociation)。第四頁，共十一頁，編輯于2023年，星期三定義一個線性網(wǎng)絡的輸出誤差函數(shù)為：我們的目的是通過調(diào)節(jié)權(quán)矢量，使E(W，B)達到最小值。所以在給定E(W，B)后，利用W—H學習規(guī)則修正權(quán)矢量和偏差矢量，使E(W，B)從誤差空間的某一點開始，沿著E(W，B)的斜面向下滑行。第五頁，共十一頁，編輯于2023年，星期三根據(jù)梯度下降法，權(quán)矢量的修正值正比于當前位置上E(W，B)的梯度，對于第i個輸出節(jié)點有：或表示為：（5.3）第六頁，共十一頁，編輯于2023年，星期三η為學習速率。在一般的實際運用中，實踐表明，η通常取一接近1的數(shù)，或取值為：采用W—H規(guī)則訓練自適應線性元件使其能夠得以收斂的必要條件是被訓練的輸入矢量必須是線性獨立的，且應適當?shù)剡x擇學習速率以防止產(chǎn)生振蕩現(xiàn)象。第七頁，共十一頁，編輯于2023年，星期三3.3網(wǎng)絡訓練自適應線性元件的網(wǎng)絡訓練過程可以歸納為以下三個步驟：1)表達：計算訓練的輸出矢量A＝W*P十B，以及與期望輸出之間的誤差E＝T—A；2)檢查：將網(wǎng)絡輸出誤差的平方和與期望誤差相比較，如果其值小于期望誤差，或訓練已達到事先設定的最大訓練次數(shù)，則停止訓練；否則繼續(xù)；3)學習：采用W—H學習規(guī)則計算新的權(quán)值和偏差，并返回到1)。第八頁，共十一頁，編輯于2023年，星期三感知器和自適應線性網(wǎng)絡

(1)網(wǎng)絡模型結(jié)構(gòu)上

感知器和自適應線性網(wǎng)絡而言，結(jié)構(gòu)上的主要區(qū)別在激活函數(shù)：一個是二值型的，一個線性的。

當把偏差與權(quán)值考慮成一體時，自適應線性網(wǎng)絡的輸與輸出之間的關(guān)系可以寫成A＝W*P。如果P是滿秩話，則可以寫成AP-1＝W，或W=A/P。

3.4對比與分析第九頁，共十一頁，編輯于2023年，星期三(2)學習算法

感知器的算法是最早提出的可收斂的算法，它的自適應思想被威德羅和霍夫發(fā)展成使其誤差最小的梯度下降法。最后又在BP算法中得到進一步的推廣，它們屬于同一類算法。

第十頁，共十一頁，編輯于2023年，星期三(3)適用性與局限性

感知器僅能夠進行簡單的分類。它的局限性是僅能對線性可分的輸入進行分類。

自適應線性網(wǎng)絡除了像感知器一樣可以進行線性分類外