基礎知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則

基礎知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則基礎知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第1頁圖5-6MP神經(jīng)元模型01(x)F(x)基礎知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第2頁人類含有學習能力，人類知識和智慧是在不停學習與實踐中逐步形成和發(fā)展起來。關于人工神經(jīng)網(wǎng)絡學習機制，包括到神經(jīng)元怎樣分布、處理和存放信息。常見人工神經(jīng)網(wǎng)絡學習規(guī)則以下，圖5-8是權值調(diào)整普通情況，其中：Wj為聯(lián)接到神經(jīng)元j權值向量，X為輸入向量，r為學習信號，d為導師信號。權向量調(diào)整準則為基礎知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第3頁式中

為學習速率。權值調(diào)整迭代格式為基礎知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第4頁

權值調(diào)整普通情況wXr(w,x,d)dj信號生成器Ojj

wjX

基礎知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第5頁1)Hebbian學習規(guī)則1949年，心理學家D.O.Hebb最早提出了關于神經(jīng)網(wǎng)絡學習機理“突觸修正”假設。該假設指出，當神經(jīng)元突觸前膜電位與后膜電位同時為正時，突觸傳導增強，當前膜電位與后膜電位正負相反時，突觸傳導減弱，也就是說，當神經(jīng)元i與神經(jīng)元j同時處于興奮狀態(tài)時，二者之間連接強度應增強。依據(jù)該假設定義權值調(diào)整方法，稱為Hebbian學習規(guī)則。在Hebbian學習規(guī)則中，學習信號簡單地等于神經(jīng)元輸出基礎知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第6頁式中W為權向量，X為輸入向量。權向量調(diào)整公式為基礎知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第7頁權向量中，每個分量調(diào)整由下式確定上式表明，權值調(diào)整量與輸入輸出乘積成正比。顯然，經(jīng)常出現(xiàn)輸入模式將對權向量有最大影響。在這種情況下，Hebbian學習規(guī)則需預先設置權飽和值，以預防輸入和輸出正負一直一致時出現(xiàn)權值無約束增加。另外，要求權值初始化，即在學習開始前(t=0)，先對Wj(0)賦予零附近小隨機數(shù)。Hebbian學習規(guī)則代表一個純前饋、無導師學習。該規(guī)則至今仍在各種神經(jīng)網(wǎng)絡模型中起著主要作用。基礎知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第8頁2)Perceptron（感知器）學習規(guī)則1958年，美國學者FrankRosenblatt首次定義了一個含有單層計算單元神經(jīng)網(wǎng)絡結構，稱為感知器(Perceptron)。感知器學習規(guī)則要求，學習信號等于神經(jīng)元期望輸出（老師信號）與實際輸出之差基礎知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第9頁式中為期望輸出，。感知器采取了與閾值轉(zhuǎn)移函數(shù)類似符號轉(zhuǎn)移函數(shù)，其表示為所以，權值調(diào)整公式應為基礎知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第10頁式中，當實際輸出與期望值相同時，權值不需要調(diào)整；在有誤差存在情況下，因為、，權值調(diào)整公式簡化為感器學習規(guī)則只適合用于二進制神經(jīng)元，初始權值可取任意值。感知器學習規(guī)則代表一個有導師學習。因為感知器理論是研究其它神經(jīng)網(wǎng)絡基礎，該規(guī)則對于神經(jīng)網(wǎng)絡有導師學習含有極為主要意義。基礎知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第11頁3)δ(Delta)學習規(guī)則1986年，認知心理學家McClelland和Rumelhart在神經(jīng)網(wǎng)絡訓練中引入了δ規(guī)則，該規(guī)則亦可稱為連續(xù)感知器學習規(guī)則，與上述離散感知器學習規(guī)則并行。δ規(guī)則學習信號要求為基礎知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第12頁上式定義學習信號稱為。式中是轉(zhuǎn)移函數(shù)導數(shù)。顯然，規(guī)則要求轉(zhuǎn)移函數(shù)可導，所以只適合用于有導師學習中定義連續(xù)轉(zhuǎn)移函數(shù)，如Sigmoid函數(shù)。實際上，規(guī)則很輕易由輸出值與期望值最小平方誤差條件推導出來。定義神經(jīng)元輸出與期望輸出之間平方誤差為基礎知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第13頁式中，誤差E是權向量Wj函數(shù)。欲使誤差E最小，Wj應與誤差負梯度成正比，即式中，百分比系數(shù)η是一個正常數(shù)。由式(5-12)，誤差梯度為基礎知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第14頁能夠看出，上式中η與X之間個別正是式(5-11)中定義學習信號δ。ΔWj中每個分量調(diào)整由下式計算學習規(guī)則可推廣到多層前饋網(wǎng)絡中，權值可初始化為任意值?；A知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第15頁4)Widrow-Hoff學習規(guī)則1962年，BernardWidrow和MarcianHoff提出了Widrow-Hoff學習規(guī)則，又稱為最小均方規(guī)則(LMS)。Widrow-Hoff學習規(guī)則學習信號為基礎知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第16頁權向量調(diào)整量為..各分量為實際上，假如在學習規(guī)則中假定社會元轉(zhuǎn)移函數(shù)為，則有，此時式(5-11)與式(5-17)相同?；A知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第17頁所以，Widrow-Hoff學習規(guī)則能夠看成是學習規(guī)則一個特殊情況。該學習規(guī)則與神經(jīng)元采取轉(zhuǎn)移函數(shù)無關，因而不需要對轉(zhuǎn)移函數(shù)求導數(shù)，不但學習速度較快，而且含有較高精度。權值可初始化為任意值。基礎知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第18頁5)Correlation（相關）學習規(guī)則相關學習規(guī)則學習信號為易得出分別為基礎知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第19頁該規(guī)則表明，當dj是xi期望輸出時，對應權值增量Δωij與二者乘積djxi成正比。假如Hebbian學習規(guī)則中轉(zhuǎn)移函數(shù)為二進制函數(shù)，且有oj=dj，則相Δ關學習規(guī)則可看作Hebbian規(guī)則一個特殊情況。應該注意是，Hebbian學習規(guī)則是無導師學習，而相關學習規(guī)則是有導師學習。這種學習規(guī)則要求將權值初始化為零?；A知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第20頁6)Winner-Take-all（勝者為王）學習規(guī)則Winner-Take-all學習規(guī)則是一個競爭學習規(guī)則，用于無導師學習。普通將網(wǎng)絡某一層確定為競爭層，對于一個特定輸入X，競爭層全部p個神經(jīng)元都有輸出響應，其中響應值最大神經(jīng)元為在競爭中獲勝神經(jīng)元，即基礎知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第21頁只有獲勝神經(jīng)元才有權調(diào)整其權向量，調(diào)整量為基礎知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第22頁式中，，是學習常數(shù)，普通其值伴隨學習進展而減小。因為兩個向量點積越大，表明二者越近似，所以調(diào)整獲勝神經(jīng)元權值結果是使Wm深入靠近當前輸入X。顯然，當下次出現(xiàn)與X相像輸入模式時，上次獲勝神經(jīng)元更輕易獲勝。在重復競爭學習過程中，競爭層各神經(jīng)元所對應權向量被逐步調(diào)整為輸入樣本空間聚類中心。在有些應用中，以獲勝神經(jīng)元為中心定義一個獲勝領域，除獲勝神經(jīng)元調(diào)整權值外，領域內(nèi)其它神經(jīng)元也不一樣程度地調(diào)整權值。權值普通被初始化為任意值并進行歸一化處理。基礎知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第23頁7)Outstar（外星）學習規(guī)則神經(jīng)網(wǎng)絡中有兩類常見節(jié)點，分別稱為內(nèi)星節(jié)點和外星節(jié)點，其特點見圖5-8和5-9。圖5-8中內(nèi)星節(jié)點總是接收來自四面八方輸入加權信號，所以是信號匯聚點，對應權值向量稱為內(nèi)星權向量；圖5-9中外星節(jié)點總是向四面八方發(fā)出輸出加權信號，所以是信號發(fā)散點，對應權值向量稱為外星權向量。內(nèi)星學習規(guī)則定內(nèi)星節(jié)點輸出響應是輸入向量X和內(nèi)星權向量Wj點積。該點積反應了X與Wj相同程度，其權值按式(5-23)調(diào)整。所以Winner-Take-All學習規(guī)則與內(nèi)星規(guī)則一致。基礎知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第24頁下面介紹外星學習規(guī)則。外星學習規(guī)則屬于有導師學習，其目標是為了生成一個期望維輸出向量，設對應外星權向量用Wj表示，學習規(guī)則以下基礎知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第25頁式中，η要求與作用與式(5-23)中α相同，給出外星學習規(guī)則使節(jié)點j對應外星權向量向期望輸出向量d靠近。WijWnjW1jjWijWnjW1jj基礎知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第26頁2.4神經(jīng)網(wǎng)絡學習基礎知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第27頁人工神經(jīng)網(wǎng)絡是由人工神經(jīng)元（簡稱神經(jīng)元）互聯(lián)組成網(wǎng)絡，它是從微觀結構和功效上對人腦抽象、簡化，是模擬人類智能一條主要路徑，反應了人腦功效若干基礎特征，如并行信息處理、學習、聯(lián)想、模式分類、記憶等。當前，已發(fā)展了幾十種神經(jīng)網(wǎng)絡，比如Hopfield模型，F(xiàn)eldmann等連接型網(wǎng)絡模型，Hinton等玻爾茨曼機模型，以及Rumelhart等多層感知機模型和Kohonen自組織網(wǎng)絡模型等等。基礎知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第28頁在這眾多神經(jīng)網(wǎng)絡模型中，應用最廣泛是多層感知機神經(jīng)網(wǎng)絡。多層感知機神經(jīng)網(wǎng)絡研究始于20世紀50年代，但一直進展不大。直到1985年，Rumelhart等人提出了誤差反向傳遞學習算法（即BP算法），實現(xiàn)了Minsky多層網(wǎng)絡構想。基礎知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第29頁神經(jīng)網(wǎng)絡對控制領域和反問題研究有吸引力特征表現(xiàn)在：(1)能迫近任意L2上非線性函數(shù)；(2)信息并行分布式處理與存放；(3)能夠多輸入、多輸出；(4)便于用超大規(guī)模集成電路(VLSI)或光學集成電路系統(tǒng)實現(xiàn)，或用現(xiàn)有計算機技術實現(xiàn)；(5)能進行學習，以適應環(huán)境改變?；A知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第30頁決定網(wǎng)絡整體性能三大要素包含：(1)神經(jīng)元（信息處理單元）特征；(2)神經(jīng)元間相互聯(lián)接形式—拓撲結構；(3)為適應環(huán)境而改進性能學習規(guī)則。表5-1為對神經(jīng)網(wǎng)絡發(fā)展有主要影響神經(jīng)網(wǎng)絡基礎知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第31頁神經(jīng)網(wǎng)絡經(jīng)過相繼給網(wǎng)絡輸入一些樣本模式，并按照一定規(guī)則（或?qū)W習算法）不停改變網(wǎng)絡各層連接權值，使網(wǎng)絡輸出不停地靠近期望輸出值，這一個過程稱為神經(jīng)網(wǎng)絡學習或訓練。學習實質(zhì)是可變權值動態(tài)調(diào)整自適應過程。改變權值規(guī)則稱為學習規(guī)則或?qū)W習算法（對應也稱訓練規(guī)則或訓練算法）。單個處理單元，不論采取哪一個學習規(guī)則進行調(diào)整，其算法都十分簡單。大量處理單元集體進行權值調(diào)整時，網(wǎng)絡就展現(xiàn)出“智能”特征?；A知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第32頁神經(jīng)網(wǎng)絡結構和功效不一樣，學習方法也各不相同。在人工神經(jīng)網(wǎng)絡結構和轉(zhuǎn)移函數(shù)決定以后，怎樣設計權使網(wǎng)絡到達一定要求，就成為決定神經(jīng)網(wǎng)絡信息處理性能第三大要素。學習問題歸根結底就是網(wǎng)絡連接權調(diào)整問題，其方法有以下幾個：基礎知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第33頁名稱提出者年代經(jīng)典應用領域不足特點Perceptron(感知器)FrankRosenblatt(康奈爾大學)1958文字識別、聲音識別、聲納信號識別、學習記憶問題研究不能識別識別復雜字符，對字大小、平移和傾斜敏感最早神經(jīng)網(wǎng)絡，已極少應用；有學習能力，只能進行線形分類Adaline(自適應線形單元)和Madaline(多個Adaline組合網(wǎng)絡)BernardWidrow(斯坦福大學)1960~1962雷達天線控制,自適應回波抵消，適應性調(diào)制解調(diào)，電話線中適應性賠償?shù)纫筝斎?輸出之間為線性關系學習能力較強，較早開始商業(yè)應用，Madaline是Adaline功效擴展Avalanche(雪崩網(wǎng))S.Drossberg(波士頓大學)1967連續(xù)語音識別，機器人手臂運動教學指令不易改變運動速度和插入運動Cerellatron（小腦自動機）D.Marr（麻省理工學院）1969~1982控制機器人手臂運動需要復雜控制輸入類似于Avalanche網(wǎng)絡，能調(diào)和各種指令序列，按需要緩緩地插入動作BackPropagation(誤差反傳網(wǎng)絡)P.Werbos(哈佛大學)Davidumlhart(斯坦福大學)JamesMeClelland(斯坦福大學)1974~1985語音識別，工業(yè)過程控制，貸款信用評定，股票預測，自適應控制等需要大量輸入-輸出數(shù)據(jù)，訓練時間長，易陷入局部極小多層前饋網(wǎng)絡，采取最小均方差學習方式，是當前應用最廣泛學習網(wǎng)絡基礎知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第34頁Self-organizingfeaturemap(自組織特征映射網(wǎng)絡)TuevoKonhonen(芬蘭赫爾辛基技術大學)1980語音識別，機器人控制，工業(yè)過程控制，圖像壓縮，教授系統(tǒng)等模式類型數(shù)需預先知道對輸入樣本自組織聚類，可映射樣本空間分布Hopfield網(wǎng)絡JohnHopfield(加州理工學院)1982求解TSP問題，線性規(guī)劃，聯(lián)想記憶和用于辨識無學習能力，連接要對稱，權值要預先給定單層自聯(lián)想網(wǎng)絡，可從有缺點和有噪聲輸入中恢復完整信息Boltzmanmachine(玻爾茲曼機)Cauchymachine(柯西機)J.Hinton(多倫多大學)T.Sejnowski(霍爾金斯大學)1985~1986圖像、聲納和雷達等模式識別波爾茲曼機訓練時間長，柯西機在一些統(tǒng)計分布下產(chǎn)生噪聲采取隨機學習算法網(wǎng)絡，可訓練實現(xiàn)全局最優(yōu)BidirectionalAssociativeMemory(BAM,雙向聯(lián)想記憶網(wǎng))BartKosko(南加州大學)1985~1988內(nèi)容尋址聯(lián)想記憶存放密度低，數(shù)據(jù)必須適應編碼雙向聯(lián)想式單層網(wǎng)絡，含有學習功效，簡單易學CounterPropagation(CPN,雙向傳輸網(wǎng))RobertHecht-Nielsen1986神經(jīng)網(wǎng)絡計算機，圖像分析和統(tǒng)計分析需要大量處理單元和連接，需要高度準確一個在功效上作為統(tǒng)計最優(yōu)化和概率密度函數(shù)分析網(wǎng)絡基礎知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第35頁AdaptiveResonanceTheory(自適應共振理論ART)有ART1、ART2和ART33種類型G.CarpenterandSGrossberg(波士頓大學)1976~1990模式識別領域，擅長識別復雜模式或未知模式受平移、旋轉(zhuǎn)及尺度影響；系統(tǒng)比較復雜，難以用硬件實現(xiàn)能夠?qū)θ我舛嗪腿我鈴碗s二維模式進行自組織學習，ART1用于二進制，ART2用于連續(xù)信號BrainStateinaBox(盒中腦BSB網(wǎng)絡)JamesAnderson（布朗大學）1977解釋概念形成，分類和知識處理只能作一次性決議，無重復性共振含有最小均方差單層自聯(lián)想網(wǎng)絡，類似于雙向聯(lián)想記憶，可對片段輸入補全Neocognition(新認知機)FukushimaK福島邦彥(日本廣播協(xié)會)1978~1984手寫字母識別需要大量加工單元和聯(lián)絡多層結構化字符識別網(wǎng)絡，與輸入模式大小、平移和旋轉(zhuǎn)無關，能識別復雜字形基礎知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第36頁圖5-1有導師學習神經(jīng)網(wǎng)絡模型圖5-2無導師學習神經(jīng)網(wǎng)絡模型

期望輸出實際輸出學習機輸入ANN比較實際輸出學習機輸入ANN自我比較基礎知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第37頁1)有導師學習(SupervisedLearning,SL)，在學習過程中，網(wǎng)絡依據(jù)實際輸出與期望輸出比較，進行聯(lián)接權值調(diào)整，將期望輸出稱為導師信號，它是評價學習標準。這種學習模式采取糾錯規(guī)則，學習方法要在給出輸入模式X同時在輸出側(cè)還要給出與之對應目標模式，又稱老師信號或期望輸出模式，二者一起稱為訓練對?；A知識續(xù)人工神經(jīng)網(wǎng)絡常用學習規(guī)則第38頁普通訓練一個網(wǎng)絡需要許多個訓練對，稱為訓練集。學習時，使用訓練集中某個輸入模式，得到一個網(wǎng)絡實際輸出模式y(tǒng)，再與期望輸出模式J相比較，不相符時求出誤差，按誤差大小和方向調(diào)整權值，以使誤差向著減小方向改變。然后逐一用訓練集中每個訓練對，不停地修改網(wǎng)絡權