神經(jīng)網(wǎng)絡(luò)基本理論d專家講座

神經(jīng)網(wǎng)絡(luò)基本理論神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第1頁含糊控制從人經(jīng)驗出發(fā)，處理了智能控制中人類語言描述和推理問題，尤其是一些不確定性語言描述和推理問題，從而在機器模擬人腦感知、推理等智能行為方面邁出了重大一步。含糊控制在處理數(shù)值數(shù)據(jù)、自學習能力等方面還遠沒有到達人腦境界。人工神經(jīng)網(wǎng)絡(luò)從另一個角度出發(fā)，即從人惱生理學和心理學著手，經(jīng)過人工模擬人腦工作機理來實現(xiàn)機器部分智能行為。神經(jīng)網(wǎng)絡(luò)介紹神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第2頁神經(jīng)網(wǎng)絡(luò)介紹人工神經(jīng)網(wǎng)絡(luò)（簡稱神經(jīng)網(wǎng)絡(luò)，NeuralNetwork）是模擬人腦思維方式數(shù)學模型。神經(jīng)網(wǎng)絡(luò)是在當代生物學研究人腦組織結(jié)果基礎(chǔ)上提出，用來模擬人類大腦神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和行為。神經(jīng)網(wǎng)絡(luò)反應(yīng)了人腦功效基本特征，如并行信息處理、學習、聯(lián)想、模式分類、記憶等。20世紀80年代以來，人工神經(jīng)網(wǎng)絡(luò)（ANN，ArtificialNeuralNetwork）研究所取得突破性進展。神經(jīng)網(wǎng)絡(luò)控制是將神經(jīng)網(wǎng)絡(luò)與控制理論相結(jié)合而發(fā)展起來智能控制方法。它已成為智能控制一個新分支，為處理復雜非線性、不確定、未知系統(tǒng)控制問題開辟了新路徑。神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第3頁神經(jīng)網(wǎng)絡(luò)發(fā)展歷程經(jīng)過4個階段。1啟蒙期（1890-1969年）1890年，W.James發(fā)表專著《心理學》，討論了腦結(jié)構(gòu)和功效。1943年，心理學家W.S.McCulloch和數(shù)學家W.Pitts提出了描述腦神經(jīng)細胞動作數(shù)學模型，即M-P模型（第一個神經(jīng)網(wǎng)絡(luò)模型）。1949年，心理學家Hebb實現(xiàn)了對腦細胞之間相互影響數(shù)學描述，從心理學角度提出了至今仍對神經(jīng)網(wǎng)絡(luò)理論有著主要影響Hebb學習法則。1958年，E.Rosenblatt提出了描述信息在人腦中貯存和記憶數(shù)學模型，即著名感知機模型（Perceptron）。1962年，Widrow和Hoff提出了自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)，即Adaline網(wǎng)絡(luò)，并提出了網(wǎng)絡(luò)學習新知識方法，即Widrow和Hoff學習規(guī)則（即δ學習規(guī)則），并用電路進行了硬件設(shè)計。神經(jīng)網(wǎng)絡(luò)介紹神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第4頁2低潮期（1969-1982）受當初神經(jīng)網(wǎng)絡(luò)理論研究水平限制及馮·諾依曼式計算機發(fā)展沖擊等原因影響，神經(jīng)網(wǎng)絡(luò)研究陷入低谷。在美、日等國有少數(shù)學者繼續(xù)著神經(jīng)網(wǎng)絡(luò)模型和學習算法研究，提出了許多有意義理論和方法。比如，1969年，S.Groisberg和A.Carpentet提出了至今為止最復雜ART網(wǎng)絡(luò)，該網(wǎng)絡(luò)能夠?qū)θ我鈴碗s二維模式進行自組織、自穩(wěn)定和大規(guī)模并行處理。1972年，Kohonen提出了自組織映射SOM模型。神經(jīng)網(wǎng)絡(luò)介紹神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第5頁神經(jīng)網(wǎng)絡(luò)介紹3復興期（1982-1986）1982年，物理學家Hoppield提出了Hoppield神經(jīng)網(wǎng)絡(luò)模型，該模型經(jīng)過引入能量函數(shù)，實現(xiàn)了問題優(yōu)化求解，1984年他用此模型成功地處理了旅行商路徑優(yōu)化問題(TSP)。在1986年，在Rumelhart和McCelland等出版《ParallelDistributedProcessing》一書，提出了一個著名多層神經(jīng)網(wǎng)絡(luò)模型，即BP網(wǎng)絡(luò)。該網(wǎng)絡(luò)是迄今為止應(yīng)用最普遍神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第6頁神經(jīng)網(wǎng)絡(luò)介紹4新連接機制時期（1986-現(xiàn)在）神經(jīng)網(wǎng)絡(luò)從理論走向應(yīng)用領(lǐng)域，出現(xiàn)了神經(jīng)網(wǎng)絡(luò)芯片和神經(jīng)計算機。神經(jīng)網(wǎng)絡(luò)主要應(yīng)用領(lǐng)域有：模式識別與圖象處理（語音、指紋、故障檢測和圖象壓縮等）、控制與優(yōu)化、預測與管理（市場預測、風險分析）、通信等。神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第7頁神經(jīng)網(wǎng)絡(luò)介紹神經(jīng)網(wǎng)絡(luò)原理神經(jīng)生理學和神經(jīng)解剖學研究表明，人腦極其復雜，由一千多億個神經(jīng)元交織在一起網(wǎng)狀結(jié)構(gòu)組成，其中大腦皮層約140億個神經(jīng)元，小腦皮層約1000億個神經(jīng)元。人腦能完成智能、思維等高級活動，為了能利用數(shù)學模型來模擬人腦活動，造成了神經(jīng)網(wǎng)絡(luò)研究。

神經(jīng)系統(tǒng)基本結(jié)構(gòu)是神經(jīng)元(神經(jīng)細胞)，它是處理人體內(nèi)各部分之間相互信息傳遞基本單元。神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第8頁神經(jīng)網(wǎng)絡(luò)介紹每個神經(jīng)元都由一個細胞體，一個連接其它神經(jīng)元軸突和一些向外伸出其它較短分支—樹突組成。軸突功效是將本神經(jīng)元輸出信號(興奮)傳遞給別神經(jīng)元，其末端許多神經(jīng)末梢使得興奮能夠同時傳送給多個神經(jīng)元。樹突功效是接收來自其它神經(jīng)元興奮。神經(jīng)元細胞體將接收到全部信號進行簡單地處理后，由軸突輸出。神經(jīng)元軸突與另外神經(jīng)元神經(jīng)末梢相連部分稱為突觸。神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第9頁神經(jīng)網(wǎng)絡(luò)介紹生物神經(jīng)元模型生物神經(jīng)元主要由細胞體、樹突和軸突組成，樹突和軸突負責傳入和傳出信息，興奮性沖動沿樹突抵達細胞體，在細胞膜上累積形成興奮性電位；相反，抑制性沖動抵達細胞膜則形成抑制性電位。兩種電位進行累加，若代數(shù)和超出某個閾值，神經(jīng)元將產(chǎn)生沖動。

神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第10頁神經(jīng)網(wǎng)絡(luò)介紹神經(jīng)元由三部分組成：（1）細胞體（主體部分）：包含細胞質(zhì)、細胞膜和細胞核；（2）樹突：用于為細胞體傳入信息；（3）軸突：為細胞體傳出信息，其末端是軸突末梢，含傳遞信息化學物質(zhì)；（4）突觸：是神經(jīng)元之間接口（104~105個/每個神經(jīng)元）。一個神經(jīng)元經(jīng)過其軸突神經(jīng)末梢，經(jīng)突觸與另外一個神經(jīng)元樹突連接，以實現(xiàn)信息傳遞。因為突觸信息傳遞特征是可變，伴隨神經(jīng)沖動傳遞方式改變，傳遞作用強弱不一樣，形成了神經(jīng)元之間連接柔性，稱為結(jié)構(gòu)可塑性。經(jīng)過樹突和軸突，神經(jīng)元之間實現(xiàn)了信息傳遞。神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第11頁神經(jīng)網(wǎng)絡(luò)介紹神經(jīng)元含有以下功效：(1)

興奮與抑制：假如傳入神經(jīng)元沖動經(jīng)整和后使細胞膜電位升高，超出動作電位閾值時即為興奮狀態(tài)，產(chǎn)生神經(jīng)沖動，由軸突經(jīng)神經(jīng)末梢傳出。假如傳入神經(jīng)元沖動經(jīng)整和后使細胞膜電位降低，低于動作電位閾值時即為抑制狀態(tài)，不產(chǎn)生神經(jīng)沖動。(2)學習與遺忘：因為神經(jīng)元結(jié)構(gòu)可塑性，突觸傳遞作用可增強和減弱，所以神經(jīng)元含有學習與遺忘功效。神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第12頁人工神經(jīng)元模型人工神經(jīng)元模型模仿生物神經(jīng)元產(chǎn)生沖動過程，能夠建立一個經(jīng)典人工神經(jīng)元數(shù)學模型[x1,…,xn]T為輸入向量，y為輸出，f(·)為激發(fā)函數(shù)，θ為閾值。Wi為神經(jīng)元與其它神經(jīng)元連接強度，也稱權(quán)值。神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第13頁人工神經(jīng)元模型慣用激發(fā)函數(shù)f種類：1）閾值型函數(shù)神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第14頁人工神經(jīng)元模型2）飽和型函數(shù)3）雙曲函數(shù)神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第15頁人工神經(jīng)元模型4）S型函數(shù)5）高斯函數(shù)神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第16頁神經(jīng)網(wǎng)絡(luò)定義和特點神經(jīng)網(wǎng)絡(luò)系統(tǒng)是由大量神經(jīng)元，經(jīng)過廣泛地相互連接而形成復雜網(wǎng)絡(luò)系統(tǒng)。

定義

特點（1）非線性映射迫近能力。任意連續(xù)非線性函數(shù)映射關(guān)系可由多層神經(jīng)網(wǎng)絡(luò)以任意精度加以迫近。（2）自適應(yīng)性和自組織性。神經(jīng)元之間連接含有多樣性，各神經(jīng)元之間連接強度含有可塑性，網(wǎng)絡(luò)能夠經(jīng)過學習與訓練進行自組織，以適應(yīng)不一樣信息處理要求。（3）并行處理性。網(wǎng)絡(luò)各單元能夠同時進行類似處理過程，整個網(wǎng)絡(luò)信息處理方式是大規(guī)模并行，能夠大大加緊對信息處理速度。（4）分布存放和容錯性。信息在神經(jīng)網(wǎng)絡(luò)內(nèi)存放按內(nèi)容分布于許多神經(jīng)元中，而且每個神經(jīng)元存放各種信息部分內(nèi)容。網(wǎng)絡(luò)每部分對信息存放含有等勢作用，部分信息丟失仍能夠使完整信息得到恢復，因而使網(wǎng)絡(luò)含有容錯性和聯(lián)想記憶功效。（5）便于集成實現(xiàn)和計算模擬。神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上是相同神經(jīng)元大規(guī)模組合，尤其適合于用大規(guī)模集成電路實現(xiàn)。神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第17頁感知器(Perceptron)是由美國學者F.Rosenblatt于1957年提出，它是一個含有單層計算單元神經(jīng)網(wǎng)絡(luò)，并由線性閾值元件組成。

激發(fā)函數(shù)為閾值型函數(shù)，當其輸入加權(quán)和大于或等于閾值時，輸出為1，不然為0或-1。它權(quán)系W可變，這么它就能夠?qū)W習。

感知器結(jié)構(gòu)感知器模型神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第18頁感知器模型感知器學習算法為方便起見，將閾值θ(它也一樣需要學習)并入W中，令Wn+1=-θ，X向量也對應(yīng)地增加一個分量xn+1=1，則學習算法：①給定初始值：賦給Wi(0)各一個較小隨機非零值，這里Wi(t)為t時刻第i個輸入權(quán)(1≤i≤n)，Wn+1(t)為t時刻閾值；

②輸入一樣本X=(xi,…,xn,1)和它希望輸出d；

③計算實際輸出④修正權(quán)W：

Wi(t+1)=Wi(t)+η[d-Y(t)]xi,i=1,2,…,n+1

⑤轉(zhuǎn)到②直到W對一切樣本均穩(wěn)定不變?yōu)橹埂?/p>

神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第19頁感知器模型依據(jù)某樣本訓練時，均方差隨訓練次數(shù)收斂情況神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第20頁神經(jīng)網(wǎng)絡(luò)組成和分類

組成

從Perceptron模型能夠看出神經(jīng)網(wǎng)絡(luò)經(jīng)過一組狀態(tài)方程和一組學習方程加以描述。狀態(tài)方程描述每個神經(jīng)元輸入、輸出、權(quán)值間函數(shù)關(guān)系。學習方程描述權(quán)值應(yīng)該怎樣修正。神經(jīng)網(wǎng)絡(luò)經(jīng)過修正這些權(quán)值來進行學習，從而調(diào)整整個神經(jīng)網(wǎng)絡(luò)輸入輸出關(guān)系。分類

（1）從結(jié)構(gòu)上劃分

通常所說網(wǎng)絡(luò)結(jié)構(gòu)，主要是指它聯(lián)接方式。神經(jīng)網(wǎng)絡(luò)從拓撲結(jié)構(gòu)上來說，主要分為層狀和網(wǎng)狀結(jié)構(gòu)。

神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第21頁神經(jīng)網(wǎng)絡(luò)組成和分類①層狀結(jié)構(gòu)：網(wǎng)絡(luò)由若干層組成，每層中有一定數(shù)量神經(jīng)元，相鄰層中神經(jīng)元單向聯(lián)接，普通同層內(nèi)神經(jīng)元不能聯(lián)接。前向網(wǎng)絡(luò)：只有前后相鄰兩層之間神經(jīng)元相互聯(lián)接，各神經(jīng)元之間沒有反饋。每個神經(jīng)元從前一層接收輸入，發(fā)送輸出給下一層。

神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第22頁神經(jīng)網(wǎng)絡(luò)組成和分類②網(wǎng)狀結(jié)構(gòu)：網(wǎng)絡(luò)中任何兩個神經(jīng)元之間都可能雙向聯(lián)接。反饋網(wǎng)絡(luò)：從輸出層到輸入層有反饋，每一個神經(jīng)元同時接收外來輸入和來自其它神經(jīng)元反饋輸入，其中包含神經(jīng)元輸出信號引回本身輸入自環(huán)反饋。

混合型網(wǎng)絡(luò)：前向網(wǎng)絡(luò)同一層神經(jīng)元之間有互聯(lián)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第23頁神經(jīng)網(wǎng)絡(luò)組成和分類（2）從激發(fā)函數(shù)類型上劃分

高斯基函數(shù)神經(jīng)網(wǎng)絡(luò)、小波基函數(shù)神經(jīng)網(wǎng)絡(luò)、樣條基函數(shù)神經(jīng)網(wǎng)絡(luò)等等

（3）從網(wǎng)絡(luò)學習方式上劃分①有導師學習神經(jīng)網(wǎng)絡(luò)為神經(jīng)網(wǎng)絡(luò)提供樣本數(shù)據(jù)，對網(wǎng)絡(luò)進行訓練，使網(wǎng)絡(luò)輸入輸出關(guān)系迫近樣本數(shù)據(jù)輸入輸出關(guān)系。②無導師學習神經(jīng)網(wǎng)絡(luò)不為神經(jīng)網(wǎng)絡(luò)提供樣本數(shù)據(jù)，學習過程中網(wǎng)絡(luò)自動將輸入數(shù)據(jù)特征提取出來。（4）從學習算法上來劃分：基于BP算法網(wǎng)絡(luò)、基于Hebb算法網(wǎng)絡(luò)、基于競爭式學習算法網(wǎng)絡(luò)、基于遺傳算法網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第24頁當前神經(jīng)網(wǎng)絡(luò)模型種類相當豐富，已經(jīng)有近40余種神經(jīng)網(wǎng)絡(luò)模型。經(jīng)典神經(jīng)網(wǎng)絡(luò)有多層前向傳輸網(wǎng)絡(luò)（BP網(wǎng)絡(luò)）、Hopfield網(wǎng)絡(luò)、CMAC小腦模型、ART網(wǎng)絡(luò)、BAM雙向聯(lián)想記憶網(wǎng)絡(luò)、SOM自組織網(wǎng)絡(luò)、Blotzman機網(wǎng)絡(luò)和Madaline網(wǎng)絡(luò)等。經(jīng)典神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第25頁神經(jīng)網(wǎng)絡(luò)學習算法是神經(jīng)網(wǎng)絡(luò)智能特征主要標志，神經(jīng)網(wǎng)絡(luò)經(jīng)過學習算法，實現(xiàn)了自適應(yīng)、自組織和自學習能力。當前神經(jīng)網(wǎng)絡(luò)學習算法有各種，按有沒有導師分類，可分為有教師學習（SupervisedLearning）、無教師學習（UnsupervisedLearning）和再勵學習（ReinforcementLearning）等幾大類。神經(jīng)網(wǎng)絡(luò)學習算法神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第26頁在有教師學習方式中，網(wǎng)絡(luò)輸出和期望輸出（即教師信號）進行比較，然后依據(jù)二者之間差異調(diào)整網(wǎng)絡(luò)權(quán)值，最終使差異變小。在無教師學習方式中，輸入模式進入網(wǎng)絡(luò)后，網(wǎng)絡(luò)按照一預先設(shè)定規(guī)則（如競爭規(guī)則）自動調(diào)整權(quán)值，使網(wǎng)絡(luò)最終含有模式分類等功效。再勵學習是介于上述二者之間一個學習方式。神經(jīng)網(wǎng)絡(luò)學習算法神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第27頁圖有導師指導神經(jīng)網(wǎng)絡(luò)學習神經(jīng)網(wǎng)絡(luò)學習算法神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第28頁圖無導師指導神經(jīng)網(wǎng)絡(luò)學習神經(jīng)網(wǎng)絡(luò)學習算法神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第29頁最基本神經(jīng)網(wǎng)絡(luò)學習算法：1、Hebb學習規(guī)則Hebb學習規(guī)則是一個聯(lián)想式學習算法。生物學家D.O.Hebbian基于對生物學和心理學研究，認為兩個神經(jīng)元同時處于激發(fā)狀態(tài)時，它們之間連接強度將得到加強，這一敘述數(shù)學描述被稱為Hebb學習規(guī)則，即神經(jīng)網(wǎng)絡(luò)學習算法神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第30頁其中，為連接從神經(jīng)元到神經(jīng)元當前權(quán)值，和為神經(jīng)元激活水平。Hebb學習規(guī)則是一個無教師學習方法，它只依據(jù)神經(jīng)元連接間激活水平改變權(quán)值，所以，這種方法又稱為相關(guān)學習或并聯(lián)學習。神經(jīng)網(wǎng)絡(luò)學習算法神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第31頁2Delta（δ）學習規(guī)則假設(shè)誤差準則函數(shù)為：其中，代表期望輸出（教師信號）；為網(wǎng)絡(luò)實際輸出，；為網(wǎng)絡(luò)全部權(quán)值組成向量：為輸入模式：神經(jīng)網(wǎng)絡(luò)學習算法神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第32頁其中訓練樣本數(shù)為。神經(jīng)網(wǎng)絡(luò)學習目標是經(jīng)過調(diào)整權(quán)值W，使誤差準則函數(shù)最小。權(quán)值調(diào)整采取梯度下降法來實現(xiàn)，其基本思想是沿著E負梯度方向不停修正W值，直到E到達最小。數(shù)學表示式為：神經(jīng)網(wǎng)絡(luò)學習算法神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第33頁其中令

，則W修正規(guī)則為上式稱為δ學習規(guī)則，又稱誤差修正規(guī)則。神經(jīng)網(wǎng)絡(luò)學習算法神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第34頁1.神經(jīng)網(wǎng)絡(luò)特征神經(jīng)網(wǎng)絡(luò)含有以下幾個特征：（1）能迫近任意非線性函數(shù)；（2）信息并行分布式處理與存放；（3）能夠多輸入、多輸出；（4）便于用超大規(guī)模集成電路（VISI）或光學集成電路系統(tǒng)實現(xiàn)，或用現(xiàn)有計算機技術(shù)實現(xiàn)；（5）能進行學習，以適應(yīng)環(huán)境改變。神經(jīng)網(wǎng)絡(luò)特征及要素神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第35頁2神經(jīng)網(wǎng)絡(luò)要素決定神經(jīng)網(wǎng)絡(luò)模型性能三大要素為：（1）神經(jīng)元（信息處理單元）特征；（2）神經(jīng)元之間相互連接形式—拓撲結(jié)構(gòu)；（3）為適應(yīng)環(huán)境而改進性能學習規(guī)則。神經(jīng)網(wǎng)絡(luò)特征及要素神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第36頁神經(jīng)網(wǎng)絡(luò)控制研究領(lǐng)域

（1）基于神經(jīng)網(wǎng)絡(luò)系統(tǒng)辨識①將神經(jīng)網(wǎng)絡(luò)作為被辨識系統(tǒng)模型，可在已知常規(guī)模型結(jié)構(gòu)情況下，預計模型參數(shù)。②利用神經(jīng)網(wǎng)絡(luò)線性、非線性特征，可建立線性、非線性系統(tǒng)靜態(tài)、動態(tài)、逆動態(tài)及預測模型，實現(xiàn)非線性系統(tǒng)建模和辨識。神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第37頁(2)神經(jīng)網(wǎng)絡(luò)控制器神經(jīng)網(wǎng)絡(luò)作為實時控制系統(tǒng)控制器，對不確定、不確知系統(tǒng)及擾動進行有效控制，使控制系統(tǒng)到達所要求動態(tài)、靜態(tài)特征。

(3)神經(jīng)網(wǎng)絡(luò)與其它算法相結(jié)合

將神經(jīng)網(wǎng)絡(luò)與教授系統(tǒng)、含糊邏輯、遺傳算法等相結(jié)合，可設(shè)計新型智能控制系統(tǒng)。神經(jīng)網(wǎng)絡(luò)控制研究領(lǐng)域

神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第38頁(4)優(yōu)化計算在常規(guī)控制系統(tǒng)中，常碰到求解約束優(yōu)化問題，神經(jīng)網(wǎng)絡(luò)為這類問題處理提供了有效路徑。當前，神經(jīng)網(wǎng)絡(luò)控制已經(jīng)在各種控制結(jié)構(gòu)中得到應(yīng)用，如PID控制、模型參考自適應(yīng)控制、前饋反饋控制、內(nèi)模控制、預測控制、含糊控制等。神經(jīng)網(wǎng)絡(luò)控制研究領(lǐng)域神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第39頁多層前向BP神經(jīng)網(wǎng)絡(luò)最早由werbos在1974年提出，1985年由Rumelhart再次進行發(fā)展。

多層前向神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)多層前向神經(jīng)網(wǎng)絡(luò)由輸入層、隱層（不少于1層）、輸出層組成，信號沿輸入——>輸出方向逐層傳遞。神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第40頁多層前向BP神經(jīng)網(wǎng)絡(luò)沿信息傳輸方向，給出網(wǎng)絡(luò)狀態(tài)方程，用Inj(i)，Outj(i)表示第i層第j個神經(jīng)元輸入和輸出，則各層輸入輸出關(guān)系可描述為：第一層（輸入層）：將輸入引入網(wǎng)絡(luò)第二層（隱層）第三層（輸出層）神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第41頁多層前向BP神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)學習

學習基本思想是：誤差反傳算法調(diào)整網(wǎng)絡(luò)權(quán)值，使網(wǎng)絡(luò)實際輸出盡可能靠近期望輸出。假設(shè)有M個樣本:

將第k個樣本Xk輸入網(wǎng)絡(luò)，得到網(wǎng)絡(luò)輸出為定義學習目標函數(shù)為：神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第42頁多層前向BP神經(jīng)網(wǎng)絡(luò)為使目標函數(shù)最小，訓練算法是：令則神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第43頁多層前向BP神經(jīng)網(wǎng)絡(luò)學習步驟：（1）依次取第k組樣本，將Xk輸入網(wǎng)絡(luò)。（2）依次計算

，假如

，退出。（3）計算（4）計算（5），修正權(quán)值，返回（1）

假如樣本數(shù)少，則學習知識不夠；假如樣本多，則需計算更多dJk/dw,，訓練時間長?？刹扇‰S機學習法每次以樣本中隨機選取幾個樣本，計算

dJk/dw,，調(diào)整權(quán)值。

神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第44頁例4.1多層前向BP網(wǎng)絡(luò)訓練訓練樣本SISO：SampleInput=[00.10.20.30.4];SampleOutput=[42222];網(wǎng)絡(luò)結(jié)構(gòu)：神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第45頁網(wǎng)絡(luò)輸入輸出關(guān)系：需訓練量：神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第46頁訓練算法：神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第47頁訓練初始參數(shù)：W1=rand(1,5);W2=rand(1,5);theta=rand(1,5);beta=rand(1,5);LearningRate1=0.2;LearningRate2=0.4;LearningRate3=0.2;LearningRate4=0.2;神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第48頁訓練后參數(shù)：W1＝[-0.40598.5182-0.5994-0.1153-1.1916];W2=[0.62452.83820.66320.57833.5775];Beta=[1.6219-4.94031.60411.5145-0.3858];Theta=[1.58320.19001.54061.6665-0.1441];神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第49頁訓練1000次目標函數(shù)改變曲線：神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第50頁訓練結(jié)束后神經(jīng)網(wǎng)絡(luò)輸出與樣本擬和情況神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第51頁BP網(wǎng)絡(luò)優(yōu)點為：（1）只要有足夠多隱層和隱層節(jié)點，BP網(wǎng)絡(luò)能夠迫近任意非線性映射關(guān)系；（2）BP網(wǎng)絡(luò)學習算法屬于全局迫近算法，含有較強泛化能力。（3）BP網(wǎng)絡(luò)輸入輸出之間關(guān)聯(lián)信息分布地存放在網(wǎng)絡(luò)連接權(quán)中，個別神經(jīng)元損壞只對輸入輸出關(guān)系有較小影響，因而BP網(wǎng)絡(luò)含有很好容錯性。神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第52頁BP網(wǎng)絡(luò)主要缺點為：（1）待尋優(yōu)參數(shù)多，收斂速度慢；（2）目標函數(shù)存在多個極值點，按梯度下降法進行學習，很輕易陷入局部極小值；（3）難以確定隱層及隱層節(jié)點數(shù)目。當前，怎樣依據(jù)特定問題來確定詳細網(wǎng)絡(luò)結(jié)構(gòu)尚無很好方法，仍需依據(jù)經(jīng)驗來試湊。神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第53頁因為BP網(wǎng)絡(luò)含有很好迫近非線性映射能力，該網(wǎng)絡(luò)在模式識別、圖像處理、系統(tǒng)辨識、函數(shù)擬合、優(yōu)化計算、最優(yōu)預測和自適應(yīng)控制等領(lǐng)域有著較為廣泛應(yīng)用。因為BP網(wǎng)絡(luò)含有很好迫近特征和泛化能力，可用于神經(jīng)網(wǎng)絡(luò)控制器設(shè)計。但因為BP網(wǎng)絡(luò)收斂速度慢，難以適應(yīng)實時控制要求。神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第54頁BP網(wǎng)絡(luò)迫近仿真實例使用BP網(wǎng)絡(luò)迫近對象：BP網(wǎng)絡(luò)迫近程序見chap7_1.m神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第55頁BP網(wǎng)絡(luò)模式識別因為神經(jīng)網(wǎng)絡(luò)含有自學習、自組織和并行處理等特征，并含有很強容錯能力和聯(lián)想能力，所以，神經(jīng)網(wǎng)絡(luò)含有模式識別能力在神經(jīng)網(wǎng)絡(luò)模式識別中，依據(jù)標準輸入輸出模式對，采取神經(jīng)網(wǎng)絡(luò)學習算法，以標準模式作為學習樣本進行訓練，經(jīng)過學習調(diào)整神經(jīng)網(wǎng)絡(luò)連接權(quán)值。當訓練滿足要求后，得到神經(jīng)網(wǎng)絡(luò)權(quán)值組成了模式識別知識庫，利用神經(jīng)網(wǎng)絡(luò)并行推理算法對所需要輸入模式進行識別。神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第56頁當待識別輸入模式與訓練樣本中某個輸入模式相同時，神經(jīng)網(wǎng)絡(luò)識別結(jié)果就是與訓練樣本中相對應(yīng)輸出模式。當待識別輸入模式與訓練樣本中全部輸入模式都不完全相同時，則可得到與其相近樣本相對應(yīng)輸出模式。當待識別輸入模式與訓練樣本中全部輸入模式相差較遠時，就不能得到正確識別結(jié)果，此時可將這一模式作為新樣本進行訓練，使神經(jīng)網(wǎng)絡(luò)獲取新知識，并存放到網(wǎng)絡(luò)權(quán)值矩陣中，從而增強網(wǎng)絡(luò)識別能力。BP網(wǎng)絡(luò)訓練過程以下：正向傳輸是輸入信號從輸入層經(jīng)隱層傳向輸出層，若輸出層得到了期望輸出，則學習算法結(jié)束；不然，轉(zhuǎn)至反向傳輸神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第57頁RBF神經(jīng)網(wǎng)絡(luò)徑向基函數(shù)(RBF-RadialBasisFunction)神經(jīng)網(wǎng)絡(luò)是由J.Moody和C.Darken在80年代末提出一個神經(jīng)網(wǎng)絡(luò),它是含有單隱層三層前饋網(wǎng)絡(luò)。因為它模擬了人腦中局部調(diào)整、相互覆蓋接收域（或稱感受野-ReceptiveField）神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，所以，RBF網(wǎng)絡(luò)是一個局部迫近網(wǎng)絡(luò)，已證實它能任意精度迫近任意連續(xù)函數(shù)。神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第58頁RBF網(wǎng)絡(luò)特點(1)RBF網(wǎng)絡(luò)作用函數(shù)為高斯函數(shù)，是局部，BP網(wǎng)絡(luò)作用函數(shù)為S函數(shù)，是全局；(2)怎樣確定RBF網(wǎng)絡(luò)隱層節(jié)點中心及基寬度參數(shù)是一個困難問題；(3)已證實RBF網(wǎng)絡(luò)含有唯一最正確迫近特征，且無局部極小。神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第59頁RBF網(wǎng)絡(luò)結(jié)構(gòu)RBF網(wǎng)絡(luò)是一個三層前向網(wǎng)絡(luò)，因為輸入到輸出映射是非線性，而隱含層空間到輸出空間映射是線性，從而能夠大大加緊學習速度并防止局部極小問題。神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第60頁RBF網(wǎng)絡(luò)迫近神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第61頁在RBF網(wǎng)絡(luò)結(jié)構(gòu)中，為網(wǎng)絡(luò)輸入向量。設(shè)RBF網(wǎng)絡(luò)徑向基向量，其中hj為高斯基函數(shù)：網(wǎng)絡(luò)第j個結(jié)點中心矢量為：其中，i=1,2,…n神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第62頁設(shè)網(wǎng)絡(luò)基寬向量為：為節(jié)點基寬度參數(shù)，且為大于零數(shù)。網(wǎng)絡(luò)權(quán)向量為：k時刻網(wǎng)絡(luò)輸出為：

設(shè)理想輸出為y(k)，則性能指標函數(shù)為：

神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第63頁

依據(jù)梯度下降法，輸出權(quán)、節(jié)點中心及節(jié)點基寬參數(shù)迭代算法以下：神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第64頁

陣(即為對象輸出對控制輸入靈敏度信息)算法為：其中取。其中,為學習速率，為動量因子。神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第65頁RBF網(wǎng)絡(luò)迫近仿真實例使用RBF網(wǎng)絡(luò)迫近以下對象：RBF網(wǎng)絡(luò)迫近程序見chap7_3.m。

神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第66頁對角回歸型神經(jīng)網(wǎng)絡(luò)（DRNN：DiagonalRecurrentNeuralNetwork）是含有反饋動態(tài)神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)能夠更直接更生動地反應(yīng)系統(tǒng)動態(tài)特征，它在BP網(wǎng)絡(luò)基本結(jié)構(gòu)基礎(chǔ)上，經(jīng)過存放內(nèi)部狀態(tài)使其具備映射動態(tài)特征功效，從而使系統(tǒng)含有適應(yīng)時變特征能力，DRNN網(wǎng)絡(luò)代表了神經(jīng)網(wǎng)絡(luò)建模和控制方向?；貧w神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第67頁DRNN網(wǎng)絡(luò)結(jié)構(gòu)DRNN網(wǎng)絡(luò)是一個三層前向網(wǎng)絡(luò)，其隱含層為回歸層。正向傳輸是輸入信號從輸入層經(jīng)隱層傳向輸出層，若輸出層得到了期望輸出，則學習算法結(jié)束；不然，轉(zhuǎn)至反向傳輸。反向傳輸就是將誤差信號（理想輸出與實際輸出之差）按聯(lián)接通路反向計算，由梯度下降法調(diào)整各層神經(jīng)元權(quán)值和閾值，使誤差信號減小。DRNN網(wǎng)絡(luò)結(jié)構(gòu)如圖7-18所表示。神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第68頁圖7-18DRNN神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第69頁

在該網(wǎng)絡(luò)中,設(shè)

為網(wǎng)絡(luò)輸入向量,為輸入層第i個神經(jīng)元輸入，網(wǎng)絡(luò)回歸層第j個神經(jīng)元輸出為,為第個回歸神經(jīng)元輸入總和,為S函數(shù)，為DRNN網(wǎng)絡(luò)輸出。和為網(wǎng)絡(luò)回歸層和輸出層權(quán)值向量,為網(wǎng)絡(luò)輸入層權(quán)值向量。神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第70頁

DRNN網(wǎng)絡(luò)迫近結(jié)構(gòu)如圖所表示，圖中k為網(wǎng)絡(luò)迭代步驟，u(k)和y(k)為辨識器輸入。DRNN為網(wǎng)絡(luò)辨識器。y(k)為被控對象實際輸出，ym(k)為DRNN輸出。將系統(tǒng)輸出y(k)及輸入u(k)值作為辨識器DRNN輸入，將系統(tǒng)輸出與網(wǎng)絡(luò)輸出誤差作為辨識器調(diào)整信號。神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第71頁網(wǎng)絡(luò)輸出層輸出為網(wǎng)絡(luò)回歸層輸出為網(wǎng)絡(luò)回歸層輸入為神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第72頁迫近誤差為：性能指標函數(shù)為：學習算法采取梯度下降法神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第73頁神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第74頁其中回歸層神經(jīng)元取雙函數(shù)為其中，分別為輸入層、回歸層和輸出層學習速率，為慣性系數(shù)。神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第75頁DRNN網(wǎng)絡(luò)迫近仿真實例使用DRNN網(wǎng)絡(luò)迫近以下對象：DRNN網(wǎng)絡(luò)迫近程序見chap7_4.m。

神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第76頁是一個無導師學習網(wǎng)絡(luò)腦神經(jīng)科學研究表明：傳遞感覺神經(jīng)元排列是按某種規(guī)律有序進行，這種排列往往反應(yīng)所感受外部刺激一些物理特征。

大腦自組織神經(jīng)網(wǎng)絡(luò)在接收外界輸入時，將會分成不一樣區(qū)域，不一樣區(qū)域?qū)Σ灰粯幽Ｊ胶胁灰粯禹憫?yīng)特征，即不一樣神經(jīng)元以最正確方式響應(yīng)不一樣性質(zhì)信號激勵，從而形成一個拓撲意義上有序排列

在這種網(wǎng)絡(luò)中，輸出節(jié)點與其鄰域其它節(jié)點廣泛相連，并相互激勵。輸入節(jié)點和輸出節(jié)點之間經(jīng)過強度wij(t)相連接。經(jīng)過某種規(guī)則，不停地調(diào)整wij(t)，使得在穩(wěn)定時，每一鄰域全部節(jié)點對某種輸入含有類似輸出，而且這種聚類概率分布與輸入模式概率分布相靠近。

大腦自組織神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第77頁自組織學習算法：權(quán)值初始化并選定領(lǐng)域大小；(2)輸入模式；

(3)計算空間距離式中xi(t)是t時刻i節(jié)點輸入，wij(t)是輸入節(jié)點i與輸出節(jié)點j連接強度，N為輸入節(jié)點數(shù)目；

(4)選擇節(jié)點j*，它滿足(5)按下式改變j*和其領(lǐng)域節(jié)點連接強度wij(t+1)=wij(t)+η(t)[xi(t)-wij(t)],j∈j*領(lǐng)域，0≤i≤N-1

式中η(t)稱之為衰減因子。

(6)返回到第(2)步，直至滿足[xi(t)-wij(t)]2＜ε(ε為給定誤差)。

神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第78頁例4.2大腦自組織網(wǎng)絡(luò)訓練輸入模式：X＝[x1,x2,x3]網(wǎng)絡(luò)節(jié)點數(shù)量：9鄰域：1網(wǎng)絡(luò)初始權(quán)值：W=[0.11220.01470.28160.78390.90280.82890.52080.46080.4435

0.44330.66410.26180.98620.45110.16630.71810.44530.3663

0.46680.72410.70850.47330.80450.39390.56920.08770.3025];神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第79頁1.單模式訓練情況輸入為：X=[001]結(jié)果：W=[0.11220.00000.00000.00000.90280.82890.52080.46080.44350.44330.00000.00000.00000.45110.16630.71810.44530.36630.46681.00001.00001.00000.80450.39390.56920.08770.3025]輸入為：X=[010]結(jié)果：W=[0.11220.01470.28160.78390.90280.82890.00000.00000.00000.44330.66410.26180.98620.45110.16631.00001.00001.00000.46680.72410.70850.47330.80450.39390.00000.00000.0000]神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第80頁2.多模式訓練情況100010001Input=訓練結(jié)果：0.00000.00001.00001.00001.00000.00000.00000.00000.00000.00000.00000.00000.00000.00001.00001.00001.00001.00001.00001.00000.00000.00000.00000.00000.00000.00000.0000W＝網(wǎng)絡(luò)輸出：Output=Input*W=0.00000.00001.00001.00001.00000.00000.00000.00000.00000.00000.00000.00000.00000.00001.00001.00001.00001.00001.00001.00000.00000.00000.00000.00000.00000.00000.0000模式1模式2模式3模式2模式1模式3模式1模式2模式3神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第81頁小腦神經(jīng)網(wǎng)絡(luò)小腦模型關(guān)節(jié)控制器（CMAC）是由Albus最初于1975年基于神經(jīng)生理學提出，它是一個基于局部迫近簡單快速神經(jīng)網(wǎng)絡(luò)，能夠?qū)W習任意多維非線性映射,迄今已廣泛用于許多領(lǐng)域。CMAC含有優(yōu)點：含有局部迫近能力，每次修正權(quán)值極少，學習速度快，適合于在線學習；一定泛化能力，相近輸入給出相近輸出，不一樣輸入給出不一樣輸出；神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第82頁CMAC原理CMAC是一個模仿人類小腦學習結(jié)構(gòu)。在這種技術(shù)里，每個狀態(tài)變量被量化而且輸入空間被劃分成離散狀態(tài)。量化輸入組成向量指定了一個離散狀態(tài)而且被用于產(chǎn)生地址來激活聯(lián)想單元中存放聯(lián)想強度從而恢復這個狀態(tài)信息。對于輸入空間大情況，聯(lián)想單元數(shù)量巨大，為了節(jié)約存放空間，Albus提出了hash編碼，將聯(lián)想強度存于數(shù)量大大少于聯(lián)想單元hash單元中，聯(lián)想單元中只存放hash單元散列地址編碼神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第83頁CMAC空間劃分和量化機制超立方體聯(lián)想單元“塊”神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第84頁CMAC學習數(shù)學推導1)無hash映射CMAC在CMAC中，每個量化狀態(tài)對應(yīng)Ne個聯(lián)想單元。假設(shè)Nh是總聯(lián)想單元數(shù)量，該數(shù)量與沒有hash映射時物理存放空間大小一致。用CMAC技術(shù)，第s個狀態(tài)對應(yīng)輸出數(shù)據(jù)ys能夠被表示為：

式中W是代表存放內(nèi)容（聯(lián)想強度）向量，Cs是存放單元激活向量，該向量包含Ne個1。在決定了空間劃分方式后，對于指定狀態(tài)，單元激活向量Cs也隨之確定。

神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第85頁2)有hash映射CMAChash映射將幾個聯(lián)想單元和一個物理存放位置(hash單元)相對應(yīng)。hash單元中存放聯(lián)想強度，而此時聯(lián)想單元是虛擬存放空間，只存放hash單元散列地址編碼。有hash映射CMAC尤其適合用于存放空間小于超立方體數(shù)量時情況。用有hash映射CMAC技術(shù)，第s個狀態(tài)對應(yīng)輸出數(shù)據(jù)ys能夠被表示為：式中Mp是hash單元數(shù)量，它小于聯(lián)想單元數(shù)Nh。hij=1表示聯(lián)想單元i激活hash單元j。因為每個聯(lián)想單元僅僅和一個hash單元相對應(yīng)，所以hash矩陣H每一行僅有一個單元等于1，其余都等于0。

神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第86頁沒有hash映射公式和有hash映射公式能夠合并為一個式子：

CMAC學習CMAC用迭代算法來訓練聯(lián)想強度。在學習中，我們將Ns個訓練數(shù)據(jù)重復用于學習。在第i次迭代中用第s個樣本學習迭代算法為：

S：樣本數(shù)i：迭代次數(shù)α：學習率期望輸出神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第87頁神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第88頁例4.3CMAC訓練樣本：SampleInput1=[0.050.150.250.35];SampleInput2=[0.050.150.250.35];SampleOutput=[4444;2222;3333;1111];量化：兩輸入均量化為四個元素ifx1>0&&x1<=0.1indexX1=1;elseifx1>0.1&&x1<=0.2indexX1=2;elseifx1>0.2&&x1<=0.3indexX1=3;elseifx1>0.3&&x1<=0.4indexX1=4;end神經(jīng)網(wǎng)絡(luò)基本理論d專家講座第89頁狀態(tài)編號：MSTATENUM=12345678910111213141516激活向量矩陣：