智能控制課件總結(jié)2

遺傳算法應(yīng)用舉例例6.1利用遺傳算法求解區(qū)間［0,31］上的二次函數(shù)y=x2的最大值。分析原問題可轉(zhuǎn)化為在區(qū)間［0,31］中搜索能使y取最大值的點a的問題。那么，［0,31］中的點x就是個體,函數(shù)值f(x)恰好就可以作為x的適應(yīng)度，區(qū)間［0,31］就是一個(解)空間。這樣,只要能給出個體x的適當(dāng)染色體編碼,該問題就可以用遺傳算法來解決。解(1)設(shè)定種群規(guī)模,編碼染色體，產(chǎn)生初始種群。將種群規(guī)模設(shè)定為4；用5位二進制數(shù)編碼染色體；取下列個體組成初始種群S1:s1=13(01101),s2=24(11000)s3=8(01000),s4=19(10011)(2)定義適應(yīng)度函數(shù),取適應(yīng)度函數(shù)：f(x)=x2(3)計算各代種群中的各個體的適應(yīng)度,并對其染色體進行遺傳操作,直到適應(yīng)度最高的個體(即31（11111）)出現(xiàn)為止。首先計算種群S1中各個體s1=13(01101),s2=24(11000)，s3=8(01000),s4=19(10011)的適應(yīng)度f(si)。容易求得f(s1)=f(13)=132=169，f(s2)=f(24)=242=576f(s3)=f(8)=82=64，f(s4)=f(19)=192=361再計算種群S1選擇概率的計算公式為選擇概率的計算公式為由此可求得P(s1)=P(13)=0.14，P(s2)=P(24)=0.49，P(s3)=P(8)=0.06，P(s4)=P(19)=0.31●賭輪選擇法在算法中賭輪選擇法可用下面的子過程來模擬:①在［0,1］區(qū)間內(nèi)產(chǎn)生一個均勻分布的隨機數(shù)r。②若r≤q1,則染色體x1被選中。③若qk-1<r≤qk(2≤k≤N),則染色體xk被選中。其中的qi稱為染色體xi(i=1,2,…,n)的積累概率,其計算公式為選擇-復(fù)制設(shè)從區(qū)間［0,1］中產(chǎn)生4個隨機數(shù)如下:r1=0.450126,r2=0.110347，r3=0.572496,r4=0.98503染色體適應(yīng)度選擇概率積累概率選中次數(shù)s1=011011690.140.141s2=110005760.490.632s3=01000640.060.690s4=100113610.311.001于是，經(jīng)復(fù)制得群體s1’=11000（24）,s2’=01101（13），s3’=11000（24），s4’=10011交叉設(shè)交叉率pc=100%，即S1中的全體染色體都參加交叉運算。設(shè)s1’與s2’配對，s3’與s4’配對。分別交換后兩位基因，得新染色體：s1’’=11001（25）,s2’’=01100（12）s3’’=11011（27）,變異設(shè)變異率pm=0.001。這樣，群體S1中共有5×4×0.001=0.02位基因可以變異。0.02位顯然不足1位，所以本輪遺傳操作不做變異。于是，得到第二代種群S2：s1=11001（25）s2=01100（12），s3=11011（27）,s4=10000（16）第二代種群S2中各染色體的情況染色體適應(yīng)度選擇概率積累概率估計的選中次數(shù)s1=110016250.360.361s2=011001440.080.440s3=110117290.410.852s4=100002560.151.001假設(shè)這一輪選擇-復(fù)制操作中，種群S2中的4個染色體都被選中，則得到群體：s1’=11001（25）,s2’=01100（12）s3’=11011（27）,s4’=10000做交叉運算，讓s1’與s2’，s3’與s4’分別交換后三位基因，得s1’’=11100（28）,s2’’=01001（9）s3’’=11000（24）,s4’于是，得第三代種群S3：s1=11100（28）,s2=01001（9）s3=11000（24）,s4=10011（19）第三代種群S3中各染色體的情況染色體適應(yīng)度選擇概率積累概率估計的選中次數(shù)s1=111007840.440.442s2=01001810.040.480s3=110005760.320.801s4=100113610.201.001設(shè)這一輪的選擇-復(fù)制結(jié)果為：s1’=11100（28）s2’=11100（28）s3’=11000（24）s4’=10011（19）做交叉運算，讓s1’與s4’，s2s1’’=11111（31）,s2’’=11100（28）s3’’=11000（24）,s4’’=10000這一輪仍然不會發(fā)生變異。于是，得第四代種群S4：s1=11111（31）,s2=11100（28）s3=11000（24）,s4=10000（16）顯然，在這一代種群中已經(jīng)出現(xiàn)了適應(yīng)度最高的染色體s1=11111。于是，遺傳操作終止，將染色體“11111”作為最終結(jié)果輸出。然后，將染色體“11111”解碼為表現(xiàn)型，即得所求的最優(yōu)解：31。將31代入函數(shù)y=x2中，即得原問題的解，即函數(shù)y=x2的最大值為961。YYYy=x28131924X第一代種群及其適應(yīng)度y=x212162527XY第二代種群及其適應(yīng)度y=x29192428XY第三代種群及其適應(yīng)度y=x216242831X第四代種群及其適應(yīng)度例6.2用遺傳算法求解TSP。分析由于其任一可能解——一個合法的城市序列，即n個城市的一個排列，都可以事先構(gòu)造出來。于是，我們就可以直接在解空間（所有合法的城市序列）中搜索最佳解。這正適合用遺傳算法求解。（1）定義適應(yīng)度函數(shù)我們將一個合法的城市序列s=（c1,c2,…,cn,cn+1）(cn+1就是c1)作為一個個體。這個序列中相鄰兩城之間的距離之和的倒數(shù)就可作為相應(yīng)個體s的適應(yīng)度，從而適應(yīng)度函數(shù)就是（2）對個體s=（c1,c2,…,cn,cn+1）進行編碼。但對于這樣的個體如何編碼卻不是一件直截了當(dāng)?shù)氖虑?。因為如果編碼不當(dāng)，就會在實施交叉或變異操作時出現(xiàn)非法城市序列即無效解。例如，對于5個城市的TSP，我們用符號A、B、C、D、E代表相應(yīng)的城市，用這5個符號的序列表示可能解即染色體。然后進行遺傳操作。設(shè)s1=（A,C,B,E,D,A），s2=（A,E,D,C,B,A）實施常規(guī)的交叉或變異操作，如交換后三位，得s1’=（A,C,B,C,B,A），s2’=（A,E,D,E,D,A）或者將染色體s1第二位的C變?yōu)镋，得s1’’=（A,E,B,E,D,A）可以看出，上面得到的s1’，s2’為此，對TSP必須設(shè)計合適的染色體和相應(yīng)的遺傳運算。事實上，人們針對TSP提出了許多編碼方法和相應(yīng)的特殊化了的交叉、變異操作，如順序編碼或整數(shù)編碼、隨機鍵編碼、部分映射交叉、順序交叉、循環(huán)交叉、位置交叉、反轉(zhuǎn)變異、移位變異、互換變異等等。從而巧妙地用遺傳算法解決了TSP。四、遺傳算法的特點與優(yōu)勢◆遺傳算法的主要特點——遺傳算法一般是直接在解空間搜索,而不像圖搜索那樣一般是在問題空間搜索,最后才找到解?！z傳算法的搜索隨機地始于搜索空間的一個點集,而不像圖搜索那樣固定地始于搜索空間的初始節(jié)點或終止節(jié)點,所以遺傳算法是一種隨機搜索算法。——遺傳算法總是在尋找優(yōu)解,而不像圖搜索那樣并非總是要求優(yōu)解,而一般是設(shè)法盡快找到解,所以遺傳算法又是一種優(yōu)化搜索算法。——遺傳算法的搜索過程是從空間的一個點集(種群)到另一個點集(種群)的搜索,而不像圖搜索那樣一般是從空間的一個點到另一個點地搜索。因而它實際是一種并行搜索,適合大規(guī)模并行計算,而且這種種群到種群的搜索有能力跳出局部最優(yōu)解?！z傳算法的適應(yīng)性強,除需知適應(yīng)度函數(shù)外,幾乎不需要其他的先驗知識?！z傳算法長于全局搜索,它不受搜索空間的限制性假設(shè)的約束,不要求連續(xù)性,能以很大的概率從離散的、多極值的、含有噪聲的高維問題中找到全局最優(yōu)解。◆遺傳算法的應(yīng)用：遺傳算法在人工智能的眾多領(lǐng)域便得到了廣泛應(yīng)用。例如，機器學(xué)習(xí)、聚類、控制（如煤氣管道控制）、規(guī)劃（如生產(chǎn)任務(wù)規(guī)劃）、設(shè)計（如通信網(wǎng)絡(luò)設(shè)計、布局設(shè)計）、調(diào)度（如作業(yè)車間調(diào)度、機器調(diào)度、運輸問題）、配置（機器配置、分配問題）、組合優(yōu)化（如TSP、背包問題）、函數(shù)的最大值以及圖像處理和信號處理等等。另一方面，人們又將遺傳算法與其他智能算法和技術(shù)相結(jié)合，使其問題求解能力得到進一步擴展和提高。例如，將遺傳算法與模糊技術(shù)、神經(jīng)網(wǎng)絡(luò)相結(jié)合，已取得了不少成果。7.1.1生物神經(jīng)元模型特點：（1）每個神經(jīng)元雖然都十分簡單，但是如此大量的神經(jīng)元之間、如此復(fù)雜的連接卻可以演化出豐富多彩的行為方式；（2）大量的神經(jīng)元與外部感受器之間的多種多樣的連接方式也蘊含了變化莫測的反應(yīng)方式。從生物控制論的觀點來看，神經(jīng)元作為控制和信息處理的基本單元，具有下列一些重要的功能與特性：時空整合功能，興奮與抑制狀態(tài)，脈沖與電位轉(zhuǎn)換，神經(jīng)纖維傳導(dǎo)速度，突觸延時和不應(yīng)期，學(xué)習(xí)、遺忘和疲勞7.1.2人工神經(jīng)元模型人工神經(jīng)元是對生物神經(jīng)元的一種模擬與簡化。它是神經(jīng)網(wǎng)絡(luò)的基本處理單元。如圖所示為一種簡化的人工神經(jīng)元結(jié)構(gòu)。它是一個多輸入、單輸出的非線性元件其輸入、輸出關(guān)系可描述為其中，是從其他神經(jīng)元傳來的輸入信號；表示從神經(jīng)元j到神經(jīng)元i的連接權(quán)值；為閾值；稱為激發(fā)函數(shù)或作用函數(shù)。輸出激發(fā)函數(shù)又稱為變換函數(shù)，它決定神經(jīng)元（節(jié)點）的輸出。該輸出為1或0，取決于其輸入之和大于或小于內(nèi)部閾值。函數(shù)一般具有非線性特性。下圖表示了幾種常見的激發(fā)函數(shù)：1.閾值型函數(shù)（見圖（a），（b））2.飽和型函數(shù)（見圖（c））3.雙曲函數(shù)（見圖（d））4.S型函數(shù)（見（e））5.高斯函數(shù)（見圖（f））人工神經(jīng)網(wǎng)絡(luò)是以工程技術(shù)手段來模擬人腦神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)與特征的系統(tǒng)。利用人工神經(jīng)元可以構(gòu)成各種不同拓?fù)浣Y(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，它是生物神經(jīng)網(wǎng)絡(luò)的一種模擬和近似。就神經(jīng)網(wǎng)絡(luò)的主要連接型式而言，目前已有數(shù)十種不同的神經(jīng)網(wǎng)絡(luò)模型，其中前饋型網(wǎng)絡(luò)和反饋型網(wǎng)絡(luò)是兩種典型的結(jié)構(gòu)模型。前饋型神經(jīng)網(wǎng)絡(luò)，又稱前向網(wǎng)絡(luò)（FeedforwardNN）。如下圖所示，神經(jīng)元分層排列，有輸入層、隱層（亦稱中間層，可有若干層）和輸出層，每一層的神經(jīng)元只接受前一層神經(jīng)元的輸入。從學(xué)習(xí)的觀點來看，前饋網(wǎng)絡(luò)是一種強有力的學(xué)習(xí)系統(tǒng)，其結(jié)構(gòu)簡單而易于編程；從系統(tǒng)的觀點看，前饋網(wǎng)絡(luò)是一靜態(tài)非線性映射，通過簡單非線性處理單元的復(fù)合映射，可獲得復(fù)雜的非線性處理能力。但從計算的觀點看，缺乏豐富的動力學(xué)行為。大部分前饋網(wǎng)絡(luò)都是學(xué)習(xí)網(wǎng)絡(luò)，它們的分類能力和模式識別能力一般都強于反饋網(wǎng)絡(luò)。典型的前饋網(wǎng)絡(luò)有感知器網(wǎng)絡(luò)、BP網(wǎng)絡(luò)等。反饋型神經(jīng)網(wǎng)絡(luò)（FeedbackNN）的結(jié)構(gòu)如下圖所示。如果總節(jié)點（神經(jīng)元）數(shù)為N，那么每個節(jié)點有N個輸入和一個輸出，也就是說，所有節(jié)點都是一樣的，它們之間都可相互連接。反饋神經(jīng)網(wǎng)絡(luò)是一種反饋動力學(xué)系統(tǒng)，它需要工作一段時間才能達(dá)到穩(wěn)定。Hopfield神經(jīng)網(wǎng)絡(luò)是反饋網(wǎng)絡(luò)中最簡單且應(yīng)用廣泛的模型，它具有聯(lián)想記憶（Content一AddressibleMemory，CAM）的功能，如果將Lyapunov函數(shù)定義為尋優(yōu)函數(shù)，Hopfie1d神經(jīng)網(wǎng)絡(luò)還可以用來解決快速尋優(yōu)問題。神經(jīng)網(wǎng)絡(luò)的工作方式與人腦的作用機理類似，神經(jīng)網(wǎng)絡(luò)完成任務(wù)的工作過程包含兩個階段：（1）學(xué)習(xí)（訓(xùn)練）階段。這是神經(jīng)網(wǎng)絡(luò)自我完善的階段，網(wǎng)絡(luò)按一定的學(xué)習(xí)規(guī)則修改權(quán)系數(shù)；（2）執(zhí)行（回憶或聯(lián)想）階段。神經(jīng)網(wǎng)絡(luò)對輸入信息進行處理，并產(chǎn)生對應(yīng)的輸出過程。學(xué)習(xí)和執(zhí)行是神經(jīng)網(wǎng)絡(luò)不可缺少的兩個處理功能或工作方式。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法與規(guī)則學(xué)習(xí)方法是體現(xiàn)人工神經(jīng)網(wǎng)絡(luò)智能特性的主要標(biāo)志，離開了學(xué)習(xí)算法，人工神經(jīng)網(wǎng)絡(luò)就失去了自適應(yīng)、自組織和自學(xué)習(xí)的能力。目前神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法有多種，按有無導(dǎo)師來分類，可分為有教師（導(dǎo)師或監(jiān)督）學(xué)習(xí)（SupervisedLearning）、無教師（導(dǎo)師或監(jiān)督）學(xué)習(xí)（UnsupervisedLearning）和再勵學(xué)習(xí)（ReinforcementLearning）等幾大類。在有教師的學(xué)習(xí)方式中，網(wǎng)絡(luò)的輸出和期望的輸出（即教師信號）進行比較，然后根據(jù)兩者之間的差異調(diào)整網(wǎng)絡(luò)的權(quán)值，最終使差異變小。在無教師的學(xué)習(xí)方式中，輸入模式進人網(wǎng)絡(luò)后，網(wǎng)絡(luò)按照一預(yù)先設(shè)定的規(guī)則（如競爭規(guī)則）自動調(diào)整權(quán)值，使網(wǎng)絡(luò)最終具有模式分類等功能。再勵學(xué)習(xí)是介于上述兩者之間的一種學(xué)習(xí)方式。有教師學(xué)習(xí)權(quán)值調(diào)整公式：神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)最終均體現(xiàn)為單個神經(jīng)元的權(quán)值調(diào)整。權(quán)值調(diào)整公式w(t+1)=w(t)+η?w(t)η---學(xué)習(xí)率；w(t)=(ω1,ω2,…,ωn,θ)；輸入x=(x1,x2,…,xn，-1)；d---期望輸出神經(jīng)網(wǎng)絡(luò)中常用的幾種最基本的學(xué)習(xí)方法與規(guī)則1.Hebb學(xué)習(xí)規(guī)則（P230）定義：兩個神經(jīng)元同時處于激發(fā)狀態(tài)時（或一個突觸前活動在時間上緊隨一個突觸后活動），它們之間的連接強度將得到加強，這一論述的數(shù)學(xué)描述被稱為Hebb學(xué)習(xí)規(guī)則Hebb學(xué)習(xí)規(guī)則是一種無教師的學(xué)習(xí)方法，它只根據(jù)神經(jīng)元連接間的激活水平改變權(quán)值，因此這種方法又稱為相關(guān)學(xué)習(xí)或并聯(lián)學(xué)習(xí)。公式：w(t+1)=w(t)+ηyx或w(t+1)=w(t)+?w(t)η---學(xué)習(xí)率；w(t)=(ω1,ω2,…,ωn,θ)；輸入x=(x1,x2,…,xn)；y=f(wTx)---輸出2．Delta（δ）學(xué)習(xí)規(guī)則（P231）δ學(xué)習(xí)規(guī)則（梯度法或最速下降法）實現(xiàn)了E中的梯度下降，因此使誤差函數(shù)達(dá)到最小值。E=1/2?(d-y)2δ學(xué)習(xí)規(guī)則的目的：通過訓(xùn)練權(quán)值w，使得對于訓(xùn)練樣本對(x,d),神經(jīng)元的輸出誤差E=1/2?(d-y)2為最小。常用于單層及多層感知器、BP網(wǎng)絡(luò)公式：?w(t)=-c(d-y)f′(wTx)xc>0較?。籪(u)---激活函數(shù)3.離散感知器學(xué)習(xí)規(guī)則（P231）（1）是一種有教師學(xué)習(xí)算法（2）公式：?w(t)=e(t)x誤差e(t)=d-y=d–sgn(wTx)（3）常用于單層及多層離散感知器網(wǎng)絡(luò)4.Widrow-Hoff學(xué)習(xí)規(guī)則（P231）（1）是一種有教師學(xué)習(xí)算法（2）公式?w(t)=-c(d-y)x使訓(xùn)練樣本對(x,d)，對神經(jīng)元輸出誤差E=1/2?(d-y)2最小。（3）用于自適應(yīng)線性單元函數(shù)學(xué)習(xí)5．概率式學(xué)習(xí)從統(tǒng)計力學(xué)、分子熱力學(xué)和概率論中關(guān)于系統(tǒng)穩(wěn)態(tài)能量的標(biāo)準(zhǔn)出發(fā)，進行神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的方式稱概率式學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)處于某一狀態(tài)的概率主要取決于在此狀態(tài)下的能量，能量越低，概率越大。同時，此概率還取決于溫度參數(shù)T。T越大，不同狀態(tài)出現(xiàn)概率的差異便越小，較容易跳出能量的局部極小點而到全局的極小點；T越小時，情形正相反。概率式學(xué)習(xí)的典型代表是Boltzmann機學(xué)習(xí)規(guī)則。它是基于模擬退火的統(tǒng)計優(yōu)化方法，因此又稱模擬退火算法。6．競爭式學(xué)習(xí)競爭式學(xué)習(xí)屬于無教師學(xué)習(xí)方式。定義：此種學(xué)習(xí)方式利用不同層間的神經(jīng)元發(fā)生興奮性聯(lián)接，以及同一層內(nèi)距離很近的神經(jīng)元間發(fā)生同樣的興奮性聯(lián)接，而距離較遠(yuǎn)的神經(jīng)元產(chǎn)生抑制性聯(lián)接。在這種聯(lián)接機制中引人竟?fàn)帣C制的學(xué)習(xí)方式稱為竟?fàn)幨綄W(xué)習(xí)。競爭式學(xué)習(xí)方法的本質(zhì)在于神經(jīng)網(wǎng)絡(luò)中高層次的神經(jīng)元對低層次神經(jīng)元的輸入模式進行競爭識別。感知器的一種學(xué)習(xí)算法：1）隨機地給定一組連接權(quán)2）輸入一組樣本和期望的輸出（亦稱之為教師信號）3）計算感知器實際輸出4）修正權(quán)值5）選取另外一組樣本，重復(fù)上述2）～4）的過程，直到權(quán)值對一切樣本均穩(wěn)定不變?yōu)橹梗瑢W(xué)習(xí)過程結(jié)束。BP網(wǎng)絡(luò)的學(xué)習(xí)算法稱為BP算法，是在δ規(guī)則基礎(chǔ)上發(fā)展起來的，可在多網(wǎng)絡(luò)上有效地學(xué)習(xí)。誤差反向傳播神經(jīng)網(wǎng)絡(luò)，簡稱BP網(wǎng)絡(luò)（BackPropagation），是一種單向傳播的多層前向網(wǎng)絡(luò)。在模式識別、圖像處理、系統(tǒng)辨識、函數(shù)擬合、優(yōu)化計算、最優(yōu)預(yù)測和自適應(yīng)控制等領(lǐng)域有著較為廣泛的應(yīng)用。誤差反向傳播的BP算法簡稱BP算法。其基本思想是最小二乘算法。它采用梯度搜索技術(shù)，以期使網(wǎng)絡(luò)的實際輸出值與期望輸出值的誤差均方值為最小。BP算法的學(xué)習(xí)過程由正向傳播和反向傳播組成。在正向傳播過程中，輸入信息從輸入層經(jīng)隱含層逐層處理，并傳向輸出層，每層神經(jīng)元（節(jié)點）的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望的輸出，則轉(zhuǎn)人反向傳播，將誤差信號沿原來的連接通路返回，通過修改各層神經(jīng)元的權(quán)值，使誤差信號最小。BP網(wǎng)絡(luò)權(quán)值的調(diào)整規(guī)則1).輸出層權(quán)系數(shù)的調(diào)整2).隱含層節(jié)點權(quán)系數(shù)的調(diào)整BP學(xué)習(xí)算法的計算步驟1).初始化置所有權(quán)值為較小的隨機數(shù)2).提供訓(xùn)練集3).計算實際輸出，計算隱含層、輸出層各神經(jīng)元輸出4).計算目標(biāo)值與實際輸出的偏差E5).計算6).計算7).返回“2）”重復(fù)計算，直到誤差滿足要求為止在使用BP算法時，應(yīng)注意的幾個問題是：1).學(xué)習(xí)開始時，各隱含層連接權(quán)系數(shù)的初值應(yīng)以設(shè)置較小的隨機數(shù)較為適宜。2).采用S型激發(fā)函數(shù)時，由于輸出層各神經(jīng)元的輸出只能趨于1或0，不能達(dá)到1或0。在設(shè)置各訓(xùn)練樣本時，期望的輸出分量dpk不能設(shè)置為1或0，以設(shè)置為或0，1較為適宜。3).學(xué)習(xí)速率η的選擇，在學(xué)習(xí)開始階段，η選較大的值可以加快學(xué)習(xí)速度。學(xué)習(xí)接近優(yōu)化區(qū)時，η值必須相當(dāng)小，否則權(quán)系數(shù)將產(chǎn)生振蕩而不收斂。平滑因子α的選值在左右。BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進1．多層前向BP網(wǎng)絡(luò)的優(yōu)點：1).網(wǎng)絡(luò)實質(zhì)上實現(xiàn)了一個從輸入到輸出的映射功能，而數(shù)學(xué)理論已證明它具有實現(xiàn)任何復(fù)雜非線性映射的功能。這使得它特別適合于求解內(nèi)部機制復(fù)雜的問題；2).網(wǎng)絡(luò)能通過學(xué)習(xí)帶正確答案的實例集自動提取“合理的”求解規(guī)則，即具有自學(xué)習(xí)能力；2．多層前向BP網(wǎng)絡(luò)的問題：1).BP算法的學(xué)習(xí)速度很慢2).網(wǎng)絡(luò)訓(xùn)練失敗的可能性較大3).難以解決應(yīng)用問題的實例規(guī)模和網(wǎng)絡(luò)規(guī)模間的矛盾4).網(wǎng)絡(luò)結(jié)構(gòu)的選擇尚無一種統(tǒng)一而完整的理論指導(dǎo)，一般只能由經(jīng)驗選定5).新加入的樣本要影響已學(xué)習(xí)成功的網(wǎng)絡(luò)，而且刻畫每個輸入樣本的特征的數(shù)目也必須相同6).網(wǎng)絡(luò)的預(yù)測能力（也稱泛化能力、推廣能力）與訓(xùn)練能力（也稱逼近能力、學(xué)習(xí)能力）的矛盾3．BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進1).增加“慣性項”2).采用動態(tài)步長3).與其他全局搜索算法相結(jié)合4).模擬退火算法目前在神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)中，基于梯度的算法都不能從理論上保證收斂結(jié)果是全局最優(yōu)的。神經(jīng)網(wǎng)絡(luò)的訓(xùn)練可以任意逼近一個緊集上的任意函數(shù)這一特點是神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用的理論基礎(chǔ)。在實際應(yīng)用中，目前尚未找到較好的網(wǎng)絡(luò)構(gòu)造方法，確定網(wǎng)絡(luò)的結(jié)構(gòu)和權(quán)值參數(shù)，來描述給定的映射或逼近一個未知的映射，只能通過學(xué)習(xí)來得到滿足要求的網(wǎng)絡(luò)模型。神經(jīng)網(wǎng)絡(luò)訓(xùn)練的具體步驟如下：1．獲取訓(xùn)練樣本集：獲取訓(xùn)練樣本集合是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的第一步，也是十分重要和關(guān)鍵的一步。它包括訓(xùn)練數(shù)據(jù)的收集、分析、選擇和預(yù)處理等2．選擇網(wǎng)絡(luò)類型與結(jié)構(gòu)：神經(jīng)網(wǎng)絡(luò)的類型很多，需要根據(jù)任務(wù)的性質(zhì)和要求來選擇合適的網(wǎng)絡(luò)類型。3．訓(xùn)練與測試：最后一步是利用獲取的訓(xùn)練樣本對網(wǎng)絡(luò)進行反復(fù)訓(xùn)練，直至得到合適的映射結(jié)果。反饋神經(jīng)網(wǎng)絡(luò)反饋網(wǎng)絡(luò)(RecurrentNetwork)，又稱自聯(lián)想記憶網(wǎng)絡(luò)，其目的是為了設(shè)計一個網(wǎng)絡(luò)，儲存一組平衡點，使得當(dāng)給網(wǎng)絡(luò)一組初始值時，網(wǎng)絡(luò)通過自行運行而最終收斂到這個設(shè)計的平衡點上。反饋網(wǎng)絡(luò)能夠表現(xiàn)出非線性動力學(xué)系統(tǒng)的動態(tài)特性。它所具有的主要特性為以下兩點：第一、網(wǎng)絡(luò)系統(tǒng)具有若干個穩(wěn)定狀態(tài)。當(dāng)網(wǎng)絡(luò)從某一初始狀態(tài)開始運動，網(wǎng)絡(luò)系統(tǒng)總可以收斂到某一個穩(wěn)定的平衡狀態(tài)；第二，系統(tǒng)穩(wěn)定的平衡狀態(tài)可以通過設(shè)計網(wǎng)絡(luò)的權(quán)值而被存儲到網(wǎng)絡(luò)中。離散Hopfield網(wǎng)絡(luò)1.網(wǎng)絡(luò)的結(jié)構(gòu)和工作方式離散Hopfield網(wǎng)絡(luò)是一個單層網(wǎng)絡(luò)，有個神經(jīng)元節(jié)點，每個神經(jīng)元的輸出均接到其它神經(jīng)元的輸入。各節(jié)點沒有自反饋，每個節(jié)點都附有一個閥值。每個節(jié)點都可處于一種可能的狀態(tài)（1或－1），即當(dāng)該神經(jīng)元所受的刺激超過其閥值時，神經(jīng)元就處于一種狀態(tài)（比如1），否則神經(jīng)元就始終處于另一狀態(tài)（比如－1）。網(wǎng)絡(luò)有兩種工作方式：即串行方式和并行方式。2.穩(wěn)定性：任何初始條件下穩(wěn)定。3.連接權(quán)的設(shè)計4.作用：聯(lián)想記憶連續(xù)Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)也是單層的反饋網(wǎng)絡(luò)。其實質(zhì)上是一個連續(xù)的非線性動力學(xué)系統(tǒng)，它可以用一組非線性微分方程來描述。當(dāng)給定初始狀態(tài)，通過求解非線性微分方程組即可求得網(wǎng)絡(luò)狀態(tài)的運行軌跡。若系統(tǒng)是穩(wěn)定的，則它最終可收斂到一個穩(wěn)定狀態(tài)。作用：優(yōu)化計算Boltzmann機1.Boltzmann機網(wǎng)絡(luò)結(jié)構(gòu)和工作方式Boltzmann機網(wǎng)絡(luò)是一個相互連接的神經(jīng)網(wǎng)絡(luò)模型，具有對稱的連接權(quán)系數(shù)，及wij＝wji且wii=0。網(wǎng)絡(luò)由可見單元（VisibleUnit）和隱單元（HiddenUnit）構(gòu)成。2.網(wǎng)絡(luò)單元由輸入、輸出部分組成。每個單元節(jié)點只取1或0兩種狀態(tài)。1代表接通或接受，0表示斷開或拒絕。當(dāng)神經(jīng)元的輸入加權(quán)和發(fā)生變化時，神經(jīng)元的狀態(tài)隨之更新。各單元之間狀態(tài)的更新是異步的。與Hopfield網(wǎng)絡(luò)相似，Boltzmann機的實際運行也分為兩個階段：第一階段是學(xué)習(xí)和訓(xùn)練階段，即根據(jù)學(xué)習(xí)樣本對網(wǎng)絡(luò)進行訓(xùn)練，將知識分布地存儲于網(wǎng)絡(luò)的連接權(quán)中；第二階段是工作階段，即根據(jù)輸入運行網(wǎng)絡(luò)得到合適的輸出，這一步實質(zhì)上是按照某種機制將知識提取出來。2.網(wǎng)絡(luò)的學(xué)習(xí)和訓(xùn)練網(wǎng)絡(luò)學(xué)習(xí)的目的是通過給出一組學(xué)習(xí)樣本，經(jīng)學(xué)習(xí)后得到Boltzmann機各種神經(jīng)元之間的連接權(quán)wij.Boltzmann機網(wǎng)絡(luò)學(xué)習(xí)的步驟可歸納如下：1).隨機設(shè)定網(wǎng)絡(luò)的連接權(quán)wij(0)及初始高溫。2).按照已知的概率p(xα)，依次給定學(xué)習(xí)樣本。在樣本的約束下，按照模擬退火程度運行網(wǎng)絡(luò)，直至達(dá)到平衡狀態(tài)，統(tǒng)計出各pij。在無約束條件下，按同樣的步驟并同樣的次數(shù)運行網(wǎng)絡(luò)，統(tǒng)計出各p’ij。3).按下述公式修改權(quán)值wij(k+1)=wij(k)+η(pij-p’ij),η>04).重復(fù)上述步驟，直到pij-p’ij小于一定的容限。神經(jīng)網(wǎng)絡(luò)PID控制盡管神經(jīng)網(wǎng)絡(luò)控制技術(shù)有許多潛在的優(yōu)勢，但單純使用神經(jīng)網(wǎng)絡(luò)的控制方法的研究仍有待進一步發(fā)展。通常將人工神經(jīng)網(wǎng)絡(luò)技術(shù)與傳統(tǒng)的控制理論或智能技術(shù)綜合使用。神經(jīng)網(wǎng)絡(luò)在控制中的作用有以下幾種：1．在傳統(tǒng)的控制系統(tǒng)中用以動態(tài)系統(tǒng)建模，充當(dāng)對象模型；2．在反饋控制系統(tǒng)中直接充當(dāng)控制器的作用；3．在傳統(tǒng)控制系統(tǒng)中起優(yōu)化計算作用；4．與其他智能控制方法如模糊邏輯、遺傳算法、專家控制等相融合?；贐P神經(jīng)網(wǎng)絡(luò)控制參數(shù)自學(xué)習(xí)PID控制BP神經(jīng)網(wǎng)絡(luò)具有逼近任意非線性函數(shù)的能力，而且結(jié)構(gòu)和學(xué)習(xí)算法簡單明確。通過神經(jīng)網(wǎng)絡(luò)自身的學(xué)習(xí)，可以找到某一最優(yōu)控制律下的P，I，D參數(shù)?；贐P神經(jīng)網(wǎng)絡(luò)的PD控制系統(tǒng)結(jié)構(gòu)如圖所示，控制器由兩個部分組成：①經(jīng)典的PID控制器：直接對被控對象進行閉環(huán)控制，并且KP,KI,KD三個參數(shù)為在線整定；②神經(jīng)網(wǎng)絡(luò)NN：根據(jù)系統(tǒng)的運行狀態(tài)，調(diào)節(jié)PID控制器的參數(shù)，以期達(dá)到某種性能指標(biāo)的最優(yōu)化。即使輸出層神經(jīng)元的輸出狀態(tài)對應(yīng)于PID控制器的三個可調(diào)參數(shù)KP,KI,KD，通過神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)、調(diào)整權(quán)系數(shù)，從而使其穩(wěn)定狀態(tài)對應(yīng)于某種最優(yōu)控制律下的PID控制器參數(shù)。基于BP神經(jīng)網(wǎng)絡(luò)的PID控制算法可歸納如下：1).事先選定BP神經(jīng)網(wǎng)絡(luò)NN的結(jié)構(gòu)，即選定輸入層節(jié)點數(shù)M和隱含層節(jié)點數(shù)Q，并給出權(quán)系數(shù)的初值w(2)ij(0),w(3)li(0)，選定學(xué)習(xí)速率η和平滑因子α，k=1；2).采樣得到r(k)和y(k)，計算e(k)=z(k)=r(k)-y(k)；3).對r(i),y(i),u(i-1),e(i)進行歸一化處理，作為NN的輸入；4).前向計算NN的各層神經(jīng)元的輸入和輸出，NN輸出層的輸出即為PID控制器的三個可調(diào)參數(shù)KP(k),KI(k),KD(k)；5).計算PID控制器的控制輸出u(k)，參與控制和計算；6).計算修正輸出層的權(quán)系數(shù)w(3)li(k)；7).計算修正隱含層的權(quán)系數(shù)w(2)ij(k)；8).置k=k+1，返回到“2）”。改進型BP神經(jīng)網(wǎng)絡(luò)控制參數(shù)自學(xué)習(xí)PID控制將神經(jīng)網(wǎng)絡(luò)用于控制器的設(shè)計或直接學(xué)習(xí)計算控制器的輸出（控制量），一般都要用到系統(tǒng)的預(yù)測輸出值或其變化量來計算權(quán)系數(shù)的修正量。但實際上，系統(tǒng)的預(yù)測輸出值是不易直接測得的，通常的做法是建立被控對象的預(yù)測數(shù)學(xué)模型，用該模型所計算的預(yù)測輸出來取代預(yù)測處的實測值，以提高控制效果。采用線性預(yù)測模型的BP神經(jīng)網(wǎng)絡(luò)PID控制系統(tǒng)算法歸納如下：1).事先選定BP神經(jīng)網(wǎng)絡(luò)NN的結(jié)構(gòu)，即選定輸入層節(jié)點數(shù)M和隱含層節(jié)點數(shù)Q，并給出權(quán)系數(shù)的初值w(2)ij(0),w(3)li(0)，選定學(xué)習(xí)速率η和平滑因子α，k=1；2).用線性系統(tǒng)辨識法估計出參數(shù)矢量θ(k)，從而形成一步預(yù)報模型式；3).采樣得到r(k)和y(k)，計算e(k)=z(k)=r(k)-y(k)；4).對r(i),y(i),u(i-1),e(i)進行歸一化處理，作為NN的輸入；5).前向計算NN的各層神經(jīng)元的輸入和輸出，NN輸出層的輸出即為PID控制器的三個可調(diào)參數(shù)KP(k),KI(k),KD(k)；6).計算PID控制器的控制輸出u(k)，參與控制和計算；7).計算和；8).計算修正輸出層的權(quán)系數(shù)w(3)li(k)；9).計算修正隱含層的權(quán)系數(shù)w(2)ij(k)；10).置k=k+1，返回到“2）”。基于BP神經(jīng)網(wǎng)絡(luò)的PID控制算法可歸納如下：1).事先選定BP神經(jīng)網(wǎng)絡(luò)NN的結(jié)構(gòu)，即選定輸入層節(jié)點數(shù)M和隱含層節(jié)點數(shù)Q，并給出權(quán)系數(shù)的初值w(2)ij(0),w(3)li(0)，選定學(xué)習(xí)速率η和平滑因子α，k=1；2).采樣得到r(k)和y(k)，計算e(k)=z(k)=r(k)-y(k)；3).對r(i),y(i),u(i-1),e(i)進行歸一化處理，作為NN的輸入；4).前向計算NN的各層神經(jīng)元的輸入和輸出，NN輸出層的輸出即為PID控制器的三個可調(diào)參數(shù)KP(k),KI(k),KD(k)；5).計算PID控制器的控制輸出u(k)，參與控制和計算；6).前向計算NNM的各層神經(jīng)元的輸入和輸出，NNM的輸出為，計算修正隱含層和輸出層的權(quán)系數(shù)；7).計算；8).計算修正輸出層的權(quán)系數(shù)w(3)li(k)；9).計算修正隱含層的權(quán)系數(shù)w(2)ij(k)；10).置k=k+1，返回到“2）”。BP算法基本原理利用輸出后的誤差來估計輸出層的直接前導(dǎo)層的誤差，再用這個誤差估計更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計。激活函數(shù)必須處處可導(dǎo)一般都使用S型函數(shù)：使用S型激活函數(shù)時BP網(wǎng)絡(luò)輸入