PSO不確定優(yōu)化剖析課件

PSO_uncertain12022/11/14基于PSO算法的不確定優(yōu)化不確定函數(shù)的混合PSO算法用PSO優(yōu)化神經(jīng)網(wǎng)絡(luò)基于PSO的PID參數(shù)優(yōu)化PSO_uncertain12022/11/9基于PSO算法1PSO_uncertain22022/11/14假設(shè)檢驗考慮如下不確定優(yōu)化問題其中，X表示決策變量，即需要搜索的解，d為變量維數(shù)，ξ表示噪聲，采樣目標函數(shù)L(X,ξ)是X和ξ的函數(shù)，期望目標函數(shù)J(X)則是L(X,ξ)的數(shù)學(xué)期望。PSO_uncertain22022/11/9假設(shè)檢驗考慮如2PSO_uncertain32022/11/14評價對于不確定優(yōu)化問題，首先通過多次獨立評價可估計解的性能，通常每一次評價對應(yīng)于一次仿真過程，進而在考慮方差的情況下對解的性能進行優(yōu)劣比較。若對解Xi進行二次獨立隨機仿真，則其均值和方差的無偏估計J和Si2分別為(3-4-1)(3-4-2)PSO_uncertain32022/11/9評價對于不確3PSO_uncertain42022/11/14考慮兩個不同的解X1和X2，可將其性能估計J(X1)和J(X2)看作兩獨立隨機變量。由大數(shù)定理及中央極限定理知，n是－>∞時，期望性能的估計J(X)~N(J,si2/ni)。因此，可認為其中ui和si2的無偏估計分別由式(3-4-1)和式(3-4-2)給出。PSO_uncertain42022/11/9考慮兩個不同的4PSO_uncertain52022/11/14假設(shè)檢驗思想假設(shè)檢驗是統(tǒng)計推斷的一個重要方法，它利用搜集到的數(shù)據(jù)對某個事先做出的統(tǒng)計假設(shè)按一種設(shè)定的方法進行檢驗，進而判斷假設(shè)的正誤。在不確定優(yōu)化問題中，由于性能評價的不確定性，在進行解性能比較時應(yīng)充分利用均值以及方差信息。因此，利用假設(shè)檢驗思想可先對解的優(yōu)劣關(guān)系進行假設(shè)，然后通過統(tǒng)計信息對假設(shè)進行檢驗。PSO_uncertain52022/11/9假設(shè)檢驗思想5PSO_uncertain62022/11/14PSO_uncertain62022/11/96PSO_uncertain72022/11/14PSO_uncertain72022/11/97PSO_uncertain82022/11/14序優(yōu)化思想對于不確定優(yōu)化問題，對解X進行ni次獨立評價時。顯然，隨著評價次數(shù)ni的增大，樣本均值Jbar將趨于期望值J,，或者說估計的致信區(qū)間將逐步縮小，但是收斂速度不超過1/√ni為了得到比較精確的性能估計，優(yōu)化算法的大部分時間將用于對搜索解進行性能評價，而如此費時的評價過程必然影響整個算法的優(yōu)化效率，甚至因用于搜索的時間不夠而導(dǎo)致搜索的不充分，從而難以獲得全局意義上性能較好的解。PSO_uncertain82022/11/9序優(yōu)化思想對于8PSO_uncertain92022/11/14序優(yōu)化技術(shù)針對離散事件動態(tài)系統(tǒng)中仿真優(yōu)化問題的不確定性、解空間龐大等難點而提出的一類優(yōu)化技術(shù)其主要思想包括：(1)序比較(ordercomparison)，即序比值更容易確定，不同解的性能偏序關(guān)系按指數(shù)速度收斂。(2)軟化目標(goalsoftening)，即只要求以較高概率得到滿意解，而不是一定要求獲得全局最優(yōu)解。這樣，對于解空間龐大的問題，可大大減少求解問題所需的計算資源。PSO_uncertain92022/11/9序優(yōu)化技術(shù)針對9PSO_uncertain102022/11/14PSO_uncertain102022/11/910PSO_uncertain112022/11/14顯然，聯(lián)合選擇概率與S集的產(chǎn)生方式有關(guān)。根據(jù)NoFreeLunch定理，在沒有問題的任何信息時，任何方法的效果都與盲目搜索方一法相同。當S中元素通過盲目搜索得到時，聯(lián)合選擇概率可按下式計算PSO_uncertain112022/11/9顯然，聯(lián)合選11PSO_uncertain122022/11/14譬如，M=200,g=12和k=1時，按上式可得P(IG∩sl>=k)=0.5而如果g=32，則P(IG∩sl>=k)≈1在序優(yōu)化思想指導(dǎo)下，即使用較少次數(shù)的盲目搜索也能保證以較大概率得到滿意解。這在一定程度上也說明了群體搜索算法比單點搜索算法更容易獲得滿意解。考慮評價過程的不確定性因素，盲目搜索可認為是評價噪聲無窮大情況下的尋優(yōu)。如果在一定問題結(jié)構(gòu)信息的指導(dǎo)下采用效率更高的策略進行搜索，同時對解的性能進行一定精度的評價時，將有助于獲得質(zhì)量更高的解或者有助于以更高概率獲得滿意解，此時上式實際上就成為聯(lián)合選擇概率的一個下界。PSO_uncertain122022/11/9譬如，M=212PSO_uncertain132022/11/14PSO_uncertain132022/11/913PSO_uncertain142022/11/14最優(yōu)計算量分配技術(shù)最優(yōu)計算量分配技術(shù)(optimalcomputingbudgetallocation,OCBA)是Chen等在序優(yōu)化思想下提出的一種改進技術(shù)，是對序優(yōu)化思想的一種擴充。在傳統(tǒng)序優(yōu)化技術(shù)中，每個解均采用相同的仿真(評價)次數(shù)進行性能估計。顯然，如果能夠在優(yōu)化過程中將有限的計算量更多地分配給那些優(yōu)質(zhì)解或關(guān)鍵解，則將提高獲得滿意解的概率，提高對有限計算資源的使用效率。對于優(yōu)化過程中的關(guān)鍵解賦予較多的計算量以對其進行更準確的性能估計，對于其他解則只占用較少的計算量資源，從而提高優(yōu)化結(jié)果的置信度。PSO_uncertain142022/11/9最優(yōu)計算量分14PSO_uncertain152022/11/14最優(yōu)解的“正確選擇概率”PSO_uncertain152022/11/9最優(yōu)解的“正15PSO_uncertain162022/11/14PSO_uncertain162022/11/916PSO_uncertain172022/11/14PSO_uncertain172022/11/917PSO_uncertain182022/11/14定理1在給定總仿真次數(shù)T，并將其分配給K個可行解，其性能估計分別為PSO_uncertain182022/11/9定理1在給定18PSO_uncertain192022/11/14OCBA技術(shù)的實現(xiàn)流程PSO_uncertain192022/11/9OCBA技術(shù)19PSO_uncertain202022/11/14討論算法初始化時，對每個解的均值和方差的估計需要達到一定的精度，以避免算法的過早收斂，因此n0通常不能太小。另外，若每次循環(huán)增加的仿真量Δ過大，則會造成評價的可靠性降低，為不必要的高致信度水平而浪費計算量。但是，Δ也不能過小，否則會導(dǎo)致整個算法的迭代次數(shù)增加，進而加重計算的負擔。據(jù)文獻[9]的經(jīng)驗,n0通常取5~20,Δ則取K/5~K/10。PSO_uncertain202022/11/9討論算法初始20PSO_uncertain212022/11/14混合微粒群優(yōu)化算法PSO_uncertain212022/11/9混合微粒群優(yōu)21PSO_uncertain222022/11/14.基于HT的PSO算法PSO_uncertain222022/11/9.22PSO_uncertain232022/11/142.基于OCBA的PSO算法PSO_uncertain232022/11/92.基于OC23PSO_uncertain242022/11/143.基于HT和OCBA的PSO算法PSO_uncertain242022/11/93.基于HT24PSO_uncertain252022/11/14PSO_uncertain252022/11/925PSO_uncertain262022/11/14仿真實驗與比較PSO_uncertain262022/11/9仿真實驗與比26PSO_uncertain272022/11/14參數(shù)設(shè)置PSO_uncertain272022/11/9參數(shù)設(shè)置27PSO_uncertain282022/11/14

Goldstein-Price's函數(shù),函數(shù)有一個全局最小值3，在(0,-1)點,另外函數(shù)有3個局部極小值。六個測試函數(shù)PSO_uncertain282022/11/9Golds28PSO_uncertain292022/11/14Branins'srcos函數(shù)(2)：Branins‘srcos函數(shù),函數(shù)有3個全局最小值點，取值為0.397887，分別在(-pi,12.275)、(pi,2.275),(9.42478，2.475)三處。f=(y-(5.1/(4*pi^2))*x.^2+5/pi*x-6).^2+10*(1-1/(8*pi))*cos(x)+10,-5<=x<=10,0<=y<=15PSO_uncertain292022/11/9Branin29PSO_uncertain302022/11/14PSO_uncertain302022/11/930PSO_uncertain312022/11/14PSO_uncertain312022/11/931PSO_uncertain322022/11/14Rastrigin函數(shù)全局最優(yōu)點為－2，最優(yōu)點為（0，0），可行域中50余個局部極值點PSO_uncertain322022/11/9Rastri32PSO_uncertain332022/11/14SH－Shuber(n=2)函數(shù)PSO_uncertain332022/11/9SH－Shu33PSO_uncertain342022/11/14結(jié)果PSO_uncertain342022/11/9結(jié)果34PSO_uncertain352022/11/14噪聲強度因子影響以帶噪聲的GP函數(shù)為例，探討噪聲強度因子η對各算法性能的影響。同時，為了反映所得解的位置信息，統(tǒng)計了各算法50次隨機運行中的成功次數(shù)N,，即若所得解距離理論最優(yōu)點的歐式距離小于0.1，則認為是一次成功搜索。表5.2給出了各算法50次獨立運行的統(tǒng)計結(jié)果。PSO_uncertain352022/11/9噪聲強度因子35PSO_uncertain362022/11/14PSO_uncertain362022/11/936PSO_uncertain372022/11/14最優(yōu)點的分布PSO_uncertain372022/11/9最優(yōu)點的分布37PSO_uncertain382022/11/14PSO_uncertain382022/11/938PSO_uncertain392022/11/14PSO_uncertain392022/11/939PSO_uncertain402022/11/14PSO_uncertain402022/11/940PSO_uncertain412022/11/14噪聲環(huán)境下基于PSO算法的參數(shù)估計噪聲環(huán)境下的智能參數(shù)估計方法的研究還很少。本節(jié)針對噪聲環(huán)境下的非線性模型參數(shù)估計問題，采用上節(jié)的PSOHT算法來解決。PSO_uncertain412022/11/9噪聲環(huán)境下基41PSO_uncertain422022/11/14PSO_uncertain422022/11/942PSO_uncertain432022/11/14噪聲環(huán)境下的模型參數(shù)估計噪聲環(huán)境下的模型參數(shù)估計也是在一定的系統(tǒng)輸人下，通過特定算法調(diào)整估計參數(shù)，使得與輸出誤差相關(guān)的某個指標最小。但是，由于輸出誤差中包含了噪聲信息，實現(xiàn)參數(shù)估計的算法應(yīng)具備一定的抗噪聲能力，即魯棒性。以輸出誤差的平均平方誤差為優(yōu)化目標，PSO_uncertain432022/11/9噪聲環(huán)境下的43PSO_uncertain442022/11/145.2.2數(shù)值仿真利用如下二階慣性帶延遲的傳遞函數(shù)作為真實系統(tǒng)，用于探討PSOHT算法的估一計性能，并與單一PSO算法進行比較。PSO_uncertain442022/11/95.2.2數(shù)44PSO_uncertain452022/11/14實驗條件數(shù)值仿真時采用服從N(0,1)分布的白噪聲作為輸人，離散化采樣時間為0.1s，估計長度為100,假設(shè)噪聲v是幅值為ημ的高斯噪聲，其中η表示噪信比。算法方面，令PSOHT和PSO算法的種群規(guī)模均為10，最大進化代數(shù)為300，每個微粒采用20次評價進行性能估計，與假設(shè)檢驗相關(guān)的顯著性水平設(shè)置為0.05。各算法均隨機運行50次，表5.3給出了無噪聲情況下PSO算法的運行統(tǒng)計結(jié)果。PSO_uncertain452022/11/9實驗條件數(shù)45PSO_uncertain462022/11/14PSO_uncertain462022/11/946PSO_uncertain472022/11/14PSO_uncertain472022/11/947PSO_uncertain482022/11/14PSO_uncertain482022/11/948PSO_uncertain492022/11/14PSO_uncertain492022/11/949PSO_uncertain502022/11/14PSO_uncertain502022/11/950PSO_uncertain512022/11/14小結(jié)1）PSOHT有效2）PSO在許多情況具有優(yōu)良品質(zhì)PSO_uncertain512022/11/9小結(jié)1）PS51PSO_uncertain522022/11/14用PSO優(yōu)化神經(jīng)網(wǎng)絡(luò)1）訓(xùn)練神經(jīng)網(wǎng)絡(luò)的PSO算法的設(shè)計采用PSO訓(xùn)練神經(jīng)網(wǎng)絡(luò)時，首先應(yīng)將特定結(jié)構(gòu)中所有神經(jīng)元間的連接權(quán)值編碼成實數(shù)碼串表示的個體。假設(shè)網(wǎng)絡(luò)中包含M個優(yōu)化權(quán)值（包括閾值在內(nèi)），則每個個體將由M個權(quán)值參數(shù)組成的一個M維向量來表示。PSO_uncertain522022/11/9用PSO優(yōu)化52PSO_uncertain532022/11/14則微粒群中的個體可用一個6維向量來表示，即Indv={x1,x2,x3,x4,x5,x6}。此時，個體結(jié)構(gòu)中的每一個元素，即代表神經(jīng)網(wǎng)絡(luò)中的一個權(quán)值。PSO用于NN學(xué)習(xí)PSO_uncertain532022/11/9則微粒群中的53PSO_uncertain542022/11/14初始化微粒群根據(jù)微粒群規(guī)模，按照上述個體結(jié)構(gòu)隨機產(chǎn)生一定數(shù)目的個體（微粒）組成種群，其中不同的個體代表神經(jīng)網(wǎng)絡(luò)的一組不同權(quán)值。同時初始化gbest和pbest。PSO_uncertain542022/11/9初始化微粒群54PSO_uncertain552022/11/143、神經(jīng)網(wǎng)絡(luò)的訓(xùn)練及微粒的評價計算每一個網(wǎng)絡(luò)在訓(xùn)練集上產(chǎn)生的均方誤差，并以此作為目標函數(shù)，并構(gòu)造如下的適應(yīng)度函數(shù)，用來計算個體的適應(yīng)度。PSO_uncertain552022/11/93、神經(jīng)網(wǎng)絡(luò)55PSO_uncertain562022/11/14用PSO訓(xùn)練神經(jīng)網(wǎng)絡(luò)算法的具體流程PSO_uncertain562022/11/9用PSO訓(xùn)練56PSO_uncertain572022/11/14VandenBergh與Engelrecht基于多種分類問題及函數(shù)逼近問題，利用PSO算法分別對加和網(wǎng)絡(luò)和倍乘網(wǎng)絡(luò)進行優(yōu)化。在以下所有的試驗中，加和網(wǎng)絡(luò)和倍乘網(wǎng)絡(luò)都給予一指定的簡單結(jié)構(gòu)[Y.Lecun,J.S.DenkerandS.A.Solla.1990]算法的優(yōu)化結(jié)果）PSO_uncertain572022/11/9Vande57PSO_uncertain582022/11/14PSO_uncertain582022/11/958PSO_uncertain592022/11/14實驗一：利用加和與倍乘兩種前饋網(wǎng)絡(luò)對下面的立方函數(shù)進行逼近:f(z)=z3-0.04z其中權(quán)值的訓(xùn)練利用CPSO-S算法。實驗中兩種網(wǎng)絡(luò)均采用1-2-1的簡單結(jié)構(gòu)，CPSO算法的各參數(shù)取值如下：W=0.72,c1=c2=1.49，微粒群規(guī)模為10，分裂因子K分別為2（SUN）與3(PUN)PSO_uncertain592022/11/9實驗一：利用59PSO_uncertain602022/11/14PSO_uncertain602022/11/960PSO_uncertain612022/11/14PSO_uncertain612022/11/961PSO_uncertain622022/11/14實驗二：用ＣＰＳＯ算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)求解愛爾蘭綜合癥分類問題：給定樣本１５０個，根據(jù)４種特征輸入來區(qū)分三種典型的愛爾蘭綜合癥。實驗中，兩種網(wǎng)絡(luò)均采用４-４-３的結(jié)構(gòu)。其中，加和網(wǎng)絡(luò)具有３５個權(quán)值參數(shù)，最佳的分裂因子為７；倍乘網(wǎng)絡(luò)具有３１個連接權(quán)，最佳的分裂為６。ＣＰＳＯ其它參數(shù)與實驗一相同。PSO_uncertain622022/11/9實驗二：用Ｃ62PSO_uncertain632022/11/14PSO_uncertain632022/11/963PSO_uncertain642022/11/14PSO_uncertain642022/11/964PSO_uncertain652022/11/14結(jié)論在訓(xùn)練求解分類與函數(shù)逼近問題的神經(jīng)網(wǎng)絡(luò)時，采用PSO算法所訓(xùn)練的網(wǎng)絡(luò)所達到的精度及泛化能力要優(yōu)于基于梯度的學(xué)習(xí)方法及遺傳算法。PSO_uncertain652022/11/9結(jié)論在訓(xùn)練求65PSO_uncertain662022/11/14基于PSO的PID參數(shù)優(yōu)化鑒于PID控制器的設(shè)計實際上是多維函數(shù)優(yōu)化問題,粒子群算法采用實數(shù)編碼,對于PID參數(shù)尋優(yōu)中的粒子可直接編碼為(Kp,Ki,Kd).控制參數(shù)優(yōu)化旨在使控制偏差趨于零,有較快的響應(yīng)速度和較小的超調(diào)量.PSO_uncertain662022/11/9基于PSO的66PSO_uncertain672022/11/14基于PSO的PID參數(shù)優(yōu)化(2)對非最小相位系統(tǒng)中的PI控制器和PD控制器分別進行整定,參數(shù)編碼分別為(KPI,KI)和(KPD,KD).PI控制器主要是減小系統(tǒng)負調(diào),所以選擇如下性能指標作為適應(yīng)度函數(shù)PSO_uncertain672022/11/9基于PSO的67PSO_uncertain682022/11/14參數(shù)搜索空間粒子群算法的搜索空間是以Ziegler-Nichols法(ZN)獲得的參數(shù)結(jié)果為中心,向左右兩邊進行拓展形成的.這樣,既可充分利用ZN法的合理內(nèi)核,又縮小了實際參數(shù)的搜索空間.如果參數(shù)的優(yōu)化解十分靠近搜索空間的邊界,則應(yīng)在該解的基礎(chǔ)上進一步拓展搜索空間,進行新一輪搜索.PSO_uncertain682022/11/9參數(shù)搜索空間68PSO_uncertain692022/11/14仿真研究仿真參數(shù)選擇如下:粒子數(shù)為20;慣性權(quán)重WLDW方法從1.2開始隨著迭代代數(shù)逐步遞減到0.1;Vmax設(shè)定為參數(shù)的范圍寬度;學(xué)習(xí)因子c1＝c2＝2;迭代次數(shù)為100;A=0.9.PSO_uncertain692022/11/9仿真研究仿真69PSO_uncertain702022/11/14對象1響應(yīng)PSO_uncertain702022/11/9對象1響應(yīng)70PSO_uncertain712022/11/14液位系統(tǒng)設(shè)置PSO參數(shù)為：慣性因子W（初始值）=1.2，隨迭代次數(shù)遞減；粒子本身最佳位置吸引子和全局最佳位置吸引子c1=c2=2；種群粒子個數(shù)M=40，迭代次數(shù)N=100。原始液位高度為14mm，設(shè)定目標液位高度為64mm。優(yōu)化所得的Kp=7.6493，Ki=0.0211，Kd=5.5792。PSO_uncertain712022/11/9液位71PSO_uncertain722022/11/14響應(yīng)曲線1PSO_uncertain722022/11/9響應(yīng)曲線172PSO_uncertain732022/11/14總結(jié)PSO不確定優(yōu)化PSO動態(tài)優(yōu)化PSO_uncertain732022/11/9總結(jié)PSO不73PSO_uncertain742022/11/14基于PSO算法的不確定優(yōu)化不確定函數(shù)的混合PSO算法用PSO優(yōu)化神經(jīng)網(wǎng)絡(luò)基于PSO的PID參數(shù)優(yōu)化PSO_uncertain12022/11/9基于PSO算法74PSO_uncertain752022/11/14假設(shè)檢驗考慮如下不確定優(yōu)化問題其中，X表示決策變量，即需要搜索的解，d為變量維數(shù)，ξ表示噪聲，采樣目標函數(shù)L(X,ξ)是X和ξ的函數(shù)，期望目標函數(shù)J(X)則是L(X,ξ)的數(shù)學(xué)期望。PSO_uncertain22022/11/9假設(shè)檢驗考慮如75PSO_uncertain762022/11/14評價對于不確定優(yōu)化問題，首先通過多次獨立評價可估計解的性能，通常每一次評價對應(yīng)于一次仿真過程，進而在考慮方差的情況下對解的性能進行優(yōu)劣比較。若對解Xi進行二次獨立隨機仿真，則其均值和方差的無偏估計J和Si2分別為(3-4-1)(3-4-2)PSO_uncertain32022/11/9評價對于不確76PSO_uncertain772022/11/14考慮兩個不同的解X1和X2，可將其性能估計J(X1)和J(X2)看作兩獨立隨機變量。由大數(shù)定理及中央極限定理知，n是－>∞時，期望性能的估計J(X)~N(J,si2/ni)。因此，可認為其中ui和si2的無偏估計分別由式(3-4-1)和式(3-4-2)給出。PSO_uncertain42022/11/9考慮兩個不同的77PSO_uncertain782022/11/14假設(shè)檢驗思想假設(shè)檢驗是統(tǒng)計推斷的一個重要方法，它利用搜集到的數(shù)據(jù)對某個事先做出的統(tǒng)計假設(shè)按一種設(shè)定的方法進行檢驗，進而判斷假設(shè)的正誤。在不確定優(yōu)化問題中，由于性能評價的不確定性，在進行解性能比較時應(yīng)充分利用均值以及方差信息。因此，利用假設(shè)檢驗思想可先對解的優(yōu)劣關(guān)系進行假設(shè)，然后通過統(tǒng)計信息對假設(shè)進行檢驗。PSO_uncertain52022/11/9假設(shè)檢驗思想78PSO_uncertain792022/11/14PSO_uncertain62022/11/979PSO_uncertain802022/11/14PSO_uncertain72022/11/980PSO_uncertain812022/11/14序優(yōu)化思想對于不確定優(yōu)化問題，對解X進行ni次獨立評價時。顯然，隨著評價次數(shù)ni的增大，樣本均值Jbar將趨于期望值J,，或者說估計的致信區(qū)間將逐步縮小，但是收斂速度不超過1/√ni為了得到比較精確的性能估計，優(yōu)化算法的大部分時間將用于對搜索解進行性能評價，而如此費時的評價過程必然影響整個算法的優(yōu)化效率，甚至因用于搜索的時間不夠而導(dǎo)致搜索的不充分，從而難以獲得全局意義上性能較好的解。PSO_uncertain82022/11/9序優(yōu)化思想對于81PSO_uncertain822022/11/14序優(yōu)化技術(shù)針對離散事件動態(tài)系統(tǒng)中仿真優(yōu)化問題的不確定性、解空間龐大等難點而提出的一類優(yōu)化技術(shù)其主要思想包括：(1)序比較(ordercomparison)，即序比值更容易確定，不同解的性能偏序關(guān)系按指數(shù)速度收斂。(2)軟化目標(goalsoftening)，即只要求以較高概率得到滿意解，而不是一定要求獲得全局最優(yōu)解。這樣，對于解空間龐大的問題，可大大減少求解問題所需的計算資源。PSO_uncertain92022/11/9序優(yōu)化技術(shù)針對82PSO_uncertain832022/11/14PSO_uncertain102022/11/983PSO_uncertain842022/11/14顯然，聯(lián)合選擇概率與S集的產(chǎn)生方式有關(guān)。根據(jù)NoFreeLunch定理，在沒有問題的任何信息時，任何方法的效果都與盲目搜索方一法相同。當S中元素通過盲目搜索得到時，聯(lián)合選擇概率可按下式計算PSO_uncertain112022/11/9顯然，聯(lián)合選84PSO_uncertain852022/11/14譬如，M=200,g=12和k=1時，按上式可得P(IG∩sl>=k)=0.5而如果g=32，則P(IG∩sl>=k)≈1在序優(yōu)化思想指導(dǎo)下，即使用較少次數(shù)的盲目搜索也能保證以較大概率得到滿意解。這在一定程度上也說明了群體搜索算法比單點搜索算法更容易獲得滿意解?？紤]評價過程的不確定性因素，盲目搜索可認為是評價噪聲無窮大情況下的尋優(yōu)。如果在一定問題結(jié)構(gòu)信息的指導(dǎo)下采用效率更高的策略進行搜索，同時對解的性能進行一定精度的評價時，將有助于獲得質(zhì)量更高的解或者有助于以更高概率獲得滿意解，此時上式實際上就成為聯(lián)合選擇概率的一個下界。PSO_uncertain122022/11/9譬如，M=285PSO_uncertain862022/11/14PSO_uncertain132022/11/986PSO_uncertain872022/11/14最優(yōu)計算量分配技術(shù)最優(yōu)計算量分配技術(shù)(optimalcomputingbudgetallocation,OCBA)是Chen等在序優(yōu)化思想下提出的一種改進技術(shù)，是對序優(yōu)化思想的一種擴充。在傳統(tǒng)序優(yōu)化技術(shù)中，每個解均采用相同的仿真(評價)次數(shù)進行性能估計。顯然，如果能夠在優(yōu)化過程中將有限的計算量更多地分配給那些優(yōu)質(zhì)解或關(guān)鍵解，則將提高獲得滿意解的概率，提高對有限計算資源的使用效率。對于優(yōu)化過程中的關(guān)鍵解賦予較多的計算量以對其進行更準確的性能估計，對于其他解則只占用較少的計算量資源，從而提高優(yōu)化結(jié)果的置信度。PSO_uncertain142022/11/9最優(yōu)計算量分87PSO_uncertain882022/11/14最優(yōu)解的“正確選擇概率”PSO_uncertain152022/11/9最優(yōu)解的“正88PSO_uncertain892022/11/14PSO_uncertain162022/11/989PSO_uncertain902022/11/14PSO_uncertain172022/11/990PSO_uncertain912022/11/14定理1在給定總仿真次數(shù)T，并將其分配給K個可行解，其性能估計分別為PSO_uncertain182022/11/9定理1在給定91PSO_uncertain922022/11/14OCBA技術(shù)的實現(xiàn)流程PSO_uncertain192022/11/9OCBA技術(shù)92PSO_uncertain932022/11/14討論算法初始化時，對每個解的均值和方差的估計需要達到一定的精度，以避免算法的過早收斂，因此n0通常不能太小。另外，若每次循環(huán)增加的仿真量Δ過大，則會造成評價的可靠性降低，為不必要的高致信度水平而浪費計算量。但是，Δ也不能過小，否則會導(dǎo)致整個算法的迭代次數(shù)增加，進而加重計算的負擔。據(jù)文獻[9]的經(jīng)驗,n0通常取5~20,Δ則取K/5~K/10。PSO_uncertain202022/11/9討論算法初始93PSO_uncertain942022/11/14混合微粒群優(yōu)化算法PSO_uncertain212022/11/9混合微粒群優(yōu)94PSO_uncertain952022/11/14.基于HT的PSO算法PSO_uncertain222022/11/9.95PSO_uncertain962022/11/142.基于OCBA的PSO算法PSO_uncertain232022/11/92.基于OC96PSO_uncertain972022/11/143.基于HT和OCBA的PSO算法PSO_uncertain242022/11/93.基于HT97PSO_uncertain982022/11/14PSO_uncertain252022/11/998PSO_uncertain992022/11/14仿真實驗與比較PSO_uncertain262022/11/9仿真實驗與比99PSO_uncertain1002022/11/14參數(shù)設(shè)置PSO_uncertain272022/11/9參數(shù)設(shè)置100PSO_uncertain1012022/11/14

Goldstein-Price's函數(shù),函數(shù)有一個全局最小值3，在(0,-1)點,另外函數(shù)有3個局部極小值。六個測試函數(shù)PSO_uncertain282022/11/9Golds101PSO_uncertain1022022/11/14Branins'srcos函數(shù)(2)：Branins‘srcos函數(shù),函數(shù)有3個全局最小值點，取值為0.397887，分別在(-pi,12.275)、(pi,2.275),(9.42478，2.475)三處。f=(y-(5.1/(4*pi^2))*x.^2+5/pi*x-6).^2+10*(1-1/(8*pi))*cos(x)+10,-5<=x<=10,0<=y<=15PSO_uncertain292022/11/9Branin102PSO_uncertain1032022/11/14PSO_uncertain302022/11/9103PSO_uncertain1042022/11/14PSO_uncertain312022/11/9104PSO_uncertain1052022/11/14Rastrigin函數(shù)全局最優(yōu)點為－2，最優(yōu)點為（0，0），可行域中50余個局部極值點PSO_uncertain322022/11/9Rastri105PSO_uncertain1062022/11/14SH－Shuber(n=2)函數(shù)PSO_uncertain332022/11/9SH－Shu106PSO_uncertain1072022/11/14結(jié)果PSO_uncertain342022/11/9結(jié)果107PSO_uncertain1082022/11/14噪聲強度因子影響以帶噪聲的GP函數(shù)為例，探討噪聲強度因子η對各算法性能的影響。同時，為了反映所得解的位置信息，統(tǒng)計了各算法50次隨機運行中的成功次數(shù)N,，即若所得解距離理論最優(yōu)點的歐式距離小于0.1，則認為是一次成功搜索。表5.2給出了各算法50次獨立運行的統(tǒng)計結(jié)果。PSO_uncertain352022/11/9噪聲強度因子108PSO_uncertain1092022/11/14PSO_uncertain362022/11/9109PSO_uncertain1102022/11/14最優(yōu)點的分布PSO_uncertain372022/11/9最優(yōu)點的分布110PSO_uncertain1112022/11/14PSO_uncertain382022/11/9111PSO_uncertain1122022/11/14PSO_uncertain392022/11/9112PSO_uncertain1132022/11/14PSO_uncertain402022/11/9113PSO_uncertain1142022/11/14噪聲環(huán)境下基于PSO算法的參數(shù)估計噪聲環(huán)境下的智能參數(shù)估計方法的研究還很少。本節(jié)針對噪聲環(huán)境下的非線性模型參數(shù)估計問題，采用上節(jié)的PSOHT算法來解決。PSO_uncertain412022/11/9噪聲環(huán)境下基114PSO_uncertain1152022/11/14PSO_uncertain422022/11/9115PSO_uncertain1162022/11/14噪聲環(huán)境下的模型參數(shù)估計噪聲環(huán)境下的模型參數(shù)估計也是在一定的系統(tǒng)輸人下，通過特定算法調(diào)整估計參數(shù)，使得與輸出誤差相關(guān)的某個指標最小。但是，由于輸出誤差中包含了噪聲信息，實現(xiàn)參數(shù)估計的算法應(yīng)具備一定的抗噪聲能力，即魯棒性。以輸出誤差的平均平方誤差為優(yōu)化目標，PSO_uncertain432022/11/9噪聲環(huán)境下的116PSO_uncertain1172022/11/145.2.2數(shù)值仿真利用如下二階慣性帶延遲的傳遞函數(shù)作為真實系統(tǒng)，用于探討PSOHT算法的估一計性能，并與單一PSO算法進行比較。PSO_uncertain442022/11/95.2.2數(shù)117PSO_uncertain1182022/11/14實驗條件數(shù)值仿真時采用服從N(0,1)分布的白噪聲作為輸人，離散化采樣時間為0.1s，估計長度為100,假設(shè)噪聲v是幅值為ημ的高斯噪聲，其中η表示噪信比。算法方面，令PSOHT和PSO算法的種群規(guī)模均為10，最大進化代數(shù)為300，每個微粒采用20次評價進行性能估計，與假設(shè)檢驗相關(guān)的顯著性水平設(shè)置為0.05。各算法均隨機運行50次，表5.3給出了無噪聲情況下PSO算法的運行統(tǒng)計結(jié)果。PSO_uncertain452022/11/9實驗條件數(shù)118PSO_uncertain1192022/11/14PSO_uncertain462022/11/9119PSO_uncertain1202022/11/14PSO_uncertain472022/11/9120PSO_uncertain1212022/11/14PSO_uncertain482022/11/9121PSO_uncertain1222022/11/14PSO_uncertain492022/11/9122PSO_uncertain1232022/11/14PSO_uncertain502022/11/9123PSO_uncertain1242022/11/14小結(jié)1）PSOHT有效2）PSO在許多情況具有優(yōu)良品質(zhì)PSO_uncertain512022/11/9小結(jié)1）PS124PSO_uncertain1252022/11/14用PSO優(yōu)化神經(jīng)網(wǎng)絡(luò)1）訓(xùn)練神經(jīng)網(wǎng)絡(luò)的PSO算法的設(shè)計采用PSO訓(xùn)練神經(jīng)網(wǎng)絡(luò)時，首先應(yīng)將特定結(jié)構(gòu)中所有神經(jīng)元間的連接權(quán)值編碼成實數(shù)碼串表示的個體。假設(shè)網(wǎng)絡(luò)中包含M個優(yōu)化權(quán)值（包括閾值在內(nèi)），則每個個體將由M個權(quán)值參數(shù)組成的一個M維向量來表示。PSO_uncertain522022/11/9用PSO優(yōu)化125PSO_uncertain1262022/11/14則微粒群中的個體可用一個6維向量來表示，即Indv={x1,x2,x3,x4,x5,x6}。此時，個體結(jié)構(gòu)中的每一個元素，即代表神經(jīng)網(wǎng)絡(luò)中的一個權(quán)值。PSO用于NN學(xué)習(xí)PSO_uncertain532022/11/9則微粒群中的126PSO_uncertain1272022/11/14初始化微粒群根據(jù)微粒群規(guī)模，按照上述個體結(jié)構(gòu)隨機產(chǎn)生一定數(shù)目的個體（微粒）組成種群，其中不同的個體代表神經(jīng)網(wǎng)絡(luò)的一組不同權(quán)值。同時初始化gbest和pbest。PSO_uncertain542022/11/9初始化微粒群127PSO_uncertain1282022/11/143、神經(jīng)網(wǎng)絡(luò)的訓(xùn)練及微粒的評價計算每一個網(wǎng)絡(luò)在訓(xùn)練集上產(chǎn)生的均方誤差，并以此作為目標函數(shù)，并構(gòu)造如下的適應(yīng)度函數(shù)，用來計算個體的適應(yīng)度。PSO_uncertain552022/11/93、神經(jīng)網(wǎng)絡(luò)128PSO_uncertain1292022/11/14用PSO訓(xùn)練神經(jīng)網(wǎng)絡(luò)算法的具體流程PSO_uncertain562022/11/9用PSO訓(xùn)練129PSO_uncertain1302022/11/14VandenBergh與Engelrecht基于多種分類問題及函數(shù)逼近問題，利用PSO算法分別對加和網(wǎng)絡(luò)和倍乘網(wǎng)絡(luò)進行優(yōu)化。在以下所有的試驗中，加和網(wǎng)絡(luò)和倍乘網(wǎng)絡(luò)都給予一指定的簡單結(jié)構(gòu)[Y.Lecun,J.S.DenkerandS.A.Solla.1990]算法的優(yōu)化結(jié)果）PSO_uncertain572022/11/9Vande130PSO_uncertain1312022/11/14PSO_uncertain582022/11/9131PSO_uncertain1322022/11/14實驗一：利用加和與倍乘兩種前饋網(wǎng)絡(luò)對下面的立方函數(shù)進行逼近:f(z)=z3-0.04z其中權(quán)值的訓(xùn)練利用CPSO-S算法。實驗中兩種網(wǎng)絡(luò)均采用1-2-1的簡單結(jié)構(gòu)，CPSO算法的各參數(shù)取值如下：W=0.72,c1=c2=1.49，微粒群規(guī)模為10，分裂因子K分別為2（SUN）與3(PUN)PSO_uncertain592022/11/9實驗一：利用132PSO_uncer