智能控制小作業(yè)-函數(shù)逼近

Score：Score： SimulationReportonIntelligentControlandApplicationNameStudentNumberAdvisorCategory□MasterProgram□DoctoralProgramSpecialtySchool仿真報(bào)告----利用BP神經(jīng)網(wǎng)絡(luò)與多項(xiàng)式方法逼近函數(shù)的效果分析介紹Introduction本仿真報(bào)告分別用多項(xiàng)式擬合和BP神經(jīng)網(wǎng)絡(luò)逼近函數(shù),并分析多項(xiàng)式階次和BP網(wǎng)絡(luò)隱含層神經(jīng)元個數(shù)與逼近精度之間的關(guān)系。問題描述ProblemdescriptionBP神經(jīng)網(wǎng)絡(luò)主要應(yīng)用于函數(shù)逼近，模式識別，分類以及數(shù)據(jù)壓縮。本仿真報(bào)告目的是之一利用Matlab建立神經(jīng)網(wǎng)絡(luò)模型，檢測BP神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近效果。由數(shù)學(xué)分析知道，復(fù)雜的函數(shù)曲線可以有多項(xiàng)式函數(shù)逼近。因此本仿真報(bào)告將利用Matlab的polyfit函數(shù)建立從1到30階的多項(xiàng)式函數(shù)，探究多項(xiàng)式擬合函數(shù)的效果。其中，polyfit函數(shù)的數(shù)學(xué)基礎(chǔ)是最小二乘法曲線擬合原理，所得到的函數(shù)值在基點(diǎn)處的值與原來點(diǎn)的坐標(biāo)偏差最小，常用于數(shù)據(jù)擬合。系統(tǒng)模型SystemmodelBP神經(jīng)網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò),該網(wǎng)絡(luò)的主要特點(diǎn)是信號前向傳遞,誤差反向傳播。在前向傳遞中,輸入信號從輸入層經(jīng)隱含層逐層處理,直至輸出層。每一層的神經(jīng)元狀態(tài)只影響下一層神經(jīng)元狀態(tài)。如果輸出層得不到期望輸出,則轉(zhuǎn)入反向傳播,根據(jù)預(yù)測誤差調(diào)整網(wǎng)絡(luò)權(quán)值和閾值,從而使BP神經(jīng)網(wǎng)絡(luò)預(yù)測輸出不斷逼近期望輸出。本設(shè)計(jì)中具體的神經(jīng)網(wǎng)絡(luò)模型如下：采用三層BP神經(jīng)網(wǎng)絡(luò)，輸入層和輸出層各有一個神經(jīng)元，隱含層的神經(jīng)元的個數(shù)可變，選取從1到20的整數(shù)，從而分析隱含層神經(jīng)元的個數(shù)與逼近效果之間的關(guān)系。隱含層采用標(biāo)準(zhǔn)Sigmoidal激活函數(shù)，輸出層采用線性激活函數(shù)。學(xué)習(xí)率為0.003，目標(biāo)誤差為0.5，最大學(xué)習(xí)次數(shù)為5000次。初始權(quán)值和閥值取[-0.1,0.1]內(nèi)的隨機(jī)數(shù)。學(xué)習(xí)算法采用標(biāo)準(zhǔn)BP算法。多項(xiàng)式擬合由于涉及到較深的數(shù)學(xué)理論，不再作具體介紹，只在用的地方做一些解說。設(shè)計(jì)程序Intelligentcontrolprincipleanddesignprocedure4.1目標(biāo)函數(shù)分析用Matlab做出函數(shù)在區(qū)間[-10,10]的曲線圖，同時繪制函數(shù)y1=x以及dy=y-y1的曲線。曲線圖見圖1.圖1原函數(shù)曲線圖由圖1以及數(shù)學(xué)分析可以看出，在遠(yuǎn)離原點(diǎn)（0,0）的地方，目標(biāo)函數(shù)接近y=x，因此，需要用多項(xiàng)式或者BP神經(jīng)網(wǎng)絡(luò)逼近的部分在原點(diǎn)附近，其他部分用y=x近似，誤差就已經(jīng)很小了。例如，x=+/-2時，dy=3.2*10-28。因此本仿真選用的自變量x的區(qū)間為[-2,2]。4.2多項(xiàng)式擬合主要步驟介紹根據(jù)目標(biāo)函數(shù)產(chǎn)生樣本輸入輸出調(diào)用polyfit(x,y,n)，產(chǎn)生基于最小二乘法的各階次多項(xiàng)式。設(shè)置循環(huán)變量cnt，實(shí)現(xiàn)在一個程序中，可以產(chǎn)生從1階到30階的多項(xiàng)式。將樣本輸入傳給多項(xiàng)式函數(shù)，得到逼近函數(shù)值，繪制各階次多項(xiàng)式的擬合曲線。繪制各階次的誤差變化曲線。4.3BP神經(jīng)網(wǎng)絡(luò)逼近主要步驟介紹根據(jù)目標(biāo)函數(shù)產(chǎn)生樣本輸入輸出設(shè)計(jì)BP神經(jīng)網(wǎng)絡(luò)。為了熟悉BP網(wǎng)絡(luò)，本設(shè)計(jì)沒有調(diào)用神經(jīng)網(wǎng)絡(luò)工具箱，而是自己編程，實(shí)現(xiàn)了BP神經(jīng)網(wǎng)絡(luò)，具體代碼見附錄中程序。設(shè)置循環(huán)變量HiddenUnitNum，實(shí)現(xiàn)在一個程序中，可以產(chǎn)生隱含層含有從1到20的個神經(jīng)元的網(wǎng)絡(luò)。同時循環(huán)變量HiddenUnitNum為隱含層神經(jīng)元數(shù)目。用根據(jù)目標(biāo)函數(shù)產(chǎn)生的樣本輸入訓(xùn)練神經(jīng)網(wǎng)絡(luò)，其中，樣本輸出為教師信號。用訓(xùn)練過的BP網(wǎng)絡(luò)擬合目標(biāo)函數(shù)。同時記錄下擬合效果。仿真結(jié)果和分析Simulationresultsandanalysis5.1多項(xiàng)式仿真結(jié)果圖2中，以下各小圖依次是利用多項(xiàng)式擬合函數(shù)的Matlab仿真圖。按照從左到右，從上到下的順序，各小圖對應(yīng)的多項(xiàng)式的階次從1依次遞增到30，由于篇幅所限，以及相鄰階次多項(xiàng)式之間的擬合效果很相近，因此，有一部分階次的擬合圖形沒有列出。其中在每一幅小圖中都包含了目標(biāo)函數(shù)曲線（用黑色實(shí)線表示），樣本點(diǎn)（用黑色加號+表示），擬合的效果圖（用紅色實(shí)線表示），樣本點(diǎn)與多項(xiàng)式之間的誤差值（用紅色點(diǎn)劃線表示）。每幅圖中的標(biāo)題數(shù)字對應(yīng)多項(xiàng)式的階次。（見下頁）5.2多項(xiàng)式仿真結(jié)果分析從以下各圖中可以分析得到，在選取擬合區(qū)間為[-2,2]時，利用最小二乘法得到的多項(xiàng)式，隨著多項(xiàng)式階次的增大，多項(xiàng)式擬合目標(biāo)函數(shù)曲線的擬合曲線效果越好，也就是說，隨著階次的升高，擬合誤差越來越小。并且，從圖形中可以直觀地看出，當(dāng)多項(xiàng)式的階次為20時，擬合效果已經(jīng)很好了，幾乎完全擬合。具體的數(shù)值分析見圖3和表1。表11-30階多項(xiàng)式擬合誤差統(tǒng)計(jì)表階次123456789誤差26.472720.671820.671815.398715.398710.934110.93417.38727.3872階次101112131415161718誤差4.74014.74012.88402.88401.66141.6614.9050.9050.4655階次192021222324252627誤差.4655.2259.2259.1033.1033.0444.0444.0180.0180階次282930誤差.0068.0068.0024（注意：以上數(shù)據(jù)來源于一次的仿真結(jié)果，但是經(jīng)過多次仿真發(fā)現(xiàn)，每次的仿真結(jié)果一樣的，因此，在一般要求下，以上數(shù)據(jù)是合理的。）圖21-30階多項(xiàng)式擬合函數(shù)的Matlab仿真圖圖31-30階多項(xiàng)式擬合誤差變化曲線（橫坐標(biāo)為階次，縱坐標(biāo)為誤差）圖4高階次多項(xiàng)式擬合效果圖圖51-55階多項(xiàng)式擬合誤差變化曲線（橫坐標(biāo)為階次，縱坐標(biāo)為誤差）圖61-70階多項(xiàng)式擬合誤差變化曲線（橫坐標(biāo)為階次，縱坐標(biāo)為誤差）從表1和圖3-6可以得出的結(jié)論是：當(dāng)階次從1增到15時，誤差下降迅速，從一階時的26.4727迅速下降為1.6644。平均每升高一個階次，誤差下降1.6；當(dāng)階次從15升到20時，誤差下降速度明顯放慢，每升高一個階次，誤差平均下降0.25左右。當(dāng)階次從20升到30時，誤差下降的速度變得更慢，每升高一個階次，誤差下降0.0045左右。當(dāng)階次在30到60時，誤差變化很小。當(dāng)階次超過60之后，誤差急速上升。這就是多項(xiàng)式的過擬合效果。當(dāng)然，以上分析都是對于區(qū)間[-2,2]。如果區(qū)間的大小發(fā)生變化，結(jié)果就不同了，具體分析見第7節(jié)?？偨Y(jié)起來就是，要根據(jù)目標(biāo)函數(shù)的非線性程度選擇合適的階次。對于給定的目標(biāo)函數(shù)和自變量區(qū)間。隨著階次的增加，擬合誤差會出現(xiàn)逐漸減小，而后在某個階次之后出現(xiàn)過擬合，誤差迅速增大的現(xiàn)象。對本例來說，在實(shí)際使用時，不管從仿真的效果圖，還是誤差數(shù)據(jù)的分析，對于，如果要擬合的區(qū)間為[-2,2],那么利用最小二乘法產(chǎn)生20-30階次的多項(xiàng)式即可。由于篇幅所限，這里僅給出仿真中的20階多項(xiàng)式的表達(dá)式。y=1.0*x-21.963*x^2+4.5987e-10*x^3+96.545*x^4-2.2953e-9*x^5-215.03*x^6+5.1767e-9*x^7+276.08*x^8-6.2887e-9*x^9-218.54*x^10+4.4644e-9*x^11+110.01*x^12-1.9064e-9*x^13-35.28*x^14+4.8173e-10*x^15+6.9752*x^16-6.6312e-11*x^17-0.77461*x^18+3.8299e-12*x^19+0.036953*x^20+1.88355.3標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)仿真結(jié)果圖4中，以下各小圖依次是利用標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)逼近函數(shù)的Matlab仿真圖。按照從左到右，從上到下的順序，各小圖對應(yīng)標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)的隱含層神經(jīng)元的個數(shù)的仿真結(jié)果（每幅圖中的標(biāo)題數(shù)字對應(yīng)BP神經(jīng)網(wǎng)絡(luò)的隱含層神經(jīng)元的個數(shù)），由于篇幅所限，以及相鄰BP神經(jīng)網(wǎng)絡(luò)的隱含層神經(jīng)元的個數(shù)之間的擬合效果很相近，因此，有一部分?jǐn)M合圖形沒有列出。其中在每一幅小圖中都包含了目標(biāo)函數(shù)曲線（用黑色實(shí)線表示），樣本點(diǎn)（用黑色加號+表示），擬合的效果圖（用紅色實(shí)線表示），樣本點(diǎn)與BP神經(jīng)網(wǎng)絡(luò)之間的誤差值（用紅色點(diǎn)劃線表示）。圖7標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)逼近的Matlab仿真圖圖8標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)Matlab仿真逼近的誤差圖（橫坐標(biāo)為隱含層神經(jīng)元節(jié)點(diǎn)數(shù)，縱坐標(biāo)為誤差）5.4標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)仿真結(jié)果分析先對圖7和圖8做一點(diǎn)說明：在圖7中，為了方便比較，說明BP網(wǎng)絡(luò)存在的缺陷，將對應(yīng)幾個隱含層神經(jīng)元的學(xué)習(xí)誤差曲線放在了其中，有一點(diǎn)不嚴(yán)謹(jǐn)。圖8中左圖是對應(yīng)圖7中的結(jié)果的，右圖是為了證明標(biāo)準(zhǔn)BP算法的缺陷，而另外做的一次仿真結(jié)果。結(jié)果分析如下：從仿真結(jié)果可以看出，標(biāo)準(zhǔn)BP算法存在的缺陷，容易陷入局部極小點(diǎn)，收斂速度慢。尤其是當(dāng)隱含層的神經(jīng)元的個數(shù)超過7之后，這種缺陷變得很明顯。很容易出現(xiàn)在訓(xùn)練了20000次之后，仍然無法達(dá)到目標(biāo)的情況。圖5中的折線很明顯的表達(dá)了這一點(diǎn)。因此，在這里采用改進(jìn)后的變步長學(xué)習(xí)算法，重新仿真?？梢钥吹剑儾介LBP神經(jīng)網(wǎng)絡(luò)能夠較好的擬補(bǔ)以上兩點(diǎn)缺陷。對于標(biāo)準(zhǔn)BP算法，隱含層神經(jīng)元數(shù)從0增到7的過程中，逼近誤差迅速下降。而隨著隱含層的神經(jīng)元的個數(shù)的進(jìn)一步增加，標(biāo)準(zhǔn)BP算法存在的缺陷就暴露出來了，容易陷入局部極小點(diǎn)，從而是最后的訓(xùn)練結(jié)果未能達(dá)到要求。5.5變步長BP神經(jīng)網(wǎng)絡(luò)仿真結(jié)果圖9中，以下各小圖依次是利用變步長BP神經(jīng)網(wǎng)絡(luò)逼近函數(shù)的Matlab仿真圖。相關(guān)說明同圖4。圖9變步長學(xué)習(xí)算法，隱含層神元個數(shù)1-50的部分仿真效果圖圖10變步長BP神經(jīng)網(wǎng)絡(luò)Matlab仿真逼近的誤差圖（橫坐標(biāo)為隱含層神經(jīng)元節(jié)點(diǎn)數(shù)，縱坐標(biāo)為誤差）5.6變步長BP神經(jīng)網(wǎng)絡(luò)仿真結(jié)果分析以下是變步長BP學(xué)習(xí)算法逼近目標(biāo)函數(shù)的樣本誤差。按順序，依次對應(yīng)隱含層神經(jīng)元的個數(shù)從1到50.ErrHistoryMin=17.103612.49467.83440.30460.30640.24260.36150.25150.26520.80230.56250.42860.27870.27620.18980.16190.22300.16150.23920.196611.342511.332211.341911.40780.719013.73390.37730.16220.190511.579912.230612.478620.859412.622420.852812.290820.872011.702112.925512.561412.888013.145411.7819163.9848164.003620.884212.564713.653513.298514.9224比較圖10和圖8，可以看出，雖然改變BP網(wǎng)絡(luò)的學(xué)習(xí)算法，采用了變步長學(xué)習(xí)算法，得到的誤差曲線總體上的變化趨勢是相同的。對應(yīng)的結(jié)論是：用本仿真使用的三層BP神經(jīng)網(wǎng)絡(luò)逼近非線性函數(shù)，隨著隱含層神經(jīng)元從1開始增大，擬合的誤差會急劇下降。但是，當(dāng)隱含層神經(jīng)元個數(shù)超過一定數(shù)值之后，由于BP網(wǎng)絡(luò)變得復(fù)雜，擬合的誤差會有迅速上升的可能，也就是說，BP網(wǎng)絡(luò)的表現(xiàn)不在穩(wěn)定。這就是BP網(wǎng)絡(luò)存在的缺陷，即容易陷入局部極小值點(diǎn)。也就是說，當(dāng)N過大時，有時表現(xiàn)好，又是陷入極小值點(diǎn)，表現(xiàn)不好從上面變步長BP學(xué)習(xí)算法逼近目標(biāo)函數(shù)的樣本誤差數(shù)據(jù)，可以看出，當(dāng)隱含層神經(jīng)元N的個數(shù)從1到4增加時，誤差急速下降。N=4時，誤差為0.3046，已經(jīng)很小了。當(dāng)N超過20之后，擬合的誤差會有迅速上升的可能，BP網(wǎng)絡(luò)容易陷入局部極小值點(diǎn)。因此，對于本例，選取4<N<10比較好。從以上分析，可以看出，在實(shí)際應(yīng)用時，并不是隱含層神經(jīng)元N越大越好。N過小，達(dá)不到逼近效果，N過大，BP網(wǎng)絡(luò)容易陷入局部極