神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷專家講座

3.1BP網(wǎng)絡(luò)學(xué)習(xí)算法改進(jìn)標(biāo)準(zhǔn)BP算法誤差空間是N維空間中一個形狀極為復(fù)雜曲面，該曲面上每個點(diǎn)“高度”對應(yīng)于一個誤差值，每個點(diǎn)坐標(biāo)向量對應(yīng)著N個權(quán)值單權(quán)值雙權(quán)值神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷專家講座第1頁3.1BP網(wǎng)絡(luò)學(xué)習(xí)算法改進(jìn)BP網(wǎng)絡(luò)學(xué)習(xí)算法存在問題存在平坦區(qū)域影響--------誤差下降遲緩，影響收斂速度。原因--------誤差對權(quán)值梯度改變?。拷诹阌筛鞴?jié)點(diǎn)凈輸入過大而引發(fā)。分析：激活函數(shù)為Sigmod函數(shù)神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷專家講座第2頁3.1BP網(wǎng)絡(luò)學(xué)習(xí)算法改進(jìn)存在平坦區(qū)域原因分析權(quán)值修正量：輸出導(dǎo)數(shù)：神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷專家講座第3頁3.1BP網(wǎng)絡(luò)學(xué)習(xí)算法改進(jìn)存在平坦區(qū)域原因分析：第一個可能是充分靠近第二種可能是充分靠近0么三種可能是充分靠近1造成平坦區(qū)原因：

各節(jié)點(diǎn)凈輸入過大對應(yīng)著誤差某個谷點(diǎn)

對應(yīng)著誤差平坦區(qū)神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷專家講座第4頁3.1BP網(wǎng)絡(luò)學(xué)習(xí)算法改進(jìn)存在多個極小點(diǎn)影響------易陷入局部最小點(diǎn)

原因：以誤差梯度下降為權(quán)值調(diào)整標(biāo)準(zhǔn)，誤差曲面上可能存在多個梯度為0點(diǎn)，多數(shù)極小點(diǎn)都是局部極小，即使是全局極小往往也不是唯一，使之無法區(qū)分極小點(diǎn)性質(zhì)造成結(jié)果：使得訓(xùn)練經(jīng)常陷入某個局部極小點(diǎn)而不能自拔，從而使訓(xùn)練無法收斂于給定誤差。神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷專家講座第5頁3.1BP網(wǎng)絡(luò)學(xué)習(xí)算法改進(jìn)

BP算法缺點(diǎn)小結(jié)⑴易形成局部極小而得不到全局最優(yōu)；⑵訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低，收斂速度慢；⑶隱節(jié)點(diǎn)選取缺乏理論指導(dǎo)；⑷訓(xùn)練時學(xué)習(xí)新樣本有遺忘舊樣本趨勢。針對上述問題，國內(nèi)外已提出不少有效改進(jìn)算法，下面將介紹其中幾個較慣用方法。神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷專家講座第6頁3.1.1消除樣本輸入次序影響改進(jìn)算法

在線學(xué)習(xí)方式時，網(wǎng)絡(luò)受后面輸入樣本影響較大，嚴(yán)重時，會影響用戶要求訓(xùn)練精度。為了消除這種樣本次序?qū)Y(jié)果影響，能夠采取批處理學(xué)習(xí)方式，即使用一批學(xué)習(xí)樣本產(chǎn)生總誤差來調(diào)整權(quán)值，用公式表示以下：處理了因樣本輸入次序引發(fā)精度問題和訓(xùn)練抖動問題。不過，該算法收斂速度相對來說還是比較慢。神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷專家講座第7頁3.1.1消除樣本輸入次序影響改進(jìn)算法算法流程圖網(wǎng)絡(luò)初始化計(jì)算輸出層權(quán)值調(diào)值計(jì)算隱含層權(quán)值調(diào)值計(jì)算全局誤差是結(jié)束判斷是否結(jié)束？否更新權(quán)值神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷專家講座第8頁3.1.2附加動量改進(jìn)算法在反向傳輸法基礎(chǔ)上在每一個權(quán)值（或閾值）改變上加上一項(xiàng)正比于上一次權(quán)值（或閾值）改變量值，并依據(jù)反向傳輸法來產(chǎn)生新權(quán)值（或閾值）改變帶有附加動量因子權(quán)值調(diào)整公式為:能夠預(yù)防出現(xiàn)即最終一次權(quán)值改變量為0，有利于使網(wǎng)絡(luò)從誤差曲面局部極小值中跳出。但對于大多數(shù)實(shí)際應(yīng)用問題，該法訓(xùn)練速度依然很慢。MATLAB中工具函數(shù)traingdm()即對應(yīng)于附加動量法。神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷專家講座第9頁3.1.3采取自適應(yīng)調(diào)整參數(shù)改進(jìn)算法采取自適應(yīng)調(diào)整參數(shù)改進(jìn)算法基本構(gòu)想是學(xué)習(xí)率應(yīng)依據(jù)誤差改變而自適應(yīng)調(diào)整，以使權(quán)系數(shù)調(diào)整向誤差減小方向改變，其迭代過程可表示為：在很小情況下，采取自適應(yīng)調(diào)整參數(shù)改進(jìn)算法依然存在權(quán)值修正量很小問題，致使學(xué)習(xí)率降低。MATLAB中工具函數(shù)traingda()即對應(yīng)于自適應(yīng)調(diào)整參數(shù)法。神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷專家講座第10頁3.1.4使用彈性方法改進(jìn)算法BP網(wǎng)絡(luò)通常采取Sigmoid隱含層。當(dāng)輸入函數(shù)很大時，斜率靠近于零，這將造成算法中梯度幅值很小，可能使網(wǎng)絡(luò)權(quán)值修正過程幾乎停頓下來。彈性方法只取偏導(dǎo)數(shù)符號，而不考慮偏導(dǎo)數(shù)幅值。其權(quán)值修正迭代過程可表示為：在彈性BP算法中，當(dāng)訓(xùn)練發(fā)生振蕩時，權(quán)值改變量將減小；當(dāng)在幾次迭代過程中權(quán)值均朝一個方向改變時，權(quán)值改變量將增大。所以，使用彈性方法改進(jìn)算法，其收斂速度要比前幾個方法快得多神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷專家講座第11頁3.1.5使用擬牛頓法改進(jìn)算法梯度法缺點(diǎn)是搜索過程收斂速度較慢，牛頓法在搜索方向上比梯度法有改進(jìn)，它不但利用了準(zhǔn)則函數(shù)在搜索點(diǎn)梯度，而且還利用了它二次導(dǎo)數(shù)，就是說利用了搜索點(diǎn)所能提供更多信息，使搜索方向能更加好地指向最優(yōu)點(diǎn)。它迭代方程為：收斂速度比一階梯度快，但計(jì)算又較復(fù)雜，比較經(jīng)典有BFGS擬牛頓法和一步正切擬牛頓法。MATLAB中工具函數(shù)trainbfg()、trainoss()即對應(yīng)擬牛頓法中BFGS擬牛頓法和一步正切擬牛頓法。

神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷專家講座第12頁3.1.6基于共軛梯度法改進(jìn)算法梯度下降法收斂速度較慢，而擬牛頓法計(jì)算又較復(fù)雜，共軛梯度法則力圖防止二者缺點(diǎn)。共軛梯度法也是一個改進(jìn)搜索方向方法，它是把前一點(diǎn)梯度乘以適當(dāng)系數(shù)，加到該點(diǎn)梯度上，得到新搜索方向。其迭代方程為：神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷專家講座第13頁3.1.6基于共軛梯度法改進(jìn)算法共軛梯度法比大多數(shù)常規(guī)梯度下降法收斂快，而且只需增加極少存放量和計(jì)算量。對于權(quán)值很多網(wǎng)絡(luò)，采取共軛梯度法不失為一個很好選擇。MATLAB中工具函數(shù)traincgb()、traincgf()、traincgp()即對應(yīng)于共軛梯度法。神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷專家講座第14頁3.1.7基于Levenberg-Marquardt法改進(jìn)算法梯度下降法在最初幾步下降較快，但伴隨靠近最優(yōu)值，因?yàn)樘荻融呌诹?，致使誤差函數(shù)下降遲緩，而牛頓法則可在最優(yōu)值附近產(chǎn)生一個理想搜索方向。Levenberg-Marquardt法實(shí)際上是梯度下降法和牛頓法結(jié)合，它優(yōu)點(diǎn)在于網(wǎng)絡(luò)權(quán)值數(shù)目較少時收斂非?？焖?。應(yīng)用Levenberg-Marquardt優(yōu)化算法比傳統(tǒng)BP及其它改進(jìn)算法（如共軛梯度法，附加動量法、自適應(yīng)調(diào)整法及擬牛頓法等）迭代次數(shù)少，收斂速度快，準(zhǔn)確度高。MATLAB中工具函數(shù)trainlm()即對應(yīng)Levenberg-Marquardt法改進(jìn)算法。神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷專家講座第15頁BP神經(jīng)網(wǎng)絡(luò)優(yōu)化算法對比示例神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷專家講座第16頁課后練習(xí)：BP神經(jīng)網(wǎng)絡(luò)優(yōu)化算法對比建立一個BP網(wǎng)絡(luò)，使用各種優(yōu)化算法對應(yīng)學(xué)習(xí)函數(shù)對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，實(shí)現(xiàn)對函數(shù)迫近，并計(jì)算出各種學(xué)習(xí)方法訓(xùn)練網(wǎng)絡(luò)時所使用時間神經(jīng)網(wǎng)絡(luò)優(yōu)化方法bp算法缺陷專家講座第17頁小結(jié)BP網(wǎng)絡(luò)學(xué)習(xí)算法存在問題BP網(wǎng)絡(luò)學(xué)習(xí)算法更正算法消除樣本輸入次序影響改進(jìn)算法

附