基于移動加權(quán)極限學(xué)習(xí)機的改進算法

基于移動加權(quán)極限學(xué)習(xí)機的改進算法

0圖像的深度信息近年來，高中的學(xué)生培訓(xùn)不僅限于理論理論和課堂體驗，還注重學(xué)生的創(chuàng)新思維和創(chuàng)新能力的培養(yǎng)。傳統(tǒng)上三維圖形的重構(gòu)直接通過恢復(fù)圖像的深度信息或需要多幅圖像來實現(xiàn)1elm算法簡介SLFN的模型如圖1所示,包括輸入層、隱藏層和輸出層,其中單個隱藏層神經(jīng)元的模型如圖2所示,輸入x根據(jù)圖1所示SLFN模型,對于N個給定樣本集(x隱藏層節(jié)點數(shù)采用矩陣表達式,式(3)可簡化為輸入權(quán)值矩陣W和偏置矩陣b可隨機設(shè)定HELM訓(xùn)練過程即求輸出權(quán)值矩陣β的過程,ELM算法實現(xiàn)流程如圖3所示,對于給定訓(xùn)練樣本,首先,設(shè)定隱藏層神經(jīng)元個數(shù),隨機初始化輸入權(quán)值矩陣W和偏置矩陣b,選擇合適的激活函數(shù);其次,根據(jù)式(1)計算極限學(xué)習(xí)機每個隱藏層神經(jīng)元的輸出H,通過式(5)計算得輸出權(quán)值矩陣β;最后,根據(jù)所得β對測試樣本進行仿真,對仿真結(jié)果進行對比和分析,測試結(jié)果不滿足要求時可通過適當(dāng)增加訓(xùn)練樣本或隱藏層神經(jīng)元個數(shù)改善。2elm的不足ELM算法基于經(jīng)驗風(fēng)險最小化原則,未考慮結(jié)構(gòu)風(fēng)險,在實際應(yīng)用中容易導(dǎo)致過度擬合的問題;ELM直接求最小二乘解,當(dāng)樣本數(shù)據(jù)發(fā)生改變時,無法對參數(shù)進行調(diào)整;針對ELM的這些缺點,查閱多種ELM優(yōu)化設(shè)計算法,采用移動加權(quán)極限學(xué)習(xí)機和正則極限學(xué)習(xí)機進行三維圖形重構(gòu)虛擬仿真實驗的研究。2.1權(quán)函數(shù)的輸出移動加權(quán)極限學(xué)習(xí)機應(yīng)用移動最小二乘法原理,針對不同的輸入樣本,根據(jù)選擇的權(quán)函數(shù)訓(xùn)練不同樣本的權(quán)重,輸出權(quán)值為一個與輸入有關(guān)的權(quán)函數(shù),而不是一個固定的數(shù)值矩陣,從而提高算法的穩(wěn)定性移動加權(quán)極限學(xué)習(xí)機算法的數(shù)學(xué)模型為實際輸出O式中,權(quán)函數(shù)式中,P(x)=H移動加權(quán)極限學(xué)習(xí)機訓(xùn)練過程中訓(xùn)練數(shù)據(jù)按一定的規(guī)則分類,每一類數(shù)據(jù)單獨訓(xùn)練網(wǎng)絡(luò)參數(shù)β(x),用得到的網(wǎng)絡(luò)參數(shù)β(x)對具有相似特征的數(shù)據(jù)類進行測試,避免了原始極限學(xué)習(xí)機在處理不規(guī)則數(shù)據(jù)時泛化能力差的缺點。2.2elm數(shù)學(xué)模型正則極限學(xué)習(xí)機通過參數(shù)γ來調(diào)節(jié)經(jīng)驗風(fēng)險和結(jié)構(gòu)風(fēng)險的比例式中:用拉格朗日方程將求式(9)的最小值轉(zhuǎn)換為無條件極值求解問題,R-ELM的數(shù)學(xué)模型可用拉格朗日方程表示為式中:α為拉格朗日乘子,根據(jù)KKT優(yōu)化條件令該函數(shù)分別對β、α、ε求梯度:根據(jù)拉格朗日方程求極值方法,解得輸出權(quán)值矩陣為當(dāng)D為單位對角矩陣時,該算法稱為無權(quán)正則極限學(xué)習(xí)機;否則,稱為有權(quán)正則極限學(xué)習(xí)機。原始極限學(xué)習(xí)機是無權(quán)極限學(xué)習(xí)機在γ趨向于無窮大時的特殊情況。正則極限學(xué)習(xí)機提高了原始極限學(xué)習(xí)機的泛化能力,改善了原始極限學(xué)習(xí)機存在的過擬合問題。3虛擬重構(gòu)實驗本實驗案例采用Matlab作為仿真環(huán)境,Matlab功能強大,集成度高,使用簡單,在信號處理、自動控制和電子仿真等方面應(yīng)用廣泛,使用Matlab軟件進行虛擬實驗仿真已經(jīng)是大學(xué)生必須掌握的一項基本技能。墨西哥帽子三維圖形重構(gòu)結(jié)果如圖4所示。本實驗選擇經(jīng)典的墨西哥帽子三維圖形f(r)=sin(r)/r進行重構(gòu),其中極限學(xué)習(xí)機訓(xùn)練過程需要大量訓(xùn)練樣本,為生成訓(xùn)練樣本,在給定橫縱坐標(biāo)范圍內(nèi)以0.5為步長用rand函數(shù)隨機產(chǎn)生Q個網(wǎng)格節(jié)點作為神經(jīng)網(wǎng)絡(luò)的輸入,Q=1000,網(wǎng)格節(jié)點坐標(biāo)矩陣[x_randy_rand],用plot(x_rand,y_rand,‘*’)語句繪制隨機生成的網(wǎng)格節(jié)點如圖5所示,其中訓(xùn)練樣本輸入為P,訓(xùn)練樣本期望輸出為T,即每個網(wǎng)格節(jié)點對應(yīng)的高度。訓(xùn)練樣本生成過程程序為:本實驗案例通過ELM、MLS-ELM和R-ELM3種算法對墨西哥帽子三維圖形進行重構(gòu)仿真。原始ELM訓(xùn)練過程部分程序為:其中:N為隱藏層神經(jīng)元個數(shù),N=50,IW為輸入權(quán)值,B為隱藏層神經(jīng)元偏置矩陣,激活函數(shù)為sin(x),tempH為根據(jù)式(1)求得的隱藏層輸出,LW為根據(jù)式(5)求得的輸出矩陣。經(jīng)以上訓(xùn)練過程得輸出權(quán)值矩陣LW,通過下列所示程序進行墨西哥帽子三維圖形重構(gòu)仿真,Or_Elm_Zout即神經(jīng)網(wǎng)絡(luò)的最終輸出,原始ELM算法實現(xiàn)墨西哥帽子三維圖形重構(gòu)仿真結(jié)果如圖4(b)所示。移動加權(quán)ELM實現(xiàn)三維圖形重構(gòu)訓(xùn)練過程中每個測試樣本的影響域定義為以該樣本為中心,以2為邊長的正方形,權(quán)函數(shù)無權(quán)正則極限學(xué)習(xí)機的輸出權(quán)值矩陣為由式(11)得:無權(quán)R-ELM的樣本誤差ε設(shè)D=diag(v如圖4所示,ELM、MLS-ELM和R-ELM3種算法均可以對墨西哥帽子三維圖形進行重構(gòu),為了比較3種算法的性能,將實測值和期望值之間的絕對誤差進行對比,圖6所示為ELM、MLS-ELM和R-ELM對墨西哥帽子三維圖形重構(gòu)實驗的絕對誤差曲線。由圖6可見,MLS-ELM算法的重構(gòu)效果最佳。另外,將均方根RMSE作為重構(gòu)誤差的衡量標(biāo)準,同時將訓(xùn)練時間和測試時間也進行了對比,具體結(jié)果見表1。由表1虛擬重構(gòu)實驗結(jié)果對比可知,ELM、MLS-ELM和R-ELM重構(gòu)誤差的均方差RMSE分別為0.0617、0.0155和0.0398,MLS-ELM的誤差最小。圖6和表1對比結(jié)果表明,MLS-ELM算法和R-ELM算法在重構(gòu)精度和泛化能力上都優(yōu)于原始的ELM算法,但這兩種算法增加了計算復(fù)雜度,延長了訓(xùn)練時間。4極限學(xué)習(xí)機重構(gòu)及其應(yīng)用本文設(shè)計了墨西哥帽子三維圖形重構(gòu)虛擬仿真實驗,通過兩種極限學(xué)習(xí)機的優(yōu)化算法,以三維圖形重構(gòu)實驗為平臺進行了實測,并將該實驗案例應(yīng)用于本科教學(xué),達到了以下教學(xué)目的:(1)掌握神經(jīng)網(wǎng)絡(luò)的基本原理和應(yīng)用,了解ELM算法的優(yōu)勢,仿真過程直觀地呈現(xiàn)出三維圖形的重構(gòu)效果,讓實驗教學(xué)更為生動具體,可將極限學(xué)習(xí)機算法推廣到更多的應(yīng)用領(lǐng)域,如人體三維重構(gòu)、手勢識別等。(2)介紹移動加權(quán)極限學(xué)習(xí)機和正則極限學(xué)習(xí)機優(yōu)化算法,掌握優(yōu)化算法的設(shè)計,為學(xué)生在以后的工程設(shè)計中拓寬思路,縮短設(shè)計周期。(3)采用Matlab作為仿真環(huán)境,熟練使用Matlab編程軟件,掌握基于Matlab虛擬仿真實驗的設(shè)計。(4)通過對墨西哥帽子三維圖形虛擬仿真實驗結(jié)果進行比較,掌握虛擬仿真實驗結(jié)果對比時參數(shù)的選擇和分析方式。通過虛擬仿真實驗的開展可以開闊學(xué)生的眼界,提升學(xué)生的科研興趣,鼓勵學(xué)生以所學(xué)知識為基礎(chǔ)拓展到更寬、更廣的知識