用導(dǎo)數(shù)優(yōu)化方法_第1頁(yè)
用導(dǎo)數(shù)優(yōu)化方法_第2頁(yè)
用導(dǎo)數(shù)優(yōu)化方法_第3頁(yè)
用導(dǎo)數(shù)優(yōu)化方法_第4頁(yè)
用導(dǎo)數(shù)優(yōu)化方法_第5頁(yè)
已閱讀5頁(yè)，還剩9頁(yè)未讀， 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

2011年12月1日大連海事大學(xué)

任光基于導(dǎo)數(shù)的優(yōu)化算法優(yōu)化:永恒的主題杜麗應(yīng)用系統(tǒng)與優(yōu)化的理論拿到金牌永恒的主題沒有選擇就沒有繁榮人生就是選擇(Lifeischoice),有選擇就有優(yōu)化第二部分優(yōu)化一、基本概念人類的發(fā)展過程就是優(yōu)化過程學(xué)習(xí)和工作過程也是優(yōu)化過程按優(yōu)化問題分有兩大類組合優(yōu)化函數(shù)優(yōu)化按優(yōu)化方法分為基于性能指標(biāo)的導(dǎo)數(shù)不用性能指標(biāo)的導(dǎo)數(shù)二、問題Q(w):Rn

R二次可微函數(shù)求：使Q(w)取得極小值的w*。QwW*迭代方法（數(shù)值法）最速下降法Q(w)---可以看作神經(jīng)網(wǎng)絡(luò)的性能指標(biāo)w---為網(wǎng)絡(luò)連接權(quán)

函數(shù)f(x)在x=x0處有任意階導(dǎo)數(shù)，則f(x)在x=x0處可展開成Taylor級(jí)數(shù)多變量Q(w+△w)對(duì)△w求導(dǎo)，簡(jiǎn)記為Q(w)，以3維空間為例Q`(w)為Q(w)變化的最大方向，長(zhǎng)度就是變化的最大值三、基礎(chǔ)知識(shí)這個(gè)算子稱為Hamilton算子，這個(gè)矩陣稱為Hessian陣同理可推廣到n維空間

對(duì)Q(w)的二階導(dǎo)數(shù)為四、解法已知初值w和Q(w)尋求△w

使得Q(w+△w)<Q(w)解題思想從w開始，向前走一步w+△w，結(jié)果使得Q(w+△w)值降低QwW*利用Taylor級(jí)數(shù)展開，取Q(w+△w)的近似值，尋找滿足要求的

式中：一階導(dǎo)數(shù)，梯度

Gradient

二階導(dǎo)數(shù)，HessianMatrix目標(biāo)是選取△w使得Q(w+△w)

min,取得極小值將Q(w)近似成二階函數(shù)選取△w使得Q(w+△w)

min,取得極小值討論（1）尋優(yōu)效率取決Q(w)的形式（2）n很大時(shí)求逆困難，這一項(xiàng)的實(shí)際意義是步長(zhǎng)。（3）實(shí)際應(yīng)用中不求逆，令得到實(shí)用簡(jiǎn)化算法：α為步長(zhǎng)（學(xué)習(xí)率）；-▽Q（w）為方向（負(fù)梯

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽，若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間，僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理，對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容，請(qǐng)與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論