計算智能-7BP理論基礎(chǔ)-梯度下降法.ppt_第1頁
計算智能-7BP理論基礎(chǔ)-梯度下降法.ppt_第2頁
計算智能-7BP理論基礎(chǔ)-梯度下降法.ppt_第3頁
計算智能-7BP理論基礎(chǔ)-梯度下降法.ppt_第4頁
計算智能-7BP理論基礎(chǔ)-梯度下降法.ppt_第5頁
已閱讀5頁，還剩8頁未讀， 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請進行舉報或認領(lǐng)

文檔簡介

梯度下降法,梯度下降法,又稱最速下降法。1847年由著名的數(shù)學(xué)家柯西Cauchy給出。,基本思想,假設(shè)我們爬山，如果想最快的上到山頂，那么我們應(yīng)該從山勢最陡的地方上山。也就是山勢變化最快的地方上山,同樣，如果從任意一點出發(fā)，需要最快搜索到函數(shù)最大值，那么我們也應(yīng)該從函數(shù)變化最快的方向搜索。,函數(shù)變化最快的方向是什么呢？,如果函數(shù)為一元函數(shù)，梯度就是該函數(shù)的導(dǎo)數(shù),函數(shù)的梯度。,梯度下降法,如果為二元函數(shù)，梯度定義為：,如果需要找的是函數(shù)極小點，那么應(yīng)該從負梯度的方向?qū)ふ?，該方法稱之為梯度下降法。,要搜索極小值C點，在A點必須向x增加方向搜索，此時與A點梯度方向相反；在B點必須向x減小方向搜索，此時與B點梯度方向相反?？傊?，搜索極小值，必須向負梯度方向搜索。,梯度下降法-步驟,假設(shè)函數(shù) 只有一個極小點。 初始給定參數(shù)為 。從這個點如何搜索才能找到原函數(shù)的極小值點？,方法：,1. 首先設(shè)定一個較小的正數(shù)，;,2. 求當(dāng)前位置處的各個偏導(dǎo)數(shù)：,3. 修改當(dāng)前函數(shù)的參數(shù)值，公式如下：,4. 如果參數(shù)變化量小于，退出；否則返回2。,梯度下降法,例1 任給一個初始出發(fā)點，設(shè)為x0=-4，利用梯度下降法求函數(shù)y=x2/2-2x的極小值。,(1) 首先給定兩個參數(shù)：,(2) 計算導(dǎo)數(shù)：,(3) 計算當(dāng)前導(dǎo)數(shù)值：,(4) 修改當(dāng)前參數(shù)：,(5) 計算當(dāng)前導(dǎo)數(shù)值：,(6) 修改當(dāng)前參數(shù)：,梯度下降法,(7) 計算當(dāng)前導(dǎo)數(shù)值：,(8) 修改當(dāng)前參數(shù)：,(9) 計算當(dāng)前導(dǎo)數(shù)值：,(10) 修改當(dāng)前參數(shù)：,(11)此時變化量滿足終止條件，終止。,梯度下降法,梯度下降法，要求E的極小點,取,梯度下降法,為學(xué)習(xí)率,所以,而其中的,且,所以,梯度下降法,且,所以：,令,梯度下降法,(1) 假設(shè)，oj為輸出層神經(jīng)元輸出,由于,梯度下降法,如果函數(shù)f為sigmoid函數(shù),此時，權(quán)值的調(diào)整公式為：,所以:,梯度下降法,(2) 假設(shè)，oj為隱含層神經(jīng)元輸出

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽，若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間，僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理，對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對任何下載內(nèi)容負責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容，請與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論