梯度下降法-Gradient-Descent(共2頁)

1、1. 梯度下降法 (Gradient descent)梯度下降法，通常也叫最速下降法(steepest descent)，基于這樣一個(gè)事實(shí)：如果實(shí)值函數(shù) f(x) 在點(diǎn)x處且有定義，那么函數(shù) f(x) 在 x點(diǎn)沿著負(fù)梯度(的反方向)下降最快。假設(shè)x是一個(gè)向量，考慮f(x) 的泰勒展開式：如果想要函數(shù)值下降，則要。如果想要下降的最快，則需要取最小值，即，也就是說，此時(shí)x的變化方向(的方向)跟梯度的方向恰好相反。梯度法迭代公式：那么步長如何選取呢？的確，很難選擇一個(gè)合適的固定值，如果較小，會收斂很慢；如果較大，可能有時(shí)候會跳過最優(yōu)點(diǎn)，甚至

2、導(dǎo)致函數(shù)值增大；因此，最好選擇一個(gè)變化的步長，在離最優(yōu)點(diǎn)較遠(yuǎn)的時(shí)候，步長大一點(diǎn)，離最優(yōu)點(diǎn)較近的時(shí)候，步長小一點(diǎn)。 一個(gè)不錯(cuò)的選擇是，于是牛頓迭代公式變?yōu)椋?，此時(shí)是一個(gè)固定值，稱為學(xué)習(xí)率，通常取0.1，該方法稱為固定學(xué)習(xí)率的梯度下降法。另外，我們也可以通過一維搜索來確定最優(yōu)步長。1.1 梯度下降法的一般步驟：Step1 給定初始點(diǎn), 迭代精度，k=0. Step2 計(jì)算，如果,停止；否則，計(jì)算搜索方向Step3 計(jì)算最優(yōu)步長 ；Step4 更新迭代點(diǎn)，令, 轉(zhuǎn)step2。 初始點(diǎn)的選?。涸O(shè)，對每一個(gè)分量分別獨(dú)立取值梯度下降法簡單，計(jì)算量小，僅僅需要求一階導(dǎo)數(shù)，對初始點(diǎn)也沒有特殊要求，具有整體收斂

3、性。采用精確線搜索的梯度下降法的收斂速度為線性。精確線搜索滿足的一階必要條件，得，由最速下降法得，因此有，即：相鄰兩次的搜索方向是相互直交的（投影到二維平面上，就是鋸齒形狀了）。最后，我們討論一個(gè)問題，這個(gè)所謂的最速下降法真的是“最快速”的嗎？其實(shí)，它只是局部范圍內(nèi)具有最快速性質(zhì),對整體求解過程而言，它的下降非常緩慢。例如, 我們來看一個(gè)常被用來作為最優(yōu)化算法的performance test函數(shù)：函數(shù)，它在點(diǎn) (1,1) 處取得最小值0。此函數(shù)具有狹窄彎曲的山谷，最小值(1,1) 就在這些山谷之中，并且谷底很平。優(yōu)化過程是之字形的向極小值點(diǎn)靠近，速度非常緩慢（"

4、之字型"下降，越靠近極小點(diǎn)下降越緩慢）。1.2 批量梯度法 VS 隨機(jī)梯度法梯度下降法每次更新都要對全體樣本重新計(jì)算整個(gè)梯度，這種方法叫做批量梯度法(Batch Gradient Descent)，當(dāng)樣本點(diǎn)很多時(shí)，這種方法速度很慢；于是，人們不再追求精確計(jì)算梯度方向，而是采取一種近似計(jì)算的思想，每次只利用一個(gè)訓(xùn)練樣本計(jì)算梯度，來更新x，這種方法叫做隨機(jī)梯度法（Stochastic Gradient Descent）。 需要特別注意的一點(diǎn)是，隨機(jī)梯度法最后的最優(yōu)值不是計(jì)算過程中的任何一個(gè)(注意不是最后一個(gè)哦), 而是計(jì)算過程中所有的平均值(各分量分別求平均值)，即。通常，SGD能比BGD更快地收斂到最優(yōu)點(diǎn)，因此更適合大數(shù)據(jù)的計(jì)算。然而，對SGD而言，選擇一個(gè)合適的終止條件是比較困難的。一個(gè)可選的