人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)

人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)人工神經(jīng)網(wǎng)絡(luò)是一種應(yīng)用類似于大腦神經(jīng)突觸聯(lián)接的結(jié)構(gòu)進(jìn)行信息處理的數(shù)學(xué)模型，由大量的神經(jīng)元之間相互聯(lián)接構(gòu)成，每?jī)蓚€(gè)神經(jīng)元間的連接都代表一個(gè)對(duì)于通過(guò)該連接信號(hào)的加權(quán)值反向傳播算法，使用梯度下降來(lái)調(diào)節(jié)網(wǎng)絡(luò)參數(shù)以最佳擬合由輸入-輸出對(duì)組成的訓(xùn)練集合先用樣本數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，它自動(dòng)地將輸出值與期望值進(jìn)行比較，得到誤差信號(hào)，再根據(jù)誤差信號(hào)，從后向前調(diào)節(jié)各神經(jīng)網(wǎng)絡(luò)層神經(jīng)元之間的連接強(qiáng)度，然后再進(jìn)行運(yùn)算，使誤差減小，再將新的輸出值與期望值進(jìn)行比較，得到新的比先前小的誤差信號(hào)，再根據(jù)較小的誤差信號(hào)，從后向前重新調(diào)節(jié)各神經(jīng)網(wǎng)絡(luò)層神經(jīng)元之間的連接強(qiáng)度，依此不斷地多次進(jìn)行，直到誤差滿足要求為止感知器感知器以一個(gè)實(shí)數(shù)值向量作為輸入，計(jì)算這些輸入的線性組合，如果結(jié)果大于某個(gè)閾值，就輸出1，否則輸出-1。其中每個(gè)wi是一個(gè)實(shí)數(shù)常量，或叫做權(quán)值，用來(lái)決定輸入xi對(duì)感知器輸出的貢獻(xiàn)率。特別地，-w0是閾值。f(v)x1x2xnX0=1w0w1w2wn附加一個(gè)常量輸入x0=1，前面的不等式寫(xiě)成或感知器的表征能力可以把感知器看作是n維實(shí)例空間（即點(diǎn)空間）中的超平面決策面對(duì)于超平面一側(cè)的實(shí)例，感知器輸出1，對(duì)于另一側(cè)的實(shí)例，輸出-1這個(gè)決策超平面方程是可以被某個(gè)超平面分割的樣例集合，稱為線性可分樣例集合感知器訓(xùn)練法則雖然我們的目的是學(xué)習(xí)由多個(gè)單元互連的網(wǎng)絡(luò)，但我們還是要從如何學(xué)習(xí)單個(gè)感知器的權(quán)值開(kāi)始單個(gè)感知器的學(xué)習(xí)任務(wù)，決定一個(gè)權(quán)向量，它可以使感知器對(duì)于給定的訓(xùn)練樣例輸出正確的1或-1我們主要考慮兩種算法感知器法則delta法則這兩種算法保證收斂到可接受的假設(shè)，在不同的條件下收斂到的假設(shè)略有不同這兩種算法提供了學(xué)習(xí)多個(gè)單元構(gòu)成的網(wǎng)絡(luò)的基礎(chǔ)感知器法則為得到可接受的權(quán)向量，一種辦法是從隨機(jī)的權(quán)值開(kāi)始，然后反復(fù)地應(yīng)用這個(gè)感知器到每個(gè)訓(xùn)練樣例，只要它誤分類樣例就修改感知器的權(quán)值。感知器法則：其中，t是當(dāng)前訓(xùn)練樣例的目標(biāo)輸出，o是感知器的輸出，η是一個(gè)正的常數(shù)稱為學(xué)習(xí)速率（0.1）delta法則delta法則克服感應(yīng)器法則的不足，在線性不可分的訓(xùn)練樣本上，收斂到目標(biāo)概念的最佳近似delta法則的關(guān)鍵思想是，使用梯度下降來(lái)搜索可能的權(quán)向量的假設(shè)空間，以找到最佳擬合訓(xùn)練樣例的權(quán)向量把delta訓(xùn)練法則理解為訓(xùn)練一個(gè)無(wú)閾值的感知器（一個(gè)線性單元）指定一個(gè)度量標(biāo)準(zhǔn)來(lái)衡量假設(shè)相對(duì)于訓(xùn)練樣例的訓(xùn)練誤差其中，D是訓(xùn)練樣例集合，是訓(xùn)練樣例d

的目標(biāo)輸出，是線性單元對(duì)訓(xùn)練樣例d的輸出經(jīng)貝葉斯論證，對(duì)于給定的訓(xùn)練數(shù)據(jù)使E最小化的假設(shè)也就是H中最可能的假設(shè)梯度下降搜索從一個(gè)任意的初始權(quán)向量開(kāi)始，然后沿誤差曲面最陡峭下降的方向，以很小的步伐反復(fù)修改這個(gè)向量，直到得到全局的最小誤差點(diǎn)梯度下降法則的推導(dǎo)如何發(fā)現(xiàn)沿誤差曲面最陡峭下降的方向？通過(guò)計(jì)算E相對(duì)向量的每個(gè)分量的導(dǎo)數(shù)，這個(gè)向量導(dǎo)數(shù)被稱為E對(duì)于的梯度，記作當(dāng)梯度被解釋為權(quán)空間的一個(gè)向量時(shí)，它確定了使E最陡峭上升的方向，所以這個(gè)向量的反方向給出了最陡峭下降的方向梯度訓(xùn)練法則

其中訓(xùn)練法則的分量形式：