版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、2.人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò) Artificial Neural Networks2.1 人工神經(jīng)網(wǎng)絡(luò)的提出人工神經(jīng)網(wǎng)絡(luò)的提出 人工神經(jīng)網(wǎng)絡(luò)(人工神經(jīng)網(wǎng)絡(luò)(ANN),是對(duì)人類大腦系統(tǒng)的一),是對(duì)人類大腦系統(tǒng)的一階特性的一種描述。簡(jiǎn)單地講,它是一個(gè)階特性的一種描述。簡(jiǎn)單地講,它是一個(gè)數(shù)學(xué)模數(shù)學(xué)模型型,可以用,可以用電子線路電子線路來(lái)實(shí)現(xiàn),也可以用來(lái)實(shí)現(xiàn),也可以用計(jì)算機(jī)程計(jì)算機(jī)程序序來(lái)模擬,是人工智能研究的一種方法。來(lái)模擬,是人工智能研究的一種方法。 人工智能人工智能:研究如何使類似計(jì)算機(jī)這樣的設(shè)備去:研究如何使類似計(jì)算機(jī)這樣的設(shè)備去模擬人類認(rèn)識(shí)客觀事物和運(yùn)用知識(shí)解決問(wèn)題的能模擬人類認(rèn)識(shí)客觀事物和
2、運(yùn)用知識(shí)解決問(wèn)題的能力。力。2.2 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn) 大規(guī)模的復(fù)雜系統(tǒng),有大量可供調(diào)節(jié)的參數(shù);大規(guī)模的復(fù)雜系統(tǒng),有大量可供調(diào)節(jié)的參數(shù); 高度并行的處理機(jī)制,具有高速運(yùn)算的能力;高度并行的處理機(jī)制,具有高速運(yùn)算的能力; 高度分散的存儲(chǔ)方式,具有全息聯(lián)想的特征;高度分散的存儲(chǔ)方式,具有全息聯(lián)想的特征; 高度靈活可變的拓?fù)浣Y(jié)構(gòu),具有很強(qiáng)的適應(yīng)能力;高度靈活可變的拓?fù)浣Y(jié)構(gòu),具有很強(qiáng)的適應(yīng)能力;高度冗余的組織方式,具有很好的堅(jiān)韌性;高度冗余的組織方式,具有很好的堅(jiān)韌性; 高度的非線性運(yùn)算,通過(guò)訓(xùn)練和學(xué)習(xí)來(lái)獲得網(wǎng)絡(luò)高度的非線性運(yùn)算,通過(guò)訓(xùn)練和學(xué)習(xí)來(lái)獲得網(wǎng)絡(luò)的權(quán)值與結(jié)構(gòu),具有很強(qiáng)的自學(xué)習(xí)
3、能力和對(duì)環(huán)境的權(quán)值與結(jié)構(gòu),具有很強(qiáng)的自學(xué)習(xí)能力和對(duì)環(huán)境的適應(yīng)能力;的適應(yīng)能力; 高度的集體協(xié)同計(jì)算,模擬處理與數(shù)字處理并存。高度的集體協(xié)同計(jì)算,模擬處理與數(shù)字處理并存。2.3 人工神經(jīng)元人工神經(jīng)元 神經(jīng)元神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的最基本單元。是構(gòu)成神經(jīng)網(wǎng)絡(luò)的最基本單元。 1943年,神經(jīng)生理學(xué)家McCulloch(麥克洛奇)和數(shù)學(xué)家Pitts(皮茲)定義了神經(jīng)元模型M-P模型(世界第一個(gè)神世界第一個(gè)神經(jīng)計(jì)算模型經(jīng)計(jì)算模型)。 f:階躍函數(shù) 輸入向量: 權(quán)值向量:閾值: 輸出: 其中: 稱為激活函數(shù) )(21nxxxX,)(21nwwwW,niiixwfy1)(0001)(xxxf 激活函數(shù)激活函數(shù)
4、執(zhí)行對(duì)該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入執(zhí)行對(duì)該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換,也可以稱為激勵(lì)函數(shù)、活化函數(shù)、響應(yīng)的變換,也可以稱為激勵(lì)函數(shù)、活化函數(shù)、響應(yīng)函數(shù)、作用函數(shù)等函數(shù)、作用函數(shù)等。 MP 神經(jīng)元模型是人工神經(jīng)元模型的基礎(chǔ),神經(jīng)元模型是人工神經(jīng)元模型的基礎(chǔ),也是神經(jīng)網(wǎng)絡(luò)理論的基礎(chǔ)。在神經(jīng)元模型中,激也是神經(jīng)網(wǎng)絡(luò)理論的基礎(chǔ)。在神經(jīng)元模型中,激活函數(shù)除了單位階躍函數(shù)之外,還有其它形式?;詈瘮?shù)除了單位階躍函數(shù)之外,還有其它形式。不同的作用函數(shù),可構(gòu)成不同的神經(jīng)元模型。不同的作用函數(shù),可構(gòu)成不同的神經(jīng)元模型。(1)對(duì)稱型)對(duì)稱型Sigmoid函數(shù)函數(shù) xxeexf11)(0,11)(xxeexf或或(2)
5、非對(duì)稱型)非對(duì)稱型Sigmoid函數(shù)函數(shù)xexf11)(或或0,11)(xexf(3)對(duì)稱型階躍函數(shù)函數(shù))對(duì)稱型階躍函數(shù)函數(shù)0,10,1)(xxxf采用階躍作用函數(shù)的神經(jīng)元,稱為閾值邏輯單元。采用階躍作用函數(shù)的神經(jīng)元,稱為閾值邏輯單元。 (4)線性函數(shù))線性函數(shù) 1 1)線性作用函數(shù):輸出等于輸入,即)線性作用函數(shù):輸出等于輸入,即 xxfy)(2 2)飽和線性作用函數(shù))飽和線性作用函數(shù) 110010)(xxxxxfy3 3)對(duì)稱飽和線性作用函數(shù))對(duì)稱飽和線性作用函數(shù) 111111)(xxxxxfy(5)高斯函數(shù))高斯函數(shù) )(22)(xexf反映出高斯函數(shù)的寬度反映出高斯函數(shù)的寬度 2.4人
6、工神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu) 目前,神經(jīng)網(wǎng)絡(luò)模型的種類比較多,已有近目前,神經(jīng)網(wǎng)絡(luò)模型的種類比較多,已有近4040余余種神經(jīng)網(wǎng)絡(luò)模型,其中典型的有種神經(jīng)網(wǎng)絡(luò)模型,其中典型的有BPBP網(wǎng)絡(luò)網(wǎng)絡(luò)、HopfieldHopfield網(wǎng)絡(luò)網(wǎng)絡(luò)。 根據(jù)神經(jīng)元的拓?fù)浣Y(jié)構(gòu)形式不同,神經(jīng)網(wǎng)絡(luò)已有根據(jù)神經(jīng)元的拓?fù)浣Y(jié)構(gòu)形式不同,神經(jīng)網(wǎng)絡(luò)已有十余種不用的連接方式,其中十余種不用的連接方式,其中前饋型網(wǎng)絡(luò)前饋型網(wǎng)絡(luò)和和反饋反饋型網(wǎng)絡(luò)型網(wǎng)絡(luò)是最典型的兩種結(jié)構(gòu)。是最典型的兩種結(jié)構(gòu)。(1 1)前饋型神經(jīng)網(wǎng)絡(luò))前饋型神經(jīng)網(wǎng)絡(luò) 神經(jīng)元分層排列,順序連接。由輸入層施加輸入信息,神經(jīng)元分層排列,順序連接。由輸入層施加輸
7、入信息,通過(guò)中間各層,加權(quán)后傳遞到輸出層后輸出。每層的神通過(guò)中間各層,加權(quán)后傳遞到輸出層后輸出。每層的神經(jīng)元只接受前一層神經(jīng)元的輸入,各神經(jīng)元之間不存在經(jīng)元只接受前一層神經(jīng)元的輸入,各神經(jīng)元之間不存在反饋。反饋。(2 2)反饋型神經(jīng)網(wǎng)絡(luò))反饋型神經(jīng)網(wǎng)絡(luò) 網(wǎng)絡(luò)的輸出信號(hào)通過(guò)與輸入連接而返回到輸入端,從而網(wǎng)絡(luò)的輸出信號(hào)通過(guò)與輸入連接而返回到輸入端,從而形成一個(gè)回路。因此每一時(shí)刻網(wǎng)絡(luò)輸出不僅取決于當(dāng)前形成一個(gè)回路。因此每一時(shí)刻網(wǎng)絡(luò)輸出不僅取決于當(dāng)前的輸入,而且還取決于上一時(shí)刻的輸出。的輸入,而且還取決于上一時(shí)刻的輸出。2.5 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí) 人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點(diǎn)是它的
8、學(xué)習(xí)能人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點(diǎn)是它的學(xué)習(xí)能力。力。1962年,年,Rosenblatt給出了人工神經(jīng)網(wǎng)絡(luò)著給出了人工神經(jīng)網(wǎng)絡(luò)著名的學(xué)習(xí)定理:人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)它可以表名的學(xué)習(xí)定理:人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)它可以表達(dá)的任何東西。達(dá)的任何東西。(2)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則 聯(lián)想式學(xué)習(xí)聯(lián)想式學(xué)習(xí) Hebb學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則 誤差糾正式學(xué)習(xí)誤差糾正式學(xué)習(xí)Delta ()學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則 (1)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式n有導(dǎo)師(監(jiān)督)學(xué)習(xí)方式有導(dǎo)師(監(jiān)督)學(xué)習(xí)方式n無(wú)導(dǎo)師(監(jiān)督)學(xué)習(xí)方式無(wú)導(dǎo)師(監(jiān)督)學(xué)習(xí)方式 人工神經(jīng)網(wǎng)絡(luò)連接權(quán)的確定通常有兩種方法 根據(jù)具體要求,直接計(jì)算 通
9、過(guò)學(xué)習(xí)得到的,大多數(shù)人工神經(jīng)網(wǎng)絡(luò)都采用這種方法 n學(xué)習(xí)是改變各神經(jīng)元連接權(quán)值的有效方法,也是體現(xiàn)人工神經(jīng)網(wǎng)絡(luò)智能特性最主要的標(biāo)志。離開(kāi)了學(xué)習(xí),神經(jīng)網(wǎng)絡(luò)就失去了其自適應(yīng)、自組織能力學(xué)習(xí)方法是人工神經(jīng)網(wǎng)絡(luò)研究中的核心問(wèn)題學(xué)習(xí)方法是人工神經(jīng)網(wǎng)絡(luò)研究中的核心問(wèn)題1 1)有導(dǎo)師學(xué)習(xí)方式)有導(dǎo)師學(xué)習(xí)方式特點(diǎn):特點(diǎn):不能保證得到全局最優(yōu)解不能保證得到全局最優(yōu)解要求大量訓(xùn)練樣本,收斂速度慢要求大量訓(xùn)練樣本,收斂速度慢對(duì)樣本的表示次序變化比較敏感對(duì)樣本的表示次序變化比較敏感 神經(jīng)網(wǎng)絡(luò)根據(jù)神經(jīng)網(wǎng)絡(luò)根據(jù)實(shí)際輸出與期望輸出的偏差實(shí)際輸出與期望輸出的偏差,按照一定的,按照一定的準(zhǔn)則調(diào)整各神經(jīng)元連接的權(quán)系數(shù)。期望輸出又稱
10、為導(dǎo)師信準(zhǔn)則調(diào)整各神經(jīng)元連接的權(quán)系數(shù)。期望輸出又稱為導(dǎo)師信號(hào),是評(píng)價(jià)學(xué)習(xí)的標(biāo)準(zhǔn)。號(hào),是評(píng)價(jià)學(xué)習(xí)的標(biāo)準(zhǔn)。(1 1)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式 無(wú)導(dǎo)師信號(hào)提供給網(wǎng)絡(luò),神經(jīng)網(wǎng)絡(luò)僅僅根據(jù)其輸入無(wú)導(dǎo)師信號(hào)提供給網(wǎng)絡(luò),神經(jīng)網(wǎng)絡(luò)僅僅根據(jù)其輸入調(diào)整連接權(quán)系數(shù)和閾值,此時(shí),網(wǎng)絡(luò)的學(xué)習(xí)評(píng)價(jià)標(biāo)準(zhǔn)隱調(diào)整連接權(quán)系數(shù)和閾值,此時(shí),網(wǎng)絡(luò)的學(xué)習(xí)評(píng)價(jià)標(biāo)準(zhǔn)隱含于內(nèi)部。這種學(xué)習(xí)方式主要完成聚類操作。含于內(nèi)部。這種學(xué)習(xí)方式主要完成聚類操作。 2 2)無(wú)導(dǎo)師學(xué)習(xí)方式)無(wú)導(dǎo)師學(xué)習(xí)方式n心理學(xué)家心理學(xué)家Hebb根據(jù)生理學(xué)中的條件反射機(jī)理,于根據(jù)生理學(xué)中的條件反射機(jī)理,于1949年年提出的神經(jīng)元連接強(qiáng)度變化的規(guī)則:提出的神經(jīng)元連
11、接強(qiáng)度變化的規(guī)則:q如果兩個(gè)神經(jīng)元同時(shí)興奮如果兩個(gè)神經(jīng)元同時(shí)興奮(即同時(shí)被激活即同時(shí)被激活),則它們之,則它們之間的突觸連接加強(qiáng)間的突觸連接加強(qiáng) 。q根據(jù)該假設(shè)定義的權(quán)值調(diào)整方法稱為根據(jù)該假設(shè)定義的權(quán)值調(diào)整方法稱為Hebb學(xué)習(xí)規(guī)則,學(xué)習(xí)規(guī)則,可歸納為:當(dāng)神經(jīng)元可歸納為:當(dāng)神經(jīng)元i和神經(jīng)元和神經(jīng)元j同時(shí)處于興奮狀態(tài)時(shí),同時(shí)處于興奮狀態(tài)時(shí),兩者之間的連接強(qiáng)度應(yīng)增強(qiáng)。兩者之間的連接強(qiáng)度應(yīng)增強(qiáng)。1 1)聯(lián)想式學(xué)習(xí))聯(lián)想式學(xué)習(xí) Hebb Hebb學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則Hebb學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的基本規(guī)則,幾乎所學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的基本規(guī)則,幾乎所有神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則都可以看作有神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)
12、則都可以看作Hebb學(xué)習(xí)規(guī)則的變形學(xué)習(xí)規(guī)則的變形(2 2)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則2 2)糾錯(cuò)式學(xué)習(xí))糾錯(cuò)式學(xué)習(xí) Delta() Delta()學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則 首先我們考慮一個(gè)簡(jiǎn)單的情況:設(shè)某神經(jīng)網(wǎng)絡(luò)的輸首先我們考慮一個(gè)簡(jiǎn)單的情況:設(shè)某神經(jīng)網(wǎng)絡(luò)的輸出層中只有一個(gè)神經(jīng)元出層中只有一個(gè)神經(jīng)元i,給該神經(jīng)網(wǎng)絡(luò)加上輸入,這樣,給該神經(jīng)網(wǎng)絡(luò)加上輸入,這樣就產(chǎn)生了輸出就產(chǎn)生了輸出yi(n),稱該輸出為,稱該輸出為實(shí)際輸出實(shí)際輸出。 對(duì)于所加上的輸入,我們期望該神經(jīng)網(wǎng)絡(luò)的輸出為對(duì)于所加上的輸入,我們期望該神經(jīng)網(wǎng)絡(luò)的輸出為d(n),稱為稱為期望輸出期望輸出或或目標(biāo)輸出目標(biāo)輸出(樣本對(duì)里面包含輸
13、入和(樣本對(duì)里面包含輸入和期望輸出)。實(shí)際輸出與期望輸出之間存在著誤差,用期望輸出)。實(shí)際輸出與期望輸出之間存在著誤差,用e(n)表示:表示:( )= ( )- ( )ie nd n y n 現(xiàn)在要調(diào)整權(quán)值,使誤差信號(hào)現(xiàn)在要調(diào)整權(quán)值,使誤差信號(hào)e(n)減小到一個(gè)范圍。減小到一個(gè)范圍。為此,可設(shè)定代價(jià)函數(shù)或性能指數(shù)為此,可設(shè)定代價(jià)函數(shù)或性能指數(shù)E(n):21( )=( )2E ne n 反復(fù)調(diào)整連接權(quán)值使代價(jià)函數(shù)達(dá)到最小或者使系統(tǒng)達(dá)反復(fù)調(diào)整連接權(quán)值使代價(jià)函數(shù)達(dá)到最小或者使系統(tǒng)達(dá)到一個(gè)穩(wěn)定狀態(tài)(即連接權(quán)值穩(wěn)定不變),就完成了該學(xué)到一個(gè)穩(wěn)定狀態(tài)(即連接權(quán)值穩(wěn)定不變),就完成了該學(xué)習(xí)過(guò)程。習(xí)過(guò)程。 該
14、學(xué)習(xí)過(guò)程成為糾錯(cuò)學(xué)習(xí),或該學(xué)習(xí)過(guò)程成為糾錯(cuò)學(xué)習(xí),或Delta學(xué)習(xí)規(guī)則。學(xué)習(xí)規(guī)則。 wij 表示神經(jīng)元表示神經(jīng)元xi到到xj學(xué)的連接權(quán)值,在學(xué)習(xí)步驟為學(xué)的連接權(quán)值,在學(xué)習(xí)步驟為n時(shí)時(shí)對(duì)突觸權(quán)值的調(diào)整為:對(duì)突觸權(quán)值的調(diào)整為:( )=( )( )ijjw ne n x n學(xué)習(xí)速學(xué)習(xí)速率參數(shù)率參數(shù)則則(1)=( )+( )ijijijw nw nw n2.6 BP網(wǎng)絡(luò)網(wǎng)絡(luò) 誤差反向傳播網(wǎng)絡(luò)誤差反向傳播網(wǎng)絡(luò)(Error Back-Propagation Network,BP網(wǎng)絡(luò))是網(wǎng)絡(luò))是Rumelhart等人于等人于1985年提年提出的,是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋出的,是一種按誤差逆?zhèn)鞑ニ惴?/p>
15、訓(xùn)練的多層前饋型網(wǎng)絡(luò),是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型。型網(wǎng)絡(luò),是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型。BP網(wǎng)絡(luò)主要用于:(1)函數(shù)逼近:用輸入矢量和相應(yīng)的輸出矢量訓(xùn)練網(wǎng)絡(luò)逼近某個(gè)函數(shù);(2)模式識(shí)別:用一個(gè)特定的輸出矢量將它與輸入矢量聯(lián)系起來(lái);(3)分類:把輸入矢量以所定義的合適的方法進(jìn)行分類;(4)數(shù)據(jù)壓縮:減少輸出矢量維數(shù)以便于傳輸或存儲(chǔ)。 在人工神經(jīng)網(wǎng)絡(luò)的實(shí)際工程應(yīng)用中,特別在自動(dòng)控制領(lǐng)域中,大多數(shù)神經(jīng)網(wǎng)絡(luò)模型是采用BP網(wǎng)絡(luò)或它的變化形式,它也是前向網(wǎng)絡(luò)的核心部分,體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)最精華的部分。BP網(wǎng)絡(luò)的結(jié)構(gòu)網(wǎng)絡(luò)的結(jié)構(gòu)輸入向量、輸出向量的維數(shù)、網(wǎng)絡(luò)隱含層的層數(shù)和輸入向量、輸出向量的維數(shù)、網(wǎng)絡(luò)隱
16、含層的層數(shù)和各個(gè)隱含層神經(jīng)元個(gè)數(shù)的決定。各個(gè)隱含層神經(jīng)元個(gè)數(shù)的決定。實(shí)驗(yàn):增加隱藏層的層數(shù)和隱藏層神經(jīng)元個(gè)數(shù)不一實(shí)驗(yàn):增加隱藏層的層數(shù)和隱藏層神經(jīng)元個(gè)數(shù)不一定總能夠提高網(wǎng)絡(luò)精度和表達(dá)能力。定總能夠提高網(wǎng)絡(luò)精度和表達(dá)能力。BPBP網(wǎng)一般都選用三層網(wǎng)絡(luò)。網(wǎng)一般都選用三層網(wǎng)絡(luò)。BP網(wǎng)絡(luò)學(xué)習(xí)流程圖網(wǎng)絡(luò)學(xué)習(xí)流程圖計(jì)算過(guò)程計(jì)算過(guò)程(1)正向傳播輸出過(guò)程)正向傳播輸出過(guò)程 設(shè)BP網(wǎng)絡(luò)的輸入層有n個(gè)節(jié)點(diǎn),隱含層有q個(gè)節(jié)點(diǎn),輸出層有m個(gè)節(jié)點(diǎn);輸入層與隱含層之間的權(quán)值為 ,隱含層與輸出層之間的權(quán)值為 ;隱含層單元的閾值為 ,輸出層單元的閾值為 ;隱含層和輸出層的激活函數(shù)為S型函數(shù)。則隱含層節(jié)點(diǎn)的輸出為:輸出層節(jié)點(diǎn)
17、的輸出為:ijwjkvjk1()njijijizfw x1,2,jq1()qkjkjkjyfv z1,2,km通過(guò)上兩式,可計(jì)算出一個(gè)輸入模式的傳播過(guò)程。(2)反向傳播調(diào)整過(guò)程)反向傳播調(diào)整過(guò)程1)誤差函數(shù)定義輸入P個(gè)學(xué)習(xí)樣本:第p個(gè)樣本輸入到網(wǎng)絡(luò)后得到輸出采用平方型誤差函數(shù),于是得到第p個(gè)樣本的誤差 :式中, 為期望輸出。對(duì)于P個(gè)樣本,全局誤差為:12,Px xxpky1,2,kmpE211()2mpppkkkEtypkt21111()2PPmpppkkppkEEty2)輸出層權(quán)值和閾值的變化采用累計(jì)誤差BP算法調(diào)整 ,使全局誤差E變小,即 為學(xué)習(xí)速率jkvjkjkEvv 輸出層各神經(jīng)元的權(quán)
18、值調(diào)整公式為:輸出層各神經(jīng)元的閾值調(diào)整公式為:11()()PmpppjkkkkjpkvtyfSz11()()PmpppkkkkpktyfS3)隱含層權(quán)值和閾值的變化采用累計(jì)誤差BP算法調(diào)整 ,使全局誤差E變小,即 為學(xué)習(xí)速率ij隱含層各神經(jīng)元的權(quán)值調(diào)整公式為:隱含層各神經(jīng)元的閾值調(diào)整公式為:ijijEww 11()()()PmppppijkkkjkjipkwtyfSvfSx11()()()PmppppjkkkjkjpktyfSv fS(3)循環(huán)記憶訓(xùn)練)循環(huán)記憶訓(xùn)練為使網(wǎng)絡(luò)的輸出誤差趨于極小值,對(duì)于BP網(wǎng)絡(luò)輸入的每一組訓(xùn)練模式,一般要經(jīng)過(guò)數(shù)百次甚至上萬(wàn)次的循環(huán)記憶訓(xùn)練,才能使網(wǎng)絡(luò)記住這一模式。
19、這種循環(huán)記憶訓(xùn)練實(shí)際上就是反復(fù)前兩步的正向傳播輸出過(guò)程和反向傳播調(diào)整過(guò)程。(4)學(xué)習(xí)結(jié)果的判別)學(xué)習(xí)結(jié)果的判別當(dāng)每次循環(huán)記憶訓(xùn)練結(jié)束后,都要進(jìn)行學(xué)習(xí)結(jié)果的判別。判別的目的主要是檢查輸出誤差是否已經(jīng)小到允許的程度。如果小到了允許的程度,就可以結(jié)束整個(gè)學(xué)習(xí)過(guò)程,否則還要進(jìn)行循環(huán)訓(xùn)練。學(xué)習(xí)或者說(shuō)訓(xùn)練的過(guò)程是網(wǎng)絡(luò)全局誤差趨向于極小值的過(guò)程。 2.7 BP網(wǎng)絡(luò)網(wǎng)絡(luò)的改進(jìn)的改進(jìn) (1)BP網(wǎng)絡(luò)的不足網(wǎng)絡(luò)的不足1 1)需要較長(zhǎng)的訓(xùn)練時(shí)間需要較長(zhǎng)的訓(xùn)練時(shí)間對(duì)于一些復(fù)雜的問(wèn)題,BP算法可能要進(jìn)行幾小時(shí)甚至更長(zhǎng)時(shí)間的訓(xùn)練,這主要是由學(xué)習(xí)速率太小所造成的,可采用變化的學(xué)習(xí)速率或自適應(yīng)的學(xué)習(xí)速率來(lái)加以改進(jìn)。2)不能完
20、全訓(xùn)練)不能完全訓(xùn)練在網(wǎng)絡(luò)的訓(xùn)練過(guò)程中,當(dāng)其權(quán)值調(diào)得過(guò)大,可能使得所有的或大部分神經(jīng)元的加權(quán)總和偏大,這使得激活函數(shù)的輸入工作在S型轉(zhuǎn)移函數(shù)的飽和區(qū),導(dǎo)致梯度變化率非常小,從而使得對(duì)網(wǎng)絡(luò)權(quán)值的調(diào)節(jié)過(guò)程幾乎停頓下來(lái),通常為了避免這種現(xiàn)象的發(fā)生,一是選取較小的初始權(quán)值,二是采用較小的學(xué)習(xí)速率,這勢(shì)必增加網(wǎng)絡(luò)的訓(xùn)練時(shí)間。3)容易陷入局部極小值)容易陷入局部極小值BP算法采用的是梯度下降法,訓(xùn)練是從某一起始點(diǎn)沿誤差函數(shù)的斜面逐漸達(dá)到誤差的最小值。對(duì)于復(fù)雜的網(wǎng)絡(luò),其誤差函數(shù)為多維空間的曲面,因而在訓(xùn)練過(guò)程中可能陷入某一小谷區(qū),而這一小谷區(qū)產(chǎn)生的是一個(gè)局部極小值。由此點(diǎn)向各方向變化均使誤差增加,以致于使訓(xùn)
21、練無(wú)法逃出這一局部極小值。4)結(jié)構(gòu)不確定性)結(jié)構(gòu)不確定性網(wǎng)絡(luò)隱含層的層數(shù)及單元數(shù)的選取無(wú)理論上的指導(dǎo),而是根據(jù)經(jīng)驗(yàn)確定的,因此網(wǎng)絡(luò)的設(shè)計(jì)有時(shí)不是最佳的。(2)常用改進(jìn)方法)常用改進(jìn)方法1)自適應(yīng)學(xué)習(xí)速率法)自適應(yīng)學(xué)習(xí)速率法( )(1)( )(1)( )(1)( )( )(1)( )incdecktE tE ttktE tE ttE tE t學(xué)習(xí)率增量因子1inck學(xué)習(xí)率減量因子01deck2)附加動(dòng)量法)附加動(dòng)量法附加動(dòng)量法是在梯度下降法的基礎(chǔ)上引入動(dòng)量系數(shù)。(1)( )(1)Ew tw tw網(wǎng)絡(luò)學(xué)習(xí)的過(guò)程就是修改權(quán)值的過(guò)程,該算法是以前一次的修正結(jié)果來(lái)影響本次修正量,當(dāng)前一次的修正量過(guò)大時(shí),
22、式中第二項(xiàng)的符號(hào)將與前一次修正量的符號(hào)相反,從而使本次的修正量減小,起到減小振蕩的作用;當(dāng)前一次的修正量過(guò)小時(shí),式中第二項(xiàng)的符號(hào)將與前一次修正量的符號(hào)相同,從而使本次的修正量增大,起到加速修正的作用。可見(jiàn),附加動(dòng)量法總是力圖使同一梯度方向上的修正量增加。這種方法加速了收斂速度,并在一定程度上減小了陷入局部極小點(diǎn)的概率。3)自適應(yīng)學(xué)習(xí)速率動(dòng)量)自適應(yīng)學(xué)習(xí)速率動(dòng)量BP法法該算法是將自適應(yīng)學(xué)習(xí)速率法和附加動(dòng)量法相結(jié)合,在網(wǎng)絡(luò)訓(xùn)練過(guò)程中,不但使學(xué)習(xí)速率根據(jù)局部誤差曲面做出不斷調(diào)整,而且利用動(dòng)量項(xiàng)使同一梯度方向上權(quán)值的修正量增加,起到加速修正的作用。其學(xué)習(xí)速率和附加動(dòng)量的調(diào)節(jié)公式分別為:( )(1)(
23、)(1)( )(1)( )( )(1)( )incdecktE tE ttktE tE ttE tE t(1)( )(1)Ew tw tw4)基于誤差自動(dòng)調(diào)節(jié)修正因子的自適應(yīng)學(xué)習(xí)速率法)基于誤差自動(dòng)調(diào)節(jié)修正因子的自適應(yīng)學(xué)習(xí)速率法 ( )( ) ( )01( )( ) ( )0 ( )0 incdeckaE ttE ttkbE ttE ttE t 5)彈性)彈性BP算法算法(1)(1)( ( )w tw tsign g t _w incw decw tksign g tw tksign g tw t ( )(1)( )E tE tg tww6)LM優(yōu)化法優(yōu)化法7)同倫)同倫BP算法算法l19821982年年, ,美國(guó)加州工學(xué)院美國(guó)加州工學(xué)院J.HopfieldJ.Hopfield提出了可用作聯(lián)提出了可用作聯(lián)想存儲(chǔ)器和優(yōu)化計(jì)算的反饋網(wǎng)絡(luò)想存儲(chǔ)器和優(yōu)化計(jì)算的反饋網(wǎng)絡(luò), ,這個(gè)網(wǎng)絡(luò)稱為這個(gè)網(wǎng)絡(luò)稱為HopfieldHopfield神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)(HNN)(HNN)模型模型, ,也稱也稱HopfieldHopfield模型模型. .HNNHNN是
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 四川省綿陽(yáng)市北川羌族自治縣2024-2025學(xué)年九年級(jí)上學(xué)期1月期末考試歷史試卷(含答案)
- 湖南省永州市道縣2024-2025學(xué)年八年級(jí)上學(xué)期期末考試物理試卷(含答案)
- 廣東省茂名市高州市2024-2025學(xué)年九年級(jí)上學(xué)期期末質(zhì)量監(jiān)測(cè)道德與法治試題(含答案)
- 2025年度倉(cāng)儲(chǔ)租賃及倉(cāng)儲(chǔ)信息化系統(tǒng)建設(shè)協(xié)議3篇
- 2024前臺(tái)工作計(jì)劃范本(30篇)
- 音頻通信知識(shí)培訓(xùn)課件
- 2025年度年度財(cái)務(wù)審計(jì)與合規(guī)審查合同3篇
- 2025年度廠房改造裝修與節(jié)能照明系統(tǒng)合同3篇
- 2024藥房員工特殊工種勞動(dòng)保護(hù)及職業(yè)健康合同3篇
- 2024物業(yè)管理承包經(jīng)營(yíng)合同書
- 2025福建中閩海上風(fēng)電限公司招聘14人高頻重點(diǎn)提升(共500題)附帶答案詳解
- 智能網(wǎng)聯(lián)汽車技術(shù)應(yīng)用專業(yè)國(guó)家技能人才培養(yǎng)工學(xué)一體化課程標(biāo)準(zhǔn)
- 政治-北京市朝陽(yáng)區(qū)2024-2025學(xué)年高三第一學(xué)期期末質(zhì)量檢測(cè)考試試題和答案
- 漢字文化解密學(xué)習(xí)通超星期末考試答案章節(jié)答案2024年
- 清華抬頭信紙
- 八年級(jí)心理健康教育《自控力——成功的標(biāo)尺》課件
- 施工現(xiàn)場(chǎng)節(jié)電方法
- 水利工程安全生產(chǎn)組織機(jī)構(gòu)
- 廣東省佛山市南海區(qū)人民法院
- 我縣教育發(fā)展面臨的問(wèn)題及對(duì)策建議
- 口腔修復(fù)學(xué)專業(yè)英語(yǔ)詞匯整理
評(píng)論
0/150
提交評(píng)論