第4章 人工神經網絡基礎課件_第1頁
第4章 人工神經網絡基礎課件_第2頁
第4章 人工神經網絡基礎課件_第3頁
第4章 人工神經網絡基礎課件_第4頁
第4章 人工神經網絡基礎課件_第5頁
已閱讀5頁,還剩30頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

第四章人工神經網絡基礎引言1生物神經元2人工神經元3人工神經網絡的模型分類41第4章人工神經網絡基礎第4.1節(jié)引言4.1.1人工神經網絡發(fā)展簡史4.1.2人工神經網絡的特性4.1.3人工神經網絡研究的基本內容2第4章人工神經網絡基礎第4.1節(jié)引言4.1.1人工神經網絡發(fā)展簡史4.1.2人工神經網絡的特性4.1.3人工神經網絡研究的基本內容3第4章人工神經網絡基礎4.1人工神經網絡發(fā)展簡史1943年1943-1969初創(chuàng)期

心理學家McCulloch和數學家Pitts提出形式神經元數學模型(MP模型),揭開神經科學理論的新時代。Hebb提出改變神經元連接強度的Hebb規(guī)則。

Rosenblatt提出感知器概念,由閾值型神經元組成,試圖模擬人的感知、學習能力。

Minsky與Papert發(fā)表《Perceptrons》。1944年1957年1969年4第4章人工神經網絡基礎4.1.1人工神經網絡發(fā)展簡史1982年1970-1986過渡期Hopfield提出了HNN模型,引入“計算能量函數”概念,給出網絡穩(wěn)定性判據。Boltzmann機提出,設計、研制電子電路,為工程實現(xiàn)指明方向。

Rumelhart等PDP(并行分布式處理)研究小組提出了多層前向傳播網絡的BP算法,開辟了NN的應用新途徑。1985年1986年5第4章人工神經網絡基礎4.1.1人工神經網絡發(fā)展簡史1987年1987-現(xiàn)在發(fā)展期美國圣地亞哥第一屆世界神經網絡會議。美國國防部高等研究工程局:發(fā)展NN及應用研究的8年計劃。NN的國際會議增多。IEEETrans.onNN創(chuàng)刊。

NN的模型有幾百個。基礎理論、模型與算法的研究。

1989年,廣東第一屆神經網絡-信號處理會議。

1990年開始,神經網絡學術會議,年會。90年代后國內情況6第4章人工神經網絡基礎第4.1節(jié)引言4.1.1人工神經網絡發(fā)展簡史4.1.2人工神經網絡的特性4.1.3人工神經網絡研究的基本內容7第4章人工神經網絡基礎4.1.2人工神經網絡的特性非線性映射近似任意非線性映射,適用于非線性辨識與控制。通過訓練具有歸納數據的能力,更適用于非模型描述的控制。

可在線運行和信息融合,適用于復雜、大規(guī)模和多變量系統(tǒng)的控制。

硬件實現(xiàn),神經網絡成為具有快速和大規(guī)模處理能力的實現(xiàn)網絡??蓪W習適應與集成硬件實現(xiàn)具有高度的并行結構和并行實現(xiàn)能力,適用于在線控制。并行性8第4章人工神經網絡基礎第4.1節(jié)引言4.1.1人工神經網絡發(fā)展簡史4.1.2人工神經網絡的特性4.1.3人工神經網絡研究的基本內容9第4章人工神經網絡基礎4.1.3人工神經網絡研究的基本內容理論研究應用研究實現(xiàn)研究單神經元數學模型神經網絡拓撲結構神經網絡學習算法神經網絡泛化能力神經網絡動力學圖像處理與識別語音信號處理與識別

數據的存儲與記憶

組合優(yōu)化

復雜系統(tǒng)控制硬件實現(xiàn)電路NN模型的通用硬件系統(tǒng)(神經網絡計算機)Matlab神經網絡工具箱10第4章人工神經網絡基礎4.2.1生物神經元的結構4.2.2生物神經元的信息處理機制第4.2節(jié)生物神經元11第4章人工神經網絡基礎來自其它細胞軸突的神經末稍軸突樹突細胞膜神經末稍來自其它細胞軸突的神經末稍軸突樹突突觸細胞膜神經末稍細胞體細胞核細胞體細胞核細胞質細胞膜樹突:胞體上短而多分支的突起,相當于神經元的輸入端,接收傳入的神經沖動。軸突(神經纖維):胞體上最長枝的突起,端部有很多神經末梢,傳出神經沖動。細胞膜電位:神經細胞在受到電的、化學的、機械的刺激后能產生興奮,此時細胞膜內外有電位差,稱為膜電位,其電位膜內為正,膜外為負。4.2.1生物神經元的結構12第4章人工神經網絡基礎來自其它細胞軸突的神經末稍軸突樹突細胞膜神經末稍來自其它細胞軸突的神經末稍軸突樹突突觸細胞膜神經末稍細胞體細胞核突觸:是神經元之間的連接接口。一個神經元,通過其軸突的神經末梢,經突觸與另一個神經元的樹突連接,以實現(xiàn)信息的傳遞。由于突觸的信息傳遞特性是可變的,隨著神經沖動傳遞方式的變化,傳遞作用強弱不同,形成了神經元之間連接的柔性,稱為結構的可塑性。4.2.1生物神經元的結構13第4章人工神經網絡基礎來自其它細胞軸突的神經末稍軸突樹突細胞膜神經末稍來自其它細胞軸突的神經末稍軸突樹突突觸細胞膜神經末稍細胞體細胞核興奮與抑制:若傳入神經元的沖動經整合后使細胞膜電位升高,超過動作電位的閾值時即為興奮狀態(tài),產生神經沖動,由軸突經神經末梢傳出;若傳入神經元的沖動經整合后使細胞膜電位降低,低于閾值時即為抑制狀態(tài),不產生神經沖動。學習與遺忘:由于神經元結構的可塑性,突觸的傳遞作用可增強與減弱,因此神經元具有學習與遺忘的功能。4.2.1生物神經元的結構14第4章人工神經網絡基礎4.2.2生物神經元的信息處理機制神經元形式化結構

神經元具有的特征1.時空整合空間整合時間整合時空整合輸入信號的影響會短時間地持續(xù),和后到達的輸入信號的影響同時起作用,也就是說,神經元對于不同時間通過同一突觸的輸入信號具有時間整合的功能。15第4章人工神經網絡基礎神經元具有的特征2.閾值特性神經元輸入和輸出是非線性的關系3.不應期無輸出信號。上升為無窮大。4.疲勞閾值慢慢增加時,神經元很難興奮5.突觸的可塑性突觸的結合強度會隨著輸入信號和輸出信號發(fā)生變化,使得神經細胞具有學習和記憶的能力6.輸出信號的種類離散的(脈沖信號);連續(xù)信號4.2.2生物神經元的信息處理機制16第4章人工神經網絡基礎第4.3節(jié)人工神經元4.3.1人工神經元的數學模型4.3.2人工神經元的激勵函數17第4章人工神經網絡基礎出發(fā)點:模擬生物神經元的結構和功能,從數學角度抽象出來一個基本單元。神經元模型:是生物神經元的抽象和模擬;是人工神經網絡的最基本組成部分;是一多輸入單輸出的非線性處理單元。神經網絡直觀理解:神經網絡是一個并行和分布式的信息處理網絡結構,它一般由許多個神經元組成,每個神經元只有一個輸出,它可以連接到很多其它的神經元,每個神經元輸入有多個連接通道,每個連接通道對應于一個連接權系數。引言18第4章人工神經網絡基礎

結構數學描述輸入:狀態(tài):輸出:通常有:則::閾值;:輸入信號,可理解為其它神經元的輸出;:從ui到xj的連接權值(注意其下標與方向);:外部輸入信號;:神經元的輸出4.3.1人工神經元的數學模型19第4章人工神經網絡基礎01f閾值型分段線性型4.3.2人工神經元的激勵函數20第4章人工神經網絡基礎Tan函數型T:比例因子,調整函數的上升坡度。T越大,f上升越慢;T越小,f上升越快,很快飽和。Sigmoid函數型4.3.2人工神經元的激勵函數21第4章人工神經網絡基礎控制輸入對輸出的激活作用;對輸入、輸出進行函數轉換;將可能無限域的輸入變換成指定的有限范圍內的輸出。激勵函數的作用:4.3.2人工神經元的激勵函數22第4章人工神經網絡基礎第4.4節(jié)人工神經元網絡的模型分類4.4.1根據組織和抽象層次分類4.4.2根據連接方式和信息流向分類23第4章人工神經網絡基礎神經元層次模型:僅研究單一神經元的動態(tài)和自適應特性,探索神經元對輸入信息的處理和存儲能力。組合式模型:由多個不同神經元組成,功能比單一神經元強大。網絡層次模型:由多個相同神經元組成的網絡結構,網絡的整體性能為研究重點。神經系統(tǒng)層次模型(多種網絡):由多個不同性質的神經網絡構成,以模擬生物神經系統(tǒng)更復雜,更抽象的特性。4.4.1根據組織和抽象層次分類24第4章人工神經網絡基礎前向網絡特點神經元分層排列,組成輸入層、隱含層(可以有若干層)和輸出層;每一層的神經元只接收前一層神經元的輸入;各神經元之間不存在反饋,信號在各層中順序傳播。典型網絡BP網絡,感知器4.4.2根據連接方式和信息流向分類25第4章人工神經網絡基礎特點僅在輸出層到輸入層存在反饋,即每一個輸入節(jié)點都有可能接受來自外部的輸入和來自輸出神經元的反饋,故可用來存儲某種模式序列。應用神經認知機,動態(tài)時間序列過程的神經網絡建模反饋網絡4.4.2根據連接方式和信息流向分類26第4章人工神經網絡基礎特點網狀結構;任兩個神經元之間都有可能存在連接(反饋)。典型網絡Hopfield網絡,Boltzmann機網絡注:在無反饋的前向網絡中,信號一旦通過某個神經元,過程就結束了。而在相互結合網絡中,信號在神經元之間反復往返傳遞,網絡處在一種不斷改變狀態(tài)的動態(tài)之中。相互結合型網絡(全互連)4.4.2根據連接方式和信息流向分類27第4章人工神經網絡基礎特點前兩者的混合;同層內神經元相互連接;可以實現(xiàn)同一層內神經元之間的橫向抑制或興奮機制。這樣可以限制每層內能同時動作的神經元數,或者把每層內的神經元分為若干組,讓每組作為一個整體來動作。典型網絡回歸神經網絡(RNN)混合型網絡(層內互連)4.4.2根據連接方式和信息流向分類28第4章人工神經網絡基礎連接權的確定方法:(1)根據具體要求,直接計算出來,如Hopfield網絡作優(yōu)化計算時就屬于這種情況。(2)通過學習得到的,大多數人工神經網絡都用這種方法。學習實質:針對一組給定輸入Xp(p=1,2,…,

N),通過學習使網絡動態(tài)改變權值,從而使其產生相應的期望輸出Yd的過程。學習算法分類:有導師學習、無導師學習、強化學習

第4.5節(jié)人工神經網絡的學習29第4章人工神經網絡基礎偏差e注:在訓練過程中,存在一個期望的網絡輸出。它是基于誤差來調整網絡權值的。應用:感知器網絡;多層前向傳播網絡;Boltzmann機網絡。有導師學習學習算法30第4章人工神經網絡基礎注:網絡不存在一個期望的輸出,通過建立一個間接評價函數,對網絡的某種行為趨向作出評價,改變神經網絡數值。應用:ART網絡;Kohonen自組織網絡。無導師學習學習算法31第4章人工神經網絡基礎強化學習把學習看做試探性評價(獎或懲)過程。學習機選擇一種動作作用于環(huán)境之后,使環(huán)境的狀態(tài)改變,并產生強化信號(獎或懲)反饋至學習機。學習機依據強化信號與環(huán)境當前的狀態(tài),再選擇下一動作作用于環(huán)境,選擇的原則是使受到獎勵的可能性最大??梢?,強化信號是環(huán)境對學習機學習結果的一個評價。再勵學習學習算法32第4章人工神經網絡基礎相關學習:僅根據連接間的激活水平改變權系數。Hebb學習規(guī)則:糾錯學習:根據輸出節(jié)點的外部反饋改變權系數。學習規(guī)則:無導師學習:學習表現(xiàn)為自動實現(xiàn)輸入空間的檢測和分類。關鍵不在于實際節(jié)點的輸出怎樣與外部的期望輸出相一致,而在于調整參數以反映所觀察事件的分布。學習規(guī)則33第

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論