人工神經(jīng)網(wǎng)絡(luò)概述

人工神經(jīng)網(wǎng)絡(luò)概述第一頁，共二十五頁，編輯于2023年，星期六第8章人工神經(jīng)網(wǎng)絡(luò)8.1人工神經(jīng)網(wǎng)絡(luò)概述8.2神經(jīng)元模型8.3ANN的學(xué)習(xí)算法8.4應(yīng)用舉例第二頁，共二十五頁，編輯于2023年，星期六一、人工神經(jīng)網(wǎng)絡(luò)的提出AI研究的兩大學(xué)派：符號主義——用計算機(jī)從外特性上模仿人腦宏觀的功能連接主義——在微觀內(nèi)部結(jié)構(gòu)上模仿人腦的神經(jīng)第三頁，共二十五頁，編輯于2023年，星期六一、人工神經(jīng)網(wǎng)絡(luò)的提出符號主義認(rèn)為：智能活動的基本元素是符號；智能活動的過程是符號處理的過程。連接主義認(rèn)為：智能活動的基本元素是神經(jīng)元；智能活動的過程是大量的相聯(lián)結(jié)的神經(jīng)元的并行作用的過程。第四頁，共二十五頁，編輯于2023年，星期六二、人工神經(jīng)網(wǎng)絡(luò)的歷史早期階段（～1960’s）1943McCulloch和Pitts提出神經(jīng)元的數(shù)學(xué)模型（MP模型）1949Hebb提出權(quán)重加強(qiáng)的學(xué)習(xí)機(jī)理1957Rosenblatt感知機(jī)（perceptron）有認(rèn)知學(xué)習(xí)功能1969Mingsky專著“perceptron”證明線性（單層）感知機(jī)不能解決XOR問題，ANN進(jìn)入低潮第五頁，共二十五頁，編輯于2023年，星期六二、人工神經(jīng)網(wǎng)絡(luò)的歷史過渡期（1970’s）低潮中，許多學(xué)者深入研究ANN理論、模型。MIT的Marr提出視覺模型BostonUniv的Grossbery全面研究ANN理論，提出ART1，ART2，ART3自適應(yīng)諧振理論模型。甘利俊一ANN的數(shù)學(xué)理論Fuknshima神經(jīng)認(rèn)知網(wǎng)絡(luò)理論芬蘭的Kohonen自組織聯(lián)想記憶第六頁，共二十五頁，編輯于2023年，星期六二、人工神經(jīng)網(wǎng)絡(luò)的歷史高潮（1980～）1982加州理工Hopfield提出結(jié)點全互聯(lián)ANN模型（Hop模型），用單層ANN解決了TSP問題1987.6ICNN（InternationalConferenceonNN）召開1987加州理工Abn－mostafa，Psaitis2D聯(lián)想存儲輸入殘缺圖案也可識別1988AT&TBelllab120*120元件的ANN1989三菱光學(xué)ANN芯片，32個神經(jīng)元識別26個字母1989日立5“硅片集成576個神經(jīng)元1990BellLab黃庭鈺數(shù)字光學(xué)處理器1990IBMAS400提供ANN仿真開發(fā)環(huán)境1992SGI將ANN用于航天飛機(jī)控制臂ANN已在專家系統(tǒng)、智能控制等領(lǐng)域廣泛應(yīng)用第七頁，共二十五頁，編輯于2023年，星期六第8章人工神經(jīng)網(wǎng)絡(luò)8.1人工神經(jīng)網(wǎng)絡(luò)概述8.2神經(jīng)元模型8.3ANN的學(xué)習(xí)算法8.4應(yīng)用舉例第八頁，共二十五頁，編輯于2023年，星期六一、生物神經(jīng)網(wǎng)的構(gòu)成樹突（Dendrite）胞體(Soma)

軸突（Axon）突觸（Synapse）第九頁，共二十五頁，編輯于2023年，星期六二、MP模型x2w2

xnwn…x1w1Fy第十頁，共二十五頁，編輯于2023年，星期六二、MP模型線性函數(shù)

y=kx+cxyoc第十一頁，共二十五頁，編輯于2023年，星期六二、MP模型閾值函數(shù)

θ第十二頁，共二十五頁，編輯于2023年，星期六二、MP模型S形函數(shù)（SigmoidFunction）

yx0第十三頁，共二十五頁，編輯于2023年，星期六二、MP模型考慮偏置與閾值，神經(jīng)元模型x2w2

xnwn…x1w1Fys第十四頁，共二十五頁，編輯于2023年，星期六三、ANN連接模型前饋型網(wǎng)絡(luò)x1z1輸出層隱藏層輸入層x2z2zmxn…………W’w第十五頁，共二十五頁，編輯于2023年，星期六三、ANN連接模型前饋型網(wǎng)絡(luò)輸入/輸出：二值（0,1）或連續(xù)值權(quán)值：可正可負(fù)權(quán)值矩陣：學(xué)習(xí)的過程——不斷修改權(quán)值的過程第十六頁，共二十五頁，編輯于2023年，星期六三、ANN連接模型反饋型網(wǎng)絡(luò)

x1z1輸出層隱藏層輸入層x2z2zmxn…………W’w第十七頁，共二十五頁，編輯于2023年，星期六三、ANN連接模型反饋型網(wǎng)絡(luò)層間反饋——非線性動力系統(tǒng)層內(nèi)反饋——橫向抑制、競爭Hopfield網(wǎng)是單層節(jié)點全互連的反饋網(wǎng)……第十八頁，共二十五頁，編輯于2023年，星期六第8章人工神經(jīng)網(wǎng)絡(luò)8.1人工神經(jīng)網(wǎng)絡(luò)概述8.2神經(jīng)元模型8.3ANN的學(xué)習(xí)算法8.4應(yīng)用舉例第十九頁，共二十五頁，編輯于2023年，星期六8.3ANN的學(xué)習(xí)算法ANN的學(xué)習(xí)算法可分為有導(dǎo)師學(xué)習(xí)無導(dǎo)師學(xué)習(xí)自學(xué)習(xí)、自組織第二十頁，共二十五頁，編輯于2023年，星期六一、Hebb學(xué)習(xí)規(guī)則兩個細(xì)胞同時興奮，則它們之間連接（權(quán)）應(yīng)加強(qiáng)。屬于無導(dǎo)師學(xué)習(xí)第二十一頁，共二十五頁，編輯于2023年，星期六二、反向傳播算法

(Back-Propagation,B-P算法)

（有導(dǎo)師學(xué)習(xí)）用于前饋網(wǎng)絡(luò)從訓(xùn)練范例集中取一訓(xùn)練時，輸入網(wǎng)絡(luò)正向傳播求輸出計算輸出與應(yīng)有輸出之誤差反向傳播，逐層修正權(quán)值，使誤差減小重復(fù)以上步驟，直至整個訓(xùn)練集誤差最小。第二十二頁，共二十五頁，編輯于2023年，星期六總結(jié)ANN的學(xué)習(xí)算法第二十三頁，共二十五頁，編輯于2023年，星期六第七章人工神經(jīng)網(wǎng)絡(luò)8.1人工神經(jīng)網(wǎng)絡(luò)概述8.2神經(jīng)元模型8.3ANN的學(xué)習(xí)算法8.4應(yīng)用舉例第二十四頁，共二十五頁，編輯于2023年，星期六8.4應(yīng)用舉例XOR

1

θ=0.5

-11-1

1

1x1=0，x2=0時，y1＝0，y2＝0，y＝0x1=1，x2=0時，y1＝1，y2＝0，y＝