有監(jiān)督和神經(jīng)網(wǎng)絡(luò)

有監(jiān)督和神經(jīng)網(wǎng)絡(luò)第1頁，共16頁，2023年，2月20日，星期五●神經(jīng)元網(wǎng)絡(luò)的簡化模型第2頁，共16頁，2023年，2月20日，星期五ai1ai2ainbi1bi2bimwiy1y2ynu1ukum1vixiyi●神經(jīng)元網(wǎng)絡(luò)的一般模型框架1）加法器2）線性動(dòng)態(tài)系統(tǒng)（SISO）3）靜態(tài)非線性系統(tǒng)︰︰第3頁，共16頁，2023年，2月20日，星期五式中aij和bik為權(quán)系數(shù)，i,j=1,2,…,n,k=1,2,…m.n個(gè)加法器可以寫成向量形式：——N維列向量——N維列向量（單元輸出）——N×N維矩陣——N×M維矩陣

——M維列向量（外部輸入）——M維常向量第4頁，共16頁，2023年，2月20日，星期五▲線性動(dòng)態(tài)系統(tǒng)典型的有：▲靜態(tài)非線性系統(tǒng)典型的有：g(x)g(x)g(x)xxx閾值函數(shù)閾值函數(shù)Sigmoid函數(shù)第5頁，共16頁，2023年，2月20日，星期五∑∑（雙極型）Sigmoidu1uiiu1uiiyiyiAdline(自適應(yīng)線性網(wǎng)）單層感知器(Perceptron)▲不同的部件可以組成不同的網(wǎng)絡(luò)︰︰第6頁，共16頁，2023年，2月20日，星期五Kuiyjyi離散Hopfield網(wǎng)y1y2y3y4u1u2u3u4第7頁，共16頁，2023年，2月20日，星期五yjyiuixi連續(xù)的Hopfield網(wǎng)●按學(xué)習(xí)的方法神經(jīng)元網(wǎng)絡(luò)可分成二類：

1）有監(jiān)督的學(xué)習(xí)網(wǎng)絡(luò)：感知器誤差反傳網(wǎng)絡(luò)（BP）小腦模型連接控制器（CMAC）模塊（組合）網(wǎng)絡(luò)增強(qiáng)學(xué)習(xí)網(wǎng)絡(luò)第8頁，共16頁，2023年，2月20日，星期五●有監(jiān)督的神經(jīng)網(wǎng)絡(luò)1）感知器網(wǎng)絡(luò)感知器是前饋(正向傳輸)網(wǎng)絡(luò),所有節(jié)點(diǎn)都是線性的.●●●●●●●●●●●●x1x2xnb1b2bm權(quán)向量W2）無監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)競爭學(xué)習(xí)和Kohonen網(wǎng)絡(luò)

Hopfield網(wǎng)絡(luò)雙向聯(lián)想存貯器（BAM）

Boltzman機(jī)第9頁，共16頁，2023年，2月20日，星期五輸入與輸出的關(guān)系：權(quán)矩陣可以按下式求解：學(xué)習(xí)規(guī)則：代表輸入與輸出的差別。是學(xué)習(xí)因子這學(xué)習(xí)規(guī)則即是著名的學(xué)習(xí)規(guī)則。隨著學(xué)習(xí)迭代次數(shù)k的增加，保證網(wǎng)絡(luò)的收斂。●反傳（BP）網(wǎng)絡(luò)誤差反傳（學(xué)習(xí)算法）（BP）網(wǎng)絡(luò)與感知器的主要差別在于：（BP）網(wǎng)絡(luò)的節(jié)點(diǎn)是非線性的。采用廣義

學(xué)習(xí)規(guī)則。第10頁，共16頁，2023年，2月20日，星期五●反傳（BP）網(wǎng)絡(luò)的結(jié)構(gòu)圖一個(gè)輸入層，一個(gè)輸出層，多個(gè)隱層。jpp1xp1xpntpk

tpmOp1OpnOp2隱層wj1wjn輸入層隱層輸出層信息流······pm第11頁，共16頁，2023年，2月20日，星期五隱層節(jié)點(diǎn)j輸出和輸入節(jié)點(diǎn)p的關(guān)系：輸出節(jié)點(diǎn)k和隱層輸出節(jié)點(diǎn)p的關(guān)系：學(xué)習(xí)過程：定義輸出誤差第12頁，共16頁，2023年，2月20日，星期五學(xué)習(xí)的目的是要使以下定義的誤差平方和最小：因此，要求以下的偏導(dǎo)，最后得到二個(gè)權(quán)值改變的重要公式：第13頁，共16頁，2023年，2月20日，星期五初始化加輸入和期望輸出計(jì)算隱層和輸出層的輸出迭代次數(shù)加1調(diào)節(jié)輸出層和隱層的連接權(quán)值改變訓(xùn)練樣板訓(xùn)練樣終止？迭代終止？BP算法的基本流程N(yùn)oNoyy第14頁，共16頁，2023年，2月20日，星期五重要結(jié)論

具有至少一個(gè)隱層的多層前饋網(wǎng)絡(luò)，如果隱層單元足夠多，那么，利用扁平激勵(lì)函數(shù)和線性多項(xiàng)式集成函數(shù)，可以對任意感興趣的函數(shù)逼成到任意精度。扁平激勵(lì)函數(shù)定義：f:R[0,1]或[-1,1]是非減函數(shù),

扁平激勵(lì)函數(shù)的參數(shù).理論證明:多層前饋網(wǎng)絡(luò)是一種通用逼近器

第15頁，共16頁，2023年，2月20日，星期五討論隱層的數(shù)目和節(jié)點(diǎn)的數(shù)