《神經(jīng)網(wǎng)絡設計》PPT課件.ppt

1、神經(jīng)元模型和網(wǎng)絡結(jié)構(gòu),第二章,單輸入神經(jīng)元,傳輸函數(shù)：硬極限傳輸函數(shù),傳輸函數(shù)：線性傳輸函數(shù),傳輸函數(shù)：對數(shù)S-形傳輸函數(shù),常用傳輸函數(shù),常用傳輸函數(shù),多輸入神經(jīng)元,簡化記號,神經(jīng)網(wǎng)絡的層,簡化記號,多層神經(jīng)網(wǎng)絡,簡化記號,遞歸網(wǎng)絡：延時模塊,遞歸網(wǎng)絡：積分器模塊,遞歸網(wǎng)絡,如何選擇一種網(wǎng)絡結(jié)構(gòu),網(wǎng)絡的輸入個數(shù)=應用問題的輸入個數(shù) 輸出層神經(jīng)元的數(shù)目=應用問題的輸出數(shù)目 輸出層的傳遞函數(shù)選擇至少部分依賴于應用問題的輸出描述,一個說明性實例,第三章,蘋果/橘子分類器,問題描述,特征向量,標準橘子向量,標準蘋果向量,方案1：感知機實現(xiàn),兩輸入單層感知機,判定邊界：,蘋果/橘子實例,判定邊界：,網(wǎng)絡

2、測試,蘋果：,蘋果：,橘子：,橢圓的橘子：,方案2：Hamming網(wǎng)絡,前饋層,Hamming(漢明)距離：,兩個向量中不同元素的個數(shù),遞歸層,Hamming網(wǎng)絡測試,橢圓的橘子：,前饋層：,前饋層：,遞歸層：,方案3：Hopfield網(wǎng)絡,Hopfield網(wǎng)絡測試,橢圓的橘子：,擴展的問題,當輸入較多而判定邊界無法用圖示方法表示的情況下，如何設計多輸入感知機的權(quán)值和偏置值？ 如果要識別的問題不是線性可分的，能否通過擴展標準感知機來解決這類問題？ 當不知道標準模式時，Hamming網(wǎng)絡如何學習權(quán)值和偏置值？ 如何確定Hopfield網(wǎng)絡的權(quán)值矩陣和偏置值向量？ 如何知道Hopfield網(wǎng)絡最終

3、是否會收斂？,感知機學習規(guī)則,第四章,學習規(guī)則,監(jiān)督學習學習規(guī)則由一組描述網(wǎng)絡行為的實例集合（輸入、輸出對；訓練集）給出 增強學習對網(wǎng)絡的某些輸入序列進行評分，來作為網(wǎng)絡的性能測度 無監(jiān)督學習學習算法僅依賴于網(wǎng)絡輸入，通常是對輸入進行聚類,感知機的結(jié)構(gòu),單神經(jīng)元感知機,判定邊界,判定邊界上的點與權(quán)值向量的內(nèi)積相等 判定邊界上的點到權(quán)值向量上的投影相等，即它們應該位于正交于權(quán)值向量的直線上 權(quán)值向量總是指向神經(jīng)元輸出為1的區(qū)域,例：或運算(OR),多神經(jīng)元感知機,每個神經(jīng)元都有自己的判定邊界 單神經(jīng)元能將輸入向量分為兩類 多神經(jīng)元（S個）感知機能將輸入向量分為2S類,學習規(guī)則：測試問題,起始點,隨機生成初始權(quán)重向量,輸入第一個向量p1,錯誤的分類！,學習規(guī)則的嘗試,將1w置為p1 將1w加上p1 嘗試性規(guī)則：,第二個輸入向量,(錯誤的分類),修正學習規(guī)則:,第三個輸入向量,模式被正確分類時,(錯誤的分類),統(tǒng)一的學習規(guī)則,偏置值可視為輸入1的權(quán)重,令,多神經(jīng)元感知機學習規(guī)則,更新第i行權(quán)值矩陣:,矩陣形式:,蘋果/橘子分類器,訓練集,初始權(quán)重,第一次迭代,第二次迭代,第三次迭代,感知機學習規(guī)則收斂性,感知機規(guī)則總能收斂到能夠完成分類的權(quán)值和偏置值，如果這些值存在的話證明 P45 什么時候感知機能完成分類的權(quán)值和偏置值存在？即感知機能