人工神經(jīng)網(wǎng)絡(luò)分類和其應(yīng)用

1、人工神經(jīng)網(wǎng)絡(luò)分類和其應(yīng)用 人工神經(jīng)網(wǎng)絡(luò)已在模式分類、機器視覺、機器聽覺、智能計算、機器人控制、信號處理、組合優(yōu)化問題求解、聯(lián)想記憶、編碼理論、醫(yī)學(xué)診斷、金融決策和數(shù)據(jù)挖掘等領(lǐng)域獲得了卓有成效的應(yīng)用。 生物神經(jīng)網(wǎng)絡(luò)( Natural Neural Network, NNN): 由中樞神經(jīng)系統(tǒng)（腦和脊髓）及周圍神經(jīng)系統(tǒng)（感覺神經(jīng)、運動神經(jīng)等）所構(gòu)成的錯綜復(fù)雜的神經(jīng)網(wǎng)絡(luò)，其中最重要的是腦神經(jīng)系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks, ANN): 模擬人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能，運用大量簡單處理單元經(jīng)廣泛連接而組成的人工網(wǎng)絡(luò)系統(tǒng)。第8章 人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用神經(jīng)網(wǎng)絡(luò)（Ne

2、ural Networks，NN） 神經(jīng)網(wǎng)絡(luò)方法：隱式的知識表示方法3人腦構(gòu)造: 皮層（cortex） 中腦（midbrain） 腦干（brainstem） 小腦（cerebellum） 人腦由1011 1014 個神經(jīng)細胞（神經(jīng)元）交織在一起的網(wǎng)狀結(jié)構(gòu)組成，其中大腦皮層約140億個神經(jīng)元，小腦皮層約1000億個神經(jīng)元。 神經(jīng)元約有1000種類型，每個神經(jīng)元大約與103 104個其他神經(jīng)元相連接，形成錯綜復(fù)雜而又靈活多變的神經(jīng)網(wǎng)絡(luò)。45 人腦神經(jīng)網(wǎng)絡(luò)系統(tǒng)與計算機處理信息的比較 運行控制： 計算機：有一個中央處理單元來控制所有的活動和對所有的信息進行存取操作 ； 人腦神經(jīng)系統(tǒng)：每個神經(jīng)元只受與它

3、相連接的一部分神經(jīng)元的影響。 第8章 人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用6 知識存儲： 計算機：知識靜態(tài)地存儲在編有地址的記憶單元中，新的信息破壞老的信息； 人腦神經(jīng)系統(tǒng)：知識存儲在神經(jīng)元之間的連接關(guān)系中，新的知識用來調(diào)整這種連接關(guān)系。 人腦神經(jīng)網(wǎng)絡(luò)系統(tǒng)與計算機處理信息的比較 第8章 人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用7891011第8章 人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用8.1 神經(jīng)元與神經(jīng)網(wǎng)絡(luò) 8.2 BP神經(jīng)網(wǎng)絡(luò)及其學(xué)習(xí)算法8.3 BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用8.4 Hopfield神經(jīng)網(wǎng)絡(luò)及其應(yīng)用其他神經(jīng)網(wǎng)絡(luò)12138.1.1 神經(jīng)元模型1. 生物神經(jīng)元結(jié)構(gòu)（輸入）（輸出）軸突樹突細胞體突觸148.1.1 神經(jīng)元模型1. 生物神經(jīng)元結(jié)構(gòu)

4、 工作狀態(tài): 興奮狀態(tài)：細胞膜電位 動作電位的閾值 神經(jīng)沖動 抑制狀態(tài)：細胞膜電位 0, wij = wji , 則 ；當(dāng)且僅當(dāng) 翻頁1418.4.2 連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)及其VLSI實現(xiàn) 3. 應(yīng)用舉例： 1985年，霍普菲爾德和塔克（D. W. Tank）應(yīng)用連續(xù)Hopfield 神經(jīng)網(wǎng)絡(luò)求解旅行商問題（Travelling Salesman Problem，TSP）獲得成功。 旅行商問題（TSP）：典型的組合優(yōu)化問題 有 n 個城市，城市間的距離或旅行成本已知，求合理的路線使每個城市都訪問一次，且總路徑最短（或者總成本最少）。 n個城市存在的路徑數(shù)：翻頁1428.4.2 連續(xù)型

5、Hopfield神經(jīng)網(wǎng)絡(luò)及其VLSI實現(xiàn) 3. 應(yīng)用舉例： 旅行商問題（TSP）：典型的組合優(yōu)化問題 n 個城市存在的路徑數(shù)： 用窮舉法，Cray 計算機的計算速度：108次/秒 1985年，Hopfield 和Tank 用Hopfield網(wǎng)絡(luò)求解 n30 的TSP問題，0.2 s 就得到次優(yōu)解。 翻頁1438.4.2 連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)及其VLSI實現(xiàn) 3. 應(yīng)用舉例： 連續(xù)Hopfiled神經(jīng)網(wǎng)絡(luò)求解約束優(yōu)化問題的基本思路：翻頁1448.4.2 連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)及其VLSI實現(xiàn) 3. 應(yīng)用舉例： 連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)（CHNN）求解約束優(yōu)化問題的步驟：（1

6、）選擇合適的問題表示方法，使 CHNN 的輸出與優(yōu)化問題的可行解彼此對應(yīng)；（2）用罰函數(shù)法寫出優(yōu)化問題的目標(biāo)函數(shù)；（3）令目標(biāo)函數(shù)和能量函數(shù)相對應(yīng)，確定CHNN 的連接權(quán)和偏置電流，以及動態(tài)方程；（4）給定CHNN的初始狀態(tài)和參數(shù)等，使 CHNN 按動態(tài)方程運行，直至達到穩(wěn)定狀態(tài)，并把它解釋為問題的解；翻頁145 5個城市的TSP：神經(jīng)元數(shù)目：25翻頁C3 C1 C5 C2 C4 C3146 TSP的問題描述： 用罰函數(shù)法，寫出優(yōu)化問題的目標(biāo)函數(shù)： 能量函數(shù)：翻頁147 令E 與目標(biāo)函數(shù) J 相對應(yīng)，確定連接權(quán)值、偏置電流和CHNN 的動態(tài)方程：翻頁148 設(shè)置合適的A、B、C、D和 CHNN

7、 的初始狀態(tài)，按CHNN動態(tài)方程演化直到收斂。翻頁12(狀態(tài)）(閾值）（連接權(quán)值）149翻頁150 神經(jīng)網(wǎng)絡(luò)優(yōu)化計算目前存在的問題：（1）參數(shù)難以確定；（2）能量函數(shù)存在大量局部極小值，難以保證最優(yōu)解。翻頁1518.4 Hopfield神經(jīng)網(wǎng)絡(luò)及其應(yīng)用8.4.1 離散型Hopfield神經(jīng)網(wǎng)絡(luò)8.4.2 連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)及其VLSI實現(xiàn)8.4.3 隨機神經(jīng)網(wǎng)絡(luò)8.4.4 混沌神經(jīng)網(wǎng)絡(luò)翻頁1528.4.3 隨機神經(jīng)網(wǎng)絡(luò)Hopfield神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元狀態(tài)為1是根據(jù)其凈輸入是否大于閾值而確定的，是確定性的。隨機神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元狀態(tài)為1是隨機的，服從一定的概率分布。例如，服從玻爾茲

8、曼(Boltzmann)、高斯(Gaussian)、柯西(Cauchy)分布等，從而構(gòu)成玻爾茲曼機、高斯機、柯西機等隨機機。翻頁1531. Boltzmann機 1985年，加拿大多倫多大學(xué)教授欣頓(Hinton)等人借助統(tǒng)計物理學(xué)的概念和方法，提出了Boltzmann機神經(jīng)網(wǎng)絡(luò)模型。 模擬退火算法（等，1953）：把某類優(yōu)化問題的求解過程與統(tǒng)計力學(xué)中的熱平衡問題進行對比，通過模擬高溫物體退火過程的方法，來找到優(yōu)化物體的全局最優(yōu)或近似全局最優(yōu)解。 在物體退火過程中，其能量轉(zhuǎn)移服從Boltzmann分布：8.4.3 隨機神經(jīng)網(wǎng)絡(luò)翻頁系統(tǒng)處于低能E的概率系統(tǒng)溫度Boltzmann常數(shù)1541. B

9、oltzmann機 Boltzmann機是離散Hopfield神經(jīng)網(wǎng)絡(luò)的一種變型，通過對離散Hopfield神經(jīng)網(wǎng)絡(luò)加以擾動，使其以概率的形式表達，而網(wǎng)絡(luò)的模型方程不變，只是輸出值類似于Boltzmann分布以概率分布取值。 Boltzmann機是按Boltzmann概率分布動作的神經(jīng)網(wǎng)絡(luò)。8.4.3 隨機神經(jīng)網(wǎng)絡(luò)翻頁1558.4.3 隨機神經(jīng)網(wǎng)絡(luò) 1. Boltzmann機離散Hopfield神經(jīng)網(wǎng)絡(luò)神經(jīng)元i 的狀態(tài)：神經(jīng)元i 的凈輸入： 神經(jīng)元I 輸出狀態(tài)值為0和1時的概率：翻頁1568.4.3 隨機神經(jīng)網(wǎng)絡(luò)1. Boltzmann機 Boltzmann的能量函數(shù)： 神經(jīng)元 i 狀態(tài)轉(zhuǎn)換時

10、網(wǎng)絡(luò)能量的變化： 神經(jīng)元i 改變?yōu)闋顟B(tài)“1”的概率： 翻頁1572. 高斯機 8.4.3 隨機神經(jīng)網(wǎng)絡(luò) :均值為0的高斯隨機變量（白噪聲） ，其方差為 3. 柯西機 : 柯西隨機變量（有色噪聲） 翻頁1588.4 Hopfield神經(jīng)網(wǎng)絡(luò)及其應(yīng)用8.4.1 離散型Hopfield神經(jīng)網(wǎng)絡(luò)8.4.2 連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)及其VLSI實現(xiàn)8.4.3 隨機神經(jīng)網(wǎng)絡(luò)8.4.4 混沌神經(jīng)網(wǎng)絡(luò)翻頁1598.4.4 混沌神經(jīng)網(wǎng)絡(luò)1. 混沌 混沌: 自然界中一種較為普遍的非線性現(xiàn)象，其行為看似混亂復(fù)雜且類似隨機，卻存在精致的內(nèi)在規(guī)律性。 混沌的性質(zhì) ：（1）隨機性：類似隨機變量的雜亂表現(xiàn)；（2）遍歷

11、性：不重復(fù)地歷經(jīng)一定范圍內(nèi)的所有狀態(tài)；（3）規(guī)律性：由確定性的迭代式產(chǎn)生。 翻頁1601. 混沌混沌學(xué)的研究熱潮開始于20世紀(jì)70年代初期。1963年，在分析氣候數(shù)據(jù)時發(fā)現(xiàn)：初值十分接近的兩條曲線的最終結(jié)果會相差很大，從而獲得了混沌的第一個例子；1975年，Li-Yorke的論文“周期3意味著混沌”使“混沌”一詞首先出現(xiàn)在科技文獻中?；煦绲陌l(fā)現(xiàn)，對科學(xué)的發(fā)展具有深遠的影響。 8.4.4 混沌神經(jīng)網(wǎng)絡(luò)翻頁1618.4.4 混沌神經(jīng)網(wǎng)絡(luò)2. 混沌神經(jīng)元 混沌神經(jīng)元（1987年，F(xiàn)reeman）：構(gòu)造混沌神經(jīng)網(wǎng)絡(luò) 的基本單位。 混沌神經(jīng)元模型：翻頁1628.4.4 混沌神經(jīng)網(wǎng)絡(luò)3. 混沌神經(jīng)網(wǎng)絡(luò) 1

12、990年，Aihara等提出了第一個混沌神經(jīng)網(wǎng)絡(luò)模型(Chaotic Neural Network，CNN)。 1991年，Inoue等利用兩個混沌振蕩子耦合成一個神經(jīng)元的方法，構(gòu)造出一個混沌神經(jīng)計算機. 1992年，Nozawa基于歐拉離散化的Hopfield神經(jīng)網(wǎng)絡(luò)，通過增加一個大的自反饋項，得到了一個與Aihara等提出的類似的CNN模型。 翻頁1638.4.4 混沌神經(jīng)網(wǎng)絡(luò)3. 混沌神經(jīng)網(wǎng)絡(luò)1）基于模擬退火策略的自抑制混沌神經(jīng)網(wǎng)絡(luò) 1995年，Chen等提出的暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)(Transient Chaotic Neural Network，TCNN) ：翻頁1648.4.4 混沌神經(jīng)

13、網(wǎng)絡(luò)3. 混沌神經(jīng)網(wǎng)絡(luò)1）基于模擬退火策略的自抑制混沌神經(jīng)網(wǎng)絡(luò) 具有暫態(tài)混沌特性； 能演化到一個穩(wěn)定狀態(tài)； 搜索區(qū)域為一分形結(jié)構(gòu)； 具有混沌退火機制； 一種廣義的混沌神經(jīng)網(wǎng)絡(luò)。 可求解0-1問題，也可求解連續(xù)非線性優(yōu)化問題。翻頁165非線性函數(shù) 翻頁1668.4.4 混沌神經(jīng)網(wǎng)絡(luò)3. 混沌神經(jīng)網(wǎng)絡(luò)2）基于加大時間步長的混沌神經(jīng)網(wǎng)絡(luò) CHNN的歐拉離散化：1998年，Wang和Smith采用加大時間步長產(chǎn)生混沌：翻頁1678.4.4 混沌神經(jīng)網(wǎng)絡(luò)3. 混沌神經(jīng)網(wǎng)絡(luò)3）引入噪聲的混沌神經(jīng)網(wǎng)絡(luò) 1995年，Hayakawa等的混沌神經(jīng)網(wǎng)絡(luò)：翻頁168第8章 人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用8.1 神經(jīng)元與神經(jīng)網(wǎng)

14、絡(luò) 8.2 BP神經(jīng)網(wǎng)絡(luò)及其學(xué)習(xí)算法8.3 BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用8.4 Hopfield神經(jīng)網(wǎng)絡(luò)及其應(yīng)用其他神經(jīng)網(wǎng)絡(luò)翻頁169翻頁170習(xí) 題 8.1 用BP網(wǎng)絡(luò)逼近一個非線性函數(shù)： 要求：1）設(shè)計BP網(wǎng)絡(luò)的具體結(jié)構(gòu), 并畫出其結(jié)構(gòu)圖；2）試編制BP學(xué)習(xí)算法的計算程序。 8.2 用Hopfield神經(jīng)網(wǎng)絡(luò)求解中的非線性函數(shù)的最小值。要求：1）設(shè)計Hopfield神經(jīng)網(wǎng)絡(luò)的具體結(jié)構(gòu)，并畫出其結(jié)構(gòu)圖；2）試編制Hopfield神經(jīng)網(wǎng)絡(luò)計算程序。翻頁1718.1.1 神經(jīng)元模型1. 生物神經(jīng)元結(jié)構(gòu)（輸入）（輸出） 神經(jīng)沖動1728.1.3 人工神經(jīng)網(wǎng)絡(luò) 1. 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) （1）前饋型（ 前向型）

15、BP神經(jīng)網(wǎng)絡(luò)1738.2 BP神經(jīng)網(wǎng)絡(luò)及其學(xué)習(xí)算法 BP網(wǎng)絡(luò)數(shù)字識別0123456789輸入層（1024）隱層（16）輸出層（1） 訓(xùn)練樣本： 測試樣本： 輸入：輸入圖像像素矩陣（3232）按列抽取而成的一維列向量； 期望輸出：09 隱層的變換函數(shù)：雙曲正切S型函數(shù) 輸出層的變換函數(shù)：線性函數(shù)33174準(zhǔn)備樣本8.2 BP神經(jīng)網(wǎng)絡(luò)及其學(xué)習(xí)算法 訓(xùn)練樣本集：美國郵政服務(wù)（USPS）數(shù)據(jù)庫的特征圖 BP網(wǎng)絡(luò)數(shù)字識別0123456789175 例子：機器人行動規(guī)劃176 8.3.2 BP神經(jīng)網(wǎng)絡(luò)在軟測量中的應(yīng)用 BP網(wǎng)絡(luò)的逼近 1771. 離散Hopfield神經(jīng)網(wǎng)絡(luò)模型網(wǎng)絡(luò)結(jié)構(gòu)：3神經(jīng)元的DHNN結(jié)構(gòu)圖12(狀態(tài)）(閾值）（連接權(quán)值）8.4.1 離散Hopfield 神經(jīng)網(wǎng)絡(luò)翻頁1783神經(jīng)元的DHNN結(jié)構(gòu)圖1. 離散Hopfield神