人工神經網絡及其應用課件

ArtificialIntelligence

人工智能ArtificialIntelligence

人工第3章人工神經網絡及其應用

3.1神經生理學基礎

3.2人工神經網絡的基本原理

3.3幾種典型的模型及其應用

Hopfield網絡模型反向傳播BP模型

自適應共振理論ART模型3.4幾個實例第3章人工神經網絡及其應用3.1神經生理學基礎本章重要概念（簡述）神經元的結構（畫出示意圖）神經元的模型（畫出示意圖）神經元的數學模型人工神經網絡的主要特征三種典型的人工神經網絡模型本章重要概念（簡述）神經元的結構（畫出示意圖）3.1神經生理學基礎

人類的智能到底起源于何處，這是自古以來人們追求的一個目標。古代人們認為心是智慧的源泉，直到現在，很多漢語詞匯仍然保留著歷史的蹤跡，如“心智”、“心理”等等?，F代醫(yī)學及生理學告訴我們，人腦特別是大腦，是人類高級智慧的核心，而其中的神經元又是人類智能活動的基礎。

3.1神經生理學基礎人類的智能到底起源于何處，這是自古以來神經元的結構神經元的結構神經元的結構神經元胞體內含有細胞核、核糖體、原生質網狀結構等，它是神經元新陳代謝等各種生化過程的活動場所，是神經元的能量提供者。樹突是胞體外一些枝狀延伸物，主要接收別的神經元傳送的神經信號，一般為電信號或化學信號。軸突是細胞體外伸的一個管狀纖維，軸突最長可達1m以上。軸突的功能是把神經元的神經信號傳到其神經末梢。神經末梢是在軸突端部一些細小的枝狀物，它接收來自軸突的神經信號，并與下一個神經元接觸。神經元的結構神經元胞體內含有細胞核、核糖體、原生質網狀結構等神經元信號傳遞我們可以看到，人腦中神經信號的傳送就是一個神經元的神經末梢與下一個神經元的樹突發(fā)生信號傳遞的過程，神經元末梢與一個神經元的樹突接觸區(qū)域稱為突觸，這個區(qū)域可以用下圖來表示。神經元信號傳遞我們可以看到，人腦中神經信號的傳送就是一個神經大腦神經元的基本運行狀態(tài)在神經信號的驅動下，神經末梢會釋放囊泡中的神經傳遞介質，下一個神經元的樹突有一個受體接收到這個傳遞介質，并引起神經元胞體內的電位上升，一旦下一個神經元從眾多的樹突中接收到足夠多的神經刺激，它就會被激活，從而沿軸突將神經信號傳送到它的神經末梢，引起下一批神經元被激勵。大腦神經元的基本運行狀態(tài)在神經信號的驅動下，神經末梢會釋放囊3.2人工神經網絡的基本原理1943年，美國科學家Pitts和McCulloch首次提出了神經元的M-P數學模型，為人工神經網絡的研究開辟了道路。1949年Hebb提出了著名的Hebb學習定律，認為如果兩個神經元處于激勵狀態(tài)，則它們之間的連接（以權重為衡量標準）得到加強，如果兩個神經元處于抑制狀態(tài)，它們之間的連接就被減弱，Hebb定律為人工神經網絡的學習機制研究指明了方向。

3.2人工神經網絡的基本原理1943年，美國科學家Pitts感知機模型1961年，Rosenblatt第一次提出了感知機模型（Perceptron)，系統(tǒng)地研究了人工神經網絡作為一種智能模型的功能及作用，感知機模型的出現極大地鼓舞了智能技術的研究者，使人覺得一個新的智能應用時代的到來。

感知機模型1961年，Rosenblatt第一次提出了感知機陷入低潮但人工智能的先驅者Minsky等仔細分析了以感知器為代表的神經網絡系統(tǒng)的功能及局限后，于1969年出版了《Perceptron》一書，指出感知器不能解決高階謂詞問題。他們的論點極大地影響了人工神經網絡的研究，加之當時串行計算機和人工智能所取得的成就，掩蓋了發(fā)展新型計算機和人工智能新途徑的必要性和迫切性，使人工神經網絡的研究處于低潮。

陷入低潮但人工智能的先驅者Minsky等仔細分析了以感知器為Hopfield神經網絡模型在此期間，一些人工神經網絡的研究者仍然致力于這一研究，提出了適應諧振理論（ART網）、自組織映射、認知機網絡，同時進行了神經網絡數學理論的研究。以上研究為神經網絡的研究和發(fā)展奠定了基礎。1982年，美國加州理工學院物理學家Hopfield提出了Hopfield神經網絡模型，引入了“計算能量”概念，給出了網絡穩(wěn)定性判斷。

Hopfield神經網絡模型在此期間，一些人工神經網絡的研究1984年，他又提出了連續(xù)時間Hopfield神經網絡模型，為神經計算機的研究做了開拓性的工作，開創(chuàng)了神經網絡用于聯(lián)想記憶和優(yōu)化計算的新途徑，有力地推動了神經網絡的研究。1986年Rumelhart、McClelland等研究者發(fā)表文章*，系統(tǒng)地描述了人工神經網絡的理論基礎，特別是針對Minsky提出的感知機的缺陷，提出了利用隱節(jié)點來克服感知機僅限于線性可分的局限，從而引起新的一輪人工神經網絡的研究熱潮。*《ParallelDistributedProcessing:ExplorationsintheMicro-structureofCognition》，

1984年，他又提出了連續(xù)時間Hopfield神經網絡模型，人工神經網絡的核心——

神經元的模型人工神經網絡的核心——

神經元的模型神經元的數學模型輸入X={x1,x2

，…，xn｝T模擬其他神經元對本神經元的影響，權重W={w1,w2

，…，wn｝模擬輸入對神經元的傳遞效率，θ為使本神經元處于激活狀態(tài)所需的闡值，f(u)為一旦神經元被激活后輸出值的變化，數學模型為：神經元的數學模型輸入X={x1,x2，…，xn｝Tf(u）的三種模型

階躍型S型線性連續(xù)型f(u)=kuf(u)=1/(1+e-u)f(u）的三種模型階躍型S型線性連續(xù)型f(u說明不同的神經元模型代表了人工神經網絡一些基本特征，但這不是研究的全部，更重要的是如何利用這些基本組件來構造人工神經元系統(tǒng)。這些系統(tǒng)可能基本元件一樣，但由于結構、連接方式的不同，產生的系統(tǒng)行為會有重大的區(qū)別。用一個形象的比喻，我們知道碳是地球上的一個重要化學元素，雖然同是C12原子，但由于分子結構不同，它可以形成非常堅硬的金剛石，能夠阻擋放射線的石墨和我們日常生活中容易燃燒的木炭。說明不同的神經元模型代表了人工神經網絡一些基本特征，但這不是高度非線性動力學大量的形式相同的神經元連結在一起就組成了神經網絡。神經網絡是一個高度非線性動力學系統(tǒng)。雖然每個神經元的結構和功能都不復雜，但是神經網絡的動態(tài)行為則是十分復雜的。因此，用神經網絡可以模擬、表達實際物理世界的各種現象，解決一些其他領域難以解決的問題。高度非線性動力學大量的形式相同的神經元連結在一起就組成了神經人工神經網絡的主要特征(1)并行分布性處理(2)可學習性(3)魯棒性和容錯性(4)泛化能力

人工神經網絡的主要特征(1)并行分布性處理(1）并行分布性處理并行性來自于人工神經網絡中的神經元排列并不是雜亂無章的，往往是分層或以一種有規(guī)律的序列排列，信號可以同時到達一批神經元的輸人端，這種結構非常適合并行計算。同時如果將每一個神經元看作是一個小的處理單元，則整個系統(tǒng)可以是一個分布式計算系統(tǒng)。(1）并行分布性處理(2)可學習性一般人工神經網絡模型都有自己的學習算法，或者利用樣本指導系統(tǒng)模擬現實環(huán)境（稱為有教師學習），或者對輸人進行自適應（稱為無教師學習）。(2)可學習性一般人工神經網絡模型都有自己的學習算法，或者利(3)魯棒性和容錯性由于采用大量的神經元及其相互連接，人工神經網絡中少量的神經元發(fā)生失效或錯誤，不會對系統(tǒng)整體功能帶來嚴重的影響。(3)魯棒性和容錯性由于采用大量的神經元及其相互連接，人工神(4)泛化能力如果輸入發(fā)生較小變化，其輸出能夠與原輸人產生的輸出保持相當小的差距。(4)泛化能力如果輸入發(fā)生較小變化，其輸出能夠與原輸人產生的3.3幾種典型的模型及其應用3.3.1Hopfield網絡模型3.3.2反向傳播BP模型3.3.3自適應共振理論ART模型3.3幾種典型的模型及其應用3.3.1Hopfield網絡模型Hopfield于1982年提出了用于聯(lián)想記憶的人工神經網絡模型，它是一種帶有反饋（輸出作為輸人的一部分）的網絡。3.3.1Hopfield網絡模型Hopfield于198Hopfield模型Hopfield是帶有自反饋的神經網絡模型。模型分為兩層：第0層為引入反饋而設計，它是退化了的神經元層，神經元的輸出等于輸入；第1層是標準的神經元模型，它的數學模型如下。第1層第j個神經元的輸入前部（對神經元的刺激）:Hopfield模型Hopfield是帶有自反饋的神經網如果選擇階躍型函數作為神經元的激勵函數時，有如果選擇階躍型函數作為神經元的激勵函數時，有穩(wěn)定性分析Hopfield網絡由于其輸出端有反饋到其輸入端，在輸入的激勵下，其狀態(tài)發(fā)生變化，這個變化反饋到輸入，從而產生新的輸出，引起一系列的狀態(tài)轉移。如果這種狀態(tài)轉移經過一定的時間穩(wěn)定下來，t+1時刻與t時刻狀態(tài)相同，則我們稱系統(tǒng)到達了穩(wěn)定平衡狀態(tài)。穩(wěn)定性分析Hopfield網絡由于其輸出端有反饋到其輸入端網絡穩(wěn)定的充分條件并不是所有的Hopfield網絡都是穩(wěn)定的，那么，什么樣的網絡是穩(wěn)定的呢？目前沒有通常的方法，cohen和Grossberg在1953年給出了關于Hopfield網絡穩(wěn)定的充分條件：如果Hopfield網絡的權系數矩陣W是一個對稱矩陣，并且W的對角線元素為0，則這個網絡是穩(wěn)定的，即是說在權系數矩陣W中，如果則Hopfield網絡是穩(wěn)定的。

網絡穩(wěn)定的充分條件并不是所有的Hopfield網絡都是穩(wěn)定的網絡退化成沒有自反饋的Hopfield網絡

所謂充分條件是指只要滿足以上條件的Hopfield網絡，系統(tǒng)經過一定的迭代循環(huán)，肯定能夠達到穩(wěn)定的狀態(tài)。但這并不代表不滿足以上條件的Hopfield網絡就絕對不穩(wěn)定。網絡退化成沒有自反饋的Hopfield網絡所謂充分條件離散Hopfield網絡的工作方式①串行方式在時刻t時，只有某一個神經元j的狀態(tài)發(fā)生變化，而其他n-1個神經元的狀態(tài)不變。②并行方式在任一時刻t，所有的神經元的狀態(tài)都產生了變化，則稱并行工作方式。從Hopfield網絡可以看出，它是一種多輸入的二值非線性動力系統(tǒng)。在動力系統(tǒng)中，平衡穩(wěn)定狀態(tài)可以理解為系統(tǒng)的某種形式的能量函數在系統(tǒng)運動過程中，其能量值不斷減小，最后處于最小值。

結論離散Hopfield網絡的工作方式①串行方式結聯(lián)想存儲器令Hopfield網絡是一個具有m個輸入節(jié)點的網絡，學習開始時具有m個樣本，它們?yōu)槁?lián)想存儲器令Hopfield網絡是一個具有m個輸入節(jié)點的網其權值變化為當聯(lián)想檢索時，令輸入為初始輸出其權值變化為利用如下的迭代公式其中f(.)一般為非線性函數，常用階躍型函數。y(t+1)與y(t)經過一定次數的迭代后，系統(tǒng)輸出不再變化，達到穩(wěn)定。Hopfield網絡用它做聯(lián)想記憶時，如果輸入向量與訓練的樣本不完全一樣或有部分不正確的數據，但是網絡仍能夠產生所記憶的信息的完整輸出。利用如下的迭代公式以上討論的Hopfield網絡是離散型的，Hopfield在離散型網絡基礎上發(fā)展了連續(xù)型神經網絡。連續(xù)型Hopfield網絡的結構與離散型網絡一樣，只是輸人變換函數f（·）一般取sigmoid函數，即可以證明如果連續(xù)型Hopfield網絡的權重矩陣滿足對角線元素wii=0，并且wij=wji，則該網絡是穩(wěn)定的。以上討論的Hopfield網絡是離散型的，Hopfield在3.3.2反向傳播BP模型Rosenblatt于1961年提出了感知機模型Perceptron，它利用神經元模型模擬人類的邏輯思維取得了很大的成功，但MIT的著名人工智能學者Minsky分析了Perceptron的結構與特征，提出了它的致命缺陷，無法實現像XOR（異或）這樣簡單的非線性邏輯運算。3.3.2反向傳播BP模型Rosenblatt于1961異或運算真值表令+為異或算子，Z=X+Y，則Z的取值可以從下表中得到：

++XYZ0000l1l01110異或運算真值表令+為異或算子，Z=X+Y，則Z異或運算平面圖因為Perceptron是線性分類器，因此如圖中虛線所表達的，無論如何切割，總是無法將黑球與白球分開。所以Perceptron無法面對像XOR這樣的邏輯問題。異或運算平面圖因為Perceptron是線性分類器，因此如圖引入隱節(jié)點1986年，Rumelhart等研究者提出了引入隱節(jié)點，采用非線性神經元的新型神經模型，由于它的學習算法是基于誤差反向傳播（errorBack-Propagation)，于是被稱為BP模型，或反向傳播模型。下面將兩個模型加以對照：引入隱節(jié)點1986年，Rumelhart等研究者提出了引入①結構比較（以三個輸入節(jié)點，兩個輸出節(jié)點為例）①結構比較（以三個輸入節(jié)點，兩個輸出節(jié)點為例）②映射函數比較②映射函數比較解決方案由于BP模型采用了非線性的映射函數，在解決XOR這樣非線性分類問題時可能進行圖中的劃分。解決方案由于BP模型采用了非線性的映射函數，在解決XO能量最小原理①初始化權重，一般取接近零的隨機數；②將樣本的輸入作為BP模型的輸入，逐級計算出神經網絡的輸出；③將樣本的輸出與神經網絡的輸出進行比較（均方差，即能量），產生學習誤差；④以該誤差作為修改各層神經元輸出的依據，從頂層（輸出層）到底層（輸入層）修改連接每一個神經元的權重，即所謂誤差的反向傳播。能量最小原理①初始化權重，一般取接近零的隨機數；結論研究人員已經證明：只要有足夠多的隱節(jié)點和足夠的學習時間，BP模型可以模擬任意復雜的非線性曲線。正是BP模型具有這么強大的學習能力，它目前在人工神經網絡中得到廣泛的應用。DEMO結論研究人員已經證明：只要有足夠多的隱節(jié)點和足夠的學習時間，3.3.3自適應共振理論ART模型1976年美國Boston大學的S.Grossberg和A.Carpenet提出了自適應共振理論ART(AdaptiveResonanceTheory）模型。它試圖利用數學方法描述人類心理與認知活動，如短期記憶（STM）、長期記憶（LTM）、注意力聚焦等等。ART是一種自組織神經網絡模型，其學習方法屬于無教師的自適應過程。當在神經網絡和環(huán)境有交互作用時，神經網絡自動對環(huán)境信息進行編碼，即對神經網絡的權重進行自組織活動。3.3.3自適應共振理論ART模型1976年美國BostART模型的結構ART模型的結構ART模型連接圖ART模型連接圖ART工作原理輸入層F1接收來自系統(tǒng)的輸入，它經過輸入層神經元的加工，只有較強刺激的輸入才能激活輸入層神經元。所謂較強刺激，即一個稱為“2/3規(guī)則”的控制?！?/3”規(guī)則告訴我們，三個輸入中當有兩個輸入為正（刺激）時STM-F1

中的神經元才處于激活狀態(tài)。（看結構圖）這里，STM-F1，通常稱為比較層，STM-F2稱為識別層，它們之間的通道（權重矩陣）稱為LTM（長期記憶）。STM-F2狀態(tài)的變化表示對注意力轉移過程，而由于模式不匹配而引起的狀態(tài)轉移信號就稱為定向子系統(tǒng)。ART工作原理輸入層F1接收來自系統(tǒng)的輸入，它經過輸入層神我們可以從結構圖中看到，短期記憶STM-Fl有三個輸入，分別對應系統(tǒng)輸入、增益控制1輸入及從STM-F2來的自上而下的輸入，“2/3”規(guī)