人工智能10-神經網絡3課件

1、神經網絡-1回顧感知器的設計,就是確定各個輸入的權重的過程110不行感知器的參數(shù)設計可以將紅點和綠點分開的直線結論：只要能畫出一條直線，將輸入點按照要求分成兩類，那么就可以設計出相應的感知器，實現(xiàn)該功能。確定感知器的參數(shù)，就是獲取這條直線的參數(shù)。感知器的學習delta法則當訓練樣例集合不是線性可分的，感知器的學習過程就不能收斂，那么就需要采用delta法則。delta法則可以使得感知器的學習過程收斂到目標函數(shù)的最佳近似思想：采用梯度下降方法來搜索可能的權向量的假設空間，來找到最佳擬合訓練樣例的權向量主要內容多層網絡和反向傳播算法Hopfield網絡及其學習1. 多層網絡和BP學習算法單個感知器

2、只能表示線性決策面多層網絡能夠表示高度非線性的決策面，其表征能力更強BP學習算法BP算法（學習過程）是由兩部分組成：信號的正向傳播與誤差的反向傳播正向傳播過程中，輸入信號從輸入層經隱含層，逐層計算傳向輸出層，每一層神經元的狀態(tài)只影響下一層神經元的狀態(tài)如果在輸出層未得到期望的輸出，則計算輸出層的誤差變化值，然后轉向反向傳播，通過網絡將誤差信號沿原來的連接通路反傳回來，修改各層神經元的權值直至達到期望目標反向傳播算法用于多層前向神經網絡的學習，從而得到各層的神經元權值。采用梯度下降方法，以最小化網絡輸出值和目標值之間的誤差誤差信號從后向前傳遞，即從輸出層傳播到中間層，再由中間層傳播到輸入層。在反向

3、傳播的過程中，逐層修改聯(lián)結的權值。修改方法遵循delta學習法則加入輸入和期望輸出計算隱層和輸出層的輸出迭代次數(shù)加1調節(jié)輸出層和隱層的連接權值 改變訓練樣例樣例完？迭代完？NoNoyes結束BP算法的基本流程 初始化 YesBP網絡特點輸入和輸出是并行的模擬量網絡的輸入輸出關系是各層連接的權因子決定權因子通過學習信號調節(jié)。學習越多，網絡越聰明BP網絡特點隱含層越多，網絡輸出精度越高，且個別權因子的損壞不會對網絡輸出產生大的影響只有當希望對網絡的輸出進行限制，如限制在0和1之間，那么在輸出層應當包含S型激活函數(shù)在一般情況下，均是在隱含層采用S型激活函數(shù)，而輸出層采用線性激活函數(shù)2. Hopfie

4、ld網絡及其學習美國加州工學院物理學家霍普菲爾德(JHopfield) 提出反饋網絡模型及Hopfield網絡反饋網絡 又稱自聯(lián)想記憶網絡，其目的是為了設計一個網絡，儲存一組平衡點，使得當給網絡一組初始值時，網絡通過自行運行而最終收斂到這個設計的平衡點上。反饋網絡能夠表現(xiàn)出非線性動力學系統(tǒng)的動態(tài)特性。它所具有的主要特性為以下兩點：第一、網絡系統(tǒng)具有若干個穩(wěn)定狀態(tài)。當網絡從某一初始狀態(tài)開始運動，網絡系統(tǒng)總可以收斂到某一個穩(wěn)定的平衡狀態(tài)；第二，系統(tǒng)穩(wěn)定的平衡狀態(tài)可以通過設計網絡的權值而被存儲到網絡中。 霍普菲爾德網絡是單層對稱全反饋網絡，根據其激活函數(shù)的選取不同，可分為離散型的霍普菲爾德網絡(Di

5、screte Hopfield Neural Network，簡稱DHNN)連續(xù)型的霍普菲爾德網絡(Continuous Hopfield Neural Network，簡稱CHNN)。DHNN的激活函數(shù)為二值型的，其輸入、輸出為0，1的反饋網絡，主要用于聯(lián)想記憶。CHNN的激活函數(shù)的輸入與輸出之間的關系為連續(xù)可微的單調上升函數(shù)，主要用于優(yōu)化計算。 2.1 霍普菲爾德網絡模型 反饋網絡結構圖 在反饋網絡中如果其激勵函數(shù)f()是一個二值型的硬函數(shù)，如aisgn(ni)，il, 2, r，則稱此網絡為離散型反饋網絡；如果ai=f(ni)中的f()為一個連續(xù)單調上升的有界函數(shù)，這類網絡被稱為連續(xù)型反

6、饋網絡。圖2所示為一個具有飽和線性激活函數(shù)，它滿足連續(xù)單調上升的有界函數(shù)的條件，常作為連續(xù)型的激活函數(shù)。 圖1 DHNN中的激活函數(shù) 圖2 CHNN中的激活函數(shù) 2.2 狀態(tài)軌跡 狀態(tài)：網絡中每個神經元的輸出值，對應DHNN,只有兩種狀態(tài)（1，0）設狀態(tài)矢量N=n1, n2, ，nr，網絡的輸出矢量為Aa1，a2，asT ，在一個r維狀態(tài)空間上，可以用一條軌跡來描述狀態(tài)變化情況。從初始值N(t0)出發(fā)，N(t0+t)N(t0+2t)N(t0+mt)，這些在空間上的點組成的確定軌跡，是演化過程中所有可能狀態(tài)的集合。 圖 三維空間中的狀態(tài)軌跡 說明對于DHNN，因為N(t)中每個值只可能為1，或0

7、，1，對于確定的權值wij，其軌跡是跳躍的階梯式，如圖中A所示。對于CHNN，因為f()是連續(xù)的，因而，其軌跡也是連續(xù)的。如圖中B、C所示。 2.3 穩(wěn)定點穩(wěn)定點：狀態(tài)軌跡從系統(tǒng)在t0時狀態(tài)的初值N(t0)開始，經過一定的時間t(t0)后，到達N(t0+t)。如果N(t0+t+t)=N(t0+t)，t0，則狀態(tài)N(t0+t)稱為網絡的穩(wěn)定點，或平衡點，此時該網絡是穩(wěn)定的。 處于穩(wěn)定時的網絡狀態(tài)叫做穩(wěn)定狀態(tài)。 在一個反饋網絡中，存在很多穩(wěn)定點，根據不同情況，這些穩(wěn)定點可以分為：1)漸近穩(wěn)定點：如果在穩(wěn)定點Ne周圍的N()區(qū)域內，從任一個初始狀態(tài)N(t0)出發(fā)的每個運動，當t時都收斂于Ne，則稱N

8、e為漸近穩(wěn)定點。 2)不穩(wěn)定平衡點Nen：在某些特定的軌跡演化過程中，網絡能夠到達穩(wěn)定點Nen，但對于其它方向上的任意一個小的區(qū)域N()，不管N()取多么小，其軌跡在時間t以后總是偏離Nen； 3)網絡的解：如果網絡最后穩(wěn)定到設計人員期望的穩(wěn)定點，且該穩(wěn)定點又是漸近穩(wěn)定點，那么這個點稱為網絡的解； 4)網絡的偽穩(wěn)定點：網絡最終穩(wěn)定到一個漸近穩(wěn)定點上，但這個穩(wěn)定點不是網絡設計所要求的解，這個穩(wěn)定點為偽穩(wěn)定點。 2.4 狀態(tài)軌跡1）狀態(tài)軌跡為極限環(huán)如果在某些參數(shù)的情況下，狀態(tài)N(t)的軌跡是一個圓，或一個環(huán)，狀態(tài)N(t)沿著環(huán)重復旋轉，永不停止，此時的輸出A(t)也出現(xiàn)周期變化，即出現(xiàn)振蕩，如前圖

9、中C的軌跡即是極限環(huán)出現(xiàn)的情形對于DHNN，軌跡變化可能在兩種狀態(tài)下來回跳動，其極限環(huán)為2。如果在r種狀態(tài)下循環(huán)變化，稱其極限環(huán)為r。 2）混沌現(xiàn)象如果狀態(tài)N(t)的軌跡在某個確定的范圍內運動，但既不重復，又不能停下來，狀態(tài)變化為無窮多個，而軌跡也不能發(fā)散到無窮遠，這種現(xiàn)象稱為混沌在出現(xiàn)混沌的情況下，系統(tǒng)輸出變化為無窮多個，并且隨時間推移不能趨向穩(wěn)定，但又不發(fā)散。 3) 狀態(tài)軌跡發(fā)散如果狀態(tài)N(t)的軌跡隨時間一直延伸到無窮遠，此時狀態(tài)發(fā)散，系統(tǒng)的輸出也發(fā)散。在人工神經網絡中，由于激活函數(shù)是一個有界函數(shù)，雖然狀態(tài)N(t)是發(fā)散的，但其輸出A(t)還是穩(wěn)定的，而A（t）的穩(wěn)定反過來又限制了狀態(tài)的發(fā)散。一般非線性人工神經網絡中發(fā)散現(xiàn)象是不會發(fā)生的，除非神經元的輸入輸出激活函數(shù)是線性的2.5 應用目前的人工神經網絡是利用狀態(tài)軌跡的第一種情況，即穩(wěn)定的專門軌跡來解決某些問題的。利用Hopfield神經網絡的穩(wěn)定點可以模擬人的記憶如果把系統(tǒng)的穩(wěn)定點視做一個記憶的話，那么從初始狀態(tài)朝這個穩(wěn)定點移動的過程就是尋找該記憶的過程。 狀態(tài)的初始值可以認為是給定的有關該記憶的部分信息，狀態(tài)N(t)移動的過程，是從部分信息去尋找全部信息，這就是聯(lián)想記憶的過程。 反饋網絡的狀態(tài)移動的過程實際上是一種計算聯(lián)想記憶或優(yōu)化的過程。它的解并不需要真的去計算，只需要去形成一類反饋神經網絡，適當?shù)赜懻撈錂嘀刂祑ij，