神經網絡原理及應用

神經網絡原理及應用第1頁/共121頁5.1概述5.1.1什么是人工神經網絡所謂人工神經網絡就是基于模仿生物大腦的結構和功能而構成的一種信息處理系統(tǒng)（計算機）。人是地球上具有最高智慧的動物，而人的指揮均來自大腦，人類靠大腦進行思考、聯想、記憶和推理判斷等，這些功能是任何被稱為“電腦”的一般計算機所無法取代的。長期以來，許多科學家一直致力于人腦內部結構和功能的探討和研究，并試圖建立模仿人類大腦的計算機，雖然到目前對大腦的內部工作機理還不甚完全清楚，但對其結構已有所了解。第2頁/共121頁5.1.1什么是人工神經網絡粗略地講，大腦是由大量神經細胞或神經元組成的。每個神經元可看作是一個小的處理單元，這些神經元按某種方式連接起來，形成大腦內部的生理神經元網絡。這種神經元網絡中各神經元之間聯結的強弱，按外部的激勵信號做自適應變化，而每個神經元又隨著所接收到的多個接收信號的綜合大小而呈現興奮或抑制狀態(tài)?，F已明確大腦的學習過程就是神經元之間連接強度隨外部激勵信息做自適應變化的過程，而大腦處理信息的結果則由神經元的狀態(tài)表現出來。5.1概述第3頁/共121頁5.1.1什么是人工神經網絡由于我們建立的信息處理系統(tǒng)實際上是模仿生理神經網絡，因此稱它為人工神經網絡。需要指出，盡管人工神經網絡是對大腦結構的模仿，但這種模仿目前還處于極低的水平。5.1概述第4頁/共121頁5.1.1什么是人工神經網絡人工神經網絡的兩種操作過程訓練學習訓練時，把要教給神經網絡的信息（外部輸入）作為網絡的輸入和要求的輸出，使網絡按某種規(guī)則（稱為訓練算法）調節(jié)各處理單元間的連接權值，直至加上給定輸入，網絡就能產生給定輸出為止。這時，各連接權已調接好，網絡的訓練就完成了。正常操作（回憶操作）對訓練好的網絡輸入一個信號，它就可以正確回憶出相應輸出，得到識別結果。5.1概述第5頁/共121頁5.1概述5.1.2人工神經網絡的發(fā)展

-初始（萌發(fā)）期——

MP模型的提出和人工神經網絡的興起。1943年，美國神經生理學家WarrenMcculloch和數學家WalterPitts合寫了一篇關于神經元如何工作的開拓性文章：“ALogicalCalculusofIdeasImmanentinNervousActivity”。該文指出，腦細胞的活動像斷/通開關，這些細胞可以按各種方式相互結合，進行各種邏輯運算。按此想法，他們用電路構成了簡單的神經網絡模型，并預言大腦的所有活動最終將被解釋清楚。雖然問題并非如此簡單，但它給人們一個信念，即大腦的活動是靠腦細胞的組合連接實現的。第6頁/共121頁1949年，心理學家DonalaHebb寫了一本書：“TheOrganizationofBehavior”。在該書中，他強調了心理學和生理學間的聯系和溝通，指出腦細胞間的通路每當通過參與某種活動時將被加強，這就是后來的Hebb學習規(guī)則。目前有些神經網絡模型仍然采用這種學習規(guī)則。5.1概述第7頁/共121頁5.1.2人工神經網絡的發(fā)展第一次高潮期——感知器模型和人工神經網絡1957年，計算機專家FrankRosenblatt開始從事感知器的研究，并制成硬件，通常被認為是最早的神經網絡模型。1959年，兩位電機工程師BernardWidrow和MarcianHaff開發(fā)出一種叫作自適應線性單元（ADALINE）的網絡模型，并在他們的論文“AdaptiveSwitchingCircuits”中描述了該模型和它的學習算法（Widrow-Haff算法）。該網絡通過訓練，可以成功用于抵消通信中的回波和噪聲，也可用于天氣預報，成為第一個用于實際問題的神經網絡。5.1概述第8頁/共121頁5.1.2人工神經網絡的發(fā)展第一次高潮期

——

感知器模型和人工神經網絡1962年，Rosenblatt出版了一本書“ThePrinciplesofNeurodynamics”，詳述了他的感知器模型。該感知器具有輸入層、輸出層和中間層，通過實驗可以模仿人的某些特性，并斷言它可以學會任何它可以表示的功能。在這一時期，由于感知器的某些進展和對神經網絡的宣傳，人們樂觀地認為幾乎已經找到了實現智能的關鍵，許多部門開始大批地投入此項研究，希望盡快占領制高點，形成了研究人工神經網絡的第一次高潮。由于當時對神經網絡的樂觀情緒的影響，人們夸大了神經網絡的潛力（有人甚至擔心制造機器人的人類會很快受到機器人的攻擊）。5.1概述第9頁/共121頁5.1.2

人工神經網絡的發(fā)展反思期—神經網絡的低潮1969年，MarvinMinsky和SeymourPapert合著了一本書“Perception”，分析了當時的簡單感知器，指出它有非常嚴重的局限性，甚至不能解決簡單的“異或”問題，為Rosenblatt的感知器判了“死刑”。此時，批評的聲音高漲，導致了停止對人工神經網絡研究所需的大量投資。不少研究人員把注意力轉向了人工智能，導致對人工神經網絡的研究陷入低潮。5.1概述第10頁/共121頁5.1.2人工神經網絡的發(fā)展反思期——

神經網絡的低潮雖然如此，二十世紀70年代到80年代早期，仍有一些堅信神經網絡的人堅持他們的工作，為人工神經網絡的復蘇做準備。神經生理學家JamesAnderson開發(fā)的盒中腦模型（Brain-State-in-a-Box，BSB）。日本學者KunihikFukushima開發(fā)的用于視覺圖形識別的認知器模型（Neocognitron）。電氣工程師TeuvoKohonen開發(fā)的與BSB類似的網絡模型。Grossberg,Rumelhart,McClelland,Marr,Amari和Cooper等人的工作。5.1概述第11頁/共121頁5.1.2人工神經網絡的發(fā)展第二次高潮期—Hopfield網絡模型的出現和人工神經網絡的復蘇1982年，JohnHopfield向美國科學院遞交了有關神經網絡的報告，主要內容就是建議收集和重視以前對神經網絡的工作，其中特別強調了每種模型的實用性。根據對神經網絡的數學分析和深入理解，Hopfield揭示了以往的網絡是如何工作的，可以做些什么，并提出了他自己的模型，能從失真的或不完善的數據圖像中獲得完整的數據圖像，引起了美國軍方的興趣。當時，人工智能對自動制導車的研究失敗，而利用神經網絡有可能解決這個問題，從而使人們的注意力重新投向人工神經網絡，導致了人工神經網絡的第二次高潮。5.1概述第12頁/共121頁5.1.2人工神經網絡的發(fā)展第二次高潮期—Hopfield網絡模型的出現和人工神經網絡的復蘇1984年，Hopfield設計研制了后來被人們稱為Hopfield網的電路，較好地解決了TCP問題，找到了最佳解的近似解，引起了較大轟動。1985年，Hinton、Sejnowsky、Rumelhart等研究者在Hopfield網絡中引入隨機機制，提出了所謂的Bolziman機。1986年，Rumelhart等研究者獨立地提出多層網絡的學習算法—BP算法，較好地解決了多層網絡的學習問題。1990年12月，國內首屆神經網絡大會在北京舉行。5.1概述第13頁/共121頁5.1.2

人工神經網絡的發(fā)展再認識與應用研究期主要研究內容開發(fā)現有模型的應用，并在應用中根據實際運行情況對模型、算法加以改造，以提高網絡的訓練速度和運行的準確度。充分發(fā)揮每種技術各自的優(yōu)勢，尋找更有效的解決方法。希望在理論上尋找新的突破，建立新的專用或通用模型和算法。進一步對生物神經系統(tǒng)進行研究，不斷豐富對人腦的認識。5.1概述第14頁/共121頁5.1.3

人工神經網絡的特點容錯性人類大腦具有很強的容錯能力，這正是由于大腦中知識是存儲在很多處理單元和它們的連接上的。每天大腦的一些細胞都可能會自動死亡，但這并沒有影響人們的記憶和思考能力。人工神經網絡可以從不完善的數據和圖形進行學習和做出決定由于知識存在整個系統(tǒng)中，而不是在一個存儲單元內，因此一定比例的結點不參與運算，對整個系統(tǒng)的性能不會產生重大影響。神經網絡中承受硬件損壞的能力比一般計算機要強得多。5.1概述第15頁/共121頁5.1.3人工神經網絡的特點自適應性人類有很強的適應外部的學習能力 小孩在周圍環(huán)境的熏陶下可以學會很多事情，如通過學習可以認字、說話、走路、思考、判斷等。第16頁/共121頁5.1.3人工神經網絡的特點自適應性人工神經網絡也具有學習能力有指導的訓練：將輸入樣本加到網絡輸入并給出相應的輸出，通過多次訓練迭代獲得連接權值。好像告訴網絡：“當你看到這個圖形（比如5）時，請給我指示5”。無指導的訓練：網絡通過訓練自行調節(jié)連接加權，從而對輸入樣本分類。在網絡訓練時，有時只能給出大量的輸入圖形，沒有指定它們的輸出，網絡就自行按輸入圖形的特征對它們進行分類。如小孩通過大量觀察可以分辨出哪是狗、哪是貓一樣。第17頁/共121頁5.1.3人工神經網絡的特點自適應性人工神經網絡也具有學習能力綜合推理的能力：網絡具有正確響應和分辨從未見過的輸入樣本的能力。進行數字圖形的識別時，對于不完善的數字圖形或失真的數字圖形仍能正確辨認。第18頁/共121頁5.1.3

人工神經網絡的特點人工神經網絡的局限性人工神經網絡不適于高精度的計算正像很多人不善于直接計算類似資金的問題一樣，人工神經網絡不用于計算資金方面的問題。人工神經網絡的學習和訓練往往是一個艱難的過程網絡的設計沒有嚴格確定的方法（一般憑經驗），所以選擇訓練方法和所需網絡結構沒有統(tǒng)一標準。脫機訓練往往需要很長時間，為了獲得最佳效果，常常要重復試驗多次。網絡收斂性的問題。第19頁/共121頁5.1.3

人工神經網絡的特點人工神經網絡的局限性正確的訓練數據的收集大量有代表性樣本的采集正確的預處理總之，人工神經網絡是基于人類大腦的結構和功能建立起來的學科，盡管它只是大腦的低級近似，但它的許多特點和人類的智能特點類似，有著較強的識別能力和廣泛的應用前景。第20頁/共121頁5.2人工神經網絡基礎目前出現的各種各樣的人工神經網絡模型，盡管在性能和結構上各有特點，但它們存在很多共同之處。人工神經網絡的基本術語常用表示符號描述人工神經網絡的基本數學概念第21頁/共121頁5.2.1人工神經網絡的生物原型—大腦簡單的神經元5.2人工神經網絡基礎第22頁/共121頁5.2.1人工神經網絡的生物原型—大腦簡單的神經元神經元就是神經細胞，它是動物的重要特征之一，在人體內從大腦到全身存在大約1010個神經元。神經元的組成細胞體：它是神經元的本體，內有細胞核和細胞質，完成普通細胞的生存功能。樹突：它有大量的分枝，多達103數量級，長度較短（通常不超過1毫米），用以接收來自其它神經元的信號。軸突：它用以輸出信號，有些較長（可達1米以上），軸突的遠端也有分枝，可與多個神經元相連。突觸：它是一個神經元與另一個神經元相聯系的特殊部位，通常是一個神經元軸突的端部靠化學接觸或電接觸將信號傳遞給下一個神經元的樹突或細胞體。5.2人工神經網絡基礎第23頁/共121頁5.2.1人工神經網絡的生物原型—大腦神經元間信號的傳遞神經元間的信號通過突觸傳遞。通過它，一個神經元內傳送的沖擊信號將在下一個神經元內引起響應，使下一個神經元興奮，或阻止下一個神經元興奮。5.2人工神經網絡基礎第24頁/共121頁5.2.1人工神經網絡的生物原型—大腦神經元的基本工作機制一個神經元有兩種狀態(tài)——興奮和抑制平時處于抑制狀態(tài)的神經元，當接收到其它神經元經由突觸傳來的沖擊信號時，多個輸入在神經元中以代數和的方式疊加。進入突觸的信號會被加權，起興奮作用的信號為正，起抑制作用的信號為負。如果疊加總量超過某個閾值，神經元就會被激發(fā)進入興奮狀態(tài)，發(fā)出輸出脈沖，并由軸突的突觸傳遞給其它神經元。神經元被觸發(fā)后有一個不應期，在此期間內不能被觸發(fā)，然后閾值逐漸下降，恢復原來狀態(tài)。5.2人工神經網絡基礎第25頁/共121頁5.2.1

人工神經網絡的生物原型—大腦神經元的基本工作機制神經元是按照“全或無”的原則工作的，只有興奮和抑制兩種狀態(tài)，但也不能認為神經元只能表達或傳遞二值邏輯信號。神經元興奮時往往不是只發(fā)一個脈沖，而是發(fā)出一串脈沖，如果把一串脈沖看成是一個調頻信號，脈沖的密度是可以表達連續(xù)量的。5.2人工神經網絡基礎第26頁/共121頁5.2.1人工神經網絡的生物原型—大腦大腦及大腦皮層的結構研究證明，大腦中大約有1000個不同的模塊，每個模塊包含有50*106個神經元。我們可以假設每個模塊就是眾多神經網絡中的一類。大腦的主要計算機構是大腦皮層，在其斷面上一般有3~6層神經細胞排列，大約10萬個神經元組成一組。在一個典型的腦模型中，大約有500個神經網絡進行計算工作，平均一個神經元向其它神經元發(fā)出2000個突觸。不同層間神經元的連接方式有平行型、發(fā)散型、收斂型和反饋型，這些連接的強度是隨機的，隨著對外部世界的響應而逐漸形成。5.2人工神經網絡基礎第27頁/共121頁5.2.1人工神經網絡的生物原型—大腦總之，大腦中神經網絡的結構是極其復雜的，其工作機理仍未完全搞清。認知器模型的發(fā)明者KunihikoFukushima描述了建立人工神經網絡模型的原則：“我們試圖忠實地遵循生理的證據。我們分析或模擬所建模型的性能，并將它與大腦的某種性能進行比較。如果我們發(fā)現模型與大腦在性能方面的差異，我們就變化我們的初始假設和修改模型……，并重復這一過程直到模型的性能與大腦的性能具有相同的方式?！?.2人工神經網絡基礎第28頁/共121頁第29頁/共121頁5.2.2人工神經網絡處理單元處理單元（PE）就是人工神經元，也稱為結點，通常用圓圈表示。5.2人工神經網絡基礎第30頁/共121頁5.2.2

人工神經網絡處理單元處理單元的結構和功能與生物神經元有類似之處，可以說是生物神經元的簡單近似。處理單元只模擬了生物神經元所能執(zhí)行的150多個處理功能中的若干個。處理單元的功能對每個輸入信號進行處理以確定其強度（加權）；確定所有輸入信號的組合效果（求和）；確定其輸出（轉移特性）。5.2人工神經網絡基礎第31頁/共121頁5.2.2人工神經網絡處理單元對生物神經元的模擬就像生物神經元中有很多輸入（激勵）一樣，處理單元也有很多輸入信號，并且同時加到處理單元上，處理單元以輸出作為響應。處理單元的輸出像實際神經元一樣，輸出響應不但受輸入信號的影響，同時也受內部其它因素的影響。內部因素：內部閾值或一個額外輸入（稱為偏置項）5.2人工神經網絡基礎第32頁/共121頁5.2.2人工神經網絡處理單元處理單元的基本結構和功能5.2人工神經網絡基礎第33頁/共121頁5.2.2

人工神經網絡處理單元處理單元的基本結構和功能輸入信號來自外部（用黑色圓點表示輸入端點）或別的處理單元的輸出，在數學上表示為行向量x

x=(x1,x2,…,xN)其中xi為第i個輸入的激勵電平，N表示輸入數目。5.2人工神經網絡基礎第34頁/共121頁5.2.2人工神經網絡處理單元處理單元的基本結構和功能連接到結點j的加權表示為加權向量

Wj=(W1j,W2j,…,WNj)

其中Wij表示從結點i（或第i個輸入點）到結點j的加權，或稱i與j結點之間的連接強度。5.2人工神經網絡基礎第35頁/共121頁5.2.2人工神經網絡處理單元處理單元的基本結構和功能考慮到內部閾值θj，用x0=-1的固定偏置輸入點表示，其連接強度取W0j=θj。于是，可得輸入的加權和為5.2人工神經網絡基礎第36頁/共121頁5.2.2人工神經網絡處理單元處理單元的基本結構和功能如果向量x和Wj分別包含了x0和W0j，則有

x=(x0,x1,…,xN) Wj=(W0j,W1j,…,WNj)5.2人工神經網絡基礎第37頁/共121頁5.2.2人工神經網絡處理單元處理單元的基本結構和功能于是sj可表示為x和Wj的點積或內積

sj=x?Wj這一結果是標量，它由兩個向量的內積得到，可以作為兩個向量相似程度的測量。如果向量處于相同的方向，則其內積最大；如果向量處于相反的方向，則其內積最小。5.2人工神經網絡基礎第38頁/共121頁5.2.2人工神經網絡處理單元處理單元的基本結構和功能處理單元的激勵電平sj通過一個轉移函數F(?)，得到處理單元的最后輸出值yj5.2人工神經網絡基礎第39頁/共121頁5.2.2人工神經網絡處理單元轉移函數轉移函數F(?)也稱激勵函數、傳輸函數或限幅函數，其作用就是將可能的無限域變換到一指定的有限范圍內輸出，這類似于生物神經元具有的非線性轉移特性。常用的轉移函數線性函數斜坡函數階躍函數符號函數Sigmoid函數雙曲正切函數5.2人工神經網絡基礎第40頁/共121頁5.2.2人工神經網絡處理單元線性函數最簡單的轉移函數

y=F(s)=ks

其中y為輸出值，s為輸入信號的加權和，k是一個常數，表示直線的斜率。5.2人工神經網絡基礎第41頁/共121頁5.2.2人工神經網絡處理單元斜坡函數5.2人工神經網絡基礎第42頁/共121頁斜坡函數當線性函數值限定在(-rr)的范圍內時，線性函數就變?yōu)榉蔷€性斜坡函數。r和-r分別是處理單元的最大值和最小值，稱為飽和值，一般|r|=1。第43頁/共121頁5.2.2人工神經網絡處理單元階躍函數硬限幅函數的一種第44頁/共121頁5.2.2

人工神經網絡處理單元符號函數（sgn(?)）硬限幅函數的一種第45頁/共121頁5.2.2人工神經網絡處理單元Sigmoid函數S型函數的一種

y=F(s)=1/(1+e-s)第46頁/共121頁Grossberg在1973年發(fā)現，用該函數可使同一網絡既能處理小信號，也能處理大信號。該函數的中間高增益區(qū)解決了處理小信號的問題；伸向兩邊的低增益區(qū)正好適合于處理大的激勵信號；這種現象正像生物神經元在輸入電平范圍很大的情況下能正常工作一樣。第47頁/共121頁5.2.2人工神經網絡處理單元雙曲正切函數S型函數的一種

y=tand(s)=(es-e-s)/(es+e-s)相對于Sigmoid函數，它是原點對稱的。當s=0時有y=0，即同時具有雙級輸出。當要求輸出(-11)范圍的信號時，它常被采用。第48頁/共121頁5.2.3人工神經網絡的拓撲結構雖然單個處理單元可以處理簡單的圖形檢測功能，但更強的識別處理能力是來自多個結點“連成”的網絡，即人工神經網絡。這里的“連成”，是靠輸入至結點或者結點至結點間的信號傳輸通路實現的，這一通路相當于生物神經系統(tǒng)中的軸突和突觸，它們影響著輸入信號。以后我們把這種信號傳輸通路稱為“連接”，每一個連接都具有一個加權值，稱為“連接權”，反映連接的強度。第49頁/共121頁5.2.3

人工神經網絡的拓撲結構單層網絡最簡單的網絡是把一組結點形成一層。左邊的黑色圓點只起著分配輸入信號的作用，沒有計算作用，不看作是網絡的一層。右邊用圓圈表示的一組結點被看作一層。第50頁/共121頁5.2.3人工神經網絡的拓撲結構單層網絡輸入信號表示為行向量：x=(x1,x2,…,xN)，其中每一分量通過加權連接到各結點。每一個結點均可產生一個加權和。輸入和結點間采用全連接，并且都是前饋連接。在這種單層網絡中可把各加權表示為加權矩陣W。矩陣的維數是Nxn，N是輸入信號向量的分量數，n是該層內的結點數。由第三個輸入連接到第二個結點的連接權表示為W32。第51頁/共121頁5.2.3

人工神經網絡的拓撲結構單層網絡輸入信號的加權和表示為：s是各結點加權和的行向量，s=(s1,s2,…,sn)。輸出向量y=(y1,y2,…,yn)，其中yj=F(sj)。第52頁/共121頁5.2.3人工神經網絡的拓撲結構多層網絡一般來說，大而復雜的網絡能提供更強的計算能力。雖然目前已構成了很多網絡模型，但它們的結點都是按層排列的，這一點正是模仿了大腦皮層中的網絡模塊。多層網絡是由單層網絡進行級聯構成的，即上一層的輸出作為下一層的輸入。第53頁/共121頁5.2.3人工神經網絡的拓撲結構多層網絡兩層網絡（前饋全連接網絡）第54頁/共121頁5.2.3人工神經網絡的拓撲結構多層網絡三層網絡（前饋全連接網絡）第55頁/共121頁5.2.3人工神經網絡的拓撲結構多層網絡注意：在構成多層網絡時，層間的轉移函數應是非線性的，否則多層網絡的計算能力并不比單層網絡強。在線性轉移函數的情況下，兩層網絡輸出的計算是第一層的輸出xW1作為第二層的輸入，通過第二個加權矩陣得到網絡的輸出

y=(xW1)W2=x(W1W2)這表明兩層線性網絡等效于單層網絡，只是后者的加權矩陣為兩個加權矩陣的乘積。第56頁/共121頁5.2.3

人工神經網絡的拓撲結構多層網絡多層網絡中，接收輸入信號的層稱為輸入層。它不計入網絡層數，因為它只起著輸入信號緩沖器的作用，沒有處理功能。產生輸出信號的層稱為輸出層。除此之外的中間層稱為隱藏層（或隱蔽層），它不直接與外部環(huán)境打交道。隱藏層的層數可從零到若干層。第57頁/共121頁5.2.5

人工神經網絡的訓練（學習）人工神經網絡的最主要特征之一是它可以學習。任何一個人工神經網絡模型要實現某種功能的操作，就必須對它進行訓練，讓它學會要做的事情，并把這些知識記憶（存儲）在網絡的加權中。學習或訓練的實質就是加權矩陣隨外部激勵（環(huán)境）做自適應的變化。第58頁/共121頁5.2.5

人工神經網絡的訓練（學習）因為學習和訓練的實質是變動加權值，因此很多文獻中學習和訓練的概念是混用的。嚴格來說，兩者是有區(qū)別的，訓練通常是指調整網絡加權的操作動作和過程，這個過程對網絡來講就是學習。比如舉辦一個訓練班對學生進行某種技能的訓練，對學生來講，它是在該班內學習。第59頁/共121頁5.2.5

人工神經網絡的訓練（學習）人工神經網絡被訓練后，它每加入一組輸入就會產生一組要求的輸出。一組輸入（或輸出）就是所謂的向量或圖形。訓練就是相繼加入輸入向量，并按預定規(guī)則調整網絡加權。在進行訓練后，網絡的各加權都收斂到一個確定值，以便每個輸入向量都會產生一個要求的輸出向量。調整加權所遵循的預定規(guī)則就是訓練算法。有指導的訓練無指導的訓練第60頁/共121頁5.2.5

人工神經網絡的訓練（學習）有指導的訓練對有指導的訓練算法，不但需要訓練用的輸入向量，同時還要求與之對應的表示所需要輸出的目標向量。輸入向量與對應的目標向量一起稱作一個訓練對。通常訓練一個網絡需要很多訓練對，這些訓練對組成訓練組。當加上一個輸入向量時，要計算網絡的實際輸出，并同相應的目標向量做比較，根據比較結果的誤差，按規(guī)定的算法改變加權。把訓練組中的每個向量對相繼加入，對每個向量都計算誤差并調節(jié)加權，直到訓練組中的誤差都達到可接受的最低值為止。第61頁/共121頁5.2.5人工神經網絡的訓練（學習）無指導的訓練無指導的訓練不要求有目標向量，網絡通過自身的“經歷”來學會某種功能。人們發(fā)現在幼兒的早期發(fā)育中，存在有自組織的能力，據此，認為無指導的訓練是在生物上更有道理的訓練算法。1984年，Kohonen等人提出了無指導的訓練算法。第62頁/共121頁5.2.5人工神經網絡的訓練（學習）訓練算法目前應用的訓練算法很多，其中有很大部分是早期的Hebb算法的變形。人們仍在以生物學習訓練的模式作為目標，繼續(xù)探索新的算法?？梢韵嘈牛嬲纳飳W習訓練過程肯定比目前常用的訓練算法復雜得多。第63頁/共121頁5.2.5人工神經網絡的訓練（學習）訓練算法之一

—Hebb算法Hebb算法是由DonaldHebb提出的一種最早的訓練算法。Hebb認為，如果源和目的神經元都被激活（或抑制），它們之間的突觸的強度就會增強。第64頁/共121頁5.2.5人工神經網絡的訓練（學習）訓練算法之一

—Hebb算法人工神經網絡中Hebb算法的簡單描述：如果一個處理單元從另一個處理單元接收激勵信號，而且兩者處于相同的激勵電平（數學上具有相同的符號），那么處理單元之間的加權就應當增強。第65頁/共121頁5.2.5人工神經網絡的訓練（學習）訓練算法之一

—Hebb算法人工神經網絡中Hebb算法的簡單描述：按數學表示，就是兩結點的連接權將按兩結點的激勵電平的乘積來改變

其中，Wij(n)是第(n+1)次調節(jié)前從結點i到結點j的連接權值；Wij(n+1)是第(n+1)次調節(jié)后從結點i到結點j的連接權值；η為訓練速率系數；yi為結點i的輸出，并輸入到結點j；yj為結點j的輸出。第66頁/共121頁5.2.5人工神經網絡的訓練（學習）訓練算法之二—

σ訓練算法這種算法的基本思路是：按差值（σ值）最小準則連續(xù)地修正各連接權的強度。所謂差值最小，就是指處理單元所要求的輸出與當前實際輸出間的差值，靠調節(jié)各加權以達到最小。該算法也稱為Widdrow-Hoff訓練算法或最小均方（LMS）算法。第67頁/共121頁5.2.5人工神經網絡的訓練（學習）訓練算法之三—

梯度下降算法這是將數學上的優(yōu)化方法用于使要求的輸出與實際輸出之差最小。在該方法中，加權的修正量正比于誤差對加權的一階導數，數學表示如下：

其中，E是描述誤差的誤差函數，Wij(n)是結點i到結點j的連接權，η為訓練速率系數。σ訓練算法是梯度下降算法的一個特例。該算法收斂到穩(wěn)定點較慢，但它是一種比較有效和普遍應用的訓練算法。第68頁/共121頁5.2.5人工神經網絡的訓練（學習）訓練算法之四—

隨機訓練算法該算法利用了隨機過程，用概率和能量關系來調節(jié)連接權?；舅悸罚涸谟柧氝^程中，隨機改變一個權值，確定權值改變后產生的最終能量，并按如下準則來確定是否保留此加權的變化。若改變加權后，人工神經網絡的能量降低了，則保留這一改變。若改變加權后，能量沒有降低，則根據一個預選的概率分布來保留這一改變。（這一步的目的是為了保證人工神經網絡能夠獲得全局能量最小點，而不是局部能量最小點。）否則，拒絕這一改變，使權值恢復到原來的值。典型的隨機訓練算法：模擬退火算法第69頁/共121頁5.2.6小結人工神經網絡的原型—大腦神經元的結構神經元間的連接（突觸）生物神經網絡的構成人工神經網絡模型基本單元是人工神經元（即處理單元和結點），它是生物神經元的簡單近似。網絡模型是仿照生物神經元的連接結構，將結點組合連接為層并將幾個層組合在一起連接而構成的。網絡可分為單層網絡和多層網絡。連接可分為層內橫向連接、層間前饋連接和反饋連接。第70頁/共121頁5.3前饋神經網絡神經生理學和神經解剖學的研究表明，大腦中實際的神經網絡一般具有層次結構，同時結點間的連接很多屬于前饋連接，同時這種前饋連接構成的網絡（前饋網絡）學習過程比較容易，所以首先討論前饋網絡模型。1958年心理學家FrankRosenblatt及其合作者首先研究了這種前饋層次網絡模型，將其稱為感知器(Perception)。第71頁/共121頁感知器實例簡單感知器5.3前饋神經網絡第72頁/共121頁感知器實例兩層感知器5.3前饋神經網絡第73頁/共121頁在感知器模型中，輸入向量x=(x1,x2,…,xN)通過各輸入端點分配給下一層的各結點，這下一層稱為中間層，它可以是一層，也可以是多層，最后通過輸出層結點得到輸出向量y=(y1,y2,…,yn)。在這種前饋網絡模型中，沒有層內聯接，也沒有隔層的前饋聯接，每一個結點只能前饋聯接到其下一層的所有結點。由于在早期對于含有隱蔽層的多層感知器沒有可行的訓練算法，所以初期研究的感知器是一層感知器（或稱簡單感知器，通常簡稱為感知器）。由于多層網絡具有較強的處理功能，因此人們一直致力于尋找多層網絡的訓練算法，直到Rumelhart等人提出完整的誤差反傳訓練算法（BP算法），解決了多層網絡的訓練問題。5.3前饋神經網絡第74頁/共121頁5.3.1單層感知器5.3.1.1感知器模型5.3前饋神經網絡第75頁/共121頁凈輸入：輸出：ojx1-1xn…j=1,2,…,m

5.3.1單層感知器5.3.1.1感知器模型第76頁/共121頁5.3.1.2感知器的功能(1)設輸入向量X=(x1,x2)T輸出：則由方程w1jx1+w2jx2-Tj=0

確定了二維平面上的一條分界線。ojx1-1x2單計算節(jié)點感知器第77頁/共121頁5.3.1.2感知器的功能第78頁/共121頁5.3.1.2感知器的功能(2)設輸入向量X=(x1,x2,x3)T輸出：則由方程w1jx1+w2jx2+w3j

x3–Tj=0確定了三維空間上的一個分界平面。x2ojx1x3-1第79頁/共121頁5.3.1.2感知器的功能第80頁/共121頁5.3.1.2感知器的功能(3)設輸入向量X=(x1，x2,…，xn)T則由方程

w1jx1+w2jx2+…+wnj

xn–Tj=0確定了n維空間上的一個分界平面。輸出：sgn(w1jx1+w2jx2+…+wnjxn

–Tj)第81頁/共121頁5.3.1.2感知器的功能一個最簡單的單計算節(jié)點感知器具有分類功能。其分類原理是將分類知識存儲于感知器的權向量（包含了閾值）中，由權向量確定的分類判決界面將輸入模式分為兩類。第82頁/共121頁例一用感知器實現邏輯“與”功能。x1 x2 y0 0 00 1 01 0 01 1 1邏輯“與”真值表感知器結構w1x1+w2x2-T=0

0.5x1+0.5x2-0.75=0第83頁/共121頁例一用感知器實現邏輯“與”功能。第84頁/共121頁例二用感知器實現邏輯“或”功能。x1 x2 y0 0 00 1 11 0 11 1 1邏輯“或”真值表感知器結構w1x1+w2x2-T=0

x1+x2-0.5=0第85頁/共121頁例二用感知器實現邏輯“或”功能。第86頁/共121頁5.3.1.3感知器的局限性問題：能否用感知器實現“異或”功能？“異或”的真值表x1 x2 y 0 0 0 0 1 1 1 0 1 1 1 0第87頁/共121頁5.3.1.4感知器的學習算法感知器學習規(guī)則的訓練步驟：(1)對各權值w0j(0),w1j(0),┄,wnj(0)，j=1,2,┄,m

（m為計算層的節(jié)點數）賦予較小的非零隨機數；(2)輸入樣本對{Xp,dp}，其中Xp=(-1,x1p,x2p,┄,xnp)，

dp為期望的輸出向量（教師信號），上標p代表樣本對的模式序號，設樣本集中的樣本總數為P，則p=1,2,┄,P；第88頁/共121頁5.3.1.4感知器的學習算法感知器學習規(guī)則的訓練步驟：(3)計算各節(jié)點的實際輸出ojp(t)=sgn[WjT(t)Xp],j=1,2,...,m；(4)調整各節(jié)點對應的權值，Wj(t+1)=Wj(t)+η[djp-ojp(t)]Xp,

j=1,2,┄,m,

其中η為學習率，用于控制調整速度，太大會影響訓練的穩(wěn)定性，太小則使訓練的收斂速度變慢，一般取0＜η≤1；(5)返回到步驟(2)輸入下一對樣本，周而復始直到對所有樣本，感知器的實際輸出與期望輸出相等。第89頁/共121頁5.3.1.4感知器的學習算法例三單計算節(jié)點感知器，3個輸入。給定3對訓練樣本對如下：X1=(-1，1，-2，0)T

d1=1 X2=(-1，0，1.5，-0.5)T

d2=1X3=(-1，-1，1，0.5)T

d3=1設初始權向量W(0)=(0.5,1,-1,0)T，η=0.1。注意，輸入向量中第一個分量x0恒等于-1，權向量中第一個分量為閾值，試根據以上學習規(guī)則訓練該感知器。第90頁/共121頁解：第一步輸入X1，得

WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=2.5

o1(0)=sgn(2.5)=1

W(1)=W(0)+η[d1-o1(0)]X1=(0.5,1,-1,0)T+0.1(-1-1)(-1,1,-2,0)T=(0.7,0.8,-0.6,0)T5.3.1.4感知器的學習算法第91頁/共121頁第二步輸入X2，得

WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T=-1.6

o2(1)=sgn(-1.6)=-1

W(2)=W(1)+η[d2-o2(1)]X2=(0.7,0.8,-0.6,0)T+0.1[-1-(-1)](-1,0,1.5,-0.5)T=(0.7,0.8,-0.6,0)T由于d2=o2(1)，所以W(2)=W(1)。5.3.1.4感知器的學習算法第92頁/共121頁第三步輸入X3，得

WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T=-2.1

O3(2)=sgn(-2.1)=-1W(3)=W(2)+η[d3-o3(2)]X3=(0.7,0.8,-0.6,0)T+0.1[1-(-1)](-1,-1,1,0.5)T=(0.5,0.6,-0.4,0.1)T第四步返回到第一步，繼續(xù)訓練直到

dp-op=0，p=1,2,3。5.3.1.4感知器的學習算法第93頁/共121頁5.3.2多層感知器雙層感知器“異或”問題分類例四用兩計算層感知器解決“異或”問題?！爱惢颉钡恼嬷当韝1x2y1y2o0010111001115.3前饋神經網絡第94頁/共121頁雙層感知器“異或”問題分類例四用兩計算層感知器解決“異或”問題?！爱惢颉钡恼嬷当韝1x2y1y2o0010101011115.3.2多層感知器5.3前饋神經網絡第95頁/共121頁雙層感知器“異或”問題分類例四用兩計算層感知器解決“異或”問題?！爱惢颉钡恼嬷当韝1x2y1y2o00110110100111115.3.2多層感知器5.3前饋神經網絡第96頁/共121頁雙層感知器“異或”問題分類例四用兩計算層感知器解決“異或”問題?！爱惢颉钡恼嬷当韝1x2y1y2o001100110110011111105.3.2多層感知器5.3前饋神經網絡第97頁/共121頁5.3.2多層感知器5.3前饋神經網絡第98頁/共121頁具有不同隱層數的感知器的分類能力對比5.3.2多層感知器5.3前饋神經網絡第99頁/共121頁5.3

前饋神經網絡5.3.4誤差反傳（BP）算法5.3.4.1基于BP算法的多層前饋網絡模型第100頁/共121頁輸入向量：

X=(x1,x2,…,xi,…,xn)T隱層輸出向量：

Y=(y1,y2,…,yj,…,ym)T輸出層輸出向量：

O=(o1,o2,…,ok,…,ol)T期望輸出向量：d=(d1,d2,…,dk,…,dl)T輸入層到隱層之間的權值矩陣：V=(V1,V2,…,Vj,…,Vm)隱層到輸出層之間的權值矩陣：W=(W1,W2,…,Wk,…,Wl)5.3

前饋神經網絡5.3.4誤差反傳（BP）算法5.3.4.1基于BP算法的多層前饋網絡模型第101頁/共121頁5.3.4.1基于BP算法的多層前饋網絡模型對于輸出層：k=1,2,…,lk=1,2,…,l對于隱層：j=1,2,…,mj=1,2,…,m5.3

前饋神經網絡5.3.4誤差反傳（BP）算法第102頁/共121頁雙極性Sigmoid函數：單極性Sigmoid函數：5.3.4.1基于BP算法的多層前饋網絡模型5.3

前饋神經網絡5.3.4誤差反傳（BP）算法第103頁/共121頁5.3.4.2BP學習算法一、網絡誤差定義與權值調整思路輸出誤差E定義：將以上誤差定義式展開至隱層：5.3

前饋神經網絡5.3.4誤差反傳（BP）算法第104頁/共121頁一、網絡誤差與權值調整進一步展開至輸入層：(3.4.8)5.3.4.2BP學習算法5.3

前饋神經網絡5.3.4誤差反傳（BP）算法第105頁/共121頁j=0,1,2,…,m;k=1,2,…,l(3.4.9a)i=0,1,2,…,n;j=1,2,…,m(3.4.9b)式中負號表示梯度下降，常數