人工神經(jīng)網(wǎng)絡算法

第六章人工神經(jīng)網(wǎng)絡6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡所謂人工神經(jīng)網(wǎng)絡就是基于模仿生物大腦的結構和功能而構成的一種信息處理系統(tǒng)（計算機）。人是地球上具有最高智慧的動物，而人的指揮均來自大腦，人類靠大腦進行思考、聯(lián)想、記憶和推理判斷等，這些功能是任何被稱為“電腦”的一般計算機所無法取代的。長期以來，許多科學家一直致力于人腦內(nèi)部結構和功能的探討和研究，并試圖建立模仿人類大腦的計算機，雖然到目前對大腦的內(nèi)部工作機理還不甚完全清楚，但對其結構已有所了解。6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡粗略地講，大腦是由大量神經(jīng)細胞或神經(jīng)元組成的。每個神經(jīng)元可看作是一個小的處理單元，這些神經(jīng)元按某種方式連接起來，形成大腦內(nèi)部的生理神經(jīng)元網(wǎng)絡。這種神經(jīng)元網(wǎng)絡中各神經(jīng)元之間聯(lián)結的強弱，按外部的激勵信號做自適應變化，而每個神經(jīng)元又隨著所接收到的多個接收信號的綜合大小而呈現(xiàn)興奮或抑制狀態(tài)?，F(xiàn)已明確大腦的學習過程就是神經(jīng)元之間連接強度隨外部激勵信息做自適應變化的過程，而大腦處理信息的結果則由神經(jīng)元的狀態(tài)表現(xiàn)出來。6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡由于我們建立的信息處理系統(tǒng)實際上是模仿生理神經(jīng)網(wǎng)絡，因此稱它為人工神經(jīng)網(wǎng)絡。需要指出，盡管人工神經(jīng)網(wǎng)絡是對大腦結構的模仿，但這種模仿目前還處于極低的水平。按美國神經(jīng)網(wǎng)絡學者Nielsen的定義人工神經(jīng)網(wǎng)絡是一個并行、分布處理結構，它由處理單元及其稱為聯(lián)接的無向訊號通道互連而成。這些處理單元具有局部內(nèi)存，可以完成局部操作，即它必須僅僅依賴于經(jīng)過輸入聯(lián)接到達處理單元的所有輸入信號的當前值和存儲在處理單元局部內(nèi)存中的值。每個處理單元有一個單一的輸出聯(lián)接，輸出信號可以是任何需要的數(shù)學模型。6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡與一般計算機的區(qū)別在一般的計算機中，通常有一個中央處理器，它可訪問其存儲器。該處理器可取一條指令和該指令所需的數(shù)據(jù)，并執(zhí)行該指令，最后將計算結果存入指定的存儲單元中。任何動作都按照確定的操作程序，以串行方式執(zhí)行。6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡與一般計算機的區(qū)別在人工神經(jīng)網(wǎng)絡中，操作既不是串行的，也不是預先確定的，它根本沒有確定的存儲器，而是由許多互連的簡單處理單元組成。每個處理單元的處理功能只是求其所有輸入信號的加權和，當該和值超過某一閾值時，輸出呈現(xiàn)興奮狀態(tài)（高電平），否則低于閾值時呈現(xiàn)抑制狀態(tài)（低電平）。人工神經(jīng)網(wǎng)絡并不執(zhí)行指令序列，它對并行加載的輸入信號也按并行方式來處理和響應，結果也不存儲在特定的存儲單元中。當它達到某種平衡狀態(tài)后，網(wǎng)絡的整個狀態(tài)就是所求的結果。目前還沒有用硬件真正實現(xiàn)的并行處理的人工神經(jīng)網(wǎng)絡，對它的實現(xiàn)還是基于一般計算機的軟件模擬，這顯然并沒有真正發(fā)揮出人工神經(jīng)網(wǎng)絡并行快速的特點。6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡的兩種操作過程訓練學習訓練時，把要教給神經(jīng)網(wǎng)絡的信息（外部輸入）作為網(wǎng)絡的輸入和要求的輸出，使網(wǎng)絡按某種規(guī)則（稱為訓練算法）調(diào)節(jié)各處理單元間的連接權值，直至加上給定輸入，網(wǎng)絡就能產(chǎn)生給定輸出為止。這時，各連接權已調(diào)接好，網(wǎng)絡的訓練就完成了。正常操作（回憶操作）對訓練好的網(wǎng)絡輸入一個信號，它就可以正確回憶出相應輸出，得到識別結果。6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡文本（英文）朗讀機實例輸入裝置是一個閱讀窗口，當它沿文本的一行移動時，每次前移一個字母，但每個瞬間輸入七個相鄰的字母（包括空格和句號）信息。由于英文字母的發(fā)音與其前后字母有關，所以訓練人工神經(jīng)網(wǎng)絡時，只要求每次七個字母的中間字母發(fā)音（靠人工神經(jīng)網(wǎng)絡的輸出相應狀態(tài)驅動一個語音綜合發(fā)生器）。訓練時，將一篇有1024個字的文本一行一行通過閱讀窗口，并要求對應每個字母時人工神經(jīng)網(wǎng)絡的輸出結點能輸出相應音素的狀態(tài)值。6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡文本（英文）朗讀機實例這樣通過十遍閱讀（訓練），可以達到輸出可理解的語音。通過50遍閱讀（訓練），可以達到95%的精確度。訓練過程中聽上去像小孩學說話一樣，由不清楚到清楚。訓練完成后，再閱讀從未見過的課文，朗讀精度仍可達78%，完全可以聽懂。6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡人臉識別實例用10個人的照片，每個人都在不同的角度照5張照片，共有50張照片的輸入信息。對人工神經(jīng)網(wǎng)絡進行訓練，每個照片信息作為輸入時，代表10個人的10個結點中相應的一個結點輸出最大，每個人的5張照片都對應著同一個結點的最大輸出。經(jīng)過訓練后，再對原來的10個人中的一個從不同角度拍照（尺寸不變），進行識別，結果是他本人對應的結點的輸出比其它9個結點的輸出都高得多。6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡總結和討論傳統(tǒng)計算機采用的是串行處理方式，限制了大量信息的快速傳輸和處理，即使用了多個處理器并行工作，還是會把許多時間浪費在完成串行操作上，而且問題的并行化分解和并行程序的編寫也是一個難題。雖然至今開發(fā)出的超型計算機，其速度和容量都大得驚人，但仍不能很好地完成諸如小孩可以做到的事情，如認識面孔、學習說話、識別圖像等。盡管人工神經(jīng)網(wǎng)絡還是生物大腦的極低水平的模仿，但在圖像識別、語音識別、記憶、預測以及優(yōu)化等方面表現(xiàn)出了良好的智能特性和應用前景，可以完成傳統(tǒng)計算機不易實現(xiàn)的智能性工作。6.1概述6.1.2人工神經(jīng)網(wǎng)絡的發(fā)展初始（萌發(fā)）期——MP模型的提出和人工神經(jīng)網(wǎng)絡的興起1943年，美國神經(jīng)生理學家WarrenMcculloch和數(shù)學家WalterPitts合寫了一篇關于神經(jīng)元如何工作的開拓性文章：“ALogicalCalculusofIdeasImmanentinNervousActivity”。該文指出，腦細胞的活動像斷/通開關，這些細胞可以按各種方式相互結合，進行各種邏輯運算。按此想法，他們用電路構成了簡單的神經(jīng)網(wǎng)絡模型，并預言大腦的所有活動最終將被解釋清楚。雖然問題并非如此簡單，但它給人們一個信念，即大腦的活動是靠腦細胞的組合連接實現(xiàn)的。當時，不少研究人員轉向解剖學和生理學去尋找建立智能機的思路。6.1概述6.1.2人工神經(jīng)網(wǎng)絡的發(fā)展初始期——MP模型的提出和人工神經(jīng)網(wǎng)絡的興起1949年，心理學家DonalaHebb寫了一本書：“TheOrganizationofBehavior”。在該書中，他強調(diào)了心理學和生理學間的聯(lián)系和溝通，指出腦細胞間的思路每當通過參與某種活動時將被加強，這就是后來的Hebb學習規(guī)則。目前有些神經(jīng)網(wǎng)絡模型仍然采用這種學習規(guī)則。6.1概述6.1.2人工神經(jīng)網(wǎng)絡的發(fā)展初始期——MP模型的提出和人工神經(jīng)網(wǎng)絡的興起到了二十世紀50年代，隨著計算機的發(fā)展和軟硬件的進步，有些神經(jīng)系統(tǒng)功能的理論開始在計算機上進行模擬，拓寬了研究的路子。IBM的研究室在Hebb工作的基礎上，對神經(jīng)網(wǎng)絡的模型進行了軟件模擬，雖然開始時失敗了，但在使得模型像人那樣適應環(huán)境的實驗上取得了一定程度的成功。在此情況下，人們開始醞釀人工智能的項目。6.1概述6.1.2人工神經(jīng)網(wǎng)絡的發(fā)展初始期——MP模型的提出和人工神經(jīng)網(wǎng)絡的興起1956年，一個人工智能研究項目（DartmouthSummer）給人工智能領域，同時也給神經(jīng)計算領域以巨大推動。人們提出兩條研究思路采用高級人工智能方法，試圖建立描述智能機功能的計算機程序；根據(jù)低水平的大腦處理方式構成結構模型，以實現(xiàn)智能化。這宣告了人工神經(jīng)網(wǎng)絡的誕生。6.1概述6.1.2人工神經(jīng)網(wǎng)絡的發(fā)展第一次高潮期——感知器模型和人工神經(jīng)網(wǎng)絡1957年，計算機專家FrankRosenblatt開始從事感知器的研究，并制成硬件，通常被認為是最早的神經(jīng)網(wǎng)絡模型。1959年，兩位電機工程師BernardWidrow和MarcianHaff開發(fā)出一種叫作自適應線性單元（ADALINE）的網(wǎng)絡模型，并在他們的論文“AdaptiveSwitchingCircuits”中描述了該模型和它的學習算法（Widrow-Haff算法）。該網(wǎng)絡通過訓練，可以成功用于抵消通信中的回波和噪聲，也可用于天氣預報，成為第一個用于實際問題的神經(jīng)網(wǎng)絡。6.1概述6.1.2人工神經(jīng)網(wǎng)絡的發(fā)展第一次高潮期——感知器模型和人工神經(jīng)網(wǎng)絡1962年，Rosenblatt出版了一本書“ThePrinciplesofNeurodynamics”，詳述了他的感知器模型。該感知器具有輸入層、輸出層和中間層，通過實驗可以模仿人的某些特性，并斷言它可以學會任何它可以表示的功能。1967年，StephenGrossberg通過對生理學的研究，開發(fā)了一種稱作Avalanche（雪崩網(wǎng)）的神經(jīng)網(wǎng)絡模型，可以執(zhí)行連續(xù)語音識別和控制機器人手臂的運動。在這一時期，由于感知器的某些進展和對神經(jīng)網(wǎng)絡的宣傳，人們樂觀地認為幾乎已經(jīng)找到了實現(xiàn)智能的關鍵，許多部門開始大批地投入此項研究，希望盡快占領制高點，形成了研究人工神經(jīng)網(wǎng)絡的第一次高潮。由于當時對神經(jīng)網(wǎng)絡的樂觀情緒的影響，人們夸大了神經(jīng)網(wǎng)絡的潛力（有人甚至擔心制造機器人的人類會很快受到機器人的攻擊）。6.1概述6.1.2人工神經(jīng)網(wǎng)絡的發(fā)展反思期——神經(jīng)網(wǎng)絡的低潮1969年，MarvinMinsky和SeymourPapert合著了一本書“Perception”，分析了當時的簡單感知器，指出它有非常嚴重的局限性，甚至不能解決簡單的“異或”問題，為Rosenblatt的感知器判了“死刑”。此時，批評的聲音高漲，導致了停止對人工神經(jīng)網(wǎng)絡研究所需的大量投資。不少研究人員把注意力轉向了人工智能，導致對人工神經(jīng)網(wǎng)絡的研究陷入低潮。6.1概述6.1.2人工神經(jīng)網(wǎng)絡的發(fā)展反思期——神經(jīng)網(wǎng)絡的低潮雖然如此，二十世紀70年代到80年代早期，仍有一些堅信神經(jīng)網(wǎng)絡的人堅持他們的工作，為人工神經(jīng)網(wǎng)絡的復蘇做準備。神經(jīng)生理學家JamesAnderson開發(fā)的盒中腦模型（Brain-State-in-a-Box，BSB）。日本學者KunihikFukushima開發(fā)的用于視覺圖形識別的認知器模型（Neocognitron）。電氣工程師TeuvoKohonen開發(fā)的與BSB類似的網(wǎng)絡模型。Grossberg,Rumelhart,McClelland,Marr,Amari和Cooper等人的工作。6.1概述6.1.2人工神經(jīng)網(wǎng)絡的發(fā)展第二次高潮期——Hopfield網(wǎng)絡模型的出現(xiàn)和人工神經(jīng)網(wǎng)絡的復蘇1982年，JohnHopfield向美國科學院遞交了有關神經(jīng)網(wǎng)絡的報告，主要內(nèi)容就是建議收集和重視以前對神經(jīng)網(wǎng)絡的工作，其中特別強調(diào)了每種模型的實用性。根據(jù)對神經(jīng)網(wǎng)絡的數(shù)學分析和深入理解，Hopfield揭示了以往的網(wǎng)絡是如何工作的，可以做些什么，并提出了他自己的模型，能從失真的或不完善的數(shù)據(jù)圖像中獲得完整的數(shù)據(jù)圖像，引起了美國軍方的興趣。當時，人工智能對自動制導車的研究失敗，而利用神經(jīng)網(wǎng)絡有可能解決這個問題，從而使人們的注意力重新投向人工神經(jīng)網(wǎng)絡，導致了人工神經(jīng)網(wǎng)絡的第二次高潮。6.1概述6.1.2人工神經(jīng)網(wǎng)絡的發(fā)展第二次高潮期——Hopfield網(wǎng)絡模型的出現(xiàn)和人工神經(jīng)網(wǎng)絡的復蘇1984年，Hopfield設計研制了后來被人們稱為Hopfield網(wǎng)的電路，較好地解決了TCP問題，找到了最佳解的近似解，引起了較大轟動。1985年，Hinton、Sejnowsky、Rumelhart等研究者在Hopfield網(wǎng)絡中引入隨機機制，提出了所謂的Bolziman機。1986年，Rumelhart等研究者重新獨立地提出多層網(wǎng)絡的學習算法—BP算法，較好地解決了多層網(wǎng)絡的學習問題。1990年12月，國內(nèi)首屆神經(jīng)網(wǎng)絡大會在北京舉行。6.1概述6.1.2人工神經(jīng)網(wǎng)絡的發(fā)展再認識與應用研究期二十世紀90年代后，神經(jīng)網(wǎng)絡的研究趨于平緩，主要問題：應用面還不夠寬結果不夠精確存在可信度的問題6.1概述6.1.2人工神經(jīng)網(wǎng)絡的發(fā)展再認識與應用研究期主要研究內(nèi)容開發(fā)現(xiàn)有模型的應用，并在應用中根據(jù)實際運行情況對模型、算法加以改造，以提高網(wǎng)絡的訓練速度和運行的準確度。充分發(fā)揮每種技術各自的優(yōu)勢，尋找更有效的解決方法。希望在理論上尋找新的突破，建立新的專用或通用模型和算法。進一步對生物神經(jīng)系統(tǒng)進行研究，不斷豐富對人腦的認識。6.1概述6.1.3人工神經(jīng)網(wǎng)絡的特點固有的并行結構和并行處理人工神經(jīng)網(wǎng)絡與人類的大腦類似，不但結構上是并行的，其處理順序也是并行的和同時的。在同一層內(nèi)的處理單元都是同時工作的，即神經(jīng)網(wǎng)絡的計算功能分布在多個處理單元上，而傳統(tǒng)的計算機通常只有一個處理單元，其處理順序是串行的。目前的神經(jīng)網(wǎng)絡功能常常用一般計算機的串行工作方式來模擬，所以顯得很慢，真正意義上的神經(jīng)網(wǎng)絡將會大大提高處理速度，實現(xiàn)快速處理。6.1概述6.1.3人工神經(jīng)網(wǎng)絡的特點知識的分布存儲在神經(jīng)網(wǎng)絡中，知識不是存儲在特定的存儲單元，而是分布在整個系統(tǒng)中，要存儲多個知識就需要很多連接。在計算機中，只要給定一個地址就可以得到一個或一組數(shù)據(jù)，在神經(jīng)網(wǎng)絡中，要獲得存儲的知識則采用“聯(lián)想”的辦法，這類似于人類和動物的記憶。6.1概述6.1.3人工神經(jīng)網(wǎng)絡的特點知識的分布存儲當一個神經(jīng)網(wǎng)絡輸入一個激勵時，它要在已存儲的知識中尋找與該輸入匹配最好的知識存儲為其解。這猶如人們辨認潦草的筆記，這些筆記可以是變形的、失真的和缺損的。人類根據(jù)聯(lián)想善于正確識別圖形，人工神經(jīng)網(wǎng)絡也具有這種能力。6.1概述6.1.3人工神經(jīng)網(wǎng)絡的特點知識的分布存儲聯(lián)想記憶的兩個主要特點存儲大量復雜數(shù)據(jù)的能力語音的樣本、可視圖象、機器人的活動、時空圖形的狀態(tài)、社會的情況等；可以很快地將新的輸入圖像歸并分類為已存儲圖像的某一類一般計算機善于高速串行運算，但不善于實時的圖形識別。6.1概述6.1.3人工神經(jīng)網(wǎng)絡的特點容錯性人類大腦具有很強的容錯能力，這正是由于大腦中知識是存儲在很多處理單元和它們的連接上的。每天大腦的一些細胞都可能會自動死亡，但這并沒有影響人們的記憶和思考能力。人工神經(jīng)網(wǎng)絡可以從不完善的數(shù)據(jù)和圖形進行學習和做出決定由于知識存在整個系統(tǒng)中，而不是在一個存儲單元內(nèi)，因此一定比例的結點不參與運算，對整個系統(tǒng)的性能不會產(chǎn)生重大影響。神經(jīng)網(wǎng)絡中承受硬件損壞的能力比一般計算機要強得多。6.1概述6.1.3人工神經(jīng)網(wǎng)絡的特點自適應性人類有很強的適應外部的學習能力 小孩在周圍環(huán)境的熏陶下可以學會很多事情，如通過學習可以認字、說話、走路、思考、判斷等。6.1概述6.1.3人工神經(jīng)網(wǎng)絡的特點自適應性人工神經(jīng)網(wǎng)絡也具有學習能力有指導的訓練：將輸入樣本加到網(wǎng)絡輸入并給出相應的輸出，通過多次訓練迭代獲得連接權值。好像告訴網(wǎng)絡：“當你看到這個圖形（比如5）時，請給我指示5”。無指導的訓練：網(wǎng)絡通過訓練自行調(diào)節(jié)連接加權，從而對輸入樣本分類。在網(wǎng)絡訓練時，有時只能給出大量的輸入圖形，沒有指定它們的輸出，網(wǎng)絡就自行按輸入圖形的特征對它們進行分類。如小孩通過大量觀察可以分辨出哪是狗、哪是貓一樣。6.1概述6.1.3人工神經(jīng)網(wǎng)絡的特點自適應性人工神經(jīng)網(wǎng)絡也具有學習能力綜合推理的能力：網(wǎng)絡具有正確響應和分辨從未見過的輸入樣本的能力。進行數(shù)字圖形的識別時，對于不完善的數(shù)字圖形或失真的數(shù)字圖形仍能正確辨認。6.1概述6.1.3人工神經(jīng)網(wǎng)絡的特點人工神經(jīng)網(wǎng)絡的局限性人工神經(jīng)網(wǎng)絡不適于高精度的計算正像很多人不善于直接計算類似資金的問題一樣，人工神經(jīng)網(wǎng)絡不用于計算資金方面的問題。人工神經(jīng)網(wǎng)絡不適于做類似順序計數(shù)的工作。人工神經(jīng)網(wǎng)絡是以并行方式工作的。人工神經(jīng)網(wǎng)絡的學習和訓練往往是一個艱難的過程。網(wǎng)絡的設計沒有嚴格確定的方法（一般憑經(jīng)驗），所以選擇訓練方法和所需網(wǎng)絡結構沒有統(tǒng)一標準。脫機訓練往往需要很長時間，為了獲得最佳效果，常常要重復試驗多次。網(wǎng)絡收斂性的問題。6.1概述6.1.3人工神經(jīng)網(wǎng)絡的特點人工神經(jīng)網(wǎng)絡的局限性人工神經(jīng)網(wǎng)絡必須克服時間域順序處理方面的困難。為了解決語音處理、自然語言理解和圖像隨時間的變換情況，需要設計適于連續(xù)時間環(huán)境的網(wǎng)絡。硬件限制目前仍是在一般計算機上用模擬的方法研究人工神經(jīng)網(wǎng)絡的并行處理過程，然而模擬不是最終目標。只有真正的并行硬件處理，才能體現(xiàn)出人工神經(jīng)網(wǎng)絡的高速高效特點。目前這種硬件的實現(xiàn)還未很好解決。6.1概述6.1.3人工神經(jīng)網(wǎng)絡的特點人工神經(jīng)網(wǎng)絡的局限性正確的訓練數(shù)據(jù)的收集大量有代表性樣本的采集正確的預處理總之，人工神經(jīng)網(wǎng)絡是基于人類大腦的結構和功能建立起來的學科，盡管它只是大腦的低級近似，但它的許多特點和人類的智能特點類似，有著較強的識別能力和廣泛的應用前景。6.2人工神經(jīng)網(wǎng)絡基礎目前出現(xiàn)的各種各樣的人工神經(jīng)網(wǎng)絡模型，盡管在性能和結構上各有特點，但它們存在很多共同之處。本節(jié)介紹人工神經(jīng)網(wǎng)絡的基本術語常用表示符號描述人工神經(jīng)網(wǎng)絡的基本數(shù)學概念6.2人工神經(jīng)網(wǎng)絡基礎6.2.1人工神經(jīng)網(wǎng)絡的生物原型—大腦簡單的神經(jīng)元6.2人工神經(jīng)網(wǎng)絡基礎6.2.1人工神經(jīng)網(wǎng)絡的生物原型—大腦簡單的神經(jīng)元神經(jīng)元就是神經(jīng)細胞，它是動物的重要特征之一，在人體內(nèi)從大腦到全身存在大約1010個神經(jīng)元。神經(jīng)元的組成細胞體：它是神經(jīng)元的本體，內(nèi)有細胞核和細胞質(zhì)，完成普通細胞的生存功能。樹突：它有大量的分枝，多達103數(shù)量級，長度較短（通常不超過1毫米），用以接收來自其它神經(jīng)元的信號。軸突：它用以輸出信號，有些較長（可達1米以上），軸突的遠端也有分枝，可與多個神經(jīng)元相連。突觸：它是一個神經(jīng)元與另一個神經(jīng)元相聯(lián)系的特殊部位，通常是一個神經(jīng)元軸突的端部靠化學接觸或電接觸將信號傳遞給下一個神經(jīng)元的樹突或細胞體。6.2人工神經(jīng)網(wǎng)絡基礎6.2.1人工神經(jīng)網(wǎng)絡的生物原型—大腦神經(jīng)元間信號的傳遞神經(jīng)元間的信號通過突觸傳遞。通過它，一個神經(jīng)元內(nèi)傳送的沖擊信號將在下一個神經(jīng)元內(nèi)引起響應，使下一個神經(jīng)元興奮，或阻止下一個神經(jīng)元興奮。6.2人工神經(jīng)網(wǎng)絡基礎6.2.1人工神經(jīng)網(wǎng)絡的生物原型—大腦神經(jīng)元的基本工作機制一個神經(jīng)元有兩種狀態(tài)——興奮和抑制平時處于抑制狀態(tài)的神經(jīng)元，當接收到其它神經(jīng)元經(jīng)由突觸傳來的沖擊信號時，多個輸入在神經(jīng)元中以代數(shù)和的方式疊加。進入突觸的信號會被加權，起興奮作用的信號為正，起抑制作用的信號為負。如果疊加總量超過某個閾值，神經(jīng)元就會被激發(fā)進入興奮狀態(tài)，發(fā)出輸出脈沖，并由軸突的突觸傳遞給其它神經(jīng)元。神經(jīng)元被觸發(fā)后有一個不應期，在此期間內(nèi)不能被觸發(fā)，然后閾值逐漸下降，恢復原來狀態(tài)。6.2人工神經(jīng)網(wǎng)絡基礎6.2.1人工神經(jīng)網(wǎng)絡的生物原型—大腦神經(jīng)元的基本工作機制神經(jīng)元是按照“全或無”的原則工作的，只有興奮和抑制兩種狀態(tài)，但也不能認為神經(jīng)元只能表達或傳遞二值邏輯信號。神經(jīng)元興奮時往往不是只發(fā)一個脈沖，而是發(fā)出一串脈沖，如果把一串脈沖看成是一個調(diào)頻信號，脈沖的密度是可以表達連續(xù)量的。6.2人工神經(jīng)網(wǎng)絡基礎6.2.1人工神經(jīng)網(wǎng)絡的生物原型—大腦大腦及大腦皮層的結構研究證明，大腦中大約有1000個不同的模塊，每個模塊包含有50*106個神經(jīng)元。我們可以假設每個模塊就是眾多神經(jīng)網(wǎng)絡中的一類。大腦的主要計算機構是大腦皮層，在其斷面上一般有3~6層神經(jīng)細胞排列，大約10萬個神經(jīng)元組成一組。在一個典型的腦模型中，大約有500個神經(jīng)網(wǎng)絡進行計算工作，平均一個神經(jīng)元向其它神經(jīng)元發(fā)出2000個突觸。不同層間神經(jīng)元的連接方式有平行型、發(fā)散型、收斂型和反饋型，這些連接的強度是隨機的，隨著對外部世界的響應而逐漸形成。6.2人工神經(jīng)網(wǎng)絡基礎6.2.1人工神經(jīng)網(wǎng)絡的生物原型—大腦總之，大腦中神經(jīng)網(wǎng)絡的結構是極其復雜的，其工作機理仍未完全搞清。認知器模型的發(fā)明者KunihikoFukushima描述了建立人工神經(jīng)網(wǎng)絡模型的原則：“我們試圖忠實地遵循生理的證據(jù)。我們分析或模擬所建模型的性能，并將它與大腦的某種性能進行比較。如果我們發(fā)現(xiàn)模型與大腦在性能方面的差異，我們就變化我們的初始假設和修改模型……，并重復這一過程直到模型的性能與大腦的性能具有相同的方式?！?.2人工神經(jīng)網(wǎng)絡基礎6.2.2人工神經(jīng)網(wǎng)絡處理單元處理單元（PE）就是人工神經(jīng)元，也稱為結點，通常用圓圈表示。6.2人工神經(jīng)網(wǎng)絡基礎6.2.2人工神經(jīng)網(wǎng)絡處理單元處理單元的結構和功能與生物神經(jīng)元有類似之處，可以說是生物神經(jīng)元的一階近似。處理單元只模擬了生物神經(jīng)元所能執(zhí)行的150多個處理功能中的若干個。處理單元的功能對每個輸入信號進行處理以確定其強度（加權）；確定所有輸入信號的組合效果（求和）；確定其輸出（轉移特性）。6.2人工神經(jīng)網(wǎng)絡基礎6.2.2人工神經(jīng)網(wǎng)絡處理單元對生物神經(jīng)元的模擬就像生物神經(jīng)元中有很多輸入（激勵）一樣，處理單元也有很多輸入信號，并且同時加到處理單元上，處理單元以輸出作為響應。處理單元的輸出像實際神經(jīng)元一樣，輸出響應不但受輸入信號的影響，同時也受內(nèi)部其它因素的影響。內(nèi)部因素：內(nèi)部閾值或一個額外輸入（稱為偏置項）6.2人工神經(jīng)網(wǎng)絡基礎6.2.2人工神經(jīng)網(wǎng)絡處理單元對生物神經(jīng)元的模擬處理單元的每一個輸入都經(jīng)過相關的加權，以影響輸入的激勵作用，這有些像生物神經(jīng)元中突觸的可變強度，它確定了輸入信號的強度，一般把它看作連接強度的測度。處理單元的初始加權可以根據(jù)確定的規(guī)則進行調(diào)解修正，這也像生物神經(jīng)元中的突觸強度可受外界因素影響一樣。6.2人工神經(jīng)網(wǎng)絡基礎6.2.2人工神經(jīng)網(wǎng)絡處理單元處理單元的基本結構和功能6.2人工神經(jīng)網(wǎng)絡基礎6.2.2人工神經(jīng)網(wǎng)絡處理單元處理單元的基本結構和功能輸入信號來自外部（用黑色圓點表示輸入端點）或別的處理單元的輸出，在數(shù)學上表示為行向量x

x=(x1,x2,…,xN)

其中xi為第i個輸入的激勵電平，N表示輸入數(shù)目。6.2人工神經(jīng)網(wǎng)絡基礎6.2.2人工神經(jīng)網(wǎng)絡處理單元處理單元的基本結構和功能連接到結點j的加權表示為加權向量

Wj=(W1j,W2j,…,WNj)

其中Wij表示從結點i（或第i個輸入點）到結點j的加權，或稱i與j結點之間的連接強度。6.2人工神經(jīng)網(wǎng)絡基礎6.2.2人工神經(jīng)網(wǎng)絡處理單元處理單元的基本結構和功能考慮到內(nèi)部閾值θj，用x0=-1的固定偏置輸入點表示，其連接強度取W0j=θj。于是，可得輸入的加權和為6.2人工神經(jīng)網(wǎng)絡基礎6.2.2人工神經(jīng)網(wǎng)絡處理單元處理單元的基本結構和功能如果向量x和Wj分別包含了x0和W0j，則有

x=(x0,x1,…,xN) Wj=(W0j,W1j,…,WNj)

6.2人工神經(jīng)網(wǎng)絡基礎6.2.2人工神經(jīng)網(wǎng)絡處理單元處理單元的基本結構和功能于是sj可表示為x和Wj的點積或內(nèi)積

sj=x?Wj這一結果是標量，它由兩個向量的內(nèi)積得到，可以作為兩個向量相似程度的測量。如果向量處于相同的方向，則其內(nèi)積最大；如果向量處于相反的方向，則其內(nèi)積最小。6.2人工神經(jīng)網(wǎng)絡基礎6.2.2人工神經(jīng)網(wǎng)絡處理單元處理單元的基本結構和功能處理單元的激勵電平sj通過一個轉移函數(shù)F(?)，得到處理單元的最后輸出值yj6.2人工神經(jīng)網(wǎng)絡基礎6.2.2人工神經(jīng)網(wǎng)絡處理單元轉移函數(shù)轉移函數(shù)F(?)也稱激勵函數(shù)、傳輸函數(shù)或限幅函數(shù)，其作用就是將可能的無限域變換到一指定的有限范圍內(nèi)輸出，這類似于生物神經(jīng)元具有的非線性轉移特性。常用的轉移函數(shù)線性函數(shù)斜坡函數(shù)階躍函數(shù)符號函數(shù)Sigmoid函數(shù)雙曲正切函數(shù)6.2人工神經(jīng)網(wǎng)絡基礎6.2.2人工神經(jīng)網(wǎng)絡處理單元線性函數(shù)6.2人工神經(jīng)網(wǎng)絡基礎6.2.2人工神經(jīng)網(wǎng)絡處理單元線性函數(shù)最簡單的轉移函數(shù)

y=F(s)=ks

其中y為輸出值，s為輸入信號的加權和，k是一個常數(shù)，表示直線的斜率。6.2人工神經(jīng)網(wǎng)絡基礎6.2.2人工神經(jīng)網(wǎng)絡處理單元斜坡函數(shù)6.2人工神經(jīng)網(wǎng)絡基礎6.2.2人工神經(jīng)網(wǎng)絡處理單元斜坡函數(shù)當線性函數(shù)值限定在(-rr)的范圍內(nèi)時，線性函數(shù)就變?yōu)榉蔷€性斜坡函數(shù)。r和-r分別是處理單元的最大值和最小值，稱為飽和值，一般|r|=1。6.2人工神經(jīng)網(wǎng)絡基礎6.2.2人工神經(jīng)網(wǎng)絡處理單元階躍函數(shù)6.2人工神經(jīng)網(wǎng)絡基礎6.2.2人工神經(jīng)網(wǎng)絡處理單元階躍函數(shù)硬限幅函數(shù)的一種6.2人工神經(jīng)網(wǎng)絡基礎6.2.2人工神經(jīng)網(wǎng)絡處理單元符號函數(shù)（sgn(?)）6.2人工神經(jīng)網(wǎng)絡基礎6.2.2人工神經(jīng)網(wǎng)絡處理單元符號函數(shù)（sgn(?)）硬限幅函數(shù)的一種6.2人工神經(jīng)網(wǎng)絡基礎6.2.2人工神經(jīng)網(wǎng)絡處理單元Sigmoid函數(shù) 6.2人工神經(jīng)網(wǎng)絡基礎6.2.2人工神經(jīng)網(wǎng)絡處理單元Sigmoid函數(shù)S型函數(shù)的一種

y=F(s)=1/(1+e-s)6.2人工神經(jīng)網(wǎng)絡基礎6.2.2人工神經(jīng)網(wǎng)絡處理單元可以把該型函數(shù)看作為處理單元定義了一個非線性增益，增益的大小決定于曲線在給定s點的斜率。當s由負無窮增到0時，增益由0增至最大；當s由0增到正無窮時，增益又由最大返回到0。Grossberg在1973年發(fā)現(xiàn)，用該函數(shù)可使同一網(wǎng)絡既能處理小信號，也能處理大信號。該函數(shù)的中間高增益區(qū)解決了處理小信號的問題；伸向兩邊的低增益區(qū)正好適合于處理大的激勵信號；這種現(xiàn)象正像生物神經(jīng)元在輸入電平范圍很大的情況下能正常工作一樣。6.2人工神經(jīng)網(wǎng)絡基礎6.2.2人工神經(jīng)網(wǎng)絡處理單元雙曲正切函數(shù) 6.2人工神經(jīng)網(wǎng)絡基礎6.2.2人工神經(jīng)網(wǎng)絡處理單元雙曲正切函數(shù)S型函數(shù)的一種

y=tand(s)=(es-e-s)/(es+e-s)相對于Sigmoid函數(shù)，它是原點對稱的。當s=0時有y=0，即同時具有雙級輸出。當要求輸出(-11)范圍的信號時，它常被采用。6.2人工神經(jīng)網(wǎng)絡基礎6.2.2人工神經(jīng)網(wǎng)絡處理單元討論人工神經(jīng)網(wǎng)絡處理單元是生物神經(jīng)元的簡單近似，在模仿生物神經(jīng)網(wǎng)絡時，具備了生物神經(jīng)元的某些特性。至于模仿效果，還需進一步研究，修改模型。人工神經(jīng)網(wǎng)絡處理單元忽略了生物神經(jīng)元的很多特征。它沒有考慮影響系統(tǒng)動態(tài)特性的時間延遲，而認為一個輸入立即產(chǎn)生一個輸出。它沒有包括同步機能和神經(jīng)元的頻率調(diào)制功能的影響。其它未知的生物神經(jīng)元的功能和特性。6.2人工神經(jīng)網(wǎng)絡基礎6.2.3人工神經(jīng)網(wǎng)絡的拓撲結構雖然單個處理單元可以處理簡單的圖形檢測功能，但更強的識別處理能力是來自多個結點“連成”的網(wǎng)絡，即人工神經(jīng)網(wǎng)絡。這里的“連成”，是靠輸入至結點或者結點至結點間的信號傳輸通路實現(xiàn)的，這一通路相當于生物神經(jīng)系統(tǒng)中的軸突和突觸，它們影響著輸入信號。以后我們把這種信號傳輸通路稱為“連接”，每一個連接都具有一個加權值，稱為“連接權”，反映連接的強度。6.2人工神經(jīng)網(wǎng)絡基礎6.2.3人工神經(jīng)網(wǎng)絡的拓撲結構單層網(wǎng)絡最簡單的網(wǎng)絡是把一組結點形成一層。左邊的黑色圓點只起著分配輸入信號的作用，沒有計算作用，不看作是網(wǎng)絡的一層。右邊用圓圈表示的一組結點被看作一層。6.2人工神經(jīng)網(wǎng)絡基礎6.2.3人工神經(jīng)網(wǎng)絡的拓撲結構單層網(wǎng)絡輸入信號表示為行向量：x=(x1,x2,…,xN)，其中每一分量通過加權連接到各結點。每一個結點均可產(chǎn)生一個加權和。輸入和結點間采用全連接，并且都是前饋連接。實際的人工神經(jīng)網(wǎng)絡和生物神經(jīng)網(wǎng)絡中有些連接可能不存在。6.2人工神經(jīng)網(wǎng)絡基礎6.2.3人工神經(jīng)網(wǎng)絡的拓撲結構單層網(wǎng)絡在這種單層網(wǎng)絡中，可把各加權表示為加權矩陣W。矩陣的維數(shù)是Nxn，N是輸入信號向量（也稱輸入圖形）的分量數(shù)，n是該層內(nèi)的結點數(shù)。由第三個輸入連接到第二個結點的連接權表示為W32。6.2人工神經(jīng)網(wǎng)絡基礎6.2.3人工神經(jīng)網(wǎng)絡的拓撲結構單層網(wǎng)絡輸入信號的加權和表示為：s是各結點加權和的行向量，s=(s1,s2,…,sn)。輸出向量y=(y1,y2,…,yn)，其中yj=F(sj)。6.2人工神經(jīng)網(wǎng)絡基礎6.2.3人工神經(jīng)網(wǎng)絡的拓撲結構多層網(wǎng)絡一般來說，大而復雜的網(wǎng)絡能提供更強的計算能力。雖然目前已構成了很多網(wǎng)絡模型，但它們的結點都是按層排列的，這一點正是模仿了大腦皮層中的網(wǎng)絡模塊。多層網(wǎng)絡是由單層網(wǎng)絡進行級聯(lián)構成的，即上一層的輸出作為下一層的輸入。6.2人工神經(jīng)網(wǎng)絡基礎6.2.3人工神經(jīng)網(wǎng)絡的拓撲結構多層網(wǎng)絡兩層網(wǎng)絡（前饋全連接網(wǎng)絡）6.2人工神經(jīng)網(wǎng)絡基礎6.2.3人工神經(jīng)網(wǎng)絡的拓撲結構多層網(wǎng)絡三層網(wǎng)絡（前饋全連接網(wǎng)絡）6.2人工神經(jīng)網(wǎng)絡基礎6.2.3人工神經(jīng)網(wǎng)絡的拓撲結構多層網(wǎng)絡注意：在構成多層網(wǎng)絡時，層間的轉移函數(shù)應是非線性的，否則多層網(wǎng)絡的計算能力并不比單層網(wǎng)絡強。在線性轉移函數(shù)的情況下，兩層網(wǎng)絡輸出的計算是第一層的輸出xW1作為第二層的輸入，通過第二個加權矩陣得到網(wǎng)絡的輸出

y=(xW1)W2=x(W1W2)這表明兩層線性網(wǎng)絡等效于單層網(wǎng)絡，只是后者的加權矩陣為兩個加權矩陣的乘積。6.2人工神經(jīng)網(wǎng)絡基礎6.2.3人工神經(jīng)網(wǎng)絡的拓撲結構多層網(wǎng)絡多層網(wǎng)絡中，接收輸入信號的層稱為輸入層。它不計入網(wǎng)絡層數(shù)，因為它只起著輸入信號緩沖器的作用，沒有處理功能。產(chǎn)生輸出信號的層稱為輸出層。除此之外的中間層稱為隱藏層（或隱蔽層），它不直接與外部環(huán)境打交道。隱藏層的層數(shù)可從零到若干層。實際情況中，層與層之間可能有部分連接的情況。6.2人工神經(jīng)網(wǎng)絡基礎6.2.3人工神經(jīng)網(wǎng)絡的拓撲結構回歸型網(wǎng)絡（反饋網(wǎng)絡）一般來說，凡包含反饋連接的網(wǎng)絡均稱為回歸型網(wǎng)絡，或稱反饋網(wǎng)絡。一層反饋網(wǎng)絡6.2人工神經(jīng)網(wǎng)絡基礎6.2.3人工神經(jīng)網(wǎng)絡的拓撲結構回歸型網(wǎng)絡（反饋網(wǎng)絡）一層反饋網(wǎng)絡中，連接均限于一層之內(nèi)，這種連接稱為層內(nèi)連接或層內(nèi)橫向反饋連接。相對于一層反饋網(wǎng)絡的為多層反饋網(wǎng)絡，其連接不限于一層之內(nèi)。6.2人工神經(jīng)網(wǎng)絡基礎6.2.3人工神經(jīng)網(wǎng)絡的拓撲結構回歸型網(wǎng)絡（反饋網(wǎng)絡）二層反饋網(wǎng)絡6.2人工神經(jīng)網(wǎng)絡基礎6.2.3人工神經(jīng)網(wǎng)絡的拓撲結構非回歸型網(wǎng)絡與回歸型網(wǎng)絡（反饋網(wǎng)絡）的比較非回歸型網(wǎng)絡不需存儲記憶，它的輸出只是由當前的輸入和加權值確定。而在反饋網(wǎng)絡中，要將以前的輸出循環(huán)返回到輸入，所以其輸出不但取決于當前的輸入，還要取決于以前的輸出。反饋網(wǎng)絡類似于人類的短期記憶，即網(wǎng)絡的輸出狀態(tài)部分取決于以前的輸入，是一類廣泛應用的網(wǎng)絡。6.2人工神經(jīng)網(wǎng)絡基礎6.2.4存儲和回憶存儲就是將信息或圖形存在某種存儲器中，而回憶則是將已存儲的信息按某種方式恢復出來。為了與人類大腦的功能類比，我們把這種信息的恢復稱為回憶。6.2人工神經(jīng)網(wǎng)絡基礎6.2.4存儲和回憶人工神經(jīng)網(wǎng)絡中存儲圖形的類型在計算機中，數(shù)據(jù)和信息是存放在存貯器中（RAM或ROM)，以8比特字節(jié)作為存儲單位。在人工神經(jīng)網(wǎng)絡中，信息或圖形不再限定為8比特，它是多維的二進制數(shù)據(jù)或連續(xù)信息。6.2人工神經(jīng)網(wǎng)絡基礎6.2.4存儲和回憶人工神經(jīng)網(wǎng)絡中存儲的兩類圖形空間圖形的存儲存儲單個空間靜態(tài)圖像，如一幅畫面。時空圖形的存儲存儲一系列隨時間變化的圖像，比如電影。我們討論的人工神經(jīng)網(wǎng)絡存儲的圖形大多是空間圖形，因它是構成時空圖形的基礎。6.2人工神經(jīng)網(wǎng)絡基礎6.2.4存儲和回憶人工神經(jīng)網(wǎng)絡中圖形的存儲人工神經(jīng)網(wǎng)絡中的圖形存儲器與計算機中存儲器的差別在計算機中，一般采用RAM，將數(shù)據(jù)信息存在確定地址的存儲單元內(nèi)，有了地址就可檢索數(shù)據(jù)。在人工神經(jīng)網(wǎng)絡中，則是用內(nèi)容尋址存儲器和聯(lián)想存儲器來存儲圖形信息。6.2人工神經(jīng)網(wǎng)絡基礎6.2.4存儲和回憶人工神經(jīng)網(wǎng)絡中圖形的存儲內(nèi)容尋址存儲器它是在人工神經(jīng)網(wǎng)絡的訓練過程中形成的，相當于通過訓練將信息存儲在加權矩陣W中。訓練一旦完成，數(shù)據(jù)就相當于變換到加權矩陣的穩(wěn)定狀態(tài)中，因此這種存儲是長期存儲。聯(lián)想存儲器它是在人工神經(jīng)網(wǎng)絡的回憶操作中出現(xiàn)的。當對網(wǎng)絡輸入激勵信號時，作為回憶結果，網(wǎng)絡的輸出給出一個響應狀態(tài)。這一響應狀態(tài)實際上也相當于一個所需的存儲數(shù)據(jù)（響應），因此這種存儲為短期存儲。6.2人工神經(jīng)網(wǎng)絡基礎6.2.4存儲和回憶回憶的概念回憶是人類智能的一個主要特征，要想回憶某個人或某件事，通?？赏ㄟ^聯(lián)想進行。當看到一本書的封面顏色和作者時，會聯(lián)想到這是一本什么書（書的內(nèi)容）。當丟失東西時，可以通過聯(lián)想到過什么地方，做過什么事情，最后回憶起把東西放在什么地方。這兩種情況都有一個特點，就是不管是哪本書，還是與東西有關的地點和事情，都是經(jīng)歷過的，相應的記憶才有可能聯(lián)想出所需的結果。6.2人工神經(jīng)網(wǎng)絡基礎6.2.4存儲和回憶回憶的概念聯(lián)想的兩種方式自聯(lián)想：由本身的部分特征聯(lián)想起整個事物的全部特征。他聯(lián)想：由一件事情聯(lián)想到另一件事情。在人工神經(jīng)網(wǎng)絡中，回憶操作也有兩種聯(lián)想變換自聯(lián)想變換他聯(lián)想變換6.2人工神經(jīng)網(wǎng)絡基礎6.2.4存儲和回憶回憶的概念自聯(lián)想變換要求通過訓練已在W中的存儲向量圖形A1,A2,…,Ap來實現(xiàn)。該變換可由失真或缺損的向量圖形Ai’(i=1,2,…,p)，聯(lián)想回憶Ai，即當Ai’

為輸入激勵時，能得到輸出響應Ai。6.2人工神經(jīng)網(wǎng)絡基礎6.2.4存儲和回憶回憶的概念他聯(lián)想變換要求通過訓練已在W中的存儲向量圖形對(A1,B1),(A2,B2),…,(Ap,Bp)來實現(xiàn)。對這種網(wǎng)絡，聯(lián)想回憶是從激勵A1,A2,…,Ap（可能是失真的或不完善的）獲得B1,B2,…,Bp的響應（或相反），即6.2人工神經(jīng)網(wǎng)絡基礎6.2.4存儲和回憶回憶的概念在他聯(lián)想變換中，可以定義兩種基本的回憶機制最近鄰回憶內(nèi)插回憶6.2人工神經(jīng)網(wǎng)絡基礎6.2.4存儲和回憶回憶的概念最近鄰回憶尋找與外部激勵Ai’最佳匹配的（距離最近的）已存儲的輸入，并按這一輸入求得相應的輸出，即，其中Ai’與Ai有如下關系： 這里d(?)可指Ai’與Ai間的歐式距離。6.2人工神經(jīng)網(wǎng)絡基礎6.2.4存儲和回憶回憶的概念內(nèi)插回憶是在接受一個輸入激勵時，從已存儲的輸入圖形集中找到一個內(nèi)插值，并從該輸入的內(nèi)插值得到一個相應的內(nèi)插輸出。假如內(nèi)插是線性的，則可表示為

其中A’和B’可由圖形對(Ai,Bi)和(Ai+1,Bi+1)內(nèi)插得到，即且。6.2人工神經(jīng)網(wǎng)絡基礎6.2.4存儲和回憶回憶的概念在人工神經(jīng)網(wǎng)絡中，不管是自聯(lián)想回憶還是他聯(lián)想回憶，信息的回憶方式有兩種。前饋回憶反饋回憶6.2人工神經(jīng)網(wǎng)絡基礎6.2.4存儲和回憶回憶的概念前饋回憶輸入激勵只需通過一次存儲矩陣就可產(chǎn)生所需的響應。6.2人工神經(jīng)網(wǎng)絡基礎6.2.4存儲和回憶回憶的概念反饋回憶輸入激勵通過存儲矩陣W產(chǎn)生響應，該響應作為激勵再反饋通過W，這樣依次循環(huán)，直到激勵和響應停止變化為止，即得到所要求的響應。6.2人工神經(jīng)網(wǎng)絡基礎6.2.5人工神經(jīng)網(wǎng)絡的訓練（學習）人工神經(jīng)網(wǎng)絡的最主要特征之一是它可以學習。任何一個人工神經(jīng)網(wǎng)絡模型要實現(xiàn)某種功能的操作，就必須對它進行訓練，讓它學會要做的事情，并把這些知識記憶（存儲）在網(wǎng)絡的加權中。學習或訓練的實質(zhì)就是加權矩陣隨外部激勵（環(huán)境）做自適應的變化。6.2人工神經(jīng)網(wǎng)絡基礎6.2.5人工神經(jīng)網(wǎng)絡的訓練（學習）因為學習和訓練的實質(zhì)是變動加權值，因此很多文獻中學習和訓練的概念是混用的。嚴格來說，兩者是有區(qū)別的，訓練通常是指調(diào)整網(wǎng)絡加權的操作動作和過程，這個過程對網(wǎng)絡來講就是學習。比如舉辦一個訓練班對學生進行某種技能的訓練，對學生來講，它是在該班內(nèi)學習。6.2人工神經(jīng)網(wǎng)絡基礎6.2.5人工神經(jīng)網(wǎng)絡的訓練（學習）人工神經(jīng)網(wǎng)絡被訓練后，它每加入一組輸入就會產(chǎn)生一組要求的輸出。一組輸入（或輸出）就是所謂的向量或圖形。訓練就是相繼加入輸入向量，并按預定規(guī)則調(diào)整網(wǎng)絡加權。在進行訓練后，網(wǎng)絡的各加權都收斂到一個確定值，以便每個輸入向量都會產(chǎn)生一個要求的輸出向量。調(diào)整加權所遵循的預定規(guī)則就是訓練算法。有指導的訓練無指導的訓練6.2人工神經(jīng)網(wǎng)絡基礎6.2.5人工神經(jīng)網(wǎng)絡的訓練（學習）有指導的訓練對有指導的訓練算法，不但需要訓練用的輸入向量，同時還要求與之對應的表示所需要輸出的目標向量。輸入向量與對應的目標向量一起稱作一個訓練對。通常訓練一個網(wǎng)絡需要很多訓練對，這些訓練對組成訓練組。當加上一個輸入向量時，要計算網(wǎng)絡的實際輸出，并同相應的目標向量做比較，根據(jù)比較結果的誤差，按規(guī)定的算法改變加權。把訓練組中的每個向量對相繼加入，對每個向量都計算誤差并調(diào)節(jié)加權，直到訓練組中的誤差都達到可接受的最低值為止。6.2人工神經(jīng)網(wǎng)絡基礎6.2.5人工神經(jīng)網(wǎng)絡的訓練（學習）無指導的訓練無指導的訓練不要求有目標向量，網(wǎng)絡通過自身的“經(jīng)歷”來學會某種功能。人們發(fā)現(xiàn)在幼兒的早期發(fā)育中，存在有自組織的能力，據(jù)此，認為無指導的訓練是在生物上更有道理的訓練算法。1984年，Kohonen等人提出了無指導的訓練算法。6.2人工神經(jīng)網(wǎng)絡基礎6.2.5人工神經(jīng)網(wǎng)絡的訓練（學習）無指導的訓練因為無指導的訓練不要求輸出的目標向量，因此無需比較產(chǎn)生控制誤差。訓練組織只是由輸入向量組成。訓練算法也修改網(wǎng)絡的加權，使得產(chǎn)生的輸出具有某種可理解的規(guī)律性。比如，訓練組的某兩個向量非常類似時，它們將會產(chǎn)生相同的輸出。6.2人工神經(jīng)網(wǎng)絡基礎6.2.5人工神經(jīng)網(wǎng)絡的訓練（學習）無指導的訓練這個訓練過程實質(zhì)上是抽取訓練組的某種統(tǒng)計特性，并把輸入向量按圖形類似程度分為不同的類別。從給定的一類中取一個向量加到網(wǎng)絡上，它將產(chǎn)生一個特定的輸出。在訓練之前，沒有辦法知道哪種類型的輸入向量將產(chǎn)生哪種特定的輸出，但通過這種訓練，網(wǎng)絡的輸出總是變換為一個可理解的序列形式。6.2人工神經(jīng)網(wǎng)絡基礎6.2.5人工神經(jīng)網(wǎng)絡的訓練（學習）訓練算法目前應用的訓練算法很多，其中有很大部分是早期的Hebb算法的變形。人們?nèi)栽谝陨飳W習訓練的模式作為目標，繼續(xù)探索新的算法?？梢韵嘈?，真正的生物學習訓練過程肯定比目前常用的訓練算法復雜得多。6.2人工神經(jīng)網(wǎng)絡基礎6.2.5人工神經(jīng)網(wǎng)絡的訓練（學習）訓練算法之一—Hebb算法Hebb算法是由DonaldHebb提出的一種最早的訓練算法。Hebb認為，如果源和目的神經(jīng)元都被激活（或抑制），它們之間的突觸的強度就會增強。6.2人工神經(jīng)網(wǎng)絡基礎6.2.5人工神經(jīng)網(wǎng)絡的訓練（學習）訓練算法之一—Hebb算法人工神經(jīng)網(wǎng)絡中Hebb算法的簡單描述：如果一個處理單元從另一個處理單元接收激勵信號，而且兩者處于相同的激勵電平（數(shù)學上具有相同的符號），那么處理單元之間的加權就應當增強。6.2人工神經(jīng)網(wǎng)絡基礎6.2.5人工神經(jīng)網(wǎng)絡的訓練（學習）訓練算法之一—Hebb算法人工神經(jīng)網(wǎng)絡中Hebb算法的簡單描述：按數(shù)學表示，就是兩結點的連接權將按兩結點的激勵電平的乘積來改變 其中，Wij(n)是第(n+1)次調(diào)節(jié)前從結點i到結點j的連接權值；Wij(n+1)是第(n+1)次調(diào)節(jié)后從結點i到結點j的連接權值；η為訓練速率系數(shù)；yi為結點i的輸出，并輸入到結點j；yj為結點j的輸出。6.2人工神經(jīng)網(wǎng)絡基礎6.2.5人工神經(jīng)網(wǎng)絡的訓練（學習）訓練算法之二—σ訓練算法這種算法的基本思路是：按差值（σ值）最小準則連續(xù)地修正各連接權的強度。所謂差值最小，就是指處理單元所要求的輸出與當前實際輸出間的差值，靠調(diào)節(jié)各加權以達到最小。該算法也稱為Widdrow-Hoff訓練算法或最小均方（LMS）算法。6.2人工神經(jīng)網(wǎng)絡基礎6.2.5人工神經(jīng)網(wǎng)絡的訓練（學習）訓練算法之三—梯度下降算法這是將數(shù)學上的優(yōu)化方法用于使要求的輸出與實際輸出之差最小。在該方法中，加權的修正量正比于誤差對加權的一階導數(shù)，數(shù)學表示如下：

其中，E是描述誤差的誤差函數(shù)，Wij(n)是結點i到結點j的連接權，η為訓練速率系數(shù)。σ訓練算法是梯度下降算法的一個特例。該算法收斂到穩(wěn)定點較慢，但它是一種比較有效和普遍應用的訓練算法。6.2人工神經(jīng)網(wǎng)絡基礎6.2.5人工神經(jīng)網(wǎng)絡的訓練（學習）訓練算法之四—隨機訓練算法該算法利用了隨機過程，用概率和能量關系來調(diào)節(jié)連接權?；舅悸罚涸谟柧氝^程中，隨機改變一個權值，確定權值改變后產(chǎn)生的最終能量，并按如下準則來確定是否保留此加權的變化。若改變加權后，人工神經(jīng)網(wǎng)絡的能量降低了，則保留著一改變。若改變加權后，能量沒有降低，則根據(jù)一個預選的概率分布來保留這一改變。（這一步的目的是為了保證人工神經(jīng)網(wǎng)絡能夠獲得全局能量最小點，而不是局部能量最小點。）否則，拒絕這一改變，使權值恢復到原來的值。典型的隨機訓練算法：模擬退火算法6.2人工神經(jīng)網(wǎng)絡基礎6.2.5人工神經(jīng)網(wǎng)絡的訓練（學習）訓練算法之五—Kohonen訓練算法它是TeuvoKohonen受生物系統(tǒng)的啟發(fā)而提出的，是無指導的訓練算法。在訓練過程中處理單元均參與彼此競爭，具有最大輸出的處理單元是獲勝者。獲勝的節(jié)點具有抑制其競爭者的能力和激活其近鄰結點的能力，只有獲勝者和其近鄰結點的加權才被允許調(diào)節(jié)。獲勝者的近鄰結點的范圍在訓練中是可變的。訓練開始時，一般將近鄰范圍取得較大。隨著訓練的進行其近鄰范圍逐漸縮小。6.2人工神經(jīng)網(wǎng)絡基礎6.2.6人工神經(jīng)網(wǎng)絡的穩(wěn)定性和收斂性不論是訓練操作還是回憶操作，人工神經(jīng)網(wǎng)絡的狀態(tài)總是變化的。所謂人工神經(jīng)網(wǎng)絡的狀態(tài)，是指人工神經(jīng)網(wǎng)絡所有結點的輸出信號值，狀態(tài)變化可以指某個結點的狀態(tài)發(fā)生變化，也可指所有結點的狀態(tài)發(fā)生變化。人工神經(jīng)網(wǎng)絡的這種動態(tài)特性受兩種性能的約束系統(tǒng)的穩(wěn)定性系統(tǒng)的收斂性6.2人工神經(jīng)網(wǎng)絡基礎6.2.6人工神經(jīng)網(wǎng)絡的穩(wěn)定性和收斂性人工神經(jīng)網(wǎng)絡的穩(wěn)定性系統(tǒng)的穩(wěn)定性定義為一種非線性動態(tài)系統(tǒng)，當在該系統(tǒng)上加入一個初始輸入時，系統(tǒng)的狀態(tài)發(fā)生變化，但最后達到一個固定點（收斂點或平衡點）。這些固定點就是存儲信息的點。雖然穩(wěn)定的人工神經(jīng)網(wǎng)絡總能保證所有輸入被映射到固定點，但不能保證該固定點就是所要求的固定點。人工神經(jīng)網(wǎng)絡系統(tǒng)的穩(wěn)定性是與反饋網(wǎng)絡的回憶操作相聯(lián)系的。這種反饋網(wǎng)絡的穩(wěn)定性可用李亞普諾夫準則判定。6.2人工神經(jīng)網(wǎng)絡基礎6.2.6人工神經(jīng)網(wǎng)絡的穩(wěn)定性和收斂性李亞普諾夫穩(wěn)定性準則所謂穩(wěn)定的動態(tài)系統(tǒng)，就是其系統(tǒng)變量從某一個初始狀態(tài)變化到最后達到穩(wěn)定值的過程中，系統(tǒng)存儲的能量隨時間的增長而衰減，直至能量最小點為止。要研究系統(tǒng)的穩(wěn)定性，需要找到系統(tǒng)的李亞普諾夫能量函數(shù)，它是一個廣義的能量函數(shù)（記作E）。6.2人工神經(jīng)網(wǎng)絡基礎6.2.6人工神經(jīng)網(wǎng)絡的穩(wěn)定性和收斂性李亞普諾夫穩(wěn)定性準則設有一系統(tǒng)，其參變量為y=(y1,y2,…,yn)，系統(tǒng)微分方程組為李亞普諾夫準則描述如下：對于一個非線性動態(tài)系統(tǒng)，能找到一個以Yi變量表示的能量函數(shù)E，對于所有輸入y=(y1,y2,…,yn)

，如上述能量函數(shù)滿足李亞普諾夫四個基本條件，則該系統(tǒng)的動態(tài)過程收斂，并判定為整體穩(wěn)定。6.2人工神經(jīng)網(wǎng)絡基礎6.2.6人工神經(jīng)網(wǎng)絡的穩(wěn)定性和收斂性李亞普諾夫四個基本條件

(1)Yi=0，如果yi=0，i=1,2,…,n，即Yi變量只在原點為零。

(2)Yi是全純的，即在給定域內(nèi)的任一點，其一階導數(shù)存在。

(3)

式中t0和H均為常數(shù)，且H總是非零值，即在t>=t0時，yi總是有界的。6.2人工神經(jīng)網(wǎng)絡基礎6.2.6人工神經(jīng)網(wǎng)絡的穩(wěn)定性和收斂性李亞普諾夫四個基本條件

(4)

對所有的i=1,2,…,n成立，這表明能量隨著變量yi的變化總是減小的。李亞普諾夫能量函數(shù)沒有統(tǒng)一的規(guī)定，只要它具有能量的形式（如二次型），并滿足系統(tǒng)的物理意義即可，因此，系統(tǒng)的能量函數(shù)E的形式不是唯一的。6.2人工神經(jīng)網(wǎng)絡基礎6.2.6人工神經(jīng)網(wǎng)絡的穩(wěn)定性和收斂性人工神經(jīng)網(wǎng)絡的收斂性系統(tǒng)的收斂性是指，在訓練過程中輸出結點的實際輸出值與要求的輸出值的誤差，最后能達到可接受的最小值。一般要求收斂過程迅速和精確，即輸出能盡快趨于目標值。收斂性是與有指導的訓練操作相聯(lián)系的，收斂過程嚴格依賴于所采用的具體訓練算法和訓練參數(shù)。6.2人工神經(jīng)網(wǎng)絡基礎6.2.7小結人工神經(jīng)網(wǎng)絡的原型—大腦神經(jīng)元的結構神經(jīng)元間的連接（突觸）生物神經(jīng)網(wǎng)絡的構成人工神經(jīng)網(wǎng)絡模型基本單元是人工神經(jīng)元（即處理單元和結點），它是生物神經(jīng)元的簡單近似。網(wǎng)絡模型是仿照生物神經(jīng)元的連接結構，將結點組合連接為層并將幾個層組合在一起連接而構成的。網(wǎng)絡可分為單層網(wǎng)絡和多層網(wǎng)絡。連接可分為層內(nèi)橫向連接、層間前饋連接和反饋連接。6.2人工神經(jīng)網(wǎng)絡基礎6.2.7小結人工神經(jīng)網(wǎng)絡模型的特性具有較強的信息處理能力和存儲能力存儲不像一般計算機將信息存入RAM或ROM，而是將信息存入網(wǎng)絡的連接權或結點狀態(tài)中。兩種信息存儲方式內(nèi)容尋址存儲器或長期存儲器：網(wǎng)絡通過訓練操作將信息存入加權中。聯(lián)想存儲器或短期存儲器：當網(wǎng)絡加一外部激勵時，存儲器就通過回憶操作產(chǎn)生輸出響應，該響應反映在輸出結點的狀態(tài)上。6.2人工神經(jīng)網(wǎng)絡基礎6.2.7小結人工神經(jīng)網(wǎng)絡模型的兩種基本操作訓練操作各種訓練算法，常用的有Hebb算法、σ規(guī)則算法、梯度下降算法、Kohonen算法和隨機算法等。訓練算法分為有指導和無指導兩類有指導的算法存在收斂問題，一般要求收斂迅速而準確?；貞洸僮髑梆伝貞浄答伝貞浄答伝貞洿嬖诜€(wěn)定性問題為判定系統(tǒng)的穩(wěn)定性，對人工神經(jīng)網(wǎng)絡常采用李亞普諾夫穩(wěn)定準則，借助李亞普諾夫能量函數(shù)進行直觀檢查，如果能量函數(shù)隨時間是衰減的，網(wǎng)絡就是穩(wěn)定的。6.3前饋神經(jīng)網(wǎng)絡神經(jīng)生理學和神經(jīng)解剖學的研究表明，大腦中實際的神經(jīng)網(wǎng)絡一般具有層次結構，同時結點間的連接很多屬于前饋連接，同時這種前饋連接構成的網(wǎng)絡（前饋網(wǎng)絡）學習過程比較容易，所以首先討論前饋網(wǎng)絡模型。1958年心理學家FrankRosenblatt及其合作者首先研究了這種前饋層次網(wǎng)絡模型，將其稱為感知器(Perception)。6.3前饋神經(jīng)網(wǎng)絡感知器實例簡單感知器6.3前饋神經(jīng)網(wǎng)絡感知器實例兩層感知器6.3前饋神經(jīng)網(wǎng)絡在感知器模型中，輸入向量x=(x1,x2,…,xN)通過各輸入端點分配給下一層的各結點，這下一層稱為中間層，它可以是一層，也可以是多層，最后通過輸出層結點得到輸出向量y=(y1,y2,…,yn)。在這種前饋網(wǎng)絡模型中，沒有層內(nèi)聯(lián)接，也沒有隔層的前饋聯(lián)接，每一個結點只能前饋聯(lián)接到其下一層的所有結點。由于在早期對于含有隱蔽層的多層感知器沒有可行的訓練算法，所以初期研究的感知器是一層感知器（或稱簡單感知器，通常簡稱為感知器）。由于多層網(wǎng)絡具有較強的處理功能，因此人們一直致力于尋找多層網(wǎng)絡的訓練算法，直到Rumelhart等人提出完整的誤差反傳訓練算法（BP算法），解決了多層網(wǎng)絡的訓練問題。6.3前饋神經(jīng)網(wǎng)絡6.3.1早期的人工神經(jīng)網(wǎng)絡—感知器網(wǎng)絡描述該網(wǎng)絡由N個輸入和一個含有n個結點的輸出層，沒有隱蔽層。輸入向量為x=(x1,x2,…,xN)，輸出向量為y=(y1,y2,…,yn)，相應的加權向量為W1=(W11,W21,…,WN1)，

…Wj=(W1j,W2j,…,WNj)，…Wn=(W1n,W2n,…,WNn)。對于結點j，其輸入加權和sj為：6.3前饋神經(jīng)網(wǎng)絡6.3.1早期的人工神經(jīng)網(wǎng)絡—感知器網(wǎng)絡描述對于結點j，其輸出值yj為： 其中F(sj)為結點j的轉移函數(shù)，如符號函數(shù)、線性函數(shù)和非線性函數(shù)等。具有不同轉移函數(shù)的感知器，具有不同的功能。6.3前饋神經(jīng)網(wǎng)絡6.3.1早期的人工神經(jīng)網(wǎng)絡—感知器網(wǎng)絡描述一般感知器的功能是實現(xiàn)他聯(lián)想，即當給定一個輸入激勵xk，就產(chǎn)生一個實際的響應yk要求yk等于所需的目標向量對第k個輸入向量在結點j上應有， 其中若定義P為訓練組中輸入輸出對的數(shù)目，則k=1,2,…,P6.3前饋神經(jīng)網(wǎng)絡6.3.1早期的人工神經(jīng)網(wǎng)絡—感知器網(wǎng)絡描述通常稱感知器的他聯(lián)想能力為功能表示能力。感知器的功能表示能力是通過學習而記憶在加權W中的，這個特定的加權W是通過有指導的訓練得到的。6.3前饋神經(jīng)網(wǎng)絡6.3.1早期的人工神經(jīng)網(wǎng)絡—感知器符號單元處理單元的轉移函數(shù)采用符號函數(shù) F(S)=sgn(S)一個結點的結構圖6.3前饋神經(jīng)網(wǎng)絡6.3.1早期的人工神經(jīng)網(wǎng)絡—感知器符號單元網(wǎng)絡的輸入可以是連續(xù)值，也可以是二進制數(shù)。網(wǎng)絡的輸出有兩種狀態(tài)6.3前饋神經(jīng)網(wǎng)絡6.3.1早期的人工神經(jīng)網(wǎng)絡—感知器符號單元此時處理單元實際上是輸入信息的分類器，判決輸入信息屬于兩類中的哪一類（A或B類）。當輸入向量為兩個分量時，它構成平面上的兩維集，此時判決界是一條直線。6.3前饋神經(jīng)網(wǎng)絡6.3.1早期的人工神經(jīng)網(wǎng)絡—感知器符號單元當輸入向量為三個分量時，它構成三維信號集，此時判決界是一個平面。當輸入向量為多個分量時，它構成多維信息空間，此時判決界是一個多維面。6.3前饋神經(jīng)網(wǎng)絡6.3.1早期的人工神經(jīng)網(wǎng)絡—感知器符號單元感知器實現(xiàn)邏輯“與”的功能邏輯“與”的真值表6.3前饋神經(jīng)網(wǎng)絡6.3.1早期的人工神經(jīng)網(wǎng)絡—感知器符號單元感知器實現(xiàn)邏輯“與”的功能因只有兩個輸入，構成二維空間。6.3前饋神經(jīng)網(wǎng)絡6.3.1早期的人工神經(jīng)網(wǎng)絡—感知器符號單元感知器實現(xiàn)邏輯“與”的功能通過真值表中的4個輸入輸出對，訓練調(diào)節(jié)對應的加權W1、W2和閾值θ，可得表示“與”動能的感知器。6.3前饋神經(jīng)網(wǎng)絡6.3.1早期的人工神經(jīng)網(wǎng)絡—感知器符號單元感知器在表示能力方面存在局限性，有很多功能，不管如何調(diào)節(jié)加權和閾值，也不能被識別或表示。“異或問題”邏輯“異或”的真值表6.3前饋神經(jīng)網(wǎng)絡6.3.1早期的人工神經(jīng)網(wǎng)絡—感知器符號單元感知器不能實現(xiàn)邏輯“異或”的功能因只有兩個輸入，構成二維空間。6.3前饋神經(jīng)網(wǎng)絡6.3.1早期的人工神經(jīng)網(wǎng)絡—感知器符號單元感知器不能實現(xiàn)邏輯“異或”的功能要實現(xiàn)“異或”功能，要求A類在直線的一邊，B類在直線的另一邊，這顯然是不可能的，因為它是線性不可分的。這意味著不管如何改變參數(shù)W1、W2和θ都不能使單層感知器產(chǎn)生“異或”功能。對于線性不可分的功能，訓練中找不到一條直線（或多維判決界面）將A和B兩類分開，使得加權總是來回擺動，不能收斂到一個確定的判決界，此時，訓練是不收斂的。要想用感知器表示某種功能，必須知道這種功能是否是線性可分的。遺憾的是，并沒有通用的辦法來確定這種線性可分性（尤其是當輸入分量很大時）。6.3前饋神經(jīng)網(wǎng)絡6.3.1早期的人工神經(jīng)網(wǎng)絡—感知器符號單元感知器的訓練算法它是有指導的訓練，其指導就是輸入向量時所要求的輸出目標值。訓練的基本思路將輸入向量加到網(wǎng)絡上，對每個輸入向量計算相應的輸出；如果計算的輸出就是要求的輸出，則保持聯(lián)到該結點的加權值不變；如果計算的輸出不是要求的輸出，則按照Hebb規(guī)則修改各加權值，即每個加權的修正量正比于該加權對應的輸入和輸出的乘積。6.3前饋神經(jīng)網(wǎng)絡6.3.1早期的人工神經(jīng)網(wǎng)絡—感知器符號單元感知器的訓練算法感知器訓練算法的關系式推導感知器訓練算法[例子：感知器實現(xiàn)邏輯“與”的功能]討論經(jīng)過有限次迭代可使誤差達到最小，即δ=0。收斂的速度（迭代次數(shù)）與初始條件W(0)、θ和η有關，收斂后的權值也不是唯一的。在實際中θ并不指定，可以作為偏置加權同其它加權一樣參與訓練調(diào)整。作業(yè)和編程試用感知器算法實現(xiàn)邏輯“或”的功能（初始加權值、閾值和訓練速率系數(shù)可自己設定）。試編寫一程序，用感知器算法實現(xiàn)邏輯“與”（如例題）或邏輯“或”（如上題）的功能。（可選）6.3前饋神經(jīng)網(wǎng)絡6.3.1早期的人工神經(jīng)網(wǎng)絡—感知器線性單元具有連續(xù)轉移函數(shù)的感知器，轉移函數(shù)是線性函數(shù)，且是處處可微的。為了導出訓練算法，可采用優(yōu)化技術，使輸出誤差最小，從而達到系統(tǒng)最佳性能。優(yōu)化函數(shù)：梯度下降法6.3前饋神經(jīng)網(wǎng)絡6.3.1早期的人工神經(jīng)網(wǎng)絡—感知器線性單元線性單元描述加權的直接求解法對一個線性網(wǎng)絡，可用求解線性方程的辦法求其加權值。方程描述σ規(guī)則訓練算法借助于梯度下降法，從任意起始點開始調(diào)解網(wǎng)絡的加權，當所有加權調(diào)到最佳時，網(wǎng)絡的實際輸出值與要求的目標值的差值達到最小。σ規(guī)則訓練算法描述6.3前饋神經(jīng)網(wǎng)絡6.3.1早期的人工神經(jīng)網(wǎng)絡—感知器線性單元σ規(guī)則訓練算法和感知器算法比較雖然算法的表達式相同，但σ規(guī)則訓練算法是基于梯度算法得到的，它要求連續(xù)的轉移函數(shù)，很容易推廣到多層網(wǎng)絡；而感知器算法是基于Hebb假設得到的，無上述特性。兩種算法的有解（實現(xiàn)功能表示）條件不同。感知器算法是線性可分性σ規(guī)則訓練算法是線性獨立的。6.3前饋神經(jīng)網(wǎng)絡6.3.1早期的人工神經(jīng)網(wǎng)絡—感知器非線性單元轉移函數(shù)是非線性函數(shù)，且是處處可微的。加權求解描述Sigmoid函數(shù)情況6.3前饋神經(jīng)網(wǎng)絡6.3.2誤差反傳訓練算法（BackPropagation，簡稱BP算法）它是有指導訓練的前饋多層網(wǎng)絡訓練算法，是靠調(diào)節(jié)各層的加權，使網(wǎng)絡學會由輸入輸出對組成的訓練組。類似于感知器中線性單元和非線性單元的訓練算法，執(zhí)行優(yōu)化的基本方法仍是梯度下降法。BP算法是使用非常廣泛的一種算法，最常用的轉移函數(shù)是Sigmoid函數(shù)。6.3前饋神經(jīng)網(wǎng)絡6.3.2誤差反傳訓練算法兩層網(wǎng)絡的描述符號描述訓練組輸入輸出對：{xik,Tjk}輸出結點的輸出：yjk隱蔽層結點的輸出：yhk輸入信號：xik由輸入層結點至隱蔽層結點的加權表示：Wih由隱蔽層結點至輸出層結點的加權表示：Whj下標i、h、j分別表示某一輸入結點、隱蔽層結點和輸出結點，上標k表示訓練對的序號，k=1,2,…,P。xik既可以是二進制值，也可以是連續(xù)值。輸入端點數(shù)目為N。6.3前饋神經(jīng)網(wǎng)絡6.3.2誤差反傳訓練算法兩層網(wǎng)絡的描述推算過程6.3前饋神經(jīng)網(wǎng)絡6.3.2誤差反傳訓練算法兩層網(wǎng)絡的描述每一層誤差值σ的求取輸出層可直接計算，因此誤差值σjk很容易得到對前一隱蔽層沒有直接給出目標值，不能直接計算Δhk，需要利用輸出層的σjk計算：，算出Δhk后，σhk也就求出了。若前面還有隱蔽層，用σhk再按上述方法計算Δlk和σlk，以此類推，一直將輸出誤差σ推算到第一隱蔽層為止。各層的σ求得后，各層的加權調(diào)解量即可按公式ΔWpq=σoyin求得。由于誤差σjk相當于由輸出向輸入反向傳播，所以這種訓練算法成為誤差反傳算法（BP算法）。6.3前饋神經(jīng)網(wǎng)絡6.3.2誤差反傳訓練算法隱蔽層δ的計算方法示意圖采用Sigmoid函數(shù)時δ的推算6.3前饋神經(jīng)網(wǎng)絡6.3.2誤差反傳訓練算法BP訓練算法實現(xiàn)步驟討論網(wǎng)絡層次的選擇對多層網(wǎng)絡要確定選用幾個隱蔽層。Heche-Nielsen證明，當各結點具有不同的閾值時，具有一個隱蔽層的網(wǎng)絡可以表示其輸入的任意函數(shù)，但由于該條件很難滿足，該結論意義不大。Cybenko指出，當各結點均采用S型函數(shù)時，一個隱蔽層就足以實現(xiàn)任意判決分類問題，兩個隱蔽層則足以實現(xiàn)輸入向量的任意輸出函數(shù)。網(wǎng)絡層次的選取依經(jīng)驗和情況而定，通常不宜過多。6.3前饋神經(jīng)網(wǎng)絡6.3.2誤差反傳訓練算法討論層內(nèi)結點數(shù)的確定BP網(wǎng)絡中各層結點數(shù)的選擇對網(wǎng)絡的性能影響很大。對輸出結點，它取決于輸出的表示方法和要識別（或分類）的輸入向量的類別數(shù)目。比如要輸出能表示8個不同向量的分類，可以用8個輸出結點，一個結點表示一類，也可以采用三個輸出結點，用它們的二進制編碼表示8個不同的分類。如果用了編碼方式，會減少輸出結點的數(shù)量，但會增加隱蔽層的附加工作以完成編碼功能，甚至有時需增加一個隱蔽層以滿足要求。6.3前饋神經(jīng)網(wǎng)絡6.3.2誤差反傳訓練算法討論層內(nèi)結點數(shù)的確定對輸入結點，輸入層的結點數(shù)通常應等于輸入向量的分量數(shù)目。對隱蔽層結點數(shù)的選擇，Nielson等指出：除了圖像情況，在大多數(shù)情況下，可使用4-5個隱蔽層結點對應一個輸入結點。在圖像情況下，像素的數(shù)目決定了輸入結點的數(shù)目，此時隱蔽層結點可取輸入結點數(shù)的10%左右。隱蔽層的結點數(shù)取得太少，網(wǎng)絡將不能建立復雜的判決界面；取得太多，會使得判決界面僅包封了訓練點而失去了概括推斷的能力。隱蔽層結點數(shù)的選擇要根據(jù)實際情況和經(jīng)驗來定。6.3前饋神經(jīng)網(wǎng)絡6.3.2誤差反傳訓練算法BP訓練算法存在的問題盡管BP訓練算法應用得很廣泛，但其訓練過程存在不確定性。完全不能訓練網(wǎng)絡的麻痹現(xiàn)象局部最小訓練時間過長，尤其對復雜問題需要很長時間訓練。選取了不適當?shù)恼{(diào)節(jié)階距（訓練速率系數(shù)η）。6.3前饋神經(jīng)網(wǎng)絡6.3.2誤差反傳訓練算法BP訓練算法存在的問題網(wǎng)絡的麻痹現(xiàn)象在訓練過程中（如采用Sigmoid函數(shù)），加權調(diào)得較大可能迫使所有的或大部分的加權和輸出sj較大，從而使得操作會在S型函數(shù)的飽和區(qū)進行，此時函數(shù)處在其導數(shù)F’(s)非常小的區(qū)域內(nèi)。由于在計算加權修正量時，σ正比于F’(s)，因此當F’(s)->0時σ->0，這使得，相當于調(diào)節(jié)過程幾乎停頓下來。6.3前饋神經(jīng)網(wǎng)絡6.3.2誤差反傳訓練算法BP訓練算法存在的問題局部最小BP訓練算法實際上采用梯度下降法，訓練過程從某一起始點沿誤差函數(shù)的斜面最陡方向逐漸達到最小點E->0。對于復雜的網(wǎng)絡，其誤差函數(shù)面在多維空間，其表面可能凹凸不平，因而在訓練過程中可能會陷入某一個小谷區(qū)，稱之為局部最小點。由此點向各方向變化均使E增加，以致無法逃出這個局部最小點。6.3前饋神經(jīng)網(wǎng)絡6.3.2誤差反傳訓練算法BP訓練算法存在的問題局部最小局部最小點示意圖6.3前饋神經(jīng)網(wǎng)絡6.3.2誤差反傳訓練算法BP訓練算法存在的問題局部最小初始隨機加權的大小對局部最小的影響很大。如果這些加權太大，可能一開始就使網(wǎng)絡處于S型函數(shù)的飽和區(qū)，系統(tǒng)就很有可能陷入局部最小。一般來說，要避免局部最小點可采用統(tǒng)計訓練的方法。隨機神經(jīng)網(wǎng)絡6.3前饋神經(jīng)網(wǎng)絡6.3.2誤差反傳訓練算法BP訓練算法存在的問題階距（訓練速率系數(shù)η）大小如果η選得太小，收斂會很慢；如果η選得太大，可能出現(xiàn)連續(xù)不穩(wěn)定現(xiàn)象。需按照實驗和經(jīng)驗確定η。可取η值為0.01~1Wasserman曾提出自適應的階距算法，在訓練過程中自動調(diào)節(jié)階距的大小。6.3前饋神經(jīng)網(wǎng)絡6.3.2誤差反傳訓練算法討論：BP訓練算法的改進附加沖量項該方法是為每個加權調(diào)節(jié)量加上一個正比于前次變化量的值，即每次加權調(diào)節(jié)完成后，記住該調(diào)節(jié)量，以便在下面的調(diào)節(jié)中使用。附加有沖量項的加權調(diào)節(jié)公式為： 其中α為沖量系數(shù)6.3前饋神經(jīng)網(wǎng)絡6.3.2誤差反傳訓練算法討論：BP訓練算法的改進附加沖量項加入沖量項可起到緩沖平滑的作用，若系統(tǒng)進入誤差函數(shù)面的平坦區(qū)，則δq->0，于是通過調(diào)整α可使調(diào)節(jié)盡快逃離飽和區(qū)。6.3前饋神經(jīng)網(wǎng)絡6.3.2誤差反傳訓練算法討論：BP訓練算法的改進改進誤差函數(shù)前面定義的誤差函數(shù)是二次項函數(shù)，但這不是唯一的選擇，可以通過選用其它的函數(shù)來代替。所選函數(shù)應在Tj=yj時達到最小，此時導出的BP算法除輸出層的δj不同外，其它各層與基本BP算法相似。例如，可選如下誤差函數(shù)以克服網(wǎng)絡麻痹現(xiàn)象：6.3前饋神經(jīng)網(wǎng)絡6.3.2誤差反傳訓練算法討論：BP訓練算法的改進自適應參數(shù)變化調(diào)節(jié)參數(shù)