人工神經(jīng)網(wǎng)絡(luò)算法精講課件

第六章人工神經(jīng)網(wǎng)絡(luò)第六章人工神經(jīng)網(wǎng)絡(luò)6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)所謂人工神經(jīng)網(wǎng)絡(luò)就是基于模仿生物大腦的結(jié)構(gòu)和功能而構(gòu)成的一種信息處理系統(tǒng)（計(jì)算機(jī)）。人是地球上具有最高智慧的動(dòng)物，而人的指揮均來(lái)自大腦，人類靠大腦進(jìn)行思考、聯(lián)想、記憶和推理判斷等，這些功能是任何被稱為“電腦”的一般計(jì)算機(jī)所無(wú)法取代的。長(zhǎng)期以來(lái)，許多科學(xué)家一直致力于人腦內(nèi)部結(jié)構(gòu)和功能的探討和研究，并試圖建立模仿人類大腦的計(jì)算機(jī)，雖然到目前對(duì)大腦的內(nèi)部工作機(jī)理還不甚完全清楚，但對(duì)其結(jié)構(gòu)已有所了解。6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)粗略地講，大腦是由大量神經(jīng)細(xì)胞或神經(jīng)元組成的。每個(gè)神經(jīng)元可看作是一個(gè)小的處理單元，這些神經(jīng)元按某種方式連接起來(lái)，形成大腦內(nèi)部的生理神經(jīng)元網(wǎng)絡(luò)。這種神經(jīng)元網(wǎng)絡(luò)中各神經(jīng)元之間聯(lián)結(jié)的強(qiáng)弱，按外部的激勵(lì)信號(hào)做自適應(yīng)變化，而每個(gè)神經(jīng)元又隨著所接收到的多個(gè)接收信號(hào)的綜合大小而呈現(xiàn)興奮或抑制狀態(tài)?，F(xiàn)已明確大腦的學(xué)習(xí)過(guò)程就是神經(jīng)元之間連接強(qiáng)度隨外部激勵(lì)信息做自適應(yīng)變化的過(guò)程，而大腦處理信息的結(jié)果則由神經(jīng)元的狀態(tài)表現(xiàn)出來(lái)。6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)由于我們建立的信息處理系統(tǒng)實(shí)際上是模仿生理神經(jīng)網(wǎng)絡(luò)，因此稱它為人工神經(jīng)網(wǎng)絡(luò)。需要指出，盡管人工神經(jīng)網(wǎng)絡(luò)是對(duì)大腦結(jié)構(gòu)的模仿，但這種模仿目前還處于極低的水平。按美國(guó)神經(jīng)網(wǎng)絡(luò)學(xué)者Nielsen的定義人工神經(jīng)網(wǎng)絡(luò)是一個(gè)并行、分布處理結(jié)構(gòu)，它由處理單元及其稱為聯(lián)接的無(wú)向訊號(hào)通道互連而成。這些處理單元具有局部?jī)?nèi)存，可以完成局部操作，即它必須僅僅依賴于經(jīng)過(guò)輸入聯(lián)接到達(dá)處理單元的所有輸入信號(hào)的當(dāng)前值和存儲(chǔ)在處理單元局部?jī)?nèi)存中的值。每個(gè)處理單元有一個(gè)單一的輸出聯(lián)接，輸出信號(hào)可以是任何需要的數(shù)學(xué)模型。6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)與一般計(jì)算機(jī)的區(qū)別在一般的計(jì)算機(jī)中，通常有一個(gè)中央處理器，它可訪問(wèn)其存儲(chǔ)器。該處理器可取一條指令和該指令所需的數(shù)據(jù)，并執(zhí)行該指令，最后將計(jì)算結(jié)果存入指定的存儲(chǔ)單元中。任何動(dòng)作都按照確定的操作程序，以串行方式執(zhí)行。6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)與一般計(jì)算機(jī)的區(qū)別在人工神經(jīng)網(wǎng)絡(luò)中，操作既不是串行的，也不是預(yù)先確定的，它根本沒有確定的存儲(chǔ)器，而是由許多互連的簡(jiǎn)單處理單元組成。每個(gè)處理單元的處理功能只是求其所有輸入信號(hào)的加權(quán)和，當(dāng)該和值超過(guò)某一閾值時(shí)，輸出呈現(xiàn)興奮狀態(tài)（高電平），否則低于閾值時(shí)呈現(xiàn)抑制狀態(tài)（低電平）。人工神經(jīng)網(wǎng)絡(luò)并不執(zhí)行指令序列，它對(duì)并行加載的輸入信號(hào)也按并行方式來(lái)處理和響應(yīng)，結(jié)果也不存儲(chǔ)在特定的存儲(chǔ)單元中。當(dāng)它達(dá)到某種平衡狀態(tài)后，網(wǎng)絡(luò)的整個(gè)狀態(tài)就是所求的結(jié)果。目前還沒有用硬件真正實(shí)現(xiàn)的并行處理的人工神經(jīng)網(wǎng)絡(luò)，對(duì)它的實(shí)現(xiàn)還是基于一般計(jì)算機(jī)的軟件模擬，這顯然并沒有真正發(fā)揮出人工神經(jīng)網(wǎng)絡(luò)并行快速的特點(diǎn)。6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的兩種操作過(guò)程訓(xùn)練學(xué)習(xí)訓(xùn)練時(shí)，把要教給神經(jīng)網(wǎng)絡(luò)的信息（外部輸入）作為網(wǎng)絡(luò)的輸入和要求的輸出，使網(wǎng)絡(luò)按某種規(guī)則（稱為訓(xùn)練算法）調(diào)節(jié)各處理單元間的連接權(quán)值，直至加上給定輸入，網(wǎng)絡(luò)就能產(chǎn)生給定輸出為止。這時(shí)，各連接權(quán)已調(diào)接好，網(wǎng)絡(luò)的訓(xùn)練就完成了。正常操作（回憶操作）對(duì)訓(xùn)練好的網(wǎng)絡(luò)輸入一個(gè)信號(hào)，它就可以正確回憶出相應(yīng)輸出，得到識(shí)別結(jié)果。6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)文本（英文）朗讀機(jī)實(shí)例輸入裝置是一個(gè)閱讀窗口，當(dāng)它沿文本的一行移動(dòng)時(shí)，每次前移一個(gè)字母，但每個(gè)瞬間輸入七個(gè)相鄰的字母（包括空格和句號(hào)）信息。由于英文字母的發(fā)音與其前后字母有關(guān)，所以訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)時(shí)，只要求每次七個(gè)字母的中間字母發(fā)音（靠人工神經(jīng)網(wǎng)絡(luò)的輸出相應(yīng)狀態(tài)驅(qū)動(dòng)一個(gè)語(yǔ)音綜合發(fā)生器）。訓(xùn)練時(shí)，將一篇有1024個(gè)字的文本一行一行通過(guò)閱讀窗口，并要求對(duì)應(yīng)每個(gè)字母時(shí)人工神經(jīng)網(wǎng)絡(luò)的輸出結(jié)點(diǎn)能輸出相應(yīng)音素的狀態(tài)值。6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)文本（英文）朗讀機(jī)實(shí)例這樣通過(guò)十遍閱讀（訓(xùn)練），可以達(dá)到輸出可理解的語(yǔ)音。通過(guò)50遍閱讀（訓(xùn)練），可以達(dá)到95%的精確度。訓(xùn)練過(guò)程中聽上去像小孩學(xué)說(shuō)話一樣，由不清楚到清楚。訓(xùn)練完成后，再閱讀從未見過(guò)的課文，朗讀精度仍可達(dá)78%，完全可以聽懂。6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)人臉識(shí)別實(shí)例用10個(gè)人的照片，每個(gè)人都在不同的角度照5張照片，共有50張照片的輸入信息。對(duì)人工神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，每個(gè)照片信息作為輸入時(shí)，代表10個(gè)人的10個(gè)結(jié)點(diǎn)中相應(yīng)的一個(gè)結(jié)點(diǎn)輸出最大，每個(gè)人的5張照片都對(duì)應(yīng)著同一個(gè)結(jié)點(diǎn)的最大輸出。經(jīng)過(guò)訓(xùn)練后，再對(duì)原來(lái)的10個(gè)人中的一個(gè)從不同角度拍照（尺寸不變），進(jìn)行識(shí)別，結(jié)果是他本人對(duì)應(yīng)的結(jié)點(diǎn)的輸出比其它9個(gè)結(jié)點(diǎn)的輸出都高得多。6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)總結(jié)和討論傳統(tǒng)計(jì)算機(jī)采用的是串行處理方式，限制了大量信息的快速傳輸和處理，即使用了多個(gè)處理器并行工作，還是會(huì)把許多時(shí)間浪費(fèi)在完成串行操作上，而且問(wèn)題的并行化分解和并行程序的編寫也是一個(gè)難題。雖然至今開發(fā)出的超型計(jì)算機(jī)，其速度和容量都大得驚人，但仍不能很好地完成諸如小孩可以做到的事情，如認(rèn)識(shí)面孔、學(xué)習(xí)說(shuō)話、識(shí)別圖像等。盡管人工神經(jīng)網(wǎng)絡(luò)還是生物大腦的極低水平的模仿，但在圖像識(shí)別、語(yǔ)音識(shí)別、記憶、預(yù)測(cè)以及優(yōu)化等方面表現(xiàn)出了良好的智能特性和應(yīng)用前景，可以完成傳統(tǒng)計(jì)算機(jī)不易實(shí)現(xiàn)的智能性工作。6.1概述6.1.1什么是人工神經(jīng)網(wǎng)絡(luò)6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展初始（萌發(fā)）期——MP模型的提出和人工神經(jīng)網(wǎng)絡(luò)的興起1943年，美國(guó)神經(jīng)生理學(xué)家WarrenMcculloch和數(shù)學(xué)家WalterPitts合寫了一篇關(guān)于神經(jīng)元如何工作的開拓性文章：“ALogicalCalculusofIdeasImmanentinNervousActivity”。該文指出，腦細(xì)胞的活動(dòng)像斷/通開關(guān)，這些細(xì)胞可以按各種方式相互結(jié)合，進(jìn)行各種邏輯運(yùn)算。按此想法，他們用電路構(gòu)成了簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)模型，并預(yù)言大腦的所有活動(dòng)最終將被解釋清楚。雖然問(wèn)題并非如此簡(jiǎn)單，但它給人們一個(gè)信念，即大腦的活動(dòng)是靠腦細(xì)胞的組合連接實(shí)現(xiàn)的。當(dāng)時(shí)，不少研究人員轉(zhuǎn)向解剖學(xué)和生理學(xué)去尋找建立智能機(jī)的思路。6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展初始期——MP模型的提出和人工神經(jīng)網(wǎng)絡(luò)的興起1949年，心理學(xué)家DonalaHebb寫了一本書：“TheOrganizationofBehavior”。在該書中，他強(qiáng)調(diào)了心理學(xué)和生理學(xué)間的聯(lián)系和溝通，指出腦細(xì)胞間的思路每當(dāng)通過(guò)參與某種活動(dòng)時(shí)將被加強(qiáng)，這就是后來(lái)的Hebb學(xué)習(xí)規(guī)則。目前有些神經(jīng)網(wǎng)絡(luò)模型仍然采用這種學(xué)習(xí)規(guī)則。6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展初始期——MP模型的提出和人工神經(jīng)網(wǎng)絡(luò)的興起到了二十世紀(jì)50年代，隨著計(jì)算機(jī)的發(fā)展和軟硬件的進(jìn)步，有些神經(jīng)系統(tǒng)功能的理論開始在計(jì)算機(jī)上進(jìn)行模擬，拓寬了研究的路子。IBM的研究室在Hebb工作的基礎(chǔ)上，對(duì)神經(jīng)網(wǎng)絡(luò)的模型進(jìn)行了軟件模擬，雖然開始時(shí)失敗了，但在使得模型像人那樣適應(yīng)環(huán)境的實(shí)驗(yàn)上取得了一定程度的成功。在此情況下，人們開始醞釀人工智能的項(xiàng)目。6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展初始期——MP模型的提出和人工神經(jīng)網(wǎng)絡(luò)的興起1956年，一個(gè)人工智能研究項(xiàng)目（DartmouthSummer）給人工智能領(lǐng)域，同時(shí)也給神經(jīng)計(jì)算領(lǐng)域以巨大推動(dòng)。人們提出兩條研究思路采用高級(jí)人工智能方法，試圖建立描述智能機(jī)功能的計(jì)算機(jī)程序；根據(jù)低水平的大腦處理方式構(gòu)成結(jié)構(gòu)模型，以實(shí)現(xiàn)智能化。這宣告了人工神經(jīng)網(wǎng)絡(luò)的誕生。6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展第一次高潮期——感知器模型和人工神經(jīng)網(wǎng)絡(luò)1957年，計(jì)算機(jī)專家FrankRosenblatt開始從事感知器的研究，并制成硬件，通常被認(rèn)為是最早的神經(jīng)網(wǎng)絡(luò)模型。1959年，兩位電機(jī)工程師BernardWidrow和MarcianHaff開發(fā)出一種叫作自適應(yīng)線性單元（ADALINE）的網(wǎng)絡(luò)模型，并在他們的論文“AdaptiveSwitchingCircuits”中描述了該模型和它的學(xué)習(xí)算法（Widrow-Haff算法）。該網(wǎng)絡(luò)通過(guò)訓(xùn)練，可以成功用于抵消通信中的回波和噪聲，也可用于天氣預(yù)報(bào)，成為第一個(gè)用于實(shí)際問(wèn)題的神經(jīng)網(wǎng)絡(luò)。6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展第一次高潮期——感知器模型和人工神經(jīng)網(wǎng)絡(luò)1962年，Rosenblatt出版了一本書“ThePrinciplesofNeurodynamics”，詳述了他的感知器模型。該感知器具有輸入層、輸出層和中間層，通過(guò)實(shí)驗(yàn)可以模仿人的某些特性，并斷言它可以學(xué)會(huì)任何它可以表示的功能。1967年，StephenGrossberg通過(guò)對(duì)生理學(xué)的研究，開發(fā)了一種稱作Avalanche（雪崩網(wǎng)）的神經(jīng)網(wǎng)絡(luò)模型，可以執(zhí)行連續(xù)語(yǔ)音識(shí)別和控制機(jī)器人手臂的運(yùn)動(dòng)。在這一時(shí)期，由于感知器的某些進(jìn)展和對(duì)神經(jīng)網(wǎng)絡(luò)的宣傳，人們樂觀地認(rèn)為幾乎已經(jīng)找到了實(shí)現(xiàn)智能的關(guān)鍵，許多部門開始大批地投入此項(xiàng)研究，希望盡快占領(lǐng)制高點(diǎn)，形成了研究人工神經(jīng)網(wǎng)絡(luò)的第一次高潮。由于當(dāng)時(shí)對(duì)神經(jīng)網(wǎng)絡(luò)的樂觀情緒的影響，人們夸大了神經(jīng)網(wǎng)絡(luò)的潛力（有人甚至擔(dān)心制造機(jī)器人的人類會(huì)很快受到機(jī)器人的攻擊）。6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展反思期——神經(jīng)網(wǎng)絡(luò)的低潮1969年，MarvinMinsky和SeymourPapert合著了一本書“Perception”，分析了當(dāng)時(shí)的簡(jiǎn)單感知器，指出它有非常嚴(yán)重的局限性，甚至不能解決簡(jiǎn)單的“異或”問(wèn)題，為Rosenblatt的感知器判了“死刑”。此時(shí)，批評(píng)的聲音高漲，導(dǎo)致了停止對(duì)人工神經(jīng)網(wǎng)絡(luò)研究所需的大量投資。不少研究人員把注意力轉(zhuǎn)向了人工智能，導(dǎo)致對(duì)人工神經(jīng)網(wǎng)絡(luò)的研究陷入低潮。6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展反思期——神經(jīng)網(wǎng)絡(luò)的低潮雖然如此，二十世紀(jì)70年代到80年代早期，仍有一些堅(jiān)信神經(jīng)網(wǎng)絡(luò)的人堅(jiān)持他們的工作，為人工神經(jīng)網(wǎng)絡(luò)的復(fù)蘇做準(zhǔn)備。神經(jīng)生理學(xué)家JamesAnderson開發(fā)的盒中腦模型（Brain-State-in-a-Box，BSB）。日本學(xué)者KunihikFukushima開發(fā)的用于視覺圖形識(shí)別的認(rèn)知器模型（Neocognitron）。電氣工程師TeuvoKohonen開發(fā)的與BSB類似的網(wǎng)絡(luò)模型。Grossberg,Rumelhart,McClelland,Marr,Amari和Cooper等人的工作。6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展第二次高潮期——Hopfield網(wǎng)絡(luò)模型的出現(xiàn)和人工神經(jīng)網(wǎng)絡(luò)的復(fù)蘇1982年，JohnHopfield向美國(guó)科學(xué)院遞交了有關(guān)神經(jīng)網(wǎng)絡(luò)的報(bào)告，主要內(nèi)容就是建議收集和重視以前對(duì)神經(jīng)網(wǎng)絡(luò)的工作，其中特別強(qiáng)調(diào)了每種模型的實(shí)用性。根據(jù)對(duì)神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)分析和深入理解，Hopfield揭示了以往的網(wǎng)絡(luò)是如何工作的，可以做些什么，并提出了他自己的模型，能從失真的或不完善的數(shù)據(jù)圖像中獲得完整的數(shù)據(jù)圖像，引起了美國(guó)軍方的興趣。當(dāng)時(shí)，人工智能對(duì)自動(dòng)制導(dǎo)車的研究失敗，而利用神經(jīng)網(wǎng)絡(luò)有可能解決這個(gè)問(wèn)題，從而使人們的注意力重新投向人工神經(jīng)網(wǎng)絡(luò)，導(dǎo)致了人工神經(jīng)網(wǎng)絡(luò)的第二次高潮。6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展第二次高潮期——Hopfield網(wǎng)絡(luò)模型的出現(xiàn)和人工神經(jīng)網(wǎng)絡(luò)的復(fù)蘇1984年，Hopfield設(shè)計(jì)研制了后來(lái)被人們稱為Hopfield網(wǎng)的電路，較好地解決了TCP問(wèn)題，找到了最佳解的近似解，引起了較大轟動(dòng)。1985年，Hinton、Sejnowsky、Rumelhart等研究者在Hopfield網(wǎng)絡(luò)中引入隨機(jī)機(jī)制，提出了所謂的Bolziman機(jī)。1986年，Rumelhart等研究者重新獨(dú)立地提出多層網(wǎng)絡(luò)的學(xué)習(xí)算法—BP算法，較好地解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問(wèn)題。1990年12月，國(guó)內(nèi)首屆神經(jīng)網(wǎng)絡(luò)大會(huì)在北京舉行。6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展再認(rèn)識(shí)與應(yīng)用研究期二十世紀(jì)90年代后，神經(jīng)網(wǎng)絡(luò)的研究趨于平緩，主要問(wèn)題：應(yīng)用面還不夠?qū)捊Y(jié)果不夠精確存在可信度的問(wèn)題6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展再認(rèn)識(shí)與應(yīng)用研究期主要研究?jī)?nèi)容開發(fā)現(xiàn)有模型的應(yīng)用，并在應(yīng)用中根據(jù)實(shí)際運(yùn)行情況對(duì)模型、算法加以改造，以提高網(wǎng)絡(luò)的訓(xùn)練速度和運(yùn)行的準(zhǔn)確度。充分發(fā)揮每種技術(shù)各自的優(yōu)勢(shì)，尋找更有效的解決方法。希望在理論上尋找新的突破，建立新的專用或通用模型和算法。進(jìn)一步對(duì)生物神經(jīng)系統(tǒng)進(jìn)行研究，不斷豐富對(duì)人腦的認(rèn)識(shí)。6.1概述6.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)固有的并行結(jié)構(gòu)和并行處理人工神經(jīng)網(wǎng)絡(luò)與人類的大腦類似，不但結(jié)構(gòu)上是并行的，其處理順序也是并行的和同時(shí)的。在同一層內(nèi)的處理單元都是同時(shí)工作的，即神經(jīng)網(wǎng)絡(luò)的計(jì)算功能分布在多個(gè)處理單元上，而傳統(tǒng)的計(jì)算機(jī)通常只有一個(gè)處理單元，其處理順序是串行的。目前的神經(jīng)網(wǎng)絡(luò)功能常常用一般計(jì)算機(jī)的串行工作方式來(lái)模擬，所以顯得很慢，真正意義上的神經(jīng)網(wǎng)絡(luò)將會(huì)大大提高處理速度，實(shí)現(xiàn)快速處理。6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)知識(shí)的分布存儲(chǔ)在神經(jīng)網(wǎng)絡(luò)中，知識(shí)不是存儲(chǔ)在特定的存儲(chǔ)單元，而是分布在整個(gè)系統(tǒng)中，要存儲(chǔ)多個(gè)知識(shí)就需要很多連接。在計(jì)算機(jī)中，只要給定一個(gè)地址就可以得到一個(gè)或一組數(shù)據(jù)，在神經(jīng)網(wǎng)絡(luò)中，要獲得存儲(chǔ)的知識(shí)則采用“聯(lián)想”的辦法，這類似于人類和動(dòng)物的記憶。6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)知識(shí)的分布存儲(chǔ)當(dāng)一個(gè)神經(jīng)網(wǎng)絡(luò)輸入一個(gè)激勵(lì)時(shí)，它要在已存儲(chǔ)的知識(shí)中尋找與該輸入匹配最好的知識(shí)存儲(chǔ)為其解。這猶如人們辨認(rèn)潦草的筆記，這些筆記可以是變形的、失真的和缺損的。人類根據(jù)聯(lián)想善于正確識(shí)別圖形，人工神經(jīng)網(wǎng)絡(luò)也具有這種能力。6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)知識(shí)的分布存儲(chǔ)聯(lián)想記憶的兩個(gè)主要特點(diǎn)存儲(chǔ)大量復(fù)雜數(shù)據(jù)的能力語(yǔ)音的樣本、可視圖象、機(jī)器人的活動(dòng)、時(shí)空?qǐng)D形的狀態(tài)、社會(huì)的情況等；可以很快地將新的輸入圖像歸并分類為已存儲(chǔ)圖像的某一類一般計(jì)算機(jī)善于高速串行運(yùn)算，但不善于實(shí)時(shí)的圖形識(shí)別。6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)容錯(cuò)性人類大腦具有很強(qiáng)的容錯(cuò)能力，這正是由于大腦中知識(shí)是存儲(chǔ)在很多處理單元和它們的連接上的。每天大腦的一些細(xì)胞都可能會(huì)自動(dòng)死亡，但這并沒有影響人們的記憶和思考能力。人工神經(jīng)網(wǎng)絡(luò)可以從不完善的數(shù)據(jù)和圖形進(jìn)行學(xué)習(xí)和做出決定由于知識(shí)存在整個(gè)系統(tǒng)中，而不是在一個(gè)存儲(chǔ)單元內(nèi)，因此一定比例的結(jié)點(diǎn)不參與運(yùn)算，對(duì)整個(gè)系統(tǒng)的性能不會(huì)產(chǎn)生重大影響。神經(jīng)網(wǎng)絡(luò)中承受硬件損壞的能力比一般計(jì)算機(jī)要強(qiáng)得多。6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)自適應(yīng)性人類有很強(qiáng)的適應(yīng)外部的學(xué)習(xí)能力 小孩在周圍環(huán)境的熏陶下可以學(xué)會(huì)很多事情，如通過(guò)學(xué)習(xí)可以認(rèn)字、說(shuō)話、走路、思考、判斷等。6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)自適應(yīng)性人工神經(jīng)網(wǎng)絡(luò)也具有學(xué)習(xí)能力有指導(dǎo)的訓(xùn)練：將輸入樣本加到網(wǎng)絡(luò)輸入并給出相應(yīng)的輸出，通過(guò)多次訓(xùn)練迭代獲得連接權(quán)值。好像告訴網(wǎng)絡(luò)：“當(dāng)你看到這個(gè)圖形（比如5）時(shí)，請(qǐng)給我指示5”。無(wú)指導(dǎo)的訓(xùn)練：網(wǎng)絡(luò)通過(guò)訓(xùn)練自行調(diào)節(jié)連接加權(quán)，從而對(duì)輸入樣本分類。在網(wǎng)絡(luò)訓(xùn)練時(shí)，有時(shí)只能給出大量的輸入圖形，沒有指定它們的輸出，網(wǎng)絡(luò)就自行按輸入圖形的特征對(duì)它們進(jìn)行分類。如小孩通過(guò)大量觀察可以分辨出哪是狗、哪是貓一樣。6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)自適應(yīng)性人工神經(jīng)網(wǎng)絡(luò)也具有學(xué)習(xí)能力綜合推理的能力：網(wǎng)絡(luò)具有正確響應(yīng)和分辨從未見過(guò)的輸入樣本的能力。進(jìn)行數(shù)字圖形的識(shí)別時(shí)，對(duì)于不完善的數(shù)字圖形或失真的數(shù)字圖形仍能正確辨認(rèn)。6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)的局限性人工神經(jīng)網(wǎng)絡(luò)不適于高精度的計(jì)算正像很多人不善于直接計(jì)算類似資金的問(wèn)題一樣，人工神經(jīng)網(wǎng)絡(luò)不用于計(jì)算資金方面的問(wèn)題。人工神經(jīng)網(wǎng)絡(luò)不適于做類似順序計(jì)數(shù)的工作。人工神經(jīng)網(wǎng)絡(luò)是以并行方式工作的。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和訓(xùn)練往往是一個(gè)艱難的過(guò)程。網(wǎng)絡(luò)的設(shè)計(jì)沒有嚴(yán)格確定的方法（一般憑經(jīng)驗(yàn)），所以選擇訓(xùn)練方法和所需網(wǎng)絡(luò)結(jié)構(gòu)沒有統(tǒng)一標(biāo)準(zhǔn)。脫機(jī)訓(xùn)練往往需要很長(zhǎng)時(shí)間，為了獲得最佳效果，常常要重復(fù)試驗(yàn)多次。網(wǎng)絡(luò)收斂性的問(wèn)題。6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)的局限性人工神經(jīng)網(wǎng)絡(luò)必須克服時(shí)間域順序處理方面的困難。為了解決語(yǔ)音處理、自然語(yǔ)言理解和圖像隨時(shí)間的變換情況，需要設(shè)計(jì)適于連續(xù)時(shí)間環(huán)境的網(wǎng)絡(luò)。硬件限制目前仍是在一般計(jì)算機(jī)上用模擬的方法研究人工神經(jīng)網(wǎng)絡(luò)的并行處理過(guò)程，然而模擬不是最終目標(biāo)。只有真正的并行硬件處理，才能體現(xiàn)出人工神經(jīng)網(wǎng)絡(luò)的高速高效特點(diǎn)。目前這種硬件的實(shí)現(xiàn)還未很好解決。6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)的局限性正確的訓(xùn)練數(shù)據(jù)的收集大量有代表性樣本的采集正確的預(yù)處理總之，人工神經(jīng)網(wǎng)絡(luò)是基于人類大腦的結(jié)構(gòu)和功能建立起來(lái)的學(xué)科，盡管它只是大腦的低級(jí)近似，但它的許多特點(diǎn)和人類的智能特點(diǎn)類似，有著較強(qiáng)的識(shí)別能力和廣泛的應(yīng)用前景。6.1概述6.1.3人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)目前出現(xiàn)的各種各樣的人工神經(jīng)網(wǎng)絡(luò)模型，盡管在性能和結(jié)構(gòu)上各有特點(diǎn)，但它們存在很多共同之處。本節(jié)介紹人工神經(jīng)網(wǎng)絡(luò)的基本術(shù)語(yǔ)常用表示符號(hào)描述人工神經(jīng)網(wǎng)絡(luò)的基本數(shù)學(xué)概念6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)目前出現(xiàn)的各種各樣的人工神經(jīng)網(wǎng)絡(luò)模型6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.1人工神經(jīng)網(wǎng)絡(luò)的生物原型—大腦簡(jiǎn)單的神經(jīng)元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.1人工神經(jīng)網(wǎng)絡(luò)的生物原型—6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.1人工神經(jīng)網(wǎng)絡(luò)的生物原型—大腦簡(jiǎn)單的神經(jīng)元神經(jīng)元就是神經(jīng)細(xì)胞，它是動(dòng)物的重要特征之一，在人體內(nèi)從大腦到全身存在大約1010個(gè)神經(jīng)元。神經(jīng)元的組成細(xì)胞體：它是神經(jīng)元的本體，內(nèi)有細(xì)胞核和細(xì)胞質(zhì)，完成普通細(xì)胞的生存功能。樹突：它有大量的分枝，多達(dá)103數(shù)量級(jí)，長(zhǎng)度較短（通常不超過(guò)1毫米），用以接收來(lái)自其它神經(jīng)元的信號(hào)。軸突：它用以輸出信號(hào)，有些較長(zhǎng)（可達(dá)1米以上），軸突的遠(yuǎn)端也有分枝，可與多個(gè)神經(jīng)元相連。突觸：它是一個(gè)神經(jīng)元與另一個(gè)神經(jīng)元相聯(lián)系的特殊部位，通常是一個(gè)神經(jīng)元軸突的端部靠化學(xué)接觸或電接觸將信號(hào)傳遞給下一個(gè)神經(jīng)元的樹突或細(xì)胞體。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.1人工神經(jīng)網(wǎng)絡(luò)的生物原型—6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.1人工神經(jīng)網(wǎng)絡(luò)的生物原型—大腦神經(jīng)元間信號(hào)的傳遞神經(jīng)元間的信號(hào)通過(guò)突觸傳遞。通過(guò)它，一個(gè)神經(jīng)元內(nèi)傳送的沖擊信號(hào)將在下一個(gè)神經(jīng)元內(nèi)引起響應(yīng)，使下一個(gè)神經(jīng)元興奮，或阻止下一個(gè)神經(jīng)元興奮。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.1人工神經(jīng)網(wǎng)絡(luò)的生物原型—6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.1人工神經(jīng)網(wǎng)絡(luò)的生物原型—大腦神經(jīng)元的基本工作機(jī)制一個(gè)神經(jīng)元有兩種狀態(tài)——興奮和抑制平時(shí)處于抑制狀態(tài)的神經(jīng)元，當(dāng)接收到其它神經(jīng)元經(jīng)由突觸傳來(lái)的沖擊信號(hào)時(shí)，多個(gè)輸入在神經(jīng)元中以代數(shù)和的方式疊加。進(jìn)入突觸的信號(hào)會(huì)被加權(quán)，起興奮作用的信號(hào)為正，起抑制作用的信號(hào)為負(fù)。如果疊加總量超過(guò)某個(gè)閾值，神經(jīng)元就會(huì)被激發(fā)進(jìn)入興奮狀態(tài)，發(fā)出輸出脈沖，并由軸突的突觸傳遞給其它神經(jīng)元。神經(jīng)元被觸發(fā)后有一個(gè)不應(yīng)期，在此期間內(nèi)不能被觸發(fā)，然后閾值逐漸下降，恢復(fù)原來(lái)狀態(tài)。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.1人工神經(jīng)網(wǎng)絡(luò)的生物原型—6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.1人工神經(jīng)網(wǎng)絡(luò)的生物原型—大腦神經(jīng)元的基本工作機(jī)制神經(jīng)元是按照“全或無(wú)”的原則工作的，只有興奮和抑制兩種狀態(tài)，但也不能認(rèn)為神經(jīng)元只能表達(dá)或傳遞二值邏輯信號(hào)。神經(jīng)元興奮時(shí)往往不是只發(fā)一個(gè)脈沖，而是發(fā)出一串脈沖，如果把一串脈沖看成是一個(gè)調(diào)頻信號(hào)，脈沖的密度是可以表達(dá)連續(xù)量的。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.1人工神經(jīng)網(wǎng)絡(luò)的生物原型—6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.1人工神經(jīng)網(wǎng)絡(luò)的生物原型—大腦大腦及大腦皮層的結(jié)構(gòu)研究證明，大腦中大約有1000個(gè)不同的模塊，每個(gè)模塊包含有50*106個(gè)神經(jīng)元。我們可以假設(shè)每個(gè)模塊就是眾多神經(jīng)網(wǎng)絡(luò)中的一類。大腦的主要計(jì)算機(jī)構(gòu)是大腦皮層，在其斷面上一般有3~6層神經(jīng)細(xì)胞排列，大約10萬(wàn)個(gè)神經(jīng)元組成一組。在一個(gè)典型的腦模型中，大約有500個(gè)神經(jīng)網(wǎng)絡(luò)進(jìn)行計(jì)算工作，平均一個(gè)神經(jīng)元向其它神經(jīng)元發(fā)出2000個(gè)突觸。不同層間神經(jīng)元的連接方式有平行型、發(fā)散型、收斂型和反饋型，這些連接的強(qiáng)度是隨機(jī)的，隨著對(duì)外部世界的響應(yīng)而逐漸形成。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.1人工神經(jīng)網(wǎng)絡(luò)的生物原型—6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.1人工神經(jīng)網(wǎng)絡(luò)的生物原型—大腦總之，大腦中神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)是極其復(fù)雜的，其工作機(jī)理仍未完全搞清。認(rèn)知器模型的發(fā)明者KunihikoFukushima描述了建立人工神經(jīng)網(wǎng)絡(luò)模型的原則：“我們?cè)噲D忠實(shí)地遵循生理的證據(jù)。我們分析或模擬所建模型的性能，并將它與大腦的某種性能進(jìn)行比較。如果我們發(fā)現(xiàn)模型與大腦在性能方面的差異，我們就變化我們的初始假設(shè)和修改模型……，并重復(fù)這一過(guò)程直到模型的性能與大腦的性能具有相同的方式?！?.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.1人工神經(jīng)網(wǎng)絡(luò)的生物原型—6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元（PE）就是人工神經(jīng)元，也稱為結(jié)點(diǎn)，通常用圓圈表示。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的結(jié)構(gòu)和功能與生物神經(jīng)元有類似之處，可以說(shuō)是生物神經(jīng)元的一階近似。處理單元只模擬了生物神經(jīng)元所能執(zhí)行的150多個(gè)處理功能中的若干個(gè)。處理單元的功能對(duì)每個(gè)輸入信號(hào)進(jìn)行處理以確定其強(qiáng)度（加權(quán)）；確定所有輸入信號(hào)的組合效果（求和）；確定其輸出（轉(zhuǎn)移特性）。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元對(duì)生物神經(jīng)元的模擬就像生物神經(jīng)元中有很多輸入（激勵(lì)）一樣，處理單元也有很多輸入信號(hào)，并且同時(shí)加到處理單元上，處理單元以輸出作為響應(yīng)。處理單元的輸出像實(shí)際神經(jīng)元一樣，輸出響應(yīng)不但受輸入信號(hào)的影響，同時(shí)也受內(nèi)部其它因素的影響。內(nèi)部因素：內(nèi)部閾值或一個(gè)額外輸入（稱為偏置項(xiàng)）6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元對(duì)生物神經(jīng)元的模擬處理單元的每一個(gè)輸入都經(jīng)過(guò)相關(guān)的加權(quán)，以影響輸入的激勵(lì)作用，這有些像生物神經(jīng)元中突觸的可變強(qiáng)度，它確定了輸入信號(hào)的強(qiáng)度，一般把它看作連接強(qiáng)度的測(cè)度。處理單元的初始加權(quán)可以根據(jù)確定的規(guī)則進(jìn)行調(diào)解修正，這也像生物神經(jīng)元中的突觸強(qiáng)度可受外界因素影響一樣。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本結(jié)構(gòu)和功能6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本結(jié)構(gòu)和功能輸入信號(hào)來(lái)自外部（用黑色圓點(diǎn)表示輸入端點(diǎn)）或別的處理單元的輸出，在數(shù)學(xué)上表示為行向量x

x=(x1,x2,…,xN)

其中xi為第i個(gè)輸入的激勵(lì)電平，N表示輸入數(shù)目。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本結(jié)構(gòu)和功能連接到結(jié)點(diǎn)j的加權(quán)表示為加權(quán)向量

Wj=(W1j,W2j,…,WNj)

其中Wij表示從結(jié)點(diǎn)i（或第i個(gè)輸入點(diǎn)）到結(jié)點(diǎn)j的加權(quán)，或稱i與j結(jié)點(diǎn)之間的連接強(qiáng)度。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本結(jié)構(gòu)和功能考慮到內(nèi)部閾值θj，用x0=-1的固定偏置輸入點(diǎn)表示，其連接強(qiáng)度取W0j=θj。于是，可得輸入的加權(quán)和為6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本結(jié)構(gòu)和功能如果向量x和Wj分別包含了x0和W0j，則有

x=(x0,x1,…,xN) Wj=(W0j,W1j,…,WNj)

6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本結(jié)構(gòu)和功能于是sj可表示為x和Wj的點(diǎn)積或內(nèi)積

sj=x?Wj這一結(jié)果是標(biāo)量，它由兩個(gè)向量的內(nèi)積得到，可以作為兩個(gè)向量相似程度的測(cè)量。如果向量處于相同的方向，則其內(nèi)積最大；如果向量處于相反的方向，則其內(nèi)積最小。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本結(jié)構(gòu)和功能處理單元的激勵(lì)電平sj通過(guò)一個(gè)轉(zhuǎn)移函數(shù)F(?)，得到處理單元的最后輸出值yj6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元轉(zhuǎn)移函數(shù)轉(zhuǎn)移函數(shù)F(?)也稱激勵(lì)函數(shù)、傳輸函數(shù)或限幅函數(shù)，其作用就是將可能的無(wú)限域變換到一指定的有限范圍內(nèi)輸出，這類似于生物神經(jīng)元具有的非線性轉(zhuǎn)移特性。常用的轉(zhuǎn)移函數(shù)線性函數(shù)斜坡函數(shù)階躍函數(shù)符號(hào)函數(shù)Sigmoid函數(shù)雙曲正切函數(shù)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元線性函數(shù)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元線性函數(shù)最簡(jiǎn)單的轉(zhuǎn)移函數(shù)

y=F(s)=ks

其中y為輸出值，s為輸入信號(hào)的加權(quán)和，k是一個(gè)常數(shù)，表示直線的斜率。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元斜坡函數(shù)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元斜坡函數(shù)當(dāng)線性函數(shù)值限定在(-rr)的范圍內(nèi)時(shí)，線性函數(shù)就變?yōu)榉蔷€性斜坡函數(shù)。r和-r分別是處理單元的最大值和最小值，稱為飽和值，一般|r|=1。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元階躍函數(shù)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元階躍函數(shù)硬限幅函數(shù)的一種6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元符號(hào)函數(shù)（sgn(?)）6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元符號(hào)函數(shù)（sgn(?)）硬限幅函數(shù)的一種6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元Sigmoid函數(shù) 6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元Sigmoid函數(shù)S型函數(shù)的一種

y=F(s)=1/(1+e-s)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元可以把該型函數(shù)看作為處理單元定義了一個(gè)非線性增益，增益的大小決定于曲線在給定s點(diǎn)的斜率。當(dāng)s由負(fù)無(wú)窮增到0時(shí)，增益由0增至最大；當(dāng)s由0增到正無(wú)窮時(shí)，增益又由最大返回到0。Grossberg在1973年發(fā)現(xiàn)，用該函數(shù)可使同一網(wǎng)絡(luò)既能處理小信號(hào)，也能處理大信號(hào)。該函數(shù)的中間高增益區(qū)解決了處理小信號(hào)的問(wèn)題；伸向兩邊的低增益區(qū)正好適合于處理大的激勵(lì)信號(hào)；這種現(xiàn)象正像生物神經(jīng)元在輸入電平范圍很大的情況下能正常工作一樣。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元雙曲正切函數(shù) 6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元雙曲正切函數(shù)S型函數(shù)的一種

y=tand(s)=(es-e-s)/(es+e-s)相對(duì)于Sigmoid函數(shù)，它是原點(diǎn)對(duì)稱的。當(dāng)s=0時(shí)有y=0，即同時(shí)具有雙級(jí)輸出。當(dāng)要求輸出(-11)范圍的信號(hào)時(shí)，它常被采用。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元討論人工神經(jīng)網(wǎng)絡(luò)處理單元是生物神經(jīng)元的簡(jiǎn)單近似，在模仿生物神經(jīng)網(wǎng)絡(luò)時(shí)，具備了生物神經(jīng)元的某些特性。至于模仿效果，還需進(jìn)一步研究，修改模型。人工神經(jīng)網(wǎng)絡(luò)處理單元忽略了生物神經(jīng)元的很多特征。它沒有考慮影響系統(tǒng)動(dòng)態(tài)特性的時(shí)間延遲，而認(rèn)為一個(gè)輸入立即產(chǎn)生一個(gè)輸出。它沒有包括同步機(jī)能和神經(jīng)元的頻率調(diào)制功能的影響。其它未知的生物神經(jīng)元的功能和特性。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.2人工神經(jīng)網(wǎng)絡(luò)處理單元6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)雖然單個(gè)處理單元可以處理簡(jiǎn)單的圖形檢測(cè)功能，但更強(qiáng)的識(shí)別處理能力是來(lái)自多個(gè)結(jié)點(diǎn)“連成”的網(wǎng)絡(luò)，即人工神經(jīng)網(wǎng)絡(luò)。這里的“連成”，是靠輸入至結(jié)點(diǎn)或者結(jié)點(diǎn)至結(jié)點(diǎn)間的信號(hào)傳輸通路實(shí)現(xiàn)的，這一通路相當(dāng)于生物神經(jīng)系統(tǒng)中的軸突和突觸，它們影響著輸入信號(hào)。以后我們把這種信號(hào)傳輸通路稱為“連接”，每一個(gè)連接都具有一個(gè)加權(quán)值，稱為“連接權(quán)”，反映連接的強(qiáng)度。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)單層網(wǎng)絡(luò)最簡(jiǎn)單的網(wǎng)絡(luò)是把一組結(jié)點(diǎn)形成一層。左邊的黑色圓點(diǎn)只起著分配輸入信號(hào)的作用，沒有計(jì)算作用，不看作是網(wǎng)絡(luò)的一層。右邊用圓圈表示的一組結(jié)點(diǎn)被看作一層。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)單層網(wǎng)絡(luò)輸入信號(hào)表示為行向量：x=(x1,x2,…,xN)，其中每一分量通過(guò)加權(quán)連接到各結(jié)點(diǎn)。每一個(gè)結(jié)點(diǎn)均可產(chǎn)生一個(gè)加權(quán)和。輸入和結(jié)點(diǎn)間采用全連接，并且都是前饋連接。實(shí)際的人工神經(jīng)網(wǎng)絡(luò)和生物神經(jīng)網(wǎng)絡(luò)中有些連接可能不存在。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)單層網(wǎng)絡(luò)在這種單層網(wǎng)絡(luò)中，可把各加權(quán)表示為加權(quán)矩陣W。矩陣的維數(shù)是Nxn，N是輸入信號(hào)向量（也稱輸入圖形）的分量數(shù)，n是該層內(nèi)的結(jié)點(diǎn)數(shù)。由第三個(gè)輸入連接到第二個(gè)結(jié)點(diǎn)的連接權(quán)表示為W32。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)單層網(wǎng)絡(luò)輸入信號(hào)的加權(quán)和表示為：s是各結(jié)點(diǎn)加權(quán)和的行向量，s=(s1,s2,…,sn)。輸出向量y=(y1,y2,…,yn)，其中yj=F(sj)。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)多層網(wǎng)絡(luò)一般來(lái)說(shuō)，大而復(fù)雜的網(wǎng)絡(luò)能提供更強(qiáng)的計(jì)算能力。雖然目前已構(gòu)成了很多網(wǎng)絡(luò)模型，但它們的結(jié)點(diǎn)都是按層排列的，這一點(diǎn)正是模仿了大腦皮層中的網(wǎng)絡(luò)模塊。多層網(wǎng)絡(luò)是由單層網(wǎng)絡(luò)進(jìn)行級(jí)聯(lián)構(gòu)成的，即上一層的輸出作為下一層的輸入。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)多層網(wǎng)絡(luò)兩層網(wǎng)絡(luò)（前饋全連接網(wǎng)絡(luò)）6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)多層網(wǎng)絡(luò)三層網(wǎng)絡(luò)（前饋全連接網(wǎng)絡(luò)）6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)多層網(wǎng)絡(luò)注意：在構(gòu)成多層網(wǎng)絡(luò)時(shí)，層間的轉(zhuǎn)移函數(shù)應(yīng)是非線性的，否則多層網(wǎng)絡(luò)的計(jì)算能力并不比單層網(wǎng)絡(luò)強(qiáng)。在線性轉(zhuǎn)移函數(shù)的情況下，兩層網(wǎng)絡(luò)輸出的計(jì)算是第一層的輸出xW1作為第二層的輸入，通過(guò)第二個(gè)加權(quán)矩陣得到網(wǎng)絡(luò)的輸出

y=(xW1)W2=x(W1W2)這表明兩層線性網(wǎng)絡(luò)等效于單層網(wǎng)絡(luò)，只是后者的加權(quán)矩陣為兩個(gè)加權(quán)矩陣的乘積。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)多層網(wǎng)絡(luò)多層網(wǎng)絡(luò)中，接收輸入信號(hào)的層稱為輸入層。它不計(jì)入網(wǎng)絡(luò)層數(shù)，因?yàn)樗黄鹬斎胄盘?hào)緩沖器的作用，沒有處理功能。產(chǎn)生輸出信號(hào)的層稱為輸出層。除此之外的中間層稱為隱藏層（或隱蔽層），它不直接與外部環(huán)境打交道。隱藏層的層數(shù)可從零到若干層。實(shí)際情況中，層與層之間可能有部分連接的情況。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)回歸型網(wǎng)絡(luò)（反饋網(wǎng)絡(luò)）一般來(lái)說(shuō)，凡包含反饋連接的網(wǎng)絡(luò)均稱為回歸型網(wǎng)絡(luò)，或稱反饋網(wǎng)絡(luò)。一層反饋網(wǎng)絡(luò)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)回歸型網(wǎng)絡(luò)（反饋網(wǎng)絡(luò)）一層反饋網(wǎng)絡(luò)中，連接均限于一層之內(nèi)，這種連接稱為層內(nèi)連接或?qū)觾?nèi)橫向反饋連接。相對(duì)于一層反饋網(wǎng)絡(luò)的為多層反饋網(wǎng)絡(luò)，其連接不限于一層之內(nèi)。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)回歸型網(wǎng)絡(luò)（反饋網(wǎng)絡(luò)）二層反饋網(wǎng)絡(luò)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)非回歸型網(wǎng)絡(luò)與回歸型網(wǎng)絡(luò)（反饋網(wǎng)絡(luò)）的比較非回歸型網(wǎng)絡(luò)不需存儲(chǔ)記憶，它的輸出只是由當(dāng)前的輸入和加權(quán)值確定。而在反饋網(wǎng)絡(luò)中，要將以前的輸出循環(huán)返回到輸入，所以其輸出不但取決于當(dāng)前的輸入，還要取決于以前的輸出。反饋網(wǎng)絡(luò)類似于人類的短期記憶，即網(wǎng)絡(luò)的輸出狀態(tài)部分取決于以前的輸入，是一類廣泛應(yīng)用的網(wǎng)絡(luò)。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲(chǔ)和回憶存儲(chǔ)就是將信息或圖形存在某種存儲(chǔ)器中，而回憶則是將已存儲(chǔ)的信息按某種方式恢復(fù)出來(lái)。為了與人類大腦的功能類比，我們把這種信息的恢復(fù)稱為回憶。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲(chǔ)和回憶6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲(chǔ)和回憶人工神經(jīng)網(wǎng)絡(luò)中存儲(chǔ)圖形的類型在計(jì)算機(jī)中，數(shù)據(jù)和信息是存放在存貯器中（RAM或ROM)，以8比特字節(jié)作為存儲(chǔ)單位。在人工神經(jīng)網(wǎng)絡(luò)中，信息或圖形不再限定為8比特，它是多維的二進(jìn)制數(shù)據(jù)或連續(xù)信息。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲(chǔ)和回憶6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲(chǔ)和回憶人工神經(jīng)網(wǎng)絡(luò)中存儲(chǔ)的兩類圖形空間圖形的存儲(chǔ)存儲(chǔ)單個(gè)空間靜態(tài)圖像，如一幅畫面。時(shí)空?qǐng)D形的存儲(chǔ)存儲(chǔ)一系列隨時(shí)間變化的圖像，比如電影。我們討論的人工神經(jīng)網(wǎng)絡(luò)存儲(chǔ)的圖形大多是空間圖形，因它是構(gòu)成時(shí)空?qǐng)D形的基礎(chǔ)。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲(chǔ)和回憶6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲(chǔ)和回憶人工神經(jīng)網(wǎng)絡(luò)中圖形的存儲(chǔ)人工神經(jīng)網(wǎng)絡(luò)中的圖形存儲(chǔ)器與計(jì)算機(jī)中存儲(chǔ)器的差別在計(jì)算機(jī)中，一般采用RAM，將數(shù)據(jù)信息存在確定地址的存儲(chǔ)單元內(nèi)，有了地址就可檢索數(shù)據(jù)。在人工神經(jīng)網(wǎng)絡(luò)中，則是用內(nèi)容尋址存儲(chǔ)器和聯(lián)想存儲(chǔ)器來(lái)存儲(chǔ)圖形信息。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲(chǔ)和回憶6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲(chǔ)和回憶人工神經(jīng)網(wǎng)絡(luò)中圖形的存儲(chǔ)內(nèi)容尋址存儲(chǔ)器它是在人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中形成的，相當(dāng)于通過(guò)訓(xùn)練將信息存儲(chǔ)在加權(quán)矩陣W中。訓(xùn)練一旦完成，數(shù)據(jù)就相當(dāng)于變換到加權(quán)矩陣的穩(wěn)定狀態(tài)中，因此這種存儲(chǔ)是長(zhǎng)期存儲(chǔ)。聯(lián)想存儲(chǔ)器它是在人工神經(jīng)網(wǎng)絡(luò)的回憶操作中出現(xiàn)的。當(dāng)對(duì)網(wǎng)絡(luò)輸入激勵(lì)信號(hào)時(shí)，作為回憶結(jié)果，網(wǎng)絡(luò)的輸出給出一個(gè)響應(yīng)狀態(tài)。這一響應(yīng)狀態(tài)實(shí)際上也相當(dāng)于一個(gè)所需的存儲(chǔ)數(shù)據(jù)（響應(yīng)），因此這種存儲(chǔ)為短期存儲(chǔ)。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲(chǔ)和回憶6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲(chǔ)和回憶回憶的概念回憶是人類智能的一個(gè)主要特征，要想回憶某個(gè)人或某件事，通?？赏ㄟ^(guò)聯(lián)想進(jìn)行。當(dāng)看到一本書的封面顏色和作者時(shí)，會(huì)聯(lián)想到這是一本什么書（書的內(nèi)容）。當(dāng)丟失東西時(shí)，可以通過(guò)聯(lián)想到過(guò)什么地方，做過(guò)什么事情，最后回憶起把東西放在什么地方。這兩種情況都有一個(gè)特點(diǎn)，就是不管是哪本書，還是與東西有關(guān)的地點(diǎn)和事情，都是經(jīng)歷過(guò)的，相應(yīng)的記憶才有可能聯(lián)想出所需的結(jié)果。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲(chǔ)和回憶6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲(chǔ)和回憶回憶的概念聯(lián)想的兩種方式自聯(lián)想：由本身的部分特征聯(lián)想起整個(gè)事物的全部特征。他聯(lián)想：由一件事情聯(lián)想到另一件事情。在人工神經(jīng)網(wǎng)絡(luò)中，回憶操作也有兩種聯(lián)想變換自聯(lián)想變換他聯(lián)想變換6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲(chǔ)和回憶6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲(chǔ)和回憶回憶的概念自聯(lián)想變換要求通過(guò)訓(xùn)練已在W中的存儲(chǔ)向量圖形A1,A2,…,Ap來(lái)實(shí)現(xiàn)。該變換可由失真或缺損的向量圖形Ai’(i=1,2,…,p)，聯(lián)想回憶Ai，即當(dāng)Ai’

為輸入激勵(lì)時(shí)，能得到輸出響應(yīng)Ai。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲(chǔ)和回憶6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲(chǔ)和回憶回憶的概念他聯(lián)想變換要求通過(guò)訓(xùn)練已在W中的存儲(chǔ)向量圖形對(duì)(A1,B1),(A2,B2),…,(Ap,Bp)來(lái)實(shí)現(xiàn)。對(duì)這種網(wǎng)絡(luò)，聯(lián)想回憶是從激勵(lì)A(yù)1,A2,…,Ap（可能是失真的或不完善的）獲得B1,B2,…,Bp的響應(yīng)（或相反），即6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲(chǔ)和回憶6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲(chǔ)和回憶回憶的概念在他聯(lián)想變換中，可以定義兩種基本的回憶機(jī)制最近鄰回憶內(nèi)插回憶6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲(chǔ)和回憶6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲(chǔ)和回憶回憶的概念最近鄰回憶尋找與外部激勵(lì)A(yù)i’最佳匹配的（距離最近的）已存儲(chǔ)的輸入，并按這一輸入求得相應(yīng)的輸出，即，其中Ai’與Ai有如下關(guān)系： 這里d(?)可指Ai’與Ai間的歐式距離。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲(chǔ)和回憶6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲(chǔ)和回憶回憶的概念內(nèi)插回憶是在接受一個(gè)輸入激勵(lì)時(shí)，從已存儲(chǔ)的輸入圖形集中找到一個(gè)內(nèi)插值，并從該輸入的內(nèi)插值得到一個(gè)相應(yīng)的內(nèi)插輸出。假如內(nèi)插是線性的，則可表示為

其中A’和B’可由圖形對(duì)(Ai,Bi)和(Ai+1,Bi+1)內(nèi)插得到，即且。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲(chǔ)和回憶6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲(chǔ)和回憶回憶的概念在人工神經(jīng)網(wǎng)絡(luò)中，不管是自聯(lián)想回憶還是他聯(lián)想回憶，信息的回憶方式有兩種。前饋回憶反饋回憶6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲(chǔ)和回憶6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲(chǔ)和回憶回憶的概念前饋回憶輸入激勵(lì)只需通過(guò)一次存儲(chǔ)矩陣就可產(chǎn)生所需的響應(yīng)。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲(chǔ)和回憶6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲(chǔ)和回憶回憶的概念反饋回憶輸入激勵(lì)通過(guò)存儲(chǔ)矩陣W產(chǎn)生響應(yīng)，該響應(yīng)作為激勵(lì)再反饋通過(guò)W，這樣依次循環(huán)，直到激勵(lì)和響應(yīng)停止變化為止，即得到所要求的響應(yīng)。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.4存儲(chǔ)和回憶6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）人工神經(jīng)網(wǎng)絡(luò)的最主要特征之一是它可以學(xué)習(xí)。任何一個(gè)人工神經(jīng)網(wǎng)絡(luò)模型要實(shí)現(xiàn)某種功能的操作，就必須對(duì)它進(jìn)行訓(xùn)練，讓它學(xué)會(huì)要做的事情，并把這些知識(shí)記憶（存儲(chǔ)）在網(wǎng)絡(luò)的加權(quán)中。學(xué)習(xí)或訓(xùn)練的實(shí)質(zhì)就是加權(quán)矩陣隨外部激勵(lì)（環(huán)境）做自適應(yīng)的變化。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）因?yàn)閷W(xué)習(xí)和訓(xùn)練的實(shí)質(zhì)是變動(dòng)加權(quán)值，因此很多文獻(xiàn)中學(xué)習(xí)和訓(xùn)練的概念是混用的。嚴(yán)格來(lái)說(shuō)，兩者是有區(qū)別的，訓(xùn)練通常是指調(diào)整網(wǎng)絡(luò)加權(quán)的操作動(dòng)作和過(guò)程，這個(gè)過(guò)程對(duì)網(wǎng)絡(luò)來(lái)講就是學(xué)習(xí)。比如舉辦一個(gè)訓(xùn)練班對(duì)學(xué)生進(jìn)行某種技能的訓(xùn)練，對(duì)學(xué)生來(lái)講，它是在該班內(nèi)學(xué)習(xí)。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）人工神經(jīng)網(wǎng)絡(luò)被訓(xùn)練后，它每加入一組輸入就會(huì)產(chǎn)生一組要求的輸出。一組輸入（或輸出）就是所謂的向量或圖形。訓(xùn)練就是相繼加入輸入向量，并按預(yù)定規(guī)則調(diào)整網(wǎng)絡(luò)加權(quán)。在進(jìn)行訓(xùn)練后，網(wǎng)絡(luò)的各加權(quán)都收斂到一個(gè)確定值，以便每個(gè)輸入向量都會(huì)產(chǎn)生一個(gè)要求的輸出向量。調(diào)整加權(quán)所遵循的預(yù)定規(guī)則就是訓(xùn)練算法。有指導(dǎo)的訓(xùn)練無(wú)指導(dǎo)的訓(xùn)練6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）有指導(dǎo)的訓(xùn)練對(duì)有指導(dǎo)的訓(xùn)練算法，不但需要訓(xùn)練用的輸入向量，同時(shí)還要求與之對(duì)應(yīng)的表示所需要輸出的目標(biāo)向量。輸入向量與對(duì)應(yīng)的目標(biāo)向量一起稱作一個(gè)訓(xùn)練對(duì)。通常訓(xùn)練一個(gè)網(wǎng)絡(luò)需要很多訓(xùn)練對(duì)，這些訓(xùn)練對(duì)組成訓(xùn)練組。當(dāng)加上一個(gè)輸入向量時(shí)，要計(jì)算網(wǎng)絡(luò)的實(shí)際輸出，并同相應(yīng)的目標(biāo)向量做比較，根據(jù)比較結(jié)果的誤差，按規(guī)定的算法改變加權(quán)。把訓(xùn)練組中的每個(gè)向量對(duì)相繼加入，對(duì)每個(gè)向量都計(jì)算誤差并調(diào)節(jié)加權(quán)，直到訓(xùn)練組中的誤差都達(dá)到可接受的最低值為止。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）無(wú)指導(dǎo)的訓(xùn)練無(wú)指導(dǎo)的訓(xùn)練不要求有目標(biāo)向量，網(wǎng)絡(luò)通過(guò)自身的“經(jīng)歷”來(lái)學(xué)會(huì)某種功能。人們發(fā)現(xiàn)在幼兒的早期發(fā)育中，存在有自組織的能力，據(jù)此，認(rèn)為無(wú)指導(dǎo)的訓(xùn)練是在生物上更有道理的訓(xùn)練算法。1984年，Kohonen等人提出了無(wú)指導(dǎo)的訓(xùn)練算法。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）無(wú)指導(dǎo)的訓(xùn)練因?yàn)闊o(wú)指導(dǎo)的訓(xùn)練不要求輸出的目標(biāo)向量，因此無(wú)需比較產(chǎn)生控制誤差。訓(xùn)練組織只是由輸入向量組成。訓(xùn)練算法也修改網(wǎng)絡(luò)的加權(quán)，使得產(chǎn)生的輸出具有某種可理解的規(guī)律性。比如，訓(xùn)練組的某兩個(gè)向量非常類似時(shí)，它們將會(huì)產(chǎn)生相同的輸出。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）無(wú)指導(dǎo)的訓(xùn)練這個(gè)訓(xùn)練過(guò)程實(shí)質(zhì)上是抽取訓(xùn)練組的某種統(tǒng)計(jì)特性，并把輸入向量按圖形類似程度分為不同的類別。從給定的一類中取一個(gè)向量加到網(wǎng)絡(luò)上，它將產(chǎn)生一個(gè)特定的輸出。在訓(xùn)練之前，沒有辦法知道哪種類型的輸入向量將產(chǎn)生哪種特定的輸出，但通過(guò)這種訓(xùn)練，網(wǎng)絡(luò)的輸出總是變換為一個(gè)可理解的序列形式。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）訓(xùn)練算法目前應(yīng)用的訓(xùn)練算法很多，其中有很大部分是早期的Hebb算法的變形。人們?nèi)栽谝陨飳W(xué)習(xí)訓(xùn)練的模式作為目標(biāo)，繼續(xù)探索新的算法。可以相信，真正的生物學(xué)習(xí)訓(xùn)練過(guò)程肯定比目前常用的訓(xùn)練算法復(fù)雜得多。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）訓(xùn)練算法之一—Hebb算法Hebb算法是由DonaldHebb提出的一種最早的訓(xùn)練算法。Hebb認(rèn)為，如果源和目的神經(jīng)元都被激活（或抑制），它們之間的突觸的強(qiáng)度就會(huì)增強(qiáng)。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）訓(xùn)練算法之一—Hebb算法人工神經(jīng)網(wǎng)絡(luò)中Hebb算法的簡(jiǎn)單描述：如果一個(gè)處理單元從另一個(gè)處理單元接收激勵(lì)信號(hào)，而且兩者處于相同的激勵(lì)電平（數(shù)學(xué)上具有相同的符號(hào)），那么處理單元之間的加權(quán)就應(yīng)當(dāng)增強(qiáng)。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）訓(xùn)練算法之一—Hebb算法人工神經(jīng)網(wǎng)絡(luò)中Hebb算法的簡(jiǎn)單描述：按數(shù)學(xué)表示，就是兩結(jié)點(diǎn)的連接權(quán)將按兩結(jié)點(diǎn)的激勵(lì)電平的乘積來(lái)改變 其中，Wij(n)是第(n+1)次調(diào)節(jié)前從結(jié)點(diǎn)i到結(jié)點(diǎn)j的連接權(quán)值；Wij(n+1)是第(n+1)次調(diào)節(jié)后從結(jié)點(diǎn)i到結(jié)點(diǎn)j的連接權(quán)值；η為訓(xùn)練速率系數(shù)；yi為結(jié)點(diǎn)i的輸出，并輸入到結(jié)點(diǎn)j；yj為結(jié)點(diǎn)j的輸出。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）訓(xùn)練算法之二—σ訓(xùn)練算法這種算法的基本思路是：按差值（σ值）最小準(zhǔn)則連續(xù)地修正各連接權(quán)的強(qiáng)度。所謂差值最小，就是指處理單元所要求的輸出與當(dāng)前實(shí)際輸出間的差值，靠調(diào)節(jié)各加權(quán)以達(dá)到最小。該算法也稱為Widdrow-Hoff訓(xùn)練算法或最小均方（LMS）算法。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）訓(xùn)練算法之三—梯度下降算法這是將數(shù)學(xué)上的優(yōu)化方法用于使要求的輸出與實(shí)際輸出之差最小。在該方法中，加權(quán)的修正量正比于誤差對(duì)加權(quán)的一階導(dǎo)數(shù)，數(shù)學(xué)表示如下：

其中，E是描述誤差的誤差函數(shù)，Wij(n)是結(jié)點(diǎn)i到結(jié)點(diǎn)j的連接權(quán)，η為訓(xùn)練速率系數(shù)。σ訓(xùn)練算法是梯度下降算法的一個(gè)特例。該算法收斂到穩(wěn)定點(diǎn)較慢，但它是一種比較有效和普遍應(yīng)用的訓(xùn)練算法。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）訓(xùn)練算法之四—隨機(jī)訓(xùn)練算法該算法利用了隨機(jī)過(guò)程，用概率和能量關(guān)系來(lái)調(diào)節(jié)連接權(quán)?；舅悸罚涸谟?xùn)練過(guò)程中，隨機(jī)改變一個(gè)權(quán)值，確定權(quán)值改變后產(chǎn)生的最終能量，并按如下準(zhǔn)則來(lái)確定是否保留此加權(quán)的變化。若改變加權(quán)后，人工神經(jīng)網(wǎng)絡(luò)的能量降低了，則保留著一改變。若改變加權(quán)后，能量沒有降低，則根據(jù)一個(gè)預(yù)選的概率分布來(lái)保留這一改變。（這一步的目的是為了保證人工神經(jīng)網(wǎng)絡(luò)能夠獲得全局能量最小點(diǎn)，而不是局部能量最小點(diǎn)。）否則，拒絕這一改變，使權(quán)值恢復(fù)到原來(lái)的值。典型的隨機(jī)訓(xùn)練算法：模擬退火算法6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）訓(xùn)練算法之五—Kohonen訓(xùn)練算法它是TeuvoKohonen受生物系統(tǒng)的啟發(fā)而提出的，是無(wú)指導(dǎo)的訓(xùn)練算法。在訓(xùn)練過(guò)程中處理單元均參與彼此競(jìng)爭(zhēng)，具有最大輸出的處理單元是獲勝者。獲勝的節(jié)點(diǎn)具有抑制其競(jìng)爭(zhēng)者的能力和激活其近鄰結(jié)點(diǎn)的能力，只有獲勝者和其近鄰結(jié)點(diǎn)的加權(quán)才被允許調(diào)節(jié)。獲勝者的近鄰結(jié)點(diǎn)的范圍在訓(xùn)練中是可變的。訓(xùn)練開始時(shí)，一般將近鄰范圍取得較大。隨著訓(xùn)練的進(jìn)行其近鄰范圍逐漸縮小。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.6人工神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和收斂性不論是訓(xùn)練操作還是回憶操作，人工神經(jīng)網(wǎng)絡(luò)的狀態(tài)總是變化的。所謂人工神經(jīng)網(wǎng)絡(luò)的狀態(tài)，是指人工神經(jīng)網(wǎng)絡(luò)所有結(jié)點(diǎn)的輸出信號(hào)值，狀態(tài)變化可以指某個(gè)結(jié)點(diǎn)的狀態(tài)發(fā)生變化，也可指所有結(jié)點(diǎn)的狀態(tài)發(fā)生變化。人工神經(jīng)網(wǎng)絡(luò)的這種動(dòng)態(tài)特性受兩種性能的約束系統(tǒng)的穩(wěn)定性系統(tǒng)的收斂性6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.6人工神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和收6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.6人工神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和收斂性人工神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性系統(tǒng)的穩(wěn)定性定義為一種非線性動(dòng)態(tài)系統(tǒng)，當(dāng)在該系統(tǒng)上加入一個(gè)初始輸入時(shí)，系統(tǒng)的狀態(tài)發(fā)生變化，但最后達(dá)到一個(gè)固定點(diǎn)（收斂點(diǎn)或平衡點(diǎn)）。這些固定點(diǎn)就是存儲(chǔ)信息的點(diǎn)。雖然穩(wěn)定的人工神經(jīng)網(wǎng)絡(luò)總能保證所有輸入被映射到固定點(diǎn)，但不能保證該固定點(diǎn)就是所要求的固定點(diǎn)。人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)的穩(wěn)定性是與反饋網(wǎng)絡(luò)的回憶操作相聯(lián)系的。這種反饋網(wǎng)絡(luò)的穩(wěn)定性可用李亞普諾夫準(zhǔn)則判定。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.6人工神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和收6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.6人工神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和收斂性李亞普諾夫穩(wěn)定性準(zhǔn)則所謂穩(wěn)定的動(dòng)態(tài)系統(tǒng)，就是其系統(tǒng)變量從某一個(gè)初始狀態(tài)變化到最后達(dá)到穩(wěn)定值的過(guò)程中，系統(tǒng)存儲(chǔ)的能量隨時(shí)間的增長(zhǎng)而衰減，直至能量最小點(diǎn)為止。要研究系統(tǒng)的穩(wěn)定性，需要找到系統(tǒng)的李亞普諾夫能量函數(shù)，它是一個(gè)廣義的能量函數(shù)（記作E）。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.6人工神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和收6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.6人工神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和收斂性李亞普諾夫穩(wěn)定性準(zhǔn)則設(shè)有一系統(tǒng)，其參變量為y=(y1,y2,…,yn)，系統(tǒng)微分方程組為李亞普諾夫準(zhǔn)則描述如下：對(duì)于一個(gè)非線性動(dòng)態(tài)系統(tǒng)，能找到一個(gè)以Yi變量表示的能量函數(shù)E，對(duì)于所有輸入y=(y1,y2,…,yn)

，如上述能量函數(shù)滿足李亞普諾夫四個(gè)基本條件，則該系統(tǒng)的動(dòng)態(tài)過(guò)程收斂，并判定為整體穩(wěn)定。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.6人工神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和收6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.6人工神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和收斂性李亞普諾夫四個(gè)基本條件

(1)Yi=0，如果yi=0，i=1,2,…,n，即Yi變量只在原點(diǎn)為零。

(2)Yi是全純的，即在給定域內(nèi)的任一點(diǎn)，其一階導(dǎo)數(shù)存在。

(3)

式中t0和H均為常數(shù)，且H總是非零值，即在t>=t0時(shí)，yi總是有界的。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.6人工神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和收6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.6人工神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和收斂性李亞普諾夫四個(gè)基本條件

(4)

對(duì)所有的i=1,2,…,n成立，這表明能量隨著變量yi的變化總是減小的。李亞普諾夫能量函數(shù)沒有統(tǒng)一的規(guī)定，只要它具有能量的形式（如二次型），并滿足系統(tǒng)的物理意義即可，因此，系統(tǒng)的能量函數(shù)E的形式不是唯一的。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.6人工神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和收6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.6人工神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和收斂性人工神經(jīng)網(wǎng)絡(luò)的收斂性系統(tǒng)的收斂性是指，在訓(xùn)練過(guò)程中輸出結(jié)點(diǎn)的實(shí)際輸出值與要求的輸出值的誤差，最后能達(dá)到可接受的最小值。一般要求收斂過(guò)程迅速和精確，即輸出能盡快趨于目標(biāo)值。收斂性是與有指導(dǎo)的訓(xùn)練操作相聯(lián)系的，收斂過(guò)程嚴(yán)格依賴于所采用的具體訓(xùn)練算法和訓(xùn)練參數(shù)。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.6人工神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和收6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.7小結(jié)人工神經(jīng)網(wǎng)絡(luò)的原型—大腦神經(jīng)元的結(jié)構(gòu)神經(jīng)元間的連接（突觸）生物神經(jīng)網(wǎng)絡(luò)的構(gòu)成人工神經(jīng)網(wǎng)絡(luò)模型基本單元是人工神經(jīng)元（即處理單元和結(jié)點(diǎn)），它是生物神經(jīng)元的簡(jiǎn)單近似。網(wǎng)絡(luò)模型是仿照生物神經(jīng)元的連接結(jié)構(gòu)，將結(jié)點(diǎn)組合連接為層并將幾個(gè)層組合在一起連接而構(gòu)成的。網(wǎng)絡(luò)可分為單層網(wǎng)絡(luò)和多層網(wǎng)絡(luò)。連接可分為層內(nèi)橫向連接、層間前饋連接和反饋連接。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.7小結(jié)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.7小結(jié)人工神經(jīng)網(wǎng)絡(luò)模型的特性具有較強(qiáng)的信息處理能力和存儲(chǔ)能力存儲(chǔ)不像一般計(jì)算機(jī)將信息存入RAM或ROM，而是將信息存入網(wǎng)絡(luò)的連接權(quán)或結(jié)點(diǎn)狀態(tài)中。兩種信息存儲(chǔ)方式內(nèi)容尋址存儲(chǔ)器或長(zhǎng)期存儲(chǔ)器：網(wǎng)絡(luò)通過(guò)訓(xùn)練操作將信息存入加權(quán)中。聯(lián)想存儲(chǔ)器或短期存儲(chǔ)器：當(dāng)網(wǎng)絡(luò)加一外部激勵(lì)時(shí)，存儲(chǔ)器就通過(guò)回憶操作產(chǎn)生輸出響應(yīng)，該響應(yīng)反映在輸出結(jié)點(diǎn)的狀態(tài)上。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.7小結(jié)6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.7小結(jié)人工神經(jīng)網(wǎng)絡(luò)模型的兩種基本操作訓(xùn)練操作各種訓(xùn)練算法，常用的有Hebb算法、σ規(guī)則算法、梯度下降算法、Kohonen算法和隨機(jī)算法等。訓(xùn)練算法分為有指導(dǎo)和無(wú)指導(dǎo)兩類有指導(dǎo)的算法存在收斂問(wèn)題，一般要求收斂迅速而準(zhǔn)確?；貞洸僮髑梆伝貞浄答伝貞浄答伝貞洿嬖诜€(wěn)定性問(wèn)題為判定系統(tǒng)的穩(wěn)定性，對(duì)人工神經(jīng)網(wǎng)絡(luò)常采用李亞普諾夫穩(wěn)定準(zhǔn)則，借助李亞普諾夫能量函數(shù)進(jìn)行直觀檢查，如果能量函數(shù)隨時(shí)間是衰減的，網(wǎng)絡(luò)就是穩(wěn)定的。6.2人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6.2.7小結(jié)6.3前饋神經(jīng)網(wǎng)絡(luò)神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究表明，大腦中實(shí)際的神經(jīng)網(wǎng)絡(luò)一般具有層次結(jié)構(gòu)，同時(shí)結(jié)點(diǎn)間的連接很多屬于前饋連接，同時(shí)這種前饋連接構(gòu)成的網(wǎng)絡(luò)（前饋網(wǎng)絡(luò)）學(xué)習(xí)過(guò)程比較容易，所以首先討論前饋網(wǎng)絡(luò)模型。1958年心理學(xué)家FrankRosenblatt及其合作者首先研究了這種前饋層次網(wǎng)絡(luò)模型，將其稱為感知器(Perception)。6.3前饋神經(jīng)網(wǎng)絡(luò)神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究表明，大腦中6.3前饋神經(jīng)網(wǎng)絡(luò)感知器實(shí)例簡(jiǎn)單感知器6.3前饋神經(jīng)網(wǎng)絡(luò)感知器實(shí)例6.3前饋神經(jīng)網(wǎng)絡(luò)感知器實(shí)例兩層感知器6.3前饋神經(jīng)網(wǎng)絡(luò)感知器實(shí)例6.3前饋神經(jīng)網(wǎng)絡(luò)在感知器模型中，輸入向量x=(x1,x2,…,xN)通過(guò)各輸入端點(diǎn)分配給下一層的各結(jié)點(diǎn)，這下一層稱為中間層，它可以是一層，也可以是多層，最后通過(guò)輸出層結(jié)點(diǎn)得到輸出向量y=(y1,y2,…,yn)。在這種前饋網(wǎng)絡(luò)模型中，沒有層內(nèi)聯(lián)接，也沒有隔層的前饋聯(lián)接，每一個(gè)結(jié)點(diǎn)只能前饋聯(lián)接到其下一層的所有結(jié)點(diǎn)。由于在早期對(duì)于含有隱蔽層的多層感知器沒有可行的訓(xùn)練算法，所以初期研究的感知器是一層感知器（或稱簡(jiǎn)單感知器，通常簡(jiǎn)稱為感知器）。由于多層網(wǎng)絡(luò)具有較強(qiáng)的處理功能，因此人們一直致力于尋找多層網(wǎng)絡(luò)的訓(xùn)練算法，直到Rumelhart等人提出完整的誤差反傳訓(xùn)練算法（BP算法），解決了多層網(wǎng)絡(luò)的訓(xùn)練問(wèn)題。6.3前饋神經(jīng)網(wǎng)絡(luò)在感知器模型中，輸入向量x=(x1,x6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知器網(wǎng)絡(luò)描述該網(wǎng)絡(luò)由N個(gè)輸入和一個(gè)含有n個(gè)結(jié)點(diǎn)的輸出層，沒有隱蔽層。輸入向量為x=(x1,x2,…,xN)，輸出向量為y=(y1,y2,…,yn)，相應(yīng)的加權(quán)向量為W1=(W11,W21,…,WN1)，

…Wj=(W1j,W2j,…,WNj)，…Wn=(W1n,W2n,…,WNn)。對(duì)于結(jié)點(diǎn)j，其輸入加權(quán)和sj為：6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知器網(wǎng)絡(luò)描述對(duì)于結(jié)點(diǎn)j，其輸出值yj為： 其中F(sj)為結(jié)點(diǎn)j的轉(zhuǎn)移函數(shù)，如符號(hào)函數(shù)、線性函數(shù)和非線性函數(shù)等。具有不同轉(zhuǎn)移函數(shù)的感知器，具有不同的功能。6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知器網(wǎng)絡(luò)描述一般感知器的功能是實(shí)現(xiàn)他聯(lián)想，即當(dāng)給定一個(gè)輸入激勵(lì)xk，就產(chǎn)生一個(gè)實(shí)際的響應(yīng)yk要求yk等于所需的目標(biāo)向量對(duì)第k個(gè)輸入向量在結(jié)點(diǎn)j上應(yīng)有， 其中若定義P為訓(xùn)練組中輸入輸出對(duì)的數(shù)目，則k=1,2,…,P6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知器網(wǎng)絡(luò)描述通常稱感知器的他聯(lián)想能力為功能表示能力。感知器的功能表示能力是通過(guò)學(xué)習(xí)而記憶在加權(quán)W中的，這個(gè)特定的加權(quán)W是通過(guò)有指導(dǎo)的訓(xùn)練得到的。6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知器符號(hào)單元處理單元的轉(zhuǎn)移函數(shù)采用符號(hào)函數(shù) F(S)=sgn(S)一個(gè)結(jié)點(diǎn)的結(jié)構(gòu)圖6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知器符號(hào)單元網(wǎng)絡(luò)的輸入可以是連續(xù)值，也可以是二進(jìn)制數(shù)。網(wǎng)絡(luò)的輸出有兩種狀態(tài)6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知器符號(hào)單元此時(shí)處理單元實(shí)際上是輸入信息的分類器，判決輸入信息屬于兩類中的哪一類（A或B類）。當(dāng)輸入向量為兩個(gè)分量時(shí)，它構(gòu)成平面上的兩維集，此時(shí)判決界是一條直線。6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知器符號(hào)單元當(dāng)輸入向量為三個(gè)分量時(shí)，它構(gòu)成三維信號(hào)集，此時(shí)判決界是一個(gè)平面。當(dāng)輸入向量為多個(gè)分量時(shí)，它構(gòu)成多維信息空間，此時(shí)判決界是一個(gè)多維面。6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知器符號(hào)單元感知器實(shí)現(xiàn)邏輯“與”的功能邏輯“與”的真值表6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知器符號(hào)單元感知器實(shí)現(xiàn)邏輯“與”的功能因只有兩個(gè)輸入，構(gòu)成二維空間。6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知器符號(hào)單元感知器實(shí)現(xiàn)邏輯“與”的功能通過(guò)真值表中的4個(gè)輸入輸出對(duì)，訓(xùn)練調(diào)節(jié)對(duì)應(yīng)的加權(quán)W1、W2和閾值θ，可得表示“與”動(dòng)能的感知器。6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知器符號(hào)單元感知器在表示能力方面存在局限性，有很多功能，不管如何調(diào)節(jié)加權(quán)和閾值，也不能被識(shí)別或表示?！爱惢騿?wèn)題”邏輯“異或”的真值表6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知器符號(hào)單元感知器不能實(shí)現(xiàn)邏輯“異或”的功能因只有兩個(gè)輸入，構(gòu)成二維空間。6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知器符號(hào)單元感知器不能實(shí)現(xiàn)邏輯“異或”的功能要實(shí)現(xiàn)“異或”功能，要求A類在直線的一邊，B類在直線的另一邊，這顯然是不可能的，因?yàn)樗蔷€性不可分的。這意味著不管如何改變參數(shù)W1、W2和θ都不能使單層感知器產(chǎn)生“異或”功能。對(duì)于線性不可分的功能，訓(xùn)練中找不到一條直線（或多維判決界面）將A和B兩類分開，使得加權(quán)總是來(lái)回?cái)[動(dòng)，不能收斂到一個(gè)確定的判決界，此時(shí)，訓(xùn)練是不收斂的。要想用感知器表示某種功能，必須知道這種功能是否是線性可分的。遺憾的是，并沒有通用的辦法來(lái)確定這種線性可分性（尤其是當(dāng)輸入分量很大時(shí)）。6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知器符號(hào)單元感知器的訓(xùn)練算法它是有指導(dǎo)的訓(xùn)練，其指導(dǎo)就是輸入向量時(shí)所要求的輸出目標(biāo)值。訓(xùn)練的基本思路將輸入向量加到網(wǎng)絡(luò)上，對(duì)每個(gè)輸入向量計(jì)算相應(yīng)的輸出；如果計(jì)算的輸出就是要求的輸出，則保持聯(lián)到該結(jié)點(diǎn)的加權(quán)值不變；如果計(jì)算的輸出不是要求的輸出，則按照Hebb規(guī)則修改各加權(quán)值，即每個(gè)加權(quán)的修正量正比于該加權(quán)對(duì)應(yīng)的輸入和輸出的乘積。6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知6.3前饋神經(jīng)網(wǎng)絡(luò)6.3.1早期的人工神經(jīng)網(wǎng)絡(luò)—感知器符號(hào)單元感知器的訓(xùn)練算法感知器訓(xùn)練算法的關(guān)系式推導(dǎo)感知器訓(xùn)練算法[例子：感知器實(shí)現(xiàn)邏