人工智能-4-北京化工大學(xué)

第4章神經(jīng)計(jì)算

信息科學(xué)與生命科學(xué)的相互交叉、相互滲透和相互促進(jìn)是現(xiàn)代科學(xué)技術(shù)發(fā)展的一個(gè)顯著特點(diǎn)。計(jì)算智能涉及神經(jīng)網(wǎng)絡(luò)、模糊邏輯、進(jìn)化計(jì)算和人工生命等領(lǐng)域，它的研究和發(fā)展正是反映了當(dāng)代科學(xué)技術(shù)多學(xué)科交叉與集成的重要發(fā)展趨勢?；靖拍钍裁唇腥斯ど窠?jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork

）采用物理可實(shí)現(xiàn)的系統(tǒng)來模仿人腦神經(jīng)細(xì)胞的結(jié)構(gòu)和功能的系統(tǒng)。為什么要研究神經(jīng)網(wǎng)絡(luò)用計(jì)算機(jī)代替人的腦力勞動(dòng)。計(jì)算機(jī)速度為納秒級，人腦細(xì)胞反應(yīng)時(shí)間是毫秒級。而計(jì)算機(jī)不如人。長期以來人類的夢想，機(jī)器既能超越人的計(jì)算能力，又有類似于人的識別、分析、聯(lián)想等能力。生物神經(jīng)元神經(jīng)細(xì)胞是構(gòu)成神經(jīng)系統(tǒng)的基本單元，稱之為生物神經(jīng)元，或者簡稱為神經(jīng)元。神經(jīng)元主要由三個(gè)部分組成：細(xì)胞體、軸突、樹突。生物神經(jīng)元細(xì)胞體：由細(xì)胞核、細(xì)胞質(zhì)、細(xì)胞膜等組成。它是神經(jīng)元的新陳代謝中心，同時(shí)還用于接收并處理從其它神經(jīng)元傳遞過來的信息。細(xì)胞膜內(nèi)外有電位差，稱為膜電位，膜外為正，膜內(nèi)為負(fù)，大小約為幾十微伏。細(xì)胞膜通過改變對Na+、K+、Cl-等離子的通透性從而改變膜電位。膜電壓接受其它神經(jīng)元的輸入后，電位上升或者下降。若輸入沖動(dòng)的時(shí)空整合結(jié)果使膜電位上升，并超過動(dòng)作電位閾值時(shí)，神經(jīng)元進(jìn)入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動(dòng)，由軸突輸出。若整合結(jié)果使膜電位下降并低于動(dòng)作電壓閾值時(shí)，神經(jīng)元進(jìn)入抑制狀態(tài)，無神經(jīng)沖動(dòng)輸出。生物神經(jīng)元軸突(Axon)：細(xì)胞體向外伸出的最長的一條分枝，即神經(jīng)纖維，相當(dāng)于神經(jīng)元的輸出端。一般一個(gè)神經(jīng)元只有一個(gè)軸突，有個(gè)別神經(jīng)元沒有。樹突(Dendrite)：細(xì)胞體向外伸出的除軸突之外其它分枝。一般較短，但分枝很多，相當(dāng)于神經(jīng)元的輸入端。生物神經(jīng)元突觸(Synapse)：生物神經(jīng)元之間的相互連接從而讓信息傳遞的部位被稱為突觸。突觸按其傳遞信息的不同機(jī)制，可分為化學(xué)突觸和電突觸、其中化學(xué)突觸占大多數(shù)，其神經(jīng)沖動(dòng)傳遞借助于化學(xué)遞質(zhì)的作用。突觸的信息傳遞只能從突觸前到突觸后，不存在反向活動(dòng)的機(jī)制，因此突觸傳遞是單方向的。根據(jù)突觸后膜電位電位的變化，突觸可分為兩種：興奮性突觸和抑制性突觸。神經(jīng)元對信息的接受和傳遞都是通過突觸來進(jìn)行的。單個(gè)神經(jīng)元可以從別的細(xì)胞接受多達(dá)上千個(gè)的突觸輸入。這些輸入可達(dá)到神經(jīng)元的樹突、胞體和軸突等不同部位，但其分布各不相同，對神經(jīng)元的影響也不同。突觸的信息傳遞特性可變，因此細(xì)胞之間的連接強(qiáng)度可變，這是一種柔性連接，也稱為神經(jīng)元結(jié)構(gòu)的可塑性。生物神經(jīng)元突觸結(jié)構(gòu)突觸傳遞過程人腦神經(jīng)系統(tǒng)的特征（1）

從信息系統(tǒng)研究的觀點(diǎn)出發(fā)，對于人腦這個(gè)智能信息處理系統(tǒng)，有如下一些固有特征：(1)并行分布處理的工作模式。實(shí)際上大腦中單個(gè)神經(jīng)元的信息處理速度是很慢的，每次約1毫秒(ms)，比通常的電子門電路要慢幾個(gè)數(shù)量級。每個(gè)神經(jīng)元的處理功能也很有限，估計(jì)不會比計(jì)算機(jī)的一條指令更復(fù)雜。但是人腦對某一復(fù)雜過程的處理和反應(yīng)卻很快，一般只需幾百毫秒。例如要判定人眼看到的兩個(gè)圖形是否一樣，實(shí)際上約需400ms，而在這個(gè)處理過程中，與腦神經(jīng)系統(tǒng)的一些主要功能，如視覺、記億、推理等有關(guān)。按照上述神經(jīng)元的處理速度，如果采用串行工作模式，就必須在幾百個(gè)串行步內(nèi)完成，這實(shí)際上是不可能辦到的。因此只能把它看成是一個(gè)由眾多神經(jīng)元所組成的超高密度的并行處理系統(tǒng)。例如在一張照片尋找一個(gè)熟人的面孔，對人腦而言，幾秒鐘便可完成，但如用計(jì)算機(jī)來處理，以現(xiàn)有的技術(shù)，是不可能在短時(shí)間內(nèi)完成的。由此可見，大腦信息處理的并行速度已達(dá)到了極高的程度。人腦神經(jīng)系統(tǒng)的特征（2）

(2)神經(jīng)系統(tǒng)的可塑性和自組織性。神經(jīng)系統(tǒng)的可塑性和自組織性與人腦的生長發(fā)育過程有關(guān)。例如，人的幼年時(shí)期約在9歲左右，學(xué)習(xí)語言的能力十分強(qiáng)，說明在幼年時(shí)期，大腦的可塑性和柔軟性特別良好。從生理學(xué)的角度看，它體現(xiàn)在突觸的可塑性和聯(lián)接狀態(tài)的變化，同時(shí)還表現(xiàn)在神經(jīng)系統(tǒng)的自組織特性上。例如在某一外界信息反復(fù)刺激下。接受該信息的神經(jīng)細(xì)胞之間的突觸結(jié)合強(qiáng)度會增強(qiáng)。這種可塑性反映出大腦功能既有先天的制約因素，也有可能通過后天的訓(xùn)練和學(xué)習(xí)而得到加強(qiáng)。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)機(jī)制就是基于這種可塑性現(xiàn)象，并通過修正突觸的結(jié)合強(qiáng)度來實(shí)現(xiàn)的。(3)信息處理與信息存貯合二為一。大腦中的信息處理與信息存貯是有機(jī)結(jié)合在一起的，而不像現(xiàn)行計(jì)算機(jī)那樣，存貯地址和存貯內(nèi)容是彼此分開的。由于大腦神經(jīng)元兼有信息處理和存貯功能，所以在進(jìn)行回億時(shí)，不但不存在先找存貯地址而后再調(diào)出所存內(nèi)容的問題，而且還可以由一部分內(nèi)容恢復(fù)全部內(nèi)容。人腦神經(jīng)系統(tǒng)的特征（3）

(4)信息處理的系統(tǒng)性大腦是一個(gè)復(fù)雜的大規(guī)模信息處理系統(tǒng)，單個(gè)的元件“神經(jīng)元”不能體現(xiàn)全體宏觀系統(tǒng)的功能。實(shí)際上，可以將大腦的各個(gè)部位看成是一個(gè)大系統(tǒng)中的許多子系統(tǒng)。各個(gè)子系統(tǒng)之間具有很強(qiáng)的相互聯(lián)系，一些子系統(tǒng)可以調(diào)節(jié)另一些子系統(tǒng)的行為。例如，視覺系統(tǒng)和運(yùn)動(dòng)系統(tǒng)就存在很強(qiáng)的系統(tǒng)聯(lián)系，可以相互協(xié)調(diào)各種信息處理功能。(5)能接受和處理模糊的、模擬的、隨機(jī)的信息。(6)求滿意解而不是精確解。人類處理日常行為時(shí)，往往都不是一定要按最優(yōu)或最精確的方式去求解，而是以能解決問題為原則，即求得滿意解就行了?；狙芯績?nèi)容（1）(1)人工神經(jīng)網(wǎng)絡(luò)模型的研究。神經(jīng)網(wǎng)絡(luò)原型研究，即大腦神經(jīng)網(wǎng)絡(luò)的生理結(jié)構(gòu)、思維機(jī)制；神經(jīng)元的生物特性如時(shí)空特性、不應(yīng)期、電化學(xué)性質(zhì)等的人工模擬；易于實(shí)現(xiàn)的神經(jīng)網(wǎng)絡(luò)計(jì)算模型；利用物理學(xué)的方法進(jìn)行單元間相互作用理論的研究，如：聯(lián)想記憶模型；神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法與學(xué)習(xí)系統(tǒng)。(2)神經(jīng)網(wǎng)絡(luò)基本理論研究。神經(jīng)網(wǎng)絡(luò)的非線性特性，包括自組織、自適應(yīng)等作用；神經(jīng)網(wǎng)絡(luò)的基本性能，包括穩(wěn)定性、收斂性、容錯(cuò)性、魯棒性、動(dòng)力學(xué)復(fù)雜性；神經(jīng)網(wǎng)絡(luò)的計(jì)算能力與信息存貯容量；結(jié)合認(rèn)知科學(xué)的研究，探索包括感知、思考、記憶和語言等的腦信息處理模型?；狙芯績?nèi)容（2）(3)神經(jīng)網(wǎng)絡(luò)的軟件模擬和硬件實(shí)現(xiàn)。在通用計(jì)算機(jī)、專用計(jì)算機(jī)或者并行計(jì)算機(jī)上進(jìn)行軟件模擬，或由專用數(shù)字信號處理芯片構(gòu)成神經(jīng)網(wǎng)絡(luò)仿真器。由模擬集成電路、數(shù)字集成電路或者光器件在硬件上實(shí)現(xiàn)神經(jīng)芯片。軟件模擬的優(yōu)點(diǎn)是網(wǎng)絡(luò)的規(guī)模可以較大，適合于用來驗(yàn)證新的模型和復(fù)雜的網(wǎng)絡(luò)特性。硬件實(shí)現(xiàn)的優(yōu)點(diǎn)是處理速度快，但由于受器件物理因素的限制，根據(jù)目前的工藝條件，網(wǎng)絡(luò)規(guī)模不可能做得太大。僅幾千個(gè)神經(jīng)元。但代表了未來的發(fā)展方向，因此特別受到人們的重視。(4)神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)的實(shí)現(xiàn)。計(jì)算機(jī)仿真系統(tǒng)；專用神經(jīng)網(wǎng)絡(luò)并行計(jì)算機(jī)系統(tǒng)，例如數(shù)字、模擬、數(shù)—?；旌稀⒐怆娀ミB等。光學(xué)實(shí)現(xiàn)；生物實(shí)現(xiàn)；重要應(yīng)用神經(jīng)網(wǎng)絡(luò)智能信息處理系統(tǒng)的一些重要應(yīng)用：認(rèn)知與人工智能：包括模式識別、計(jì)算機(jī)視覺與聽覺、特征提取、語音識別語言翻譯、聯(lián)想記憶、邏輯推理、知識工程、專家系統(tǒng)、故障診斷、智能機(jī)器人等。優(yōu)化與控制：包括優(yōu)化求解、決策與管理、系統(tǒng)辨識、魯棒性控制、自適應(yīng)控制、并行控制、分布控制、智能控制等。信號處理：自適應(yīng)信號處理(自適應(yīng)濾波、時(shí)間序列預(yù)測、譜估計(jì)、消噪、檢測、陣列處理)和非線性信號處理(非線性濾波、非線性預(yù)測、非線性譜估計(jì)、非線性編碼、中值處理)。傳感器信息處理：模式預(yù)處理變換、信息集成、多傳感器數(shù)據(jù)融合。ANN擅長于兩個(gè)方面：–對大量的數(shù)據(jù)進(jìn)行分類，并且只有較少的幾種情況；–必須學(xué)習(xí)一個(gè)復(fù)雜的非線性映射。當(dāng)前神經(jīng)網(wǎng)絡(luò)研究的一些趨勢（1）當(dāng)前對于神經(jīng)網(wǎng)絡(luò)的研究正在轉(zhuǎn)入穩(wěn)定、但發(fā)展步伐依然是極其迅速的時(shí)期。這一時(shí)期的研究和發(fā)展有以下幾點(diǎn)趨勢：（1）現(xiàn)在普遍認(rèn)識到神經(jīng)網(wǎng)絡(luò)比較適用于特征提取、模式分類、聯(lián)想記憶、低層次感知、自適應(yīng)控制等場合，在這些方面，嚴(yán)格的解析方法會遇到很大困難。當(dāng)前對神經(jīng)網(wǎng)絡(luò)的研究目標(biāo)，就是從理論上和實(shí)踐上探討一種規(guī)模上可控的系統(tǒng)，它的復(fù)雜程度雖然遠(yuǎn)比不上大腦，但又具有類似大腦的某些性質(zhì)，這種性質(zhì)如果用常規(guī)手段則難以實(shí)現(xiàn)。當(dāng)前神經(jīng)網(wǎng)絡(luò)研究的一些趨勢（2）（2）神經(jīng)網(wǎng)絡(luò)的研究，不僅其本身正在向綜合性發(fā)展，而且愈來愈與其他領(lǐng)域密切結(jié)合起來，發(fā)展出性能更強(qiáng)的結(jié)構(gòu)。1991年美國wardSystemGroup公司推出的軟件產(chǎn)品Neurowindows(Brain—1)是這方面的典型代表。它可以產(chǎn)生128個(gè)交互作用的神經(jīng)網(wǎng)絡(luò)，每個(gè)網(wǎng)可是自組織網(wǎng)也可是多層感知器網(wǎng)，最多可達(dá)32層，每層可達(dá)32個(gè)節(jié)點(diǎn)，且可以與其他8層相聯(lián)。（3）神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)人工智能方法（基于符號的方法）相結(jié)合是近年來發(fā)展很快的一個(gè)方面。在人工神經(jīng)網(wǎng)絡(luò)復(fù)蘇之初曾經(jīng)有人喊過“人工智能已死，神經(jīng)網(wǎng)絡(luò)萬歲”。但這幾年的發(fā)展日益證明，把這兩者結(jié)合起來是一條最佳途徑。采用綜合方法可以取長補(bǔ)短，更好地發(fā)揮各自的特點(diǎn)。（3）最近所出現(xiàn)的把神經(jīng)網(wǎng)絡(luò)與人工智能系統(tǒng)結(jié)合起來的方式大體可分為兩類，一類是把人工智能系統(tǒng)作為神經(jīng)網(wǎng)絡(luò)的前端，一類是把神經(jīng)網(wǎng)絡(luò)作為人工智能系統(tǒng)的前端。人工智能與神經(jīng)網(wǎng)絡(luò)的比較人工智能與神經(jīng)網(wǎng)絡(luò)共同之處：研究怎樣使用計(jì)算機(jī)來模仿人腦工作過程。學(xué)習(xí)——實(shí)踐——再學(xué)習(xí)——再實(shí)踐。不同之處：人工智能研究人腦的推理、學(xué)習(xí)、思考、規(guī)劃等思維活動(dòng)，解決需人類專家才能處理的復(fù)雜問題。神經(jīng)網(wǎng)絡(luò)企圖闡明人腦結(jié)構(gòu)及其功能，以及一些相關(guān)學(xué)習(xí)、聯(lián)想記憶的基本規(guī)則（聯(lián)想、概括、并行搜索、學(xué)習(xí)和靈活性）

例如：—人工智能專家系統(tǒng)是制造一個(gè)專家，幾十年難以培養(yǎng)的專家。神經(jīng)網(wǎng)絡(luò)是制造一個(gè)嬰兒，一個(gè)幼兒，一個(gè)可以學(xué)習(xí)，不斷完善，從一些自然知識中汲取智慧的生命成長過程。

同樣是模仿人腦，但所考慮的角度不同。成年人和嬰兒。學(xué)習(xí)過程不一樣。一個(gè)是總結(jié)出常人都不懂的規(guī)律；一個(gè)是沒完沒了向他出示、重復(fù)一樣?xùn)|西，就象教一個(gè)小孩子說話。人工智能與神經(jīng)網(wǎng)絡(luò)的比較人工智能與神經(jīng)網(wǎng)絡(luò)的比較兩種人工智能技術(shù)的比較傳統(tǒng)的AI技術(shù)ANN技術(shù)基本實(shí)現(xiàn)方式串行處理；由程序?qū)崿F(xiàn)控制并行處理；對樣本數(shù)據(jù)進(jìn)行多目標(biāo)學(xué)習(xí)；通過人工神經(jīng)元之間的相互作用實(shí)現(xiàn)控制基本開發(fā)方法設(shè)計(jì)規(guī)則、框架、程序；用樣本數(shù)據(jù)進(jìn)行調(diào)試（由人根據(jù)已知的環(huán)境去構(gòu)造一個(gè)模型）定義人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)原型，通過樣本數(shù)據(jù)，依據(jù)基本的學(xué)習(xí)算法完成學(xué)習(xí)——自動(dòng)從樣本數(shù)據(jù)中抽取內(nèi)涵（自動(dòng)適應(yīng)應(yīng)用環(huán)境）適應(yīng)領(lǐng)域精確計(jì)算：符號處理，數(shù)值計(jì)算非精確計(jì)算：模擬處理，感覺，大規(guī)模數(shù)據(jù)并行處理模擬對象左腦（邏輯思維）右腦（形象思維）研究ANN所涉及的一些學(xué)科關(guān)于智能本質(zhì)的研究是自然科學(xué)和哲學(xué)的重大課題之一。由于智能本質(zhì)的復(fù)雜性，現(xiàn)代智能研究已超越傳統(tǒng)的學(xué)科界限，成為腦生理學(xué)、神經(jīng)科學(xué)、心理學(xué)、認(rèn)知科學(xué)、信息科學(xué)、計(jì)算機(jī)科學(xué)、微電子學(xué)，乃至數(shù)理科學(xué)共同關(guān)心的“焦點(diǎn)”學(xué)科。人工神經(jīng)網(wǎng)絡(luò)的重大研究進(jìn)展有可能使包括信息科學(xué)在內(nèi)的其他學(xué)科產(chǎn)生重大突破和變革。展望人工神經(jīng)網(wǎng)絡(luò)的成功應(yīng)用，人類智能有可能產(chǎn)生一次新的飛躍?；驹恚窠?jīng)元模型(Nucleus)(Axon)(Synapse)(Cell)(Dendrites)(Axonending)腦神經(jīng)元由細(xì)胞體、樹突和軸突構(gòu)成。神經(jīng)元之間通過軸突末梢（輸出）與樹突（輸入）相互聯(lián)結(jié),其接口稱為突觸.基本原理－神經(jīng)元模型神經(jīng)元每一個(gè)細(xì)胞處于兩種狀態(tài)。突觸聯(lián)接有強(qiáng)度。多輸入單輸出。實(shí)質(zhì)上傳播的是脈沖信號，信號的強(qiáng)弱與脈沖頻率成正比?；驹恚窠?jīng)元模型基本原理－神經(jīng)元模型基本原理－神經(jīng)元模型轉(zhuǎn)移（活化）函數(shù)：神經(jīng)細(xì)胞的輸出對輸入的反映。典型的轉(zhuǎn)移函數(shù)是非線性的?；驹恚W(wǎng)絡(luò)結(jié)構(gòu)人腦神經(jīng)網(wǎng)絡(luò)： 人腦中約有１４０億個(gè)神經(jīng)細(xì)胞，根據(jù)Stubbz的估計(jì)這些細(xì)胞被安排在約１０００個(gè)主要模塊內(nèi)，每個(gè)模塊上有上百個(gè)神經(jīng)網(wǎng)絡(luò)，每個(gè)網(wǎng)絡(luò)約有１０萬個(gè)神經(jīng)細(xì)胞?；驹恚W(wǎng)絡(luò)分類分類前饋型；反饋型；自組織競爭；隨機(jī)網(wǎng)絡(luò)其它基本原理－網(wǎng)絡(luò)模型前饋網(wǎng)絡(luò)：每層只與前層相聯(lián)接基本原理－網(wǎng)絡(luò)模型輸入輸出有反饋的前饋網(wǎng)絡(luò)：輸出層上存在一個(gè)反饋回路，將信號反饋到輸入層。而網(wǎng)絡(luò)本身還是前饋型的。基本原理－網(wǎng)絡(luò)模型前饋內(nèi)層互聯(lián)網(wǎng)絡(luò)：外部看還是一個(gè)前向網(wǎng)絡(luò)，內(nèi)部有很多自組織網(wǎng)絡(luò)在層內(nèi)互聯(lián)著?；驹恚W(wǎng)絡(luò)模型反饋型全互聯(lián)網(wǎng)絡(luò)：所有計(jì)算單元之間都有聯(lián)接。如：Hopfield網(wǎng)絡(luò)基本原理－優(yōu)缺點(diǎn)評價(jià)優(yōu)點(diǎn)： 并行性；分布存儲；容錯(cuò)性；學(xué)習(xí)能力缺點(diǎn)： 不適合高精度計(jì)算；學(xué)習(xí)問題沒有根本解決，慢；目前沒有完整的設(shè)計(jì)方法，經(jīng)驗(yàn)參數(shù)太多。前饋型神經(jīng)網(wǎng)概述最初稱之為感知器。應(yīng)用最廣泛的一種人工神經(jīng)網(wǎng)絡(luò)模型，最要原因是有BP學(xué)習(xí)方法。前饋網(wǎng)絡(luò)結(jié)構(gòu)是分層的，信息只能從下一層單元傳遞到相應(yīng)的上一層單元。上層單元與下層所有單元相聯(lián)接。轉(zhuǎn)移函數(shù)可以是線性閾值的。

2.1單層感知機(jī)網(wǎng)絡(luò)2.2多層感知機(jī)模型感知機(jī)網(wǎng)絡(luò)感知器模型感知器是一種早期的神經(jīng)網(wǎng)絡(luò)模型，由美國學(xué)者F.Rosenblatt于1957年提出。感知器中第一次引入了學(xué)習(xí)的概念，使人腦所具備的學(xué)習(xí)功能在基于符號處理的數(shù)學(xué)到了一定程度的模擬，所以引起了廣泛的關(guān)注。簡單感知器簡單感知器模型實(shí)際上仍然是MP模型的結(jié)構(gòu)，但是它通過采用監(jiān)督學(xué)習(xí)來逐步增強(qiáng)模式劃分的能力，達(dá)到所謂學(xué)習(xí)的目的。其結(jié)構(gòu)如下圖所示感知器處理單元對n個(gè)輸入進(jìn)行加權(quán)和操作y即：其中，wi為第i個(gè)輸入到處理單元的連接權(quán)值,θ為閾值,f取階躍函數(shù)典型的MP模型w1w2wnTx1x2xnyy=0,If

y=1,If

感知器在形式上與MP模型差不多，它們之間的區(qū)別在于神經(jīng)元間連接權(quán)的變化。感知器的連接權(quán)定義為可變的，這樣感知器就被賦予了學(xué)習(xí)的特性。利用簡單感知器可以實(shí)現(xiàn)邏輯代數(shù)中的一些運(yùn)算。Y=f(w1x1+w2x2-θ)(1)“與”運(yùn)算 當(dāng)取w1＝w2＝1，θ＝1.5時(shí)，上式完成邏輯“與”的運(yùn)算。(2)“或”運(yùn)算， 當(dāng)取wl＝w2＝1，θ＝0.5時(shí)，上式完成邏輯“或”的運(yùn)算。(3)“非”運(yùn)算， 當(dāng)取wl=-1，w2＝0，θ＝-1時(shí),完成邏輯“非”的運(yùn)算。感知器的運(yùn)算能力感知器的學(xué)習(xí)簡單感知器中的學(xué)習(xí)算法是δ學(xué)習(xí)規(guī)則。其具體過程如下：(1)選擇一組初始權(quán)值wi(0)。(2)計(jì)算某一輸入模式對應(yīng)的實(shí)際輸出與期望輸出的誤差δ(3)如果δ小于給定值，結(jié)束，否則繼續(xù)。(4)更新權(quán)值(閾值可視為輸入恒為1的一個(gè)權(quán)值)：Δwi(t+1)＝wi(t+1)-wi(t)=η[d-y(t)]xi(t)

式中η為在區(qū)間(0，1)上的一個(gè)常數(shù)，稱為學(xué)習(xí)步長，它的取值與訓(xùn)練速度和w收斂的穩(wěn)定性有關(guān)；d、y為神經(jīng)元的期望輸出和實(shí)際輸出；xi為神經(jīng)元的第i個(gè)輸入。

(5)返回(2)，重復(fù)，直到對所有訓(xùn)練樣本模式，網(wǎng)絡(luò)輸出均能滿足要求。1單層感知機(jī)網(wǎng)絡(luò)輸入向量wji：xi

到y(tǒng)j的權(quán)向量yj(j=1,2,…,m)輸出A.一個(gè)神經(jīng)元Xp(p=1,2,….,p),P屬于n維空間感知機(jī)把P點(diǎn)分成兩類B.二維空間神經(jīng)元樣本空間線性等式w1x1+w2x2-

=00100(0,1)(1,1)(0,0)(1,0)AND問題OR問題101(0,1)(1,1)(0,0)(1,0)C.學(xué)習(xí)算法1.初始化權(quán)重wi(0),k=0,可以選擇隨機(jī)數(shù)2.選擇一組樣本,xpanddp(理想輸出)計(jì)算:假設(shè):xp0=1,w0=-

3.調(diào)整權(quán)值wi(k+1)=wi(k)+

(dp-yp)

xpii=1,2,…,n

學(xué)習(xí)速率4.選擇下一組樣本，andk=k+1Ifwi(k+1)=wi(k)ThenendElsegoto2Endifi=1,2,…,n計(jì)算輸出是否達(dá)到理想輸出？停止調(diào)整權(quán)值NoYes學(xué)習(xí)過程XOR關(guān)系是線性不可分的D.簡單感知機(jī)的缺點(diǎn)x1x2y0000111011100

w1+0

w2<

0<

0

w1+1

w2>

w2>

1

w1+0

w2>

w1>

1

w1+1

w2<

w1+w2<

輸入模式輸出模式0000101001110110多層感知器線性不可分問題的克服用多個(gè)單級網(wǎng)組合在一起，并用其中的一個(gè)去綜合其它單級網(wǎng)的結(jié)果，我們就可以構(gòu)成一個(gè)兩級網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以被用來在平面上劃分出一個(gè)封閉或者開放的凸域來。如果在輸入和輸出層間加上一層或多層的神經(jīng)元(隱層神經(jīng)元)，就可構(gòu)成多層前向網(wǎng)絡(luò)，這里稱為多層感知器。這里需指出的是：多層感知器只允許調(diào)節(jié)一層的連接權(quán)。這是因?yàn)榘锤兄鞯母拍睿瑹o法給出一個(gè)有效的多層感知器學(xué)習(xí)算法。上述三層感知器中，有兩層連接權(quán)，輸入層與隱層單元間的權(quán)值是隨機(jī)設(shè)置的固定值，不被調(diào)節(jié)；輸出層與隱層間的連接權(quán)是可調(diào)節(jié)的。多層感知器用多層感知器解決異或問題對于上面述及的異或問題，用一個(gè)簡單的三層感知器就可得到解決實(shí)際上，該三層感知器的輸入層和隱層的連接，就是在模式空間中用兩個(gè)超平面去劃分樣本，即用兩條直線：

x1+x2=0.5x1+x2=1.5

用多層感知器解決異或問題多層感知器的能力可以證明，只要隱層和隱層單元數(shù)足夠多，多層感知器網(wǎng)絡(luò)可實(shí)現(xiàn)任何模式分類。1962年，Rosenblatt宣布：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會它能表示的任何東西感知器收斂定理對于一個(gè)N個(gè)輸入的感知器，如果樣本輸入函數(shù)是線性可分的，那么對任意給定的一個(gè)輸入樣本x，要么屬于某一區(qū)域F+，要么不屬于這一區(qū)域，記為F-。F+，F(xiàn)-兩類樣本構(gòu)成了整個(gè)線性可分樣本空間。[定理]如果樣本輸入函數(shù)是線性可分的，那么感知器學(xué)習(xí)算法經(jīng)過有限次迭代后，可收斂到正確的權(quán)值或權(quán)向量。[定理]假定隱含層單元可以根據(jù)需要自由設(shè)置，那么用雙隱層的感知器可以實(shí)現(xiàn)任意的二值邏輯函數(shù)。多層感知器的問題多層網(wǎng)絡(luò)的權(quán)值如何確定，即網(wǎng)絡(luò)如何進(jìn)行學(xué)習(xí)，在感知器上沒有得到解決。當(dāng)年Minsky等人就是因?yàn)閷τ诜蔷€性空間的多層感知器學(xué)習(xí)算法未能得到解決，使其對神經(jīng)網(wǎng)絡(luò)的研究作出悲觀的結(jié)論。2多層感知機(jī)網(wǎng)絡(luò)輸出層隱含層輸入層i=1,2,…,nqj=1,2,…,nq-1q=1,2,…,q4.3拓?fù)浣Y(jié)構(gòu)與學(xué)習(xí)算法4.3.1節(jié)點(diǎn)的組成4.3.2神經(jīng)元網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)4.3.3神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法4.3.1節(jié)點(diǎn)的組成A.jth

Node節(jié)點(diǎn)的組成B.傳遞函數(shù)節(jié)點(diǎn)計(jì)算方程:f(xj

)=f(

(wij

ai)–Tj)選擇什么樣的傳遞函數(shù)呢?Asigmoid(S-shaped)functionAhyperbolictangenttransferfunctionf(x)=tanh(x)=

ex–e-xex+e-xAGaussiantransferfunctionf(x)=e[-x2/2]C.節(jié)點(diǎn)的處理過程4.3.2拓?fù)浣Y(jié)構(gòu)

單個(gè)隱含層的網(wǎng)絡(luò)多個(gè)隱含層4.3.3開發(fā)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)是根據(jù)理想輸出和實(shí)際輸出之間的誤差來調(diào)整權(quán)值的過程。三個(gè)步驟：

*訓(xùn)練或?qū)W習(xí)階段*回想階段*泛化階段學(xué)習(xí)的類型兩種輸入向量形式：二值輸入（0and1）or連續(xù)值輸入兩種學(xué)習(xí)策略：監(jiān)督學(xué)習(xí)（有教師）學(xué)習(xí)、無監(jiān)督（無教師）學(xué)習(xí)Supervisedlearning–Anexternalteachercontrolsthelearningandincorporatesglobalinformation.Unsupervisedlearning–Noexternalteacherisusedandnsteadtheneuralnetworkreliesuponbothinternalcontrolandlocalinformation.1.HebbLearningRule(unsupervisedlearning)ix1x2xjxnwijyi

wij

=wij(n+1)-wij(n)

=

yixj

j=1,2,…,n

>0Learningrate

wij

=

f(wiTX)xjwi1winExample1InitialweightvectorInputvectorTrainingsampleAssumption1Step1f(net)=1Step2f(net)=-1Step3f(net)=-1Assumption2Step1Step2Step32.感知機(jī)學(xué)習(xí)規(guī)則(supervisedlearning)

wij

=

(di-sgn(wiTX))

xj

j=1,2,…,nLearningsignalr=di–yi

didesiredoutput

Example1Agroupoftraininginputvectors:d1=-1d2=-1d3=1DesiredoutputAssumption

=0.1Step1InitialweightvectorSelectsampleX1andd1Step2SelectsampleX2andd2

d2=sgn(-1.6)=-1

W3=W2Step3SelectsampleX3andd3LetW1=W4,Recycletostep1From2.5reducedto0.93.梯度下降法

(supervisedlearning)SquareError

di

desiredoutputyiNNoutputj=1,2,…,nEistheerrorfunction

isthelearningrateExample1Agroupoftraininginputvectors:d1=-1d2=-1d3=1DesiredoutputAssumption

=0.1InitialweightvectorTransferfunctionStep1SelectsampleX1andd1Step2SelectsampleX2andd2Step3SelectsampleX3andd3C.檢驗(yàn)神經(jīng)網(wǎng)絡(luò)的執(zhí)行效果分兩步:1.回想（Recall）Howwelldoestheneuralnetworkrecallthepredictedresponses(outputvector)fromdatasetsusedtotrainthenetwork.2.泛化（Generalization）Howwelldoesthenetworkpredictresponsesfromdatasetsthatwerenotusedintraining.Awell-trainednetworkshouldbeabletoproduceanoutputwithverylittleerrorfromthedesiredoutput.Awell-trainednetworkshouldprovidesinput-outputmappingwithgoodgeneralizationcapability.Anillustrationofgoodandbadgeneralizationsbyatrainedneuralnetwork多層前饋神經(jīng)元網(wǎng)絡(luò)ErrorBackpropagationAlgorithm（BP算法）神經(jīng)計(jì)算設(shè)計(jì)應(yīng)用1ErrorBackpropagationAlgorithm（BP）ErrorBack-PropagationInputlayerOutputlayerHiddenlayer+-Desiredoutput