人工智能神經(jīng)網(wǎng)絡(luò)章節(jié)

人工智能神經(jīng)網(wǎng)絡(luò)章節(jié)第1頁，課件共58頁，創(chuàng)作于2023年2月概述什么叫人工神經(jīng)網(wǎng)絡(luò)采用物理可實(shí)現(xiàn)的系統(tǒng)來模仿人腦神經(jīng)細(xì)胞的結(jié)構(gòu)和功能的系統(tǒng)。為什么要研究神經(jīng)網(wǎng)絡(luò)用計(jì)算機(jī)代替人的腦力勞動(dòng)。計(jì)算機(jī)速度為納秒級(jí)，人腦細(xì)胞反應(yīng)時(shí)間是毫秒級(jí)。而計(jì)算機(jī)不如人。長期以來人類的夢想，機(jī)器既能超越人的計(jì)算能力，又有類似于人的識(shí)別、分析、聯(lián)想等能力。第2頁，課件共58頁，創(chuàng)作于2023年2月概述發(fā)展史1890年，美國生物學(xué)家W.James出版了《Physiology》（生理學(xué)）一書。首次闡明了有關(guān)人腦結(jié)構(gòu)及其功能，以及相關(guān)學(xué)習(xí)、聯(lián)想、記憶的基本規(guī)律。指出：人腦中當(dāng)兩個(gè)基本處理單元同時(shí)活動(dòng)，或兩個(gè)單元靠得比較近時(shí)，一個(gè)單元的興奮會(huì)傳到另一個(gè)單元。而且一個(gè)單元的活動(dòng)程度與他周圍的活動(dòng)數(shù)目和活動(dòng)密度成正比。

第3頁，課件共58頁，創(chuàng)作于2023年2月概述－發(fā)展史1943年McCulloch（心理學(xué)家）和Pitts（數(shù)理邏輯學(xué)家）發(fā)表文章，提出M-P模型。描述了一個(gè)簡單的人工神經(jīng)元模型的活動(dòng)是服從二值（興奮和抑制）變化的?？偨Y(jié)了神經(jīng)元的基本生理特性，提出了神經(jīng)元的數(shù)學(xué)描述和網(wǎng)絡(luò)的結(jié)構(gòu)方法?！獦?biāo)志神經(jīng)計(jì)算時(shí)代的開始輸出表達(dá)式

第4頁，課件共58頁，創(chuàng)作于2023年2月概述－發(fā)展史MP模型的意義：M-P模型能完成一定的邏輯運(yùn)算第一個(gè)采用集體并行計(jì)算結(jié)構(gòu)來描述人工神經(jīng)元和網(wǎng)絡(luò)工作。為進(jìn)一步的研究提供了依據(jù)（可以完成布爾邏輯計(jì)算）第5頁，課件共58頁，創(chuàng)作于2023年2月概述－發(fā)展史1949年DonalaU.Hebb（心理學(xué)家）論著《TheOrganizationofBehavior（行為自組織）》，提出突觸聯(lián)系強(qiáng)度可變的假設(shè)，認(rèn)為學(xué)習(xí)的過程最終發(fā)生在神經(jīng)元之間的突觸部位，突觸的聯(lián)系強(qiáng)度隨著突觸前后神經(jīng)元的活動(dòng)而變化。

——赫布規(guī)則多用于自組織網(wǎng)絡(luò)的學(xué)習(xí)。即：若兩個(gè)神經(jīng)元輸出興奮，則它們之間的連接權(quán)加強(qiáng)，反之減少。第6頁，課件共58頁，創(chuàng)作于2023年2月概述－發(fā)展史赫布規(guī)則意義（提出了變化的概念）提出了一個(gè)神經(jīng)網(wǎng)絡(luò)里信息是儲(chǔ)藏在突觸連接的權(quán)中的概念連接權(quán)的學(xué)習(xí)律是正比于兩個(gè)被連接神經(jīng)細(xì)胞的活動(dòng)狀態(tài)值的乘積假設(shè)權(quán)是對稱的細(xì)胞的互相連接的結(jié)構(gòu)是他們權(quán)的改變創(chuàng)造出來的第7頁，課件共58頁，創(chuàng)作于2023年2月概述－發(fā)展史1957年FrankRosenblatt定義了一個(gè)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，稱為感知器(Perceptron)。規(guī)則學(xué)習(xí) 意義：第一次把神經(jīng)網(wǎng)絡(luò)研究從純理論的探討推向工程實(shí)現(xiàn)，在IBM704計(jì)算機(jī)上進(jìn)行了模擬，證明了該模型有能力通過調(diào)整權(quán)的學(xué)習(xí)達(dá)到正確分類的結(jié)果。掀起了神經(jīng)網(wǎng)絡(luò)研究高潮。第8頁，課件共58頁，創(chuàng)作于2023年2月概述－發(fā)展史1969M.Minsky和S.Papert發(fā)表了《Perceptrons》的論著，指出感知器僅能解決一階謂詞邏輯，只能做線性劃分。對于非線性或其他分類會(huì)遇到很大困難。一個(gè)簡單的XOR問題的例子就證明了這一點(diǎn)?！窠?jīng)網(wǎng)絡(luò)研究一度達(dá)到低潮。原因還有：計(jì)算機(jī)不夠發(fā)達(dá)、VLSI還沒出現(xiàn)、而人工智能和專家系統(tǒng)正處于發(fā)展高潮。圖能劃分的、不能劃分的第9頁，課件共58頁，創(chuàng)作于2023年2月概述－發(fā)展史七十年代,據(jù)說全球只有幾十個(gè)人在研究，但還是成功的。如：日本Fukusima的Neocognitron；芬蘭Kohonen的自組織神經(jīng)網(wǎng)絡(luò)；StephenCrossberg的共振自適應(yīng)理論ART網(wǎng)絡(luò)等。第10頁，課件共58頁，創(chuàng)作于2023年2月概述－發(fā)展史1986年美國的一個(gè)平行計(jì)算研究小組提出了前項(xiàng)反饋神經(jīng)網(wǎng)絡(luò)的BackPropagation（BP）學(xué)習(xí)算法。成為當(dāng)今應(yīng)用最廣泛的方法之一。該方法克服了感知器非線性不可分類問題，給神經(jīng)網(wǎng)絡(luò)研究帶來了新的希望。第11頁，課件共58頁，創(chuàng)作于2023年2月概述－發(fā)展史1987年在美國召開了第一屆世界神經(jīng)網(wǎng)絡(luò)大會(huì)1000人參加。IJCNN等大會(huì)NeuralComputing,IEEENeuralNetwork等期刊第12頁，課件共58頁，創(chuàng)作于2023年2月概述人工智能與神經(jīng)網(wǎng)絡(luò)共同之處：研究怎樣使用計(jì)算機(jī)來模仿人腦工作過程。學(xué)習(xí)——實(shí)踐——再學(xué)習(xí)——再實(shí)踐。不同之處：人工智能研究人腦的推理、學(xué)習(xí)、思考、規(guī)劃等思維活動(dòng)，解決需人類專家才能處理的復(fù)雜問題。神經(jīng)網(wǎng)絡(luò)企圖闡明人腦結(jié)構(gòu)及其功能，以及一些相關(guān)學(xué)習(xí)、聯(lián)想記憶的基本規(guī)則（聯(lián)想、概括、并行搜索、學(xué)習(xí)和靈活性）第13頁，課件共58頁，創(chuàng)作于2023年2月概述例如：人工智能專家系統(tǒng)是制造一個(gè)專家，幾十年難以培養(yǎng)的專家。 神經(jīng)網(wǎng)絡(luò)是制造一個(gè)嬰兒，一個(gè)幼兒，一個(gè)可以學(xué)習(xí)，不斷完善，從一些自然知識(shí)中汲取智慧的生命成長過程。同樣是模仿人腦，但所考慮的角度不同。成年人和嬰兒。學(xué)習(xí)過程不一樣。一個(gè)是總結(jié)出常人都不懂得規(guī)律；一個(gè)是沒完沒了向他出示、重復(fù)一樣?xùn)|西，就象教一個(gè)小孩子說話。第14頁，課件共58頁，創(chuàng)作于2023年2月概述第15頁，課件共58頁，創(chuàng)作于2023年2月基本原理－神經(jīng)元模型第16頁，課件共58頁，創(chuàng)作于2023年2月基本原理－神經(jīng)元模型神經(jīng)元每一個(gè)細(xì)胞處于兩種狀態(tài)。突觸聯(lián)接有強(qiáng)度。多輸入單輸出。實(shí)質(zhì)上傳播的是脈沖信號(hào)，信號(hào)的強(qiáng)弱與脈沖頻率成正比。第17頁，課件共58頁，創(chuàng)作于2023年2月基本原理－神經(jīng)元模型轉(zhuǎn)移函數(shù)：神經(jīng)細(xì)胞的輸出對輸入的反映。典型的轉(zhuǎn)移函數(shù)是非線性的。第18頁，課件共58頁，創(chuàng)作于2023年2月基本原理－網(wǎng)絡(luò)結(jié)構(gòu)人腦神經(jīng)網(wǎng)絡(luò)： 人腦中約有１４０億個(gè)神經(jīng)細(xì)胞，根據(jù)Stubbz的估計(jì)這些細(xì)胞被安排在約１０００個(gè)主要模塊內(nèi)，每個(gè)模塊上有上百個(gè)神經(jīng)網(wǎng)絡(luò)，每個(gè)網(wǎng)絡(luò)約有１０萬個(gè)神經(jīng)細(xì)胞。

第19頁，課件共58頁，創(chuàng)作于2023年2月基本原理－網(wǎng)絡(luò)模型前饋網(wǎng)絡(luò)：每層只與前層相聯(lián)接第20頁，課件共58頁，創(chuàng)作于2023年2月基本原理－網(wǎng)絡(luò)模型輸入輸出有反饋的前饋網(wǎng)絡(luò)：輸出層上存在一個(gè)反饋回路，將信號(hào)反饋到輸入層。而網(wǎng)絡(luò)本身還是前饋型的第21頁，課件共58頁，創(chuàng)作于2023年2月基本原理－網(wǎng)絡(luò)模型前饋內(nèi)層互聯(lián)網(wǎng)絡(luò)：外部看還是一個(gè)前向網(wǎng)絡(luò)，內(nèi)部有很多自組織網(wǎng)絡(luò)在層內(nèi)互聯(lián)著。第22頁，課件共58頁，創(chuàng)作于2023年2月基本原理－網(wǎng)絡(luò)模型反饋型全互聯(lián)網(wǎng)絡(luò)：所有計(jì)算單元之間都有聯(lián)接。如：Hopfield網(wǎng)絡(luò)反饋型局部聯(lián)接網(wǎng)絡(luò)：特例，每個(gè)神經(jīng)元的輸出只與其周圍的神經(jīng)元相連，形成反饋網(wǎng)絡(luò)。第23頁，課件共58頁，創(chuàng)作于2023年2月基本原理－網(wǎng)絡(luò)分類分類前饋型；反饋型；自組織競爭；隨機(jī)網(wǎng)絡(luò)其它第24頁，課件共58頁，創(chuàng)作于2023年2月基本原理－基本屬性基本屬性：非線性： 非線性關(guān)系是自然界的普遍特性。大腦的智慧就是一種非線性現(xiàn)象。人工神經(jīng)元處于激活或抑制兩種不同的狀態(tài)。這種行為在數(shù)學(xué)上表現(xiàn)為一種非線性。非局域性： 一個(gè)神經(jīng)網(wǎng)絡(luò)通常由多個(gè)神經(jīng)元廣泛聯(lián)接而成。一個(gè)系統(tǒng)的整體行為不僅取決于單個(gè)神經(jīng)元的特征，而且可能主要由單元之間的相互作用、相互聯(lián)接所決定。通過單元之間的大量聯(lián)接模擬大腦的非局域性。聯(lián)想記憶是非局域性的典型例子。第25頁，課件共58頁，創(chuàng)作于2023年2月基本原理－基本屬性非定常性： 人工神經(jīng)網(wǎng)絡(luò)具有自適應(yīng)、自組織、自學(xué)習(xí)能力。神經(jīng)網(wǎng)絡(luò)不但處理的信息有各種各樣，而且在處理信息的同時(shí)，非線性動(dòng)力系統(tǒng)本身也在不斷變化。經(jīng)常采用迭代過程描寫動(dòng)力系統(tǒng)的演化過程。非凸性： 一個(gè)系統(tǒng)的演化方向，在一定條件下，將取決于某個(gè)特定的狀態(tài)函數(shù)，如能量函數(shù)，它的極值相應(yīng)于系統(tǒng)比較穩(wěn)定的狀態(tài)。非凸性是指這種函數(shù)有多個(gè)極值，故系統(tǒng)具有多個(gè)較穩(wěn)定的平衡態(tài)，這將導(dǎo)致系統(tǒng)演化的多樣性。第26頁，課件共58頁，創(chuàng)作于2023年2月基本原理－優(yōu)缺點(diǎn)評(píng)價(jià)優(yōu)點(diǎn)： 并行性；分布存儲(chǔ)；容錯(cuò)性；學(xué)習(xí)能力缺點(diǎn)： 不適合高精度計(jì)算；學(xué)習(xí)問題沒有根本解決，慢；目前沒有完整的設(shè)計(jì)方法，經(jīng)驗(yàn)參數(shù)太多。

第27頁，課件共58頁，創(chuàng)作于2023年2月前饋型神經(jīng)網(wǎng)概述最初稱之為感知器。應(yīng)用最廣泛的一種人工神經(jīng)網(wǎng)絡(luò)模型，最要原因是有BP學(xué)習(xí)方法。前饋網(wǎng)絡(luò)結(jié)構(gòu)是分層的，信息只能從下一層單元傳遞到相應(yīng)的上一層單元。上層單元與下層所有單元相聯(lián)接。轉(zhuǎn)移函數(shù)可以是線性閾值的。

第28頁，課件共58頁，創(chuàng)作于2023年2月前饋型神經(jīng)網(wǎng)單層感知器第29頁，課件共58頁，創(chuàng)作于2023年2月前饋型神經(jīng)網(wǎng)基本原理，結(jié)構(gòu)簡單。很少在實(shí)際應(yīng)用中出現(xiàn)。采用階躍函數(shù)作為傳遞函數(shù)。從２維空間可以很顯然的看出其分類功能，但Minsky等揭示的致命弱點(diǎn)也一目了然。關(guān)鍵是學(xué)習(xí)算法及網(wǎng)絡(luò)設(shè)計(jì)方法：輸出yi等于：(1)其中第30頁，課件共58頁，創(chuàng)作于2023年2月前饋型神經(jīng)網(wǎng)－單層感知器分類方法：如果輸入x有k個(gè)樣本，xp,p=1,2,…,k,xRn當(dāng)將這些樣本分別輸入到單輸出的感知器中，在一定的和下，輸出有兩種可能+1或-1。把樣本xp看作為在n維狀態(tài)空間中的一個(gè)矢量，那么k個(gè)樣本為輸入空間的k個(gè)矢量。而方程（1）就是把這個(gè)n為空間分為SA、SB兩個(gè)子空間，其分界線為n-1維的超平面。即用一個(gè)單輸出的感知器通過調(diào)整參數(shù)及來達(dá)到k個(gè)樣本的正確劃分。如：........….第31頁，課件共58頁，創(chuàng)作于2023年2月前饋型神經(jīng)網(wǎng)－單層感知器........….則存在一組權(quán)值wij使得公式(1)滿足:

則稱樣本集為線性可分的，否則為線性不可分的。

第32頁，課件共58頁，創(chuàng)作于2023年2月前饋型神經(jīng)網(wǎng)－單層感知器例子：2維空間希望找到一根直線，把A,B兩類樣本分開，其分界線為:解有無數(shù)個(gè)。

單層感只能解決線性可分類的樣本的分類問題。如樣本不能用一個(gè)超平面分開，就會(huì)產(chǎn)生當(dāng)年Minsky等提出的不可分問題。

第33頁，課件共58頁，創(chuàng)作于2023年2月++++++++X1X2二維輸入感知器及其在狀態(tài)空間中的劃分

第34頁，課件共58頁，創(chuàng)作于2023年2月前饋型神經(jīng)網(wǎng)多層感知器多層感知器的輸入輸出關(guān)系與單層感知器完全相同。前一層的輸出是下一層的輸入。也被稱為BP網(wǎng)絡(luò)。第35頁，課件共58頁，創(chuàng)作于2023年2月前饋型神經(jīng)網(wǎng)多層感知器采用BP算法學(xué)習(xí)時(shí)要求傳遞函數(shù)為有界連續(xù)可微函數(shù)如sigmoid函數(shù)。因此，網(wǎng)絡(luò)可以用一個(gè)連續(xù)的超曲面（而不僅僅是一個(gè)超平面）來完成劃分輸入樣本空間的功能。先求誤差，用梯度下降的方法求誤差的傳遞。從后往前算。第36頁，課件共58頁，創(chuàng)作于2023年2月第37頁，課件共58頁，創(chuàng)作于2023年2月前饋型神經(jīng)網(wǎng)多層感知器n層網(wǎng)絡(luò)可以以n-1個(gè)超曲面構(gòu)成一個(gè)符合曲面，彌補(bǔ)了單層感知器的缺陷?；贐P算法，依據(jù)大量樣本通過逐步調(diào)整神經(jīng)元之間的聯(lián)接權(quán)重來構(gòu)造網(wǎng)絡(luò)。理論上，多層前饋網(wǎng)絡(luò)在不考慮結(jié)果規(guī)模的前提下，可以模擬任意的輸出函數(shù)。第38頁，課件共58頁，創(chuàng)作于2023年2月前饋型神經(jīng)網(wǎng)特點(diǎn)：

用非線性連續(xù)可微的函數(shù)來分類，結(jié)果是一種模糊概念。當(dāng)輸出f(u)>0時(shí)，其輸出不一定為１，而是一個(gè)>0.5(有時(shí)只是>0)的值，表示所得到的概率為多少。

應(yīng)用： 各行各業(yè)。是應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。第39頁，課件共58頁，創(chuàng)作于2023年2月自組織競爭人工神經(jīng)網(wǎng)絡(luò)概述在實(shí)際的神經(jīng)網(wǎng)絡(luò)中，存在一種側(cè)抑制的現(xiàn)象。即一個(gè)細(xì)胞興奮后，通過它的分支會(huì)對周圍其他神經(jīng)細(xì)胞產(chǎn)生抑制。這種側(cè)抑制在脊髓和海馬中存在，在人眼的視網(wǎng)膜中也存在。第40頁，課件共58頁，創(chuàng)作于2023年2月自組織競爭人工神經(jīng)網(wǎng)絡(luò)概述這種抑制使神經(jīng)細(xì)胞之間出現(xiàn)競爭，一個(gè)興奮最強(qiáng)的神經(jīng)細(xì)胞對周圍神經(jīng)細(xì)胞的抑制也強(qiáng)。雖然一開始各個(gè)神經(jīng)細(xì)胞都處于興奮狀態(tài)，但最后是那個(gè)輸出最大的神經(jīng)細(xì)胞“贏”，而其周圍的神經(jīng)細(xì)胞“輸”了。勝者為王。小貓

第41頁，課件共58頁，創(chuàng)作于2023年2月自組織競爭人工神經(jīng)網(wǎng)絡(luò)概述自組織競爭神經(jīng)網(wǎng)絡(luò)是在“無師自通”的現(xiàn)象的基礎(chǔ)上生成的。人類等生物的生長過程。第42頁，課件共58頁，創(chuàng)作于2023年2月自組織競爭人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)： 層內(nèi)細(xì)胞之間互聯(lián)，在各個(gè)神經(jīng)細(xì)胞中加入自反饋，相互作用，輸出y為：系統(tǒng)穩(wěn)定時(shí)“勝者為王”。此時(shí)贏者的權(quán)向量與輸入向量的歐氏距離最小。此距離為：第43頁，課件共58頁，創(chuàng)作于2023年2月自組織競爭人工神經(jīng)網(wǎng)絡(luò)自組織映射模型自組織映射模型是由Kohonen提出來的。模型是以實(shí)際神經(jīng)細(xì)胞中的一種特征敏感的細(xì)胞為模型的。各個(gè)細(xì)胞分別對各種輸入敏感，可以代表各種輸入，反映各種輸入樣本的特征。如果在二維空間上描述這些細(xì)胞，則，功能相近的細(xì)胞聚在一起，靠得比較近。功能不同的離得比較遠(yuǎn)。網(wǎng)絡(luò)形成過程： 開始是無序的，當(dāng)輸入樣本出現(xiàn)后各個(gè)細(xì)胞反映不同，強(qiáng)者依照“勝者為王”的原則，加強(qiáng)自己的同時(shí)對周圍細(xì)胞進(jìn)行壓抑。使其對該種樣本更加敏感，也同時(shí)對其他種類的樣本更加不敏感。此過程的反復(fù)過程中，各種不同輸入樣本將會(huì)分別映射到不同的細(xì)胞上。第44頁，課件共58頁，創(chuàng)作于2023年2月Kohonen網(wǎng)絡(luò)的結(jié)構(gòu)

x2x1輸入層輸出層第45頁，課件共58頁，創(chuàng)作于2023年2月Nc(t)的形狀和變化情況

Nc(t0)Nc(t1)Nc(t2)Nc(t0)Nc(t1)Nc(t2)第46頁，課件共58頁，創(chuàng)作于2023年2月自組織競爭人工神經(jīng)網(wǎng)絡(luò)特點(diǎn)：網(wǎng)絡(luò)中的權(quán)值是輸入樣本的記憶。如果輸出神經(jīng)元j與輸入n個(gè)神經(jīng)元之間的聯(lián)接用wj表示，對應(yīng)其一類樣本x輸入，使yj達(dá)到匹配最大。那么wj通過學(xué)習(xí)后十分靠近x，因此，以后當(dāng)x再次輸入時(shí)，yj這個(gè)神經(jīng)元必定會(huì)興奮，yj是x的代表。.......….第47頁，課件共58頁，創(chuàng)作于2023年2月自組織競爭人工神經(jīng)網(wǎng)絡(luò)........….網(wǎng)絡(luò)學(xué)習(xí)時(shí)對權(quán)的調(diào)整不只是對興奮的那個(gè)細(xì)胞所對應(yīng)的權(quán)進(jìn)行，而對其周圍Nc區(qū)域內(nèi)的神經(jīng)元同時(shí)進(jìn)行調(diào)整。因此，對于在Nc內(nèi)的神經(jīng)元可以代表不只是一個(gè)樣本x，而是與x比較相近的樣本都可以在Nc內(nèi)得到反映。因此，這種網(wǎng)絡(luò)對于樣本的畸變和噪聲的容差大。（調(diào)整區(qū)域函數(shù)有。。。）各種函數(shù)網(wǎng)絡(luò)學(xué)習(xí)的結(jié)果是：比較相近的輸入樣本在輸出平面上映射的位置也比較接近。具有自然聚類的效果。第48頁，課件共58頁，創(chuàng)作于2023年2月神經(jīng)網(wǎng)絡(luò)的應(yīng)用該門科學(xué)起源于心理學(xué)、生理學(xué)、生物學(xué)、醫(yī)學(xué)等科學(xué)，研究發(fā)展過程中又涉及到數(shù)學(xué)、物理學(xué)、計(jì)算機(jī)科學(xué)等領(lǐng)域。然而，它的應(yīng)用幾乎遍及自然科學(xué)的各個(gè)領(lǐng)域。其中最多的是模式識(shí)別、通訊、控制、信號(hào)處理等方面。第49頁，課件共58頁，創(chuàng)作于2023年2月神經(jīng)網(wǎng)絡(luò)的應(yīng)用根據(jù)應(yīng)用背景選擇網(wǎng)絡(luò)結(jié)構(gòu)排除各種干擾（預(yù)處理）根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)特點(diǎn)準(zhǔn)備輸入樣本選擇訓(xùn)練樣本訓(xùn)練網(wǎng)絡(luò)第50頁，課件共58頁，創(chuàng)作于2023年2月前饋網(wǎng)絡(luò)字符識(shí)別器的網(wǎng)絡(luò)結(jié)構(gòu)模型

第51頁，課件共58頁，創(chuàng)作于2023年2月多分類器合成系統(tǒng)結(jié)構(gòu)圖

Input

Output

C4C3C2C1第52頁，課件共58頁，創(chuàng)作于2023年2月單神經(jīng)網(wǎng)絡(luò)反饋系統(tǒng)模型圖

第53頁，課件共58頁，創(chuàng)作于2023年2月

多神經(jīng)網(wǎng)絡(luò)反