(第七講)人工神經網絡

人工神經網絡

內容安排一、生物神經元二、人工神經網絡結構三、神經網絡基本學習算法學科交叉是當前研究領域的一個重要特征信息科學與生命科學的相互交叉、相互滲透和相互促進是現代科學技術發(fā)展的一個顯著特點。概述計算智能是是學科交叉研究過程中出現的一個重要研究方向．計算智能涉及神經網絡、模糊邏輯、進化計算和人工生命等領域，它的研究和發(fā)展正是反映了當代科學技術多學科交叉與集成的重要發(fā)展趨勢。

什么是計算智能

神經網絡與人工智能（AI）

把神經網絡歸類于人工智能可能不大合適，而歸類于計算智能（CI）更能說明問題實質。進化計算、人工生命和模糊邏輯系統(tǒng)的某些課題，也都歸類于計算智能．

計算智能與人工智能

計算智能取決于制造者（manufacturers）提供的數值數據，不依賴于知識；人工智能應用知識精品（knowledgetidbits），故此，一種說法是人工神經網絡應當稱為計算神經網絡。

計算智能與人工智能的區(qū)別和關系

計算智能與人工智能的區(qū)別和關系A－Artificial，即人工的（非生物的）B－Biological，即物理的＋化學的＋(？)C－Computational，表示數學＋計算機

計算智能是一種智力方式的低層認知，它與人工智能的區(qū)別只是認知層次從中層下降至低層而已。中層系統(tǒng)含有知識（精品），低層系統(tǒng)則沒有。

計算智能與人工智能的區(qū)別和關系當一個系統(tǒng)只涉及數值（低層）數據，含有模式識別部分，不應用人工智能意義上的知識，而且能夠呈現出：（1）計算適應性；（2）計算容錯性；（3）接近人的速度；（4）誤差率與人相近，則該系統(tǒng)就是計算智能系統(tǒng)。當一個智能計算系統(tǒng)以非數值方式加上知識（精品）值，即成為人工智能系統(tǒng)。

神經計算大腦模型生物神經系統(tǒng)生物神經系統(tǒng)是一個有高度組織和相互作用的數量巨大的細胞組織群體。人類大腦的神經細胞大約在1011一1013個左右。神經細胞也稱神經元，是神經系統(tǒng)的基本單元，它們按不同的結合方式構成了復雜的神經網絡。通過神經元及其聯(lián)接的可塑性，使得大腦具有學習、記憶和認知等各種智能。生物神經系統(tǒng)生物神經元主要由以下幾個部分組成：胞體，是神經細胞的本體;樹突，用以接受來自其它細胞元的信號;軸突，用以輸出信號，與多個神經元連接;突觸，是一個神經元與另一個神經元相聯(lián)系的特殊部位，通過神經元軸突的端部靠化學接觸和電接觸將信號傳遞給下一個神經元的樹突或胞體。

生物神經元示意圖生物神經元的基本工作機制

一個神經元有兩種狀態(tài)-興奮和抑制。平時處于抑制狀態(tài)的神經元，其樹突和胞體接受其它神經元經由突觸傳來的興奮電位，多個輸入在神經元中以代數和的方式疊加；如輸入興奮總量超過閾值，神經元被激發(fā)進入興奮狀態(tài)，發(fā)出輸出脈沖，由軸突的突觸傳遞給其它神經元。一個神經元的興奮和抑制兩種狀態(tài)是由細胞膜內外之間不同的電位差來表征的。在抑制狀態(tài)，細胞膜內外之間有內負外正的電位差，這個電位差大約在-50—-100mv之間。在興奮狀態(tài)，則產生內正外負的相反電位差，這時表現為約60—100mv的電脈沖。細胞膜內外的電位差是由膜內外的離子濃度不同導致的。細胞的興奮電脈沖寬度一般大約為1ms。

生物神經特性(1)并行分布處理的工作模式

實際上大腦中單個神經元的信息處理速度是很慢的，每次約1毫秒(ms)，比通常的電子門電路要慢幾個數量級。每個神經元的處理功能也很有限，估計不會比計算機的一條指令更復雜。但是人腦對某一復雜過程的處理和反應卻很快，一般只需幾百毫秒。例如要判定人眼看到的兩個圖形是否一樣，實際上約需400ms，而在這個處理過程中，與腦神經系統(tǒng)的一些主要功能，如視覺、記億、推理等有關。按照上述神經元的處理速度，如果采用串行工作模式，就必須在幾百個串行步內完成，這實際上是不可能辦到的。因此只能把它看成是一個由眾多神經元所組成的超高密度的并行處理系統(tǒng)。例如在一張照片尋找一個熟人的面孔，對人腦而言，幾秒鐘便可完成，但如用計算機來處理，以現有的技術，是不可能在短時間內完成的。由此可見，大腦信息處理的并行速度已達到了極高的程度．生物神經特性(2)神經系統(tǒng)的可塑性和自組織性。神經系統(tǒng)的可塑性和自組織性與人腦的生長發(fā)育過程有關。例如，人的幼年時期約在9歲左右，學習語言的能力十分強，說明在幼年時期，大腦的可塑性和柔軟性特別良好。從生理學的角度看，它體現在突觸的可塑性和聯(lián)接狀態(tài)的變化，同時還表現在神經系統(tǒng)的自組織特性上。例如在某一外界信息反復刺激下．接受該信息的神經細胞之間的突觸結合強度會增強。這種可塑性反映出大腦功能既有先天的制約因素，也有可能通過后天的訓練和學習而得到加強。神經網絡的學習機制就是基于這種可塑性現象，并通過修正突觸的結合強度來實現的。生物神經特性(3)信息處理與信息存貯合二為一。大腦中的信息處理與信息存貯是有機結合在一起的，而不像現行計算機那樣．存貯地址和存貯內容是彼此分開的。由于大腦神經元兼有信息處理和存貯功能，所以在進行回億時，不但不存在先找存貯地址而后再調出所存內容的問題，而且還可以由一部分內容恢復全部內容.(4)信息處理的系統(tǒng)性大腦是一個復雜的大規(guī)模信息處理系統(tǒng)，單個的元“神經元”不能體現全體宏觀系統(tǒng)的功能。實際上，可以將大腦的各個部位看成是一個大系統(tǒng)中的許多子系統(tǒng)。各個子系統(tǒng)之間具有很強的相互聯(lián)系，一些子系統(tǒng)可以調節(jié)另一些子系統(tǒng)的行為。例如，視覺系統(tǒng)和運動系統(tǒng)就存在很強的系統(tǒng)聯(lián)系，可以相互協(xié)調各種信息處理功能生物神經特性(5)能接受和處理模糊的、模擬的、隨機的信息。(6)求滿意解而不是精確解.人類處理日常行為時，往往都不是一定要按最優(yōu)或最精確的方式去求解，而是以能解決問題為原則，即求得滿意解就行了。(7)系統(tǒng)具有魯棒性和容錯性人工神經網絡結構人工神經網絡人工神經元模型常見響應函數人工神經網絡典型結構

人工神經網絡的進展初創(chuàng)階段（二十世紀四十年代至六十年代）

1943年，美國心理學家W.S.Mcculloch和數理邏輯學家W.Pitts合作，以數學邏輯為研究手段，探討了客觀事件在神經網絡的形式問題，在此基礎上提出了神經元的數學模型，即MP（Mcculloch-Pitts）模型。

1960年，威德羅和霍夫率先把神經網絡用于自動控制研究。過度階段（二十世紀六十年代初至七十年代）

M.Minsky和S.Papert經過多年的潛心研究,于1969年出版了影響深遠的《Perceptron》一書，從理論上證明了以單層感知機為代表的網絡系統(tǒng)在某些能力方面的局限性。

60年代末期至80年代中期，神經網絡控制與整個神經網絡研究一樣，處于低潮高潮階段（二十世紀八十年代）

1982和1984年，美國加州理工學院的生物物理學家，J.Hopfield在美國科學院院刊發(fā)表的兩篇文章，有力地推動了人工神經網絡的研究與應用，并引發(fā)了研究神經網絡的一次熱潮。

80年代后期以來，隨著人工神經網絡研究的復蘇和發(fā)展，對神經網絡控制的研究也十分活躍。這方面的研究進展主要在神經網絡自適應控制和模糊神經網絡控制及其在機器人控制中的應用上平穩(wěn)發(fā)展階段（二十世紀九十年代以后）

人工神經網絡的進展1.可以充分逼近任意復雜的非線性關系2.所有定量或定性的信息都等勢分布貯存于網絡內的各神經元，故有很強的魯棒性和容錯性3.采用并行分布處理方法，使得快速進行大量運算成為可能4.可學習和自適應不知道或不確定的系統(tǒng)5.能夠同時處理定量、定性知識。6.可以通過軟件和硬件實現。

人工神經網絡的特性人工神經網絡

直觀理解神經網絡是一個并行和分布式的信息處理網絡結構它一般由大量神經元組成每個神經元只有一個輸出，可以連接到很多其他的神經元每個神經元輸入有多個連接通道，每個連接通道對應于一個連接權系數

概念人工神經網絡是反映人腦結構及功能的一種抽象數學模型，是由大量神經元節(jié)點互連而成的復雜網絡，用以模擬人類進行知識的表示與存儲以及利用知識進行推理的行為。人工神經網絡（ANN）可以看成是以人工神經元為結點，用有向加權弧連接起來的有向圖。在此有向圖中，人工神經元就是對生物神經元的模擬，而有向弧則是軸突—突觸—樹突對的模擬。有向弧的權值表示相互連接的兩個人工神經元間相互作用的強弱。人工神經元模型

通用模型求和操作激勵函數f激勵函數的基本作用控制輸入對輸出的激活作用對輸入、輸出進行函數轉換將可能無限域的輸入變換成指定的有限范圍內的輸出f為輸出變換函數，也叫激勵函數，往往采用0、1二值函數或Ｓ形函數，這三種函數都是連續(xù)和非線性的，如下圖。b.Sigmoid型激發(fā)函數稱為西格莫伊德（Sigmoid）函數，簡稱S型函數，其輸入輸出特性常用對數曲線或正切曲線等表示。這類曲線反映了神經元的飽和特性。S型函數是最常用的激發(fā)函數，它便于應用梯度技術進行搜索求解。a.閾值型對于這種模型，神經元沒有內部狀態(tài)，激發(fā)函數為一階躍函數，如上圖（a）所示。這時，輸出為：c.雙曲正切函數（見圖（c））來取代常規(guī)Ｓ形函數，因為Ｓ形函數的輸出均為正值，而雙曲正切函數的輸出值可為正或負。雙曲正切函數如下式所示：

人工神經網絡結構

人工神經網絡結構人工神經網絡是具有下列特性的有向圖

對于每個節(jié)點i存在一個狀態(tài)變量xi；

從節(jié)點j至節(jié)點i,存在一個連接權系數wij；

對于每個節(jié)點i，存在一個閾值θ

i；

對于每個節(jié)點i，定義一個變換函數fi

；對于最一般的情況，此函數取如下的形式

神經網絡的基本特性和結構神經元的模型確定之后，一個神經網絡的特性及能力主要取決于網絡的拓撲結構及學習方法人工神經網絡連接的幾種基本形式前向網絡(a)從輸出到輸入有反饋的前向網絡(b)用來存儲某種模式序列層內互連前向網絡(c)限制層內同時動作的神經元；分類功能相互結合型網絡(d)

人工神經網絡典型結構x1x2xn………y1y2ynx1x2xn………y1y2yn有反饋的前饋網絡單純前饋網絡a）b）x1x2xn………y1y2yn前饋內層互聯(lián)網絡x1x2x3x4y1y2y3y4反饋型全互聯(lián)網絡c）d）人工神經網絡最具有吸引力的特點是它的學習能力。學習是神經網絡研究的一個重要內容，神經網絡的適應性是通過學習實現的.人工神經網絡的學習過程就是對它的訓練過程.

神經網絡基本學習算法什么是學習？

學習就是對信息進行編碼,其目的就是通過向有限個例子（訓練樣本）的學習來找到隱藏在例子背后（即產生這些例子）的規(guī)律（如函數形式）。當樣本數據改變系統(tǒng)參數時，系統(tǒng)會對這些改變進行自適應或自組織的學習，在神經網絡中表現為突觸的改變。按突觸修正假說，神經網絡在拓撲結構固定時，其學習歸結為連接權的變化。主要學習算法神經網絡基本學習算法分為：有師學習（監(jiān)督學習）無師學習（非監(jiān)督學習）強化學習有師學習有師（監(jiān)督）就是對每一個輸入Xi,都假定我們已經知道它的期望輸出Yi,這個Yi可以理解為監(jiān)督信號，也叫“教師信號”。對每一個輸入Xi及其對其估計的期望輸出Yi，就構成了一個訓練樣本。根據這若干組訓練樣本（Xi，Yi），對人工神經網絡進行訓練，利用學習系統(tǒng)的誤差（期望輸出與實際輸出之差），不斷校正學習系統(tǒng)的行為（即突觸權值），直到誤差滿足要求，算法停止。有師學習算法主要有δ規(guī)則、BP算法、LVQ算法等。

其關鍵之處，就是將教師信號加入到了網絡中.無師學習無師學習不需要知道期望輸出。在訓練過程中，只要想神經網絡提供輸入模式，神經網絡就能夠自動地適應連接權，以便按照相似特征把輸入模式分組聚集。無師學習算法主要在自適應諧振理論ART、Kohonen等自組織競爭型網絡中采用。

強化學習人類通常從與外界環(huán)境的交互中學習。強化學習技術是從控制理論、統(tǒng)計學、心理學等相關學科發(fā)展而來，最早可以追溯到巴甫洛夫的條件反射實驗。所謂強化（reinforcement）學習是指從環(huán)境狀態(tài)到行為映射的學習，以使系統(tǒng)行為從環(huán)境中獲得的累積獎勵值最大。我們并沒有直接告訴主體要做什么或者要采取哪個動作,而是主體通過看哪個動作得到了最多的獎勵來自己發(fā)現。主體的動作的影響不只是立即得到的獎勵，而且還影響接下來的動作和最終的獎勵。主體強化學習模型i:inputr:rewards:statea:action狀態(tài)sisi+1ri+1獎勵ri環(huán)境行為

aia0a1a2s0s1s2s3基本原理是：如果主體的某個行為策略導致環(huán)境正的獎賞（強化信號），那么主體以后產生這個行為策略的趨勢便會加強.監(jiān)督學習與非監(jiān)督學習的區(qū)別：

在監(jiān)督學習中，假定我們知道每一輸入對應的期望輸出，并利用學習系統(tǒng)的誤差，不斷校正系統(tǒng)的行為；在非監(jiān)督學習中，我們不知道學習系統(tǒng)的期望輸出。監(jiān)督學習與強化學習的區(qū)別：

SupervisedLearning–Learnfromexamplesprovidedbyaknowledgableexternalsupervisor.

ReinforcementLearning–Learnfrominteractionlearnfromitsownexperience,andtheobjectiveistogetasmuchrewardaspossible.Thelearnerisnottoldwhichactionstotake,butinsteadmustdiscoverwhichactionsyieldthemostrewardbytryingthem.

人工神經網絡基本模型

1.MP模型

MP模型屬于一種閾值元件模型，它是由美國McCulloch和Pitts提出的最早神經元模型之一。MP模型是大多數神經網絡模型的基礎。

標準MP模型

wij——代表神經元i與神經元j之間的連接強度(模擬生物神經元之間突觸連接強度)，稱之為連接權；

ui——代表神經元i的活躍值，即神經元狀態(tài)；