人工智能與專家系統(tǒng)

第八章人工神經網絡及應用8.1人工神經網絡概述8.2人工神經網絡基礎8.3人工神經網絡學習8.4人工神經網絡應用8.1人工神經網絡概述

利用機器模仿人類的智能是長期以來人們認識自然、改造自然和認識自身的理想。人工神經網絡（ArtificialNeuralNetwork）是一個用大量簡單處理單元經廣泛連接而組成的人工網絡，是對人腦或生物神經網絡若干基本特性的抽象和模擬。（1）研究ANN目的探索和模擬人的感覺、思維和行為的規(guī)律，設計具有人類智能的計算機系統(tǒng)。探討人腦的智能活動，用物化了的智能來考察和研究人腦智能的物質過程及其規(guī)律。（2）研究ANN方法●生理結構的模擬用仿生學觀點，探索人腦的生理結構，把對人腦的微觀結構及其智能行為的研究結合起來即人工神經網絡方法?！窈暧^功能的模擬從人的思維活動和智能行為的心理學特性出發(fā)，利用計算機系統(tǒng)來對人腦智能進行宏觀功能的模擬，即符號處理方法。（3）ANN的研究內容理論研究：從數(shù)學上描述ANN的動力學過程，建立相應的ANN模型。對于給定的學習樣本，找出一種能以較快的速度和較高的精度調整神經元間互連權值，使系統(tǒng)達到穩(wěn)定狀態(tài)，滿足學習要求的算法。實現(xiàn)技術的研究：探討利用電子、光學、生物等技術實現(xiàn)神經計算機的途徑。應用的研究：探討如何應用ANN解決實際問題，如模式識別、故障檢測、智能機器人等。（4）ANN的特點與優(yōu)勢具有自學習功能具有聯(lián)想存儲功能具有高速尋找優(yōu)化解的能力人工神經網絡的局限性人工神經網絡不適于高精度的計算正像很多人不善于直接計算類似資金的問題一樣，人工神經網絡不用于計算資金方面的問題。人工神經網絡不適于做類似順序計數(shù)的工作。人工神經網絡是以并行方式工作的。人工神經網絡的學習和訓練是一個艱難的過程。網絡的設計沒有嚴格確定的方法（一般憑經驗），所以選擇訓練方法和所需網絡結構沒有統(tǒng)一標準。脫機訓練往往需要很長時間，為了獲得最佳效果，常常要重復試驗多次。網絡收斂性的問題。8.2人工神經網絡基礎人工神經網絡的生物原型—大腦簡單的神經元8.2人工神經網絡基礎簡單的神經元神經元就是神經細胞，在人體內從大腦到全身存在大約1010個神經元。神經元的組成：細胞體：它是神經元的本體，內有細胞核和細胞質，完成普通細胞的生存功能。樹突：它有大量的分枝，多達103數(shù)量級，長度較短（通常不超過1毫米），用以接受來自其它神經元的信號。軸突：用以輸出信號，有些較長（可達1米以上），軸突的遠端也有分枝，可與多個神經元相連。突觸：它是一個神經元與另一個神經元相聯(lián)系的特殊部位，通常是一個神經元軸突的端部靠化學接觸或電接觸將信號傳遞給下一個神經元的樹突或細胞體。8.2人工神經網絡基礎神經元間信號的傳遞神經元間的信號通過突觸傳遞。通過它，一個神經元內傳送的沖擊信號將在下一個神經元內引起響應，使下一個神經元興奮，或阻止下一個神經元興奮。8.2人人工神神經網網絡基基礎神經元元的基基本工工作機機制一個神神經元元有兩兩種狀狀態(tài)———興興奮和和抑制制平時處處于抑抑制狀狀態(tài)的的神經經元，，當接接收到到其它它神經經元經經由突突觸傳傳來的的沖擊擊信號號時，，多個個輸入入在神神經元元中以以代數(shù)數(shù)和的的方式式疊加加。進入突突觸的的信號號會被被加權權，起起興奮奮作用用的信信號為為正，，起抑抑制作作用的的信號號為負負。如果疊疊加總總量超超過某某個閾閾值，，神經經元就就會被被激發(fā)發(fā)進入入興奮奮狀態(tài)態(tài)，發(fā)發(fā)出輸輸出脈脈沖，，并由由軸突突的突突觸傳傳遞給給其它它神經經元。。神經元元被觸觸發(fā)后后有一一個不不應期期，在在此期期間內內不能能被觸觸發(fā)，，然后后閾值值逐漸漸下降降，恢恢復原原來狀狀態(tài)。。8.2人人工神神經網網絡基基礎神經元元的基基本工工作機機制神經元元是按按照““全或或無””的原原則工工作的的，只只有興興奮和和抑制制兩種種狀態(tài)態(tài)，但但也不不能認認為神神經元元只能能表達達或傳傳遞二二值邏邏輯信信號。。神經元元興奮奮時往往往不不是只只發(fā)一一個脈脈沖，，而是是發(fā)出出一串串脈沖沖，如如果把把一串串脈沖沖看成成是一一個調調頻信信號，，脈沖沖的密密度是是可以以表達達連續(xù)續(xù)量的的。神經網網絡基基本模模型黑箱當常規(guī)規(guī)方法法解決決不了了或效效果不不佳時時ANN方方法才才能顯顯示出出其優(yōu)優(yōu)越性性。尤尤其對對問題題的機機理不不甚了了解或或不能能用數(shù)數(shù)學模模型表表示的的系統(tǒng)統(tǒng),如如故障障診斷斷、特特征提提取和和預測測等問問題,ANN往往往是是最有有利的的工具具。另另一方方面,ANN對處處理大大量原原始數(shù)數(shù)據(jù)而而不能能用規(guī)規(guī)則或或公式式描述述的問問題,表表現(xiàn)出出極大大的靈靈活性性和自自適應應性。。8.2人人工神神經網網絡基基礎人工神神經網網絡的的拓撲撲結構構單層網網絡最簡單單的網網絡是是把一一組結結點形形成一一層。。左邊的的黑色色圓點點只起起著分分配輸輸入信信號的的作用用，沒沒有計計算作作用，，不看看作是是網絡絡的一一層。。右邊用用圓圈圈表示示的一一組結結點被被看作作一層層。8.2人人工神神經網網絡基基礎人工神神經網網絡的的拓撲撲結構構單層網網絡輸入信信號表表示為為行向向量：：x=(x1,x2,…,xN)，其其中每每一分分量通通過加加權連連接到到各結結點。。每一個個結點點均可可產生生一個個加權權和。。輸入和和結點點間采采用全全連接接，并并且都都是前前饋連連接。。實際的的人工工神經經網絡絡和生生物神神經網網絡中中有些些連接接可能能不存存在。。8.2人人工神神經網網絡基基礎人工神神經網網絡的的拓撲撲結構構單層網網絡在這種種單層層網絡絡中，，可把把各加加權表表示為為加權權矩陣陣W。矩陣的的維數(shù)數(shù)是Nxn，N是輸輸入信信號向向量（（也稱稱輸入入圖形形）的的分量量數(shù)，，n是是該層層內的的結點點數(shù)。。由第三三個輸輸入連連接到到第二二個結結點的的連接接權表表示為為W32。8.2人人工神神經網網絡基基礎人工神神經網網絡的的拓撲撲結構構單層網網絡輸入信信號的的加權權和表表示為為：s是各各結點點加權權和的的行向向量，，s=(s1,s2,…,sn)。輸出向向量y=(y1,y2,…,yn)，其其中yj=F(sj)。8.2人人工神神經網網絡基基礎人工神神經網網絡的的拓撲撲結構構多層網網絡一般來來說，，大而而復雜雜的網網絡能能提供供更強強的計計算能能力。。雖然目目前已已構成成了很很多網網絡模模型，，但它它們的的結點點都是是按層層排列列的，，這一一點正正是模模仿了了大腦腦皮層層中的的網絡絡模塊塊。多層網網絡是是由單單層網網絡進進行級級聯(lián)構構成的的，即即上一一層的的輸出出作為為下一一層的的輸入入。8.2人人工神神經網網絡基基礎人工神神經網網絡的的拓撲撲結構構多層網網絡兩層網網絡（（前饋饋全連連接網網絡））8.2人人工神神經網網絡基基礎人工神神經網網絡的的拓撲撲結構構多層網網絡三層網網絡（（前饋饋全連連接網網絡））8.2人人工神神經網網絡基基礎存儲和和回憶憶存儲就就是將將信息息或圖圖形存存在某某種存存儲器器中，，而回回憶則則是將將已存存儲的的信息息按某某種方方式恢恢復出出來。。為了與與人類類大腦腦的功功能類類比，，我們們把這這種信信息的的恢復復稱為為回憶憶。8.2人人工神神經網網絡基基礎存儲和和回憶憶人工神神經網網絡中中存儲儲圖形形的類類型在計算算機中中，數(shù)數(shù)據(jù)和和信息息是存存放在在存貯貯器中中（RAM或ROM)，，以8比特特字節(jié)節(jié)作為為存儲儲單位位。在人工工神經經網絡絡中，，信息息或圖圖形不不再限限定為為8比比特，，它是是多維維的二二進制制數(shù)據(jù)據(jù)或連連續(xù)信信息。。8.2人人工神神經網網絡基基礎存儲和和回憶憶人工神神經網網絡中中存儲儲的兩兩類圖圖形空間圖圖形的的存儲儲存儲單單個空空間靜靜態(tài)圖圖像，，如一一幅畫畫面。。時空圖圖形的的存儲儲存儲一一系列列隨時時間變變化的的圖像像，比比如電電影。。我們討討論的的人工工神經經網絡絡存儲儲的圖圖形大大多是是空間間圖形形，因因它是是構成成時空空圖形形的基基礎。。人工神神經網網絡中中圖形形的存存儲內容尋尋址存存儲器器它是在在人工工神經經網絡絡的訓訓練過過程中中形成成的，，相當當于通通過訓訓練將將信息息存儲儲在加加權矩矩陣W中。。訓練練一旦旦完成成，數(shù)數(shù)據(jù)就就相當當于變變換到到加權權矩陣陣的穩(wěn)穩(wěn)定狀狀態(tài)中中，因因此這這種存存儲是是長期期存儲儲。聯(lián)想存存儲器器它是在在人工工神經經網絡絡的回回憶操操作中中出現(xiàn)現(xiàn)的。。當對對網絡絡輸入入激勵勵信號號時，，作為為回憶憶結果果，網網絡的的輸出出給出出一個個響應應狀態(tài)態(tài)。這這一響響應狀狀態(tài)實實際上上也相相當于于一個個所需需的存存儲數(shù)數(shù)據(jù)（（響應應），，因此此這種種存儲儲為短短期存存儲。。存儲和和回憶憶存儲和和回憶憶回憶的的概念念回憶是是人類類智能能的一一個主主要特特征，，要想想回憶憶某個個人或或某件件事，，通常?？赏ㄍㄟ^聯(lián)聯(lián)想進進行。。當看到到一本本書的的封面面顏色色和作作者時時，會會聯(lián)想想到這這是一一本什什么書書（書書的內內容））。當丟失失東西西時，，可以以通過過聯(lián)想想到過過什么么地方方，做做過什什么事事情，，最后后回憶憶起把把東西西放在在什么么地方方。這兩種種情況況都有有一個個特點點，就就是不不管是是哪本本書，，還是是與東東西有有關的的地點點和事事情，，都是是經歷歷過的的，相相應的的記憶憶才有有可能能聯(lián)想想出所所需的的結果果。聯(lián)想的的兩種種方式式自聯(lián)想想：由由本身身的部部分特特征聯(lián)聯(lián)想起起整個個事物物的全全部特特征。。他聯(lián)想想：由由一件件事情情聯(lián)想想到另另一件件事情情。在人工工神經經網絡絡中，，回憶憶操作作也有有兩種種聯(lián)想想變換換自聯(lián)想想變換換他聯(lián)想想變換換存儲和和回憶憶回憶的的概念念在人工工神經經網絡絡中，，不管管是自自聯(lián)想想回憶憶還是是他聯(lián)聯(lián)想回回憶，，信息息的回回憶方方式有有兩種種。前饋回回憶反饋回回憶存儲和和回憶憶回憶的的概念念前饋回回憶輸入激激勵只只需通通過一一次存存儲矩矩陣就就可產產生所所需的的響應應。存儲和和回憶憶回憶的的概念念反饋回回憶輸入激激勵通通過存存儲矩矩陣W產生生響應應，該該響應應作為為激勵勵再反反饋通通過W，這這樣依依次循循環(huán)，，直到到激勵勵和響響應停停止變變化為為止，，即得得到所所要求求的響響應。8.3人人工神神經網網絡學學習人工神神經網網絡的的最主主要特特征之之一是是它可可以學學習。。任何何一個個人工工神經經網絡絡模型型要實實現(xiàn)某某種功功能的的操作作，就就必須須對它它進行行訓練練，讓讓它學學會要要做的的事情情，并并把這這些知知識記記憶（（存儲儲）在在網絡絡的加加權中中。學習或或訓練練的實實質就就是加加權矩矩陣隨隨外部部激勵勵（環(huán)環(huán)境））做自自適應應的變變化。。8.3人人工神神經網網絡學學習因為學學習和和訓練練的實實質是是變動動加權權值，，因此此很多多文獻獻中學學習和和訓練練的概概念是是混用用的。。嚴格格來說說，兩兩者是是有區(qū)區(qū)別的的，訓訓練通通常是是指調調整網網絡加加權的的操作作動作作和過過程，，這個個過程程對網網絡來來講就就是學學習。。比如舉舉辦一一個訓訓練班班對學學生進進行某某種技技能的的訓練練，對對學生生來講講，它它是在在該班班內學學習。。8.3神神經網網絡的的學習習方式式監(jiān)督學學習（（有教教師學學習））非監(jiān)督督學習習（無無教師師學習習）再勵學學習（（強化化學習習）監(jiān)督學學習環(huán)境教師學習系系統(tǒng)+輸入正確響響應實際響響應誤差信信號非監(jiān)督督學習習環(huán)境學習系系統(tǒng)輸入再勵學學習環(huán)境學習系系統(tǒng)輸入評價輸出狀態(tài)動作人工神神經網網絡的的應用用空間技技術：：飛行行器控控制系系統(tǒng)，，飛行行器元元件仿仿真，，飛行行器元元件錯錯誤探探測。。交通業(yè)業(yè)：交交通控控制、、道路路優(yōu)化化。金融業(yè)業(yè)：信信貸申申請評評估。。語言理理解：：語音音識別別，語語音壓壓縮，，聲調調識別別。遙感解解譯、、天氣氣預報報、故故障診診斷、、機器人人，制制造業(yè)業(yè)，保保險業(yè)業(yè)和醫(yī)醫(yī)學領領域等等?；谏裆窠浘W網絡模模式識識別功功能的的診斷斷系統(tǒng)統(tǒng)因子的的具體體選取取依據(jù)降降水的的主要要條件件，從從我國國T213數(shù)值值預報報產品品中選選取反反映保保定降降水條條件的的物理理量。。共從從36小時時預報報中選選出10個個網格格點要要素，，分別別是：：濕度度條件件：850HPA的的相對對濕度度、水水汽通通量；；垂直直速度度條件件：850的散散度、、200的的散度度、700的垂垂直速速度、、降水水量、、700的的渦度度；（（以上上為116E、、39N網網點的的值））東高高西低低條件件：110E、、120E、39N兩點點850的的高度度差；；鋒區(qū)區(qū)和能能量條條件：：116E、35N、45N兩點點850的的溫度度差、、TS。人工神神經網網絡在在短期期降水水預報報中的的應用用BP神神經網網絡的的建立立采用三三層BP人人工神神經網網絡模模式，，輸入入層為為10個神神經元元，對對應10個個預報報因子子。輸輸出層層為3個神神經元元，對對應降降水的的大中中小三三個降降水量量級。。中間間層一一般取取輸入入層和和輸出出層數(shù)數(shù)的平平均，，這里里取7個神神經元元。如如圖1所示示，X為為輸入入層，，H為為隱含含層，，Y為為預報報輸出出層。。網絡訓訓練1、預預報因因子0~1化：：Xi=(Xmax-Xi)/(Xmax-Xmin)2、在在訓練練以前前我們們取0~1之間間的隨隨機數(shù)數(shù)為連連接權權重系系數(shù)Uil、、Wlt和和閥值值Rl、Sj賦賦初值值。由由于訓訓練開開始時時誤差差常常常較大大，它它們將將在以以后的的訓練練學習習過程程中自自動逐逐步調調節(jié)3、02年年，我我臺從從3月月到11月月接收收T213數(shù)值值預報報產品品齊全全的共共有159天，，用前前109天天的資資料作作為網網絡訓訓練樣樣本訓練結果果經過兩萬萬多次的的訓練，，總體預預報誤差差達到了了4.0以下。。終止訓訓練后。。這109天中中共有降降水日27天，，其中小小雨20天，中中雨6天天，大雨雨以上降降水一次次。訓練練結束時時27天天降水全全部報出出，量級級也全部部正確，，只是空空報兩次次小雨過過程，歷歷史擬合合率達到到27/29=93%。試報結果果在試報的的50天天中共有有降水8次，其其中大雨雨2次次，漏一一次，一一次報中中雨。中中雨3次次，報對對2次，，漏一次次。3次次小雨，，一次報報中雨，，漏2次次。另空空報2次次小雨，，定性準準確率4/10=40%。分析與討討論擬合率雖雖然很高高，但試試報準確確率不太太理想。。這可能能與樣本本少，降降水模型型過于簡簡單，且且不分季季節(jié)有關關。如果果增加歷歷史樣本本，分季季節(jié)、分分類型建建立降水水模型。。根據(jù)不不同模型型特點，，分別找找不同的的預報因因子，有有可能提提高實際際的預報報準確率率（BP））神經網網絡的輸輸入與輸輸出不象象回歸方方程是線線性關系系，而是是非線性性的。因因此，因因子的選選好比較較困難，，沒有較較好的數(shù)數(shù)學方法法，所以以采用建建降水模模式的方方法，找找物理意意義較明明確的因因子。但但不同的的預報員員可能選選擇的不不同因子子。人工神