ANN講義-02-神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

第二章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)主要內(nèi)容：BN與AN；拓?fù)浣Y(jié)構(gòu)；存儲；訓(xùn)練重點：AN；拓?fù)浣Y(jié)構(gòu)；訓(xùn)練難點：訓(xùn)練7/24/20241神經(jīng)網(wǎng)絡(luò)是模擬人腦信息處理的機(jī)制與特性，并由大量的處理單元（神經(jīng)元）互相連接而成的網(wǎng)絡(luò)。是對生物神經(jīng)網(wǎng)絡(luò)進(jìn)行某種抽象、簡化和模擬。NN的信息處理：由神經(jīng)元之間的相互作用來實現(xiàn)。NN的知識與信息的存貯：表現(xiàn)為神經(jīng)元之間互連分布式的物理聯(lián)系。NN的學(xué)習(xí)和識別：決定于各神經(jīng)元連接權(quán)系數(shù)的動態(tài)化過程。7/24/202422.1生物神經(jīng)網(wǎng)絡(luò)1、構(gòu)成胞體(Soma)枝蔓（Dendrite）胞體(Soma)

軸突（Axon）突觸（Synapse）2、工作過程(略)7/24/202433、基本特征1）神經(jīng)元及其聯(lián)接；2）神經(jīng)元之間的聯(lián)接強(qiáng)度決定信號傳遞的強(qiáng)弱；3）神經(jīng)元之間的聯(lián)接強(qiáng)度是可以隨訓(xùn)練改變的；4）信號可以是起刺激作用的，也可以是起抑制作用的；5）一個神經(jīng)元接受的信號的累積效果決定該神經(jīng)元的狀態(tài)；6)每個神經(jīng)元可以有一個“閾值”。7/24/202442.2神經(jīng)元的結(jié)構(gòu)模型

神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的最基本單元（構(gòu)件）。人工神經(jīng)元模型應(yīng)該具有生物神經(jīng)元的六個基本特性。

2.2.1人工神經(jīng)元的基本構(gòu)成

神經(jīng)元---神經(jīng)網(wǎng)絡(luò)的基本處理單元。它一般是一個多輸入—單輸出的非線性器件。每個輸入對應(yīng)一個權(quán)，所有輸入的加權(quán)和決定神經(jīng)元的激活狀態(tài)（輸出狀態(tài)）。7/24/20245人工神經(jīng)元模擬生物神經(jīng)元的一階特性。輸入：X=（x1，x2，…，xn）聯(lián)接權(quán)：W=（w1，w2，…，wn）T網(wǎng)絡(luò)輸入： net=∑xiwi向量形式： net=XWxn

wnx1w1x2w2net=XW…∑模型的簡單表示7/24/20246∑(θi)X1XnX2Wi1Wi2WinuiSiyi其中：

ui

--神經(jīng)元的內(nèi)部狀態(tài)

θi

--閥值

Xn

--輸入信號

Win--連接的權(quán)值

Si

--外部輸入的控制信號為模擬生物神經(jīng)網(wǎng)絡(luò)突觸膜電位隨時間t的變化規(guī)律，則可以用一階微分方程來描述神經(jīng)元模型：模型的一般表示7/24/202472.2.2激活函數(shù)(ActivationFunction)激活函數(shù)——執(zhí)行對該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換，也可以稱為激勵函數(shù)、活化函數(shù)：o=f（net）

1、線性函數(shù)（LinerFunction）

neto0c神經(jīng)元的網(wǎng)絡(luò)輸入即輸出通常用激活函數(shù)來描述。1)作用：線性放大2)形式:

f（net）=k*net+c3)I/O特性（見右圖）7/24/202482、非線性斜面函數(shù)(RampFunction)

γ ifnet≥θf（net）=k*net if|net|<θ -γ ifnet≤-θ

γ>0為一常數(shù)，被稱為飽和值，為該神經(jīng)元的最大輸出。

γ-γθ

-θ

net

o

0由于線性函數(shù)會降低網(wǎng)絡(luò)性能，甚至使多級網(wǎng)絡(luò)的功能退化成單級網(wǎng)絡(luò)的功能。故常引入非線性激活函數(shù)。

1）作用：限制函數(shù)的值域在給定的范圍[γ

，-γ]內(nèi)。2）形式：3）I/O特性7/24/202493、閾值函數(shù)（ThresholdFunction）/階躍函數(shù)

β ifnet>θf（net）= -γ ifnet≤θβ、γ、θ均為非負(fù)實數(shù)，θ為閾值或二值形式：

1 ifnet>θf（net）= 0 ifnet≤θ或雙極形式：

1 ifnet>θf（net）= -1 ifnet≤θ

1）作用：僅用與判定神經(jīng)元所獲得的網(wǎng)絡(luò)輸入是否超過閥值2）形式：7/24/202410β

-γθonet03）I/O特性7/24/2024114、S形函數(shù)

（應(yīng)用最多）壓縮函數(shù)（SquashingFunction）和邏輯斯特函數(shù)（LogisticFunction）。

f（net）=a+b/(1+exp(-d*net))a，b，d為常數(shù)。它的飽和值為a和a+b。見圖a

最簡單形式為：

f（net）=1/(1+exp(-d*net))

函數(shù)的飽和值為0和1。見圖b

1）作用：可通過調(diào)節(jié)其參數(shù)得類似的閥值函數(shù)，并反映了神經(jīng)元的飽和特性。2）形式：7/24/202412a+bO(0,c)netac=a+b/2S形函數(shù)有較好的增益控制3）I/O特性：1O0net圖aS函數(shù)形式一函數(shù)名：logsig（x）圖bS函數(shù)形式二函數(shù)名：togsig（x）5、其它函數(shù)

（高斯函數(shù)、雙曲正切、擴(kuò)充平方函數(shù)等）7/24/2024132.2.3M-P模型

McCulloch-Pitts（M-P）模型，也稱為處理單元（PE）。

由美國McCulloch和Pitts在1943年提出的閥值加權(quán)和模型。由基本模型和激活函數(shù)結(jié)合而構(gòu)成的一種神經(jīng)元模型。它是大多數(shù)神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。有標(biāo)準(zhǔn)MP模型、延時MP模型和改進(jìn)的MP模型等。x2wi2

∑(θi)f（ui）xnwin…net=XWx1

wi1…uiyi

1、標(biāo)準(zhǔn)M-P模型

1）模型結(jié)構(gòu)：7/24/2024142)數(shù)學(xué)描述：3）解釋：

wij

--神經(jīng)元i與神經(jīng)元j之間的連接強(qiáng)度，即連接權(quán)；

ui

--神經(jīng)元

i

的活躍值。即神經(jīng)元的狀態(tài)；

xj

--神經(jīng)元j

的輸出，即神經(jīng)元的一個輸入；

θi

--神經(jīng)元i

的閥值；

yi

--M-P模型的輸出（即第i

個M-P神經(jīng)元模型的輸出）。7/24/2024154)輸入/輸出特性：在MP模型中，常用閥值函數(shù)或S型函數(shù)來描述其特性。初期的MP模型沒有給定調(diào)整權(quán)值大小的學(xué)習(xí)算法。后來，人們采用Hebb學(xué)習(xí)算法（規(guī)則）來調(diào)整神經(jīng)元的連接權(quán)。

Hebb學(xué)習(xí)規(guī)則：心理學(xué)家Hebb1949年提出學(xué)習(xí)行為的突觸聯(lián)系和神經(jīng)群理論表明：神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)功能。這種學(xué)習(xí)歸結(jié)為神經(jīng)元連接權(quán)的變化。調(diào)整的原則為：若第i和第j個神經(jīng)元同時處于興奮狀態(tài)，則它們之間的連接應(yīng)當(dāng)加強(qiáng)，否則減弱。即：7/24/202416

其中：、分別表示神經(jīng)元i到j(luò)的聯(lián)接在時刻t+1和時刻t的強(qiáng)度；表示學(xué)習(xí)速率比例常數(shù)；、為神經(jīng)元i和j兩個神經(jīng)元在t時刻的輸出。

該規(guī)則與“條件反射”學(xué)說一致，并已得到神經(jīng)細(xì)胞學(xué)說證實。

Hebb規(guī)則屬于聯(lián)想式學(xué)習(xí)。（此外還有：誤差傳輸式學(xué)習(xí)——Delta及δ規(guī)則、概率式學(xué)習(xí)——Boltzmann機(jī)學(xué)習(xí)規(guī)則（又稱模擬退火算法，學(xué)習(xí)速度慢）、競爭式學(xué)習(xí)、BP算法等）。7/24/2024172、延時M-P模型

1）數(shù)學(xué)描述：2）模型特點：①神經(jīng)元的狀態(tài)滿足“激活/抑制”規(guī)律，即1/0規(guī)律；②為MISO處理單元；③具有“空間整合”與“閥值”作用：

——突觸時延

7/24/202418④所有神經(jīng)元具有相同的、恒定的工作節(jié)律，節(jié)律取決于突觸時延。⑤不考慮時間整合作用和不應(yīng)期；⑥神經(jīng)元突觸的時延為常數(shù)，權(quán)系數(shù)Wij

也為常數(shù)，即：3、改進(jìn)的M—P模型1）數(shù)學(xué)描述：對于時延MP模型，如考慮時間整合作用和不應(yīng)期，則有：（k=1,2,…，）7/24/202419其中：①表示神經(jīng)元內(nèi)的反饋連接權(quán)：為正數(shù)，為單調(diào)減的指數(shù)函數(shù)。②隨變化，也即隨時延變化，且：表示對過去所有輸入進(jìn)行時間整合。該模型具有比時延M-P模型更具結(jié)構(gòu)可塑性，因為權(quán)參數(shù)Wij（k）是可變的。7/24/2024202．3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)涮匦赃B接的拓?fù)浔硎?

ANi

wij

ANj

拓?fù)浣Y(jié)構(gòu)表示的含義是從神經(jīng)元ANi到神經(jīng)元ANj具有權(quán)為

ij的聯(lián)接。神經(jīng)網(wǎng)絡(luò)的一般結(jié)構(gòu)示意圖：7/24/2024212.3.1聯(lián)接模式

用正號（“+”，可省略）表示傳送來的信號起刺激作用，它用于增加神經(jīng)元的活躍度；用負(fù)號（“-”）表示傳送來的信號起抑制作用，它用于降低神經(jīng)元的活躍度。層次（又稱為“級”）的劃分，導(dǎo)致了神經(jīng)元之間的三種不同的互連模式：

層內(nèi)聯(lián)接、循環(huán)聯(lián)接和層內(nèi)聯(lián)接。7/24/202422

1、層內(nèi)聯(lián)接/區(qū)域聯(lián)接/側(cè)聯(lián)接

——本層內(nèi)神經(jīng)元之間的聯(lián)接。作用：加強(qiáng)和完成層內(nèi)神經(jīng)元之間的競爭：聯(lián)接權(quán)取正值時，組內(nèi)加強(qiáng)；聯(lián)接權(quán)取負(fù)值時，組內(nèi)減弱（競爭）。網(wǎng)絡(luò)示意：7/24/2024232、循環(huán)聯(lián)接

——神經(jīng)元到自身的聯(lián)接（自環(huán)反饋）作用：不斷加強(qiáng)自身的激活值，使本次的輸出與上次的輸出相關(guān)，是一種特殊的反饋信號。網(wǎng)絡(luò)示意：7/24/202424作用：實現(xiàn)層間的信號傳遞，可以是前饋，也可以是反饋。網(wǎng)絡(luò)示意：如上述二圖等。3、層間聯(lián)接

——不同層中的神經(jīng)元間的聯(lián)接7/24/2024252.3.2網(wǎng)絡(luò)的分層結(jié)構(gòu)

1、根據(jù)信號傳遞方式，NN可分為：前向網(wǎng)絡(luò)、反饋網(wǎng)絡(luò)、相互結(jié)合型網(wǎng)絡(luò)、混合型網(wǎng)絡(luò)等。1）前向網(wǎng)絡(luò)（前饋網(wǎng)絡(luò)）：一般有多層（層狀結(jié)構(gòu)）。①特點：

a、只有前后相鄰兩層之間神經(jīng)元相互聯(lián)接，各神經(jīng)元之間沒有反饋。

b、每個神經(jīng)元可以從前一層接收多個輸入，并只有一個輸出送給下一層的各神經(jīng)元。

c、前向網(wǎng)絡(luò)中具有計算功能的神經(jīng)元（節(jié)點）為計算單元，而輸入節(jié)點無計算功能。7/24/202426②前向網(wǎng)絡(luò)的結(jié)構(gòu)：7/24/202427②反饋網(wǎng)絡(luò)的結(jié)構(gòu)：2）反饋網(wǎng)絡(luò)：一般也有多層。①特點：

a、從輸出層到輸入層有反饋——即每個節(jié)點同時接收上一層的輸入和來自其后面某層節(jié)點的反饋輸入。其中包括來自循環(huán)聯(lián)接的信號（自環(huán)反饋）。

b、反饋網(wǎng)絡(luò)中每個節(jié)點都是一個計算單元。7/24/2024283）、相互結(jié)合型網(wǎng)（網(wǎng)狀結(jié)構(gòu)）：包括全互聯(lián)和部分互聯(lián)類型。①特點：a、網(wǎng)絡(luò)中每個神經(jīng)元都有可能相互聯(lián)接，既輸入又輸出。b、信號在神經(jīng)元之間反復(fù)傳遞，網(wǎng)絡(luò)處于動態(tài)中。②相互結(jié)合型網(wǎng)結(jié)構(gòu)：（Hopfield網(wǎng)絡(luò)和Boltzmann機(jī)均屬于這種類型。）7/24/2024294）、混合型網(wǎng)絡(luò)（層內(nèi)有結(jié)相互結(jié)合的前向網(wǎng)絡(luò)）①特點：

a、層內(nèi)可能互聯(lián)

b、可限制同層內(nèi)神經(jīng)元同時興奮或抑制的神經(jīng)元的數(shù)目，來完成特定的功能。②混合型網(wǎng)絡(luò)結(jié)構(gòu)（略）

7/24/2024302、根據(jù)網(wǎng)絡(luò)的層（級）次分類，可分為：單級網(wǎng)絡(luò)、多級網(wǎng)絡(luò)、循環(huán)網(wǎng)絡(luò)等。1）、單級網(wǎng)絡(luò)又分簡單單級網(wǎng)絡(luò)、單級橫向反饋網(wǎng)。①、簡單單級網(wǎng)：（輸入層的神經(jīng)元不對輸入信號做任何處理，只有輸出層1層）7/24/202431Wij

——I層第i個神經(jīng)元到II層第j個神經(jīng)元的聯(lián)接強(qiáng)度。設(shè)輸出層第j個神經(jīng)元的網(wǎng)絡(luò)輸入為netj，則：該網(wǎng)絡(luò)的輸入、輸出向量及權(quán)矩陣：若設(shè)：NET=（net1，net2，……，netm）則：其中，F(xiàn)——輸出層神經(jīng)元的激活函數(shù)的向量形式。并規(guī)定F對應(yīng)每個神經(jīng)元有一個分量，而且它的第j個分量對應(yīng)作用在NET的第j個分量netj上。一般地，不對其各個分量加以區(qū)別，并認(rèn)為它們相同。7/24/202432②、單級橫向反饋網(wǎng)：在簡單單級網(wǎng)的輸出層上加上側(cè)聯(lián)接時，便構(gòu)成了單級橫向反饋網(wǎng)。7/24/202433（單級橫向反饋網(wǎng)絡(luò)存在收斂或不收斂的可能，即穩(wěn)定性問題。）設(shè)輸出層的第第i個神經(jīng)元到輸出層第j個神經(jīng)元的聯(lián)接強(qiáng)度為Vij，則所有的權(quán)構(gòu)成側(cè)聯(lián)接權(quán)矩陣V為：。則有：7/24/202434V=（vij）NET=XW+OVO=F（NET）時間參數(shù)——神經(jīng)元的狀態(tài)在主時鐘的控制下同步變化考慮X總加在網(wǎng)絡(luò)上的情況NET（t+1）=X（t）W+O（t）V

O(t+1)=F(NET(t+1))O（0）=0考慮僅在t=0時加X的情況。穩(wěn)定性判定單級橫向反饋網(wǎng)歸納:7/24/2024352)、多級網(wǎng)絡(luò)由多個單級網(wǎng)聯(lián)接而成，以模擬人腦的某些部位的分級結(jié)構(gòu)特征，提高網(wǎng)絡(luò)的計算能力。①層次劃分約定：

a、用層號確定層的高低：層號較小者，層次較低；層號較大者，層次較高；

b、信號只被允許從較低層流向較高層。②非線性激活函數(shù)引入非線性激活函數(shù)是保證多級網(wǎng)絡(luò)具有多級網(wǎng)絡(luò)功能的前提。其作用是解決ANN的線性不可分問題。若引入線性函數(shù)到多級網(wǎng)絡(luò)中，則會使多級網(wǎng)絡(luò)退化為單級網(wǎng)絡(luò)功能，降低多級網(wǎng)絡(luò)的計算功能。7/24/202436層號的遞歸方式：

輸入層（0層）：只接收來自網(wǎng)絡(luò)外的信號，不計入網(wǎng)絡(luò)的層數(shù)。

第j層：為第j-1層的直接后繼層（j＞0），它直接接受第j-1層的輸出。

輸出層：網(wǎng)絡(luò)的最后一層，層號最大，輸出網(wǎng)絡(luò)的計算結(jié)果。

隱藏層：除輸入層和輸出層以外的其他各層。不直接接受外界信號，也不直接向外界發(fā)送信號。7/24/2024373）循環(huán)網(wǎng)絡(luò)將網(wǎng)絡(luò)輸出信號以某種聯(lián)接反饋到輸入端，便可構(gòu)成一個多層循環(huán)網(wǎng)絡(luò)，如下圖。7/24/202438循環(huán)網(wǎng)絡(luò)的重要作用：使網(wǎng)絡(luò)具有一定的記憶功能。記憶功能的產(chǎn)生，源于信號的“迭代”作用。在迭代過程中，當(dāng)前的輸出受到上次輸出的影響，亦即受到前一個輸入的影響，也即輸入的原始信號被逐步的“加強(qiáng)”，被“修改”。網(wǎng)絡(luò)會出現(xiàn)收斂或不收斂的可能，即穩(wěn)定或不穩(wěn)定性。這是因為：反饋信號會引起網(wǎng)絡(luò)輸出的不斷變化。如果這種變化逐漸減小，并且最后能消失時，網(wǎng)絡(luò)達(dá)到了平衡狀態(tài)即穩(wěn)定；如果這種變化不能消失，則稱該網(wǎng)絡(luò)是不穩(wěn)定的。7/24/2024392.4存儲與映射

1、信息的存儲方式神經(jīng)網(wǎng)絡(luò)的模式類型有空間模式（SpatialModel）——指網(wǎng)絡(luò)所有的神經(jīng)元在某個時刻的狀態(tài)所確定的神經(jīng)網(wǎng)絡(luò)的狀態(tài)。時空模式（SpatialtemporalModel）——指以時間作為軸來展開研究的空間模式系列。目前，以研究空間模式為主。神經(jīng)網(wǎng)絡(luò)的主要作用是：信息處理。信息又是一模式的形式出現(xiàn)的。神經(jīng)網(wǎng)絡(luò)里神經(jīng)元的狀態(tài)、網(wǎng)絡(luò)中的各種參量等都是“模式”。7/24/202440按照信息存、取的方式，空間模式三種存儲方式

RAM方式（RandomAccessMemory）隨機(jī)訪問方式是將地址映射到數(shù)據(jù)。

CAM方式（ContentAddressableMemory）內(nèi)容尋址方式是將數(shù)據(jù)映射到地址。

AM方式（AssociativeMemory）相聯(lián)存儲方式是將數(shù)據(jù)映射到數(shù)據(jù)。神經(jīng)網(wǎng)絡(luò)通常工作在CAM和AM兩種方式。7/24/202441其中：在學(xué)習(xí)/訓(xùn)練階段神經(jīng)網(wǎng)絡(luò)工作在CAM方式。將樣本數(shù)據(jù)以各層神經(jīng)元之間的連接權(quán)矩陣的穩(wěn)定狀態(tài)存放起來。權(quán)矩陣又被稱為網(wǎng)絡(luò)的長期存儲（LongTermMemory，簡記為LTM）。網(wǎng)絡(luò)正常工作階段工作在AM方式。輸入模式被轉(zhuǎn)換成輸出模式（由輸出層神經(jīng)元的狀態(tài)表示出來的）。神經(jīng)元的狀態(tài)表示的模式為短期存儲（ShortTermMemory，簡記為STM）。7/24/2024422、神經(jīng)網(wǎng)絡(luò)信息的映射自相聯(lián)（Auto-associative）映射設(shè)：訓(xùn)練網(wǎng)絡(luò)的樣本集向量集合為

{A1，A2，…，An}

在理想情況下，該網(wǎng)絡(luò)在完成訓(xùn)練后，其權(quán)矩陣存放的將是上面所給的向量集合。此時的網(wǎng)絡(luò)映射為自相聯(lián)映射。7/24/202443異相聯(lián)（Hetero-associative）映射 設(shè)訓(xùn)練樣本集為“向量對”組成的集合：

{（A1，B1），（A2，B2），…，（An，Bn）}

該網(wǎng)絡(luò)在完成訓(xùn)練后，其權(quán)矩陣存放的將是上面所給的向量集合所蘊(yùn)含的對應(yīng)關(guān)系。即當(dāng)輸入向量A不是樣本的第一的分量時，樣本中不存在這樣的元素（Ak，Bk），使得

Ai≤Ak≤A或者A≤Ak≤Aj

且此時有

Ai≤A≤Aj

則向量B是Bi與Bj的插值。

7/24/2024442.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點是它的學(xué)習(xí)能力。1962年，Rosenblatt給出了人工神經(jīng)網(wǎng)絡(luò)著名的學(xué)習(xí)定理：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會它可以表達(dá)的任何東西。人工神經(jīng)網(wǎng)絡(luò)的表達(dá)能力大大地限制了它的學(xué)習(xí)能力。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是對它的訓(xùn)練過程。不同方法調(diào)整權(quán)值，即不同學(xué)習(xí)算法。7/24/2024452.5.1無導(dǎo)師學(xué)習(xí)1、含義

無導(dǎo)師學(xué)習(xí)與無導(dǎo)師訓(xùn)練相對應(yīng)。就是將訓(xùn)練樣本集合中蘊(yùn)含的統(tǒng)計特性抽取出來，并以神經(jīng)元之間的聯(lián)接權(quán)的形式存于網(wǎng)絡(luò)中，使網(wǎng)絡(luò)可以按照向量的相似性進(jìn)行分類，并對一個輸入能夠給出相容的輸出。

訓(xùn)練——將由樣本向量構(gòu)成的樣本集合（樣本集、訓(xùn)練集）輸入到人工神經(jīng)網(wǎng)絡(luò)的過程中，按照一定的方式去調(diào)整神經(jīng)元之間的聯(lián)接權(quán)，使得網(wǎng)絡(luò)能夠?qū)颖炯膬?nèi)涵以聯(lián)接權(quán)矩陣的方式存儲起來，從而使得在網(wǎng)絡(luò)接受輸入時，可以給出適當(dāng)?shù)妮敵觥?/p>

ANN的學(xué)習(xí)分為：無導(dǎo)師學(xué)習(xí)和有導(dǎo)師學(xué)習(xí)兩種。7/24/2024462、特點

①不需要目標(biāo)樣本；②具有隨機(jī)性；③最能體現(xiàn)ANN的擬人思維過程，具有自組織、自適應(yīng)功能。3、局限性①輸入向量分類困難；②輸出目標(biāo)是隨機(jī)性、不明確性、難以預(yù)測性等。4、主要的無導(dǎo)師訓(xùn)練方法

1）Hebb學(xué)習(xí)

2）競爭與協(xié)同學(xué)習(xí)

3）隨機(jī)聯(lián)接學(xué)習(xí)等7/24/2024472.5.2有導(dǎo)師學(xué)習(xí)

1、有導(dǎo)師學(xué)習(xí)含義①有導(dǎo)師學(xué)習(xí)(SupervisedLearning)與有導(dǎo)師訓(xùn)練(SupervisedTraining)相對應(yīng)。②輸入向量與其對應(yīng)的輸出向量構(gòu)成一個“訓(xùn)練對”。2、特點①同時要有輸入、輸出訓(xùn)練樣本；②系統(tǒng)復(fù)雜時，對環(huán)境條件變化的自適能力較差；③應(yīng)用最廣泛、最成功。7/24/2024483、學(xué)習(xí)主要步驟

①網(wǎng)絡(luò)初始化（對輸入向量進(jìn)行分類）；②從樣本集合中取一個樣本（Ai，Bi）；③計算出網(wǎng)絡(luò)的實際輸出