人工神經(jīng)網(wǎng)絡(luò)的基本模型

2023-5-9北京科技大學(xué)自動化系1其次章人工神經(jīng)網(wǎng)絡(luò)的根本模型北京科技大學(xué)信息工程學(xué)院付冬梅623349672023-5-9北京科技大學(xué)自動化系2其次章人工神經(jīng)網(wǎng)絡(luò)的根本模型人工神經(jīng)元的根本模型幾種典型的激活函數(shù)人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述人工神經(jīng)網(wǎng)絡(luò)的根本拓?fù)錁?gòu)造2023-5-9北京科技大學(xué)自動化系3生物神經(jīng)元構(gòu)造〔1〕細(xì)胞體:細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜。〔2〕樹突：胞體短而多分枝的突起。相當(dāng)于神經(jīng)元的輸入端?！?〕軸突：胞體上最長枝的突起，也稱神經(jīng)纖維。端部有很多神經(jīng)末稍傳出神經(jīng)沖動。〔4〕突觸：神經(jīng)元間的連接接口，每個神經(jīng)元約有1萬～10萬個突觸。神經(jīng)元通過其軸突的神經(jīng)末稍，經(jīng)突觸與另一神經(jīng)元的樹突聯(lián)接，實現(xiàn)信息的傳遞。由于突觸的信息傳遞特性是可變的，形成了神經(jīng)元間聯(lián)接的柔性，稱為構(gòu)造的可塑性?！?〕細(xì)胞膜電位：神經(jīng)細(xì)胞在受到電的、化學(xué)的、機(jī)械的刺激后，能產(chǎn)生興奮與抑制。2.1人工神經(jīng)元的根本模型其次章人工神經(jīng)網(wǎng)絡(luò)的根本模型2023-5-9北京科技大學(xué)自動化系4生物神經(jīng)元構(gòu)造2.1人工神經(jīng)元的根本模型其次章人工神經(jīng)網(wǎng)絡(luò)的根本模型2023-5-9北京科技大學(xué)自動化系5

生物神經(jīng)元功能〔1〕興奮與抑制：當(dāng)傳入神經(jīng)元沖動，經(jīng)整和使細(xì)胞膜電位上升，超過動作電位的閾值時，為興奮狀態(tài)，產(chǎn)生神經(jīng)沖動，由軸突經(jīng)神經(jīng)末稍傳出。當(dāng)傳入神經(jīng)元的沖動，經(jīng)整和，使細(xì)胞膜電位降低，低于閾值時，為抑制狀態(tài)，不產(chǎn)生神經(jīng)沖動。〔2〕學(xué)習(xí)與遺忘：由于神經(jīng)元構(gòu)造的可塑性，突觸的傳遞作用可增加與減弱，因此，神經(jīng)元具有學(xué)習(xí)與遺忘的功能。2.1人工神經(jīng)元的根本模型其次章人工神經(jīng)網(wǎng)絡(luò)的根本模型2023-5-9北京科技大學(xué)自動化系62.1人工神經(jīng)元的根本模型其次章人工神經(jīng)網(wǎng)絡(luò)的根本模型人工神經(jīng)元的六個根本特征：1〕神經(jīng)元及其聯(lián)接；2〕神經(jīng)元之間的聯(lián)接強(qiáng)度打算信號傳遞的強(qiáng)弱；3〕神經(jīng)元之間的聯(lián)接強(qiáng)度是可以隨訓(xùn)練轉(zhuǎn)變的；4〕信號可以是起刺激作用，也可以是起抑制作用；5〕一個神經(jīng)元承受的信號的累積效果打算該神經(jīng)元的狀態(tài)；6)每個神經(jīng)元可以有一個“閾值”。神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的最根本單元〔構(gòu)件〕。人工神經(jīng)元模型應(yīng)具有生物神經(jīng)元的六個根本特性。2023-5-9北京科技大學(xué)自動化系7圖2.1MP神經(jīng)元模型〔a〕2.1人工神經(jīng)元的根本模型其次章人工神經(jīng)網(wǎng)絡(luò)的根本模型

神經(jīng)元i的輸入yj輸出yi

描述:設(shè)則每一神經(jīng)元的輸出，或‘0’或‘1’，‘0’表示’抑制’，‘1’表示‘興奮’：根本MP模型2023-5-9北京科技大學(xué)自動化系8f(x)：作用（激發(fā)）函數(shù)——是一種階躍函數(shù)。從神經(jīng)元的結(jié)構(gòu)示意圖上可見：當(dāng)輸入yj的加權(quán)和大于域值時，神經(jīng)元的輸出yi

=1，即神經(jīng)元處于“興奮狀態(tài)”；反之，當(dāng)輸入yj的加權(quán)和大于域值時，神經(jīng)元的輸出yi=0，即神經(jīng)元處于“抑制狀態(tài)”在基本MP模型中取整數(shù)。2.1人工神經(jīng)元的根本模型其次章人工神經(jīng)網(wǎng)絡(luò)的根本模型2023-5-9北京科技大學(xué)自動化系9人工神經(jīng)元模擬生物神經(jīng)元的一階特性。輸入：Y=〔y0，y1，y2，…，yn〕聯(lián)接權(quán)：W=〔w0，w1，w2，…，wn〕T網(wǎng)絡(luò)輸入： netj=∑wjiyi向量形式： netj=WYynwn∑y1w1y2w2neti=WY…MP模型的另一種形式令，則MP神經(jīng)元模型可以表示為：2.1人工神經(jīng)元的根本模型其次章人工神經(jīng)網(wǎng)絡(luò)的根本模型2023-5-9北京科技大學(xué)自動化系102.1人工神經(jīng)元的根本模型其次章人工神經(jīng)網(wǎng)絡(luò)的根本模型M-P模型從哪些方面刻畫了自然神經(jīng)元？前面已介紹過生物〔自然〕神經(jīng)元具有如下特點：兩態(tài)工作：即工作于興奮或抑制兩種狀態(tài)；閾值作用：即超過某一閾值則神經(jīng)元興奮；多輸入單輸出特性；空間疊加性；可塑性聯(lián)接：即突觸局部的聯(lián)接強(qiáng)度可以調(diào)整。雖然M-P模型無法實現(xiàn)生物神經(jīng)元的空間、時間的穿插疊加性，但其它生物神經(jīng)元功能都具備。2023-5-9北京科技大學(xué)自動化系11M-P模型在人工神經(jīng)網(wǎng)絡(luò)中的地位首先M-P模型是全部人工神經(jīng)元中第一個被建立起來的，它在多個方面都顯示誕生物神經(jīng)元所具有的根本特性。其次，目前其它形式的人工神經(jīng)元已有很多，但大多數(shù)都是在M-P模型的根底上經(jīng)過不同的修正，改進(jìn)變換而進(jìn)展起來。因此M-P人工神經(jīng)元是整個人工神經(jīng)網(wǎng)的根底。2.1人工神經(jīng)元的根本模型其次章人工神經(jīng)網(wǎng)絡(luò)的根本模型2023-5-9北京科技大學(xué)自動化系122.1人工神經(jīng)元的根本模型其次章人工神經(jīng)網(wǎng)絡(luò)的根本模型對M-P人工神經(jīng)元進(jìn)展改進(jìn)的主要方式有如下幾個方面:神經(jīng)元的內(nèi)部改造：對人工神經(jīng)元取不同的非線性函數(shù)；對輸入和輸出做不同的限制：離散的〔某些離散點〕和連續(xù)的〔整個實數(shù)域〕。神經(jīng)網(wǎng)絡(luò)的構(gòu)造上的改造：人工神經(jīng)元之間的聯(lián)接形式不同。算法的改進(jìn)：在人工神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值取求的方法上不同。其它形式的改造。2023-5-9北京科技大學(xué)自動化系13激活函數(shù)——執(zhí)行對該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換，也常稱為鼓勵函數(shù)、活化函數(shù)：o=f(net)線性函數(shù)〔LinerFunction〕f(net)=k*net+cnetooc2.2幾種典型的激活函數(shù)(ActivationFunction)

其次章人工神經(jīng)網(wǎng)絡(luò)的根本模型2023-5-9北京科技大學(xué)自動化系142、非線性斜面函數(shù)(RampFunction) γ ifnet≥θf〔net〕=k*netif|net|<θ -γ ifnet≤-θ

γ>0為一常數(shù)，被稱為飽和值，為該神經(jīng)元的最大輸出。γ-γθ

-θ

net

o

2.2幾種典型的激活函數(shù)(ActivationFunction)

其次章人工神經(jīng)網(wǎng)絡(luò)的根本模型2023-5-9北京科技大學(xué)自動化系15

β ifnet>θf（net）= -γ ifnet≤θβγθ均為非負(fù)實數(shù)，θ為閾值。二值形式：

1 ifnet>θf（net）= 0 ifnet≤θ雙極形式：

1 ifnet>θf（net）= -1 ifnet≤θβ

-γθonet02.2幾種典型的激活函數(shù)(ActivationFunction)

其次章人工神經(jīng)網(wǎng)絡(luò)的根本模型閾值函數(shù)〔ThresholdFunction〕階躍函數(shù)2023-5-9北京科技大學(xué)自動化系162.2幾種典型的激活函數(shù)(ActivationFunction)

其次章人工神經(jīng)網(wǎng)絡(luò)的根本模型

其他形式的作用函數(shù):不同的作用函數(shù)，可構(gòu)成不同的神經(jīng)元模型。

非對稱型Sigmoid函數(shù):簡稱S型作用函數(shù)，是可微的，用下式表示：如圖(a)和(b)

fxex()=+-11

或

fxex()=+-11b

b>02023-5-9北京科技大學(xué)自動化系17其次章人工神經(jīng)網(wǎng)絡(luò)的根本模型對稱型Sigmoid函數(shù)

是可微的，用下式表示：如圖(a)和(b)

fxeexx()=-+--11

或

fxeexx()=-+--11bb

，

b>0或

fxeeeexxxx()=-+--bbbb

，

b>02023-5-9北京科技大學(xué)自動化系18對稱型階躍函數(shù)其次章人工神經(jīng)網(wǎng)絡(luò)的根本模型2023-5-9北京科技大學(xué)自動化系19其次章人工神經(jīng)網(wǎng)絡(luò)的根本模型高斯函數(shù):是可微的，分一維和高維，用下式表示：如圖(a)和(b)2023-5-9北京科技大學(xué)自動化系20神經(jīng)元演示非線性作用函數(shù)〔激發(fā)函數(shù)〕2.2幾種典型的激活函數(shù)(ActivationFunction)

其次章人工神經(jīng)網(wǎng)絡(luò)的根本模型2023-5-9北京科技大學(xué)自動化系21非線性作用函數(shù)1非對稱型Sigmoid函數(shù)2023-5-9北京科技大學(xué)自動化系22非線性作用函數(shù)2對稱型Sigmoid函數(shù)2023-5-9北京科技大學(xué)自動化系23非線性作用函數(shù)3

非對稱型階躍函數(shù)2023-5-9北京科技大學(xué)自動化系24非線性作用函數(shù)4

對稱型階躍函數(shù)2023-5-9北京科技大學(xué)自動化系25非線性作用函數(shù)2023-5-9北京科技大學(xué)自動化系26非線性作用函數(shù)5高斯RBF(一維)2023-5-9北京科技大學(xué)自動化系27非線性作用函數(shù)5高斯RBF〔二維〕2023-5-9北京科技大學(xué)自動化系28非線性作用函數(shù)5高斯RBF〔二維〕2023-5-9北京科技大學(xué)自動化系29非線性作用函數(shù)6B樣條函數(shù)〔０次〕2023-5-9北京科技大學(xué)自動化系30非線性作用函數(shù)6B樣條函數(shù)〔1次〕2023-5-9北京科技大學(xué)自動化系31非線性作用函數(shù)2023-5-9北京科技大學(xué)自動化系322.3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述其次章人工神經(jīng)網(wǎng)絡(luò)的根本模型學(xué)習(xí)過程就是調(diào)整權(quán)值的過程。1、競爭學(xué)習(xí)2、有監(jiān)視學(xué)習(xí)3、無監(jiān)視學(xué)習(xí)4、Hebb和Delta學(xué)習(xí)5、有、無監(jiān)視混合學(xué)習(xí)6、隨即自適應(yīng)學(xué)習(xí)模擬退火7、模糊學(xué)習(xí)等等幾種常見類型學(xué)習(xí)算法：2023-5-9北京科技大學(xué)自動化系33對于競爭學(xué)習(xí)規(guī)章，有三個根本元素：1.一個神經(jīng)元集合，這些神經(jīng)元除了一些隨機(jī)分布的突觸權(quán)值之外是完全一樣的，并且由于突觸權(quán)值的不同而對一個給定的輸入模式集合由不同的響應(yīng)。2.在每個神經(jīng)元的強(qiáng)度上給定一個極限。3.一個機(jī)制，它允許神經(jīng)元為響應(yīng)一個給定輸入子集的權(quán)利而競爭，從而使得每次只有一個輸出神經(jīng)元或者每組只有一個神經(jīng)元是激活的〔即，“開”〕.競爭獲勝神經(jīng)元被叫做勝者通吃〔winner-takes-all〕神經(jīng)元。2.3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述其次章人工神經(jīng)網(wǎng)絡(luò)的根本模型競爭學(xué)習(xí)2023-5-9北京科技大學(xué)自動化系342.3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述其次章人工神經(jīng)網(wǎng)絡(luò)的根本模型競爭學(xué)習(xí)依據(jù)標(biāo)準(zhǔn)的競爭學(xué)習(xí)規(guī)章，作用于突觸權(quán)值wkj的轉(zhuǎn)變量wkj定義為獲勝神經(jīng)元k的輸出信號yk被置為1；競爭失敗的全部神經(jīng)元的輸出信號被置為0。我們有:2023-5-9北京科技大學(xué)自動化系352.3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述其次章人工神經(jīng)網(wǎng)絡(luò)的根本模型有教師學(xué)習(xí)〔稱為監(jiān)視學(xué)習(xí)〕神經(jīng)網(wǎng)絡(luò)的參數(shù)可以綜合訓(xùn)練向量和反響回的誤差信號進(jìn)展適當(dāng)調(diào)整。

2023-5-9北京科技大學(xué)自動化系362.3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述其次章人工神經(jīng)網(wǎng)絡(luò)的根本模型假設(shè)我們能給定一個設(shè)計好的算法來使本錢費(fèi)用最小，而且有足夠的輸入/輸出的數(shù)據(jù)集，那么有指導(dǎo)的學(xué)習(xí)系統(tǒng)往往可以較好地完成諸如模式分類，函數(shù)靠近之類的任務(wù)。有教師學(xué)習(xí)〔稱為監(jiān)視學(xué)習(xí)〕誤差信號可以定義為：神經(jīng)網(wǎng)絡(luò)實際輸出與預(yù)期響應(yīng)之差。這種調(diào)整可以逐步而又不斷反復(fù)地進(jìn)展，其最終目的就是要讓神經(jīng)網(wǎng)絡(luò)模擬教師——學(xué)習(xí)樣本；從統(tǒng)計的角度來看，這種模擬是最優(yōu)的。2023-5-9北京科技大學(xué)自動化系372.3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述其次章人工神經(jīng)網(wǎng)絡(luò)的根本模型無教師學(xué)習(xí)模式中沒有教師來監(jiān)視學(xué)習(xí)過程的。即神經(jīng)網(wǎng)絡(luò)沒有任何帶標(biāo)號的例子可以學(xué)習(xí)參考。這學(xué)習(xí)模式又分2類：無教師學(xué)習(xí)〔稱為無監(jiān)視學(xué)習(xí)〕加強(qiáng)學(xué)習(xí)/神經(jīng)動態(tài)規(guī)劃2023-5-9北京科技大學(xué)自動化系382.3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述其次章人工神經(jīng)網(wǎng)絡(luò)的根本模型無教師學(xué)習(xí)〔稱為無監(jiān)視學(xué)習(xí)〕無監(jiān)視學(xué)習(xí)在無監(jiān)視或自組織學(xué)習(xí)系統(tǒng)中，不再有外在的教師或者評價來監(jiān)視學(xué)習(xí)的過程。供給獨(dú)立于任務(wù)的表示質(zhì)量的度量，要求網(wǎng)絡(luò)學(xué)習(xí)該度量而且參數(shù)將依據(jù)這個度量來逐步優(yōu)化網(wǎng)絡(luò)。為了實際地使用無監(jiān)視系統(tǒng)，我們可能會使用競爭性學(xué)習(xí)規(guī)章。2023-5-9北京科技大學(xué)自動化系392.3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述其次章人工神經(jīng)網(wǎng)絡(luò)的根本模型學(xué)習(xí)任務(wù)模式聯(lián)想

存儲階段回憶階段模式聯(lián)想xy輸入向量輸出向量模式聯(lián)想輸入輸出關(guān)系圖2023-5-9北京科技大學(xué)自動化系402.3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述其次章人工神經(jīng)網(wǎng)絡(luò)的根本模型學(xué)習(xí)任務(wù)模式識別

模式識別將收到的模式或信號置以一個預(yù)先定義好的分類號。識別機(jī)設(shè)計成一個承受監(jiān)視學(xué)習(xí)算法的多層前饋網(wǎng)絡(luò)。特征抽取的非監(jiān)督網(wǎng)絡(luò)分類的監(jiān)督網(wǎng)絡(luò)12:r

輸入模式x特征向量y模式分類的經(jīng)典分類方法圖解.

m維觀察空間

g維特征空間

r維決策空間

2023-5-9北京科技大學(xué)自動化系412.3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述其次章人工神經(jīng)網(wǎng)絡(luò)的根本模型其中向量x是輸入，向量d為輸出。向量值函數(shù)假定為未知。為了彌補(bǔ)函數(shù)未知的知識缺乏,我們假定有如下確定的訓(xùn)練樣本集合:考慮下面的一個非線性輸入輸出映射函數(shù)關(guān)系式：

T={(xi,,di)}i=1N

對于所有的是一個很小的正數(shù).其中d=f(x)學(xué)習(xí)任務(wù)——函數(shù)靠近靠近問題其實是一個很完整的監(jiān)視學(xué)習(xí)網(wǎng)絡(luò)系統(tǒng)。其中xi是輸入向量，而di是期望的反響向量。反之，完全可以將監(jiān)視學(xué)習(xí)網(wǎng)絡(luò)系統(tǒng)看成是一個函數(shù)靠近問題。2023-5-9北京科技大學(xué)自動化系422.3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述其次章人工神經(jīng)網(wǎng)絡(luò)的根本模型學(xué)習(xí)任務(wù)——函數(shù)靠近神經(jīng)網(wǎng)絡(luò)的函數(shù)靠近問題實際上也是靠近一個未知輸入輸出映射函數(shù)問題：

系統(tǒng)識別模塊圖2023-5-9北京科技大學(xué)自動化系432.3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述其次章人工神經(jīng)網(wǎng)絡(luò)的根本模型學(xué)習(xí)任務(wù)——函數(shù)靠近逆模式系統(tǒng)圖

2023-5-9北京科技大學(xué)自動化系44Hebb學(xué)習(xí)規(guī)章依據(jù)生物學(xué)的條件反射原理，Hebb構(gòu)造了一種簡潔的神經(jīng)網(wǎng)絡(luò)權(quán)值調(diào)整原則：假設(shè)第i與第j個神經(jīng)元同時處于興奮狀態(tài)，則它們間的聯(lián)接應(yīng)加強(qiáng)。即：

Dwyyijij=a，a>0這和“條件反射”學(xué)說全都，并已得到證明。

Hebb

學(xué)習(xí)規(guī)則的相關(guān)假設(shè)，是許多學(xué)習(xí)規(guī)則的基礎(chǔ)。2.3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述其次章人工神經(jīng)網(wǎng)絡(luò)的根本模型2023-5-9北京科技大學(xué)自動化系45Delta學(xué)習(xí)規(guī)章〔誤差校正規(guī)章如梯度方法、BP算法〕Widrow和Hoff的寫法：Wij(t+1)=Wij(t)+α(yj-aj(t))neti(t)也可以寫成：Wij(t+1)=Wij(t)+Wij(t)Wij(t)=αδjneti(t)δj=yj-aj(t)Grossberg的寫法為：Wij(t)=αai(t)(netj(t)-Wij(t))更一般的Delta規(guī)章為：Wij(t)=g(ai(t)，yj，netj(t)，Wij(t))其中：ai(t)是網(wǎng)絡(luò)目標(biāo)輸出；yj是網(wǎng)絡(luò)計算輸出；netj(t)網(wǎng)絡(luò)內(nèi)部疊加信號；Wij(t)網(wǎng)絡(luò)權(quán)值。2023-5-9北京科技大學(xué)自動化系462.4人工神經(jīng)