模式識別神經網絡分類

模式識別神經網絡分類2023/6/11第一頁，共二十三頁，編輯于2023年，星期六人工神經網絡學習概述人工神經網絡提供了一種普遍且實用的方法從樣例中學習值為實數、離散值或向量的函數。人工神經網絡對于訓練數據中的錯誤健壯性很好。人工神經網絡已被成功應用到很多領域，例如視覺場景分析，語音識別，機器人控制。其中，最流行的網絡和算法是20世紀80年代提出的BP網絡和BP算法，BP算法使用梯度下降法來調節(jié)BP網絡的參數以最佳擬合由輸入-輸出對組成的訓練集合。2023/6/12第二頁，共二十三頁，編輯于2023年，星期六BP算法概述1、BP算法的出現(xiàn)非循環(huán)多級網絡的訓練算法UCSDPDP小組的Rumelhart、Hinton和Williams1986年獨立地給出了BP算法清楚而簡單的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了該方法2、弱點：訓練速度非常慢、局部極小點的逃離問題、算法不一定收斂。3、優(yōu)點：廣泛的適應性和有效性。2023/6/13第三頁，共二十三頁，編輯于2023年，星期六BP網絡的基本結構2023/6/14第四頁，共二十三頁，編輯于2023年，星期六確定BP網絡的拓撲結構在開始訓練之前，需要確定網絡的拓撲結構：出入層神經元的個數、隱含層神經元的層數及每一層神經元的個數、輸出層神經元的個數。對訓練樣本中的每一屬性的值進行歸一化，使其值落在（0，1）區(qū)間，有助于加快學習過程。對于離散的屬性值，要進行合適的編碼。BP網一般都選用二級網絡。實驗表明：增加隱藏層的層數和隱藏層神經元個數不一定總能夠提高網絡精度和表達能力。2023/6/15第五頁，共二十三頁，編輯于2023年，星期六神經元的M-P模型2023/6/16第六頁，共二十三頁，編輯于2023年，星期六激活函數(ActivationFunction)

激活函數——執(zhí)行對該神經元所獲得的網絡輸入的變換，也可以稱為激勵函數、活化函數：o=f（net）

1、線性函數（LinerFunction）

f（net）=k*net+c

netooc2023/6/17第七頁，共二十三頁，編輯于2023年，星期六2、非線性斜面函數(RampFunction)

γ ifnet≥θf（net）=k*net if|net|<θ -γ ifnet≤-θ

γ>0為一常數，被稱為飽和值，為該神經元的最大輸出。

2023/6/18第八頁，共二十三頁，編輯于2023年，星期六2、非線性斜面函數（RampFunction）γ-γθ

-θ

net

o

2023/6/19第九頁，共二十三頁，編輯于2023年，星期六3、閾值函數（ThresholdFunction）階躍函數

β ifnet>θf（net）= -γ ifnet≤θβ、γ、θ均為非負實數，θ為閾值二值形式：

1 ifnet>θf（net）= 0 ifnet≤θ雙極形式：

1 ifnet>θf（net）= -1 ifnet≤θ

2023/6/110第十頁，共二十三頁，編輯于2023年，星期六3、閾值函數（ThresholdFunction）階躍函數β

-γθonet02023/6/111第十一頁，共二十三頁，編輯于2023年，星期六4、S形函數

壓縮函數（SquashingFunction）和邏輯斯特函數（LogisticFunction）。f（net）=a+b/(1+exp(-d*net))a，b，d為常數。它的飽和值為a和a+b。最簡單形式為：f（net）=1/(1+exp(-d*net))

函數的飽和值為0和1。S形函數有較好的增益控制

2023/6/112第十二頁，共二十三頁，編輯于2023年，星期六4、S形函數

a+bo(0,c)netac=a+b/22023/6/113第十三頁，共二十三頁，編輯于2023年，星期六BP算法2023/6/114第十四頁，共二十三頁，編輯于2023年，星期六BP算法的基本思想BP算法的基本工作過程大概可以分為兩個階段：1）信號的向前傳播，在這個階段，要求計算出隱含層和輸出層中每一神經元的凈輸入和輸出。

2）誤差的向后傳播，在這個階段，要求計算出輸出層和隱含層中每一神經元的誤差。2023/6/115第十五頁，共二十三頁，編輯于2023年，星期六初始化問題在BP算法中，權和偏置在網絡學習之前，都將其初始化為不同的小隨機數?！安煌北ＷC網絡可以學習；“小隨機數”防止其值過大而提前進入飽和狀態(tài)。2023/6/116第十六頁，共二十三頁，編輯于2023年，星期六更新問題基本的BP算法采用的是實例更新，即每處理一個實例就更新一次權和偏置。實例更新的缺陷：實例的順序對訓練結果有較大影響。它更“偏愛”較后出現(xiàn)的實例。而給其中的實例安排一個適當的順序，是非常困難的。解決的辦法就是采用周期更新，即每處理一遍所有的實例才更新一次權和偏置。周期更新的好處是：可以消除實例順序對結果的影響。2023/6/117第十七頁，共二十三頁，編輯于2023年，星期六收斂速度問題BP算法的訓練速度是非常慢的，尤其是當訓練達到一定的程度后，甚至有時是發(fā)散的。2023/6/118第十八頁，共二十三頁，編輯于2023年，星期六局部極小點問題避免——修改初始值：并不是總有效。逃離——統(tǒng)計方法：[Wasserman，1986]將Cauchy訓練與BP算法結合起來，可以在保證訓練速度不被降低的情況下，找到全局極小點。2023/6/119第十九頁，共二十三頁，編輯于2023年，星期六網絡癱瘓問題在訓練中，權可能變得很大，這會使神經元的網絡輸入變得很大，從而又使得其激活函數的導函數在此點上的取值很小。根據相應式子，此時的訓練步長會變得非常小，進而將導致訓練速度降得非常低，最終導致網絡停止收斂。2023/6/120第二十頁，共二十三頁，編輯于2023年，星期六穩(wěn)定性問題用修改量的綜合實施權的修改（用消除樣本順序影響的算法4-2來訓練）連續(xù)變化的環(huán)境，它將變成無效的（網絡不可塑）2023/6/121第二十一頁，共二十三頁，編輯于2023年，星期六步長問題BP網絡的收斂是基于無窮小的權修改量步長太小，收斂就非常慢步長太大，可能會導致網絡的癱瘓和不穩(wěn)定自適應步長，使得權修改量能隨著網絡的訓練而不斷變化。[1988年，Wasserman]2023/6/122第二十二頁，共二十三頁，編輯于2023年，星期六