概率神經(jīng)網(wǎng)絡(luò).ppt

1、a,1,概率神經(jīng)網(wǎng)絡(luò) Probabilistic neural network,a,2,2,以指數(shù)函數(shù)替代神經(jīng)網(wǎng)絡(luò)中常用的S形激活函數(shù)，進而構(gòu)造出能夠計算非線性判別邊界的概率神經(jīng)網(wǎng)絡(luò)（PNN），該判定邊界接近于貝葉斯最佳判定面。,1、基于貝葉斯最優(yōu)分類決策理論（錯誤率低、風險最小化） 2、基于概率密度估計方法 不同于反向傳播算法中的試探法，而是基于統(tǒng)計學中已有的概率密度函數(shù)的非參數(shù)估計方法。 3、前向傳播算法 沒有反饋,一、簡介,a,3,什么是概率神經(jīng)網(wǎng)絡(luò) （Probabilistic neural networks）？,貝葉斯決策： 1、最小錯誤率，即最大后驗概率準則 2、最小風險率（代價、

2、損失） 以最小錯誤率貝葉斯決策為例，推導 PNN的理論模型。,a,4,貝葉斯決策,概率密度函數(shù)估計,其中，,基于訓練樣本，高斯核的Parzen估計 ：,分類任務(wù)：假設(shè)有c類，w1, w2, wc,a,5,判別函數(shù),省去共有元素，再歸一化：,是屬于第,類的第k個訓練樣本,是樣本向量的維數(shù),是平滑參數(shù),是第,類的訓練樣本總數(shù),判別規(guī)則,只需經(jīng)驗給出，或聚類法，可取為在同組中特征向量之間距離平均值的一半。,對所有樣本進行歸一化 ，,a,6,網(wǎng)絡(luò)模型,輸入層 樣本層 求和層 （競爭層）,三、概率神經(jīng)網(wǎng)絡(luò)模型,右圖以三類為例，即C=3；同時，設(shè)特征向量維數(shù)為3。,連接關(guān)系,a,7,以三類為例 即C=3；

3、 同時，設(shè)特 征向量維數(shù) 為3。,網(wǎng)絡(luò)模型,各層功能,a,8,輸入層,求和層,樣本層,競爭層,神經(jīng)元個數(shù)是特征向量維數(shù),神經(jīng)元個數(shù)是訓練樣本的個數(shù),神經(jīng)元個數(shù)是類別個數(shù),神經(jīng)元個數(shù)為1,在輸入層中，網(wǎng)絡(luò)計算輸入向量與所有訓練樣本向量之間的距離。,樣本層的激活函數(shù)是高斯函數(shù)。,將樣本層的輸出按類相加，相當于c個加法器。,判決的結(jié)果由競爭層輸出，輸出結(jié)果中只有一個1，其余結(jié)果都是0，概率值最大的那一類輸出結(jié)果為1。,a,9,將貝葉斯分類決策理論引入到、推廣到神經(jīng)網(wǎng)絡(luò)中來。 概率神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)是按照貝葉斯判別函數(shù)來設(shè)置的，以實現(xiàn)錯誤率或損失最小化。 概率神經(jīng)網(wǎng)絡(luò)針對概率密度函數(shù)做了三個假設(shè)： 各

4、分類的概率密度函數(shù)形態(tài)相同。 此共同的概率密度函數(shù)為高斯分布。 各分類的高斯分布概率密度函數(shù)的變異矩陣為對角矩陣，且各對角元素的值相同，值為 。 因為有了以上三個簡單的限制，而使得概率神經(jīng)網(wǎng)絡(luò)在應(yīng)用上減少了貝葉斯分類器建構(gòu)上的問題，增加了許多的便利性。,四、優(yōu)勢與不足,a,10,1、網(wǎng)絡(luò)學習過程簡單，學習速度快 學習一次完成，比BP快5個數(shù)量級，比RBF2個數(shù)量級。 2、分類更準確，對錯誤、噪聲容忍高 錯誤率、風險最小化。沒有局部極小值問題，當有代表性的訓練樣本數(shù)量增加到足夠大時，分類器一定能達到貝葉斯最優(yōu)。 RBF也不存在局部極小值問題，問題有唯一確定解。 3、容錯性好，分類能力強。 判別界

5、面漸進地逼近貝葉斯最優(yōu)分類面。,PNN與BP、RBF神經(jīng)網(wǎng)絡(luò)的比較,a,11,不足,1、對訓練樣本的代表性要求高 2、需要的存儲空間更大,a,12,五、基本學習算法,1、歸一化,該矩陣的訓練樣本有m個，每一個樣本維數(shù)為n,歸一化系數(shù),C即為歸一化后的學習樣本,訓練樣本矩陣,a,13,基本學習算法,2、將歸一化好的m個樣本送入到網(wǎng)絡(luò)輸入層中。 3、模式距離的計算 該距離是指樣本矩陣與學習矩陣中相應(yīng)元素之間的距離。,a,14,假設(shè)將由P個n維向量組成的矩陣稱為待識別樣本矩陣，則經(jīng)歸一化后，需要待識別的輸入樣本矩陣為：,待分類樣本矩陣，有p個，每一個樣本維數(shù)為n,計算歐式距離：就是需要識別的歸一化的

6、樣本向量di，與每一個歸一化后的訓練樣本(Cj)的歐式距離。 。,基本學習算法,a,15,歸一化的訓練樣本Ci, i=1,2,m; 歸一化的待分類樣本dj, j=1,2,p; Eij：表示第i個待分類樣本(di)與第j個訓練樣本(Cj)的歐式距離。,基本學習算法,a,16,第四步：模式層高斯函數(shù)的神經(jīng)元被激活。學習樣本與待識別樣本被歸一化后，通常取標準差,=0.1的高斯型函數(shù)。激活后得到 初始概率矩陣：,基本學習算法,a,17,第五步：假設(shè)樣本有m個，那么一共可以分為c類，并且各類樣本的數(shù)目相同，設(shè)為k，則可以在網(wǎng)絡(luò)的求和層求得各個樣本屬于各類的初始概率和：,基本學習算法,a,18,第六步：計

7、算概率，即第i個樣本屬于第j類的概率。,基本學習算法,a,19,六、應(yīng)用領(lǐng)域,概率神經(jīng)網(wǎng)絡(luò)主要用于分類和模式識別領(lǐng)域，其中分類方面應(yīng)用最為廣泛，這種網(wǎng)絡(luò)已較廣泛地應(yīng)用于非線性濾波、模式分類、聯(lián)想記憶和概率密度估計當中。它的優(yōu)勢在于用線性學習算法來完成非線性學習算法所做的工作，同時保證非線性算法的高精度等特性。,a,20,七、一個應(yīng)用實例,對彩色車牌圖像進行二值化,分類任務(wù)分析：特征向量是每個像素點的顏色RBG值。 類別數(shù)有2類， A類表示背景色，為接近藍色或者背景中出現(xiàn)的其他顏色。 B類為號碼色，接近白色的顏色。 用PNN對每個像素點進行訓練、分類， 再用0、1這兩個數(shù)值來表示A類、B類，重新

8、設(shè)置圖片中像素的顏色實現(xiàn)了車牌號圖像的二值化。,第一步，選取背景色和號碼色的樣本圖片，收集它們各自的顏色樣本數(shù)據(jù)； 第二步，運用收集的顏色數(shù)據(jù)訓練PNN神經(jīng)網(wǎng)絡(luò)； 第三步，將需要識別的車牌圖片中每個像素的顏色數(shù)據(jù)輸入PNN神經(jīng)網(wǎng)絡(luò)完成分類，然后重置圖片顏色數(shù)據(jù)完成二值化。,a,21,的改進與遺傳算法,PNN神經(jīng)網(wǎng)絡(luò)模型中，唯一要調(diào)整的參數(shù)是,已發(fā)現(xiàn)，在實際問題中不難找到良好的,值，并且，隨著,的微小變化，錯誤分類比率不發(fā)生顯著變化。,值太小，對于單獨訓練的樣本僅僅起到隔離的作用，在本質(zhì)上是最近鄰域分類器； 如果太大，不能夠完全區(qū)分細節(jié)，對于界限不明顯的不同類別，可能是得不到理想的分類效果，這時

9、接近于線性分類器 因此，如何確定合適的參數(shù)是概率神經(jīng)網(wǎng)絡(luò)的關(guān)鍵問題。,八、優(yōu)化改進,a,22,遺傳算法,遺傳算法以生物進化原理為基礎(chǔ)，在每一代群體中，不斷按照個體適應(yīng)度大小選擇，并進行交叉和變異，產(chǎn)生新的群體，這樣種群不斷得到進化，同時以全局并行搜索技術(shù)來進行搜索優(yōu)化最優(yōu)個體，以求得問題近似最優(yōu)解。此外遺傳算法不受函數(shù)連續(xù)與可微的限制，而且結(jié)果全局最優(yōu)，因此完全可以利用遺傳算法對概率神經(jīng)網(wǎng)絡(luò)的平滑系數(shù)進行優(yōu)化，尋找最優(yōu)的參數(shù)。 一般情況下假設(shè) ，不能將概率特性完整地表示出來，降低了PNN識別的精度。利用遺傳算法優(yōu)化概率神經(jīng)網(wǎng)絡(luò)的平滑參數(shù)時，對應(yīng)于每個模式類別的 是不同的。,a,23,設(shè)定平滑因子的取值范圍，隨機長生初始種群， M為種群規(guī)模，并設(shè)當前代數(shù) t=1; (2)根據(jù)由染色體獲得的平滑因子，構(gòu)建PNN網(wǎng)絡(luò)，計算分類正確的個數(shù)及誤差，