感知機學(xué)習(xí)規(guī)則

1、感知機學(xué)習(xí)規(guī)則第1頁，共29頁，2022年，5月20日，12點9分，星期三4.1 目的 本章將介紹一種用于訓(xùn)練感知機網(wǎng)絡(luò)的算法，使感知機能夠?qū)W習(xí)求解分類問題。為此，這里將從介紹什么是學(xué)習(xí)規(guī)則開始，然后討論如何設(shè)計感知機網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則。本章最后將對單層感知機網(wǎng)絡(luò)的優(yōu)點和局限性進行討論。4.2 理論和實例4.2.1 學(xué)習(xí)規(guī)則 學(xué)習(xí)規(guī)則 所謂學(xué)習(xí)規(guī)則就是修改神經(jīng)網(wǎng)絡(luò)的權(quán)值和偏置值的方法和過程（也稱這種過程是訓(xùn)練算法）。學(xué)習(xí)規(guī)則的目的是為了訓(xùn)練網(wǎng)絡(luò)來完成某些工作。 大致可以將其分為三大類：第2頁，共29頁，2022年，5月20日，12點9分，星期三 1.有監(jiān)督的學(xué)習(xí) 訓(xùn)練集 目標(biāo) p1,t1, p2,

2、t2, pQ,tQ 2.增強學(xué)習(xí) 3.無監(jiān)督的學(xué)習(xí)4.2.2 感知機的結(jié)構(gòu)第3頁，共29頁，2022年，5月20日，12點9分，星期三 該網(wǎng)絡(luò)的輸出由下式給出：a=hardlim(Wp+b) （4.2） 首先考慮如下權(quán)值矩陣： （4.3） 我們將構(gòu)成W的第i個行向量定義為： （4.4）據(jù)此，可將權(quán)值矩陣W重寫為： （4.5）第4頁，共29頁，2022年，5月20日，12點9分，星期三 （4.6） 由于hardlim傳輸函數(shù)（如圖4-2）的定義是： （4.7） ai=hardlim(ni)=hardlim(iWTP+bi)a=hardlim(n)n=Wp+b圖4-2 hardlim傳輸函數(shù)第5頁

3、，共29頁，2022年，5月20日，12點9分，星期三所以，如果權(quán)值矩陣的第i個行向量與輸入向量的內(nèi)積大于等于-bi，該輸出為1，否則輸出為0。因此網(wǎng)絡(luò)中的每個神經(jīng)元將輸入空間劃分為兩個區(qū)域。1.單神經(jīng)元感知機 該網(wǎng)絡(luò)的輸出由下式所決定： a =hardlim(n)=hardlim(Wp+b) =hardlim(1WTP+b)=hardlim(w1,1p1+w1,2p2+b) （4.8）第6頁，共29頁，2022年，5月20日，12點9分，星期三 判定邊界 判定邊界由那些使得凈輸入n為零的輸入向量確定： n=1WTP+b=w1,1p1+w1,2p2+b （4.9） 為了使該實例更加具體，現(xiàn)將權(quán)

4、值和偏置值設(shè)置為： w1,1=1,w1,2=1,b=-1 （4.10）那么判定邊界是 n=1WTP+b=w1,1p1+w1,2p2+b=p1+p2-1=0 （4.11） 式（4.11）在輸入空間中定義了一條直線。為了畫這條直線，必須找到該直線穿過軸p1和p2的點。為了求該直線在軸p2上的截矩，令p1=0： （4.12）為了求該直線在軸p1上的截矩，令p2=0：第7頁，共29頁，2022年，5月20日，12點9分，星期三 （4.13）據(jù)此可得到如圖4-4所示的判定邊界。 為了確定邊界的哪一邊對應(yīng)的輸出為1，我們只需檢測輸入空間的一個點。對于輸入p=2 0T，網(wǎng)絡(luò)的輸出為 （4.14）第8頁，共2

5、9頁，2022年，5月20日，12點9分，星期三所以，對于判定邊界右上方的區(qū)域網(wǎng)絡(luò)輸出為1。在圖4-4中用陰影表示該區(qū)域。另外，也可用圖解的方法找到該網(wǎng)絡(luò)相應(yīng)的判定邊界。首先必須注意的是該邊界與1w垂直（如圖4-5所示）： 圖4-5中的判定邊界有下式定義： 1WTp+b=0 （4.15）第9頁，共29頁，2022年，5月20日，12點9分，星期三 下面將運用上述一些概念設(shè)計出能夠?qū)崿F(xiàn)“與門”邏輯功能的感知機網(wǎng)絡(luò)。與門的輸入/目標(biāo)對為： 該問題可以用圖4-6的方式進行描述。 該圖依據(jù)輸入向量的目標(biāo)顯示輸入空間。目標(biāo)值為1的輸入向量用黑色圓圈 表示，而目標(biāo)值為0的輸入向量用空心圓圈 表示。 設(shè)計的

6、第一步是選擇一個判定邊界。我們希望有一條直線將黑色圓圈和空心圓圈分割在兩個區(qū)域。能夠?qū)崿F(xiàn)這種劃分的線有無窮條。不過似乎較為合理的選擇是直線剛好處于這兩類輸入的正中（如圖4-7所示）。第10頁，共29頁，2022年，5月20日，12點9分，星期三 下面將選擇一個與判定邊界垂直的權(quán)值向量。這里選擇(如圖4-7所示）。 最后，為了求解偏置值b，可以從判定邊界上選取一個滿足式（4.15）的點。如果選p=1.5 0T,代入式（4.15），有： （4.17）現(xiàn)在可以通過選擇上述的輸入/目標(biāo)對來對網(wǎng)絡(luò)進行測試。如果選擇p2作為網(wǎng)絡(luò)的輸入，則輸出為 （4.18）（4.16）第11頁，共29頁，2022年，5月

7、20日，12點9分，星期三可以看出，網(wǎng)絡(luò)的實際輸出等于目標(biāo)輸出t2。 2.多神經(jīng)元感知機 對于如圖4-1所示的多神經(jīng)元感知機而言，每個神經(jīng)元都有一個判定邊界。第i個神經(jīng)元的判定邊界定義為 iWTp+bi=0 （4.19） 由于單神經(jīng)元感知機的輸出只能為0霍1，所以它可以將輸入向量分為兩類。而多神經(jīng)元感知機則可以將輸入分為許多類，每一類都由不同的輸出向量來表示。由于輸出向量的每個元素可以取值0或1，所以共有2S種可能的類別，其中S是多神經(jīng)元感知機中神經(jīng)元的數(shù)目。第12頁，共29頁，2022年，5月20日，12點9分，星期三4.2.3 感知機學(xué)習(xí)規(guī)則 這里學(xué)習(xí)規(guī)則將提供一組能夠正確反映網(wǎng)絡(luò)行為的實

8、例： p1,t1, p2,t2, pQ,tQ （4.20）其中pq是網(wǎng)絡(luò)的輸入,tq是該輸出相應(yīng)的目標(biāo)輸出。 1.測試問題 在該測試問題中，輸入/目標(biāo)對為：此問題可以用圖4-8說明，圖中目標(biāo)輸出為0的兩個輸入向量用空心圓圈表示，目標(biāo)輸出為1的輸入向量用黑色圓圈表示。第13頁，共29頁，2022年，5月20日，12點9分，星期三 為了簡化其學(xué)習(xí)規(guī)則的開發(fā)，這里首先采用一種沒有偏置值的網(wǎng)絡(luò)。于是網(wǎng)絡(luò)只需調(diào)整兩個參數(shù)w1,1和w1,2 （如圖4-9所示）。 由于在網(wǎng)絡(luò)中去掉了偏置值，所以網(wǎng)絡(luò)的判定邊界必定穿過坐標(biāo)軸的原點（如圖4-10所示）。第14頁，共29頁，2022年，5月20日，12點9分，星

9、期三 圖4-11給出了這些判定邊界相應(yīng)的權(quán)值向量（記住權(quán)值向量與判定邊界垂直）。2.學(xué)習(xí)規(guī)則的構(gòu)造 在訓(xùn)練開始時，為網(wǎng)絡(luò)的參數(shù)賦一些初始值。這里僅需對其兩個權(quán)值進行初始化。這里將1W的兩個元素設(shè)置為如下兩個隨機生成的數(shù): 1WT=1.0 -0.8 (4.21) 現(xiàn)在將輸入向量提供給網(wǎng)絡(luò)。開始用p1送入： （4.22） 參考圖4-12可以看出判決邊界初始的權(quán)值向量導(dǎo)致了第15頁，共29頁，2022年，5月20日，12點9分，星期三對向量p1錯誤分類的判決邊界。我們需要調(diào)整權(quán)值向量，使它更多地指向p1，以便在后面更可能得到正確的分類結(jié)果。 一種調(diào)整方法是令1W=p1。 另一種調(diào)整方法是將p1加到1

10、W上。這一規(guī)則可以表述為： 如果t=1,且a=0,則1Wnew=1Wold+p （4.23） 在上述問題中應(yīng)用這個規(guī)則，將會得到新的1W值： （4.24）此操作如圖4-14所示。第16頁，共29頁，2022年，5月20日，12點9分，星期三 現(xiàn)在考慮另一個輸入向量，并繼續(xù)對權(quán)值進行調(diào)整。不斷重復(fù)這一過程，直到所有輸入向量被正確分類。 設(shè)下一個輸入向量是p2。當(dāng)它被送入該網(wǎng)絡(luò)后，有 （4.25） p2的目標(biāo)值t2等于0，而該網(wǎng)絡(luò)的世紀(jì)輸出a是1。所以一個屬于類0的向量被錯誤劃分為類1了。 既然現(xiàn)在的目的是將1W從輸入向量所指的方向移開，因此可以將式（4.23）中的加法變?yōu)闇p法 如果t=0且a=1

11、,則1Wnew=1Wold-p （4.26） 如果在測試問題中應(yīng)用該規(guī)則，可求出 （4.27）第17頁，共29頁，2022年，5月20日，12點9分，星期三結(jié)果如圖4-15所示。 現(xiàn)在將第三個輸入向量p3送入該網(wǎng)絡(luò)： （4.28） 可以看出，這里1w所形成的判定邊界也錯誤劃分了p3。所以按照式（4.26）對1w進行修正： （4.29） 第18頁，共29頁，2022年，5月20日，12點9分，星期三 如圖4-16表明該感知機最終可以對上述三個輸入向量進行正確的分類。 第三條規(guī)則：如果感知機能夠正確工作，則不用改變權(quán)值向量： 如果t=a,則1Wnew=1Wold （4.30） 下面是涵蓋了實際輸出

12、值和目標(biāo)輸出值所有可能組合的三條規(guī)則：第19頁，共29頁，2022年，5月20日，12點9分，星期三 （4.31） 3.統(tǒng)一的學(xué)習(xí)規(guī)則 式（4.31）中的三條規(guī)則可以統(tǒng)一表示為一個表達式。首先將感知機的誤差定義為一個新的變量e： e=t-a (4.32) 現(xiàn)在可將式（4.31）中的三條規(guī)則重寫為： 如果e=1,則1wnew=1wold+p 如果e=-1,則1wnew=1wold-p （4.33） 如果e=0,則1wnew=1wold 如果t=1,且a=0,則1wnew=1wold+p如果t=0,且a=1,則1wnew=1wold-p如果t=a,則1wnew=1wold第20頁，共29頁，202

13、2年，5月20日，12點9分，星期三 可以將上述三條規(guī)則統(tǒng)一成一個表達式： 1wnew=1wold+ep=1wold+(t-a)p （4.34）將上式中的p用偏置值的輸入1替換，得到感知機的偏置值學(xué)習(xí)規(guī)則： bnew=bold+e （4.35） 4.多神經(jīng)元感知機的訓(xùn)練 由式（4.34）和式（4.35）給出的感知機規(guī)則，修改單神經(jīng)元感知機的權(quán)值向量。我們能把這個規(guī)則按照如下方法推廣到如圖4-1所示的多神經(jīng)元感知機。權(quán)值矩陣的第i行用下式進行修改： 1wnew=1wold+eip (4.36) 而偏置向量的第i個元素則按下式進行修改： binew=biold+ei (4.37) 第21頁，共29

14、頁，2022年，5月20日，12點9分，星期三感知機規(guī)則 Wnew=Wold+epT和 bnew=bold+e4.2.4 收斂性證明圖4-17 單神經(jīng)元感知機第22頁，共29頁，2022年，5月20日，12點9分，星期三 這個感知機的輸出可由下式得到： a=hardlim(1wTp+b) 網(wǎng)絡(luò)提供了正確反映網(wǎng)絡(luò)行為的下述實例： p1,t1, p2,t2, pQ,tQ其中每個目標(biāo)輸出tq取值0或1。1.記號 n=1wTp+b=xTzxnew=xold+ez第23頁，共29頁，2022年，5月20日，12點9分，星期三其中z(k-1)是如下集合中的一個元素： z1,z2,zQ,-z1,-z2,-z

15、Q現(xiàn)假設(shè)存在對所有Q個輸入向量進行正確分類的權(quán)值向量，并將這一解記為X*。對該權(quán)值向量，假設(shè) 如果tq=1,那么 x*Tzq0以及 如果 tq=0,那么x*Tzq- k上界：下界：x(k)=z(0)+z(1)+z(k-1)第25頁，共29頁，2022年，5月20日，12點9分，星期三 請注意該證明是建立在下面三條關(guān)鍵假設(shè)基礎(chǔ)之上的： 1）問題的解存在。 2）僅在輸入向量被錯誤分類時才改變權(quán)值。 3）輸入向量長度的上界存在。 3.局限性 線性可分性第26頁，共29頁，2022年，5月20日，12點9分，星期三4.3 小結(jié)感知機的結(jié)構(gòu)a=hardlim(Wp+b)ai=hardlim(ni)=hardlim(iWTP+bi)第27頁，共29頁，2022年，5月20日，12點9分