人工神經(jīng)網(wǎng)絡(luò)3感知機(jī)網(wǎng)絡(luò).ppt

1,人工神經(jīng)網(wǎng)絡(luò) (Artifical Neural Network),張 凱 副教授,武漢科技大學(xué) 計(jì)算機(jī)學(xué)院,2,第三章 感知機(jī)網(wǎng)絡(luò),1. 研究背景,2. 學(xué)習(xí)規(guī)則,3. 感知機(jī)結(jié)構(gòu),4. 感知機(jī)學(xué)習(xí)規(guī)則,學(xué)習(xí)規(guī)則,學(xué)習(xí)規(guī)則 所謂學(xué)習(xí)規(guī)則就是修改神經(jīng)網(wǎng)絡(luò)的權(quán)值和偏置值的方法和過(guò)程（也稱(chēng)這種過(guò)程是訓(xùn)練算法）。學(xué)習(xí)規(guī)則的目的是為了訓(xùn)練網(wǎng)絡(luò)來(lái)完成某些工作。 大致可以將其分為三大類(lèi)：,學(xué)習(xí)規(guī)則,有監(jiān)督學(xué)習(xí)（有導(dǎo)師學(xué)習(xí)） 提供一組能代表網(wǎng)絡(luò)行為的實(shí)例集合(訓(xùn)練集)。 增強(qiáng)學(xué)習(xí)（半監(jiān)督學(xué)習(xí)） 僅提供一個(gè)級(jí)別(或評(píng)分)，作為網(wǎng)絡(luò)在某些輸入序列上的性能測(cè)度。 無(wú)監(jiān)督學(xué)習(xí)（無(wú)導(dǎo)師學(xué)習(xí)） 學(xué)習(xí)僅根據(jù)網(wǎng)絡(luò)的輸入來(lái)學(xué)會(huì)將輸入模式分類(lèi)（聚類(lèi)）。,(輸入,目標(biāo)輸出),感知機(jī)的結(jié)構(gòu),感知機(jī)的結(jié)構(gòu),首先考慮如下權(quán)值矩陣,第i個(gè)行向量定義為,權(quán)值矩陣W重寫(xiě)為,感知機(jī)的結(jié)構(gòu),傳輸函數(shù),由于hardlim傳輸函數(shù)的定義是,傳輸函數(shù),所以，如果權(quán)值矩陣的第i個(gè)行向量與輸入向量的內(nèi)積大于等于-bi，該輸出為1，否則輸出為0。因此網(wǎng)絡(luò)中的每個(gè)神經(jīng)元將輸入空間劃分為兩個(gè)區(qū)域。,單個(gè)神經(jīng)元感知機(jī),該網(wǎng)絡(luò)的輸出由下式所決定,單個(gè)神經(jīng)元感知機(jī),判定邊界由那些使得凈輸入n為零的輸入向量確定,為了使該實(shí)例更加具體，現(xiàn)將權(quán)值和偏置值設(shè)置為,那么判定邊界是,定義了一條直線。為了畫(huà)這條直線，必須找到該直線穿過(guò)軸p1和p2的點(diǎn)。,單個(gè)神經(jīng)元感知機(jī)工作原理,為了確定邊界的哪一邊對(duì)應(yīng)的輸出為1，我們只需檢測(cè)輸入空間的一個(gè)點(diǎn)。對(duì)于輸入p=2 0T，網(wǎng)絡(luò)的輸出為,所以，對(duì)于判定邊界右上方的區(qū)域網(wǎng)絡(luò)輸出為1。在圖中用陰影表示該區(qū)域。另外，也可用圖解的方法找到該網(wǎng)絡(luò)相應(yīng)的判定邊界。必須注意的是該邊界與1w垂直,判定邊界, 所有在判定邊界上的點(diǎn)與權(quán)向量的內(nèi)積相同。 這些點(diǎn)一定是在一條與權(quán)向量垂直的線上。,例子 “與(AND)”,下面將運(yùn)用上述一些概念設(shè)計(jì)出能夠?qū)崿F(xiàn)“與門(mén)”邏輯功能的感知機(jī)網(wǎng)絡(luò)。與門(mén)的輸入/目標(biāo)對(duì)為,該圖依據(jù)輸入向量的目標(biāo)顯示輸入空間。目標(biāo)值為1的輸入向量用黑色圓圈 表示，而目標(biāo)值為0的輸入向量用空心圓圈 表示。,例子 “與(AND)”,“與”的解答（圖解法）,設(shè)計(jì)的第一步是選擇一個(gè)判定邊界。選擇一個(gè)判定邊界，把兩類(lèi)模式向量分割在兩個(gè)區(qū)。能夠?qū)崿F(xiàn)這種劃分的邊界有無(wú)窮多個(gè)。合理的選擇是判定邊界易于確定，且處于這兩類(lèi)模式向量的間隔正中。,“與”的解答（圖解法）, 選擇與判定邊界垂直的權(quán)向量，該權(quán)向量可以是任意長(zhǎng)度向量，它同樣有無(wú)窮多個(gè)。這里選擇：,“與”的解答（圖解法）,最后，為了求解偏置值b，可以從判定邊界上選取一個(gè)滿足式子的點(diǎn)。,如果選p=1.5 0T代入，有：,“與”的解答（圖解法）,現(xiàn)在可以通過(guò)選擇上述的輸入/目標(biāo)對(duì)來(lái)對(duì)網(wǎng)絡(luò)進(jìn)行測(cè)試。如果選擇p2作為網(wǎng)絡(luò)的輸入，則輸出為,感知機(jī)學(xué)習(xí)規(guī)則,為滿足給定的訓(xùn)練樣本：,設(shè)計(jì)一般性的方法來(lái)確定感知機(jī)的權(quán)和偏置值。,其中pq是網(wǎng)絡(luò)的輸入，tq是該輸出相應(yīng)的目標(biāo)輸出。,在該測(cè)試問(wèn)題中，輸入/目標(biāo)對(duì)為,學(xué)習(xí)規(guī)則測(cè)試實(shí)例,此問(wèn)題可以用下圖說(shuō)明，圖中目標(biāo)輸出為0的兩個(gè)輸入向量用空心圓圈表示，目標(biāo)輸出為1的輸入向量用黑色圓圈表示。,測(cè)試問(wèn)題的網(wǎng)絡(luò),為了簡(jiǎn)化其學(xué)習(xí)規(guī)則的開(kāi)發(fā)，這里首先采用一種沒(méi)有偏置值的網(wǎng)絡(luò)。于是網(wǎng)絡(luò)只需調(diào)整兩個(gè)參數(shù)w1,1和w1,2,由于在網(wǎng)絡(luò)中去掉了偏置值，所以網(wǎng)絡(luò)的判定邊界必定穿過(guò)坐標(biāo)軸的原點(diǎn)，如圖所示。,上圖給出了這些判定邊界相應(yīng)的權(quán)值向量（記住權(quán)值向量與判定邊界垂直,判定邊界,初始化,對(duì)應(yīng)的初始判定邊界如圖,2.學(xué)習(xí)規(guī)則的構(gòu)造 在訓(xùn)練開(kāi)始時(shí)，為網(wǎng)絡(luò)的參數(shù)賦一些初始值。這里僅需對(duì)其兩個(gè)權(quán)值進(jìn)行初始化。這里將1w的兩個(gè)元素設(shè)置為如下兩個(gè)隨機(jī)生成的數(shù):,構(gòu)造學(xué)習(xí)規(guī)則,將p1送入網(wǎng)絡(luò)：,錯(cuò)誤分類(lèi),構(gòu)造學(xué)習(xí)規(guī)則,將p1加到1w上，如果t=1,且a=0,則1wnew= 1wold+p,將會(huì)得到新的1w值，新的 1w的指向偏向p1,構(gòu)造學(xué)習(xí)規(guī)則,錯(cuò)誤分類(lèi),將p2送入網(wǎng)絡(luò)：,現(xiàn)在考慮另一個(gè)輸入向量，并繼續(xù)對(duì)權(quán)值進(jìn)行調(diào)整。不斷重復(fù)這一過(guò)程，直到所有輸入向量被正確分類(lèi)。,構(gòu)造學(xué)習(xí)規(guī)則,將p2送入網(wǎng)絡(luò)：,現(xiàn)在考慮另一個(gè)輸入向量，并繼續(xù)對(duì)權(quán)值進(jìn)行調(diào)整。不斷重復(fù)這一過(guò)程，直到所有輸入向量被正確分類(lèi)。,p2的目標(biāo)值t2等于0，而該網(wǎng)絡(luò)的世紀(jì)輸出a是1。所以一個(gè)屬于類(lèi)0的向量被錯(cuò)誤劃分為類(lèi)1了。 既然現(xiàn)在的目的是將1W從輸入向量所指的方向移開(kāi)，因此可以將式中的加法變?yōu)闇p法 如果t=0且a=1,則1wnew=1wold-p,構(gòu)造學(xué)習(xí)規(guī)則,如果在測(cè)試問(wèn)題中應(yīng)用該規(guī)則，可求出,構(gòu)造學(xué)習(xí)規(guī)則,將p3送入網(wǎng)絡(luò)：,p2的目標(biāo)值t2等于0，而該網(wǎng)絡(luò)的世紀(jì)輸出a是1。所以一個(gè)屬于類(lèi)0的向量被錯(cuò)誤劃分為類(lèi)1了。,構(gòu)造學(xué)習(xí)規(guī)則,已有規(guī)則,構(gòu)造學(xué)習(xí)規(guī)則,該感知機(jī)最終可以對(duì)上述三個(gè)輸入向量進(jìn)行正確的分類(lèi)。,構(gòu)造學(xué)習(xí)規(guī)則,三個(gè)模式現(xiàn)在都正確分類(lèi)了,第三條規(guī)則：如果感知機(jī)能夠正確工作，則不用改變權(quán)值向量：,下面是涵蓋了實(shí)際輸出值和目標(biāo)輸出值所有可能組合的三條規(guī)則：,統(tǒng)一的學(xué)習(xí)規(guī)則,可以將上述三條規(guī)則統(tǒng)一成一個(gè)表達(dá)式,將上式中的p用偏置值的輸入1替換，得到感知機(jī)的偏置值學(xué)習(xí)規(guī)則：,多神經(jīng)元感知機(jī),給出的感知機(jī)規(guī)則，修改單神經(jīng)元感知機(jī)的權(quán)值向量。我們能把這個(gè)規(guī)則按照如下方法推廣到多神經(jīng)元感知機(jī)。權(quán)值矩陣的第i行用下式進(jìn)行修改：,多神經(jīng)元感知機(jī),矩陣表示：,收斂性證明,證明是建立在下面三條假設(shè)基礎(chǔ)上的： (1)問(wèn)題的解存在； (2)僅在輸入被錯(cuò)分時(shí)才改變權(quán)值； (3)輸入向量的長(zhǎng)度(模