入侵檢測(cè)技術(shù)課件：7-1 神經(jīng)網(wǎng)絡(luò)

2023/1/111人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用

第1講 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識(shí)

鄭洪英重慶大學(xué)計(jì)算機(jī)學(xué)院信息技術(shù)系2023/1/112內(nèi)容安排一、生物神經(jīng)元結(jié)構(gòu)二、人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)2023/1/113一生物神經(jīng)元結(jié)構(gòu)Whatyouseeinthepicture?2023/1/114生物神經(jīng)元示意圖一生物神經(jīng)元2023/1/115神經(jīng)元的相互連接2023/1/116生物神經(jīng)網(wǎng)絡(luò)的模型化——人工神經(jīng)網(wǎng)絡(luò)

什么是人工神經(jīng)網(wǎng)絡(luò)？T.Koholen的定義：“人工神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡(jiǎn)單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對(duì)真實(shí)世界物體所作出的交互反應(yīng)。”

2023/1/117二、人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)人工神經(jīng)元模型常見(jiàn)響應(yīng)函數(shù)人工神經(jīng)網(wǎng)絡(luò)典型結(jié)構(gòu)2023/1/118通用模型求和操作響應(yīng)函數(shù)人工神經(jīng)元模型

2023/1/119人工神經(jīng)元模型

響應(yīng)函數(shù)的基本作用控制輸入對(duì)輸出的激活作用對(duì)輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換將可能無(wú)限域的輸入變換成指定的有限范圍內(nèi)的輸出2023/1/1110(a)閾值單元(b)線性單元(c)非線性單元：Sigmoid函數(shù)

常見(jiàn)神經(jīng)元響應(yīng)函數(shù)2023/1/1111常見(jiàn)神經(jīng)元響應(yīng)函數(shù)人工神經(jīng)元的響應(yīng)函數(shù)2023/1/1112Lecture2.

ForwardNN神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)、學(xué)習(xí)規(guī)則單層前向感知器自適應(yīng)線性元件多層感知器及BP網(wǎng)絡(luò)Lecture2.

ForwardNN2023/1/1113神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)、學(xué)習(xí)規(guī)則Lecture2.

ForwardNN網(wǎng)絡(luò)中的神經(jīng)元是分層排列的，每個(gè)神經(jīng)元只與前一層的神經(jīng)元相連接。最上一層為輸出層，隱含層的層數(shù)可以是一層或多層。前向網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)2023/1/1114神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)、學(xué)習(xí)規(guī)則Lecture2.

ForwardNN網(wǎng)絡(luò)的本身是前向型的，與前一種不同的是從輸出到輸入有反饋回路。從輸出到輸入有反饋的前向網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)2023/1/1115神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)、學(xué)習(xí)規(guī)則Lecture2.

ForwardNN通過(guò)層內(nèi)神經(jīng)元之間的相互連接，可以實(shí)現(xiàn)同一層神經(jīng)元之間橫向抑制或興奮的機(jī)制，從而限制層內(nèi)能同時(shí)動(dòng)作的神經(jīng)數(shù)，或者把層內(nèi)神經(jīng)元分為若干組，讓每組作為一個(gè)整體來(lái)動(dòng)作。一些自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)就屬于這種類型。層內(nèi)互連前向網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)2023/1/1116神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)、學(xué)習(xí)規(guī)則Lecture2.

ForwardNN互連網(wǎng)絡(luò)有局部互連和全互連兩種。全互連網(wǎng)絡(luò)中的每個(gè)神經(jīng)元都與其他神經(jīng)元相連。局部互連是指互連只是局部的，有些神經(jīng)元之間沒(méi)有連接關(guān)系。Hopfield網(wǎng)絡(luò)和Boltzmann機(jī)屬于互連網(wǎng)絡(luò)的類型?；ミB網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)2023/1/1117神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)、學(xué)習(xí)規(guī)則神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則一個(gè)神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)確定之后，為了使它具有某種智能特性，還必須有相應(yīng)的學(xué)習(xí)方法與之配合?？梢赃@樣說(shuō)，學(xué)習(xí)方法是人工神經(jīng)網(wǎng)絡(luò)研究中的核心問(wèn)題。Lecture2.

ForwardNN2023/1/1118神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)、學(xué)習(xí)規(guī)則對(duì)于人工神經(jīng)網(wǎng)絡(luò)而言，學(xué)習(xí)方法歸根結(jié)底就是網(wǎng)絡(luò)連接權(quán)的調(diào)整方法。人工神經(jīng)網(wǎng)絡(luò)連接權(quán)的確定通常有兩種方法：一種是根據(jù)具體要求：直接計(jì)算出來(lái)，如Hopfield網(wǎng)絡(luò)作優(yōu)化計(jì)算時(shí)就屬于這種情況；另一種是通過(guò)學(xué)習(xí)得到的，大多數(shù)人工神經(jīng)網(wǎng)絡(luò)都用這種方法。2023/1/1119神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)、學(xué)習(xí)規(guī)則人工神經(jīng)網(wǎng)絡(luò)中一些基本的、通用的學(xué)習(xí)規(guī)則主要有：Hebb學(xué)習(xí)規(guī)則Delta學(xué)習(xí)規(guī)則2023/1/1120神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)、學(xué)習(xí)規(guī)則神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則－－Hebb學(xué)習(xí)規(guī)則

DonallHebb根據(jù)生理學(xué)中條件反射機(jī)理，于1949年提出的神經(jīng)元連接強(qiáng)度變化的規(guī)則：如果兩個(gè)神經(jīng)元同時(shí)興奮(即同時(shí)被激活)，則它們之間的突觸連接加強(qiáng)。如果兩個(gè)神經(jīng)元異步興奮(即被異步激活)，則它們之間的突觸連接消弱。Lecture2.

ForwardNN2023/1/1121神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)、學(xué)習(xí)規(guī)則神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則－－Hebb學(xué)習(xí)規(guī)則

表示兩個(gè)神經(jīng)元之間的連接權(quán)。是學(xué)習(xí)速率。Lecture2.

ForwardNN2023/1/1122Hebb學(xué)習(xí)規(guī)則例子假定具有以下初始權(quán)向量的網(wǎng)絡(luò)如圖：2023/1/1123Hebb學(xué)習(xí)規(guī)則例子2023/1/1124Hebb學(xué)習(xí)規(guī)則例子假設(shè)使用的輸出函數(shù)為f(x)=sgn(x),學(xué)習(xí)過(guò)程有以下步驟：第一步：加到網(wǎng)絡(luò)的輸入X1產(chǎn)生的加權(quán)和為2023/1/1125Hebb學(xué)習(xí)規(guī)則例子更新的權(quán)值為:其中上標(biāo)表示當(dāng)前的調(diào)節(jié)步數(shù)2023/1/1126Hebb學(xué)習(xí)規(guī)則例子第二步：這次學(xué)習(xí)是用X2作輸入2023/1/1127Hebb學(xué)習(xí)規(guī)則例子更新的權(quán)是2023/1/1128Hebb學(xué)習(xí)規(guī)則例子第三步：對(duì)于輸入X3，在這步上我們得到2023/1/1129Hebb學(xué)習(xí)規(guī)則例子更新的權(quán)是2023/1/1130神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)、學(xué)習(xí)規(guī)則神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則－－Delta學(xué)習(xí)規(guī)則

這種方法是用已知樣本作為教師對(duì)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，又稱誤差校正規(guī)則。設(shè)(Xk，Yk)(k＝1，2，…，p)為輸入、輸出樣本對(duì)，Yk＝[yl，y2，…，ym]T，Xk＝[xl，x2，…，xn]T。把Xk作為網(wǎng)絡(luò)的輸入，在連接權(quán)的作用下，可得網(wǎng)絡(luò)的實(shí)際輸出。設(shè)神經(jīng)元i到神經(jīng)元j的連接權(quán)為，則權(quán)的調(diào)整量為：Lecture2.

ForwardNN2023/1/1131函數(shù)F(·)根據(jù)具體情況而定。當(dāng)它為線性函數(shù)F(x)＝x時(shí)，2023/1/1132感知器簡(jiǎn)介神經(jīng)元模型網(wǎng)絡(luò)結(jié)構(gòu)功能解釋學(xué)習(xí)和訓(xùn)練局限性單層前向感知器Lecture2.

ForwardNN2023/1/1133單層前向感知器感知器是由美國(guó)計(jì)算機(jī)科學(xué)家羅森布拉特（F.Roseblatt）于1957年提出的。感知器可謂是最早的人工神經(jīng)網(wǎng)絡(luò)。單層感知器是一個(gè)具有一層神經(jīng)元、采用閾值激活函數(shù)的前向網(wǎng)絡(luò)。通過(guò)對(duì)網(wǎng)絡(luò)權(quán)值的訓(xùn)練，可以使感知器對(duì)一組輸人矢量的響應(yīng)達(dá)到元素為0或1的目標(biāo)輸出，從而實(shí)現(xiàn)對(duì)輸人矢量分類的目的。感知器簡(jiǎn)介L(zhǎng)ecture2.

ForwardNN2023/1/1134收斂定理：F.Roseblatt證明，如果兩類模式是線性可分的（指存在一個(gè)超平面將它們分開(kāi)），則算法一定收斂。感知器特別適用于簡(jiǎn)單的模式分類問(wèn)題，也可用于基于模式分類的學(xué)習(xí)控制中感知器簡(jiǎn)介單層前向感知器Lecture2.

ForwardNN2023/1/1135神經(jīng)元模型單層前向感知器Lecture2.

ForwardNNni第i個(gè)神經(jīng)元加權(quán)輸入和ai第i個(gè)神經(jīng)元輸出,i＝1,2,…,s2023/1/1136網(wǎng)絡(luò)結(jié)構(gòu)單層前向感知器Lecture2.

ForwardNN2023/1/1137單層前向感知器－－功能解釋感知器的基本功能是將輸入矢量轉(zhuǎn)化成0或1的輸出根據(jù)輸出值通過(guò)測(cè)試加權(quán)輸入和值落在閾值函數(shù)的左右對(duì)輸入數(shù)據(jù)進(jìn)行分類Lecture2.

ForwardNN2023/1/1138這一功能可以通過(guò)在輸人矢量空間里的作圖來(lái)加以解釋以輸入矢量r＝2為例對(duì)選定的權(quán)值w1、w2和b，可以在以p1和p2分別作為橫、縱坐標(biāo)的輸入平面內(nèi)畫出W*P+b=0的軌跡它是一條直線，此直線上及其線以上部分的所有p1、p2值均使W*P+b＞0，這些點(diǎn)通過(guò)由w1、w2和b構(gòu)成的感知器的輸出為1；該直線以下部分的點(diǎn)通過(guò)感知器的輸出為0單層前向感知器－－功能解釋Lecture2.

ForwardNN2023/1/1139單層前向感知器－－功能解釋Lecture2.

ForwardNN2023/1/1140當(dāng)采用感知器對(duì)不同的輸入矢量進(jìn)行期望輸出為0或1的分類時(shí)，其問(wèn)題可轉(zhuǎn)化為對(duì)已知輸入矢量在輸入空間形成的不同點(diǎn)的位置，設(shè)計(jì)感知器的權(quán)值W和b感知器權(quán)值參數(shù)設(shè)計(jì)目的，就是根據(jù)學(xué)習(xí)法則設(shè)計(jì)一條W*P+b＝0的軌跡，使其對(duì)輸入矢量能夠達(dá)到所期望的劃分單層前向感知器－－網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練Lecture2.

ForwardNN2023/1/1141學(xué)習(xí)規(guī)則用來(lái)計(jì)算新的權(quán)值矩陣W及新的偏差B的算法假定輸入矢量P，輸出矢量A，目標(biāo)矢量為T的感知器網(wǎng)絡(luò)單層前向感知器－－網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練Lecture2.

ForwardNN2023/1/1142如果第i個(gè)神經(jīng)元的輸出是正確的，即ai＝ti，那么與第i個(gè)神經(jīng)元聯(lián)接的權(quán)值wij和偏差值bi保持不變?nèi)绻趇個(gè)神經(jīng)元的輸出是0，但期望輸出為1，即有ai＝0，而ti＝1，此時(shí)權(quán)值修正算法為：新的權(quán)值wij為舊的權(quán)值wij加上輸人矢量pj；新的偏差bi為舊偏差bi加上1如果第i個(gè)神經(jīng)元的輸出為1，但期望輸出為0，即有ai＝1，而ti＝0，此時(shí)權(quán)值修正算法，新的權(quán)值wij等于舊的權(quán)值wij減去輸入矢量pj；新的偏差bi為舊偏差bi減去1單層前向感知器－－網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練Lecture2.

ForwardNN2023/1/1143由上面分析可以看出感知器學(xué)習(xí)規(guī)則的實(shí)質(zhì)為：權(quán)值的變化量等于正負(fù)輸入矢量。上述用來(lái)修正感知器權(quán)值的學(xué)習(xí)算法在MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中已編成了子程序，成為一個(gè)名為1earnp.m的函數(shù)。只要直接調(diào)用此函數(shù)，即可立即獲得權(quán)值的修正量。此函數(shù)所需要的輸人變量為：輸入、輸出矢量和目標(biāo)矢量（P、A和T）調(diào)用命令為：[dW，dB]＝learnp(P，A，T)單層前向感知器－－網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練Lecture2.

ForwardNN2023/1/1144訓(xùn)練思想在輸入矢量P的作用下，計(jì)算網(wǎng)絡(luò)的實(shí)際輸出A，并與相應(yīng)的目標(biāo)矢量T進(jìn)行比較，檢查A是否等于T，然后用比較后的誤差量，根據(jù)學(xué)習(xí)規(guī)則進(jìn)行權(quán)值和偏差的調(diào)整重新計(jì)算網(wǎng)絡(luò)在新權(quán)值作用下的輸入，重復(fù)權(quán)值調(diào)整過(guò)程，直到網(wǎng)絡(luò)的輸出A等于目標(biāo)矢量T或訓(xùn)練次數(shù)達(dá)到事先設(shè)置的最大值時(shí)訓(xùn)練結(jié)束單層前向感知器－－網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練Lecture2.

ForwardNN2023/1/1145訓(xùn)練算法對(duì)于所要解決的問(wèn)題，確定輸入矢量P，目標(biāo)矢量T，并確定各矢量的維數(shù)及神經(jīng)元數(shù)目：r，s和q；（1）參數(shù)初始化

a)賦給權(quán)矢量w在(—l，1)的隨機(jī)非零初始值；

b)給出最大訓(xùn)練循環(huán)次數(shù)max_epoch；（2）初始化網(wǎng)絡(luò)表達(dá)式。根據(jù)輸人矢量P以及最新權(quán)矢量W，計(jì)算網(wǎng)絡(luò)輸出矢量A；（3）檢查過(guò)程。檢查輸出矢量A與目標(biāo)矢量T是否相同。如果是，或已達(dá)最大循環(huán)次數(shù)，訓(xùn)練結(jié)束，否則轉(zhuǎn)入（4）（4）學(xué)習(xí)過(guò)程。根據(jù)感知器的學(xué)習(xí)規(guī)則調(diào)整權(quán)矢量，并返回（3）單層前向感知器－－網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練Lecture2.

ForwardNN2023/1/11462023/1/11472023/1/11482023/1/11492023/1/1150感知器神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)實(shí)例

下面給出例題來(lái)進(jìn)一步了解感知器解決問(wèn)題的方式，掌握設(shè)計(jì)訓(xùn)練感知器的過(guò)程。例4．1考慮一個(gè)簡(jiǎn)單的分類問(wèn)題。設(shè)計(jì)一個(gè)感知器，將二維的四組輸入矢量分成兩類。輸入矢量為：P＝[-0.5-0.50.30；-0.50.5-0.51]；目標(biāo)矢量為：T＝[1.0l.000]，2023/1/1151感知器神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)實(shí)例2023/1/1152可以用代數(shù)求解法來(lái)求出上面不等式中的參數(shù)w1、w2和w3。經(jīng)過(guò)迭代和約簡(jiǎn)，可得到解的范圍為：一組可能解為：2023/1/1153而當(dāng)采用感知器神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)此題進(jìn)行求解時(shí)，意味著采用具有閾值激活函數(shù)的神經(jīng)網(wǎng)絡(luò)，按照問(wèn)題的要求設(shè)計(jì)網(wǎng)絡(luò)的模型結(jié)構(gòu)，通過(guò)訓(xùn)練網(wǎng)絡(luò)權(quán)值