神經(jīng)網(wǎng)絡實用教程義

1、神經(jīng)網(wǎng)絡實用教程神經(jīng)網(wǎng)絡實用教程學習資料與課程內(nèi)容學習資料與課程內(nèi)容2021-11-72教材教材書名：神經(jīng)網(wǎng)絡實用教程出版社：機械工業(yè)出版社出版日期：2008年2月作者：張良均 曹晶 蔣世忠2021-11-732021-11-74課件、實驗及學習支持網(wǎng)站1、智能中國網(wǎng)： 2、神經(jīng)網(wǎng)絡在線： http:/ :細胞體細胞體(cell body) (cell body) 樹突樹突(dendrite)(dendrite)軸突軸突(axon)(axon)突觸突觸(synapse) (synapse) 用來完成神經(jīng)元間信息的接收、傳遞和處理。用來完成神經(jīng)元間信息的接收、傳遞和處理。人類大腦皮層約有人類大腦

2、皮層約有100100億個神經(jīng)元，億個神經(jīng)元，6060億個神經(jīng)億個神經(jīng)突觸以及它們的連接體突觸以及它們的連接體2021-11-792021-11-710 存存儲儲器器 指指令令 輸輸入入設設備備 運運算算器器 輸輸出出設設備備 控控制制器器馮馮.諾諾依依曼曼體體系系計計算算機機記憶與聯(lián)想能力記憶與聯(lián)想能力學習與認知能力學習與認知能力信息加工能力信息綜合能力信息綜合能力信息處理速度信息處理速度 2021-11-7.2人工神經(jīng)元模型人工神經(jīng)元模型p人工神經(jīng)元是人工神經(jīng)網(wǎng)絡操作的基本信息處理人工神經(jīng)元是人工神經(jīng)網(wǎng)絡操作的基本信息處理單位單位, ,是神經(jīng)網(wǎng)絡設計的基礎。是神經(jīng)網(wǎng)絡設計

3、的基礎。p人工神經(jīng)元模型可以看成是由三種基本元素組成：人工神經(jīng)元模型可以看成是由三種基本元素組成：(1)一組連接 連接強度由各連接上的權(quán)值表示，權(quán)值可以取正值也可以取負值，權(quán)值為正表示激活，權(quán)值為負表示抑制。(2)一個加法器 用于求輸入信號對神經(jīng)元的相應突觸加權(quán)之和。(3)一個激活函數(shù) 用來限制神經(jīng)元輸出振幅。激活函數(shù)也稱為壓制函數(shù)，因為它將輸入信號壓制(限制)到允許范圍之內(nèi)的一定值。 另外，可以給一個神經(jīng)元模型加一個外部偏置，其作另外，可以給一個神經(jīng)元模型加一個外部偏置，其作用是增加或降低激活函數(shù)的網(wǎng)絡輸入。用是增加或降低激活函數(shù)的網(wǎng)絡輸入。 2021-11-7.2人工神

4、經(jīng)元模型人工神經(jīng)元模型2021-11-7.2人工神經(jīng)元模型人工神經(jīng)元模型p一個神經(jīng)元可以用以下公式表示：一個神經(jīng)元可以用以下公式表示：m1kikiiuw xf()kkkyub2021-11-7.2人工神經(jīng)元模型人工神經(jīng)元模型p激活函數(shù)主要的三種形式：激活函數(shù)主要的三種形式：階梯函數(shù)分段線性函數(shù)10f00vvv（ ） 1, 1f, 111, 1vvvvv 2021-11-7.2人工神經(jīng)元模型人工神經(jīng)元模型p非線性函數(shù)非線性函數(shù)單極s型函數(shù)雙極s型函數(shù)2021-11-7.3神經(jīng)網(wǎng)絡的結(jié)構(gòu)及工作方式神經(jīng)網(wǎng)絡的結(jié)構(gòu)及工作方

5、式p人工神經(jīng)網(wǎng)絡是一個由許多簡單的并行人工神經(jīng)網(wǎng)絡是一個由許多簡單的并行工作的處理單元組成的系統(tǒng)，其功能取決工作的處理單元組成的系統(tǒng)，其功能取決于網(wǎng)絡的結(jié)構(gòu)、連接強度以及各單元的處于網(wǎng)絡的結(jié)構(gòu)、連接強度以及各單元的處理方式理方式p根據(jù)神經(jīng)元的不同連接方式，可將神經(jīng)根據(jù)神經(jīng)元的不同連接方式，可將神經(jīng)網(wǎng)絡分為兩大類：網(wǎng)絡分為兩大類：分層網(wǎng)絡相互連接型網(wǎng)絡 2021-11-7.3神經(jīng)網(wǎng)絡的結(jié)構(gòu)及工作方式神經(jīng)網(wǎng)絡的結(jié)構(gòu)及工作方式p分層網(wǎng)絡分層網(wǎng)絡單純的前向網(wǎng)絡具有反饋的前向網(wǎng)絡 層內(nèi)互聯(lián)的前向網(wǎng)絡p相互連接型網(wǎng)絡相互連接型網(wǎng)絡 2021-11-7.3神經(jīng)網(wǎng)絡的結(jié)

6、構(gòu)及工作方式神經(jīng)網(wǎng)絡的結(jié)構(gòu)及工作方式2021-11-7191.1.4 神經(jīng)網(wǎng)絡的學習p學習方式學習方式有導師學習（有監(jiān)督學習）無導師學習（無監(jiān)督學習）再勵學習2021-11-7201.1.4 神經(jīng)網(wǎng)絡的學習p學習算法：學習算法是指針對學習問題學習算法：學習算法是指針對學習問題的明確規(guī)則，不同的學習算法對神經(jīng)元的的明確規(guī)則，不同的學習算法對神經(jīng)元的權(quán)值調(diào)整的表達式是不同的。權(quán)值調(diào)整的表達式是不同的。p算法分類算法分類hebb學習算法 學習算法隨機學習算法競爭學習算法2021-11-7211.1.4 神經(jīng)網(wǎng)絡的學習phebbhebb學習算法學習算法由donald o. hebb提出。如果兩個神經(jīng)元

7、同時興奮，則它們之間的突觸連接加強。如果神經(jīng)元 是神經(jīng)元 的上層結(jié)點，用 分別表示兩神經(jīng)元的激活值(輸出)， 表示兩個神經(jīng)元之間的連接權(quán)，則hebb學習規(guī)則可以表示為: 式中式中 表示學習速率表示學習速率hebb學習規(guī)則是人工神經(jīng)網(wǎng)絡學習的基本規(guī)則，幾乎所有神經(jīng)網(wǎng)絡的學習規(guī)則都可以看作hebb學習規(guī)則的變形ij,ijv vijwijijwvv2021-11-7221.1.4 神經(jīng)網(wǎng)絡的學習p 學習算法學習算法誤差校正學習算法是根據(jù)神經(jīng)網(wǎng)絡的輸出誤差對神經(jīng)元的連接強度進行修正，屬于有導師學習 權(quán)值調(diào)整公式：調(diào)整目標是使下述公式所表達的誤差為最小ijjiwv q211( )( )2oooed ky

8、 k2021-11-7231.1.4 神經(jīng)網(wǎng)絡的學習p隨機學習算法隨機學習算法誤差學習算法通常采用梯度下降法，因此存在局部最小問題，隨機學習算法通過引入不穩(wěn)定因子來處理這種情況。經(jīng)典隨機學習算法模擬退化算法模擬退化算法遺傳算法。遺傳算法。 2021-11-7241.1.4 神經(jīng)網(wǎng)絡的學習p競爭學習算法競爭學習算法競爭學習屬于無導師算法 神經(jīng)元通過互相競爭來做出不同的響應競爭獲勝的神經(jīng)元按規(guī)則修正權(quán)值經(jīng)典競爭學習神經(jīng)網(wǎng)絡自組織特征映射網(wǎng)絡自組織特征映射網(wǎng)絡(self-organization map(self-organization map，som)som)自適應共振網(wǎng)絡自適應共振網(wǎng)絡(ada

9、ptive resonace theory(adaptive resonace theory，art) art) 2021-11-7251.2 神經(jīng)網(wǎng)絡的特點及其應用p神經(jīng)網(wǎng)絡的特點神經(jīng)網(wǎng)絡的特點 并行分布式處理 非線性處理 具有自學習功能 神經(jīng)網(wǎng)絡可采用硬件實現(xiàn) 2021-11-7261.2 神經(jīng)網(wǎng)絡的特點及其應用p神經(jīng)網(wǎng)絡的應用領域神經(jīng)網(wǎng)絡的應用領域 語音識別語音識別娃娃語音識別娃娃圖像識別與理解人臉檢測人臉檢測2021-11-7271.2 神經(jīng)網(wǎng)絡的特點及其應用p神經(jīng)網(wǎng)絡的應用領域神經(jīng)網(wǎng)絡的應用領域機器人智能故障檢測智能故障檢測醫(yī)學應用醫(yī)學圖像處理醫(yī)學圖像處理2021-11-728p神經(jīng)

10、網(wǎng)絡的應用領域神經(jīng)網(wǎng)絡的應用領域國防軍事應用航天器姿態(tài)控制航天器姿態(tài)控制導彈的智能引導導彈的智能引導 2021-11-729小結(jié)小結(jié)p生物神經(jīng)網(wǎng)絡構(gòu)成生物神經(jīng)網(wǎng)絡構(gòu)成p人工神經(jīng)網(wǎng)絡模型人工神經(jīng)網(wǎng)絡模型p人工神經(jīng)網(wǎng)絡結(jié)構(gòu)及工作方式人工神經(jīng)網(wǎng)絡結(jié)構(gòu)及工作方式p人工神經(jīng)網(wǎng)絡學習方法人工神經(jīng)網(wǎng)絡學習方法p人工神經(jīng)網(wǎng)絡特點人工神經(jīng)網(wǎng)絡特點p人工神經(jīng)網(wǎng)絡應用人工神經(jīng)網(wǎng)絡應用2.1matlab2.1matlab快速入門快速入門2021-11-7312.1matlab2.1matlab快速入門快速入門p2.1.1 matlab2.1.1 matlab界面組成界面組成p2.1.2 matlab2.1.2 mat

11、lab基本運算基本運算 p2.1.3 matlab2.1.3 matlab繪圖函數(shù)繪圖函數(shù)2021-11-7322.1.1 matlab界面組成工作空間瀏覽器窗工作空間瀏覽器窗命令行窗口命令行窗口命令歷史窗口命令歷史窗口當前目錄窗口當前目錄窗口2021-11-7332.1.1 matlab界面組成pmatlab界面組成命令行窗口命令行窗口命令歷史窗口命令歷史窗口 工作空間瀏覽器窗口工作空間瀏覽器窗口 當前目錄窗口當前目錄窗口編輯調(diào)試窗口編輯調(diào)試窗口2021-11-7342.1.1 matlab界面組成p在matlab主窗口中，點擊“start”“desktop tools”“editor”即可

12、打開編輯調(diào)試窗口。2021-11-7352.1.2 matlab2.1.2 matlab基本運算基本運算 p基本運算基本運算 (5*2+1.3-0.8)*10/25 ans =4.2000 x = (5*2+1.3-0.8)*102/25 x = 42 變量命名規(guī)則第一個字母必須是英文字母；第一個字母必須是英文字母； 字母間不可留空格；字母間不可留空格；最多只能有最多只能有1919個字母，個字母，matlabmatlab會忽略多余字母。會忽略多余字母。 2021-11-7362.1.2 matlab2.1.2 matlab基本運算基本運算p基本運算基本運算若不想讓matlab每次都顯示運算結(jié)果

13、，只需在運算式最后加上 “;”即可matlab可同時執(zhí)行數(shù)個命令，只要以逗號或分號將命令隔開： x = sin(pi/3); y = x2; z = y*10, z = 7.5000 若一個數(shù)學運算式太長，可用三個句點將其延伸到下一行： z = 10*sin(pi/3)* . sin(pi/3); 2021-11-7372.1.2 matlab2.1.2 matlab基本運算基本運算p matlab matlab的查詢命令的查詢命令鍵入help inv即可得知有關(guān)inv命令的用法p向量與矩陣的表示及運算向量與矩陣的表示及運算向量的表示方法與運算 x = 1 3 5 2; %表示一個行向量 y

14、= 2*x+1 y = 3 7 11 5 2021-11-7382.1.2 matlab2.1.2 matlab基本運算基本運算p向量與矩陣的表示及運算向量與矩陣的表示及運算更改、增加或刪除向量中的元素y(3) = 2 % 更改第三個元素 y = % 更改第三個元素后的結(jié)果3 7 2 5 y(6) = 10 % 加入第六個元素 y = %加入第六個元素后的結(jié)果3 7 2 5 0 10 y(4) = % 刪除第四個元素 y = %刪除第四個元素后的結(jié)果 3 7 2 0 10 2021-11-7392.1.2 matlab2.1.2 matlab基本運算基本運算p向量與矩陣的表示及運算向量與矩陣的

15、表示及運算向量的一個元素或一部分向量的運算x(2)*3+y(4) % 取出x的第二個元素和y的第四個元素來做運算 ans = 9 y(2:4)-1 %用y的第二至第四個元素分別做減1運算，2:4代表向量中 的第2、3、4號元素 ans = 6 1 -1轉(zhuǎn)置z = x z = x z = z = 1 1 3 3 5 5 2 2 2021-11-7402.1.2 matlab2.1.2 matlab基本運算基本運算p矩陣的表示方法和各種處理方式矩陣的表示方法和各種處理方式表示在命令窗口中輸入 a = 1 2 3 4; 5 6 7 8; 9 10 11 12 結(jié)果為：a = 1 2 3 4 5 6

16、7 8 9 10 11 12 2021-11-7412.1.2 matlab2.1.2 matlab基本運算基本運算p矩陣的表示方法和各種處理方式矩陣的表示方法和各種處理方式運算a(2,3) = 5 % 將矩陣第二行，第三列的元素值置為5 a = %置值后的矩陣1 2 3 4 5 6 5 8 9 10 11 12 b = a(2,1:3) %取出矩陣a中第二行第一個到第三個元素，構(gòu)成 矩陣b b = 5 6 5 a = a b %將b轉(zhuǎn)置后，再以列向量并入a a = 1 2 3 4 5 5 6 5 8 6 9 10 11 12 5 2021-11-7422.1.2 matlab2.1.2 ma

17、tlab基本運算基本運算p矩陣的表示方法和各種處理方式矩陣的表示方法和各種處理方式運算a(:, 2) = %刪除第二列，符號：代表所有列 a = 1 3 4 5 5 5 8 6 9 11 12 5 a = a; 4 3 2 1 %加入第四行 a = 1 3 4 5 5 5 8 6 9 11 12 5 4 3 2 1 a(1 4, :) = % 刪除第一和第四行，符號:代表所有行 a = 5 5 8 6 9 11 12 5 2021-11-7432.1.3 matlab繪圖函數(shù)p二維繪圖函數(shù)二維繪圖函數(shù)plot plot plot(x) 當x為向量時，則以x元素為縱坐標，以相應元素的下標作為橫坐

18、標來繪圖。當x為實數(shù)矩陣時，則按列繪制每列元素值相對其下標的連線圖，圖中曲線x陣的列數(shù)。plot(x,y) 如果x、y為同維向量，則繪制以x、y為橫縱坐標的連線圖。如果x是向量，y是一個與x同維的矩陣，則繪制多條不同色彩的連線圖，連線條數(shù)等于y陣的另一維數(shù)。如果x和y是同維矩陣，則以x、y對應元素為橫縱坐標分別繪制曲線，曲線的條數(shù)等于矩陣的行數(shù)。plot(x,y,s) s表示線條的顏色和類型，如s=r+，表示各點是由紅色的+號繪制的，如果沒有特別說明，默認的類型為藍色的線條。2021-11-7442.1.3 matlab繪圖函數(shù)p二維繪圖函數(shù)二維繪圖函數(shù)plotplothold on設置在同一

19、張圖上繪制多條曲線設置在同一張圖上繪制多條曲線 hold off取消在同一張圖上繪制多條曲線設置取消在同一張圖上繪制多條曲線設置figure下次的圖和已經(jīng)繪制的圖將不在同一張圖上下次的圖和已經(jīng)繪制的圖將不在同一張圖上 2021-11-7452.1.3 matlab繪圖函數(shù)p繪圖函數(shù)使用示例繪圖函數(shù)使用示例%橫坐標變化范圍為-6 6，每間隔0.1個單位繪制一次x=-6:0.1:6;y1=cos(x);y2=cos(2*x);y3=cos(3*x);%以x、y為橫縱坐標繪圖plot(x,y1);%保存繪圖句柄，使下一次的圖和已經(jīng)繪制的圖在同一張圖上hold onplot(x,y2,r+);%關(guān)閉繪

20、圖句柄下次的圖和已經(jīng)繪制的圖將不在現(xiàn)一張圖上hold off%打開一張新的繪圖面figure%以x、y為橫縱坐標，以藍色的*繪圖plot(x,y3,b*);2021-11-7462.1.3 matlab繪圖函數(shù)2021-11-7472.1.3 matlab繪圖函數(shù)2021-11-748小結(jié)小結(jié)pmatlabmatlab快速入門快速入門pmatlabmatlab界面組成界面組成pmatlabmatlab基本運算基本運算pmatlabmatlab繪圖函數(shù)繪圖函數(shù)2.22.2感知器神經(jīng)網(wǎng)絡模型感知器神經(jīng)網(wǎng)絡模型與學習算法與學習算法2021-11-.1單層感知器單層感知器p概述概述由

21、美國學者rosenblatt在1957年首次提出學習算法是rosenblatt在1958年提出的 包含一個突觸權(quán)值可調(diào)的神經(jīng)元 屬于前向神經(jīng)網(wǎng)絡類型 只能區(qū)分線性可分的模式 ieee設立以其名字命名的獎項 2021-11-.1單層感知器單層感知器p單層感知器模型單層感知器模型2021-11-.1單層感知器單層感知器p單層感知器工作原理單層感知器工作原理 單層感知器可將外部輸入分為兩類和。當單層感知器可將外部輸入分為兩類和。當感知器的輸出為感知器的輸出為+1+1時，輸入屬于時，輸入屬于 類，當感知類，當感知器的輸出為器的輸出為-1-1時，輸入屬于時，輸入屬于

22、類，從而實現(xiàn)兩類，從而實現(xiàn)兩類目標的識別。在維空間，單層感知器進行模類目標的識別。在維空間，單層感知器進行模式識別的判決超平面由下式?jīng)Q定：式識別的判決超平面由下式?jīng)Q定： 10miiiw xb1l2l2021-11-.1單層感知器單層感知器p單層感知器工作原理單層感知器工作原理 對于只有兩個輸入的判別邊界是直線（如下式所示）,選擇合適的學習算法可訓練出滿意的 和 ，當它用于兩類模式的分類時，相當于在高維樣本空間中，用一個超平面將兩類樣本分開。1 12 20wxwxb 1w2w2021-11-.2單層感知器的學習算法單層感知器的學習算法p單層感知器學習算法思想單

23、層感知器學習算法思想基于迭代的思想，通常是采用誤差校正學習規(guī)則的學習算法。可以將偏差作為神經(jīng)元突觸權(quán)值向量的第一個分量加到權(quán)值向量中 輸入向量和權(quán)值向量可分別寫成如下的形式：令上式等于零，可得到在維空間的單層感知器的判別超平面。 t121,mnxnxnxn x t12,mnb nw nwnwnw2021-11-.2單層感知器的學習算法單層感知器的學習算法p單層感知器學習算法單層感知器學習算法第一步,設置變量和參量。 為激活函數(shù)為激活函數(shù), , 為網(wǎng)絡實際輸出，為網(wǎng)絡實際輸出， 為期望輸出，為期望輸出， 為學習為學習速率，速率， 為迭代次數(shù)，為迭代次數(shù)， 為實際輸出與期望輸出的

24、誤差。為實際輸出與期望輸出的誤差。 第二步,初始化 給權(quán)值向量給權(quán)值向量 的各個分量賦一個較小的隨機非零值，置的各個分量賦一個較小的隨機非零值，置 第三步,輸入一組樣本 ，并給出 它的期望輸出 。 第四步,計算實際輸出:第五步,求出期望輸出和實際輸出求出差根據(jù)誤差判斷目前輸出是否滿足條件，一般為對所有樣本誤差為零或者均根據(jù)誤差判斷目前輸出是否滿足條件，一般為對所有樣本誤差為零或者均小于預設的值，則算法結(jié)束，否則將值增加小于預設的值，則算法結(jié)束，否則將值增加1 1，并用下式調(diào)整權(quán)值：，并用下式調(diào)整權(quán)值：然后轉(zhuǎn)到第三步，進入下一輪計算過程然后轉(zhuǎn)到第三步，進入下一輪計算過程 f( ) ( )ny(

25、)ndne(0)w0n 121,mnxnxnxn x( )nd0( )f( )( )miiiy nwn x n( )( )ed ny n 1w nw nd ny nx n2021-11-72.2.3 2.2.3 單層感知器的單層感知器的matlabmatlab實現(xiàn)實現(xiàn) p matlab matlab中單層感知器常用工具函數(shù)名稱中單層感知器常用工具函數(shù)名稱和基本功能和基本功能 函函 數(shù)數(shù) 名名功功 能能newp()生成一個感知器生成一個感知器hardlim()硬限幅激活函數(shù)硬限幅激活函數(shù)learnp()感知器的學習函數(shù)感知器的學習函數(shù)train()神經(jīng)網(wǎng)絡訓練函數(shù)神經(jīng)網(wǎng)絡訓練函數(shù)sim()神經(jīng)網(wǎng)

26、絡仿真函數(shù)神經(jīng)網(wǎng)絡仿真函數(shù)mae()平均絕對誤差性能函數(shù)平均絕對誤差性能函數(shù)plotpv()在坐標圖上繪出樣本點在坐標圖上繪出樣本點plotpc()在已繪制的圖上加分類線在已繪制的圖上加分類線2021-11-72.2.3 2.2.3 單層感知器的單層感知器的matlabmatlab實現(xiàn)實現(xiàn)pnewp()newp()功能：創(chuàng)建一個感知器神經(jīng)網(wǎng)絡的函數(shù)格式：net = newp(pr，s，tf，lf)說明：net為生成的感知機神經(jīng)網(wǎng)絡；pr為一個r2的矩陣，由r組輸入向量中的最大值和最小值組成；s表示神經(jīng)元的個數(shù)；tf表示感知器的激活函數(shù)，缺省值為硬限幅激活函數(shù)hardlim；lf表示網(wǎng)絡的學習函

27、數(shù)，缺省值為learnp phardlim()hardlim()功能 硬限幅激活函數(shù)格式 a = hardlim(n) 說明 函數(shù)hardlim(n)在給定網(wǎng)絡的輸入矢量矩陣n時，返回該層的輸出矢量矩陣a。當n中的元素大于等于零時，返回的值為l；否則為0。也就是說，如果網(wǎng)絡的輸入達到閾值，則硬限幅傳輸函數(shù)的輸出為1；否則，為0。 plearnp()learnp()功能 感知機的權(quán)值和閾值學習函數(shù) 2021-11-72.2.3 2.2.3 單層感知器的單層感知器的matlabmatlab實現(xiàn)實現(xiàn)ptrain()train()功能 神經(jīng)網(wǎng)絡訓練函數(shù)格式 net，tr，y，e，pf，af = tra

28、in(net，p，t，pi，ai，vv，tv)說明 net為訓練后的網(wǎng)絡；tr為訓練記錄；y為網(wǎng)絡輸出矢量；e為誤差矢量；pf為訓練終止時的輸入延遲狀態(tài)；af為訓練終止時的層延遲狀態(tài)；net為訓練前的網(wǎng)絡；p為網(wǎng)絡的輸入向量矩陣；t表示網(wǎng)絡的目標矩陣，缺省值為0；pi表示初始輸入延時，缺省值為0；ai表示初始的層延時，缺省值為0； vv為驗證矢量（可省略）；tv為測試矢量（可省略）。網(wǎng)絡訓練函數(shù)是一種通用的學習函數(shù)，訓練函數(shù)重復地把一組輸入向量應用到一個網(wǎng)絡上，每次都更新網(wǎng)絡，直到達到了某種準則，停止準則可能是達到最大的學習步數(shù)、最小的誤差梯度或誤差目標等。2021-11-72.2.3 2.2

29、.3 單層感知器的單層感知器的matlabmatlab實現(xiàn)實現(xiàn)psim()sim()功能 對網(wǎng)絡進行仿真格式 (1) y(1) y，pfpf，afaf，e e，perf = sim(netperf = sim(net，p p，pipi，aiai，t) t) (2) y(2) y，pfpf，afaf，e e，perf = sim(netperf = sim(net，q tsq ts，pipi，aiai，t) t) (3) y(3) y，pfpf，afaf，e e，perf = sim(netperf = sim(net，q q，pipi，aiai，t)t)說明 y為網(wǎng)絡的輸出；pf表示最終的輸入

30、延時狀態(tài)；af表示最終的層延時狀態(tài)；e為實際輸出與目標矢量之間的誤差；perf為網(wǎng)絡的性能值；net為要測試的網(wǎng)絡對象；p為網(wǎng)絡的輸入向量矩陣；pi為初始的輸入延時狀態(tài)（可省略）；ai為初始的層延時狀態(tài)（可省略）；t為目標矢量（可省略）。式(1)、(2)用于沒有輸入的網(wǎng)絡，其中q為批處理數(shù)據(jù)的個數(shù)，ts為網(wǎng)絡仿真的時間步數(shù)。2021-11-72.2.3 2.2.3 單層感知器的單層感知器的matlabmatlab實現(xiàn)實現(xiàn)p mae() mae()功能 平均絕對誤差性能函數(shù)格式 perf=mae(e，w，pp) 說明 perf表示平均絕對誤差和， e為誤差矩陣或向量(網(wǎng)絡的目標向量與輸出向量之差

31、)， w為所有權(quán)值和偏值向量(可忽略)， pp為性能參數(shù)(可忽略)。 2021-11-72.2.3 2.2.3 單層感知器的單層感知器的matlabmatlab實現(xiàn)實現(xiàn)p plotpv() plotpv()功能 繪制樣本點的函數(shù)格式 (1) plotpv(p，t) (2) plotpv(p，t，v)說明 p定義了n個2或3維的樣本，是一個2n維或3n維的矩陣；t表示各樣本點的類別，是一個n維的向量；v=x_min x_max y_min y_max，為一設置繪圖坐標值范圍的向量。利用plotpv()函數(shù)可在坐標圖中繪出給定的樣本點及其類別，不同的類別使用不同的符號。如果t只含一元矢量，則目標為

32、0的輸入矢量在坐標圖中用符號o表示： 目標為1的輸入矢量在坐標圖中用符號+表示。如果t含二元矢量，則輸入矢量在坐標圖中所采用的符號分別如下：0 0用o表示；0 1用+表示：1 0用*表示；1 1用表示。 2021-11-72.2.3 2.2.3 單層感知器的單層感知器的matlabmatlab實現(xiàn)實現(xiàn)pplotpc()plotpc()功能 在存在的圖上繪制出感知器的分類線函數(shù)格式 (1) plotpc(w，b) (2) plotpc(w，b，h)說明 硬特性神經(jīng)元可將輸入空間用一條直線(如果神經(jīng)元有兩個輸入)，或用一個平面(如果神經(jīng)元有三個輸入)，或用一個超平面(如果神經(jīng)元有三個以上輸入)分成

33、兩個區(qū)域。plotpc(w，b)對含權(quán)矩陣w和偏差矢量b的硬特性神經(jīng)元的兩個或三個輸入畫一個分類線。這一函數(shù)返回分類線的句柄以便以后調(diào)用。plotpc(w，b，h)包含從前的一次調(diào)用中返回的句柄。它在畫新分類線之前，刪除舊線。2021-11-72.2.3 2.2.3 單層感知器的單層感知器的matlabmatlab實現(xiàn)實現(xiàn)p使用使用matlabmatlab實現(xiàn)神經(jīng)網(wǎng)絡的步驟如下：實現(xiàn)神經(jīng)網(wǎng)絡的步驟如下：第一步 根據(jù)應用創(chuàng)建一個神經(jīng)網(wǎng)絡；第二步 設定神經(jīng)網(wǎng)絡的訓練參數(shù)，利用給定樣本對創(chuàng)建的神經(jīng)網(wǎng)絡進行訓練；第三步 輸入測試數(shù)據(jù)，測試訓練好的神經(jīng)網(wǎng)絡的性能。p例例2-12-1：見：見神經(jīng)網(wǎng)絡實用教

34、程神經(jīng)網(wǎng)絡實用教程第第2222頁頁 2021-11-72.2.3 2.2.3 單層感知器的單層感知器的matlabmatlab實現(xiàn)實現(xiàn)p= -0.4 -0.5 0.6; 0.9 0 0.1; p= -0.4 -0.5 0.6; 0.9 0 0.1; % %給定訓練樣本數(shù)據(jù)給定訓練樣本數(shù)據(jù)t= 1 1 0; t= 1 1 0; % %給定樣本數(shù)據(jù)所對應的類別，用給定樣本數(shù)據(jù)所對應的類別，用1 1和和0 0來表示兩種類別來表示兩種類別% %創(chuàng)建一個有兩個輸入、樣本數(shù)據(jù)的取值范圍都在創(chuàng)建一個有兩個輸入、樣本數(shù)據(jù)的取值范圍都在-1-1，11之間，并且之間，并且% %網(wǎng)絡只有一個神經(jīng)元的感知器神經(jīng)網(wǎng)絡網(wǎng)

35、絡只有一個神經(jīng)元的感知器神經(jīng)網(wǎng)絡net=newp(-1 1;-1 1,1);net=newp(-1 1;-1 1,1);net.trainparam.epochs = 20; net.trainparam.epochs = 20; % %設置網(wǎng)絡的最大訓練次數(shù)為設置網(wǎng)絡的最大訓練次數(shù)為2020次次net=train(net,p,t); net=train(net,p,t); % %使用訓練函數(shù)對創(chuàng)建的網(wǎng)絡進行訓練使用訓練函數(shù)對創(chuàng)建的網(wǎng)絡進行訓練y=sim(net,p) y=sim(net,p) % %對訓練后的網(wǎng)絡進行仿真對訓練后的網(wǎng)絡進行仿真e1=mae(y-t) e1=mae(y-t) %

36、 %計算網(wǎng)絡的平均絕對誤差，表示網(wǎng)絡錯誤分類計算網(wǎng)絡的平均絕對誤差，表示網(wǎng)絡錯誤分類q=0.6 0.9 -0.1; -0.1 -0.5 0.5; q=0.6 0.9 -0.1; -0.1 -0.5 0.5; % %檢測訓練好的神經(jīng)網(wǎng)絡的性能檢測訓練好的神經(jīng)網(wǎng)絡的性能y1=sim(net,q) y1=sim(net,q) % %對網(wǎng)絡進行仿真，仿真輸出即為分類的結(jié)果對網(wǎng)絡進行仿真，仿真輸出即為分類的結(jié)果figure; figure; % %創(chuàng)建一個新的繪圖窗口創(chuàng)建一個新的繪圖窗口plotpv(q,y1); plotpv(q,y1); % %在坐標圖中繪制測試數(shù)據(jù)在坐標圖中繪制測試數(shù)據(jù)plotpc

37、(net.iw1,net.b1) plotpc(net.iw1,net.b1) % %在坐標圖中繪制分類線在坐標圖中繪制分類線2021-11-72.2.3 2.2.3 單層感知器的單層感知器的matlabmatlab實現(xiàn)實現(xiàn)p例例2-12-1運行后在命令行窗口中得到的結(jié)果如下：運行后在命令行窗口中得到的結(jié)果如下： trainc, epoch 0/20 trainc, epoch 0/20% %使用使用trainctrainc作為神經(jīng)網(wǎng)絡的訓練函數(shù)，第作為神經(jīng)網(wǎng)絡的訓練函數(shù)，第0 0次訓練，最次訓練，最% %大訓練次數(shù)為大訓練次數(shù)為2020trainc, epoch 3/20trainc, ep

38、och 3/20% %達到目標誤差要求，結(jié)束訓練達到目標誤差要求，結(jié)束訓練trainc, performance goal met.trainc, performance goal met.y =y = 1 1 0 1 1 0e1 =e1 = 0 0y1 =y1 = 0 0 1 0 0 1 2021-11-72.2.3 2.2.3 單層感知器的單層感知器的matlabmatlab實現(xiàn)實現(xiàn)p例例2-12-1訓練誤差曲線訓練誤差曲線 2021-11-72.2.3 2.2.3 單層感知器的單層感知器的matlabmatlab實現(xiàn)實現(xiàn)p例例2-12-1訓練后的分類線訓練后的分類線 2021-11-72

39、.2.4 2.2.4 多層感知機多層感知機 p單層感知器的缺點是只能解決線性可分的分類單層感知器的缺點是只能解決線性可分的分類模式問題模式問題p采用多層網(wǎng)絡結(jié)構(gòu)可以增強網(wǎng)絡的分類能力，采用多層網(wǎng)絡結(jié)構(gòu)可以增強網(wǎng)絡的分類能力，即在輸入層與輸出層之間增加一個隱含層，從即在輸入層與輸出層之間增加一個隱含層，從而構(gòu)成多層感知器而構(gòu)成多層感知器(multilayer perceprons (multilayer perceprons ，mlp)mlp)。p由輸入層、隱含層由輸入層、隱含層( (可以是一層或者多層可以是一層或者多層) )和輸和輸出層構(gòu)成的神經(jīng)網(wǎng)絡稱為多層前向神經(jīng)網(wǎng)絡。出層構(gòu)成的神經(jīng)網(wǎng)絡稱為

40、多層前向神經(jīng)網(wǎng)絡。 2021-11-72.2.4 2.2.4 多層感知機多層感知機 p多層感知器的拓撲結(jié)構(gòu)多層感知器的拓撲結(jié)構(gòu) 2021-11-72.2.4 2.2.4 多層感知機多層感知機p多層感知器的特點多層感知器的特點含有一層或多層隱單元,從輸入模式中獲得了更多有用的信息，使網(wǎng)絡可以完成更復雜的任務。每個神經(jīng)元的激活函數(shù)采用可微的函數(shù)sigmoidsigmoid函數(shù)函數(shù)多個突觸使得網(wǎng)絡更具連通性 具有獨特的學習算法 bpbp算法算法 2021-11-7小結(jié)小結(jié)p單層感知器模型及工作原理單層感知器模型及工作原理p單層感知器的學習算法單層感知器的學習算法p單層感知器的單層感知器的matlab

41、matlab實現(xiàn)實現(xiàn)p單層感知器的應用示例單層感知器的應用示例p多層感知器概述多層感知器概述智能中國網(wǎng)提供學習支持智能中國網(wǎng)提供學習支持2.3 2.3 線性神經(jīng)網(wǎng)絡線性神經(jīng)網(wǎng)絡 2.3.1 線性神經(jīng)元網(wǎng)絡模型p線性神經(jīng)元模型線性神經(jīng)元模型它與感知器的主要不同之處在于其神經(jīng)元有一個線性激活函數(shù)，這允許輸出可以是任意值，而不僅僅只是像感知器中那樣只能取0或1。2.3.1 線性神經(jīng)元網(wǎng)絡模型p線性神經(jīng)元激活函數(shù)線性神經(jīng)元激活函數(shù)2.3.1 線性神經(jīng)元網(wǎng)絡模型p線性神經(jīng)元網(wǎng)絡分類圖示雙輸入雙輸入輸出如下式所示輸出如下式所示111212yw pw pb2.3.1 線性神經(jīng)元網(wǎng)絡模型p線性神經(jīng)網(wǎng)絡的結(jié)構(gòu)線

42、性神經(jīng)網(wǎng)絡的結(jié)構(gòu) 2.3.2 線性神經(jīng)網(wǎng)絡的學習算法pwidrow-hoffwidrow-hoff學習規(guī)則學習規(guī)則又稱為最小均方誤差lms（least mean square error）學習算法， 由widrow-hoff提出，屬于有導師學習算法lms學習規(guī)則定義如下: 目標是通過調(diào)節(jié)權(quán)值，使是通過調(diào)節(jié)權(quán)值，使msemse從誤差空間的某點開始，沿著從誤差空間的某點開始，沿著msemse的斜面向下滑行的斜面向下滑行, ,最終使最終使msemse達到最小值。達到最小值。221111( )( )( )mmkkmsee kd ky kmmbernard widrowbernard widrow2.3

43、.2 線性神經(jīng)網(wǎng)絡的學習算法p算法實現(xiàn)步驟第一步第一步: :初始化初始化給各個連接賦一個較小的隨機值第二步：輸入一個樣本，計算連接權(quán)值第二步：輸入一個樣本，計算連接權(quán)值的調(diào)整量的調(diào)整量 22ijijekeke kww 22ekeke kbb r11,2,ijiiijije ked kw p kbjsww2.3.2 線性神經(jīng)網(wǎng)絡的學習算法其中其中 表示第表示第 次循環(huán)中的第個輸入向量。則有：次循環(huán)中的第個輸入向量。則有：第三步：調(diào)整連接權(quán)值第三步：調(diào)整連接權(quán)值根據(jù)負梯度下降的原則，網(wǎng)絡權(quán)值和閾值修正公式如下根據(jù)負梯度下降的原則，網(wǎng)絡權(quán)值和閾值修正公式如下式中式中 為學習率為學習率, ,當其取較大

44、值時，可以加快網(wǎng)絡的訓練速當其取較大值時，可以加快網(wǎng)絡的訓練速度，但是如果其值太大，會導致網(wǎng)絡穩(wěn)定性的降低和訓練誤度，但是如果其值太大，會導致網(wǎng)絡穩(wěn)定性的降低和訓練誤差的增加。所以，為了保證網(wǎng)絡進行穩(wěn)定的訓練，學習率的差的增加。所以，為了保證網(wǎng)絡進行穩(wěn)定的訓練，學習率的值必須選擇一個合適的值。值必須選擇一個合適的值。 iije kp kw 1e kb k( )ip kt(1)( )2( )( )(1)( )2( )w kw ke kkb kb ke kp2.3.2 線性神經(jīng)網(wǎng)絡的學習算法第四步：計算均方誤差第四步：計算均方誤差第五步：判斷誤差是否為零或者是否第五步：判斷誤差是否為零或者是否達到

45、預先設定的要求。如果是，則結(jié)束達到預先設定的要求。如果是，則結(jié)束算法，否則輸入下一個樣本，返回第二算法，否則輸入下一個樣本，返回第二步進入下一輪求解過程步進入下一輪求解過程221111( )( )( )mmkkmsee kd ky kmm2.3.3 線性神經(jīng)網(wǎng)絡的matlab實現(xiàn) pmatlabmatlab中線性神經(jīng)網(wǎng)絡相關(guān)的常用函數(shù)中線性神經(jīng)網(wǎng)絡相關(guān)的常用函數(shù)和基本功能和基本功能 函函 數(shù)數(shù) 名名功功 能能newlin()新建一個線性層新建一個線性層learnwh()widrow-hoff的學習函數(shù)的學習函數(shù)purelin()線性傳輸函數(shù)線性傳輸函數(shù)mse()最小均方誤差性能函數(shù)最小均方誤差

46、性能函數(shù)2.3.3 線性神經(jīng)網(wǎng)絡的matlab實現(xiàn)pmatlabmatlab中線性神經(jīng)網(wǎng)絡相關(guān)的常用函數(shù)和基本功能中線性神經(jīng)網(wǎng)絡相關(guān)的常用函數(shù)和基本功能newlin()功能功能 新建一個線性神經(jīng)網(wǎng)絡函數(shù)。新建一個線性神經(jīng)網(wǎng)絡函數(shù)。格式格式 (1) net = newlin (1) net = newlin (2) net = newlin(pr (2) net = newlin(pr，s s，idid，lr) lr) 說明說明 式式(1)(1)返回一個沒有定義結(jié)構(gòu)的空對象，并顯示圖形用戶界返回一個沒有定義結(jié)構(gòu)的空對象，并顯示圖形用戶界面函數(shù)面函數(shù)nntoolnntool的幫助文字；式的幫助文字

47、；式(2)(2)中中netnet為生成的線性神經(jīng)網(wǎng)絡；為生成的線性神經(jīng)網(wǎng)絡；prpr為網(wǎng)絡輸入向量中的最大值和最小值組成的矩陣為網(wǎng)絡輸入向量中的最大值和最小值組成的矩陣pminpmin，pmaxpmax；s s為輸出向量的個數(shù)；為輸出向量的個數(shù)；idid為輸入延時向量（可省略）；為輸入延時向量（可省略）；lrlr為學習速為學習速率（可省略），默認值為率（可省略），默認值為0.010.01。 learnwh( )功能功能 線性神經(jīng)網(wǎng)絡學習函數(shù)線性神經(jīng)網(wǎng)絡學習函數(shù)格式格式 (1) dw,ls = learnwh(w,p,z,n,a,t,e,gw,ga,d,lp,ls)(1) dw,ls = lea

48、rnwh(w,p,z,n,a,t,e,gw,ga,d,lp,ls) (2) db,ls = learnwh(b,ones(1,q),z,n,a,t,e,gw,ga,d,lp,ls) (2) db,ls = learnwh(b,ones(1,q),z,n,a,t,e,gw,ga,d,lp,ls) 2.3.3 線性神經(jīng)網(wǎng)絡的matlab實現(xiàn)pmatlabmatlab中線性神經(jīng)網(wǎng)絡相關(guān)的常用函數(shù)和基本功能中線性神經(jīng)網(wǎng)絡相關(guān)的常用函數(shù)和基本功能purelin()功能功能 純線性傳輸函數(shù)純線性傳輸函數(shù)格式格式 a = purelin(n)a = purelin(n)說明說明 函數(shù)函數(shù)purelin(n)

49、purelin(n)為返回網(wǎng)絡輸入向量為返回網(wǎng)絡輸入向量n n的輸出矩陣的輸出矩陣a a；神經(jīng)元最簡單的傳輸函數(shù)是簡單地從神經(jīng)元輸入到輸出的線神經(jīng)元最簡單的傳輸函數(shù)是簡單地從神經(jīng)元輸入到輸出的線性傳輸函數(shù)，輸出僅僅被神經(jīng)元所附加的偏差所修正，性傳輸函數(shù)，輸出僅僅被神經(jīng)元所附加的偏差所修正，newlinnewlin和和newlindnewlind函數(shù)建立的網(wǎng)絡都可以用該函數(shù)做為傳遞函數(shù)建立的網(wǎng)絡都可以用該函數(shù)做為傳遞函數(shù)。函數(shù)。mse()功能功能 均方誤差性能函數(shù)均方誤差性能函數(shù)格式格式 perf=mae(eperf=mae(e，w w，pp) pp) 說明說明 perfperf表示均方誤差表示

50、均方誤差,e,e為誤差矩陣或向量為誤差矩陣或向量( (網(wǎng)絡的目標網(wǎng)絡的目標向量與輸出向量之差向量與輸出向量之差),w),w為所有權(quán)值和偏值向量為所有權(quán)值和偏值向量( (可忽略可忽略) )， pppp為性能參數(shù)為性能參數(shù)( (可忽略可忽略) )。 2.3.3 線性神經(jīng)網(wǎng)絡的matlab實現(xiàn)p例例2-2 2-2 要求設計一個線性神經(jīng)網(wǎng)絡，尋找給定數(shù)據(jù)之間的線性關(guān)要求設計一個線性神經(jīng)網(wǎng)絡，尋找給定數(shù)據(jù)之間的線性關(guān)系。系。p=1.1 -1.3;t=0.6 1;% %創(chuàng)建一個只有一個輸出，輸入延時為創(chuàng)建一個只有一個輸出，輸入延時為0 0，學習速率為，學習速率為0.010.01的線性神經(jīng)網(wǎng)絡，的線性神經(jīng)網(wǎng)

51、絡，minmax(p)minmax(p)表示樣表示樣% %本數(shù)據(jù)的取值范圍本數(shù)據(jù)的取值范圍net=newlin(minmax(p),1,0,0.01);% %對創(chuàng)建的線性神經(jīng)網(wǎng)絡進行初始化，設置權(quán)值和閾值的初始值對創(chuàng)建的線性神經(jīng)網(wǎng)絡進行初始化，設置權(quán)值和閾值的初始值net=init(net);net.trainparam.epochs=500;% %設置網(wǎng)絡訓練后的目標誤差為設置網(wǎng)絡訓練后的目標誤差為0.00010.0001net.trainparam.goal=0.0001;net=train(net,p,t);y=sim(net,p)% %求解網(wǎng)絡的均方誤差值求解網(wǎng)絡的均方誤差值e=mse

52、(y-t) 2.3.3 線性神經(jīng)網(wǎng)絡的matlab實現(xiàn)p例例2-22-2的輸出結(jié)果的輸出結(jié)果% %使用使用trainbtrainb作為訓練函數(shù)，最大訓練次數(shù)為作為訓練函數(shù)，最大訓練次數(shù)為500500，開始訓練時的均，開始訓練時的均方誤差值為方誤差值為0.680.68，% %目標誤差為目標誤差為0.00010.0001 trainb, epoch 0/500, mse 0.68/0.0001.trainb, epoch 200/500, mse 0.000193748/0.0001.trainb, epoch 217/500, mse 9.87777e-005/0.0001.% %訓練到訓練到2

53、17217次時，達到目標誤差要求，結(jié)束訓練次時，達到目標誤差要求，結(jié)束訓練trainb, performance goal met.y = 0.5883 0.9922e = 9.8778e-005 2.3.3 線性神經(jīng)網(wǎng)絡的matlab實現(xiàn)p例例2-22-2的訓練誤差曲線的訓練誤差曲線 2.3.3 線性神經(jīng)網(wǎng)絡的matlab實現(xiàn)p原數(shù)據(jù)關(guān)系與線性神經(jīng)網(wǎng)絡逼近關(guān)系對比原數(shù)據(jù)關(guān)系與線性神經(jīng)網(wǎng)絡逼近關(guān)系對比注：兩者仍存在誤差，可以通過修改訓練步數(shù)或精度來減少兩者注：兩者仍存在誤差，可以通過修改訓練步數(shù)或精度來減少兩者的誤差的誤差小結(jié)小結(jié)p線性神經(jīng)網(wǎng)絡模型線性神經(jīng)網(wǎng)絡模型p線性神經(jīng)網(wǎng)絡激活函數(shù)線性神經(jīng)

54、網(wǎng)絡激活函數(shù)p神經(jīng)網(wǎng)絡學習算法神經(jīng)網(wǎng)絡學習算法p線性神經(jīng)網(wǎng)絡的線性神經(jīng)網(wǎng)絡的matlabmatlab實現(xiàn)實現(xiàn)p線性神經(jīng)網(wǎng)絡的局限性線性神經(jīng)網(wǎng)絡的局限性智能中國網(wǎng)提供學習支持智能中國網(wǎng)提供學習支持2.4 bp2.4 bp神經(jīng)網(wǎng)絡模型與學習算法神經(jīng)網(wǎng)絡模型與學習算法概述概述prumelhartrumelhart，mcclellandmcclelland于于19851985年提出了年提出了bpbp網(wǎng)絡的誤差反網(wǎng)絡的誤差反向后傳向后傳bp(back propagation)bp(back propagation)學習算法學習算法pbpbp算法基本原理算法基本原理利用輸出后的誤差來估計輸出層的直接前導層

55、的誤差，再用這個誤差估計更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計。 j. mcclelland david rumelhart 2.4.1 bp2.4.1 bp神經(jīng)網(wǎng)絡模型神經(jīng)網(wǎng)絡模型p三層三層bpbp網(wǎng)絡網(wǎng)絡1x2x1nx1y2y2ny1z2z3nz123n1t2tihwhjw- - -隱含層輸出層輸入層3nt2.4.1 bp2.4.1 bp神經(jīng)網(wǎng)絡模型神經(jīng)網(wǎng)絡模型p激活函數(shù)激活函數(shù)必須處處可導一般都使用一般都使用s s型函數(shù)型函數(shù) p使用使用s s型激活函數(shù)時型激活函數(shù)時bpbp網(wǎng)絡輸入與輸出關(guān)網(wǎng)絡輸入與輸出關(guān)系系輸入輸出1122.nnnetx wx wx w

56、1f()1enetynet2.4.1 bp2.4.1 bp神經(jīng)網(wǎng)絡模型神經(jīng)網(wǎng)絡模型輸出的導數(shù)211f ()(1)1e(1e)-netnetnetyy根據(jù)根據(jù)s s型激活函數(shù)的圖形可知型激活函數(shù)的圖形可知, ,對神經(jīng)網(wǎng)絡進行訓練，應該將對神經(jīng)網(wǎng)絡進行訓練，應該將netnet的值盡的值盡量控制在收斂比較快的范圍內(nèi)量控制在收斂比較快的范圍內(nèi) 2.4.2 bp2.4.2 bp網(wǎng)絡的標準學習算法網(wǎng)絡的標準學習算法p學習的過程：學習的過程：神經(jīng)網(wǎng)絡在外界輸入樣本的刺激下不斷改變網(wǎng)絡的連接權(quán)值,以使網(wǎng)絡的輸出不斷地接近期望的輸出。p學習的本質(zhì)：學習的本質(zhì)：對各連接權(quán)值的動態(tài)調(diào)整p學習規(guī)則：學習規(guī)則：權(quán)值調(diào)整

57、規(guī)則，即在學習過程中網(wǎng)絡中各神經(jīng)元的連接權(quán)變化所依據(jù)的一定的調(diào)整規(guī)則。2.4.2 bp2.4.2 bp網(wǎng)絡的標準學習算法網(wǎng)絡的標準學習算法- -算法思想算法思想p學習的類型：有導師學習學習的類型：有導師學習p核心思想：核心思想： 將輸出誤差以某種形式通過隱層向輸入層逐層反傳p學習的過程：學習的過程：信號的正向傳播 誤差的反向傳播將誤差分攤給各層的所有將誤差分攤給各層的所有單元各層單元的誤單元各層單元的誤差信號差信號修正各單元權(quán)修正各單元權(quán)值值2.4.2 bp2.4.2 bp網(wǎng)絡的標準學習算法網(wǎng)絡的標準學習算法- -學習過程學習過程p正向傳播：正向傳播： 輸入樣本輸入層各隱層輸出層p判斷是否轉(zhuǎn)入

58、反向傳播階段：判斷是否轉(zhuǎn)入反向傳播階段： 若輸出層的實際輸出與期望的輸出（教師信號）不符p誤差反傳誤差反傳 誤差以某種形式在各層表示修正各層單元的權(quán)值p網(wǎng)絡輸出的誤差減少到可接受的程度網(wǎng)絡輸出的誤差減少到可接受的程度進行到預先設定的學習次數(shù)為止進行到預先設定的學習次數(shù)為止2.4.2 bp2.4.2 bp網(wǎng)絡的標準學習算法網(wǎng)絡的標準學習算法 p網(wǎng)絡結(jié)構(gòu)網(wǎng)絡結(jié)構(gòu)輸入層有n個神經(jīng)元，隱含層有p個神經(jīng)元, 輸出層有q個神經(jīng)元p變量定義變量定義輸入向量;隱含層輸入向量；隱含層輸出向量;輸出層輸入向量;輸出層輸出向量;期望輸出向量; 12,nxxxx12,phihihihi12,pho hohoho12,

59、qyiyiyiyi12,qyoyoyoyo12,qdddod2.4.2 bp2.4.2 bp網(wǎng)絡的標準學習算法網(wǎng)絡的標準學習算法輸入層與中間層的連接權(quán)值:隱含層與輸出層的連接權(quán)值:隱含層各神經(jīng)元的閾值:輸出層各神經(jīng)元的閾值:樣本數(shù)據(jù)個數(shù):激活函數(shù): 誤差函數(shù)：ihwf( ) howhb1,2,kmob211( )( )2qoooedkyo k2.4.2 bp2.4.2 bp網(wǎng)絡的標準學習算法網(wǎng)絡的標準學習算法p第一步，網(wǎng)絡初始化第一步，網(wǎng)絡初始化 給各連接權(quán)值分別賦一個區(qū)間（-1，1）內(nèi)的隨機數(shù)，設定誤差函數(shù)e，給定計算精度值 和最大學習次數(shù)m。p第二步第二步, ,隨機選取第隨機選取第 個輸入

60、樣本及對應個輸入樣本及對應期望輸出期望輸出 k12( )( ),( ),( )nkx kx kx kx12( )( ),( ),( )qkd kdkdkod2.4.2 bp2.4.2 bp網(wǎng)絡的標準學習算法網(wǎng)絡的標準學習算法p第三步，計算隱含層各神經(jīng)元的輸入和第三步，計算隱含層各神經(jīng)元的輸入和輸出輸出1( )( )1,2,nhihihihikw x kbhp( )f( )1,2,hhho khi khp1( )( )1,2,pohohohyi kw ho kboq( )f( )1,2,ooyo kyi koq2.4.2 bp2.4.2 bp網(wǎng)絡的標準學習算法網(wǎng)絡的標準學習算法p第四步，利用網(wǎng)絡