ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座

1、ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第1頁(yè)計(jì)算智能介紹人工神經(jīng)網(wǎng)絡(luò)及應(yīng)用支持向量機(jī)及應(yīng)用含糊集及應(yīng)用遺傳算法及應(yīng)用ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第2頁(yè)單元一 智能算法介紹智能層次生物智能（BI）符號(hào)智能（SI）計(jì)算智能（CI）人工智能（AI）ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第3頁(yè)最高層次智能是生物智能（Biological Intelligence，BI）,生物智能中又以智慧生物智能最高。 ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第4頁(yè)人工智能（Artificial Intelligence, AI）是另一層次智能，研究怎樣制造出人造智能機(jī)器或智能系統(tǒng)，來(lái)模擬人類智能活動(dòng)。1956年Dartmouth

2、大學(xué)研討會(huì)上將“人工智能” 定義為“試圖用來(lái)模仿與智能相關(guān)人類活動(dòng)計(jì)算機(jī)過(guò)程”。 ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第5頁(yè)傳統(tǒng)人工智能偏重與符號(hào)處理與邏輯推理，所以又稱為符號(hào)智能(Symbolism Intelligence, SI)。早期符號(hào)智能對(duì)人工智能發(fā)展起到了主要推進(jìn)作用，但伴隨科技發(fā)展，復(fù)雜性問(wèn)題大量涌現(xiàn)，這些方法在處理非線性、不確定等復(fù)雜性問(wèn)題時(shí)顯得無(wú)能為力。計(jì)算智能（Computation Intelligence, CI）技術(shù)就是在這一背景下發(fā)展起來(lái)。 ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第6頁(yè)計(jì)算智能最大特點(diǎn)就是不需要建立問(wèn)題本身準(zhǔn)確數(shù)學(xué)模型，側(cè)重從數(shù)據(jù)中學(xué)習(xí)，非常適合于處理那些因?yàn)殡y以建立有

3、效形式化模型而用傳統(tǒng)人工智能方法難以處理問(wèn)題。計(jì)算智能是以生物進(jìn)化觀點(diǎn)認(rèn)識(shí)和模擬智能。按照這一觀點(diǎn)，智能是在生物遺傳、變異、生長(zhǎng)以及外部環(huán)境自然選擇中產(chǎn)生。在用進(jìn)廢退、優(yōu)勝劣汰過(guò)程中，適應(yīng)度高（頭腦）結(jié)構(gòu)被保留下來(lái)，智能水平也隨之提升。所以說(shuō)計(jì)算智能就是基于結(jié)構(gòu)演化智能。在概念提出早期，狹義計(jì)算智能包含人工神經(jīng)網(wǎng)絡(luò)、含糊邏輯和進(jìn)化計(jì)算。ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第7頁(yè)計(jì)算智能主要方法有人工神經(jīng)網(wǎng)絡(luò)、遺傳算法、遺傳程序、演化程序、局部搜索、模擬退火等等。這些方法含有以下共同要素：自適應(yīng)結(jié)構(gòu)、隨機(jī)產(chǎn)生或指定初始狀態(tài)、適應(yīng)度評(píng)測(cè)函數(shù)、修改結(jié)構(gòu)操作、系統(tǒng)狀態(tài)存放器、終止計(jì)算條件、指示結(jié)果方法、控制過(guò)程

4、參數(shù)。計(jì)算智能這些方法含有自學(xué)習(xí)、自組織、自適應(yīng)特征和簡(jiǎn)單、通用、魯棒性強(qiáng)、適于并行處理優(yōu)點(diǎn)。在并行搜索、聯(lián)想記憶、模式識(shí)別、知識(shí)自動(dòng)獲取等方面得到了廣泛應(yīng)用。 ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第8頁(yè)經(jīng)典代表如遺傳算法、免疫算法、模擬退火算法、蟻群算法、微粒群算法，都是一個(gè)仿生算法，基于“從大自然中獲取智慧”理念，經(jīng)過(guò)大家對(duì)自然界獨(dú)特規(guī)律認(rèn)知，提取出適合獲取知識(shí)一套計(jì)算工具?？倎?lái)說(shuō)，經(jīng)過(guò)自適應(yīng)學(xué)習(xí)特征，這些算法到達(dá)了全局優(yōu)化目標(biāo)。 ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第9頁(yè)單元二 人工神經(jīng)網(wǎng)絡(luò)及應(yīng)用ANN基礎(chǔ)原理BP網(wǎng)絡(luò)及應(yīng)用ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第10頁(yè)2.1 ANN基礎(chǔ)原理2.1.1 生物神經(jīng)元神經(jīng)元

5、是大腦處理信息基礎(chǔ)單元人腦大約由1011個(gè)神經(jīng)元組成，神經(jīng)元相互連接成神經(jīng)網(wǎng)絡(luò)ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第11頁(yè)生物神經(jīng)元簡(jiǎn)圖ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第12頁(yè)生物神經(jīng)元傳遞信息過(guò)程為多輸入、單輸出神經(jīng)元各組成個(gè)別功效來(lái)看，信息處理與傳遞主要發(fā)生在突觸附近當(dāng)神經(jīng)元細(xì)胞體經(jīng)過(guò)軸突傳到突觸前膜脈沖幅度到達(dá)一定強(qiáng)度，即超出其閾值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞化學(xué)物質(zhì)突觸有兩種類型，興奮性突觸和抑制性突觸。前者產(chǎn)生正突觸后電位，后者產(chǎn)生負(fù)突觸后電位ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第13頁(yè)特點(diǎn)：時(shí)空整合功效 神經(jīng)元對(duì)于不一樣時(shí)間經(jīng)過(guò)同一突觸傳入神經(jīng)沖動(dòng)，含有時(shí)間整合功效；對(duì)于同一時(shí)間經(jīng)過(guò)不一樣突觸傳

6、入神經(jīng)沖動(dòng)，含有空間整合功效。兩種功效相互結(jié)合，含有時(shí)空整合輸入信息處理功效，所謂整合是指抑制或興奮受體電位或突觸電位代數(shù)和；ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第14頁(yè)興奮與抑制狀態(tài) 神經(jīng)元含有兩種常規(guī)工作狀態(tài)：當(dāng)傳入沖動(dòng)時(shí)空整合結(jié)果使細(xì)胞膜電位升高，超出動(dòng)作電位閾值（約為40mV）時(shí)，細(xì)胞進(jìn)入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動(dòng)，由軸突輸出；當(dāng)傳入沖動(dòng)時(shí)空整合結(jié)果使膜電位下降至低于動(dòng)作電位閾值時(shí)，細(xì)胞進(jìn)入抑制狀態(tài)，無(wú)神經(jīng)沖動(dòng)輸出，滿足“01”律，即“興奮抑制”狀態(tài)；ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第15頁(yè)脈沖與電位轉(zhuǎn)換 突觸界面含有脈沖/電位信號(hào)轉(zhuǎn)換功效。沿神經(jīng)纖維傳遞電脈沖為等幅、恒寬、編碼（60100mV）離散脈沖

7、信號(hào)，而細(xì)胞膜電位改變?yōu)檫B續(xù)電位信號(hào)。在突觸接口處進(jìn)行“數(shù)/?！鞭D(zhuǎn)換，是經(jīng)過(guò)神經(jīng)介質(zhì)以量子化學(xué)方式實(shí)現(xiàn)變換過(guò)程；ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第16頁(yè)神經(jīng)纖維傳導(dǎo)速度 神經(jīng)沖動(dòng)沿神經(jīng)纖維傳導(dǎo)速度在150m/s之間，因纖維特征不一樣而不一樣，粗纖維傳導(dǎo)速度在100m/s,細(xì)纖維傳導(dǎo)速度可低至每秒數(shù)米；突觸延時(shí)和不應(yīng)期 突觸對(duì)神經(jīng)沖動(dòng)傳遞含有延時(shí)和不應(yīng)期。在相鄰兩次沖動(dòng)之間需要一個(gè)時(shí)間間隔，即為不應(yīng)期，在此期間對(duì)激勵(lì)不響應(yīng)，不能傳遞神經(jīng)沖動(dòng)；學(xué)習(xí)、遺忘和疲勞 因?yàn)榻Y(jié)構(gòu)可塑性，突觸傳遞作用可增強(qiáng)、減弱、飽和，所以細(xì)胞含有對(duì)應(yīng)學(xué)習(xí)功效，遺忘或疲勞效應(yīng)。ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第17頁(yè)2.1.2 ANN結(jié)

8、構(gòu)神經(jīng)網(wǎng)絡(luò)是一個(gè)并行和分布式信息處理網(wǎng)絡(luò)結(jié)構(gòu)普通由大量神經(jīng)元組成每個(gè)神經(jīng)元只有一個(gè)輸出，能夠連接到很多其它神經(jīng)元每個(gè)神經(jīng)元輸入有多個(gè)連接通道，每個(gè)連接通道對(duì)應(yīng)于一個(gè)連接權(quán)系數(shù) ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第18頁(yè)人工神經(jīng)元模型求和激勵(lì)函數(shù)ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第19頁(yè)激勵(lì)函數(shù)基礎(chǔ)作用控制輸入對(duì)輸出激活作用對(duì)輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換將可能無(wú)限域輸入變換成指定有限范圍內(nèi)輸出 ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第20頁(yè)常見激勵(lì)函數(shù)ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第21頁(yè)ANN基礎(chǔ)結(jié)構(gòu)輸入層隱層輸出層前向神經(jīng)網(wǎng)絡(luò)模型ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第22頁(yè)z-1z-1z-1反饋形網(wǎng)絡(luò)模型v1v2v3vnz-1ann神經(jīng)網(wǎng)

9、絡(luò)專題知識(shí)講座第23頁(yè)ANN基礎(chǔ)訓(xùn)練與學(xué)習(xí)算法人工神經(jīng)網(wǎng)絡(luò)連接權(quán)確實(shí)定通常有兩種方法依據(jù)詳細(xì)要求，直接計(jì)算，如Hopfield網(wǎng)絡(luò)作優(yōu)化計(jì)算經(jīng)過(guò)學(xué)習(xí)得到。大多數(shù)人工神經(jīng)網(wǎng)絡(luò)都采取這種方法 學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)研究中關(guān)鍵問(wèn)題 Hebb學(xué)習(xí)規(guī)則 誤差校正（糾錯(cuò)）學(xué)習(xí)規(guī)則 無(wú)監(jiān)督學(xué)習(xí)規(guī)則ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第24頁(yè)Donall Hebb依據(jù)生理學(xué)中條件反射機(jī)理，于1949年提出神經(jīng)元連接強(qiáng)度改變規(guī)則假如兩個(gè)神經(jīng)元同時(shí)興奮(即同時(shí)被激活)，則它們之間突觸連接加強(qiáng) a為學(xué)習(xí)速率，Vi, Vj為神經(jīng)元i和j輸出Hebb學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)基礎(chǔ)規(guī)則，幾乎全部神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則都能夠看作Hebb學(xué)

10、習(xí)規(guī)則變形 Hebb學(xué)習(xí)規(guī)則ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第25頁(yè)用已知樣本作為老師信號(hào)對(duì)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)學(xué)習(xí)規(guī)則可由二次誤差函數(shù)梯度法導(dǎo)出誤差校正學(xué)習(xí)規(guī)則實(shí)際上是一個(gè)梯度方法不能確保得到全局最優(yōu)解要求大量訓(xùn)練樣本，收斂速度慢對(duì)樣當(dāng)?shù)乇硎敬涡蚋淖儽容^敏感誤差校正規(guī)則ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第26頁(yè)無(wú)監(jiān)督學(xué)習(xí)規(guī)則這類學(xué)習(xí)不在于尋找一個(gè)特殊映射表示，而是將事件空間分類為輸入活動(dòng)區(qū)域，并有選擇地對(duì)這些區(qū)域響應(yīng)，從而調(diào)整參數(shù)一反應(yīng)觀察事件分部輸入能夠是連續(xù)值，對(duì)噪聲有較強(qiáng)地抗干擾能力對(duì)較少輸入樣本，結(jié)果可能要依賴于輸入序列ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第27頁(yè)2.1.3 人工神經(jīng)網(wǎng)絡(luò)在數(shù)學(xué)建模中應(yīng)用領(lǐng)域回歸與預(yù)

11、測(cè)模式識(shí)別（分類）聯(lián)想記憶與學(xué)習(xí)ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第28頁(yè)反向傳輸網(wǎng)絡(luò)(Back-Propagation Network，簡(jiǎn)稱BP網(wǎng)絡(luò))是對(duì)非線性可微分函數(shù)進(jìn)行權(quán)值訓(xùn)練多層網(wǎng)絡(luò) 權(quán)值調(diào)整采取反向傳輸(Back-propagation）學(xué)習(xí)算法它是一個(gè)多層前向反饋神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元變換函數(shù)是S型函數(shù)輸出量為0到1之間連續(xù)量，它可實(shí)現(xiàn)從輸入到輸出任意非線性映射2.1.4 BP網(wǎng)絡(luò)ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第29頁(yè)BP網(wǎng)絡(luò)主要用于下述方面函數(shù)迫近：用輸入矢量和對(duì)應(yīng)輸出矢量訓(xùn)練一個(gè)網(wǎng)絡(luò)迫近一個(gè)函數(shù)模式識(shí)別和分類：用一個(gè)特定輸出矢量將它與輸入矢量聯(lián)絡(luò)起來(lái)；把輸入矢量以所定義適當(dāng)方式進(jìn)行分類；數(shù)據(jù)

12、壓縮：降低輸出矢量維數(shù)方便于傳輸或存放含有將強(qiáng)泛化性能：使網(wǎng)絡(luò)平滑地學(xué)習(xí)函數(shù)，使網(wǎng)絡(luò)能夠合理地響應(yīng)被訓(xùn)練以外輸入 泛化性能只對(duì)被訓(xùn)練輸入輸出對(duì)最大值范圍內(nèi)數(shù)據(jù)有效，即網(wǎng)絡(luò)含有內(nèi)插值特征，不含有外插值性。超出最大訓(xùn)練值輸入必將產(chǎn)生大輸出誤差ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第30頁(yè)一個(gè)含有r個(gè)輸入和一個(gè)隱含層神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu) ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第31頁(yè)網(wǎng)絡(luò)模型感知器和自適應(yīng)線性元件主要差異在激活函數(shù)上：前者是二值型，后者是線性BP網(wǎng)絡(luò)含有一層或多層隱含層，除了在多層網(wǎng)絡(luò)上與前面已介紹過(guò)模型有不一樣外，其主要差異也表現(xiàn)在激活函數(shù)上。BP網(wǎng)絡(luò)激活函數(shù)必須是處處可微，所以它不能采取二值型閥值函數(shù)0，1

13、或符號(hào)函數(shù)1，1BP網(wǎng)絡(luò)經(jīng)常使用是S型對(duì)數(shù)或正切激活函數(shù)和線性函數(shù)ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第32頁(yè)BP網(wǎng)絡(luò)特點(diǎn)輸入和輸出是并行模擬量網(wǎng)絡(luò)輸入輸出關(guān)系是各層連接權(quán)因子決定，沒(méi)有固定算法權(quán)因子經(jīng)過(guò)學(xué)習(xí)信號(hào)調(diào)整。學(xué)習(xí)越多，網(wǎng)絡(luò)越聰明隱含層越多，網(wǎng)絡(luò)輸出精度越高，且個(gè)別權(quán)因子損壞不會(huì)對(duì)網(wǎng)絡(luò)輸出產(chǎn)生大影響只有當(dāng)希望對(duì)網(wǎng)絡(luò)輸出進(jìn)行限制，如限制在0和1之間，那么在輸出層應(yīng)該包含S型激活函數(shù)在普通情況下，均是在隱含層采取S型激活函數(shù)，而輸出層采取線性激活函數(shù)ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第33頁(yè)S型函數(shù)含有非線性放大系數(shù)功效，能夠把輸入從負(fù)無(wú)窮大到正無(wú)窮大信號(hào)，變換成-1到l之間輸出對(duì)較大輸入信號(hào)，放大系數(shù)較小

14、；而對(duì)較小輸入信號(hào)，放大系數(shù)則較大采取S型激活函數(shù)能夠處理和迫近非線性輸入/輸出關(guān)系ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第34頁(yè)學(xué)習(xí)規(guī)則BP算法是一個(gè)監(jiān)督式學(xué)習(xí)算法主要思想對(duì)于q個(gè)輸入學(xué)習(xí)樣本：P1,P2,Pq，已知與其對(duì)應(yīng)輸出樣本為：T1,T2,Tq使網(wǎng)絡(luò)輸出層誤差平方和到達(dá)最小用網(wǎng)絡(luò)實(shí)際輸出A1,A2,Aq, 與目標(biāo)矢量T1,T2,Tq之間誤差修改其權(quán)值，使Am與期望Tm,(ml,q)盡可能靠近ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第35頁(yè)學(xué)習(xí)規(guī)則BP算法是由兩個(gè)別組成,信息正向傳遞與誤差反向傳輸正向傳輸過(guò)程中，輸入信息從輸入層經(jīng)隱含層逐層計(jì)算傳向輸出層，每一層神經(jīng)元狀態(tài)只影響下一層神經(jīng)元狀態(tài)假如在輸出層未得到

15、期望輸出，則計(jì)算輸出層誤差改變值，然后轉(zhuǎn)向反向傳輸，經(jīng)過(guò)網(wǎng)絡(luò)將誤差信號(hào)沿原來(lái)連接通路反傳回來(lái)修改各層神經(jīng)元權(quán)值直至到達(dá)期望目標(biāo)ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第36頁(yè)假設(shè)輸入為P，輸入神經(jīng)元有r個(gè)，隱含層內(nèi)有s1個(gè)神經(jīng)元，激活函數(shù)為F1，輸出層內(nèi)有s2個(gè)神經(jīng)元，對(duì)應(yīng)激活函數(shù)為F2，輸出為A，目標(biāo)矢量為Tann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第37頁(yè)信息正向傳遞隱含層中第i個(gè)神經(jīng)元輸出輸出層第k個(gè)神經(jīng)元輸出定義誤差函數(shù)ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第38頁(yè)利用梯度下降法求權(quán)值改變及誤差反向傳輸輸出層權(quán)值改變其中同理可得ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第39頁(yè)利用梯度下降法求權(quán)值改變及誤差反向傳輸隱含層權(quán)值改變其中同理可得a

16、nn神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第40頁(yè)對(duì)于f1為對(duì)數(shù)S型激活函數(shù)，對(duì)于f2為線性激活函數(shù)ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第41頁(yè)網(wǎng)絡(luò)訓(xùn)練訓(xùn)練BP網(wǎng)絡(luò)，需要計(jì)算網(wǎng)絡(luò)加權(quán)輸入矢量以及網(wǎng)絡(luò)輸出和誤差矢量，然后求誤差平方和當(dāng)所訓(xùn)練矢量誤差平方和小于誤差目標(biāo)，訓(xùn)練停頓；不然在輸出層計(jì)算誤差改變，且采取反向傳輸學(xué)習(xí)規(guī)則來(lái)調(diào)整權(quán)值，然后重復(fù)此過(guò)程網(wǎng)絡(luò)完成訓(xùn)練后，對(duì)網(wǎng)絡(luò)輸入一個(gè)不是訓(xùn)練集合中矢量，網(wǎng)絡(luò)將以泛化方式給出輸出結(jié)果ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第42頁(yè)為了能夠很好地掌握BP網(wǎng)絡(luò)訓(xùn)練過(guò)程，咱們用兩層網(wǎng)絡(luò)為例來(lái)敘述BP網(wǎng)絡(luò)訓(xùn)練步驟初始化：用小隨機(jī)數(shù)初始化每一層權(quán)值W和偏差B，確保網(wǎng)絡(luò)不被大加權(quán)輸入飽和期望誤差最小值er

17、ror_goal最大循環(huán)次數(shù)max_epoch修正權(quán)值學(xué)習(xí)速率1r，普通情況下k0.0l,0.7ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第43頁(yè)變量表示：計(jì)算網(wǎng)絡(luò)各層輸出矢量A1和A2以及網(wǎng)絡(luò)誤差EA1tansig(W1*P，B1)；A2purelin(W2*A1，B2)；ET-A；權(quán)值修正：計(jì)算各層反傳誤差改變D2和D1并計(jì)算各層權(quán)值修正值以及新權(quán)值：D2deltalin(A2，E)；D1deltatan(A1，D2，W2)；dlWl，dBllearnbp(P，D1，lr)；dW2，dB21earnbp(A1，D2，1r)；W1W1十dW1；B1B1十dBl；W2W2十dW2；B2B2十dB2ann神經(jīng)網(wǎng)

18、絡(luò)專題知識(shí)講座第44頁(yè)計(jì)算權(quán)值修正后誤差平方和SSEsumsqr(T-purelin(W2*tansig(W1*P，B1)，B2)檢驗(yàn)：SSE是否小于err_goal。若是，訓(xùn)練結(jié)束；不然繼續(xù)以上全部學(xué)習(xí)規(guī)則與訓(xùn)練全過(guò)程，能夠用函數(shù)trainbp.m來(lái)完成它使用只需定義相關(guān)參數(shù)：顯示間隔次數(shù)，最大循環(huán)次數(shù)，目標(biāo)誤差，以及學(xué)習(xí)速率。調(diào)用后返回訓(xùn)練后權(quán)值，循環(huán)總數(shù)和最終誤差TPdisp_freq max_epoch err_goal 1rW，B，epochs，errorstrainbp(W，B，F(xiàn)，P，T，TP)ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第45頁(yè)網(wǎng)絡(luò)層數(shù)隱含層神經(jīng)元數(shù)初始權(quán)值選取學(xué)習(xí)速率期望誤差選

19、取應(yīng)用舉例不足ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第46頁(yè)網(wǎng)絡(luò)層數(shù)理論上已經(jīng)證實(shí)：含有偏差和最少一個(gè)S型隱含層加上一個(gè)線性輸出層網(wǎng)絡(luò)，能夠迫近任何有理函數(shù) 增加層數(shù)主要能夠深入降低誤差，提升精度，但同時(shí)也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)權(quán)值訓(xùn)練時(shí)間。 普通情況下應(yīng)優(yōu)先考慮增加隱含層中神經(jīng)元數(shù) 僅用含有非線性激活函數(shù)單層網(wǎng)絡(luò)來(lái)處理問(wèn)題沒(méi)有必要或效果不好線性問(wèn)題非線性問(wèn)題ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第47頁(yè)隱含層神經(jīng)元數(shù)網(wǎng)絡(luò)訓(xùn)練精度提升，能夠經(jīng)過(guò)采取一個(gè)隱含層，而增加其神經(jīng)元數(shù)方法來(lái)取得。這在結(jié)構(gòu)實(shí)現(xiàn)上，要比增加更多隱含層簡(jiǎn)單得多定理：實(shí)現(xiàn)任意N個(gè)輸入向量組成任何布爾函數(shù)前向網(wǎng)絡(luò)所需權(quán)系數(shù)數(shù)目為在詳細(xì)設(shè)計(jì)時(shí)，比較

20、實(shí)際做法是經(jīng)過(guò)對(duì)不一樣神經(jīng)元數(shù)進(jìn)行訓(xùn)練對(duì)比，然后適當(dāng)?shù)丶由弦稽c(diǎn)余量ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第48頁(yè)初始權(quán)值選取普通取初始權(quán)值在(-1，1)之間隨機(jī)數(shù)威得羅等人在分析了兩層網(wǎng)絡(luò)是怎樣對(duì)一個(gè)函數(shù)進(jìn)行訓(xùn)練后，提出一個(gè)選定初始權(quán)值策略選擇權(quán)值量級(jí)為在MATLAB工具箱中可采取函數(shù)nwlog.m或nwtan.m來(lái)初始化隱含層權(quán)值W1和B1。其方法僅使用在第一隱含層初始值選取上，后面層初始值依然采取隨機(jī)取數(shù)ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第49頁(yè)學(xué)習(xí)速率學(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生權(quán)值改變量大學(xué)習(xí)速率可能造成系統(tǒng)不穩(wěn)定小學(xué)習(xí)速率造成較長(zhǎng)訓(xùn)練時(shí)間，可能收斂很慢，不過(guò)能確保網(wǎng)絡(luò)誤差值不跳出誤差表面低谷而最終

21、趨于最小誤差值所以在普通情況下，傾向于選取較小學(xué)習(xí)速率以確保系統(tǒng)穩(wěn)定性。學(xué)習(xí)速率選取范圍在0.01-0.8之間ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第50頁(yè)期望誤差值選取在設(shè)計(jì)網(wǎng)絡(luò)訓(xùn)練過(guò)程中，期望誤差值也應(yīng)該經(jīng)過(guò)對(duì)比訓(xùn)練后確定一個(gè)適當(dāng)值這個(gè)所謂“適當(dāng)”，是相對(duì)于所需要隱含層節(jié)點(diǎn)數(shù)來(lái)確定，因?yàn)檩^小期望誤差值是要靠增加隱含層節(jié)點(diǎn)，以及訓(xùn)練時(shí)間來(lái)取得普通情況下，作為對(duì)比，能夠同時(shí)對(duì)兩個(gè)不一樣期望誤差值網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最終經(jīng)過(guò)綜合原因考慮來(lái)確定采取其中一個(gè)網(wǎng)絡(luò)ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第51頁(yè)應(yīng)用舉例求解函數(shù)迫近問(wèn)題有21組單輸入矢量和相對(duì)應(yīng)目標(biāo)矢量，試設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)這對(duì)數(shù)組函數(shù)關(guān)系P=-1:0.1:1T=-0

22、.96 0.577 -0.0729 0.377 0.641 0.66 0.461 0.1336 -0.201 -0.434 -0.5 -0.393 -0.1647 0.0988 0.3072 0.396 0.3449 0.1816 -0.0312 -0.2183 -0.3201測(cè)試集P2=-1:0.025:1ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第52頁(yè)目標(biāo)矢量相對(duì)于輸入矢量圖形 初始網(wǎng)絡(luò)輸出曲線 ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第53頁(yè)訓(xùn)練1000次 次ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第54頁(yè)訓(xùn)練3000次 5000次ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第55頁(yè)Matlab 中ANN演示語(yǔ)句：nndann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座

23、第56頁(yè)限制與不足需要較長(zhǎng)訓(xùn)練時(shí)間 完全不能訓(xùn)練 選取較小初始權(quán)值采取較小學(xué)習(xí)速率，但同時(shí)又增加了訓(xùn)練時(shí)間局部極小值 BP算法能夠使網(wǎng)絡(luò)權(quán)值收斂到一個(gè)解，但它并不能確保所求為誤差超平面全局最小解，很可能是一個(gè)局部極小解ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第57頁(yè)BP網(wǎng)絡(luò)改進(jìn)ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第58頁(yè)目標(biāo)加緊訓(xùn)練速度防止陷入局部極小值ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第59頁(yè)附加動(dòng)量法 利用附加動(dòng)量作用則有可能滑過(guò)局部極小值修正網(wǎng)絡(luò)權(quán)值時(shí)，不但考慮誤差在梯度上作用，而且考慮在誤差曲面上改變趨勢(shì)影響，其作用如同一個(gè)低通濾波器，它允許網(wǎng)絡(luò)忽略網(wǎng)絡(luò)上微小改變特征該方法是在反向傳輸法基礎(chǔ)上在每一個(gè)權(quán)值改變上加上一

24、項(xiàng)正比于前次權(quán)值改變量值，并依據(jù)反向傳輸法來(lái)產(chǎn)生新權(quán)值改變ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第60頁(yè)帶有附加動(dòng)量因子權(quán)值調(diào)整公式其中k為訓(xùn)練次數(shù)，mc為動(dòng)量因子，普通取095左右附加動(dòng)量法實(shí)質(zhì)是將最終一次權(quán)值改變影響，經(jīng)過(guò)一個(gè)動(dòng)量因子來(lái)傳遞。當(dāng)動(dòng)量因子取值為零時(shí)，權(quán)值改變僅依據(jù)梯度下降法產(chǎn)生當(dāng)動(dòng)量因子取值為1時(shí)，新權(quán)值改變則是設(shè)置為最終一次權(quán)值改變，而依梯度法產(chǎn)生改變個(gè)別則被忽略掉了 促使權(quán)值調(diào)整向著誤差曲面底部平均方向改變，當(dāng)網(wǎng)絡(luò)權(quán)值進(jìn)入誤差曲面底部平坦區(qū)時(shí)，i將變得很小，于是，wij(k+1)wij (k)，從而預(yù)防了wij=0出現(xiàn)，有利于使網(wǎng)絡(luò)從誤差曲面局部極小值中跳出 ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講

25、座第61頁(yè)在MATLAB工具箱中，帶有動(dòng)量因子權(quán)值修正法是用函數(shù)learnbpm.m來(lái)實(shí)現(xiàn)trainbpm.m能夠訓(xùn)練一層直至三層帶有附加動(dòng)量因子反向傳輸網(wǎng)絡(luò)下面是對(duì)單層網(wǎng)絡(luò)使用函數(shù)trainbpm.m情形：W，B，epochs，errorstrainbpm(W，B，F(xiàn)，P，T，TP)ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第62頁(yè)自適應(yīng)學(xué)習(xí)速率通常調(diào)整學(xué)習(xí)速率準(zhǔn)則是，檢驗(yàn)權(quán)值修正值是否真正降低了誤差函數(shù)，假如確實(shí)如此，則說(shuō)明所選取學(xué)習(xí)速率值小了，能夠?qū)ζ湓黾右粋€(gè)量；不然可認(rèn)為產(chǎn)生過(guò)調(diào)，應(yīng)該減小學(xué)習(xí)速率值一個(gè)自適應(yīng)學(xué)習(xí)速率調(diào)整公式ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第63頁(yè)MATLAB工具箱中帶有自適應(yīng)學(xué)習(xí)速率進(jìn)行反

26、向傳輸訓(xùn)練函數(shù)為 trainbpa.m可訓(xùn)練直至三層網(wǎng)絡(luò)。使用方法W, B, epochs, TEtrainbpa(W，B，F(xiàn)，P，T，TP)能夠?qū)?dòng)量法和自適應(yīng)學(xué)習(xí)速率結(jié)合起來(lái)以利用兩方面優(yōu)點(diǎn)。這個(gè)技術(shù)已編入了函數(shù)trainbpx.m之中函數(shù)調(diào)用和其它函數(shù)一樣，只是需要更多初始參數(shù)而已TPdisp_freq max_epoch error_goal lr 1r_inc 1r_dec mom_const err_ratio；W，B，epochs，error; lrtrainbpx(W，B，F(xiàn)，P，T，TP)ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第64頁(yè)反向傳輸法能夠用來(lái)訓(xùn)練含有可微激活函數(shù)多層前向網(wǎng)絡(luò),以

27、進(jìn)行函數(shù)迫近，模式分類等工作反向傳輸網(wǎng)絡(luò)結(jié)構(gòu)不完全受所要處理問(wèn)題所限制。網(wǎng)絡(luò)輸入神經(jīng)元數(shù)目及輸出層神經(jīng)元數(shù)目是由問(wèn)題要求所決定輸入和輸出層之間隱含層數(shù)以及每層神經(jīng)元數(shù)是由設(shè)計(jì)者來(lái)決定已經(jīng)證實(shí)，兩層S型線性網(wǎng)絡(luò)，假如S型層有足夠神經(jīng)元，則能夠訓(xùn)練出任意輸入和輸出之間有理函數(shù)關(guān)系ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第65頁(yè)反向傳輸法沿著誤差表面梯度下降，使網(wǎng)絡(luò)誤差最小，網(wǎng)絡(luò)有可能陷入局部極小值附加動(dòng)量法使反向傳輸降低了網(wǎng)絡(luò)在誤差表面陷入低谷可能性并有利于降低訓(xùn)練時(shí)間太大學(xué)習(xí)速率造成學(xué)習(xí)不穩(wěn)定，太小值又造成極長(zhǎng)訓(xùn)練時(shí)間。自適應(yīng)學(xué)習(xí)速率經(jīng)過(guò)在確保穩(wěn)定訓(xùn)練前提下，到達(dá)了合理高速率，能夠降低訓(xùn)練時(shí)間80-90實(shí)際應(yīng)

28、用都是采取反向傳輸網(wǎng)絡(luò)。改進(jìn)技術(shù)能夠用來(lái)使反向傳輸法愈加輕易實(shí)現(xiàn)并需要更少訓(xùn)練時(shí)間ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第66頁(yè)BP網(wǎng)絡(luò)在數(shù)學(xué)建模中應(yīng)用ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第67頁(yè)DHNN網(wǎng)絡(luò)ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第68頁(yè)單元三 支持向量機(jī)（SVM）及應(yīng)用ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第69頁(yè)SVM理論基礎(chǔ)線性判別函數(shù)和判別面最優(yōu)分類面支持向量機(jī)ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第70頁(yè)SVM理論基礎(chǔ)傳統(tǒng)統(tǒng)計(jì)模式識(shí)別方法只有在樣本趨向無(wú)窮大時(shí)，其性能才有理論確保。統(tǒng)計(jì)學(xué)習(xí)理論（STL）研究有限樣本情況下機(jī)器學(xué)習(xí)問(wèn)題。SVM理論基礎(chǔ)就是統(tǒng)計(jì)學(xué)習(xí)理論。傳統(tǒng)統(tǒng)計(jì)模式識(shí)別方法在進(jìn)行機(jī)器學(xué)習(xí)時(shí)，強(qiáng)調(diào)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化。而

29、單純經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化會(huì)產(chǎn)生“過(guò)學(xué)習(xí)問(wèn)題”，其推廣能力較差。推廣能力是指: 將學(xué)習(xí)機(jī)器(即預(yù)測(cè)函數(shù),或稱學(xué)習(xí)函數(shù)、學(xué)習(xí)模型)對(duì)未來(lái)輸出進(jìn)行正確預(yù)測(cè)能力。 ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第71頁(yè)SVM理論基礎(chǔ) “過(guò)學(xué)習(xí)問(wèn)題”：一些情況下，當(dāng)訓(xùn)練誤差過(guò)小反而會(huì)造成推廣能力下降。 比如：對(duì)一組訓(xùn)練樣本(x,y),x分布在實(shí)數(shù)范圍內(nèi)，y取值在0，1之間。不論這些樣本是由什么模型產(chǎn)生，咱們總能夠用y=sin(w*x)去擬合，使得訓(xùn)練誤差為0.ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第72頁(yè)二階模型、ANN、SVM示意 ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第73頁(yè)SVM理論基礎(chǔ)依據(jù)統(tǒng)計(jì)學(xué)習(xí)理論，學(xué)習(xí)機(jī)器實(shí)際風(fēng)險(xiǎn)由經(jīng)驗(yàn)風(fēng)險(xiǎn)值和置信范圍值兩

30、個(gè)別組成。而基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則學(xué)習(xí)方法只強(qiáng)調(diào)了訓(xùn)練樣本經(jīng)驗(yàn)風(fēng)險(xiǎn)最小誤差，沒(méi)有最小化置信范圍值，所以其推廣能力較差。Vapnik 與年提出支持向量機(jī)（Support Vector Machine, SVM）以訓(xùn)練誤差作為優(yōu)化問(wèn)題約束條件，以置信范圍值最小化作為優(yōu)化目標(biāo)，即SVM是一個(gè)基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則學(xué)習(xí)方法，其推廣能力顯著優(yōu)于一些傳統(tǒng)學(xué)習(xí)方法。ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第74頁(yè)SVM理論基礎(chǔ)因?yàn)镾VM 求解最終轉(zhuǎn)化成二次規(guī)劃問(wèn)題求解，所以SVM 解是全局唯一最優(yōu)解SVM在處理小樣本、非線性及高維模式識(shí)別問(wèn)題中表現(xiàn)出許多特有優(yōu)勢(shì)，并能夠推廣應(yīng)用到函數(shù)擬合等其它機(jī)器學(xué)習(xí)問(wèn)題中.ann神經(jīng)網(wǎng)

31、絡(luò)專題知識(shí)講座第75頁(yè)線性判別函數(shù)和判別面一個(gè)線性判別函數(shù)(discriminant function)是指由x各個(gè)分量線性組合而成函數(shù) 兩類情況:對(duì)于兩類問(wèn)題決議規(guī)則為假如g(x)=0，則判定x屬于C1，假如g(x)=0，則判定x屬于C1，假如g(x)0是一個(gè)常數(shù)，它控制對(duì)錯(cuò)分樣本處罰程度。ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第86頁(yè)支持向量機(jī)上節(jié)所得到最優(yōu)分類函數(shù)為：該式只包含待分類樣本與訓(xùn)練樣本中支持向量?jī)?nèi)積 運(yùn)算，可見,要處理一個(gè)特征空間中最優(yōu)線性分類問(wèn)題,咱們只需要知道這個(gè)空間中內(nèi)積運(yùn)算即可。對(duì)非線性問(wèn)題, 能夠經(jīng)過(guò)非線性變換轉(zhuǎn)化為某個(gè)高維空間中線性問(wèn)題, 在變換空間求最優(yōu)分類面. 這種變換可

32、能比較復(fù)雜, 所以這種思緒在普通情況下不易實(shí)現(xiàn).ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第87頁(yè)支持向量機(jī)核: ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第88頁(yè)支持向量機(jī)ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第89頁(yè)核函數(shù)選擇ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第90頁(yè)支持向量機(jī)SVM方法特點(diǎn)非線性映射是SVM方法理論基礎(chǔ),SVM利用內(nèi)積核函數(shù)代替向高維空間非線性映射;對(duì)特征空間劃分最優(yōu)超平面是SVM目標(biāo),最大化分類邊界思想是SVM方法關(guān)鍵;支持向量是SVM訓(xùn)練結(jié)果,在SVM分類決議中起決定作用是支持向量。SVM 是一個(gè)有堅(jiān)實(shí)理論基礎(chǔ)新奇小樣本學(xué)習(xí)方法。它基礎(chǔ)上不包括概率測(cè)度及大數(shù)定律等,所以不一樣于現(xiàn)有統(tǒng)計(jì)方法。從本質(zhì)上看,它避開了從歸納到

33、演繹傳統(tǒng)過(guò)程,實(shí)現(xiàn)了高效從訓(xùn)練樣本到預(yù)報(bào)樣本“轉(zhuǎn)導(dǎo)推理”(transductive inference) ,大大簡(jiǎn)化了通常分類和回歸等問(wèn)題。ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第91頁(yè)支持向量機(jī)SVM方法特點(diǎn)SVM 最終決議函數(shù)只由少數(shù)支持向量所確定,計(jì)算復(fù)雜性取決于支持向量數(shù)目,而不是樣本空間維數(shù),這在某種意義上防止了“維數(shù)災(zāi)難”。少數(shù)支持向量決定了最終止果,這不但能夠幫助咱們抓住關(guān)鍵樣本、“剔除”大量冗余樣本,而且注定了該方法不但算法簡(jiǎn)單,而且含有很好“魯棒”性。這種“魯棒”性主要表達(dá)在:增、刪非支持向量樣本對(duì)模型沒(méi)有影響;支持向量樣本集含有一定魯棒性;有些成功應(yīng)用中,SVM 方法對(duì)核選取不敏感。a

34、nn神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第92頁(yè)SVM本質(zhì)上是兩類分類器.常見SVM多值分類器結(jié)構(gòu)方法有: ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第93頁(yè)回歸問(wèn)題: 就是在訓(xùn)練樣本上找到一個(gè)函數(shù),它能夠從輸入域近似映射到實(shí)數(shù)值上.輸出值不再是二值.在SVM中,回歸問(wèn)題被轉(zhuǎn)化為分類問(wèn)題來(lái)解.ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第94頁(yè)支持向量機(jī)ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第95頁(yè)ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第96頁(yè)SVR存在問(wèn)題：核函數(shù)及參數(shù)難以選擇SVR與BP對(duì)比ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第97頁(yè)單元四 含糊集及應(yīng)用含糊邏輯含糊綜合評(píng)價(jià)ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第98頁(yè)4.1 含糊邏輯含糊邏輯基礎(chǔ)思想是任何事情都允許有一定程度。溫度、

35、高度、速度、距離和漂亮全部這些都能夠在某個(gè)范圍內(nèi)浮動(dòng)。 含糊邏輯并不是說(shuō)邏輯本身是含糊，而是指用來(lái)描述含糊邏輯。含糊邏輯是含糊集理論，含糊集能夠校正含糊知識(shí)。比如：天氣很熱；昨天雨很大；他很高ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第99頁(yè)而布爾邏輯表示是顯著差異，迫使咱們?cè)诩辖M員和非組員之間劃出顯著界限。比如，假如咱們以180cm為界限，那么就說(shuō)Tom高，因?yàn)槠渖砀邽?81cm，而David矮，因?yàn)槠渖砀邽?79cm。不過(guò)David真矮嗎？這種分界能夠這么武斷嗎？ ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第100頁(yè)含糊邏輯能反應(yīng)人類是怎樣思索。它嘗試模擬人類語(yǔ)感、決議制訂和常識(shí)，造成了新、愈加人性化和智慧系統(tǒng)產(chǎn)生。

36、ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第101頁(yè)含糊或多值邏輯是波蘭邏輯學(xué)家和哲學(xué)家Jan Lukasiewicz在20世紀(jì)30年代引入。當(dāng)初經(jīng)典邏輯操作僅使用兩個(gè)值1(為真)和0(為假)Lukasiewicz引入了將真值擴(kuò)展到0和1之間全部實(shí)數(shù)邏輯。使用該范圍內(nèi)一個(gè)數(shù)值來(lái)表示某個(gè)命題為真或假可能性。ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第102頁(yè)比如，身高為181cm男人確實(shí)是高可能性取值為0.86。這個(gè)人應(yīng)該是很高。關(guān)于不準(zhǔn)確推理技術(shù)理論通常稱為可能性理論。 ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第103頁(yè)1937年，哲學(xué)家Max Black發(fā)表了論文“Vagueness: an exercise in logical an

37、alysis”。在論文中，他討論了指示程度連續(xù)改變。構(gòu)想將無(wú)數(shù)椅子排成一行。在一端是齊本德爾式椅子，挨著它是類似齊本德爾式，但看上去和第一把椅子幾乎分不出差異。隨即椅子越來(lái)越不像椅子，最終是一根圓木。那么，椅子什么時(shí)候變成了圓木？ Max Black也定義假如連續(xù)區(qū)是離散，那么能夠?yàn)槊總€(gè)元素分配一個(gè)數(shù)值。他接收含糊機(jī)率。 ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第104頁(yè)1965年，Lotfi Zadeh教授發(fā)表了著名論文“Fuzzy sets”。實(shí)際上，Zadeh將可能性理論擴(kuò)展到數(shù)學(xué)邏輯形式系統(tǒng)中，他引入了新概念以應(yīng)用自然語(yǔ)言術(shù)語(yǔ)。這種表示和操作含糊術(shù)語(yǔ)新邏輯稱為含糊邏輯，Zadeh也成為“含糊邏輯之父

38、”。含糊依賴于含糊集理輪，含糊邏輯只是該理論一小個(gè)別。 ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第105頁(yè)含糊邏輯是基于歸屬度而不是經(jīng)典二值邏輯中清楚歸屬關(guān)系知識(shí)表示一組數(shù)學(xué)原理。和二值布爾邏輯不一樣，含糊邏輯是多值。它處理歸屬程度和可信程度。含糊邏輯使用介于0(完全為假)和1(完全為真)之間邏輯值連續(xù)區(qū)間。與非黑即白不一樣，它使用顏色色譜，能夠接收同時(shí)個(gè)別為真和個(gè)別為假事物。ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第106頁(yè) (a)布爾值 (b)含糊值 布爾和含糊邏輯邏輯值范圍 ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第107頁(yè)含糊集集合概念一些指定對(duì)象集在一起就成為一個(gè)集合，也簡(jiǎn)稱集.集合中每個(gè)對(duì)象叫做這個(gè)集合元素。ann神經(jīng)網(wǎng)絡(luò)

39、專題知識(shí)講座第108頁(yè)含糊集（高個(gè)子男人）姓名身高(cm)隸屬度清楚集含糊集Chris20811.00Mark20511.00John19810.98Tom18110.82David17900.78Mike17200.24Bob16700.15Steven15800.06ill15500.01Peter15200.00ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第109頁(yè)ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第110頁(yè)水平軸表示論域某一變數(shù)全部可能取值范圍，在本例中變數(shù)是身高。按照這種表示方法，男性身高應(yīng)該包含全體男性身高。垂直軸表示含糊集中隸屬度。在本例中，“高個(gè)子男人”含糊集將身高值對(duì)應(yīng)到相對(duì)應(yīng)組員資格值。 ann神經(jīng)網(wǎng)絡(luò)專題知識(shí)講座第111頁(yè)含糊集為含有含糊邊界集合假設(shè)X為論域，其中元素可記為x。在經(jīng)典集合論中，X清楚集A定義為函數(shù)fA (x)，稱為A特征函數(shù)： fA(