智能控制 課件 第5、6章 基于經(jīng)典機器學習方法的智能控制、神經(jīng)元與神經(jīng)網(wǎng)絡

《智能控制》第五章基于經(jīng)典機器學習方法的智能控制主要內容機器學習的基本概念5.15.25.3決策樹支持向量機5.5經(jīng)典機器學習在控制領域的應用5.4主成成分分析

機器學習(ML)有監(jiān)督學習無監(jiān)督學習強化學習聚類5.1—機器學習的基本概念機器學習的概念機器學習的分類邏輯回歸降維決策樹支持向量機人工神經(jīng)網(wǎng)絡數(shù)據(jù)機器學習模型指標預測/性能提升數(shù)據(jù)分析圖像處理自然語言處理控制工程領域……5.2—決策樹決策樹的概念決策樹是一種簡單有效的分類方法。基于樣本數(shù)據(jù)，遞歸選擇合適特征條件作為分支節(jié)點，不斷提高子分支的“純度”特征在于，能夠將復雜的決策過程分解為一系列更加簡單的步驟優(yōu)點在于，結果直觀，可解釋性更強結點(Node)分支(Branch)根結點(RootNode)內部結點(InternalNode)葉結點(LeafNode)父結點(ParentNode)子結點(ChildNode)5.2—決策樹決策樹的構建—生成過程

遞歸過程開始選擇最優(yōu)特征a根據(jù)a對數(shù)據(jù)進行分類查看結點中數(shù)據(jù)類別是否同類是否滿足停止條件設為葉結點完成是否是否停止條件當前結點內的數(shù)據(jù)樣本均屬于同一個類別，無需進一步分割能夠作為劃分標準的特征已經(jīng)全部使用，無法選出新的劃分特征當前結點內的數(shù)據(jù)樣本在所有特征上具有相同的值當前結點內的數(shù)據(jù)樣本集為空，無法再做劃分5.2—決策樹

決策樹的構建—特征選擇5.2—決策樹目的：對正在構造的或是已經(jīng)生成的決策樹進行簡化，降低過擬合的風險。種類：預剪枝（pre-pruning）和后剪枝（pro-pruning）決策樹的構建—剪枝預剪枝：在構建決策樹過程中，根據(jù)一定的條件，提前停止剪枝過程。舉例：訓練數(shù)據(jù)T中抽出一部分組成驗證集Test，在對樣本進行劃分時，在Test上驗證劃分前與劃分后的精度，若精度有提升，則執(zhí)行劃分操作，否則不執(zhí)行劃分操作，當前結點修改為葉節(jié)點。后剪枝：后剪枝則是指在生成了一棵完整的決策樹后，再對分支進行刪減。舉例：從決策樹的葉結點開始遞歸地向上回溯，將某個葉結點的父結點修改為葉結點，考察在驗證集上分類精度的變化。若修改為葉結點后分類精度上升，則意味著當前的分支造成了決策樹泛化能力的下降，應當被剪除。類別：二分類算法

算法核心：劃分超平面

面對問題：線性劃分/非線性劃分難點：尋找合適的超平面，使模型具備良好的魯棒性和泛化能力，乃至處理非線性劃分分類思想依據(jù)：最大化間隔的分類思想5.3—支持向量機支持向量機的概念正類反類分離超平面

5.3—支持向量機線性可分問題與硬間隔支持向量機正類反類分離超平面

問題特點：兩個類別線性可分，存在一個明確的分隔間隔。處在間隔邊界上的樣本點叫做“支持向量”

支持向量幾何間隔

5.3—支持向量機求解超平面及其對偶問題

5.3—支持向量機求解超平面及其對偶問題

5.3—支持向量機線性問題與軟間隔支持向量機

正類反類不可分點

5.3—支持向量機非線性可分問題與核方法低維，線性不可分映射到高維，線性可分維度災難：實際應用中，數(shù)據(jù)維度較高，但是可能只有部分特征與學習任務強相關，其余特征冗余。同時，高維數(shù)據(jù)還會在機器學習算法中帶來巨大的計算負擔。降維：通過某種數(shù)學變換，將數(shù)據(jù)特征由原本的高維空間投射到低維空間。通常用在機器學習和圖像處理過程中來降低高維數(shù)據(jù)的維度，同時提取并保留初始數(shù)據(jù)的主要特征，便于模型的建立。5.4—主成成分分析主成成分分析的基本思想—降維滿足要求：

最近重構性：樣本集中所有點，重構后

的點距離原來的點的誤差之和最小。

最大可分性：樣本在低維空間的投影盡可能分開。5.4—主成成分分析理論推導

矩陣分解（SingularValueDecomposition）

5.4—主成成分分析方法步驟背景：石油，鋼鐵，化工，建材等行業(yè)產(chǎn)能過剩，環(huán)境風險，安全風險，急需改革信息技術的發(fā)展，數(shù)據(jù)大量冗余，新要求和新方向終端生產(chǎn)指標預測模型在工業(yè)化和信息化加速融合的背景下，利用數(shù)據(jù)驅動方法及人工智能技術，充分利用工業(yè)現(xiàn)場的海量數(shù)據(jù)進行終端生產(chǎn)指標預測，對于生產(chǎn)過程的操作條件優(yōu)化、提高流程制造企業(yè)的智能化程度和實現(xiàn)全流程的整體優(yōu)化具有重要的理論意義和應用價值。5.5—經(jīng)典機器學習在控制領域的應用流程工業(yè)生產(chǎn)控制系統(tǒng)流程工業(yè)生產(chǎn)過程中，由于其具有工藝流程長、物理化學性質多變、噪聲干擾大等生產(chǎn)特性，采集到的生產(chǎn)過程數(shù)據(jù)也呈現(xiàn)出獨特的數(shù)據(jù)特征。了解、分析這些流程工業(yè)數(shù)據(jù)特有的特征，對于生產(chǎn)控制方案的設計具有重要的意義。5.5—經(jīng)典機器學習在控制領域的應用流程工業(yè)生產(chǎn)控制系統(tǒng)的分析時滯特征和時空相關性原因：由工業(yè)對象本身的特點引起的時滯，化驗過程和在線分析儀引起的時滯

方法：ARMA,ARMIA,HMM,RNN等標簽樣本有限性原因：過程變量由傳感器實時得到，而生產(chǎn)指標常常需要耗時的化學檢測，導致標簽相對較少。方法：半監(jiān)督學習等工況波動下的數(shù)據(jù)分布時變原因：工藝輸入原料的波動、工藝積垢、機械部件的磨損、催化劑失活、外部環(huán)境的變化等方法：自適應策略，如即時學習，滑動窗等噪聲和質量數(shù)據(jù)小樣本過程的不確定性原因：在數(shù)據(jù)采集、傳輸與存儲等環(huán)節(jié)均會受到不確定的噪聲干擾，以及模型的認知不確定性。方法：數(shù)據(jù)預處理，構造魯棒性強的模型等優(yōu)勢：數(shù)據(jù)驅動方法不需要復雜的物理化學背景知識，基于歷史數(shù)據(jù)建立變量的相關關系模型來實現(xiàn)預測任務，因其較好的通用性，成為建立生產(chǎn)指標預測模型的一種有效方法。建立步驟：數(shù)據(jù)預處理：用于剔除噪聲及離群點的影響，提升模型泛化性能。輸入變量選擇：提高建模效率，減少模型復雜度及計算負擔。特征提?。罕M可能保留主要信息，剔除冗余信息，集中數(shù)據(jù)特征。建立預測模型：根據(jù)任務需求，建立合適的預測模型，預測終端生產(chǎn)指標。常用建模方法：PCA,ICA,PLS,KPCA,KPLS,SVM等5.5—經(jīng)典機器學習在控制領域的應用基于統(tǒng)計學習的終端生產(chǎn)指標預測模型高爐爐缸特點：應用于生鐵冶煉，高能耗，多相反應物，高溫高壓，反應復雜，影響產(chǎn)品質量，熱狀態(tài)難以直接測量。5.5—經(jīng)典機器學習在控制領域的應用基于支持向量機的高爐爐缸熱狀態(tài)控制方法熱狀態(tài)評價指標

：鐵水含硅量與高爐爐缸的溫度近似呈線性關系，爐缸溫度越高，則鐵水含硅量越高，故用其作為指標。輸出標簽：+1和-1，分別代表鐵水含硅量增加和減少。輸入變量：在輸入變量的選擇上，與生產(chǎn)原料、燃料相關的變量鼓風壓力、進料速度以及與出料成分密切相關的變量如硫含量均被包括在內。數(shù)據(jù)增強：考慮預測含硅量的趨勢變化，所以還需考慮是采用原始數(shù)據(jù)（Originldata，表中記作OD）還是微分數(shù)據(jù)（Differentiateddata，表中記作DD）。輸入變量：5.5—經(jīng)典機器學習在控制領域的應用基于支持向量機的高爐爐缸熱狀態(tài)控制方法符號變量名單位符號變量名單位最新硅含量wt%FTT爐膛頂部溫度℃S硫含量wt%SB爐渣堿度wt%BV鼓風量m^3/minCO爐頂煤氣一氧化碳含量wt%BT鼓風溫度℃爐頂煤氣二氧化碳含量wt%BP鼓風壓力kPa爐頂煤氣氫氣含量wt%FTP爐膛頂部壓力kPaBI成分堿度wt%FS送料速度mm/hCLI配料焦炭量wt%GP透氣性m^3/min?kPaSI冶煉強度t/m^3?dPC煤粉噴吹tonCR焦比kg/tOE富氧率wt%UC利用系數(shù)t/m^3?d表5-1數(shù)據(jù)增強：5.5—經(jīng)典機器學習在控制領域的應用基于支持向量機的高爐爐缸熱狀態(tài)控制方法數(shù)據(jù)類型SBVBTBPFTPFSGPPCOEDD-0.24-0.45-0.20-0.07-0.08-0.09-0.150.06-0.01-0.13OD-0.33-0.23-0.08-0.05-0.01-0.01-0.120.02-0.03-0.03數(shù)據(jù)類型FTTSBCOBICLISICRUCDD0.060.02-0.13-0.10-0.050.40-0.04-0.150.02-0.06OD0.02-0.01-0.07-0.070.020.14-0.03-0.140.02-0.10

表5-2

5.5—經(jīng)典機器學習在控制領域的應用基于支持向量機的高爐爐缸熱狀態(tài)控制方法變量篩選（通過計算F-score）：根據(jù)下表，即可通過設定F-score閾值等方法確定最終的輸入變量5.5—經(jīng)典機器學習在控制領域的應用基于支持向量機的高爐爐缸熱狀態(tài)控制方法變量F-score變量F-score0.27550.00710.21720.00510.12630.00390.04130.00270.02260.00260.01830.00240.01810.00070.01540.0006UC0.01220.00040.0104PC0.0001表5-3

5.5—經(jīng)典機器學習在控制領域的應用基于支持向量機的高爐爐缸熱狀態(tài)控制方法丙烯酸工藝介紹：主要原材料是丙烯和空氣。丙烯在催化劑的催化作用下，首先和氧氣反應生成丙烯醛，而后再進行第二步氧化反應，最終生成丙烯酸。關鍵變量指標

：經(jīng)過第一步氧化反應后丙烯醛的轉化率，對于提高丙烯酸最終生成率有重要意義。但是由于技術的限制，很難實時獲得丙烯醛的轉化率5.5—經(jīng)典機器學習在控制領域的應用基于主成成分分析的丙烯醛軟測量建模方法流程說明：丙烯醛轉化為丙烯酸的反應發(fā)生在第二步氧化過程的第二個反應器（R-102）中，圖5-11中展示了丙烯第二步氧化工藝流程。丙烯經(jīng)過第一步氧化制得丙烯醛后，需補充進一步氧化所需要的空氣，丙烯醛和循環(huán)廢棄、空氣在進料混合器（M-103）中混合，進入二段氧化反應器（R-102），在催化劑的作用下轉化為丙烯酸。丙烯第二步氧化變量說明

：5.5—經(jīng)典機器學習在控制領域的應用基于主成成分分析的丙烯醛軟測量建模方法編號標簽號變量描述編號標簽號變量描述1FIC1011空氣到M‐103控制流量8TI1083H‐103出口溫度2FIC1023K‐102出口流量9TI1084H‐103入口溫度3TI1085M‐103內部溫度10TI1052R‐102底部溫度4TI1057AM‐103出口溫度11TI1054P‐104出口溫度5TI1057BE‐106進口溫度12PI1021AR‐102頂部壓力6TI1051R‐102最高溫度13PI1021BR‐102底部壓力7TI1082H‐103入口溫度14TIC1053E‐105控制溫度

5.5—經(jīng)典機器學習在控制領域的應用基于主成成分分析的丙烯醛軟測量建模方法主成成分分析得到結果展示

：5.5—經(jīng)典機器學習在控制領域的應用基于主成成分分析的丙烯醛軟測量建模方法主成分編號特征值方差百分比（%）累計方差百分比（%）主成分編號特征值方差百分比（%）累計方差百分比（%）15.137936.7036.7080.45883.2893.7522.662619.0255.7290.30412.1795.9231.934513.8269.54100.24341.7497.6641.10597.9077.43110.13520.9798.6350.77005.5082.93120.10170.7299.3560.58704.2087.13130.06520.4799.8270.46823.3490.47140.02560.18100《智能控制》2023年5月第六章神經(jīng)元與神經(jīng)網(wǎng)絡主要內容神經(jīng)網(wǎng)絡的基本概念6.16.26.3前饋神經(jīng)網(wǎng)絡反饋神經(jīng)網(wǎng)絡6.4模糊神經(jīng)網(wǎng)絡6.5深度學習課程內容—神經(jīng)網(wǎng)絡的基本概念神經(jīng)網(wǎng)絡的基本概念神經(jīng)元網(wǎng)絡的研究已有30多年的歷史：20世紀40年代初，心理學家Mcculloch和數(shù)學家Pitts提出了形式神經(jīng)元的數(shù)學模型，并研究了基于神經(jīng)元模型幾個基本元件互相連接的潛在功能。1958年，Rosenblatt首先引入了感知器（Perceptron）概念并提出了構造感知器的結構。1969年，Minsky和Papert對感知器為代表的網(wǎng)絡作了嚴格的數(shù)學分析，指出了幾個模型的局限性。由于結論相當悲觀，此后神經(jīng)網(wǎng)絡的研究在相當長時間內發(fā)展緩慢。20世紀70年代，Grossberg根據(jù)生物學和生理學的證明，他提出具有新特征的幾種非線性動態(tài)系統(tǒng)的結構，使神經(jīng)元網(wǎng)絡的研究又有了突破性的進展。1986年，以Rumelthard和Mcclelland為首的PDP（ParalellDistributedProcessing）小組發(fā)表了一系列的研究結果和應用，神經(jīng)網(wǎng)絡的研究進入全盛時期。課程內容—神經(jīng)網(wǎng)絡的基本概念神經(jīng)網(wǎng)絡的重要特征和性質非線性：神經(jīng)元網(wǎng)絡在理論上可以趨近任何非線性函數(shù)，人工神經(jīng)元網(wǎng)絡比其他方法建模更經(jīng)濟。平行分布處理：神經(jīng)元網(wǎng)絡具有高度平行的結構，比常規(guī)方法有更大程度的容錯能力。神經(jīng)元網(wǎng)絡的基本單元結構簡單，并行連接的處理速度很快。硬件實現(xiàn)：它不僅可以平行實現(xiàn)，而且許多制造廠家已經(jīng)用專用的VLSL硬件來制作神經(jīng)元網(wǎng)絡，網(wǎng)絡能實現(xiàn)的規(guī)模也明顯增大。學習和自適應性：利用系統(tǒng)過去的數(shù)據(jù)記錄，可對網(wǎng)絡進行訓練。受適當訓練的網(wǎng)絡有能力泛化，也即當輸入出現(xiàn)訓練中未提供的數(shù)據(jù)時，網(wǎng)絡也有能力進行辨識。神經(jīng)元網(wǎng)絡也可以在線訓練。數(shù)據(jù)融合：網(wǎng)絡可以同時對定性和定量的數(shù)據(jù)進行操作。在這方面，網(wǎng)絡正好是傳統(tǒng)工程系統(tǒng)（定量數(shù)據(jù)）和人工智能領域（符號數(shù)據(jù)）信息處理技術之間的橋梁。多變量系統(tǒng)：神經(jīng)元網(wǎng)絡自然地處理多輸入信號并具有多輸出，適合于多變量系統(tǒng)。課程內容—神經(jīng)網(wǎng)絡的基本概念神經(jīng)元網(wǎng)絡的基本結構圖6-1表示了在中央神經(jīng)系統(tǒng)中，典型神經(jīng)細胞的主要元件，包括：細胞體、軸突、樹突、突觸、膜電位。圖6-1神經(jīng)元的構造

圖6-2神經(jīng)元模型

課程內容—神經(jīng)網(wǎng)絡的基本概念神經(jīng)元網(wǎng)絡的模型圖6-3神經(jīng)元模型框圖從控制工程角度來看，為了采用控制領域中相同的符號和描述方法，可以把神經(jīng)元網(wǎng)絡改為圖6-3所示形式。該模型由三部分組成：加權的加法器線性動態(tài)單輸入單輸出（SISO）系統(tǒng)靜態(tài)非線性函數(shù)（1）可微和不可微（2）類脈沖和類階躍（3）正函數(shù)和零均函數(shù)課程內容—神經(jīng)網(wǎng)絡的基本概念常用的非線性函數(shù)的數(shù)學表示及其形狀:課程內容—神經(jīng)網(wǎng)絡的基本概念神經(jīng)元的連結方式單層的靜態(tài)網(wǎng)絡：神經(jīng)元的結合可以按一組代數(shù)方程來描述：

多層神經(jīng)元網(wǎng)絡：

動態(tài)網(wǎng)絡：在網(wǎng)絡中引入反饋，動態(tài)方程可以表示為

課程內容—前饋神經(jīng)網(wǎng)絡感知器感知器是美國心里學家Rosenblatt于1958年提出的，它是最基本的但具有學習功能的層狀結構（Layednetwork）。最初的感知器由三層即S（Sensory）層、A（Association）層和R（Response）層組成。圖6-4三層的感知器圖6-5三層的感知器S層和A層之間的耦合是固定的，只有A層和R層（即輸出層）只有一個輸出節(jié)點的感知器，它相當于單個神經(jīng)元，簡化為如圖6-5所示。Minsky和Papert曾對感知器的分類能力作了嚴格的評價，并指出了它的局限性，例如它連最常用的異或（XOR）邏輯運算都無法實現(xiàn)。課程內容—前饋神經(jīng)網(wǎng)絡感知器感知器權值的學習是通過給定的導前信號（即希望輸出）按下式進行的

如果在感知器的A層和R層加上一層或多層隱單元，則構成的多層感知器具有很強的處理功能，事實上我們有以下的結論：定理6-1假定隱層的節(jié)點可以根據(jù)需要自由設置，那么三層（不包括S層）的閾值網(wǎng)絡可以實現(xiàn)任意的二值邏輯函數(shù)。課程內容—前饋神經(jīng)網(wǎng)絡BP網(wǎng)絡BP網(wǎng)絡（BackPropagationNN）是一單向傳播的度層前向網(wǎng)絡，其結構如圖6-6所示。

圖6-6BP網(wǎng)絡

課程內容—前饋神經(jīng)網(wǎng)絡GMDH網(wǎng)絡GMDH（TheGroupMethodofDataHandling）模型是由Ivakhnenko（1971）為預報海洋河流中的魚群而提出的模型。它成功地應用于非線性系統(tǒng)的建模和控制中，如超音速飛機的控制系統(tǒng)，電力系統(tǒng)的負荷預測等。又稱多項式網(wǎng)絡。圖6-7GDMH的典型網(wǎng)絡結構圖6-8GMDH網(wǎng)絡的處理單元圖6-7所示的是一典型的GDMH網(wǎng)絡，它由4個輸入和單輸出構成。輸入層節(jié)點只是傳遞輸入信號到中間隱層的節(jié)點，每一隱層節(jié)點和輸出節(jié)點正好有兩個輸入，因此單輸出節(jié)點的前一層肯定只有兩個隱層節(jié)點。

課程內容—前饋神經(jīng)網(wǎng)絡RBF網(wǎng)絡RBF（RadialBasisFunctiion）網(wǎng)絡由三層組成，其結構如圖6-10所示：圖6-10RBF網(wǎng)絡輸入層節(jié)點：傳遞輸入信號到隱層隱層節(jié)點（RBF節(jié)點）：由輻射狀作用函數(shù)構成，最常用的時高斯核函數(shù)輸出層節(jié)點：隱層節(jié)點輸出的線性組合

與BP網(wǎng)絡的區(qū)別：作用函數(shù)不同課程內容—反饋神經(jīng)網(wǎng)絡CG網(wǎng)絡模型在反饋網(wǎng)絡中，輸入信號決定反饋系統(tǒng)的初始狀態(tài)，然后系統(tǒng)經(jīng)過一系列狀態(tài)轉移后，逐漸收斂于平衡狀態(tài)。這樣的平衡狀態(tài)就是反饋網(wǎng)絡經(jīng)計算后的輸出結果，由此可見，穩(wěn)定性是反饋網(wǎng)絡中最重要的問題之一。Cohen和Grossberg提出的反饋網(wǎng)絡模型可用下述一組非線性微分方程描述

關于CG網(wǎng)絡模型的穩(wěn)定性，我們有以下的結果：

定理6-4的證明可通過Lyapunov函數(shù)來完成。課程內容—反饋神經(jīng)網(wǎng)絡盒中腦（BSB）模型BSB(Brain-State-in-a-Box)模型由下列離散方程描述對應的連續(xù)時間模型為

定義

課程內容—反饋神經(jīng)網(wǎng)絡Hopfield網(wǎng)絡模型Hopfield提出的網(wǎng)絡模型可用下列非線性微分方程描述，上述模型還可用一電路來表示（如圖6-12所示）

圖6-12Hopfield電路

定義Hopfield網(wǎng)絡的能量函數(shù)為

（6-24）（6-25）課程內容—反饋神經(jīng)網(wǎng)絡Hopfield網(wǎng)絡模型

對于理想放大器，等式（6-25）可簡化為

或對應等式(6-24)的連續(xù)時間的Hopfield網(wǎng)絡模型，離散的的Hopfield網(wǎng)絡模型描述如下：

（6-30）對于網(wǎng)絡的每個節(jié)點課程內容—反饋神經(jīng)網(wǎng)絡回歸BP網(wǎng)絡回歸BP網(wǎng)絡可由非線性動態(tài)方程描述

（6-33）

網(wǎng)絡的權矩陣可通過一輔助網(wǎng)絡來修正，即

（6-39）課程內容—反饋神經(jīng)網(wǎng)絡Boltzmann網(wǎng)絡G.E.Hinton和T.J.Sejnowski借助統(tǒng)計物理學的方法，對具有對稱權矩陣的隨機網(wǎng)絡引進了一般的學習方法。由于這種隨機網(wǎng)絡的狀態(tài)服從于統(tǒng)計學的Boltzmann分布，故被稱為Boltzmann機。

（6-40）網(wǎng)絡由可見單元和隱單元構成，每個單元只取兩種狀態(tài)：+1和-1。輸出值取+1的概率：輸出值取-1的概率：

（6-41）

課程內容—反饋神經(jīng)網(wǎng)絡Boltzmann網(wǎng)絡

（6-41）

采用梯度下降法得

權值修正方程為

課程內容—模糊神經(jīng)網(wǎng)絡模糊神經(jīng)網(wǎng)絡將模糊邏輯與神經(jīng)網(wǎng)絡適當?shù)亟Y合起來，吸取兩者的長處，則可組成比單獨的神經(jīng)網(wǎng)絡系統(tǒng)或單獨的模糊系統(tǒng)性能更好的系統(tǒng)。神經(jīng)網(wǎng)絡模糊邏輯模糊神經(jīng)網(wǎng)絡不適于表達基于規(guī)則的知識訓練時不能很好地利用經(jīng)驗知識適合于表達模糊或定性的知識缺乏自學習和自適應能力課程內容—模糊神經(jīng)網(wǎng)絡基于標準模型的模糊神經(jīng)網(wǎng)絡一種是模糊規(guī)則的后件為輸出量的某一模糊集合，如NB，PB等。另一種是模糊規(guī)則的后件為輸入語言變量的函數(shù)。圖6-13基于標準模型的模糊系統(tǒng)原理結構圖由于該方法是Takagi和Sugeno首先提出來的，因此通常稱它為模糊系統(tǒng)的Takagi-Sugeno模型。模糊模型的表示主要有兩種：模糊系統(tǒng)的標準模型

課程內容—模糊神經(jīng)網(wǎng)絡

輸出量總的模糊集合為

若采用加權平均的清晰化方法，則可求得輸出的清晰化量為

其中課程內容—模糊神經(jīng)網(wǎng)絡圖6-14基于標準模型的模糊神經(jīng)網(wǎng)絡結構模糊神經(jīng)網(wǎng)絡結構如圖6-14所示模糊神經(jīng)網(wǎng)絡的結構

課程內容—模糊神經(jīng)網(wǎng)絡學習算法

圖6-15單個神經(jīng)元結點的基本結構課程內容—模糊神經(jīng)網(wǎng)絡下面具體給出它的每一層的結點函數(shù)：第一層第二層第三層第四層第五層或者設取誤差代價函數(shù)為

課程內容—模糊神經(jīng)網(wǎng)絡

最后可給出參數(shù)調整的學習算法

課程內容—模糊神經(jīng)網(wǎng)絡例6-1設有如下的二維非線性函數(shù)

圖6-17模糊神經(jīng)網(wǎng)絡的誤差學習曲線圖6-18模糊神經(jīng)網(wǎng)絡輸入輸出的三維圖形課程內容—模糊神經(jīng)網(wǎng)絡基于Takagi-Sugenno模型的模糊神經(jīng)網(wǎng)絡Takagi-Sugenno模型

模糊系統(tǒng)的輸出量為每條規(guī)則的輸出量的加權平均，即

課程內容—模糊神經(jīng)網(wǎng)絡模糊神經(jīng)網(wǎng)絡的結構該網(wǎng)絡由前件網(wǎng)絡和后件網(wǎng)絡兩部分組成，前件網(wǎng)絡用來匹配模糊規(guī)則的前件，后件網(wǎng)絡用來產(chǎn)生模糊規(guī)則的后件，如圖6-18所示。圖6-18基于Takagi-Sugeno模型的模糊神經(jīng)網(wǎng)絡結構

課程內容—模糊神經(jīng)網(wǎng)絡學習算法

圖6-18基于Takagi-Sugeno模型的模糊神經(jīng)網(wǎng)絡簡化結構課程內容—模糊神經(jīng)網(wǎng)絡

課程內容—深度學習深度學習源于人工神經(jīng)網(wǎng)絡的研究1943年，心理學家WarrenMcculloch和數(shù)理邏輯學家WalterPitts在合作的論文中提出并給出了人工神經(jīng)網(wǎng)絡的概念及人工神神經(jīng)元的數(shù)學模型，從而開創(chuàng)了人類神經(jīng)網(wǎng)絡研究的時代。1957年，F(xiàn)rankRosenblatt在NewYorkTimes上發(fā)表文章“Electronic‘Brain’TeachesItself”，首次提出感知機（Perceptron）。1982年，美國加州理工學院的物理學家JamesL.McCelland研究小組發(fā)表的《并行分布處理》，重新激起了人們對ANN的研究興趣。文中對反向傳播算法進行了詳盡的分析。2006年，加拿大多倫多大學教授GeoffreyHinton在世界頂級學術期刊“Science”上發(fā)表的一篇論文提出了深度學習以及深度神經(jīng)網(wǎng)絡模型訓練方法的改進，打破了BP神經(jīng)網(wǎng)絡發(fā)展的瓶頸，揭開了深度學習的序幕?！n程內容—深度學習深度學習基本概念機器學習（MachineLearning）監(jiān)督學習：分類，針對已有的訓練樣本；無監(jiān)督學習：沒有任何訓練樣本，需要直接對數(shù)據(jù)進行建模；半監(jiān)督學習：訓練的時候有一部分是有標簽的而有一部分是沒有的；強化學習：試錯學習，智能體要以不斷與環(huán)境進行交互，通過試錯來獲得最佳策略。表示學習（RepresentationLearning）表示學習希望能從數(shù)據(jù)中自動地學到從數(shù)據(jù)的原始形式到數(shù)據(jù)的表示之間的映射深度學習（DeepLearning）通過組合低層特征形成更加抽象的高層表示屬性類別或特征課程內容—深度學習深度神經(jīng)網(wǎng)絡（DeepNeuralNetworks，DNN）深度神經(jīng)網(wǎng)絡目前的成功取決于三大推動因素，包括大數(shù)據(jù)、計算能力和算法創(chuàng)新。激活函數(shù)（Activationfunctions）是神經(jīng)網(wǎng)絡能解決非線性問題關鍵，具有代表性的激活函數(shù)有許