CMAC小腦神經(jīng)網(wǎng)絡-最新課件

1、第5章 CMAC小腦神經(jīng)網(wǎng)絡前面幾章介紹的BP神經(jīng)網(wǎng)絡、Hopfield神經(jīng)網(wǎng)絡和BAM神經(jīng)網(wǎng)絡分別屬于前饋和反饋神經(jīng)網(wǎng)絡，這主要是從網(wǎng)絡的結構來劃分的。如果從神經(jīng)網(wǎng)絡的函數(shù)逼近功能這個角度來分，神經(jīng)網(wǎng)絡可以分為全局逼近網(wǎng)絡和局部逼近網(wǎng)絡。若神經(jīng)網(wǎng)絡的一個或多個可調參數(shù)（權值和閾值）在輸入空間的每一點對任何一個輸出都有影響，則稱該神經(jīng)網(wǎng)絡為全局逼近網(wǎng)絡，前面介紹的多層前饋BP網(wǎng)絡是全局逼近網(wǎng)絡的典型例子。對于每個輸入輸出數(shù)據(jù)對，網(wǎng)絡的每一個連接權均需進行調整，從而導致全局逼近網(wǎng)絡學習速度變慢，對于有實時性要求的應用來說常常是不可容忍的。如果對網(wǎng)絡輸入空間的某個局部區(qū)域只有少數(shù)幾個連接權影響網(wǎng)絡

2、輸出，則稱網(wǎng)絡為局部逼近網(wǎng)絡。對于每個輸入輸出數(shù)據(jù)對，只有少量的連接權需要進行調整，從而使局部逼近網(wǎng)絡具有學習速度快的優(yōu)點，這一點對于有實時性要求的應用來說至關重要。目前常用的局部逼近神經(jīng)網(wǎng)絡有CMAC網(wǎng)絡、徑向基函數(shù)RBF網(wǎng)絡和B樣條網(wǎng)絡等，其結構原理相似，本書主要介紹CMAC神經(jīng)網(wǎng)絡和RBF神經(jīng)網(wǎng)絡。1975年J.S.Albus提出一種模擬小腦功能的神經(jīng)網(wǎng)絡模型，稱為Cerebellar Model Articulation Controller1-2，簡稱CMAC。CMAC網(wǎng)絡是仿照小腦控制肢體運動的原理而建立的神經(jīng)網(wǎng)絡模型。小腦指揮運動時具有不假思索地作出條件反射迅速響應的特點，這種條

3、件反射式響應是一種迅速聯(lián)想。CMAC網(wǎng)絡有3個特點：· 作為一種具有聯(lián)想功能的神經(jīng)網(wǎng)絡，它的聯(lián)想具有局部推廣（或稱泛化）能力，因此相似的輸入將產(chǎn)生相似的輸出，反之則產(chǎn)生獨立的輸出。· 對于網(wǎng)絡的每一個輸出，只有很少的神經(jīng)元所對應的權值對其有影響，哪些神經(jīng)元對輸出有影響則由輸入決定。· CMAC的每個神經(jīng)元的輸入輸出是一種線性關系，但其總體上可看做一種表達非線性映射的表格系統(tǒng)。由于CMAC網(wǎng)絡的學習只在線性映射部分，因此可采用簡單的算法，其收斂速度比BP算法快得多，且不存在局部極小問題。CMAC最初主要用來求解機械手的關節(jié)運動，后來被進一步應用于機械人控制、模式識別

4、、信號處理以及自適應控制等領域3-4。5.1 CMAC結構及工作原理55.1.1 CMAC結構簡單的CMAC結構如圖5-1所示，圖中表示維輸入狀態(tài)空間，為具有個單元的存儲區(qū)（又稱為相聯(lián)空間或概念記憶空間）。設CMAC網(wǎng)絡的輸入向量用維輸入狀態(tài)空間X中的點表示，對應的輸出向量用表示，圖中，輸入空間的一個點將同時激活中的個元素（圖5-1中4），使其同時為1，而其他大多數(shù)元素為0，網(wǎng)絡的輸出即為中4個被激活單元的對應權值累加和。稱為泛化參數(shù)，反應網(wǎng)絡泛化能力大小，也可將其看做信號檢測單元的感受野大小。對CMAC來說，其工作過程一般包括兩個方面： 結果輸出計算及誤差生成階段； 權值調整階段。圖5-1

5、CMAC網(wǎng)絡的結構5.1.2 CMAC工作原理1CMAC的結果輸出計算及誤差產(chǎn)生階段一般來說，實際應用時輸入向量的各分量來自不同的傳感器，其值多為模擬量，而中每個元素只取0或1兩種值。為使空間的點映射為空間的離散點，必須先將模擬量量化，使其成為輸入狀態(tài)空間的離散點。設輸入向量的每一個分量可量化為個等級，則個分量可組合為輸入狀態(tài)空間種可能的狀態(tài)，。其中每一個狀態(tài)都要映射為空間存儲區(qū)的一個集合，的個元素均為1。從圖5-1可以看出，在空間接近的樣本和在中的映射和出現(xiàn)了交集，即它們對應的4個權值中有兩個是相同的，因此有權值累加和計算的兩個輸出也較接近，從函數(shù)映射的角度看，這一特點可起到泛化的作用。顯然

6、，對相距很遠的樣本和，映射到中的為空集，這種泛化不起作用，因此是一種局部泛化。輸入樣本在輸入空間距離越近，映射到存儲區(qū)后對應交集中的元素就越接近，其對應的輸入樣本在中產(chǎn)生的交集起到了將相近樣本聚類的作用。為使對于空間的每一個狀態(tài)在空間均存在惟一的映射，應使存儲區(qū)中單元的個數(shù)至少等于空間的狀態(tài)個數(shù)，即。設將三維輸入的每個分量量化為10個等級，則。對于許多實際系統(tǒng)，往往要比這個數(shù)字大得多，但由于大多數(shù)學習問題不會包含所有可能的輸入值，實際上不需要個存儲單元來存放學習的權值。相當于一種虛擬的內存地址，每個虛擬地址和輸入狀態(tài)空間的一個樣本點相對應。通過哈希編碼（Hash-coding）可將具有個存儲單

7、元的地址空間映射到一個小得多的物理地址連接中。對于每個輸入，中只有個單元為1，而其余的均為0，因此是一個稀疏矩陣。哈希編碼是壓縮稀疏矩陣的常用技術，具體方法是通過一個產(chǎn)生隨機數(shù)的程序來實現(xiàn)的。以的地址作為隨機數(shù)產(chǎn)生的程序的變量，產(chǎn)生的隨機數(shù)作為的地址。由于產(chǎn)生的隨機數(shù)限制在一個較小的整數(shù)范圍內，因此遠比小得多。顯然，從到的壓縮是一種多對少的隨機映射。在中，對每一個樣本有個隨機地址與之對應，個地址存放的權值通過學習得到，其累加和即作為CMAC的輸出。其表達式為： （5-1）其中，為第j個存儲單元的權值，若激活，則其值為1，否則為0，只有個存儲單元對輸出有影響。相近的輸入激活的存儲單元有交疊，產(chǎn)生

8、相近的輸出，不相近的輸入將產(chǎn)生不相近的輸出。對應的誤差表達式為： （5-2）2CMAC的權值調整階段CMAC算法中結果輸出階段從CMAC存儲單元產(chǎn)生一實際輸出，學習過程根據(jù)期望輸出與實際輸出的誤差大小來更新CMAC存儲單元中的權值。在常規(guī)CMAC算法中誤差被平均分配到所有被激活的存儲單元。設為某一狀態(tài)，是經(jīng)過第次迭代后存儲在第個存儲單元中的權值。常規(guī)CMAC更新算法為： （5-3）為狀態(tài)的期望輸出，為狀態(tài)的實際輸出，為學習常數(shù)。5.2 CMAC改進學習算法在CMAC神經(jīng)網(wǎng)絡應用中，一般來說其實時性要求都較高。如非線性動態(tài)系統(tǒng)的在線辨識，不僅要求精度高，而且要求快速學習。但是，常規(guī)的CMAC仍然

9、需要多個周期才能達到一定的收斂精度，也就是說，常規(guī)CMAC雖然其收斂速度快于BP網(wǎng)絡，但作為在線學習來說，仍難滿足其快速性的要求。為此，近些年來，一些學者提出了許多相關算法，大多是在常規(guī)CMAC算法上進行改進。下面介紹幾種重要的改進算法。5.2.1 模糊CMAC神經(jīng)網(wǎng)絡算法為提高CMAC學習的實時性和準確性。Nie J.和Geng Z.J.等人將模糊自組織競爭算法引入CMAC中，來改造常規(guī)的CMAC神經(jīng)網(wǎng)絡，提出了一種模糊CMAC算法6-7,10，作如下定義：定義5-1 設CMAC中某個輸入激活的個的存儲單元可看作中心為, ，寬度為的一個鄰域，稱為聯(lián)想域。對常規(guī)CMAC來說，若，則，否則為0。

10、聯(lián)想域有交疊，使網(wǎng)絡有局部泛化能力。定義5-2 設輸入，聯(lián)想域()的中心為，半徑為，將每個存儲單元用一與輸入同維的向量表示，則聯(lián)想度為： （5-4）基于聯(lián)想度的概念，可獲得一模糊化的聯(lián)想向量，進而得到FCMAC的輸出： （5-5）若令，其他情況，則退化為二進制向量，可見常規(guī)CMAC為FCMAC的特殊情況。對網(wǎng)絡權值（存儲的數(shù)據(jù)）學習調整，文獻8,9采用以下算法： （5-6） （5-7）由于聯(lián)想度的引入，也省去了CMAC的離散、量化、編碼、hashing映射等復雜運算。對于聯(lián)想域大小的確定，采用自組織競爭算法來實現(xiàn)，從而完成輸入空間的自組織分割，使網(wǎng)絡的學習速度和精度得到較大的提高。5.2.2

11、基于信度分配的平衡學習CMAC神經(jīng)網(wǎng)絡算法在常規(guī)CMAC及模糊CMAC學習算法的權值學習調整中，誤差被平均分配給每個被激活的存儲單元，而未考慮各個被激活存儲單元對誤差的貢獻率，也即在經(jīng)過次學習后，對調整次數(shù)不同的激活存儲單元其權值的可信度仍被看成完全相同的。這種權值更新算法完全違背了信度分配的概念，這樣的權值學習算法，必然使那些權值不該調整或應該較少調整的存儲單元（其權值可信度高）需反復學習調整；而對誤差貢獻較大的存儲單元（其權值可信度低），本應該使其權值得到較大調整，但實際上權值學習調整量減少。為了達到預定的逼近精度，網(wǎng)絡必須多次反復學習，從而使CMAC的學習效率降低，學習時間延長。為了提高

12、CMAC學習速度，文獻11在分析常規(guī)CMAC權值調整規(guī)則的基礎上，考慮到已學習知識的可信度，提出一種基于信度分配的CA-CMAC（Credit assignment CMAC）算法。同時引入CMAC存儲單元地址函數(shù)，來解決信度的定義問題。文獻12在此基礎上進一步考慮到網(wǎng)絡權值調整時，新知識“學習”與舊知識“遺忘”的平衡問題，提出一種基于“平衡學習”的CMAC神經(jīng)網(wǎng)絡學習算法。下面以二維CMAC為例進行介紹。1. 常規(guī)CMAC神經(jīng)網(wǎng)絡的分級量化方法CMAC的基本思想就是將學習的數(shù)據(jù)（知識）存儲在交疊的存儲單元（記憶空間）中，其輸出為相應激活單元數(shù)據(jù)的累加和。以二維CMAC為例，定義輸入矢量為變量

13、和。二維CMAC結構如圖5-2所示。在本例中，每個變量分成7個等分區(qū)域，每個狀態(tài)變量有3級，每級由構成。對第1級，變量被劃為3塊A B和C，變量被劃為a, b和c。則Aa, Ab, Ac, Ba, Bb, Bc, Ca, Cb和Cc為存儲數(shù)據(jù)的地址或單元（hypercubes）；與此相似，對第2級，有存儲單元Dd, De, Df, Ed, Ee, Ef, Fd, Fe和Ff；對第3級，有存儲單元Gg, Gh, Gi, Hg, Hh, Hi, Ig, Ih和Ii。必須注意，只有同級的不同變量的分塊組合才能形成存儲單元。像組合Ad, Db等是不存在的。此處的二維CMAC中，用27個存儲單元來存儲4

14、9個狀態(tài)的數(shù)據(jù)。CMAC的基本思想如圖5-3所示。在CMAC算法實現(xiàn)過程中有兩個階段：結果輸出階段和權值學習階段。在結果輸出階段，CMAC將所有被輸入狀態(tài)激活的存儲單元的權值（存儲數(shù)據(jù)）相加。 （5-8）存儲單元數(shù)為N，設m為狀態(tài)變量的級數(shù)（圖5-2中狀態(tài)變量級數(shù)m = 3），為總狀態(tài)數(shù)。為狀態(tài)(=1, n) 的實際輸出值。為第個存儲單元的權值，是第個存儲單元是否被狀態(tài)激活的指示。由于每個狀態(tài)僅被個存儲單元包含，只有這些存儲單元被激活，其為1，而其他存儲單元全為0。如圖5-2中，存儲單元Bb, Ee和Hh被狀態(tài)激活，所以僅有這3個為1，而其他存儲單元全為0。圖5-2 二維CMAC結構 圖5-3

15、 CMAC的基本原理CMAC算法中結果輸出階段從CMAC存儲單元產(chǎn)生一實際輸出，學習過程根據(jù)期望輸出與實際輸出的誤差大小來更新CMAC存儲單元中的權值。在常規(guī)CMAC算法中誤差被平均分配到所有被激活的存儲單元。設為某一狀態(tài)，是經(jīng)過第次迭代后存儲在第個存儲單元中的權值。常規(guī)CMAC更新算法為： （5-9）其中，為狀態(tài)的期望輸出，為狀態(tài)的實際輸出，a 為學習常數(shù)。必須注意只有那些被激活的存儲單元的權值才被更新。在上面的常規(guī)算法中誤差被平均分配到所有被激活的存儲單元，但是經(jīng)過次迭代后，最初的存儲單元已經(jīng)包含了一些先前學習的知識，不是每一個存儲單元都有相同的學習歷史，所以這些存儲單元也不應有相同的可信

16、度。無視這些差異，所有被激活的存儲單元都獲得相同的校正誤差，那么那些由未學習狀態(tài)產(chǎn)生的誤差將對先前學習的信息產(chǎn)生“腐蝕”（corrupt），當然在經(jīng)過多個訓練周期后，這種“腐蝕”情形會逐漸消失，這也是許多常規(guī)CMAC算法應用成功的根據(jù)之所在。但是對在線動態(tài)系統(tǒng)的學習來說，其實時性要求非常高，有的情況下，一到兩個周期內就得完成學習任務，也就沒有足夠的時間來消除這種“腐蝕”，因此其學習結果常常是無法滿足在線學習的要求。2基于信度分配的CMAC（CA-CMAC）神經(jīng)網(wǎng)絡為了避免“腐蝕”效應，校正誤差必須根據(jù)存儲單元的可信度進行分配。然而，在CMAC學習過程中，還沒有一個好的方法來決定某一存儲單元對目

17、前的誤差負更多的責任。換句話說，還沒有一個好的方法來決定存儲單元權值。惟一可用的信息是該存儲單元權值目前更新的次數(shù)，文獻11假設存儲單元學習更新次數(shù)越多，其存儲的數(shù)值越可靠。因此存儲單元的學習次數(shù)被看成其可信度。可信度越高，其權值修正越小。由此（5-9）式改寫為： （5-10）其中，是第個存儲單元的學習次數(shù)，是某狀態(tài)激活的存儲單元數(shù)。此處權值更新思想是校正誤差必須與激活單元的學習次數(shù)成反比。此處用/代替了（5-9）式的，它有效地改善了學習性能。但這并不是最好的結果，因為它沒有進一步考慮已學習的先前知識與未學習或少學習的知識各自對網(wǎng)絡輸出誤差的影響程度。即“學習”與“遺忘”的平衡問題。3改進的基

18、于信度分配的CMAC神經(jīng)網(wǎng)絡（ICA-CMAC）根據(jù)以上分析，一種“平衡學習”的概念被提出，由此設計一種改進的基于信度分配的CMAC（Improved Credit Assignment CMAC，ICA-CMAC）神經(jīng)網(wǎng)絡模型，此時（5-10）式被改寫為： （5-11）其中，是一個平衡學習常數(shù)，當為0或1時，ICA-CMAC分別為常規(guī)CMAC和文獻11的CA-CMAC。也就是說，CMAC和CA-CMAC是ICA-CMAC的特殊情形。激活存儲單元的學習次數(shù)越大，則其存儲的知識（先前學習的信息）越多。平衡學習常數(shù)越大，對學習次數(shù)較大的存儲單元，其權值改變較少。在很大時，對學習次數(shù)較大的存儲單元其

19、權值基本不變。此時未學習的或者學習次數(shù)較少的激活單元在權值修正時，將獲得大多數(shù)誤差校正值。此種情形下，網(wǎng)絡學習中“記憶”即“已學習知識的保持”占主導地位。反之，當值很小時，學習次數(shù)對信度分配的影響也較小。當0時，學習次數(shù)對信度分配的影響為零。此時，誤差被平均分配到所有被激活的存儲單元。所有被激活的存儲單元都有相同的信度分配，而不管學習次數(shù)的大小。這時在網(wǎng)絡學習中“遺忘”占主導地位?？梢娛且粋€平衡學習常數(shù)，它反映了在網(wǎng)絡訓練過程中，先前學習的信息與未學習或少學習信息對存儲單元權值調整的影響程度。不同的將會有不同的學習結果。從后面的仿真結果可知，當為某一數(shù)值時其學習速度最快，說明此時網(wǎng)絡的“記憶”

20、與“遺忘”達到了最佳平衡。4地址函數(shù)設計在常規(guī)CMAC中，一般采用hashing技術來壓縮存儲空間，但hashing映射會造成碰撞的發(fā)生，使得CMAC的逼近性能下降。文獻11采用地址函數(shù)來產(chǎn)生所需要的存儲單元的標志，它通過一定規(guī)則為所有可能的存儲單元編碼，是一種簡潔的地址方法，而且不存在數(shù)據(jù)碰撞問題。以三維（3-D）CMAC為例，設是CMAC的級數(shù)，是每級包含的塊數(shù)，則每維的等分塊數(shù)為。在本例中，每塊包含m個狀態(tài)，僅用 個存儲單元來映射狀態(tài)?？紤]由表達的狀態(tài)，由它激活的存儲單元數(shù)為m，各激活存儲單元的地址函數(shù)為，則，定義： if j=1，then i=0，else i=m-j+1; ; ; ;

21、 。5仿真算例及結果分析為了進一步說明ICA-CMAC的在線學習效果，以下面的非線性函數(shù)為例，對不同平衡學習參數(shù)比較網(wǎng)絡的學習速度。 11，11 （5-12）本例中每個變量包含64 個等分塊。取級數(shù)=9，每級包含=8塊。則總狀態(tài)數(shù)為=4096=，存儲單元總數(shù)為=576（僅為總狀態(tài)數(shù)的14%）。取式（5-11）的。其訓練數(shù)據(jù)數(shù)為4096。學習結果如圖5-4和圖5-5所示，在不同的值下，計算網(wǎng)絡的絕對誤差TAE（total absolute error）和均方根誤差RMSE（root mean square error）。取值為0.0，0.7，1.5，2.0。其第1周期到第6周期和第20周期到第2

22、5周期的計算結果見表5-1和表5-2所示。 （5-13） （5-14）其中，n為總狀態(tài)數(shù)，是狀態(tài)s的期望輸出值，是狀態(tài)s的實際輸出數(shù)值。圖5-4 ICA-CMAC的絕對誤差表5-1 ICA-CMAC的絕對誤差k/cycle1234562021222324250.084.5388.7049.3963.5667.2747.5145.8945.6445.1345.6244.5844.220.769.6749.7443.0149.6050.1744.4745.2445.1645.0945.3144.7944.951.574.8360.3348.8751.1749.4248.7246.3446.3746

23、.3446.3846.2746.302.0193.9100.175.4266.0861.5256.8648.2548.2848.2648.1848.0548.01圖5-5 ICA-CMAC均方根誤差表5-2 ICA-CMAC均方根誤差k/cycle1234562021222324250.00.140.140.110.120.120.110.1060.1060.1050.1050.1040.1040.70.130.110.100.110.110.100.1050.1050.1040.1050.1040.1041.50.130.120.110.110.100.110.1060.1060.1060.

24、1060.1060.1062.00.210.150.130.130.120.120.1080.1080.1080.1080.1080.108從圖5-4和圖5-5可以看出，在網(wǎng)絡學習的初始階段，不同的值，誤差下降的速度有很大的差別，=0時（常規(guī)CMAC）收斂速度較慢，隨著值的增加，收斂速度變快，在=0.7時收斂速度達到最快；值繼續(xù)增大，網(wǎng)絡學習速度反而變慢，特別是=2.0時其學習速度比常規(guī)CMAC還慢?？梢?0.7為最佳平衡學習常數(shù),此時,網(wǎng)絡學習時的“記憶”與“遺忘”達到最佳平衡。文獻11提出的CA-CMAC（）的學習速度處于最佳平衡值附近，但它未能分析網(wǎng)絡學習時“記憶”與“遺忘”的平衡問題，

25、其學習結果雖然比常規(guī)CMAC好，但并非是最好的結果。從圖5-4、圖5-5及表5-1、表5-2還可以看出，在網(wǎng)絡學習的后續(xù)階段（后10個周期），盡管值不同，其學習誤差區(qū)別很小，不同值的網(wǎng)絡都學習得很好。這是因為網(wǎng)絡學習過程中，權值的調整依賴于誤差的分配，誤差的分配又依賴于各存儲單元的學習次數(shù)，而學習次數(shù)在學習時間足夠長時，各存儲單元將趨于相同。對于非線性動態(tài)系統(tǒng)的在線學習來說，最初的學習速度是極為重要的。因此，CMAC神經(jīng)網(wǎng)絡學習算法的改進，對提高非線性系統(tǒng)在線辨識的實時性有一定的指導意義。5.2.3 基于信度分配的模糊CMAC神經(jīng)網(wǎng)絡學習算法131算法設計基于信度分配的模糊CMAC神經(jīng)網(wǎng)絡學習

26、算法，是從CMAC權值學習遺忘（previous learned information be corrupted by unlearned state）的角度出發(fā)，將文獻11的信度分配的思想引入模糊CMAC（FCMAC）的權值學習調整之中，提出一種基于信度分配的模糊CMAC（FCACMAC）神經(jīng)網(wǎng)絡學習算法，使網(wǎng)絡的學習更加合理高效。仿真結果表明，F(xiàn)CACMAC有較好的學習速度和較高的學習精度。網(wǎng)絡的存儲單元的激活方式及輸出計算方法與模糊CMAC完全相同；其權值調整是將式（5-6）和式（5-10）相結合，得到： （5-15）此處按照信度分配的原則調整權值，對先前學習次數(shù)較少、誤差貢獻較大的存

27、儲單元，其權值可信度低，這時權值學習調整較多；反之，對學習次數(shù)較多、對所產(chǎn)生的誤差責任較少的存儲單元，其權值可信度較高，這時權值調整較少，從而使CMAC的權值學習調整更加合理高效；另外，由于模糊聯(lián)想度的引入，省去了CMAC的離散、量化、編碼、hashing映射等復雜運算。對于聯(lián)想域大小的確定,采用自組織競爭算法來實現(xiàn),從而完成輸入空間的自組織分割，使網(wǎng)絡的學習速度和精度得到較大的提高。2. 仿真算例及結果分析為了進一步說明FCACMAC的在線學習效果，以下面的非線性函數(shù)為例，研究常規(guī)CMAC、模糊CMAC（FCMAC）及基于信度分配的模糊CMAC（FCACMAC）的學習效果。（1）一維非線性學

28、習實例假設有如下的非線性函數(shù)： （5-16）在學習過程中，用網(wǎng)絡的絕對誤差TAE和均方根誤差RMSE來反映模型的學習速度和精度。其計算式同式（5-13）和式（5-14）。對CMAC、FCMAC及FCACMAC，其第1周期到第20周期的計算結果見表5-3和表5-4。而圖5-6和圖5-7為相應的誤差下降曲線。表5-3 一維CMAC、FCMAC及 FCACMAC絕對誤差算法周期12345678910CMAC38.1327.9814.157.094.082.532.071.761.651.58FCMAC13.6610.465.622.981.560.820.430.250.140.086FCACMAC

29、14.825.571.0340.2190.0640.0410.0340.0320.0310.030算法周期11121314151617181920CMAC1.571.531.511.491.481.461.451.441.431.43FCMAC0.0570.0430.0360.0330.0310.0310.0300.0290.0290.028FCACMAC0.0290.0280.0280.0270.0270.0260.0260.0250.0250.025圖5-6 一維CMAC、FCMAC及 FCACMAC絕對誤差表5-4 一維CMAC、FCMAC及 FCACMAC均方根誤差算法周期123456

30、78910CMAC0.7720.6610.4700.3330.2520.1990.1800.1660.1610.157FCMAC0.4620.4040.2960.2160.1560.1130.0820.0620.0460.037FCACMAC0.4810.2950.1270.0590.0320.0250.0230.0220.0220.022算法周期11121314151617181920CMAC0.1570.1560.1540.1530.1520.1510.1510.1500.1500.149FCMAC0.0300.0260.0240.0230.0220.0220.0220.0210.0210

31、.021FCACMAC0.0210.0210.0210.0210.0200.0200.0200.0200.0200.019圖5-7 一維CMAC、FCMAC及 FCACMAC均方根誤差（2）二維非線性學習實例假設有如下的非線性函數(shù)： （5-17）在網(wǎng)絡學習過程中，絕對誤差TAE和均方根誤差RMSE與式（5-13）和式（5-14）完全相同。對CMAC、FCMAC及FCACMAC，其第1周期到第20周期的計算結果見表5-5和表5-6。其相應的誤差下降曲線如圖5-8和圖5-9所示。表5-5 二維CMAC、FCMAC及 FCACMAC絕對誤差算法周期12345678910CMAC365.9376.52

32、50.7282.6235.1248.4241.0240.0241.9240.5FCMAC408.0402.6276.8203.1148.6118.499.1288.6285.1281.35FCACMAC344.9254.2153.4109.583.7571.2660.6957.9653.7153.76算法周期11121314151617181920CMAC241.3241.0241.2241.2241.3241.2241.3241.2241.3241.2FCMAC82.0480.2780.7880.1480.2680.0980.1080.0780.0380.06FCACMAC52.6352.7

33、452.5052.4052.4052.3052.3152.2752.2652.25圖5-8 二維CMAC、FCMAC及FCACMAC絕對誤差表5-6 二維CMAC、FCMAC及FCACMAC均方根誤差算法周期12345678910CMAC0.29890.30320.24740.26270.23960.24630.24260.24210.24300.2423FCMAC0.31560.31350.25990.22270.19050.17000.15560.14710.14420.1409FCACMAC0.29020.24910.19350.16350.14300.13190.12170.11900

34、.11450.1146算法周期11121314151617181920CMAC0.24270.24260.24260.24270.24270.24270.24270.24270.24270.2427FCMAC0.14150.13990.13990.13980.13980.13980.13980.13980.13980.1398FCACMAC0.11340.11320.11310.11300.11300.11300.11300.11290.11290.1129圖5-9 二維CMAC、FCMAC及 FCACMAC均方根誤差 （3）結果討論從表5-3到表5-6、圖5-6到圖5-9可以看出，無論是一維

35、還是二維非線性目標函數(shù)，在網(wǎng)絡學習過程中，不同的CMAC模型，誤差下降的速度有很大的差別,其中常規(guī)CMAC收斂速度最慢，而基于信度分配的模糊CMAC（FCACMAC）收斂速度最快，模糊CMAC（FCMAC）學習速度處于二者之間。同時還可以看出，F(xiàn)CACMAC的學習精度也比常規(guī)CMAC和模糊FCMAC高。隨著目標函數(shù)維數(shù)的增加，其學習效果的差距更大，這是因為在低維情況下，計算量較小，誤差的下降速度均較快，在20周期內都能達到了一定的逼近精度；隨著維數(shù)的增加，計算量巨增，F(xiàn)CMAC、FCACMAC算法的合理性將發(fā)揮更大的效果，使得三者之間的學習速度和學習精度的差距更明顯，充分顯示出FCACMAC在

36、在線學習上的優(yōu)越性。由此可見，這種基于信度分配的模糊CMAC神經(jīng)網(wǎng)絡學習算法，由于將模糊CMAC的自組織競爭算法與基于信度分配的權值調整算法相結合，不僅在CMAC的存儲單元激活、結果計算輸出階段，省去了CMAC的離散、量化、編碼、hashing映射等復雜運算；而且在CMAC的權值學習調整階段按各激活存儲單元的權值可信度分配誤差，使權值學習調整更加合理有效，極大地提高了CMAC神經(jīng)網(wǎng)絡的學習速度和學習精度。5.4 本 章 小 結本章在討論CMAC神經(jīng)網(wǎng)絡基本結構及原理的基礎上，從網(wǎng)絡輸出計算階段和網(wǎng)絡權值調整階段兩個方面，重點介紹了模糊CMAC神經(jīng)網(wǎng)絡、基于信度分配的CMAC神經(jīng)網(wǎng)絡、基于平衡學

37、習的CMAC神經(jīng)網(wǎng)絡及基于信度分配的模糊CMAC神經(jīng)網(wǎng)絡的結構、工作原理及權值調整學習算法，并給出了具體的仿真算例。最后討論了CMAC神經(jīng)網(wǎng)絡在電液負載模擬器自學習控制中的應用。5.5 思 考 題1CMAC神經(jīng)網(wǎng)絡有哪些特點？2請用自己的語言簡要介紹CMAC神經(jīng)網(wǎng)絡的工作過程。3請簡要介紹基于信度分配的CMAC神經(jīng)網(wǎng)絡權值調整學習算法的理由。4. 假設有如下的非線性函數(shù)：試比較30周期內常規(guī)CMAC、基于信度分配CMAC神經(jīng)網(wǎng)絡的學習效果。5假設有如下的非線性函數(shù)：試利用平衡學習算法求解最佳平衡學習參數(shù)。5.6 參 考 文 獻1Albus J.S. A new approach to mani

38、pulator control: The cerebellar model articulation controller(CMAC). ASME J. Dynamic Systems，Measurement，Control，pp.220227，19752Albus J.S. Data storage in cerebellar model articulation controller(CMAC). ASME J. Dynamic Systems，Measurement，Control，pp.228233，19753Wong Y.F，Sideris A. Learning convergen

39、ce in cerebellar model articulation controller. IEEE Trans. Neural Networks，1992，3(1):1151214Lin C.S，Chiang C.T. Learning convergence of CMAC technique. IEEE Trans. Neural Networks，1997，8(6):128112925韓力群. 人工神經(jīng)網(wǎng)絡的理論、設計及應用. 北京：化學工業(yè)出版社，20026Nie J，Linkens D.A. FCMAC: A fuzzified cerebellar model articulation controller with self-organizing capacity. Automatica，1994，30(4):6556647Geng Z.J，McCullough C.L. Missile control using fuzzy cerebellar model arithmetic computer neural networks. J. Guid. Control Dyn.，1997，20(3):5575658王源，胡壽松，齊俊偉. 自組織模糊CMAC神經(jīng)網(wǎng)絡及其非