模糊聯(lián)想記憶課件

1、模糊聯(lián)想記憶 路文2006-11-27Outline引言模糊 Hebb FAMs添加FAM規(guī)則聯(lián)想輸出與清晰化FAM系統(tǒng)結(jié)構(gòu)西安電子科技大學(xué)影像處理系統(tǒng)實(shí)驗(yàn)室引言Hebb假設(shè) ：Donald O.Hebb 在The Organization of Behavior一書(shū)中提出：“當(dāng)細(xì)胞A的軸突到細(xì)胞B的距離近到足夠激勵(lì)它，且反復(fù)地或持續(xù)地刺激B，那么在這兩個(gè)細(xì)胞或一個(gè)細(xì)胞中將會(huì)發(fā)生某種增長(zhǎng)過(guò)程或代謝反應(yīng)，增加A對(duì)細(xì)胞B的刺激效果”。1987年美國(guó)Bart Kosko教授提出了一種稱(chēng)為模糊聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)（Fuzzy Associative MemoryFAM，這種聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)是將模糊控制的規(guī)

2、則隱含地分布在整個(gè)網(wǎng)絡(luò)中，在神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上通過(guò)學(xué)習(xí)訓(xùn)練產(chǎn)生模糊規(guī)則，一次模糊聯(lián)想記憶就是一次模糊邏輯推理。在模糊控制、知識(shí)推理和模式匹配等領(lǐng)域有著廣泛的應(yīng)用前景。西安電子科技大學(xué)影像處理系統(tǒng)實(shí)驗(yàn)室模糊 Hebb FAMs經(jīng)典的 Hebb 學(xué)習(xí)（作為一種非監(jiān)督訓(xùn)練）有：對(duì)于一對(duì)給定的雙極值行向量（X,Y），神經(jīng)網(wǎng)絡(luò)要把他們對(duì)應(yīng)起來(lái)用外積關(guān)系矩陣編碼西安電子科技大學(xué)影像處理系統(tǒng)實(shí)驗(yàn)室一種用最小關(guān)系編碼的模糊Hebb關(guān)系矩陣上述法則可叫做模糊外積，或最小關(guān)系編碼。模糊 Hebb FAMs可以看出:每列的元素是每個(gè)bj相對(duì)與A的最小值，每行是每個(gè)ai相對(duì)與B的最小值。如果A中的某個(gè)元素比B中的所有元

3、素都大，則M矩陣中的該行就是B行向量。如果B中的某個(gè)元素比A中的所有元素都大，則M矩陣中的該列就是整個(gè)A向量的轉(zhuǎn)置。這就是后面要提出的向量的高度H(A)。西安電子科技大學(xué)影像處理系統(tǒng)實(shí)驗(yàn)室模糊 Hebb FAMs ，對(duì)任意的 ，對(duì)任意的 ，當(dāng)且僅當(dāng) ，當(dāng)且僅當(dāng)如果 ，則有 用最小關(guān)系編碼構(gòu)造的模糊Hebb FAM進(jìn)行聯(lián)想記憶時(shí)其精度依賴(lài)于H(A)，H(B)，它們的關(guān)系在以下定理中體現(xiàn)： A是一個(gè)模糊集，令把H(A)叫做模糊集A的高度。A是一個(gè)模糊集，若H(A)=1，則稱(chēng)A是正則的。西安電子科技大學(xué)影像處理系統(tǒng)實(shí)驗(yàn)室模糊 Hebb FAMs相關(guān)積編碼與相關(guān)最小編碼的差別在于不取最小，而是一般的向

4、量相乘運(yùn)算。西安電子科技大學(xué)影像處理系統(tǒng)實(shí)驗(yàn)室模糊 Hebb FAMs 由上計(jì)算可以看出，對(duì)于構(gòu)造的M，對(duì)于一個(gè)輸入向量 則：這個(gè)FAM系統(tǒng)最大強(qiáng)度的響應(yīng)輸出B，若這個(gè)FAM系統(tǒng)響應(yīng)輸出B的程度為0.3。（0.24,0.12,0,12）西安電子科技大學(xué)影像處理系統(tǒng)實(shí)驗(yàn)室模糊 Hebb FAMs如果H(A)=1,則A,B是非空的隸屬度向量：若對(duì)任意的對(duì)任意的乘積關(guān)系雙向FAM定理如果H(B)=1,則西安電子科技大學(xué)影像處理系統(tǒng)實(shí)驗(yàn)室添加FAM規(guī)則神經(jīng)網(wǎng)絡(luò)方法是將他們相加或取最大值。但這種方案對(duì)模糊Hebb編碼是失敗的。假定我們有m個(gè)FAM規(guī)則或聯(lián)想(A1,B1),.,(Am,Bm),用模糊Heb

5、b編碼，可得到m個(gè)FAM矩陣M1,.,Mm。當(dāng)m增加時(shí)，該式逐漸變?yōu)榈仁?，因?yàn)樽畲箜?xiàng)都趨向于1，這就是說(shuō)M將變成一個(gè)元素全部為1的矩陣，就失去了聯(lián)想信息(Ak,Bk).西安電子科技大學(xué)影像處理系統(tǒng)實(shí)驗(yàn)室添加FAM規(guī)則 用模糊集的方法是將聯(lián)想輸出的向量作相加性處理，而不是將Mk作相加性處理，這里 這是通過(guò)對(duì)規(guī)則庫(kù)中每個(gè)規(guī)則并行處理而得到的，所以這種方法要求分開(kāi)儲(chǔ)存m個(gè)聯(lián)想(Ak,Bk)，或者說(shuō)用每一個(gè)單獨(dú)的前饋神經(jīng)網(wǎng)絡(luò)存儲(chǔ)一個(gè)聯(lián)想。這雖然消耗內(nèi)存空間，但不會(huì)發(fā)生規(guī)則間的“撞車(chē)。用戶(hù)可直接決定哪個(gè)規(guī)則對(duì)結(jié)論輸出起多大作用。分開(kāi)存儲(chǔ)也提供了知識(shí)庫(kù)的可調(diào)性，用戶(hù)可增加或消除FAM結(jié)構(gòu)的知識(shí)而不影響已存

6、儲(chǔ)的知識(shí)。 這種分開(kāi)存儲(chǔ)使一個(gè)模糊向量A并行激活所有FAM規(guī)則(以不同的程度)，若A只是部分地滿(mǎn)足前件Ak，則結(jié)論Bk只是部分程度地被激活。西安電子科技大學(xué)影像處理系統(tǒng)實(shí)驗(yàn)室聯(lián)想輸出與清晰化聯(lián)想輸出向量B是對(duì)每條規(guī)則所產(chǎn)生的向量的加權(quán)和這里的權(quán)重 非負(fù)表示第K個(gè)FAM規(guī)則(Ak，Bk)的可信度或力度。 可通過(guò)自適應(yīng)調(diào)節(jié)而產(chǎn)生。在實(shí)際當(dāng)中，一般取 = 1 從原理上說(shuō)，要求最后的聯(lián)想輸出是經(jīng)過(guò)歸一化處理的，這樣可保證B的每個(gè)元素在單位區(qū)間內(nèi)取值。西安電子科技大學(xué)影像處理系統(tǒng)實(shí)驗(yàn)室聯(lián)想輸出與清晰化兩種清晰化方法（1）最大隸屬清晰化方法 （2）重心清晰化方法 這是最簡(jiǎn)單的清晰化方法它是選擇隸屬度最大的那點(diǎn)為輸出y。如果這個(gè)具有最大隸屬度的點(diǎn)不唯一則取其平均值(中心值)。最大隸屬清晰化方法有一個(gè)缺點(diǎn)，那就是它忽略了不少信息、因?yàn)樗鲆暳四切╇`屬度不是最大的那些點(diǎn)。 模糊重心清晰化方法是模糊推理中最常用的方法。重心總是唯一且它用到了輸出B分布量的所有信息。西安電子科技大學(xué)影像處理系