四種無監(jiān)督學習定律主要講前兩種

四種無監(jiān)督學習定律主要講前兩種2023/5/261第一頁，共三十五頁，編輯于2023年，星期五1、信號的Heb學習通過求解Heb學習法則的公式

(132)可獲得如下積分方程

(133)2023/5/262第二頁，共三十五頁，編輯于2023年，星期五1、信號的Heb學習近期的影響與遺忘漸進相關編碼Heb相關解碼2023/5/263第三頁，共三十五頁，編輯于2023年，星期五近期的影響與遺忘Heb學習遵循的是指數(shù)加權平均的樣本模式。式中的遺忘項為。上述遺忘項產(chǎn)生了積分方程中先前突觸的指數(shù)系數(shù)。說明學習的同時也在遺忘，而且是呈指數(shù)衰減。在式（132）中的遺忘項產(chǎn)生了（133）中對先前知識的指數(shù)權。2023/5/264第四頁，共三十五頁，編輯于2023年，星期五近期的影響與遺忘實際上遺忘定律提供的最簡單的局部非監(jiān)督學習定律為：

（134）說明了兩個關鍵特征：

1僅依賴于局部信息，即現(xiàn)在的突觸強度。

2呈指數(shù)律達到平衡，可實時操作。2023/5/265第五頁，共三十五頁，編輯于2023年，星期五漸進相關編碼

突觸矩陣M可用雙極相關矩陣表示

(135)X和Y：雙極信號和。，=1，-1

兩種極端情況：

1、

2、實際中必須使用一個對角衰減記憶指數(shù)矩陣來補償固有的信息指數(shù)衰減。2023/5/266第六頁，共三十五頁，編輯于2023年，星期五漸進相關編碼

（142）

X和Y表示二極信號矢量矩陣。簡單說，用對角衰減矩陣W的目的就是對過去的聯(lián)想模式取一段學習時間，而給最近的m個聯(lián)想模式取更短一些的學習時間。達到補償指數(shù)衰減的目的。2023/5/267第七頁，共三十五頁，編輯于2023年，星期五Heb相關解碼

考慮m個二極矢量聯(lián)想對的二極相關編碼。表示n維二極空間中的一個點，表示p維二極空間中的一個點。

二極聯(lián)想對對應于二值矢量聯(lián)對。這里表示n維布爾空間中的一個點，代表p維空間中的一個點。2023/5/268第八頁，共三十五頁，編輯于2023年，星期五Heb相關解碼

可以看出，把－1換成0，就會變成。這樣，若加權矩陣W為單位陣I，二極聯(lián)想對的Heb編碼就對應于（142）的加權Heb編碼方案：（143）可用Heb突觸矩陣M對和神經(jīng)元信號進行雙向處理?？砂焉窠?jīng)元信號前向通過M，后向通過。這里僅考察前向的情況。二極矢量提供給神經(jīng)元系統(tǒng)。有若干，越接近，解碼精度越高。2023/5/269第九頁，共三十五頁，編輯于2023年，星期五Heb相關解碼

矢量通過濾波器M時，同步閾值產(chǎn)生輸出雙極矢量Y，Y與Yi接近到什么程度？我們可對信噪分解

（144）

（145）

（146）2023/5/2610第十頁，共三十五頁，編輯于2023年，星期五Heb相關解碼

其中，這里為信號矢量而為噪聲矢量。為校正系數(shù)，使每個盡可能從符號上接近于。把或其它靠近的矢量Y通過，校正性質(zhì)依然成立。用神經(jīng)元網(wǎng)絡從有代表性的訓練樣本中估計連續(xù)函數(shù)f時，有一個連續(xù)的假設。2023/5/2611第十一頁，共三十五頁，編輯于2023年，星期五Heb相關解碼

假定異聯(lián)想樣本從連續(xù)函數(shù)f上取樣，那么輸入的微小變化必然引起輸出的微小變化。

相同的比特數(shù)-不同的比特數(shù)

（154）

H表示漢明距離：2023/5/2612第十二頁，共三十五頁，編輯于2023年，星期五Heb相關解碼?若兩個二值矢量和靠近，相同的比特數(shù)大于不同的比特數(shù)，那么。極端情況下，。?時，，校正系數(shù)將度量上含糊不清的矢量丟棄掉，不參與求和。?與相差較遠，。極端情況下則，。2023/5/2613第十三頁，共三十五頁，編輯于2023年，星期五Heb相關解碼Heb編碼步驟：

1把二值矢量變?yōu)殡p極矢量；

2對鄰接的相關編碼的聯(lián)想求和

若時間聯(lián)想記憶（TAM）假設成立：則對同步的TAM輸入，把激勵同步閾值化為信號，就產(chǎn)生了：2023/5/2614第十四頁，共三十五頁，編輯于2023年，星期五Heb相關解碼Heb編碼步驟（例證）：一個三步極限環(huán)位矢量：

將位矢量轉換成二極矢量2023/5/2615第十五頁，共三十五頁，編輯于2023年，星期五Heb相關解碼

產(chǎn)生TAM矩陣2023/5/2616第十六頁，共三十五頁，編輯于2023年，星期五Heb相關解碼位矢量通過T產(chǎn)生：因此產(chǎn)生前向極限環(huán)

后向情況用位矢量乘以，可得到：2023/5/2617第十七頁，共三十五頁，編輯于2023年，星期五2、競爭學習確定性競爭學習定律：

（165）

展開：

這里用的是非線性遺忘項，而Heb學習定律用的是線性遺忘項。因此兩種學習方法的區(qū)別在于它們?nèi)绾芜z忘而不是如何學習。2023/5/2618第十八頁，共三十五頁，編輯于2023年，星期五2、競爭學習兩種情況下都有當?shù)趈個競爭神經(jīng)元獲勝時，突觸以指數(shù)率迅速編碼信號。與Heb突觸不同的是，競爭突觸當后突觸神經(jīng)元失敗時，并不遺忘，即。因此（165）就簡化為不改變的形式。而Heb學習則簡化為（134）的形式。Heb學習是分布式的，對每個樣本模式進行編碼，因此學習新模式后，會遺忘每個所學模式的部分。2023/5/2619第十九頁，共三十五頁，編輯于2023年，星期五2、競爭學習而競爭學習不是分布式的，只有贏得突觸矢量才對樣本模式或進行編碼。如果樣本模式或堅持足夠長的學習，競爭突觸就會成為“grandmother”突觸，突觸值很快等于模式或，其它突觸不會編碼這種模式。2023/5/2620第二十頁，共三十五頁，編輯于2023年，星期五2、競爭學習競爭作為指示器競爭作為相關檢測器漸進質(zhì)心估計競爭協(xié)方差估計2023/5/2621第二十一頁，共三十五頁，編輯于2023年，星期五競爭作為指示器質(zhì)心估計需要競爭信號近似為局部樣本模式的指示函數(shù)

（168）

這樣如果樣本x來自于區(qū)域，則第j個競爭元獲勝，其它神經(jīng)元失敗。（169）

2023/5/2622第二十二頁，共三十五頁，編輯于2023年，星期五競爭作為指示器上式是的神經(jīng)元激勵。使用的是隨機線性競爭學習和簡單的加模型。與是隨機行矢量，是競爭神經(jīng)元向第j個神經(jīng)元發(fā)出的阻性反饋。

（170）2023/5/2623第二十三頁，共三十五頁，編輯于2023年，星期五競爭作為指示器

其中是阻性反饋值，它等于突觸加權信號的和式。式（170）中為二值閾值化函數(shù)，因此該式可簡化為：當?shù)趈個神經(jīng)元獲勝時，如果第k個神經(jīng)元獲勝，則。競爭神經(jīng)元激勵自己（或鄰近區(qū)域），同時抑制其它（或較遠的區(qū)域）。2023/5/2624第二十四頁，共三十五頁，編輯于2023年，星期五競爭作為相關檢測器度量指示函數(shù)：

（171）于是競爭學習就簡化為信號相關檢測。那么如何將度量競爭學習簡化為相關檢測？設在每個時刻的突觸矢量具有相等的正的有限的范數(shù)值：2023/5/2625第二十五頁，共三十五頁，編輯于2023年，星期五競爭作為相關檢測器

（173）

從（4-171）知：第j個競爭神經(jīng)元獲勝當且僅當：

（174－177）2023/5/2626第二十六頁，共三十五頁，編輯于2023年，星期五競爭作為相關檢測器

利用等范數(shù)特性并進一步簡化可得：（179）可看出當且僅當輸入信號模式x與最大相關時，第j個競爭元才競爭獲勝。利用余弦定律：得到度量競爭學習的幾何解釋：第j個神經(jīng)元當且僅當輸入模式更平行于突觸矢量時才獲勝。2023/5/2627第二十七頁，共三十五頁，編輯于2023年，星期五漸進的質(zhì)心估計簡化的競爭學習定律：

（181）

突觸矢量傾向于等于區(qū)域的質(zhì)心，至少也是平均意義上的質(zhì)心。具體的細節(jié)見第六章。結論：平均突觸矢量可以指數(shù)規(guī)律迅速收斂到質(zhì)心。應用此特性可以把訓練樣本只通過一次或少數(shù)的幾次即可。

2023/5/2628第二十八頁，共三十五頁，編輯于2023年，星期五競爭協(xié)方差估計質(zhì)心估計提供未知概率密度函數(shù)的一階估計，而局部的協(xié)方差估計提供它的二階描述。競爭學習規(guī)律擴展到漸進估計條件協(xié)方差矩陣。

（189）

這里表示的質(zhì)心。每個確定類都有一個質(zhì)心。2023/5/2629第二十九頁，共三十五頁，編輯于2023年，星期五競爭協(xié)方差估計

誤差估計理論的一個重要定理：

（190）

其中為Borel測度隨機矢量函數(shù)。2023/5/2630第三十頁，共三十五頁，編輯于2023年，星期五競爭協(xié)方差估計

每一步迭代中估計未知的質(zhì)心作為當前突觸矢量。這樣就成為一個誤差條件協(xié)方差矩陣。對于獲勝突觸矢量有下列隨機微分方程算法（191-192）

初始化，