SOM+and+the+lateral+interaction.ppt

1、SOM與側(cè)向相互作用,北京師范大學 系統(tǒng)科學系 陳家偉 2010.7.23,提綱,人工神經(jīng)網(wǎng)絡介紹 SOM自組織映射 SOM與神經(jīng)系統(tǒng) 側(cè)向相互作用,人工神經(jīng)網(wǎng)絡介紹（ANN）,人工神經(jīng)網(wǎng)絡發(fā)展歷史,第一階段（興起） 1943年，W.S.Mcculloch和W.Pitts 提出了M-P神經(jīng)元模型； 1949年，D.O.Hebb提出突觸聯(lián)系可變的假設； 1957 年，Rosenblatt提出了著名的感知機模型； 1960年，B.Windrow和E.Hoff提出了自適應線性單元。 第二階段（低谷） 1969年，M.Minsky和S.Papert出版Perceptron一書； 1972年，T.Koh

2、onen 提出了自組織映射理論； 1976年，S.A.Grossberg提出自適應共振理論（ART）； 1982年，K. Fukushima提出了認知機模型。 第三階段（熱潮） 1982年，J.J.Hopfield提出Hopfield網(wǎng)絡； 1984年，Hinton等人提出了Boltzmann機網(wǎng)絡模型； 1986年，D.E.Rumelhart和J.LMcclelland提出了誤差反向傳播算法，成為至今為止影響很大的一種網(wǎng)絡學習方法。 第四階段（平穩(wěn)發(fā)展）,BNN與ANN,神經(jīng)元模型,權(quán)重變化,經(jīng)典的ANN模型,感知機模型 Perceptron,反向傳播算法 Backpropagation，B

3、P算法,Self-organizing maps，SOM,Hopfield 網(wǎng)絡,SOM自組織映射,模型結(jié)構(gòu),輸入層 n個神經(jīng)元 輸出層 m個神經(jīng)元排成一維或二維形式空間形式； 神經(jīng)元之間全連接。 權(quán)重矩陣 全連接，wij是m*n維矩陣 核心機制 競爭：Winner take all； 合作：lateral interaction,側(cè)向相互作用,訓練過程,連接權(quán)值初始化，一般隨機設定 對網(wǎng)絡輸入模式： 計算輸入 xk 與全部輸出結(jié)點權(quán)向量的距離： 具有最小距離的輸出結(jié)點獲勝 ： 調(diào)整獲勝節(jié)點一節(jié)獲勝節(jié)點鄰域內(nèi)的權(quán)重值： 輸入新的樣本，繼續(xù)訓練。,學習效率和鄰域大小,學習效率 隨時間減小。隨著訓

4、練過程的進行，權(quán)值的調(diào)整幅度越來越小。 鄰域大小 也隨著時間而收縮，當t足夠大時，只訓練獲勝結(jié)點本身。 訓練過程分為兩個階段： 排序階段：形成權(quán)值向量的拓撲排序； 收斂階段：提供輸入空間的準確統(tǒng)計量。,SOM的本質(zhì)保范映射,SOM實質(zhì)上是從任意維離散或連續(xù)空間V 到一維或二維離散空間A的一種保范映射。,SOM的性質(zhì)：輸入空間的近似,對于V中的向量v，首先根據(jù)特征映射 確定在輸出空間A中的最佳匹配單元 S，S 的權(quán)重向量Ws可視為S投影到輸入空間的坐標。通過不斷調(diào)整的權(quán)重矩陣，可以使得輸出空間A近似的表示輸入空間V。,SOM的性質(zhì)：拓撲排序,通過SOM算法計算的特征映射 是拓撲有序的，意味著網(wǎng)絡

5、中神經(jīng)元的空間位置對應于輸入模式的特定區(qū)域或特征。 演示 輸入和輸出都是一維的情況下，可以證明系統(tǒng)收斂到排序的狀態(tài)。,J. A. Flanagan, Self-organization in the one-dimensional SOM with a decreasing neighborhood. Neural Networks, 2001, 14(10):1405-1417.,SOM的性質(zhì)：密度匹配,特征映射反映輸入分布在統(tǒng)計上的變化：在輸入空間上X中樣本以高概率抽取的區(qū)域映射到輸出空間A中的更大區(qū)域，反之依然。 演示,SOM的性質(zhì)：特征選擇,在具有非線性分布的空間中給定數(shù)據(jù)，SOM能夠

6、為逼近固有分布選擇一組最好的特征。 演示,SOM的應用,數(shù)據(jù)壓縮 降維 聚類 向量量化 模式分類 ,SOM與神經(jīng)系統(tǒng),對初級視皮層朝向敏感性的模擬,視覺初級皮層朝向敏感性,英文單詞聚類,漢字的聚類,ModelAcquisition of lexicon,漢字獲得的SOM模型,軀體感覺皮層,感覺皮層,漢字認知的模式,行為實驗 初級學習者； 中級學習者； 母語。 知覺學習模型 Hebb學習法 側(cè)向相互作用,單個漢字學習,初始狀態(tài),訓練結(jié)果,左右結(jié)構(gòu)的漢字訓練,連接受損時的情形,側(cè)向抑制,什么是側(cè)向抑制,銳化,視覺：更容易從背景中分出對象，尤其在看物體的邊角和輪廓時會提高視敏度。 色覺：紅和綠，黃和藍的成對拮抗效應； 在聽覺系統(tǒng)中，耳蝸神經(jīng)纖維的側(cè)抑制可以加強對音高的辨認。 在皮膚上，側(cè)抑制有助于觸點的定位。,人眼對對