人工智能與神經(jīng)網(wǎng)絡-自組織神經(jīng)網(wǎng)絡(1)課件

自組織神經(jīng)網(wǎng)絡

提要：

1.自組織競爭ANN的簡介

2.競爭型自組織網(wǎng)絡

3.自適應共振理論神經(jīng)網(wǎng)絡（ART）

4.自組織特征映射網(wǎng)絡（SOFM）

5.對向傳播網(wǎng)絡（CP）自組織神經(jīng)網(wǎng)絡的典型結構預備知識競爭層輸入層預備知識自組織學習(self-organizedlearning)：通過自動尋找樣本中的內在規(guī)律和本質屬性，自組織、自適應地改變網(wǎng)絡參數(shù)與結構。自組織網(wǎng)絡的自組織功能是通過競爭學習（competitivelearning）實現(xiàn)的。

預備知識基本概念分類——分類是在類別知識等導師信號的指導下，將待識別的輸入模式分配到各自的模式類中去。聚類——無導師指導的分類稱為聚類，聚類的目的是將相似的模式樣本劃歸一類，而將不相似的分離開。

相似性測量＿歐式距離法預備知識

相似性測量＿余弦法預備知識預備知識競爭學習規(guī)則——Winner-Take-All

網(wǎng)絡的輸出神經(jīng)元之間相互競爭以求被激活，結果在每一時刻只有一個輸出神經(jīng)元被激活。這個被激活的神經(jīng)元稱為競爭獲勝神經(jīng)元，而其它神經(jīng)元的狀態(tài)被抑制，故稱為WinnerTakeAll。預備知識向量歸一化向量歸一化之前向量歸一化之后預備知識尋找獲勝神經(jīng)元：當網(wǎng)絡得到一個輸入模式向量時，競爭層的所有神經(jīng)元對應的權向量均與其進行相似性比較，并將最相似的權向量判為競爭獲勝神經(jīng)元。欲使兩單位向量最相似，須使其點積最大。即：

從上式可以看出，欲使兩單位向量的歐式距離最小，須使兩向量的點積最大。即：預備知識5.1自組織競爭ANN的簡介自組織的生物學基礎神經(jīng)細胞的興奮、抑制和競爭，從而從外界大量反復的刺激中提取出事物的本質特征興奮：神經(jīng)元的幅值增高，不同神經(jīng)元興奮的程度不同，程度高的最后獲勝。抑制：該神經(jīng)元興奮，對其它所有元均抑制。側抑制：該神經(jīng)元興奮，對其臨近的元抑制，對遠離它的神經(jīng)元不抑制。5.1自組織競爭ANN的簡介

在人類的認識過程中，除了從教師那里得到知識外，還有一種不需要通過教師自動的向環(huán)境學習的能力，這種僅依靠環(huán)境刺激的“無師自通”的功能有稱為自組織學習方法。在網(wǎng)絡結構上，它一般是由輸入層和競爭層構成的兩層網(wǎng)絡。兩層之間各神經(jīng)元實現(xiàn)雙向連接，而且網(wǎng)絡沒有隱含層。有的競爭層各神經(jīng)元之間還存在橫向連接。

在學習算法上，它模擬生物神經(jīng)系統(tǒng)依靠神經(jīng)元之間的興奮、協(xié)調與抑制、競爭的作用來進行信息處理的動力學原理指導網(wǎng)絡的學習與工作，而不像大多數(shù)神經(jīng)網(wǎng)絡那樣是以網(wǎng)絡的誤差或能量函數(shù)作為算法的準則。以競爭型神經(jīng)網(wǎng)絡為基礎可以構成一些具有自組織能力的網(wǎng)絡。如:自適應共振理論（AdaptiveResonanceTheory）網(wǎng)絡,自組織特征映射（Self-OrganizingFeatureMap）網(wǎng)絡，對向傳播（CounterPropagation）網(wǎng)絡。5.1自組織競爭ANN的簡介5.1自組織競爭ANN的簡介自組織的概念

前面討論的網(wǎng)絡均為有指導學習離散Hop網(wǎng)絡：Hebb規(guī)則——無指導學習，但它不是一種主動性學習。僅僅依靠外界環(huán)境的刺激自動向環(huán)境學習的方法，就稱為自組織學習方法。5.2競爭型自組織網(wǎng)絡

競爭學習是指同一層神經(jīng)元層次上的各個神經(jīng)元相互進行競爭，競爭勝利的神經(jīng)元修改與其相連的連接權值。這種機制可以用來進行模式聚類。競爭學習是一種無監(jiān)督的學習。在無監(jiān)督學習中，只向網(wǎng)絡提供一些學習樣本，而沒有期望的輸出。網(wǎng)絡根據(jù)輸入樣本進行自組織，并將其劃分到相應的模式類別中。由于不需要提供理想輸出，因而推廣了有監(jiān)督模式分類方法。競爭勝利的神經(jīng)元就代表著當前輸入樣本的分類模式。5.2競爭型自組織網(wǎng)絡

競爭型神經(jīng)網(wǎng)絡有多種形式和算法，常用的一種基本結構如下圖5.1所示。其中輸入層有n個神經(jīng)元，輸出層有m個神經(jīng)元。網(wǎng)絡的連接權W。圖5.1競爭學習網(wǎng)絡5.2競爭型自組織網(wǎng)絡一：基本競爭型網(wǎng)絡（興奮競爭）1：結構：從輸入i→j輸出樣本模式：P對樣本矢量

滿足下面的條件：（5-1）輸入矢量和輸出元的狀態(tài)，都為{0，1}。5.2競爭型自組織網(wǎng)絡2：學習算法（1）初始化：按（5-1）式設置為[0,1]內的隨機值（2）從P個樣本矢量中任選一加到輸入層（3）計算競爭層各元的凈輸入：（5-2）（4）采用WTA(WinnerTakesAll)機制，選s最大值的元作為獲勝的神經(jīng)元，將其輸出置1，其余全置0，即：

（5）對與獲勝元

j相連的各連接權按下列調整，而其它所有連接權值不變。（5-3）學習速率，取0.01-0.03，

為輸入層上輸出值為1的神經(jīng)元的個數(shù)。（6）另選一個樣本矢量，返回（3），直到P個樣本全部提供完為止。（7）返回步驟（2）直到時，整個學習結束。5.2競爭型自組織網(wǎng)絡

3：分析：的調整式①②

③5.2競爭型自組織網(wǎng)絡5.2競爭型自組織網(wǎng)絡

競爭網(wǎng)絡在經(jīng)過競爭而求得獲勝節(jié)點后，則對與獲勝節(jié)點相連的權值進行調整，修改后的神經(jīng)元權值將更接近于當前的輸入。經(jīng)過這樣的調整后，權值與其輸入矢量之間的差別越來越小，從而使訓練后的競爭網(wǎng)絡的權值能夠代表對應輸入矢量的特征，當下一次網(wǎng)絡輸入類似的矢量時，這一神經(jīng)元就極有可能在競爭中獲勝；若輸入的矢量與該神經(jīng)元的權值矢量相差很大時，則該神經(jīng)元極有可能落敗。隨著訓練的進行，網(wǎng)絡中的每一個神經(jīng)元將代表一類近似的矢量，當接受某類矢量輸入時，對應類別的神經(jīng)元將在競爭中獲勝，從而網(wǎng)絡就具有了分類的功能。5.2競爭型自組織網(wǎng)絡BP網(wǎng)絡分類學習必須預先知道將給定的模式分成幾類，而競爭網(wǎng)絡能將給定模式分成幾類預先并不知道，只有在學習以后才能確定。競爭網(wǎng)絡的輸入層節(jié)點數(shù)是由已知輸入矢量決定的，但競爭層的神經(jīng)元數(shù)是由設計者確定的，一般情況下，可以根據(jù)輸入矢量的維數(shù)及其估計，再適當?shù)卦黾有?shù)目來確定。競爭網(wǎng)絡比較適合用于具有大批相似數(shù)組的分類問題。

4：運行首先將測試矢量加到輸入層，按照步驟（3）（4）可確定出獲勝的神經(jīng)元，該元的輸出就代表了最終的分類結果。5.2競爭型自組織網(wǎng)絡例：設有下面4個輸入矢量：={101}={100}={010}={011}，將其分成兩類（利用競爭網(wǎng)絡）。分析：4個矢量的相似程度按漢明距離

可知：競爭型網(wǎng)絡按漢明（Hamming）距離最小來分類漢明（Hamming）距離：兩個二值向量的對應分量不相同的數(shù)目。二.抑制競爭型神經(jīng)網(wǎng)絡除了靠競爭手段使神經(jīng)元獲勝的方法外，還有靠抑制手段使神經(jīng)元獲勝的方法。這種網(wǎng)絡學習算法的基本思想是：當競爭層某個神經(jīng)元的輸入值大于其它所有神經(jīng)元的輸入值時，依靠其輸出所具有的優(yōu)勢（即其輸出值較其他的神經(jīng)元大）通過抑制作用將其它神經(jīng)元的輸出之逐漸減小。這樣，競爭層各神經(jīng)元的輸出就形成連續(xù)變化的模擬量。5.2競爭型自組織網(wǎng)絡1.網(wǎng)絡結構抑制競爭型神經(jīng)網(wǎng)絡結構圖如圖5.2所示，在基于競爭型網(wǎng)絡的基礎上，增加了競爭層各元間的橫向連接。 特點：競爭層之間存在起抑制作用的橫向連接（非連接加權，無具體數(shù)值，僅僅表示一種抑制）。5.2競爭型自組織網(wǎng)絡圖5.2抑制競爭學習網(wǎng)絡5.2競爭型自組織網(wǎng)絡2：學習算法（1）（2）（3）與基本競爭型相同（4）以競爭層各元的凈輸入作為其輸出的初始值（j=1，2，…，m）（5）計算競爭層各元下一時刻的輸出值

（5-7）

5.2競爭型自組織網(wǎng)絡（6）返回（5），計算到第j神經(jīng)元的輸出值遠大于其他的(m-1)個