som人工神經(jīng)網(wǎng)絡(luò)的改進(jìn)

SOM神經(jīng)網(wǎng)絡(luò)的改進(jìn)吳敏

自組織神經(jīng)網(wǎng)絡(luò)(SOM)采用無(wú)導(dǎo)師學(xué)習(xí)方式，更類(lèi)似于人類(lèi)大腦中生物神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，其最重要的特點(diǎn)是通過(guò)自動(dòng)尋找樣本中的內(nèi)在規(guī)律和本質(zhì)屬性，自組織、自適應(yīng)地改變網(wǎng)絡(luò)參數(shù)與結(jié)構(gòu)。SOM神經(jīng)網(wǎng)絡(luò)基本思想是讓競(jìng)爭(zhēng)層神經(jīng)元通過(guò)競(jìng)爭(zhēng)與輸入模式進(jìn)行匹配，最后僅有一個(gè)神經(jīng)元成為競(jìng)爭(zhēng)的勝利者，然后調(diào)整與獲勝神經(jīng)元有關(guān)的各連接權(quán)使其朝著更有利于它競(jìng)爭(zhēng)的方向調(diào)整。傳統(tǒng)的SOM模型在使用時(shí)，競(jìng)爭(zhēng)層神經(jīng)元個(gè)數(shù)需要預(yù)先制定，權(quán)向量的初始值隨機(jī)產(chǎn)生，這種網(wǎng)絡(luò)結(jié)構(gòu)上的限制很大地影響了網(wǎng)絡(luò)的收斂速度和學(xué)習(xí)效果。

01基于微粒群算法的SOM網(wǎng)絡(luò)微粒群算法微粒群算法（ParticleSwarmOptimization，PSO）是由J.Kennedy與R.Eberthart于1995年共同提出的一種仿生優(yōu)化計(jì)算方法。最初的原型來(lái)自于對(duì)鳥(niǎo)群捕食行為的研究：一群鳥(niǎo)在隨機(jī)搜尋食物，如果這個(gè)區(qū)域里只有一塊食物，那么找到食物的最簡(jiǎn)單有效的策略就是搜尋目前離食物最近的鳥(niǎo)的周?chē)鷧^(qū)域。在PSO算法中，每個(gè)優(yōu)化問(wèn)題的潛在解都看做D維搜索空間上的一個(gè)點(diǎn)，稱(chēng)之為“粒子”。粒子在搜索空間中以一定的速度飛行，這個(gè)速度根據(jù)其本身及同伴的飛行經(jīng)驗(yàn)來(lái)動(dòng)態(tài)調(diào)整。每一個(gè)粒子都有一個(gè)被目標(biāo)函數(shù)決定的適應(yīng)值，通過(guò)適應(yīng)值判定位置的好壞。并記錄了自己到目前為止發(fā)現(xiàn)的最好位置和當(dāng)前位置，這即是粒子自己的飛行經(jīng)驗(yàn)。另外，每個(gè)粒子還知道到目前為止整個(gè)群組中所有粒子發(fā)現(xiàn)的最好位置，這即是其同伴的飛行經(jīng)驗(yàn)。每個(gè)粒子通過(guò)上述極值不斷更新自己，從而產(chǎn)生新一代群體。優(yōu)化搜索就是在由這樣一群隨機(jī)初始化形成的粒子組成的種群中，以迭代的方式進(jìn)行。PSO算法是基于個(gè)體的協(xié)作與競(jìng)爭(zhēng)來(lái)完成復(fù)雜搜索空間中最優(yōu)解的搜索。微粒群算法粒子xi按如下式子更新每一維速度和位置：d表示維數(shù)k為當(dāng)前迭代次數(shù)c1,c2是加速因子，為正常數(shù)r1，r2是互相獨(dú)立的0到1之間的隨機(jī)數(shù)微粒群算法第一部分為粒子先前的速度，說(shuō)明了粒子當(dāng)前的狀態(tài)；第二部分是認(rèn)知部分，表示粒子對(duì)自身的思考；第三部分是社會(huì)部分，表示粒子與鄰居粒子的比較和模仿，實(shí)現(xiàn)粒子間的信息共享與合作。c1,c2是加速因子，為正常數(shù)。是使粒子向最優(yōu)位置飛行的權(quán)重因子，較小會(huì)使粒子以較小速率向目標(biāo)區(qū)域游動(dòng)，較大則可能會(huì)使粒子很快飛越目標(biāo)，通常均取2；

vmax決定了粒子的搜索能力，若其值取的太大，則粒子可能很快就飛出最優(yōu)點(diǎn)，若取值太小，則粒子可能無(wú)法越過(guò)局部最優(yōu)點(diǎn)，陷入局部最優(yōu)。微粒群算法算法流程：（1）隨機(jī)初始化粒子種群：初始化種群中所有粒子的速度和位置；

（2）使用根據(jù)優(yōu)化問(wèn)題目標(biāo)定義的適應(yīng)度函數(shù)對(duì)所有粒子進(jìn)行評(píng)價(jià)；

（3）比較各粒子當(dāng)前的適應(yīng)值與其經(jīng)歷過(guò)的最好位置的適應(yīng)值

，如果當(dāng)前適應(yīng)值更優(yōu)，則將xi更新為粒子個(gè)體最優(yōu)位置pi；

（4）再將各粒子的個(gè)體最優(yōu)解與種群內(nèi)所有粒子發(fā)現(xiàn)的最好位置，若前者更好，則將pi作為全局最好位置pg

；

（5）按上述式子進(jìn)行粒子速度及位置的迭代；

（6）重復(fù)步驟2-5，直到滿(mǎn)足算法的迭代停止條件為止。將迭代停止條件設(shè)定為一個(gè)足夠好的適應(yīng)值或達(dá)到一個(gè)預(yù)設(shè)的最大迭代次數(shù)。微粒群算法優(yōu)點(diǎn)：基本PSO算法是一種基于迭代的優(yōu)化算法，依據(jù)粒子本身的搜索經(jīng)驗(yàn)和同伴的搜索經(jīng)驗(yàn)得到粒子下一個(gè)的位置。沒(méi)有交叉和變異運(yùn)算，依靠粒子速度完成搜索，并且在迭代進(jìn)化中只有最優(yōu)的粒子把信息傳遞給其它粒子，搜索速度快；算法中的粒子具有一個(gè)重要的特點(diǎn)：記憶性。粒子群體的歷史最好位置可以記憶并傳遞給其它粒子。另外，基本PSO算法需調(diào)整的參數(shù)較少，結(jié)構(gòu)簡(jiǎn)單，實(shí)數(shù)編碼，易于實(shí)現(xiàn)。缺點(diǎn)：在參數(shù)選擇上，若加速系數(shù)等參數(shù)選擇太大，粒子群可能錯(cuò)過(guò)最優(yōu)解，算法不易收斂；而在收斂的情況下，由于所有的粒子都向最優(yōu)解的方向飛去，粒子失去了多樣性，使得進(jìn)化后期收斂速度變慢。P-SOM算法SOM神經(jīng)網(wǎng)絡(luò)進(jìn)行網(wǎng)絡(luò)訓(xùn)練時(shí)，若將輸出層神經(jīng)元的連接權(quán)值設(shè)置的與輸入模式相差很大，那么此神經(jīng)元會(huì)一直不能在競(jìng)爭(zhēng)中獲勝，其權(quán)值無(wú)法得到任何學(xué)習(xí)訓(xùn)練的機(jī)會(huì)，成為“死神經(jīng)元”；或者有些神經(jīng)元獲勝次數(shù)過(guò)多，對(duì)其過(guò)度利用，這些都會(huì)影響網(wǎng)絡(luò)的學(xué)習(xí)效果。為改進(jìn)SOM神經(jīng)網(wǎng)絡(luò)的這一缺陷，提出了基于PSO算法的SOM神經(jīng)網(wǎng)絡(luò)P-SOM，通過(guò)PSO算法與SOM神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法對(duì)連接權(quán)值交替更新，使網(wǎng)絡(luò)輸出層神經(jīng)元連接權(quán)的初始值對(duì)SOM神經(jīng)網(wǎng)絡(luò)算法的影響減弱。首先，PSO算法部分，將SOM神經(jīng)網(wǎng)絡(luò)權(quán)向量看作一個(gè)個(gè)的粒子，將輸入模式與權(quán)向量之間的歐氏距離的疊加作為為適應(yīng)度函數(shù)，迭代過(guò)程是尋找權(quán)值使此適應(yīng)度函數(shù)達(dá)到最小。通過(guò)PSO算法的速度位移公式更新每個(gè)粒子而達(dá)到更新每個(gè)網(wǎng)絡(luò)權(quán)值的效果。達(dá)到一定的迭代次數(shù)之后，再利用SOM神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法訓(xùn)練網(wǎng)絡(luò)權(quán)值。P-SOM算法P-SOM算法的具體流程如下：

（1）用隨機(jī)數(shù)設(shè)定網(wǎng)絡(luò)權(quán)向量Wj

的初始值，并選定一組輸入樣本X1,X2,…Xn

（2）利用權(quán)向量Wj初始化微粒群算法的粒子；

（3）將所有輸入模式向量與權(quán)向量值之間的歐氏距離的疊加做為微粒群算法的適應(yīng)度函數(shù)f（Xi為輸入樣本）。通過(guò)微粒群算法迭代m次優(yōu)化各權(quán)值Wj

；

（4）將優(yōu)化后的各粒子的值重新設(shè)置為神經(jīng)網(wǎng)絡(luò)的連接權(quán)值，利用SOM神經(jīng)網(wǎng)絡(luò)的算法進(jìn)行訓(xùn)練，迭代n次；

（5）重復(fù)執(zhí)行（2）到（4），直到達(dá)到目標(biāo)迭代次數(shù)為止。

對(duì)于m和n值的選取，可根據(jù)具體問(wèn)題設(shè)置不同，當(dāng)n取0時(shí)，就還原為了PSO算法；相反，m取0時(shí)，則還原為Kohonen模型。此網(wǎng)絡(luò)權(quán)值的訓(xùn)練算法，通過(guò)PSO算法使得網(wǎng)絡(luò)的每個(gè)權(quán)值都能得到調(diào)整，使得每個(gè)權(quán)值都向著輸入模式靠近，有效避免了“死神經(jīng)元”現(xiàn)象的產(chǎn)生，提高了SOM神經(jīng)網(wǎng)絡(luò)的訓(xùn)練精度與速度。

02樹(shù)形動(dòng)態(tài)自組織映射模型傳統(tǒng)的SOM模型在使用時(shí)，競(jìng)爭(zhēng)層神經(jīng)元個(gè)數(shù)需要預(yù)先制定，這種網(wǎng)絡(luò)結(jié)構(gòu)上的限制很大地影響了網(wǎng)絡(luò)的收斂速度。很多學(xué)者開(kāi)始研究使SOM網(wǎng)絡(luò)結(jié)構(gòu)在訓(xùn)練過(guò)程中動(dòng)態(tài)決定，這里介紹一種更優(yōu)化的動(dòng)態(tài)模型，樹(shù)形動(dòng)態(tài)增長(zhǎng)自組織模型(TGSOM,Tree-structuredGrowingSelf-OrganizingMaps)，可按需要方便地在合適的位置生成新結(jié)點(diǎn)。TGSOM網(wǎng)絡(luò)結(jié)構(gòu)與SOM一樣由輸入層和競(jìng)爭(zhēng)層兩部分組成，其網(wǎng)絡(luò)結(jié)構(gòu)如圖

所示。左圖為網(wǎng)絡(luò)初始狀態(tài),此時(shí)競(jìng)爭(zhēng)層只包含一個(gè)根結(jié)點(diǎn)root;右圖為網(wǎng)絡(luò)生長(zhǎng)至8個(gè)結(jié)點(diǎn)時(shí)的狀態(tài),這8個(gè)結(jié)點(diǎn)以root為根形成二維樹(shù)型結(jié)構(gòu),且與輸入層結(jié)點(diǎn)x1,x2…實(shí)現(xiàn)全互連接。TGSOM定義1對(duì)于網(wǎng)絡(luò)的輸入向量V,稱(chēng)與V距離最近的競(jìng)爭(zhēng)層結(jié)點(diǎn)為V的最佳匹配結(jié)點(diǎn)，記為bmn(bestmatchingnode)，即滿(mǎn)足||V－Wbmn||≤||V－Wq||其中W為結(jié)點(diǎn)的權(quán)值向量，

q為網(wǎng)絡(luò)結(jié)點(diǎn)，||||為歐氏距離。定義2輸入向量V與其最佳匹配結(jié)點(diǎn)bmn的距離稱(chēng)為V與bmn的誤差，記為E。其中D為V的維數(shù)。定義3網(wǎng)絡(luò)中競(jìng)爭(zhēng)層結(jié)點(diǎn)p及其直接子結(jié)點(diǎn)為P的鄰域TGSOMTGSOM的處理過(guò)程如下:1初始化(a)將根結(jié)點(diǎn)的權(quán)值向量賦予的隨機(jī)的歸一化向量。(b)根據(jù)用戶(hù)需求定義生長(zhǎng)閾值GT。2訓(xùn)練從V中隨機(jī)選取訓(xùn)練樣本向量v并歸一化，訓(xùn)練樣本的輸入順序不同會(huì)導(dǎo)致所生成的TGSOM網(wǎng)絡(luò)結(jié)構(gòu)不同，但不會(huì)影響最終聚類(lèi)結(jié)果。(b)從當(dāng)前的TGSOM網(wǎng)絡(luò)結(jié)點(diǎn)中尋找v的最佳匹配結(jié)點(diǎn)bmn。(c)計(jì)算bmn與v的誤差E。

若E≤GT轉(zhuǎn)(d)做調(diào)整操作；

否則轉(zhuǎn)(e)做生長(zhǎng)操作。(d)調(diào)整bmn鄰域的權(quán)值。K為訓(xùn)練次數(shù)。TGSOM(e)生成bmn的一個(gè)新的子結(jié)點(diǎn)chlid，置Wchild=v(f)LR(k+l)=LR(k)xα。其中α為L(zhǎng)R的調(diào)節(jié)因子,O<α<1。(g)重復(fù)(a)一(f)直到所有樣本訓(xùn)練完畢。3重復(fù)

重復(fù)(2)進(jìn)入下一個(gè)訓(xùn)練周期，直到結(jié)點(diǎn)的生成達(dá)到飽和為止(即網(wǎng)絡(luò)中不再有新的結(jié)點(diǎn)生成)。

4平滑(a)減小LR以對(duì)網(wǎng)絡(luò)中結(jié)點(diǎn)權(quán)值進(jìn)行微調(diào)。(b)尋找輸入向量v的bmn并調(diào)整bmn鄰域的權(quán)值，方法同訓(xùn)練階段。此階段無(wú)新結(jié)點(diǎn)生成，目的是修正誤差，尤其適用