基于GA和神經(jīng)網(wǎng)絡(luò)的非線性特征變換

1、    基于GA和神經(jīng)網(wǎng)絡(luò)的非線性特征變換        齊春亮, 馬義德 時(shí)間:2008年09月01日     字 體: 大 中 小        關(guān)鍵詞:        摘要：關(guān)鍵詞： GA 神經(jīng)網(wǎng)絡(luò) 特征選擇 特征變換在機(jī)器學(xué)習(xí)和KDD領(lǐng)域,事物的屬性和屬性取值反映了事物的

2、本質(zhì)和度量，為了描述一致，統(tǒng)稱為模式特征。在傳統(tǒng)文獻(xiàn)中，模式特征一般分為物理特征、結(jié)構(gòu)特征和數(shù)學(xué)特征12n=A1,A2,，An,直接提取即從Un中挑選出有利于分類的特征子集： 其中，dn,UdUn，特征空間的維數(shù)得到了壓縮。(2)間接提取(特征變換)：通過映射或變換的方法，把高維空間Un的高維特征轉(zhuǎn)化為低維空間Ud的低維特征： Te:Und 其中，dn，在特征空間變換過程中，特征維數(shù)得到了壓縮，但是壓縮的前提是保證樣本的分類性質(zhì)保持不變。Te可以采用線性或者非線性變換模型。特征選擇的主要算法包括枚舉法、分支定界搜索法、逐個(gè)特征比較法等啟發(fā)式方法345。另外，啟發(fā)式算法的求解結(jié)果對(duì)噪音比較敏感，

3、影響了特征子集的魯棒性和適應(yīng)性。在概念學(xué)習(xí)或者更為廣泛的模式識(shí)別領(lǐng)域，特征提取是一個(gè)非常復(fù)雜的問題，所表示的模型求解基本上是NP類問題67，一般需要綜合考慮分類錯(cuò)誤、特征簡(jiǎn)單性和計(jì)算時(shí)間資源等因素。傳統(tǒng)的特征提取方法通常采用線性變換,使得判別準(zhǔn)則函數(shù)最大或者最小(熵函數(shù)和類內(nèi)類間距離函數(shù)是經(jīng)常采用的兩個(gè)準(zhǔn)則函數(shù),1),即Y=A*X其中,A*為d×n維的變換矩陣,將n維特征的原始樣本空間X變換為d維特征的樣本空間。這就是傳統(tǒng)特征提取的統(tǒng)計(jì)與代數(shù)方法。在這兩種方法中存在著強(qiáng)烈的統(tǒng)計(jì)假設(shè)和矩陣非奇異假設(shè)，而在實(shí)際環(huán)境中，這些要求很難得到滿足。對(duì)于大規(guī)模的實(shí)際問題，通常采用專家干預(yù)的方法進(jìn)行

4、調(diào)整，使得計(jì)算過程變得非常繁瑣，導(dǎo)致這兩類方法的實(shí)用性受到很大的限制。尤其是面對(duì)非線性可分的樣本空間時(shí)，傳統(tǒng)的統(tǒng)計(jì)與代數(shù)方法顯得更加無能為力，難以實(shí)現(xiàn)分類模式的獲取。因此許多專家提出了各種各樣的非線性特征提取方法，例如基于K-L展開式的KLT方法1、神經(jīng)網(wǎng)絡(luò)方法8、小波分析9等。KLT是最小均方誤差準(zhǔn)則下的最佳K-L變換方法，不受樣本分布性質(zhì)的限制，但是不存在快速算法，計(jì)算量是維數(shù)的指數(shù)函數(shù)，當(dāng)維數(shù)比較高時(shí)，計(jì)算量難以承受。在實(shí)際中經(jīng)常采用傅立葉變換(DFT)或者離散沃爾什變換(DWT)等代替。這些變換均存在相應(yīng)的快速算法，但僅能得到次優(yōu)的結(jié)果。小波分析與KLT方法具有相同的特點(diǎn)，也存在類似的

5、問題。模式分類是神經(jīng)網(wǎng)絡(luò)的一個(gè)重要應(yīng)用領(lǐng)域，在輸入存在或數(shù)據(jù)不完整的情況下，神經(jīng)網(wǎng)絡(luò)也具有良好的分類能力10121 基于GA和神經(jīng)網(wǎng)絡(luò)的非線性特征變換算法1.1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置根據(jù)神經(jīng)網(wǎng)絡(luò)理論，三層感知器可以形成任意復(fù)雜的決策區(qū)域8，11,對(duì)于特征提取來講，將第三層作為特征輸出層，并要求輸出二進(jìn)制類型數(shù)據(jù)作為特征數(shù)據(jù)。網(wǎng)絡(luò)模型為：隱層節(jié)點(diǎn)的激勵(lì)函數(shù)選擇連續(xù)型Sigmoid函數(shù)f(x)=，輸出層節(jié)點(diǎn)的激勵(lì)函數(shù)選擇f(yk)=sgn()，(k=1,2,d),輸出-1,1,向量轉(zhuǎn)化為0,1作為新的特征向量。1.2 GA方案安排1:a1a2a(2n+1)；輸入節(jié)點(diǎn)到隱層節(jié)點(diǎn)的連接權(quán)重編碼s2:b11

6、b12b1nb21b22b2nb(2n+1)|b(2n+1)2b(2n+1)n；隱層節(jié)點(diǎn)到輸出節(jié)點(diǎn)的連接權(quán)重編碼s3:c11c12c1(2n+1)c21c22c2(2n+1)cd1cd2cd(2n+1)；隱層節(jié)點(diǎn)激勵(lì)函數(shù)的閾值編碼s4:d1d2d(2n+1)；輸出函數(shù)的閾值編碼s5:e1e2ed。將上述五個(gè)部分連接在一起就構(gòu)成了整個(gè)模型的編碼。其中連接權(quán)重和閾值編碼限定范圍是1，1。(2)適應(yīng)值函數(shù)遺傳算法在搜索進(jìn)化過程中一般不需要其他的外部信息，僅用適應(yīng)度來評(píng)價(jià)個(gè)體的優(yōu)劣，并以此作為遺傳操作的依據(jù)。設(shè)計(jì)一個(gè)好的適應(yīng)度函數(shù)對(duì)于遺傳算法的執(zhí)行效率和結(jié)果有著至關(guān)重要的影響，本文以熵函數(shù)(見式(1)

7、為基礎(chǔ)，并考慮網(wǎng)絡(luò)結(jié)構(gòu)的簡(jiǎn)單性，構(gòu)造出本算法的適應(yīng)值函數(shù)(式(2)。?其中、為熵函數(shù)值與神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)之間的平衡系數(shù)，第二項(xiàng)要求網(wǎng)絡(luò)中隱層節(jié)點(diǎn)數(shù)越少越好，第三項(xiàng)要求網(wǎng)絡(luò)中連接數(shù)越少越好，以提高網(wǎng)絡(luò)的穩(wěn)定性。(3) 選擇采用適應(yīng)度比例方法，并保留每一代的最佳個(gè)體。(4) 交叉交叉互換能產(chǎn)生不同于母體的后代，交叉的概率越高，群體中新結(jié)構(gòu)引入越快；如果交叉概率太低，收斂速度可能降低，導(dǎo)致搜索阻滯。在此，采用雙點(diǎn)交叉，交叉概率設(shè)置為0.6。(5) 變異變異操作是保持群體多樣性的有效手段。變異概率太小，可能是某些基因位過早丟失的信息無法恢復(fù)；變異概率過高，遺傳搜索將變成隨機(jī)搜索。在此，采用基本變異算子，變

8、異概率設(shè)置為0.001。(6) 種群規(guī)模若種群規(guī)模過大，則適應(yīng)度評(píng)估次數(shù)增加，計(jì)算量增大；種群規(guī)模過小，可能會(huì)引起未成熟收斂現(xiàn)象。因此種群規(guī)模的設(shè)置應(yīng)該合理。在此，種群規(guī)模取為6000，最大繁殖代數(shù)(進(jìn)化代數(shù))設(shè)置為500。(7) 終止準(zhǔn)則任何算法設(shè)計(jì)的最后一步都要分析其收斂條件。在本文中算法執(zhí)行滿足下列條件之一時(shí)，算法終止：·最大的適應(yīng)度值在連續(xù)四代之內(nèi)變化小于0.001,算法終止。·上述條件不滿足時(shí)，算法執(zhí)行到最大進(jìn)化代數(shù)時(shí)自動(dòng)終止。保證算法收斂的策略：采用杰出人才保持模型，即用每一代內(nèi)的最優(yōu)個(gè)體替代下一代內(nèi)的最差個(gè)體，從而使得算法完全收斂。1.3 算法描述網(wǎng)絡(luò)參數(shù)設(shè)置

9、：輸入節(jié)點(diǎn)數(shù)n1=22,隱層節(jié)點(diǎn)數(shù)n2=45,輸出節(jié)點(diǎn)數(shù)d=13,輸入節(jié)點(diǎn)到隱層節(jié)點(diǎn)的連接數(shù)900,隱層節(jié)點(diǎn)到輸出節(jié)點(diǎn)的連接數(shù)580。GA參數(shù)設(shè)置：位串長(zhǎng)度=12705,群體規(guī)模=6000，交叉概率pc=0.6,變異概率pm=0.001,進(jìn)化代數(shù)為500，每個(gè)實(shí)數(shù)參數(shù)的二進(jìn)制編碼長(zhǎng)度設(shè)為8。算法主要流程：(1) 初始化：設(shè)置群體規(guī)模N=6000,進(jìn)化代數(shù)G=500，交叉概率Pc=0.6和變異概率Pm=0.001，染色體長(zhǎng)度chromlength=12705，隨機(jī)產(chǎn)生初始種群;(2) 令G=1,進(jìn)入循環(huán);(3) 對(duì)30個(gè)個(gè)體進(jìn)行解碼，代入神經(jīng)網(wǎng)絡(luò)模型，根據(jù)適應(yīng)值函數(shù)(見式(2)計(jì)算個(gè)體的適應(yīng)度;

10、(4) 進(jìn)行遺傳操作：精英選擇、雙點(diǎn)交叉、基本變異；(5) G=G+1,判斷是否滿足終止準(zhǔn)則；(6) 不滿足，轉(zhuǎn)到第(3)步；滿足，進(jìn)化(循環(huán))終止,輸出最佳個(gè)體。2 應(yīng)用實(shí)例將上述方法應(yīng)用到一水輪發(fā)電機(jī)的仿真機(jī)上進(jìn)行實(shí)踐。對(duì)原始數(shù)據(jù)表中的屬性進(jìn)行特征抽取和變換,原始數(shù)據(jù)表(含12個(gè)屬性和3000行對(duì)應(yīng)的屬性值)數(shù)據(jù)量很大, 由于篇幅有限不予列出13, 屬性及其值域的表格如表1所示。采用文中提出的方法提取的特征結(jié)果形式如表2所示，其中提取的特征屬性為溫度t、電流和電壓，對(duì)應(yīng)的屬性值為概括后的特征值(假設(shè)表示發(fā)電機(jī)的線圈溫度，i表示其定子電流，u表示定子電壓，s表示其工作狀態(tài))，t、i、u對(duì)應(yīng)的1表示正常，0表示異常；對(duì)應(yīng)的1表示正常狀態(tài)；2可表示異常狀態(tài)。為了測(cè)試本文算法，將其與傳統(tǒng)的貝葉斯方法進(jìn)行比較，如表3、表4所示。從上表實(shí)驗(yàn)數(shù)據(jù)可以看出，經(jīng)過GA與神經(jīng)網(wǎng)絡(luò)的結(jié)合，二者的優(yōu)越性都得以發(fā)揮，學(xué)習(xí)誤差和預(yù)測(cè)誤差都有所下降，且運(yùn)行時(shí)間減少；分類精度要高于傳統(tǒng)的貝葉斯統(tǒng)計(jì)方法20%左右,且學(xué)習(xí)誤差和預(yù)測(cè)誤差降低了將近50%。通過對(duì)比,可以看出GA-NN相結(jié)合進(jìn)行的特征變換達(dá)到一般特征提取的精度要求，在相同的評(píng)價(jià)體系下，本文提出的算法是有效且可信的。神經(jīng)網(wǎng)絡(luò)用于特征提取是一個(gè)規(guī)模非常龐大的優(yōu)化問題，系統(tǒng)結(jié)構(gòu)中含有大量的冗余節(jié)點(diǎn)和連接，獲得可行解的速