支持向量機結(jié)合神經(jīng)網(wǎng)絡在數(shù)據(jù)分類中的應用

支持向量機結(jié)合神經(jīng)網(wǎng)絡在數(shù)據(jù)分類中的應用

Summary：在對非線性的地球化學數(shù)據(jù)進行處理的過程中，分類算法的選擇至關(guān)重要。神經(jīng)網(wǎng)絡算法具有準確度高、泛化能力強的特點，支持向量機具備可以解決過擬合、避免趨于極小能優(yōu)勢。當兩者進行結(jié)合用于處理地球化學數(shù)據(jù)分類問題時，具備了兩種算法的優(yōu)勢，分類結(jié)果良好。Keys：神經(jīng)網(wǎng)絡、支持向量機、地球化學數(shù)據(jù)0引言地球化學數(shù)據(jù)具備非線性的特點，應用研究區(qū)水系沉積物等樣品數(shù)據(jù)用于成礦預測成為了地球科學研究者的關(guān)注熱點。隨著計算機技術(shù)的發(fā)展，神經(jīng)網(wǎng)絡、支持向量機等算法模型越來越多的應用于解決實際問題當中，尤其是分類問題。1支持向量機支持向量機分類的本質(zhì)是將求解問題劃分為一個二次規(guī)劃的優(yōu)化問題，繼而通過解決二次規(guī)劃問題來解決原問題。對于二次規(guī)劃問題，研究者研究出了各種改進算法，并且算法表現(xiàn)優(yōu)異，尤其是在某些特殊問題的解決中。支持向量機的理論最初來自于對數(shù)據(jù)分類問題的處理。對于線性可分數(shù)據(jù)的二值分類。如果采用神經(jīng)網(wǎng)絡來實現(xiàn)，其機理可以簡單描述為：系統(tǒng)隨機產(chǎn)生一個超平面，并移動它，直到訓練集合中屬于不同類別的點正好位于該超平面的不同側(cè)面，就完成了對網(wǎng)絡的設計要求。但是這種機理決定了不能保證最終所獲得的分割平面位于兩個類別的中心，這對于分類問題的容錯性是不利的。保證最終所獲得的分割平面位于兩個類別的中心對于分類問題的實際應用是很重要的。支持向量機方法很巧妙的解決了這一問題。該方法的機理可以簡單描述為：尋找一個滿足分類要求的最優(yōu)分類超平面，使得該超平面在保證分類精度的同時，能夠使超平面兩側(cè)的空白區(qū)域最大化；從理論上來說，支持向量機能夠?qū)崿F(xiàn)對線性可分數(shù)據(jù)的最優(yōu)分類。為了進一步解決非線性問題，Vapnik等人通過引入核映射方法轉(zhuǎn)化為高維空間的線性可分問題來解決。2RBF神經(jīng)網(wǎng)絡RBF是RadicalBasisFunction的簡稱，即徑向基函數(shù)。什么是徑向基函數(shù)？徑向基函數(shù)就是以到固定點的距離為自變量的一類函數(shù).徑向基函數(shù)的函數(shù)形式如，其中自變量為，代表空間中某一點x到某一中心點c之間的歐式距離。在三維歐式空間中，點（x,y,z）到固定點c()的距離可簡單表示為=。1985年，Powell提出了多變量插值的RBF法，故RBF應用于神經(jīng)網(wǎng)絡的設計其思想根源在于解決插值問題。將徑向基函數(shù)選擇高斯函數(shù)為例子，其函數(shù)表達式為。權(quán)值與基函數(shù)的乘數(shù),構(gòu)成了大小各異的徑向基函數(shù)值，最后，可擬合出趨于完美的函數(shù)曲線。RBF神經(jīng)網(wǎng)絡的基本思想是：用徑向基函數(shù)作為隱單元的“基”，構(gòu)成隱含層空間，隱含層對輸入矢量進行變換，將低維的模式輸入數(shù)據(jù)變換到高維空間內(nèi)，使得在低維空間內(nèi)的線性不可分問題在高維空間可分[2]。由此可以看出，徑向基網(wǎng)絡的隱含層單元的功能，即將樣本映射高維空間，映射依據(jù)是徑向基函數(shù)。最后，在高維空間進行數(shù)據(jù)分類，避免局限最優(yōu)，從而得到全局最優(yōu)解。3支持向量機結(jié)合神經(jīng)網(wǎng)絡算法在某種條件下，正則化的神經(jīng)網(wǎng)絡與SVM存在等價的關(guān)系，兩者之間可以相互轉(zhuǎn)化，從而可推導出正則化的RBF神經(jīng)網(wǎng)絡與核函數(shù)為RBF的SVM互為充要條件且可以彼此轉(zhuǎn)化[1]。廣義徑向基網(wǎng)絡的特點，清楚廣義網(wǎng)絡的核心點主要有三個：網(wǎng)絡中心，擴展常數(shù)（作用域）以及權(quán)值w（隱含層到輸出層之間）。通過學習SVM可知，影響一個SVM模型的關(guān)鍵參數(shù)是懲罰變量C與其核函數(shù)的參數(shù)。當支持向量機選擇徑向基核函數(shù)時，此時兩者就會有相似的地方，即徑向基函數(shù)中的確定。由此，RBF網(wǎng)絡中的可以完全借用核函數(shù)為RBF的SVM的。算法流程圖如圖1所示圖1支持向量機結(jié)合神經(jīng)網(wǎng)絡算法流程圖4算法應用4.1實驗數(shù)據(jù)本文研究區(qū)選取某銅礦整裝勘查區(qū)。選取樣品均為該勘查區(qū)內(nèi)的水系沉積物樣品。通過對數(shù)據(jù)的整理，共得到4531條包含9種元素含量的信息。由之前在此區(qū)域的研究得到元素含量屬性表明的有礦點坐標數(shù)據(jù)共54條，無礦點（或成礦概率較低）的坐標有46條。我們將此兩類數(shù)據(jù)作為未知樣本成礦分類的訓練集。從統(tǒng)計結(jié)果看，各類已知有礦及無礦樣本元素含量或組合差異較為明顯，可以用于建立模型，預測是否滿足成礦條件，最后再對所有未知有無礦點數(shù)據(jù)的樣本進行分類。4.2實驗結(jié)果單純使用SVM分類準確率為90.2%；結(jié)合神經(jīng)網(wǎng)絡的模型分類準確率為100%，=0.032。SVM的效率是最高的，適用于快速算法的場合。但對于需要精確分類的數(shù)據(jù)而言，結(jié)合了神經(jīng)網(wǎng)絡的模型就會有較大的用途。5討論大數(shù)據(jù)時代，學者在進行研究的過程中難免會應用不同的算法來進行數(shù)據(jù)處理。結(jié)合了神經(jīng)網(wǎng)絡的支持向量機模型雖然在數(shù)據(jù)分類的結(jié)果展現(xiàn)出優(yōu)勢，但是耗時太高。所以及時有效的處理算法就顯得格外重要，如果模型不能夠優(yōu)化改進，降低時耗的話，那么日后必定會被研究者們放棄。因此，關(guān)于具體的算法研究展望，建議先從優(yōu)化耗時進行入手，如優(yōu)化GA算法對C,g尋優(yōu)的速度等。Reference[1]劉耀輝.支持向量機與神經(jīng)網(wǎng)絡的融合優(yōu)化及其在數(shù)據(jù)挖掘中的應用[D].深圳大學,2017.[2]石靈丹,槐博超,馬修真,華斌,朱歆州.RBF神經(jīng)網(wǎng)絡在柴油機燃油系統(tǒng)故障診斷中