一種多分類算法FELM在網(wǎng)絡(luò)入侵中的應(yīng)用

1、    一種多分類算法felm在網(wǎng)絡(luò)入侵中的應(yīng)用    魏瑤+李紅信摘 要：極限學(xué)習(xí)機(jī)（elm）有著分類精度高、速度快等特性，被廣泛的應(yīng)用和研究。本文提出了一種用于多分類問(wèn)題的模糊單隱層神經(jīng)網(wǎng)絡(luò)算法felm，同時(shí)考慮分類器的模糊性和誤報(bào)率之間的關(guān)系。通過(guò)在入侵檢測(cè)數(shù)據(jù)集nsl-kdd上的實(shí)驗(yàn)證明：本文提出的方法有著較好的有效性和穩(wěn)定性。關(guān)鍵詞：極限學(xué)習(xí)機(jī)；多類分類；網(wǎng)絡(luò)入侵檢測(cè)；模糊性：tp393 ：a ：1671-2064（2017）09-0036-011 引言隨著網(wǎng)絡(luò)技術(shù)的日益發(fā)展，人們開(kāi)始依賴于網(wǎng)絡(luò)進(jìn)行工作、生活。安全就成為計(jì)算機(jī)系統(tǒng)面臨的重要問(wèn)題

2、，為保證計(jì)算機(jī)和網(wǎng)絡(luò)通信的安全，對(duì)入侵檢測(cè)技術(shù)的研究和發(fā)展成為人們工作的重點(diǎn)1。機(jī)器學(xué)習(xí)算法在入侵檢測(cè)領(lǐng)域得到了廣泛的應(yīng)用，被應(yīng)用的基本分類算法包括支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)bp、決策樹(shù)、極限學(xué)習(xí)機(jī)等等2-4，這些算法都有著各自的優(yōu)勢(shì)，并能保證一定的分類效果，但在算法的數(shù)據(jù)處理速度方面，現(xiàn)有的建模方法都有待改進(jìn)。在本文中，我們所提出的入侵檢測(cè)模型是一個(gè)多類分類器，它將網(wǎng)絡(luò)事件分區(qū)分為正?；蚬羰录?，有normal、dos、probe、u2r和r2l五種。在本文的試驗(yàn)中，這個(gè)新felm分類器模型被應(yīng)用到經(jīng)典的nsl-kdd入侵檢測(cè)數(shù)據(jù)集上，并得到比傳統(tǒng)分類算法好的分類效果。我們的主要貢獻(xiàn)有：（1）使用

3、了elm算法的思想，在保持一定可接受范圍內(nèi)的分類精度下，加快了學(xué)習(xí)算法的的預(yù)測(cè)速度，并將其用于入侵檢測(cè)問(wèn)題中，有效的提高了分類的精度和速度。（2）通過(guò)模糊分治策略改進(jìn)了極限學(xué)習(xí)機(jī)的學(xué)習(xí)方式，實(shí)現(xiàn)一種新穎的多分類算法felm，打破了原本elm算法的限制，可用于處理多類分類問(wèn)題，并應(yīng)用到入侵檢測(cè)系統(tǒng)中。文章的其他部分內(nèi)容如下：第二部分對(duì)模糊極限學(xué)習(xí)機(jī)算法進(jìn)行簡(jiǎn)要介紹，第三部分在nsl-kdd數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，第四部分總結(jié)和展望。2 模糊極限學(xué)習(xí)機(jī)felm模糊理論很早被提出，它描述了一種不能被準(zhǔn)確定義的事情的存在方式，不能歸于大多數(shù)定義的集合點(diǎn)。我們現(xiàn)在將模糊向量的模糊性與分類的預(yù)測(cè)輸出聯(lián)系起來(lái)，

4、會(huì)發(fā)現(xiàn)大多數(shù)的分類器有著類似于模糊向量的輸出，向量的每個(gè)元素代表了測(cè)試樣本屬于某一類的成員隸屬度。這一類型的分類器包括：神經(jīng)網(wǎng)絡(luò)，支持向量機(jī)，決策樹(shù)等等。本文中的極限學(xué)習(xí)機(jī)屬于神經(jīng)網(wǎng)絡(luò)算法的一種，是一種單隱層神經(jīng)網(wǎng)絡(luò)訓(xùn)練的結(jié)構(gòu)，可以用來(lái)產(chǎn)生樣本的模糊值的輸出。給定一個(gè)訓(xùn)練集，通過(guò)分類器能得到相應(yīng)的預(yù)測(cè)概率值的輸出，得到的成員度矩陣u是由多個(gè)樣本的模糊度向量組成的，這些向量中每個(gè)元素的值在0，1范圍內(nèi)，代表著樣本對(duì)每一類的隸屬度。針對(duì)于一個(gè)樣本的模糊性描述，可以通過(guò)計(jì)算模糊向量的平均值來(lái)得到。這個(gè)模型是依賴與訓(xùn)練樣本的分布，稍復(fù)雜的模型在一定程度上會(huì)提高分類器的性能。在本文的算法中，我們選用極限

5、學(xué)習(xí)機(jī)elm作為基礎(chǔ)的分類器，極限學(xué)習(xí)機(jī)是一種三層的前饋神經(jīng)網(wǎng)絡(luò)，輸入層和隱藏層之間的權(quán)值矩陣r隨機(jī)選擇，隱藏層和輸出層之間的權(quán)值矩陣s是由轉(zhuǎn)置矩陣確定的。本分類器的學(xué)習(xí)目標(biāo)是確定r和s的值，然而r是隨機(jī)選擇的，因此分類器的主要目標(biāo)僅僅是如何確定輸出權(quán)值s。所提出算法的實(shí)現(xiàn)主要包括七個(gè)步驟：（1）隨機(jī)劃分訓(xùn)練樣本為類標(biāo)數(shù)據(jù)和無(wú)類標(biāo)數(shù)據(jù)，它們的比例保持9：1；（2）基于類標(biāo)數(shù)據(jù)訓(xùn)練elm模型；（3）對(duì)于無(wú)類標(biāo)數(shù)據(jù)的每個(gè)樣本，通過(guò)分類器的預(yù)測(cè)，我們獲得一個(gè)模糊向量；（4）計(jì)算每個(gè)輸出的模糊值；（5）根據(jù)模糊值的大小對(duì)樣本進(jìn)行排序，分為低中高三類；（6）選擇模糊值高和模糊值低的樣本組加入到類標(biāo)數(shù)據(jù)組

6、，進(jìn)行新的模型訓(xùn)練，得到最終的分類器；（7）最后用測(cè)試集對(duì)模型進(jìn)行有效性驗(yàn)證，并得到每一類的精確度。3 實(shí)驗(yàn)分析本文所用的nsl-kdd數(shù)據(jù)集是kdd cup 99 數(shù)據(jù)集的修訂版，它消除了kdd99數(shù)據(jù)集中的多數(shù)冗余信息。這個(gè)數(shù)據(jù)集有41維的特征，每一個(gè)數(shù)據(jù)樣本可以被標(biāo)記為正常類或者是攻擊類（包括dos，probe，u2r，r2l四種類型）。首先對(duì)原始數(shù)據(jù)進(jìn)行了一些預(yù)處理：數(shù)值編碼和標(biāo)準(zhǔn)化的方法，將屬性數(shù)據(jù)標(biāo)準(zhǔn)化到0，1范圍內(nèi)，分別用1-5表示五種類別，這些預(yù)處理措施會(huì)提高數(shù)據(jù)的一致性、分類準(zhǔn)確性。本文通過(guò)使用指示變量技術(shù)，將數(shù)據(jù)集的維數(shù)從41維增加到51維。當(dāng)某個(gè)特征的種類不是很多的情況下

7、，這種處理方式有著較高的穩(wěn)定性。對(duì)原始數(shù)據(jù)集預(yù)處理之后，為了驗(yàn)證新算法的性能，我們從nsltrain訓(xùn)練數(shù)據(jù)集中抽取出三個(gè)子數(shù)據(jù)集（10%，20%，50%），根據(jù)每一類的比例進(jìn)行抽取，并用同一個(gè)測(cè)試集nsltest進(jìn)行實(shí)驗(yàn)。這樣可以保證我們所運(yùn)行的實(shí)驗(yàn)都使用完整的數(shù)據(jù)集。為了顯示本文算法的性能，對(duì)每個(gè)數(shù)據(jù)集，從每類的精度，整體精度方面進(jìn)行了實(shí)驗(yàn)，felm算法的實(shí)驗(yàn)結(jié)果如表1所示，在表中我們可以看出，提出的新方法有著一定的分類能力，可以達(dá)到一定的精度要求。4 總結(jié)和展望本文提出了一種新的多分類模型felm，并將其應(yīng)用在網(wǎng)絡(luò)入侵檢測(cè)中。通過(guò)在nsl-kdd的三個(gè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，通過(guò)對(duì)準(zhǔn)確率指標(biāo)的分

8、析，可知基于改進(jìn)的多分類felm模型在進(jìn)行網(wǎng)絡(luò)入侵檢測(cè)中應(yīng)用效果較好，而且該方法在處理大批量數(shù)據(jù)分類時(shí)具有較低的時(shí)間復(fù)雜度。在將來(lái)的研究工作中，一是要考慮加入特征選擇的方法，通過(guò)降低維度可以使網(wǎng)絡(luò)入侵檢測(cè)模型達(dá)到較好的精度。二是考慮如何提高少數(shù)類的分類精度，通過(guò)提高少數(shù)類的識(shí)別率可以使入侵檢測(cè)模型具有更好地有效性和穩(wěn)定性。參考文獻(xiàn)1ojala， j. personal contentin online sports communities： motivations to capture and share personal exercise data j.international journ

9、al of social and humanistic computing.2013，2（2）：68-85.2kim， g. et al. a novel hybrid intrusion detection method integrating anomaly detection with misuse detectionj. expert systems with applications.2014，41（4）：1690-1700.3eesa， a. s. et al. a novel feature-selection approach based on the cuttlefish optimization algorithm for intrusion detection systemsj. expert systems with applications.2015，42（5）：2670-2679.4fossaceca， j. m. et al. mark-elm： application of a novel multiple kerne