實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作

實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作目錄課題背景遺傳神經(jīng)網(wǎng)絡(luò)分類檢測器同步檢測模型數(shù)據(jù)預(yù)處理仿真實驗結(jié)束語和展望發(fā)表論文實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作選題來源

本論文的項目背景是黑龍江省自然科學基金項目《基于多層前向神經(jīng)網(wǎng)絡(luò)的分布式入侵檢測模型》，本文作為該項目的一個組成部分，將實數(shù)編碼遺傳算法與神經(jīng)網(wǎng)絡(luò)結(jié)合作為其中一個分布式Agent的檢測算法。課題背景實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作論文主要內(nèi)容比較分析入侵檢測方法，將實數(shù)編碼的遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)初始權(quán)重應(yīng)用于入侵檢測；為了提高入侵檢測系統(tǒng)的檢測效率和實時性，提出分類檢測器同步檢測模型；課題背景實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作論文主要內(nèi)容數(shù)據(jù)預(yù)處理，即把經(jīng)過數(shù)據(jù)挖掘后的樣本數(shù)據(jù)進行歸一化處理；二次處理，即對數(shù)據(jù)預(yù)處理后的數(shù)據(jù)進行深度處理，從而對樣本數(shù)據(jù)進行有效性的壓縮；仿真實驗，得出結(jié)論。課題背景實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作目錄課題背景遺傳神經(jīng)網(wǎng)絡(luò)分類檢測器同步檢測模型數(shù)據(jù)預(yù)處理仿真實驗結(jié)束語和展望發(fā)表論文實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作實數(shù)編碼遺傳算法

遺傳算法的主要特點是群體搜索策略和群體中個體之間的信息交換，搜索不依賴梯度信息，也不需要求解函數(shù)可微，只需要該函數(shù)在約束條件下可解，因此該方法適用于處理傳統(tǒng)方法難以解決的復(fù)雜和非線性問題。目前，遺傳算法經(jīng)常采用二進制編碼，這有它自身的優(yōu)點，如它能使交叉和變異操作容易實現(xiàn)，雖然采用二進制編碼時算法處理的模式數(shù)最多，但在處理優(yōu)化遺傳神經(jīng)網(wǎng)絡(luò)實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作實數(shù)編碼遺傳算法

問題時，會出現(xiàn)一些問題：“由于相鄰整數(shù)的二進制編碼結(jié)構(gòu)可能出現(xiàn)很大的差異，這樣會降低遺傳算子的搜索效率，而且如果設(shè)計變量的精度很高，串長就很大，這樣也降低了算法的效率，并且在進化過程中還要不停地進行編碼和解碼操作，計算時間比較長，所以在求解高維優(yōu)化時，算法的搜索效率就更低了”。遺傳神經(jīng)網(wǎng)絡(luò)實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作實數(shù)編碼遺傳算法

而基于實數(shù)編碼的遺傳算法不存在編碼和解碼過程，能夠大大提高解的精度和運算速度，因此，基于實數(shù)編碼的遺傳算法得到了越來越多的重視。遺傳神經(jīng)網(wǎng)絡(luò)實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作編碼方式

由于實數(shù)編碼的遺傳算法不存在編碼和解碼過程，能夠大大提高解的精度和運算速度，因此，本文采用實數(shù)編碼。遺傳神經(jīng)網(wǎng)絡(luò)實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作適應(yīng)度函數(shù)

所謂的適應(yīng)度函數(shù)就是評價函數(shù)，將染色體上表示的各個權(quán)值分配到給定的網(wǎng)絡(luò)結(jié)構(gòu)中，網(wǎng)絡(luò)以訓練集樣本為輸入輸出，運行后返回誤差平方和的倒數(shù)作為染色體的適應(yīng)度函數(shù)，如式(2-1)所示。遺傳神經(jīng)網(wǎng)絡(luò)(2-1)實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作遺傳算子設(shè)計選擇算子

采用適應(yīng)度比例方法，計算每個個體的適應(yīng)度值并將其排序，每個個體的選擇概率和其適應(yīng)度值成正比例。即適應(yīng)度值越大，它被選擇到的機會也就越大，從而被遺傳到下一代的可能性也越大。設(shè)群體大小為n，個體i的適應(yīng)度值為fi，則被選擇的概率為Psi，如式(2-2)所示

遺傳神經(jīng)網(wǎng)絡(luò)(2-2)實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作遺傳算子設(shè)計交叉算子這里設(shè)計為具有數(shù)值特點的向量線性組合。如有兩個個體Sa與Sb交叉，則產(chǎn)生的子代個體如式(2-3)、(2-4)所示。其中，λ的取值在(0，1)。

遺傳神經(jīng)網(wǎng)絡(luò)(2-3)(2-4)實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作遺傳算子設(shè)計變異算子對于子代染色體中的每個權(quán)值輸入位置，變異算子以概率Pm在初始概率分布中隨機選擇一個值，然后與該輸入位置上的權(quán)值相加。

遺傳神經(jīng)網(wǎng)絡(luò)實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作遺傳算子設(shè)計

λ取值為時進行交叉算子運算，如圖2-1中交叉部分所示，兩個個體經(jīng)過交叉后生成兩個新個體；變異算子運算如圖2-1中變異部分所示；粗體斜體部分表示交叉或變異的位置

遺傳神經(jīng)網(wǎng)絡(luò)實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作遺傳算子設(shè)計遺傳神經(jīng)網(wǎng)絡(luò)圖2-1交叉和變異算子的運算實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作面向神經(jīng)網(wǎng)絡(luò)權(quán)重學習

神經(jīng)網(wǎng)絡(luò)的權(quán)值按一定的順序級聯(lián)為一個長串，串上的每一個位置對應(yīng)著網(wǎng)絡(luò)的一個權(quán)值。遺傳神經(jīng)網(wǎng)絡(luò)1.4-1.83.64.51.70.9-0.3-0.71.3圖2-2神經(jīng)網(wǎng)絡(luò)權(quán)值編碼實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作面向神經(jīng)網(wǎng)絡(luò)權(quán)重學習

如圖2-2所示，神經(jīng)網(wǎng)絡(luò)編碼為：（）遺傳神經(jīng)網(wǎng)絡(luò)實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作目錄課題背景遺傳神經(jīng)網(wǎng)絡(luò)分類檢測器同步檢測模型數(shù)據(jù)預(yù)處理仿真實驗結(jié)束語和展望發(fā)表論文實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作系統(tǒng)總體結(jié)構(gòu)分類檢測器同步檢測模型傳送警報檢測到攻擊數(shù)據(jù)采集模塊(事件產(chǎn)生器)響應(yīng)模塊(事件響應(yīng)器)預(yù)處理模塊數(shù)據(jù)庫模塊(事件數(shù)據(jù)庫)檢測引擎模塊(事件分析器）網(wǎng)絡(luò)數(shù)據(jù)流圖3-1系統(tǒng)結(jié)構(gòu)圖實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作分類檢測器同步檢測模型

本文將“檢測引擎模塊”進行細化設(shè)計后提出“分類檢測器同步檢測”的模型，同步檢測模型如圖3-2所示。

分類檢測器同步檢測模型圖3-2分類檢測器同步檢測模型檢測器D檢測器A輸入輸出檢測器B檢測器C狀態(tài)監(jiān)視實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作同步檢測算法描述

檢測器調(diào)度算法采用多線程實現(xiàn)，由于涉及到線程同步問題，自然會想到同步鎖，線程間優(yōu)先權(quán)設(shè)置我們采用如下方法：即四大類攻擊中按樣本數(shù)所占比例大小進行優(yōu)先權(quán)的設(shè)置，所占比例越大，優(yōu)先權(quán)就越大，這樣，最后，優(yōu)先權(quán)從高到低設(shè)置為“DOS、PROBE、R2L、U2R”。

分類檢測器同步檢測模型實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作同步檢測算法描述算法描述分別為每個檢測器開啟一個線程；輸入向量，按照線程優(yōu)先權(quán)的大小，代表檢測DOS類型攻擊的檢測器A首先獲得該“鎖”并對該輸入向量進行檢測；如果是DOS攻擊，則通知“狀態(tài)監(jiān)視”模塊并設(shè)置為True，“狀態(tài)監(jiān)視”一旦為True則馬上通知其它檢測器線程不用等待該鎖而直接做好獲取下一把“鎖”(也就是下一個輸入向量)的準備，直接輸出結(jié)果后轉(zhuǎn)步驟2；如果不是DOS攻擊，則釋放該“鎖”，讓代表檢測PROBE類型攻擊的檢測器D獲得該“鎖”進行檢測，如果檢測出攻擊則輸出結(jié)果同樣轉(zhuǎn)步驟2，否則，依此類推繼續(xù)檢測；當最后一個檢測器對輸入向量檢測也正常時，則輸出結(jié)果轉(zhuǎn)步驟2

分類檢測器同步檢測模型實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作同步檢測算法描述輸出結(jié)果向量表示：0001——表示DOS攻擊；0010——表示R2L類型攻擊；0100——表示U2R類型攻擊；1000——表示PROBE類型攻擊。

分類檢測器同步檢測模型其中x1,x2,x3,x4分別表示檢測器A、B、C、D的輸出

實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作目錄課題背景遺傳神經(jīng)網(wǎng)絡(luò)分類檢測器同步檢測模型數(shù)據(jù)預(yù)處理仿真實驗結(jié)束語和展望發(fā)表論文實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作數(shù)據(jù)來源

本文采用麻省理工大學林肯實驗室的測試數(shù)據(jù)KDDCUP99，它是專門用來進行入侵檢測評估的。我們采用數(shù)據(jù)集上的一個子集10percent作為實驗數(shù)據(jù)源，它一共包含有494021條網(wǎng)絡(luò)連接，其中正常連接97277條，異常連接396744條。數(shù)據(jù)預(yù)處理實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作數(shù)據(jù)歸一化一般歸一化公式：數(shù)據(jù)預(yù)處理歸一化到0、1之間：實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作樣本精簡

矩陣初等行變換能保持矩陣列向量之間的線性關(guān)系，利用這個結(jié)論我們可以用來進行樣本數(shù)據(jù)的精簡，這樣精簡后的樣本數(shù)據(jù)能夠保持各屬性字段之間的線性關(guān)系。 神經(jīng)網(wǎng)絡(luò)的訓練實際上是一個通過給定樣本實時調(diào)整網(wǎng)絡(luò)連接權(quán)重的過程，樣本預(yù)處理的結(jié)果對于網(wǎng)絡(luò)訓練的收斂性起到關(guān)鍵的作用。下面我們針對DOS攻擊類型數(shù)據(jù)(DOS攻擊類型編碼為“0001”)進行分析。數(shù)據(jù)預(yù)處理實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作樣本精簡

設(shè)A為樣本數(shù)據(jù)矩陣，其中每一行向量表示一條樣本數(shù)據(jù)，則該行向量含34個數(shù)據(jù)，假設(shè)有a條樣本，則A為a行34列矩陣；由于每條樣本數(shù)據(jù)輸入網(wǎng)絡(luò)后都會有一條對應(yīng)的輸出，加上本實例為DOS攻擊類型以編碼“0001”表示，則期望輸出矩陣B為a行4列矩陣(暫時先不考慮閾值，只考慮權(quán)重問題)。本文BP神經(jīng)網(wǎng)絡(luò)的輸入節(jié)點數(shù)為34個，隱含層節(jié)點數(shù)為15個，輸出層節(jié)點數(shù)為4個。數(shù)據(jù)預(yù)處理實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作樣本精簡

雖然神經(jīng)網(wǎng)絡(luò)的連接權(quán)重可以用一個實數(shù)串進行表示，但在進行網(wǎng)絡(luò)的訓練時，還需要將實數(shù)串分為兩部分，設(shè)輸入層到隱含層的連接權(quán)重矩陣為W1，則W1為34行15列矩陣；同理，隱含層到輸出層的連接權(quán)重矩陣W2為15行4列矩陣。

于是我們可以得到公式(4-1)。數(shù)據(jù)預(yù)處理實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作樣本精簡

如式(4-2)所示，A和B是系數(shù)矩陣,C是增廣矩陣。經(jīng)過帶約束初等行變換后如式(4-3)所示。數(shù)據(jù)預(yù)處理(4-2)(4-3)(4-1)實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作樣本精簡

式(4-3)中，C、D為零矩陣，經(jīng)過處理以后，由原先的A對應(yīng)輸出B變成了現(xiàn)在的A′對應(yīng)輸出B′，通過這樣的處理，我們就可以將大樣本變?yōu)樾颖?，從而使計算更加快速，樣本?shù)據(jù)更加精簡。

數(shù)據(jù)預(yù)處理實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作歸一化精度對樣本影響

為了能使樣本應(yīng)用于本文提出的分類檢測器同步檢測模型，我們將樣本數(shù)據(jù)先進行歸類合并，分別構(gòu)造出DOS、PROBE、U2R、R2L四大類攻擊樣本數(shù)據(jù)集，這樣四個檢測器分別檢測四大類攻擊。為了降低可疑攻擊數(shù)，即四大攻擊類型數(shù)據(jù)集之間的重疊記錄數(shù)要少。精度過大會增加計算量，從而會降低學習速度；精度過小，會使記錄重疊數(shù)增加，從而造成可疑攻擊數(shù)增加，影響訓練結(jié)果。數(shù)據(jù)預(yù)處理實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作歸一化精度對樣本影響數(shù)據(jù)預(yù)處理DOS440374PROBE493705R2L33450U2R11126normalDOSPROBER2L

表4-1小數(shù)點保留1位時記錄重復(fù)情況

實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作歸一化精度對樣本影響數(shù)據(jù)預(yù)處理

表4-2小數(shù)點保留4位時記錄重復(fù)情況

DOS1000PROBE1000R2L0000U2R0000normalDOSPROBER2L實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作歸一化精度對樣本影響數(shù)據(jù)預(yù)處理

表4-3樣本數(shù)據(jù)壓縮情況

壓縮前小數(shù)點1位小數(shù)點4位normal97277391885811DOS39145922837436PROBE41072331775R2L111952921U2R592052實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作歸一化精度對樣本影響數(shù)據(jù)預(yù)處理

圖4-1樣本數(shù)據(jù)壓縮情況

實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作目錄課題背景遺傳神經(jīng)網(wǎng)絡(luò)分類檢測器同步檢測模型數(shù)據(jù)預(yù)處理仿真實驗結(jié)束語和展望發(fā)表論文實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作學習樣本和測試樣本仿真實驗instantsAttributesoftheconnectrecord123456……….34123456789100.00001.00000.00000.00000.00000.0000………..0.00000.00000.70391.00000.00000.00000.0112………..0.00530.00000.70391.00000.00000.00000.0056………..0.00530.05760.25721.00000.00000.00000.0044………..0.00000.00000.69831.00000.00000.00000.0056………..0.00420.00000.69831.00000.00000.00000.0056………..0.00500.33520.70391.00000.00000.00000.0056………..0.00510.04640.57271.00000.00000.00000.0004………..0.00000.23530.33730.71760.00000.00000.0000.……….0.00000.11110.00000.22220.00000.00000.0000.……….0.0000表5-1樣本數(shù)據(jù)

實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作學習樣本和測試樣本仿真實驗

表5-1是數(shù)據(jù)預(yù)處理后的標準格式，學習樣本和測試樣本數(shù)據(jù)只取DOS攻擊樣本中數(shù)據(jù)。 為避免發(fā)生神經(jīng)網(wǎng)絡(luò)的“過擬合”現(xiàn)象，我們不需要讓神經(jīng)網(wǎng)絡(luò)學習過多的樣本細節(jié)，這里取DOS攻擊樣本數(shù)據(jù)30條作為學習樣本進行網(wǎng)絡(luò)的訓練，期望輸出都為“0001”。測試樣本數(shù)據(jù)為300條。

實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作實驗環(huán)境和運行參數(shù)仿真實驗

實驗環(huán)境為“Intel(R)Celeron(TM)CPU1000MHz，內(nèi)存384M，操作系統(tǒng)Windows2000Professional”，開發(fā)工具為MATLAB7.0。 在遺傳算法中，種群規(guī)模Psize=60，權(quán)重初始化空間為[-1，+1]，遺傳代數(shù)為gen=200代，選擇概率Ps＝，交叉率Pc，變異率Pm＝；在BP算法中，最大訓練次數(shù)為3000，目標誤差為，學習率為

。實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作GA訓練BP網(wǎng)絡(luò)連接權(quán)值仿真實驗

圖5-1GA訓練神經(jīng)網(wǎng)絡(luò)權(quán)重

實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作GA訓練BP網(wǎng)絡(luò)連接權(quán)值仿真實驗

圖5-2局部放大

實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作BP神經(jīng)網(wǎng)絡(luò)進行局部尋優(yōu)

仿真實驗

圖5-3BP局部尋優(yōu)

實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作仿真結(jié)果

仿真實驗

300條DOS攻擊類型的樣本數(shù)據(jù)進行網(wǎng)絡(luò)的測試，期望輸出應(yīng)該為“0001”，限于篇幅，表5-2只列出部分網(wǎng)絡(luò)輸出結(jié)果。每一列對應(yīng)為一個輸出結(jié)果，第一個輸出為(0.0003,0.0004,0.0005,0.9987)，可以直觀地看出應(yīng)該符合(0，0，0，1)編碼形式，故該條測試樣本數(shù)據(jù)為DOS攻擊類型。

0.00030.00040.00050.99870.00010.00000.00010.99870.00040.00050.00030.99860.00020.00030.00040.99870.00060.00120.00131.00330.00100.00140.00140.99880.00020.00010.00010.99870.00110.00150.00140.9988

表5-2部分輸出結(jié)果實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作仿真結(jié)果

仿真實驗

300條DOS攻擊樣本數(shù)據(jù)經(jīng)過測試后，有4條檢測出錯并且都被檢測為其它攻擊類型，296條檢測正確，檢測率為98.67%，4條入侵樣本數(shù)據(jù)沒有被檢測出來，相對于DOS攻擊來講就是“正?！睌?shù)據(jù)，則漏報率為1.33%。

實數(shù)編碼的遺傳算法以及BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作目