大規(guī)模網(wǎng)絡行為異常檢測

０引言在“大數(shù)據(jù)”時代背景下，網(wǎng)絡用戶數(shù)量正在逐年增加，再加上全球化的發(fā)展，數(shù)據(jù)資源呈現(xiàn)高度的信息化，信息資源與日俱增，2019年2月CNNIC發(fā)布的第43次《中國互聯(lián)網(wǎng)絡發(fā)展狀況統(tǒng)計報告》顯示，截至2018年12月，我國互聯(lián)網(wǎng)普及率為59.6%，網(wǎng)民數(shù)量達8.29億，網(wǎng)絡社會規(guī)模高居世界第一。而隨著黑客工具的逐漸泛濫，黑客門檻逐漸降低，大多數(shù)的信息資源不能得到很好的保護，導致用戶信息泄露，網(wǎng)絡信息安全面臨更加嚴峻的考驗。據(jù)測算，2014年前11個月，360網(wǎng)站安全檢測平臺共掃描各類網(wǎng)站164.2萬個，其中存在安全漏洞的網(wǎng)站有61.7萬個，占掃描網(wǎng)站總數(shù)的37.6%；存在高危安全漏洞的網(wǎng)站有27.9萬個，占掃描網(wǎng)站總數(shù)的17.0%。入侵檢測系統(tǒng)（IntrusionDetectionSystem,IDS）的引入是解決網(wǎng)絡安全問題的可行方法之一，它是一種積極主動的實時安全防護技術，能夠有效彌補防火墻的不足。與防火墻和其他安全措施相比，入侵檢測系統(tǒng)提供了更主動、更實時和更完善的安全保護。網(wǎng)絡行為異常檢測是入侵檢測系統(tǒng)中的一個重要環(huán)節(jié)，它能實時跟蹤關鍵網(wǎng)絡特性（如流量、帶寬使用和協(xié)議使用等），如果監(jiān)測到有不尋常事件或趨勢就會生成警報。網(wǎng)絡行為數(shù)據(jù)的特點是數(shù)據(jù)量大、維數(shù)高(網(wǎng)絡行為性質(zhì)種類多)、樣本容量小(異常數(shù)據(jù)僅占收集到的信息的一小部分)，需要及時有效的處理和分析，使得網(wǎng)絡行為異常檢測成為一項非常困難的任務。支持向量機（SupportVectorMachine，SVM）是一種基于統(tǒng)計學習理論的機器學習方法，它將最大區(qū)間原理和核函數(shù)理論相結合，有效地解決了小樣本、高維數(shù)、非線性、超學習、局部最優(yōu)解等問題。它于1995年由文獻[4]正式發(fā)表，由于在文本分類任務中顯示出卓越性能，很快成為機器學習的主流技術，并且直接掀起了“統(tǒng)計學習”在2000年前后的高潮。針對各式各樣的需求，SVM這個強大的機器學習算法被應用于各種不同的背景中，將SVM應用于網(wǎng)絡行為異常的高效性和準確性也已經(jīng)得到許多研究者的認可。如文獻[6]中，作者將一種聚類的SVM應用在入侵檢測背景下，提出了一種將聚類算法與SVM相結合的方法來提高入侵檢測系統(tǒng)的識別精度和識別率。文獻[7]也將SVM和網(wǎng)絡入侵檢測結合在一起，提出了一種基于自適應混沌粒子群優(yōu)化SVM參數(shù)算法的入侵檢測模型。通過分析參數(shù)對SVM模型的重要性,提出一種基于ICPSO-SVM的入侵檢測模型。然而對于涉及大量樣本和極其高維特征的大規(guī)模問題，現(xiàn)有的一些SVM算法仍然具有挑戰(zhàn)性，如何提高效率，使得SVM算法能適用于大規(guī)模數(shù)據(jù)一直是研究重點。而稀疏支持向量機（Sparse-SupportVectorMachine，S-SVM）在面對著海量高維數(shù)據(jù)的計算中，利用其特有的稀疏性，能起到更加高效的作用。S-SVM在面對著海量高維數(shù)據(jù)的計算中，利用其特有的稀疏性，能起到更加高效的作用。它是一種強大的數(shù)據(jù)分類技術，通過引入一種特殊的稀疏正則化約束模型，在選擇數(shù)據(jù)特征的同時，對模型進行了研究，在預測中不僅具有較高的精度，而且具有良好的稀疏性。在對網(wǎng)絡行為異常進行檢測時，很多算法在面對大規(guī)模的網(wǎng)絡行為數(shù)據(jù)時，由于存儲限制和維數(shù)災難，很難進行有效檢測，本文主要針對這一問題，引入列生成和約束生成的方法求解S-SVM模型，檢測網(wǎng)絡異常行為。并用HTTPDATASETCSIC2010數(shù)據(jù)集來評估此算法的可行性和準確性。１基于列和約束生成的稀疏支持向量機本文通過將列生成算法和約束生成算法結合起來求解稀疏支持向量機，來解決大規(guī)模網(wǎng)絡行為異常檢測問題。首先基于稀疏支持向量機建立本文網(wǎng)絡行為異常檢測算法的模型為式。（1）混合的列生成和約束生成算法的思想是希望降低高維海量網(wǎng)絡行為異常檢測問題的規(guī)模，即將原問題公式(1)限制到一個規(guī)模更小的限制問題即公式(2)中。原問題式中網(wǎng)絡行為數(shù)據(jù)樣本數(shù)量被定義為，數(shù)據(jù)特征數(shù)量被定義為，那么這個限制問題中的網(wǎng)絡行為數(shù)據(jù)樣本數(shù)量為，數(shù)據(jù)特征數(shù)量為。（2）為了方便計算，同樣將此限制問題轉換成對偶問題。（3）將求得的最優(yōu)對偶變量定義為，當前最優(yōu)特征權重定義為。首先基于約束生成算法的原理，對網(wǎng)絡行為數(shù)據(jù)樣本進行添加，即通過公式(4)用當前最優(yōu)特征權重求出未被當前限制問題公式(2)訓練過的網(wǎng)絡行為數(shù)據(jù)樣本的檢測數(shù)，來判斷此網(wǎng)絡行為數(shù)據(jù)樣本能否添加到限制問題中。

（4）在未被當前限制問題訓練過的網(wǎng)絡行為數(shù)據(jù)樣本中找到個滿足的網(wǎng)絡行為數(shù)據(jù)樣本，將這些數(shù)據(jù)樣本添加到限制問題中，更新限制問題。再基于列生成算法的原理，對網(wǎng)絡行為數(shù)據(jù)特征進行添加，即通過公式(5)，求非基變量的檢驗數(shù)，來尋找可以添加到基變量中的和它對應的特征向量。（5）找到個滿足的和它對應的特征向量，將這些和它對應的特征向量分別添加到基變量和限制問題公式(2)中，更新基變量和限制問題，再求解新的限制問題的對偶問題，循環(huán)添加未在當前限制問題中的網(wǎng)絡行為數(shù)據(jù)的樣本和特征。直到?jīng)]有可添加的數(shù)據(jù)特征時，判斷用當前最優(yōu)特征權重求出未被當前限制問題訓練過的網(wǎng)絡行為數(shù)據(jù)樣本的檢測數(shù)是否滿足，如果仍然有滿足的數(shù)據(jù)樣本，則再添加個到限制問題中，，如果沒有滿足的數(shù)據(jù)樣本，則結束循環(huán)。當前最優(yōu)特征權重，就是本節(jié)大規(guī)模網(wǎng)絡行為異常檢測問題模型中最優(yōu)特征權重。２實驗結果分析HTTPDATASETCSIC2010數(shù)據(jù)集是由西班牙研究委員會（SpanishNationalResearchCouncil，CSIC）信息安全研究所制作的，它是一個專門針對網(wǎng)站應用程序防火墻的測試集。數(shù)據(jù)集是自動生成的，包含36,000個正常請求和25,000多個異常請求，其中，異常的請求包括資料隱碼攻擊（SQLinjection）、緩沖區(qū)溢出（bufferoverflow）、信息收集（informationgathering）、文件公開（filesdisclosure）、CRLF注入漏洞（HTTP響應拆分漏洞）、跨站腳本攻擊（CrossSiteScripting，XSS）、服務端包含注入（ServerSideIncludes，SSI）、參數(shù)篡改（parametertampering）等攻擊。經(jīng)過預處理后，它是一個61065×33550的矩陣。隨機從61065個樣本中抽取3000個樣本來對本文中介紹的基于列和約束生成算法求解的稀疏支持向量機（NLPL-S-SVM）進行實驗。同樣用此3000個樣本的數(shù)據(jù)集對基于隨機梯度下降算法求解的稀疏支持向量機（PGD-S-SVM）進行訓練，并且將訓練得到的評估性能進行對比，如圖1所示。圖1?NSPL-S-VM算法和PGD-S-SVM算法檢測性能對比從圖中可以看出，本文的NSPL-S-SVM算法在數(shù)據(jù)特征數(shù)量遠大于樣本數(shù)量的數(shù)據(jù)集上測試的準確率和檢測率都比PGD-S-SVM算法測試的值高。但是NSPL-S-SVM算法將正常網(wǎng)絡行為判定為異常網(wǎng)絡行為的概率，即錯誤率比用PGD-S-SVM高。3結語在海量高維的網(wǎng)絡行為數(shù)據(jù)中，為了更有效地檢測異常行為，本文針對大規(guī)模的網(wǎng)絡行為數(shù)據(jù)提出了基于列和約束生成求解的稀疏支持向量機。實驗結果表明，本文所提方法提高了網(wǎng)絡行為異常