（計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)論文）網(wǎng)絡(luò)異常流量檢測(cè)模型設(shè)計(jì)與實(shí)現(xiàn).pdf

摘要 網(wǎng)絡(luò)異常流量檢測(cè)功能是i t 運(yùn)維管理系統(tǒng)的重要功能之一。在 i t 系統(tǒng)的管理過程中，網(wǎng)絡(luò)的可用性和可靠性是一項(xiàng)非常重要的指 標(biāo)，通過對(duì)網(wǎng)絡(luò)流量的檢測(cè)可以對(duì)網(wǎng)絡(luò)運(yùn)行狀況進(jìn)行預(yù)判，從而可以 采取針對(duì)性的解決措施來保證網(wǎng)絡(luò)正常的運(yùn)行。針對(duì)企業(yè)內(nèi)部i t 網(wǎng) 絡(luò)，如何設(shè)計(jì)實(shí)現(xiàn)合理有效的網(wǎng)絡(luò)流量異常檢測(cè)方法已成為i t 管理 中重要的課題。 本文在介紹了現(xiàn)有常用的網(wǎng)絡(luò)流量異常檢測(cè)算法的基礎(chǔ)上，然后 結(jié)合企業(yè)內(nèi)部i t 網(wǎng)絡(luò)自身的特點(diǎn)，提出了用時(shí)間窗比較進(jìn)行網(wǎng)絡(luò)異 常流量檢測(cè)的新算法；然后將所提出的新算法同已有的靜態(tài)、動(dòng)態(tài)檢 測(cè)算法相結(jié)合，提出了網(wǎng)絡(luò)異常流量綜合檢測(cè)模型，通過不同方法和 不同角度比較來發(fā)現(xiàn)網(wǎng)絡(luò)中是否存在異常流量。 在介紹i t 運(yùn)維管理系統(tǒng)及其功能的基礎(chǔ)上，設(shè)計(jì)并實(shí)現(xiàn)了網(wǎng)絡(luò)異 常流量檢測(cè)子系統(tǒng)，此子系統(tǒng)實(shí)現(xiàn)所提出的網(wǎng)絡(luò)異常流量綜合檢測(cè)模 型。論文給出了子系統(tǒng)的詳細(xì)設(shè)計(jì)，數(shù)據(jù)庫設(shè)計(jì)，檢測(cè)流程及其實(shí)現(xiàn) 步驟、實(shí)現(xiàn)主要類的說明和測(cè)試情況。最后對(duì)論文加以總結(jié)并提出需 要進(jìn)一步研究或改進(jìn)的工作。 關(guān)鍵詞網(wǎng)絡(luò)異常異常檢測(cè)網(wǎng)絡(luò)管理 d e s i g na n di m p l e m e n t a t i o no ft h en e t w o r k t r a f f i ca n o m a l y d e t e c t i o nm o d e l n e t w o r kt r a f f i ca n o m a l yd e t e c t i o ni sa ni m p o r t a n tc o m p o n e n to f i tm a n a g e m e n t w i t hi nt h eo p e r a t i n go ft h ei ts y s t e m ，t h er e l i a b i l i t y a n dt h eu s a b i l i t ya r et h ek e yp e r f o r m a n c ei n d i c a t o r s t oa n a l y z et h e c o m p o n e n t so ft h en e t w o r kw o r kt r a f f i c ，w ec a nj u d g et h eo p e r a t i n g s t a t u so ft h en e t w o r ka n dm a k et h ef i g h td e c i s i o nt om a k es u r et h es t a b l e s t a t u so ft h en e t w o r k h o wt od e s i g na ne f f e c t i v em o d e lo fa n o m a l y d e t e c t i o nt oc h e c kt h ei n n e rn e t w o r ko fac o r p e r a t i o ni sa ni m p o r t a n t t a s ki nt h ei tm a n a g e m e n t f i r s t l y , t h eb a s i ck n o w l e d g eo fn e t w o r kt r a 墑ca n o m a l yd e t e c t i o ni s i n t r o d u c e da n dt h er e s e a r c hb a c k g r o u n da n ds i g n i f i c a n c eo ft h i si s s u ei s a l s od e s c r i b e d s e c o n d l y , i nt e r m so ft h ec h a r a c t e r so ft h ei n n e rn e t w o r k i no n ec o m p a n y , t h ed e s i g nc o n c e p t sa n df u n c t i o nr e q u i r e m e n t so ft h e n e t w o r kt r a f f i ca n o m a l yd e c t e c t i o na r ei n t r o d u c e d c h e c kt h en e t w o r k t r a f f i c a n o m a l yb v d i f 詫r e n t w a y sa n df r o md i f f e r e n tv i e w s b y i n t r o d u c i n gi to p e r a t i o nm a n a g e m e n ts y s t e ms t r u c t u r ea n df u n c t i o n r e q u i r e m e n t s ，t h es o f t w a r ea r c h i t e c t u r e so fn e t w o r kt r a f f i ca n o m a l y d e t e c t i o na r e p u tf o r w a r d ，a n dt h em o d u l ed e s i g n ，p r i m a r yd a t a b a s e s t r u c t u r e s ，w o r k f l o wo fd e c t e c t i o n ，m a i na l g o r i t h m sa n dt h em a i n i m p l e m e n tc l a s s e sa r ea l s os t a t e d a tl a s t t h ec o n c l u s i o no ft h i sp a p e r a n ds o m ef u t u r ew o r ka r eb r i e f l yi n t r o d u c e d k e yw o r d sn e t w o r kt r a f f i c a n o m a l ya n o m a l y d e t e c t i o n n e t w o r km a n a g e m e n t 獨(dú)創(chuàng)性( 或創(chuàng)新性) 聲明 本人聲明所呈交的論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研究 成果。盡我所知，除了文中特別加以標(biāo)注和致謝中所羅列的內(nèi)容以外，論文中不 包含其他人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含為獲得北京郵電大學(xué)或其他 教育機(jī)構(gòu)的學(xué)位或證書而使用過的材料。與我一同工作的同志對(duì)本研究所做的任 何貢獻(xiàn)均已在論文中作了明確的說明并表示了謝意。 申請(qǐng)學(xué)位論文與資料若有不實(shí)之處，本人承擔(dān)一切相關(guān)責(zé)任。 本人簽名： 施怖 j 日期：勘宮傘i 關(guān)于論文使用授權(quán)的說明 學(xué)位論文作者完全了解北京郵電大學(xué)有關(guān)保留和使用學(xué)位論文的規(guī)定，即： 研究生在校攻讀學(xué)位期間論文工作的知識(shí)產(chǎn)權(quán)單位屬北京郵電大學(xué)。學(xué)校有權(quán)保 留并向國(guó)家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印件和磁盤，允許學(xué)位論文被查閱和借 閱；學(xué)?？梢怨紝W(xué)位論文的全部或部分內(nèi)容，可以允許采用影印、縮印或其它 復(fù)制手段保存、匯編學(xué)位論文。( 保密的學(xué)位論文在解密后遵守此規(guī)定) 保密論文注釋：本學(xué)位論文屬于保密在年解密后適用本授權(quán)書。非保密論 文注釋：本學(xué)位論文不屬于保密范圍，適用本授權(quán)書。 本人簽名： 日期：枷譬咩j 導(dǎo)師簽名乖弘 日期- 溯- | 北京郵電大學(xué)碩上研究生畢業(yè)論文 網(wǎng)絡(luò)流量異常檢測(cè)模型設(shè)計(jì)與實(shí)現(xiàn) 1 1 研究背景 第一章前言 隨著i t 系統(tǒng)建設(shè)的完成和規(guī)模的擴(kuò)大，對(duì)i t 系統(tǒng)的管理變得越來越復(fù)雜， 需要建立與之對(duì)應(yīng)的1 1 r 運(yùn)維管理系統(tǒng)來管理龐大的i t 系統(tǒng)，使i t 系統(tǒng)在出現(xiàn) 故障的情況下，能在最短時(shí)間內(nèi)得到處理，將損失降到最低。r r 運(yùn)維管理系統(tǒng) 已成為目前企業(yè)信息化建設(shè)的重點(diǎn)，在對(duì)企業(yè)內(nèi)部建立的r r 網(wǎng)絡(luò)管理中，網(wǎng)絡(luò) 監(jiān)測(cè)是其中的基礎(chǔ)部分，是網(wǎng)絡(luò)管理人員的主要工作【l 】【2 1 。網(wǎng)絡(luò)監(jiān)測(cè)的目的是 提高服務(wù)質(zhì)量，提高資源利用率，在用戶報(bào)告問題之前開始診斷或解決問題， 提高網(wǎng)絡(luò)的可靠性和可用性。網(wǎng)絡(luò)流量異常檢測(cè)是r r 網(wǎng)絡(luò)監(jiān)測(cè)的重要組成部 分，對(duì)于一個(gè)企業(yè)內(nèi)部網(wǎng)絡(luò)，流量管理主要保證和提高網(wǎng)絡(luò)可靠性和可用性。 通過異常流量的探測(cè)和分析，用戶可以及時(shí)發(fā)現(xiàn)網(wǎng)絡(luò)中出現(xiàn)的異常流量，對(duì)病 毒、網(wǎng)絡(luò)攻擊以及網(wǎng)絡(luò)非法應(yīng)用產(chǎn)生的網(wǎng)絡(luò)流量進(jìn)行監(jiān)控。當(dāng)異常檢測(cè)出來后， 用戶可以根據(jù)異常流量分析得出網(wǎng)絡(luò)遭受哪種攻擊，從而采取較有針對(duì)性的解 決措施，也可以定位出產(chǎn)生故障的問題主機(jī)，隔斷該主機(jī)與網(wǎng)絡(luò)的連接來保證 網(wǎng)絡(luò)運(yùn)行的質(zhì)量。 有效的流量管理一般分為兩個(gè)步驟，第一步是系統(tǒng)發(fā)現(xiàn)網(wǎng)絡(luò)性能問題或故 障，第二步是提出性能問題和故障的解決辦法。目前網(wǎng)絡(luò)流量管理中對(duì)流量異 常的告警多是采用基于閾值的方法，即由有經(jīng)驗(yàn)的網(wǎng)絡(luò)管理員人為的設(shè)定某條 鏈路的流量閾值，當(dāng)系統(tǒng)發(fā)現(xiàn)當(dāng)前流量超過閾值時(shí)產(chǎn)生告警。這樣的系統(tǒng)有一 個(gè)缺點(diǎn)：網(wǎng)絡(luò)流量存在突發(fā)性和隨機(jī)性的特點(diǎn)，在實(shí)際網(wǎng)絡(luò)運(yùn)行中難以設(shè)定這 個(gè)閾值，如果設(shè)定的閾值太低，則系統(tǒng)可能出現(xiàn)告警風(fēng)暴，其中誤報(bào)的可能性 很大；如果設(shè)定的閾值太高，則不易發(fā)現(xiàn)網(wǎng)絡(luò)中存在的細(xì)微流量突變，這個(gè)時(shí) 候可能就是某種攻擊或病毒的出現(xiàn)，從而導(dǎo)致不能及時(shí)進(jìn)行有效的網(wǎng)絡(luò)管理。 因此提出更加有效和更有針對(duì)性的網(wǎng)絡(luò)流量異常檢測(cè)模型對(duì)于i t 管理系統(tǒng)的 開發(fā)和建設(shè)具有重要的理論意義和應(yīng)用價(jià)值。 1 2 本文要解決的問題與創(chuàng)新點(diǎn) 對(duì)1 1 r 網(wǎng)絡(luò)流量異常的檢測(cè)是論文試圖解決的問題，具體來說，論文主要解 北京郵電人學(xué)碩- i ：研究生畢業(yè)論文網(wǎng)絡(luò)流量異常檢測(cè)模型設(shè)計(jì)與實(shí)現(xiàn) 決以下問題： 一 如何對(duì)企業(yè)內(nèi)部網(wǎng)絡(luò)建立一套更加有效和有針對(duì)性的網(wǎng)絡(luò)流量異常檢 測(cè)算法和模型； 一 如何設(shè)計(jì)和實(shí)現(xiàn)r i 運(yùn)維管理系統(tǒng)中的網(wǎng)絡(luò)流量異常檢測(cè)子系統(tǒng)。 概括起來，本文的創(chuàng)新點(diǎn)是： 一 提出了基于時(shí)間窗比較進(jìn)行網(wǎng)絡(luò)異常流量檢測(cè)的新算法：時(shí)間窗內(nèi)網(wǎng) 絡(luò)流量采樣曲線比較算法； 一 提出了網(wǎng)絡(luò)異常流量檢測(cè)模型，此模型將時(shí)間窗內(nèi)網(wǎng)絡(luò)流量采樣曲線 比較算法同現(xiàn)有靜態(tài)、動(dòng)態(tài)檢測(cè)算法相結(jié)合，并對(duì)各種檢測(cè)算法的結(jié) 果進(jìn)行綜合分析，此模型能夠更加有效地檢測(cè)企業(yè)內(nèi)部網(wǎng)絡(luò)的異常情 況。 1 3 研究生期間的工作 研究生期間，筆者參與多個(gè)大型1 1 r 運(yùn)維管理系統(tǒng)的研究與開發(fā)工作，對(duì) i t 運(yùn)維管理系統(tǒng)結(jié)構(gòu)有較深的認(rèn)識(shí)，掌握了i t 運(yùn)維管理系統(tǒng)所需的關(guān)鍵技術(shù)， 包括基于模型驅(qū)動(dòng)架構(gòu)( m d a ) 技術(shù)，故障根原因分析技術(shù)，流量異常檢測(cè)技 術(shù)和流量流向分析技術(shù)等，并對(duì)網(wǎng)絡(luò)流量管理進(jìn)行了較為深入的研究。攻讀研 究生期間的研究工作主要如下： 一 1 1 r 基礎(chǔ)設(shè)施與應(yīng)用管理子系統(tǒng)的研究與開發(fā)。i t 基礎(chǔ)設(shè)施與應(yīng)用管理 子系統(tǒng)是i t i l 服務(wù)管理系統(tǒng)中的基礎(chǔ)部分，負(fù)責(zé)管理企業(yè)異構(gòu)網(wǎng)絡(luò)環(huán) 境下各種1 1 r 基礎(chǔ)資源( 網(wǎng)絡(luò)設(shè)備、服務(wù)器、數(shù)據(jù)庫、中間等) 。主要 負(fù)責(zé)系統(tǒng)的u i ( 用戶界面) 設(shè)計(jì)和u i 集成，并參與完成性能采集和性 能分析模塊的實(shí)現(xiàn)。 一 某集團(tuán)公司綜合網(wǎng)絡(luò)監(jiān)視管理系統(tǒng)的研究與開發(fā)。負(fù)責(zé)完成基于 n e t f l o w 的網(wǎng)絡(luò)流量流向分析模塊，此模塊對(duì)企業(yè)內(nèi)部網(wǎng)絡(luò)的利用率和 網(wǎng)絡(luò)帶寬和負(fù)載調(diào)整有重要的作用。 一 全國(guó)無線電管理信息系統(tǒng)網(wǎng)絡(luò)管理系統(tǒng)的研究與開發(fā)。在研究和開發(fā)的 工作中提出了基于企業(yè)內(nèi)部網(wǎng)絡(luò)的網(wǎng)絡(luò)流量異常檢測(cè)算法，并且根據(jù) i t 運(yùn)維管理系統(tǒng)結(jié)構(gòu)，將網(wǎng)絡(luò)流量異常檢測(cè)作為其中一個(gè)關(guān)鍵子系統(tǒng) 實(shí)現(xiàn)，此子系統(tǒng)能夠根據(jù)網(wǎng)絡(luò)出現(xiàn)的異常及時(shí)告警，使得網(wǎng)絡(luò)的可靠性 和可用性得到保證。 2 北京郵電大學(xué)碩士研究生畢業(yè)論文網(wǎng)絡(luò)流量異常檢測(cè)模型設(shè)計(jì)與實(shí)現(xiàn) 1 4 本文結(jié)構(gòu) 本文共五章，其內(nèi)容如下： 第一章前言。前言描述問題的研究背景和研究意義以及本文要解決的問題。 第二章網(wǎng)絡(luò)異常流量檢測(cè)方法概述。全面綜述各種網(wǎng)絡(luò)流量的異常檢測(cè)方 法，并且給出具體的描述和分析。 第三章網(wǎng)絡(luò)流量異常檢測(cè)新算法與綜合檢測(cè)模型。提出了基于時(shí)間窗比較 進(jìn)行網(wǎng)絡(luò)異常流量檢測(cè)的新算法，在此基礎(chǔ)上，提出了網(wǎng)絡(luò)異常流量綜合檢測(cè) 模型。 第四章流量異常檢測(cè)子系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)。在簡(jiǎn)單介紹i t 運(yùn)維管理系統(tǒng)結(jié)構(gòu) 和系統(tǒng)功能后，說明網(wǎng)絡(luò)異常流量檢測(cè)在實(shí)現(xiàn)1 1 r 運(yùn)維管理系統(tǒng)中起到的重要作 用，設(shè)計(jì)并實(shí)現(xiàn)了網(wǎng)絡(luò)流量異常檢測(cè)子系統(tǒng)。此子系統(tǒng)實(shí)現(xiàn)本文提出的網(wǎng)絡(luò)流 量異常綜合檢測(cè)模型。 第五章結(jié)束語?？偨Y(jié)全文并提出論文中可進(jìn)一步改進(jìn)的地方。 最后為參考文獻(xiàn)和致謝部分。 北京郵電人學(xué)碩： ：研究生畢業(yè)論文網(wǎng)絡(luò)流量異常檢測(cè)模型沒計(jì)與實(shí)現(xiàn) 第二章網(wǎng)絡(luò)流量異常檢測(cè)方法概述 本章對(duì)現(xiàn)有的網(wǎng)絡(luò)異常檢測(cè)技術(shù)進(jìn)行較為詳細(xì)地描述和分析。首先根據(jù)網(wǎng) 絡(luò)流量出現(xiàn)異常的原因?qū)W(wǎng)絡(luò)異常流量進(jìn)行了分類，然后根據(jù)不同的角度將檢 測(cè)方法分為兩個(gè)大類進(jìn)行描述，其中靜態(tài)檢測(cè)方法包括固定閾值方法和自適應(yīng) 閾值調(diào)整方法【3 】；動(dòng)態(tài)檢測(cè)方法包括基于指數(shù)平滑技術(shù)的檢測(cè)方法 4 1 、g l r 檢 測(cè)方法【5 1 、a m yw a r d 等人提出的檢測(cè)方法【6 】等。 2 1 網(wǎng)絡(luò)異常分類 網(wǎng)絡(luò)流量異常的產(chǎn)生有多種原因造成，總結(jié)起來產(chǎn)生網(wǎng)絡(luò)流量異常的主要 原因有：( 1 ) 網(wǎng)絡(luò)設(shè)備自身發(fā)生故障，例如在網(wǎng)絡(luò)中由于路由器或是交換機(jī)的 故障導(dǎo)致網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的變化或是網(wǎng)絡(luò)的中斷都會(huì)發(fā)生網(wǎng)絡(luò)流量的變化，導(dǎo)致 某些鏈路的流量異常增加，某些鏈路流量異常減小。在企業(yè)內(nèi)部構(gòu)建的i t 支撐 系統(tǒng)包括多種支撐服務(wù)，如數(shù)據(jù)庫服務(wù)器，郵件服務(wù)器，w e b 服務(wù)器等等，當(dāng) 這些服務(wù)器出現(xiàn)故障的時(shí)候也會(huì)導(dǎo)致網(wǎng)絡(luò)流量出現(xiàn)異常的變化。( 2 ) 當(dāng)網(wǎng)絡(luò)中 存在惡意攻擊的時(shí)候，網(wǎng)絡(luò)也會(huì)出現(xiàn)異常流量，例如當(dāng)r r 系統(tǒng)中某臺(tái)主機(jī)感染 了蠕蟲病毒，導(dǎo)致該主機(jī)瘋狂的進(jìn)行主機(jī)探測(cè)，這時(shí)候網(wǎng)絡(luò)中會(huì)出現(xiàn)具有蠕蟲 病毒特征的i c m pp i n g 包和t c ps y n ，f i n ，r s t 及a c k 包。當(dāng)企業(yè)內(nèi)部網(wǎng)絡(luò) 中的部分主機(jī)感染了這種病毒的時(shí)候，網(wǎng)絡(luò)就會(huì)大量充斥著這種包，導(dǎo)致其他 業(yè)務(wù)數(shù)據(jù)丟失，網(wǎng)絡(luò)流量過載，或是網(wǎng)絡(luò)擁塞。 根據(jù)網(wǎng)絡(luò)異常流量引起的不同原因可以把網(wǎng)絡(luò)異常分為三類【7 l ：網(wǎng)絡(luò)故障 引起的異常、瞬間大量訪問異常和網(wǎng)絡(luò)攻擊異常。 網(wǎng)絡(luò)故障異常是指由于網(wǎng)絡(luò)設(shè)備的故障或是鏈接到網(wǎng)絡(luò)上的承載一些關(guān)鍵 業(yè)務(wù)的服務(wù)器的故障，從而引起的網(wǎng)絡(luò)流量異常。例如在企業(yè)內(nèi)部構(gòu)建的i t 支撐系統(tǒng)中，由于某個(gè)運(yùn)行一項(xiàng)支撐服務(wù)( 例如：郵件服務(wù)) 的服務(wù)器發(fā)生故 障，導(dǎo)致這項(xiàng)服務(wù)的暫停，可以很清楚的看到企業(yè)網(wǎng)絡(luò)由于郵件服務(wù)的停止會(huì) 使網(wǎng)絡(luò)流量大幅下降，導(dǎo)致流量的異常減小。再例如企業(yè)內(nèi)部網(wǎng)絡(luò)由兩個(gè)核心 路由器組成和外界信息交互的消息轉(zhuǎn)發(fā)，當(dāng)某一個(gè)路由器發(fā)生故障的時(shí)候，另 一個(gè)路由器上的端口會(huì)比平時(shí)接到更多的數(shù)據(jù)發(fā)送和接收的請(qǐng)求，有可能導(dǎo)致 網(wǎng)絡(luò)過載和擁塞，從而使得網(wǎng)絡(luò)服務(wù)質(zhì)量變差，關(guān)鍵業(yè)務(wù)數(shù)據(jù)丟失等等。這種 情況會(huì)導(dǎo)致觀測(cè)路由器端口轉(zhuǎn)發(fā)的數(shù)據(jù)流量會(huì)突然大幅增加，導(dǎo)致流量異常變 大。 瞬間大量訪問異常是指由于在短時(shí)間內(nèi)對(duì)網(wǎng)絡(luò)中某個(gè)服務(wù)器請(qǐng)求的大量發(fā) 起導(dǎo)致服務(wù)器過載，業(yè)務(wù)不能處理，響應(yīng)不及時(shí)等情況導(dǎo)致的異常。這種異常 4 北京郵電大學(xué)碩士研究生畢業(yè)論文網(wǎng)絡(luò)流量異常檢測(cè)模型設(shè)計(jì)與實(shí)現(xiàn) 跟網(wǎng)絡(luò)故障異常引起的網(wǎng)絡(luò)流量異常增大有相似的地方，但是它們屬于不同的 分類。網(wǎng)絡(luò)故障導(dǎo)致的網(wǎng)絡(luò)流量異常增大是由于硬件設(shè)備的故障使得網(wǎng)絡(luò)拓?fù)?結(jié)構(gòu)的改變從而引起的異常，而瞬間大量訪問則是由于用戶行為的變化導(dǎo)致了 網(wǎng)絡(luò)流量異常，例如，過年期間的短消息發(fā)送量較平時(shí)會(huì)有幾倍甚至幾十倍， 幾百倍的增長(zhǎng)，這種可以預(yù)期的用戶行為導(dǎo)致網(wǎng)絡(luò)異常和硬件故障引起的異常 需要不同的區(qū)分和解決。 網(wǎng)絡(luò)攻擊異常是指網(wǎng)絡(luò)中出現(xiàn)惡意的對(duì)網(wǎng)絡(luò)中某個(gè)目標(biāo)進(jìn)行攻擊。例如 d o s 攻擊和蠕蟲病毒端口掃描攻擊。這種網(wǎng)絡(luò)異常情況的出現(xiàn)是由于企業(yè)內(nèi)部 網(wǎng)絡(luò)感染病毒造成。當(dāng)部分主機(jī)感染了這個(gè)病毒以后，會(huì)導(dǎo)致這些主機(jī)大量不 斷向內(nèi)網(wǎng)中其他主機(jī)發(fā)送端口掃描的數(shù)據(jù)包，由于網(wǎng)絡(luò)的承載設(shè)備不能區(qū)分網(wǎng) 絡(luò)中的業(yè)務(wù)組成所以會(huì)將病毒包和正常的業(yè)務(wù)數(shù)據(jù)包做相同的處理，即在網(wǎng)絡(luò) 設(shè)備負(fù)載過重的情況下會(huì)丟棄大量的數(shù)據(jù)包。當(dāng)這種情況出現(xiàn)以后，業(yè)務(wù)質(zhì)量 將會(huì)大幅下降，網(wǎng)絡(luò)會(huì)由于大量存在于網(wǎng)絡(luò)中的病毒數(shù)據(jù)包而擁塞和過載，嚴(yán) 重的損壞了企業(yè)網(wǎng)絡(luò)和業(yè)務(wù)的運(yùn)行。 2 2 靜態(tài)檢測(cè)方法 靜態(tài)檢測(cè)方法是指由網(wǎng)絡(luò)管理人員根據(jù)自己在管理網(wǎng)絡(luò)過程中的經(jīng)驗(yàn)來設(shè) 定閾值檢測(cè)網(wǎng)絡(luò)是否出現(xiàn)異常。靜態(tài)檢測(cè)方法包括固定閾值和自適應(yīng)閾值設(shè)定 兩種。靜態(tài)檢測(cè)方法完全依賴于網(wǎng)絡(luò)管理人員對(duì)整個(gè)網(wǎng)絡(luò)流量的熟悉程度和他 自己對(duì)這個(gè)網(wǎng)絡(luò)流量行為的認(rèn)識(shí)和理解。網(wǎng)絡(luò)管理員根據(jù)自己管理網(wǎng)絡(luò)的經(jīng)驗(yàn) 來設(shè)定閾值，使得網(wǎng)絡(luò)異常流量檢測(cè)閾值不能隨著網(wǎng)絡(luò)流量時(shí)刻的變化來及時(shí) 的調(diào)整，產(chǎn)生很多的誤報(bào)事件和漏報(bào)事件。改變閾值由人工設(shè)定固定的值到網(wǎng) 絡(luò)根據(jù)流量隨時(shí)調(diào)整到自適應(yīng)的閾值設(shè)定是網(wǎng)絡(luò)流量異常檢測(cè)的一種進(jìn)步，這 樣使得人工維護(hù)閾值的成本降低，依賴于系統(tǒng)的自適應(yīng)。但是自適應(yīng)的閾值設(shè) 定檢測(cè)方法同樣是基于靜態(tài)檢測(cè)的方法，對(duì)于網(wǎng)絡(luò)存在那種流量突變的情況同 樣存在漏報(bào)的情況。 2 2 1 固定閾值的檢測(cè)方法 固定閾值的檢測(cè)方法，是目前網(wǎng)絡(luò)監(jiān)測(cè)中最常見的方法。該方法簡(jiǎn)單易行， 實(shí)時(shí)性強(qiáng)，但是需要網(wǎng)絡(luò)維護(hù)和監(jiān)測(cè)人員需要有豐富的網(wǎng)絡(luò)管理經(jīng)驗(yàn)，閾值的 選擇必須合適當(dāng)前網(wǎng)絡(luò)情況。當(dāng)選擇閾值過高時(shí)，如果網(wǎng)絡(luò)這個(gè)時(shí)候發(fā)生異常， 而異常的變化在閾值以下，則可能檢測(cè)不出這種流量異常。如果設(shè)置的閾值過 低，由于網(wǎng)絡(luò)的不穩(wěn)定性則會(huì)造成過的虛假告警，產(chǎn)生告警風(fēng)暴，從而掩蓋真 北京郵電人學(xué)碩十研究生畢業(yè)論文網(wǎng)絡(luò)流量異常檢測(cè)模型設(shè)計(jì)與實(shí)現(xiàn) 實(shí)的有用的告警，使得網(wǎng)絡(luò)管理人員很難維護(hù)。 固定閾值的檢測(cè)方法對(duì)某個(gè)網(wǎng)絡(luò)參數(shù)給出確定的閾值，如果在某個(gè)采樣時(shí) 刻發(fā)現(xiàn)采集的該參數(shù)值超過預(yù)定的閾值，則發(fā)出流量異常告警。 u 名s 8 8 8 i - s t a t , l ct r a f f l cl 舊脯b n 翻噸l i m _ 0 州陟 ，。 l v i 諺 隊(duì)- f 1 k ， b 1 “m瑚2 圖2 1 固定閾值檢測(cè)方法示意圖 如圖2 1 所示，起伏的線表示采集一段時(shí)間采集到的網(wǎng)絡(luò)流量數(shù)據(jù)，水平 線表示預(yù)先設(shè)定的閾值。采樣點(diǎn)為每五分鐘一次，如果預(yù)先設(shè)定的閾值為一個(gè) 常數(shù)，則由上圖我們可以看到當(dāng)采集到的流量大于閾值( 本例中我們假設(shè)為 5 0 0 0 ) 的時(shí)候，系統(tǒng)就會(huì)自動(dòng)產(chǎn)生一個(gè)流量異常告警。這種方法簡(jiǎn)便易行，但 是需要豐富的網(wǎng)絡(luò)管理經(jīng)驗(yàn)，閾值的選擇必須適當(dāng)。這種方法存在三個(gè)問題： 一，如何設(shè)定一個(gè)合適的閾值是一個(gè)難點(diǎn)；二，難以發(fā)現(xiàn)一些在可以接受閾值 內(nèi)，流量細(xì)微變化的異常行為：三，由于網(wǎng)絡(luò)中流量在不同的時(shí)間呈現(xiàn)出不同 的流量趨勢(shì)，對(duì)不同時(shí)自j 采用同一個(gè)閾值顯然不太利用異常的發(fā)現(xiàn)，導(dǎo)致發(fā)生 較高的誤報(bào)率或是較高的漏報(bào)率。 2 2 2 自適應(yīng)閾值的檢測(cè)方法 自適應(yīng)的閾值設(shè)定檢測(cè)方法是對(duì)固定閾值檢測(cè)方法的一種改進(jìn)。由于上面 所說的情況，對(duì)于不同時(shí)間段的網(wǎng)絡(luò)流量采用同樣一個(gè)閾值來判斷網(wǎng)絡(luò)是否出 現(xiàn)異常是不合理的。企業(yè)內(nèi)部的i t 系統(tǒng)網(wǎng)絡(luò)呈現(xiàn)出一個(gè)周期性和突發(fā)性明顯的 6 北京郵電火學(xué)碩士研究生畢業(yè)論文網(wǎng)絡(luò)流量異常檢測(cè)模型設(shè)計(jì)與實(shí)現(xiàn) 特征，例如在工作時(shí)間的流量占總流量的絕大部分，而工作時(shí)間外，除了網(wǎng)絡(luò) 本身維護(hù)自身需要的流量外，人為參與導(dǎo)致流量變動(dòng)的情況很少，這些自身又 組成一個(gè)相似的網(wǎng)絡(luò)流量曲線。工作日的流量則又呈現(xiàn)出一個(gè)工作時(shí)間和非工 作時(shí)間流量突變的一種情況。 自適應(yīng)的閾值檢測(cè)方法，對(duì)于某個(gè)流量參數(shù)，不再采用同一不變的閾值來 檢測(cè)，而是根據(jù)網(wǎng)絡(luò)實(shí)際流量在不同時(shí)間段內(nèi)的流量趨勢(shì)，在不同的采集時(shí)刻 點(diǎn)設(shè)置不同的閾值來判斷流量是否異常。這樣的檢測(cè)方法比固定閾值的檢測(cè)方 法更能符合網(wǎng)絡(luò)監(jiān)測(cè)的實(shí)際需求。自適應(yīng)的閾值檢測(cè)方法可以分為兩個(gè)步驟： 第一，模型化正常行為( 稱作基線建立) ；第二，根據(jù)基線建立一個(gè)網(wǎng)絡(luò)行為容 許的變化范圍邊界，這個(gè)邊界就是用來區(qū)分網(wǎng)絡(luò)正常行為與異常行為的界線。 a m a x i o n 3 】等人應(yīng)用自適應(yīng)的閾值檢測(cè)方法，通過檢測(cè)卡內(nèi)基梅隆大學(xué) 校園網(wǎng)中計(jì)算機(jī)系子網(wǎng)的利用率、以太網(wǎng)中的數(shù)據(jù)包碰撞數(shù)、數(shù)據(jù)包大小分布、 廣播數(shù)據(jù)包以及對(duì)大流量用戶流量排名統(tǒng)計(jì)，檢測(cè)廣播風(fēng)暴、人為故障插入( 產(chǎn) 生大量的短數(shù)據(jù)包，持續(xù)發(fā)送數(shù)分鐘) 、以及硬件故障( 協(xié)議實(shí)現(xiàn)的問題) 等等。 在同樣的子網(wǎng)中，f f e a t h e r l 4 1 等人應(yīng)用類似的方法，通過檢測(cè)網(wǎng)絡(luò)負(fù)載、進(jìn)出 入子網(wǎng)的數(shù)據(jù)包數(shù)、網(wǎng)絡(luò)中發(fā)生的碰撞數(shù)、短數(shù)據(jù)包、長(zhǎng)數(shù)據(jù)包、廣播包等參 數(shù)觀測(cè)值中的異常，檢測(cè)到廣播風(fēng)暴、網(wǎng)橋宕機(jī)、硬件故障等異常。觀測(cè)值的 采樣時(shí)間間隔為5 分鐘。 在這種檢測(cè)方法中，主要對(duì)觀測(cè)值的歷史數(shù)據(jù)建立數(shù)學(xué)模型、模型的更新、 以及確定容許范圍。以網(wǎng)絡(luò)的利用率為例，從實(shí)際以太網(wǎng)中采集的網(wǎng)絡(luò)利用率， 在不同時(shí)刻的觀測(cè)值差異很大。這個(gè)檢測(cè)方法需要做的首先是消除數(shù)據(jù)中的顯 著差異性而保持原始形狀和趨勢(shì)，再用數(shù)學(xué)模型來近似地?cái)M合這些散亂的數(shù)據(jù)。 因?yàn)閿?shù)學(xué)模型是時(shí)間的函數(shù)，即得到一條曲線，將這條曲線作為這些數(shù)據(jù)總的 趨勢(shì)的一種表示，反映數(shù)據(jù)中的總體上升、下降和周期性行為和順序。這里采 用一系列數(shù)據(jù)分析中采用的技術(shù)來平滑原始數(shù)據(jù)，得到數(shù)學(xué)模型如下： z f = 0 2 5 y f 1 + o 5 y f + 0 2 5 y ，+ l ( 2 - 1 ) 這條曲線還不是一條平滑曲線，需要進(jìn)一步平滑，再經(jīng)過中值過濾、取得 中值過濾后的信號(hào)的導(dǎo)數(shù)，然后進(jìn)行閾值處理、合成信號(hào)，調(diào)整總體幅度的一 系列處理過程，才能得到一條光滑的擬合曲線p ( t ) ，它用來表示觀測(cè)值的正 常行為，是一個(gè)t 的函數(shù)。 上述過程僅僅是一天時(shí)間的正常行為，它不可能表示撿來每天的正常行為。 由于網(wǎng)絡(luò)的動(dòng)態(tài)性，網(wǎng)絡(luò)行為會(huì)因?yàn)榫W(wǎng)絡(luò)不斷變化環(huán)境的影響而發(fā)生逐漸漂移， 隨著時(shí)間的發(fā)展會(huì)越來越遠(yuǎn)離當(dāng)前的正常行為。因此需要一種方法根據(jù)最近以 來的觀測(cè)值逐漸刷新每天的網(wǎng)絡(luò)正常行為模型。這種刷新機(jī)制可以通過把當(dāng)天 7 北京郵電大學(xué)碩上研究生畢業(yè)論文 網(wǎng)絡(luò)流量異常檢測(cè)模型設(shè)計(jì)與實(shí)現(xiàn) 的和前一天的網(wǎng)絡(luò)行為混合起來，使得歷史數(shù)據(jù)的影響起著主導(dǎo)作用。這種混 合是經(jīng)過下面的關(guān)系式來實(shí)現(xiàn)的： p ( t ) = 口 d ( f ) 一p ( t 1 ) + p ( t 1 )( 2 2 ) 其中p ( t ) 是以太網(wǎng)利用率在時(shí)間t 的預(yù)測(cè)值，即時(shí)刻t 的正常模型，d ( t ) 是時(shí)刻t 的觀測(cè)值，q 是加權(quán)常數(shù)，它控制新數(shù)據(jù)在模型中所占的比重，所以它可以控 制模型適應(yīng)局部行為的快慢程度。 上面所做的工作是整個(gè)自適應(yīng)閾值的檢測(cè)方法的第一步，即模型化正常行 為( 也包括了正常模型的刷新) 。如果當(dāng)前觀測(cè)值完全符合這個(gè)正常行為模型， 那么這個(gè)觀測(cè)值顯然應(yīng)該認(rèn)為是正常的。但是這種判斷準(zhǔn)則過于苛刻，因?yàn)槠?望一天的網(wǎng)絡(luò)行為與前一天的行為完全匹配是不可能的。那么就需要一個(gè)容許 范圍，一個(gè)新的觀測(cè)值如果在這個(gè)邊界以內(nèi)就被看作是正常的，如果位于該邊 界范圍之外，那么就被認(rèn)為是異常的。如何得到這個(gè)容許范圍呢? 這就是第二 步需要解決的問題，也就是建立正常行為的邊界，或是說是容許范圍。 獲取容許范圍的需要以建立正常行為模型相同的方法計(jì)算得到。不同之處 在于模型化正常行為的數(shù)據(jù)直接來自網(wǎng)絡(luò)環(huán)境，即觀測(cè)值本身，而容許范圍的 數(shù)據(jù)則是由這些觀測(cè)值的標(biāo)準(zhǔn)差得到。也就是說，在每天的同一時(shí)刻，都有一 個(gè)觀測(cè)值，那么在過去一周( 或1 0 天，一個(gè)月) 的每個(gè)時(shí)刻就有7 個(gè)( 1 0 個(gè)， 3 0 個(gè)) 觀測(cè)值，由這些觀測(cè)值可以算出它們的標(biāo)準(zhǔn)差。當(dāng)這個(gè)標(biāo)準(zhǔn)差，即容許 范圍得到以后，把它加到正常行為模型( 曲線) 上，得到正常行為的上邊界， 再由正常行為模型減去容許范圍，就得到正常行為的下邊界。 2 3 動(dòng)態(tài)檢測(cè)方法 2 3 1 基于指數(shù)平滑技術(shù)的檢測(cè)方法 在網(wǎng)絡(luò)檢測(cè)軟件r r d t o o l 8 】中常使用一種利用指數(shù)平滑技術(shù)檢測(cè)網(wǎng)絡(luò)異常 的方法。這種檢測(cè)方法實(shí)際上是利用預(yù)測(cè)技術(shù)得到下一個(gè)預(yù)測(cè)值，然后以這個(gè) 預(yù)測(cè)值作為參照，考慮下一個(gè)實(shí)際觀測(cè)值與該預(yù)測(cè)值的偏離大小。如果偏離超 出一定范圍就認(rèn)為是異常。這個(gè)實(shí)時(shí)監(jiān)測(cè)軟件能夠收集、存儲(chǔ)、以及可視化網(wǎng) 絡(luò)各參數(shù)的觀測(cè)值序列，并集成了數(shù)學(xué)模型對(duì)觀測(cè)值序列進(jìn)行自動(dòng)地異常檢測(cè)， 是一種靈活、有效的自動(dòng)化檢測(cè)工具，可以大大減輕網(wǎng)絡(luò)管理人員的負(fù)擔(dān)。監(jiān) 測(cè)的參數(shù)有經(jīng)過路由器或交換機(jī)端i ：1 上的比特?cái)?shù)、c p u 負(fù)荷、鏈路上的負(fù)荷等。 通常觀測(cè)值采樣的時(shí)問間隔為5 分鐘。 指數(shù)平滑是基于時(shí)間序列的一個(gè)簡(jiǎn)單統(tǒng)計(jì)模型進(jìn)行預(yù)測(cè)的，指數(shù)平滑只需 北京郵電大學(xué)碩上研究生畢業(yè)論文網(wǎng)絡(luò)流量異常檢測(cè)模型設(shè)計(jì)與實(shí)現(xiàn) 要序列自身的信息進(jìn)行預(yù)測(cè)，而不需要其他序列的信息，是根據(jù)自身預(yù)測(cè)自身 的一種預(yù)測(cè)方法；指數(shù)平滑技術(shù)檢測(cè)方法中最簡(jiǎn)單的是簡(jiǎn)單指數(shù)平滑方法，適 用于序列值圍繞自身均值( 常數(shù)) 上下作隨即波動(dòng)的序列，這類序列既無趨勢(shì) 變動(dòng)也無季節(jié)變動(dòng)。在軟件r r d t o o l 中，應(yīng)用的指數(shù)平滑技術(shù)有單指數(shù)平滑和 h o l t w i n t e r s 指數(shù)平滑。 簡(jiǎn)單指數(shù)平滑預(yù)測(cè)過程是依據(jù)平滑常數(shù)q 進(jìn)行遞推計(jì)算的過程： y f + l = 明+ ( 1 一a ) y ， ( 2 - 3 ) 平滑常數(shù)q 是大于0 小于1 之間的一個(gè)小數(shù)，例如0 0 5 ，它使預(yù)測(cè)值與實(shí) 際值相適應(yīng)，對(duì)整個(gè)序列進(jìn)行平滑以后得到的平滑值就是下一期的預(yù)測(cè)值。 h o l t w i n t e r s 法是指數(shù)平滑中的一種方法，它適用于對(duì)具體有季節(jié)性影響的 線性增長(zhǎng)趨勢(shì)的序列進(jìn)行預(yù)測(cè)。這種方法計(jì)算常數(shù)項(xiàng)，趨勢(shì)系數(shù)( 即斜率) 和 季節(jié)影響的各個(gè)遞推值，如果序列中不存在季節(jié)變動(dòng)，可采用最簡(jiǎn)單的 h o l t w i n t e r s 模型法【1 3 1 ，就是不必考慮季節(jié)性影響。 這種方法把異常檢測(cè)整個(gè)檢測(cè)過程劃分為三個(gè)步驟：第一步，預(yù)測(cè)時(shí)間序 列中下一個(gè)值的算法；第二步，度量預(yù)測(cè)值和實(shí)際觀測(cè)值之間的偏差；第三步， 判斷觀測(cè)值是否異常的機(jī)制( 即判定它是否遠(yuǎn)離預(yù)測(cè)值) 。 第一步，預(yù)測(cè)算法。假定y l ，y 2 ， o9y t - i ，y t ，m l ，表示等時(shí)間間隔 的觀測(cè)值時(shí)間序列，m 表示每天的觀測(cè)值個(gè)數(shù)，指數(shù)平滑就是給定當(dāng)前值和當(dāng) 前的預(yù)測(cè)值時(shí)，預(yù)測(cè)時(shí)間序列中下一個(gè)值的簡(jiǎn)單算法。若y 。表示時(shí)間t 的預(yù)測(cè) 值( 亦稱平滑值) ，y 川表示時(shí)間什l 的預(yù)測(cè)值( 平滑值) ，y t 表示時(shí)間t 的實(shí)際 值，那么 y f + l = a y ，+ ( 1 一a ) y ， ( 2 4 ) 其中a 是模型參數(shù)( 或平滑常數(shù)) ，且0 q l ，它決定了預(yù)測(cè)值對(duì)過去值 的指數(shù)衰減的快慢，這就是指數(shù)平滑。h o l t w i n e r s 預(yù)測(cè)算法是以指數(shù)平滑算法 為基礎(chǔ)的算法，它假定觀測(cè)值時(shí)間序列可以分解為三個(gè)部分，即：基線 ( b a s e l i n e ) ，線性趨勢(shì)( 1 i n e a rt r e n d ) 和季節(jié)性影響( s e a s o n a le f f e c t ) 。h o l t w i n e r s 預(yù)測(cè)值就是： y 州= a ，+ 6 ，+ c f + l - 臃 ( 2 5 ) 其中a t ，b t ，e t 分別稱為基線、線性趨勢(shì)、和季節(jié)性趨勢(shì)。分別等于： a ，= c t ( y , 一c t - m ) + ( 1 一口) ( 口f i + 6 ，一1 ) ( 2 - 6 ) 包= f l ( a ，一a t 1 ) + ( 1 一) 島一l( 2 - 7 ) c ，= 廠( 只一a t ) + ( 1 7 ) 2 j i 一。 ( 2 - 8 ) 其中q ，d ，y 是算法的自適應(yīng)參數(shù)，且0 a ，i s ，y h 時(shí)，就認(rèn)為在r ( t ) 和s ( t ) 之間發(fā)生異常變化，否 北京郵電大學(xué)碩十研究生畢業(yè)論文網(wǎng)絡(luò)流量異常榆測(cè)模型設(shè)計(jì)與實(shí)現(xiàn) 則當(dāng)- l r g h 時(shí)，就認(rèn)為r ( t ) 和s ( t ) 之間沒有發(fā)生異常。 g l r 檢測(cè)方法是一種比較常用的方法，應(yīng)用比較廣泛。但是該檢測(cè)方法計(jì) 算過程過于繁雜，計(jì)算量大，對(duì)于在線檢測(cè)方法來說，檢測(cè)過程的復(fù)雜性和計(jì) 算時(shí)間都是必須考慮的重點(diǎn)，較長(zhǎng)的時(shí)間延遲也是其一個(gè)缺點(diǎn)。 2 3 3 a m yw a r d 等人提出的檢測(cè)方法 a m y w a r d 6 】等人提出了一種統(tǒng)計(jì)檢測(cè)方法檢測(cè)網(wǎng)絡(luò)性能問題。把這種方法 簡(jiǎn)單稱為a m yw a r d 方法。這種檢測(cè)方法的主要思想是建立網(wǎng)絡(luò)參數(shù)在正常運(yùn) 行情況下的一種模式特征，當(dāng)參數(shù)偏離正常行為時(shí)不符合這種模式，從而可以 被檢測(cè)出來。 該方法是建立在下面三個(gè)假設(shè)的基礎(chǔ)上： 1 ) 在一定時(shí)間內(nèi)，所選擇的參數(shù)過程是平穩(wěn)的。x ，表示第i 個(gè)工作日的 某個(gè)網(wǎng)絡(luò)參數(shù)觀測(cè)值組成的向量，即如果觀測(cè)值的時(shí)間間隔是5 分鐘， 則每天2 4 個(gè)小時(shí)共有2 8 8 個(gè)觀測(cè)值，那么x ，就是2 8 8 維的向量。假 定以( n o ) 與x m ( k 1 ) 具有相同的分布。 2 ) 滿足大數(shù)定律。每天的同一個(gè)時(shí)間的觀測(cè)值收斂于一個(gè)期望值，即如 果彤表示序列中第i 個(gè)工作日的第j 個(gè)觀測(cè)值，那么對(duì)大的n 有 e l x 川三：x ? 同時(shí)對(duì)周末也作相同的假設(shè)。 3 ) 與正常過程行為的偏差能反應(yīng)網(wǎng)絡(luò)問題。當(dāng)網(wǎng)絡(luò)出現(xiàn)問題時(shí)，過程可 能表現(xiàn)出奇怪的行為。也就是說，過程行為必須表現(xiàn)得很奇怪，使得 某些相關(guān)的參數(shù)表現(xiàn)出的行為與正常行為之間存在一定的偏差。 當(dāng)收集到的各個(gè)參數(shù)足夠的觀測(cè)值時(shí)，可以進(jìn)行異常檢測(cè)。整個(gè)檢測(cè)過程 可以分為下列4 步t 1 ) 丟棄已經(jīng)收集到的觀測(cè)值序列中發(fā)生問題時(shí)的數(shù)據(jù)； 2 ) 假定是當(dāng)時(shí)間t 充分大時(shí)，各參數(shù)過程服從正態(tài)分布，并且已經(jīng)證明 這種假設(shè)是成立的： 一一 3 ) 確定各參數(shù)過程在各個(gè)時(shí)間的均值ar 和標(biāo)準(zhǔn)偏差口，； 4 ) 調(diào)整識(shí)別偏離觀測(cè)值的界限。在這里先對(duì)觀測(cè)值進(jìn)行下式轉(zhuǎn)換： z f = 譬 ( 2 - 2 6 ) 磊 那么對(duì)充分大的時(shí)間t ，z t 可以近似地看作一個(gè)標(biāo)準(zhǔn)正態(tài)分布變量。該方法 給出了建議的經(jīng)驗(yàn)值，確定觀測(cè)值是否異常的界限是：z t 3 0 。 例如，當(dāng)t c p ps y n _ s e n t 狀態(tài)的連接數(shù)與t c p i ps y n _ r c v d 狀態(tài)的連接 北京郵電大學(xué)碩士研究生畢業(yè)論文網(wǎng)絡(luò)流量異常檢測(cè)模型設(shè)計(jì)與實(shí)現(xiàn) 數(shù)之比出現(xiàn)一個(gè)向上跳躍( 突變) ，而代理網(wǎng)關(guān)的吞吐量卻在下降時(shí)，那么就是 外部網(wǎng)絡(luò)出現(xiàn)問題。這是由于：( 1 ) 在t c pi ps y ns e n t 狀態(tài)消耗時(shí)間的長(zhǎng)短 反映了外部網(wǎng)絡(luò)的健康狀況，這個(gè)時(shí)間長(zhǎng)如果出現(xiàn)迅速增長(zhǎng)說明外部網(wǎng)可能存 在問題；( 2 ) 在t c pi ps y nr e v d 狀態(tài)消耗時(shí)間的長(zhǎng)短則反映了內(nèi)部網(wǎng)絡(luò)的健 康狀況，這個(gè)時(shí)候如果出現(xiàn)迅速增長(zhǎng)說明內(nèi)部網(wǎng)可能存在問題；( 3 ) 這時(shí)代理 網(wǎng)關(guān)的吞吐量也下降就表明網(wǎng)關(guān)代理處理外部鏈接請(qǐng)求和緩慢。 在實(shí)際使用中要逐漸調(diào)整該界限，使得即能盡量地檢測(cè)到發(fā)生的故障，誤 報(bào)率又盡可能小。 這種檢測(cè)方法的假定比較嚴(yán)格。要求在建立模式特征和檢測(cè)期間，流量參 數(shù)( 或性能參數(shù)) 過程是平穩(wěn)的，這個(gè)條件過于苛刻。滿足大數(shù)定律要求1 1 充 分大，即要求每天的同一個(gè)時(shí)間的觀測(cè)值收斂于一個(gè)期望值，對(duì)實(shí)際網(wǎng)絡(luò)來說， 由于網(wǎng)絡(luò)自身的動(dòng)態(tài)性，會(huì)收到一定程度的制約。 1 4 北京郵電大學(xué)碩上研究生畢業(yè)論文網(wǎng)絡(luò)流量異常檢測(cè)模型設(shè)計(jì)與實(shí)現(xiàn) 第三章網(wǎng)絡(luò)流量異常檢測(cè)新算法與綜合檢測(cè)模型 3 1 基于時(shí)間窗的比較檢測(cè)算法 3 1 1 企業(yè)內(nèi)部i t 網(wǎng)絡(luò)流量特點(diǎn)分析 企業(yè)內(nèi)部n 網(wǎng)絡(luò)流量呈現(xiàn)出一個(gè)周期性和突發(fā)性很明顯的特征【8 】，例如在 工作日流量占企業(yè)內(nèi)部網(wǎng)絡(luò)中總流量的絕大部分，節(jié)假日的內(nèi)部網(wǎng)絡(luò)流量則可 以忽略。工作日的流量則又呈現(xiàn)出休息時(shí)間和工作時(shí)間之間存在流量突變的情 況，如：早上上班時(shí)間和中午休息時(shí)間，下午上班到下午休息時(shí)間可將工作日 的流量分為三個(gè)階段。第一個(gè)階段流量變化趨勢(shì)從無到有存在一個(gè)劇烈的變化； 第二個(gè)階段為中午休息時(shí)間，這個(gè)階段存在流量的兩個(gè)突變，一個(gè)時(shí)中午下班 的突然減少和中午上班時(shí)間的突然增大；第三階段為下班以后，流量在下降后 呈現(xiàn)一個(gè)平穩(wěn)的態(tài)勢(shì)。工作日流量示意如圖3 1 所示，非工作日流量示意如圖 3 2 所示： 豈 奎 t r a f f i cm d e lo f - d r k i n 2d a y 圖3 1 工作日流量采樣值示意圖 1 5 北京郵電大學(xué)碩卜研究生畢業(yè)論文網(wǎng)絡(luò)流量異常檢測(cè)模型沒計(jì)與實(shí)現(xiàn) o - 一 專瑚。 - _ 繃0 0 t r a r t i cn o d e lo fan o n - - u o r k 蛔d e s l l ；心l 一釃肌積f 一 t _ 叫 b 1 8 81 5 82 0 02 5 8 t l n e 圖3 - 2 非工作日流量采樣值不慈圖 從圖3 1 和圖3 2 可以看到工作日和非工作日流量之間的差別。工作日的流 量明顯大于非工作日流量。工作日的流量呈現(xiàn)出較大的變化趨勢(shì)，而非工作日 的流量則趨于平穩(wěn)一些。 從圖3 1 可以看到對(duì)于工作日一天企業(yè)內(nèi)部流量采樣，流量較為明顯地集 中在兩個(gè)工作時(shí)段，非工作時(shí)間流量占總流量很小的一部分。工作日則周期性 的出現(xiàn)這樣一種流量情況。通過這樣分析內(nèi)部網(wǎng)絡(luò)流量特征，我們可以看出如 果僅僅是對(duì)流量進(jìn)行單一的動(dòng)態(tài)或者靜態(tài)檢測(cè)則可能會(huì)出現(xiàn)很大的誤報(bào)率。動(dòng) 態(tài)檢測(cè)出的流量突變異常有可能是網(wǎng)絡(luò)本身的特征，如上班的流量高峰。靜態(tài) 檢測(cè)的閾值如果定義在一個(gè)很大的范圍內(nèi)，則可能將出現(xiàn)異常的情況漏報(bào)。所 以需要采用兩種檢測(cè)算法結(jié)合的模型來檢測(cè)網(wǎng)絡(luò)流量異常。但是僅僅采用這兩 種異常檢測(cè)方法還是有不能檢測(cè)到的異常：當(dāng)每個(gè)采樣值處于異常的臨界狀態(tài)， 這時(shí)流量累積的增幅已經(jīng)有了較大的變化，通常可能是異常發(fā)現(xiàn)的前期，運(yùn)用 以上的兩種辦法都無法檢測(cè)到這樣的情況。 3 1 2 基于時(shí)間窗的比較檢測(cè)算法 為了解決以上問題，我們提出用時(shí)間窗內(nèi)的流量累積比較來判斷網(wǎng)絡(luò)是否 出現(xiàn)異常。 1 6 北京郵電大學(xué)碩：f ：研究生畢業(yè)論文網(wǎng)絡(luò)流量異常榆測(cè)模型設(shè)計(jì)與實(shí)現(xiàn) 已知的異常檢測(cè)方法只能根據(jù)歷史流量的統(tǒng)計(jì)值來對(duì)當(dāng)前流量采樣值進(jìn)行 判斷，有可能出現(xiàn)漏報(bào)的情況，即網(wǎng)絡(luò)流量趨勢(shì)和當(dāng)前值始終在可以接受的范 圍而沒有產(chǎn)生異常，但是流量在一段時(shí)間的累積有可能已經(jīng)超出了一個(gè)可以接 受的范圍，即有可能1 1 r 系統(tǒng)中某項(xiàng)業(yè)務(wù)由于網(wǎng)絡(luò)或者服務(wù)器自身的原因，在處 理接收業(yè)務(wù)的能力下降，導(dǎo)致一段時(shí)間內(nèi)累積網(wǎng)絡(luò)流量偏小，如果通過時(shí)間窗 的比較可以發(fā)現(xiàn)流量出現(xiàn)上述特征，則可以發(fā)送告警給網(wǎng)絡(luò)管理人員，檢查網(wǎng) 絡(luò)或系統(tǒng)中是否有導(dǎo)致異常出現(xiàn)的情況。 基于時(shí)間窗比較分為縱向比較和橫向的比較。縱向比較是當(dāng)前網(wǎng)絡(luò)采樣流 量時(shí)間窗口內(nèi)的流量累積以及流量趨勢(shì)同上一周采集到的相同工作日的相同時(shí) 間段窗口流量累積值和流量趨勢(shì)的比較。流量在同時(shí)間段有相似性和周期性， 縱向比較這兩個(gè)時(shí)間窗口內(nèi)的流量，可以得到i t 系統(tǒng)網(wǎng)絡(luò)是否在兩個(gè)相同的工 作日有著比較相似的利用，當(dāng)這個(gè)時(shí)間窗口的流量出現(xiàn)和上一個(gè)時(shí)間窗口流量 呈現(xiàn)明顯的不同的時(shí)候，則認(rèn)為網(wǎng)絡(luò)的服務(wù)出現(xiàn)了故障或者是由于網(wǎng)絡(luò)收到某 種攻擊造成。橫向比較是當(dāng)前網(wǎng)絡(luò)采集流量時(shí)間窗口內(nèi)的流量累積以及流量趨 勢(shì)同上一個(gè)工作日相同時(shí)間段內(nèi)的流量累積和流量趨勢(shì)的比較。做出對(duì)這個(gè)兩 個(gè)歷史時(shí)間窗的比較對(duì)比，能從兩個(gè)方面反映網(wǎng)絡(luò)的流量趨勢(shì)以及網(wǎng)絡(luò)利用情 況。一是反映當(dāng)前網(wǎng)絡(luò)同上一個(gè)時(shí)間窗比較得到網(wǎng)絡(luò)短期變化的特征，二是縱 向時(shí)間窗比較反映網(wǎng)絡(luò)的長(zhǎng)期變化特征。當(dāng)比較網(wǎng)絡(luò)長(zhǎng)期變化特征出現(xiàn)異常情 況時(shí)，我們還需要觀測(cè)網(wǎng)絡(luò)短期是否出現(xiàn)異常。例如當(dāng)網(wǎng)絡(luò)承載一個(gè)新業(yè)務(wù)的 時(shí)候，網(wǎng)絡(luò)流量相比上一周相同工作日的流量總體趨勢(shì)上漲，有可能已經(jīng)超出 正?？梢越邮艿姆秶@時(shí)候比較短期流量變化特征變得很有意義。因?yàn)樯弦?個(gè)周期時(shí)間窗口內(nèi)的流量由與網(wǎng)絡(luò)管理人員了解網(wǎng)絡(luò)情況的變化而將上一個(gè)異 常接受，這時(shí)候如果網(wǎng)絡(luò)短期的特征變化不明顯，則縱向比較出來的異常亦可 以作為接受的異常不進(jìn)行處理。綜合兩種時(shí)間窗口的比較，能夠?qū)Ξ惓z測(cè)模 塊的自適應(yīng)性得到增強(qiáng)，減少網(wǎng)絡(luò)管理人員的維護(hù)。 基于時(shí)間窗比較檢測(cè)算法實(shí)現(xiàn)步驟如下： 步驟一：獲取當(dāng)前時(shí)間窗內(nèi)和對(duì)應(yīng)上一個(gè)工作日時(shí)間窗內(nèi)所有采樣值； 步驟二：進(jìn)行時(shí)間窗縱向比較檢測(cè)； 步驟二：獲取上一個(gè)周期時(shí)間窗內(nèi)和對(duì)應(yīng)上一個(gè)工作日時(shí)間窗內(nèi)所有采樣值； 步驟三：進(jìn)行時(shí)間窗橫向比較檢測(cè)； 步驟四：得到兩個(gè)檢測(cè)結(jié)果； 步驟五：綜合判斷是否異常，進(jìn)行告警。 1 7 北京郵電大學(xué)碩十研究生畢業(yè)論文網(wǎng)絡(luò)流量異常柃測(cè)模型設(shè)計(jì)與實(shí)現(xiàn) 3 1 2 1基于時(shí)間窗口的縱向比較算法 將網(wǎng)絡(luò)流量在一個(gè)時(shí)間窗內(nèi)進(jìn)行比較，可以比較出一段時(shí)間來網(wǎng)絡(luò)流量行 為的累積變化趨勢(shì)。 僅僅通過單一時(shí)間點(diǎn)的檢測(cè)我們認(rèn)為還不能發(fā)現(xiàn)網(wǎng)絡(luò)存在的所有異常，當(dāng) 流量值均在檢測(cè)的可接受的范圍內(nèi)，但每個(gè)檢測(cè)點(diǎn)的流量值均較過去相同周期 的值大或小，即網(wǎng)絡(luò)在這個(gè)時(shí)間窗內(nèi)的流量總和可能已經(jīng)偏離了正常范圍。這 個(gè)時(shí)候僅做已知算法的檢測(cè)可能已經(jīng)不能滿足要求，于是我們提出了對(duì)網(wǎng)絡(luò)流 量進(jìn)行時(shí)間窗的比較，即比較一段時(shí)間內(nèi)的流量差異。這樣更多的結(jié)合歷史數(shù) 據(jù)，學(xué)習(xí)過去網(wǎng)絡(luò)的行為，有助于我們發(fā)現(xiàn)網(wǎng)絡(luò)中出現(xiàn)的異常。 對(duì)比縱向的時(shí)間窗數(shù)據(jù)的意思是，抽取當(dāng)前檢測(cè)點(diǎn)時(shí)間過去的半小時(shí)數(shù)據(jù)， 即六個(gè)采樣點(diǎn)( 系統(tǒng)設(shè)計(jì)每5 分鐘對(duì)流量進(jìn)行采樣一次) 作為一個(gè)時(shí)間窗，同 時(shí)從歷史數(shù)據(jù)中抽取過去一天的相同時(shí)間段內(nèi)的六個(gè)采樣點(diǎn)的數(shù)據(jù)作為比較依 據(jù)。由于網(wǎng)絡(luò)流量的周期相似性，這兩個(gè)時(shí)間窗內(nèi)的數(shù)據(jù)點(diǎn)形成的曲線應(yīng)該相 似，通過對(duì)這兩條曲線進(jìn)行相似度的比較我們可以認(rèn)為網(wǎng)絡(luò)在這段時(shí)間內(nèi)是否 出現(xiàn)異常。 記當(dāng)前時(shí)間窗內(nèi)的流量數(shù)據(jù)為葺( 1 t 6 ) ，記上一個(gè)時(shí)間窗的流量數(shù)據(jù)為 ) ，( 1 t 6 ) ，進(jìn)行計(jì)算： 兄：蘭! ：蘭! 1 6 2 ( 3 - 1 ) 如果當(dāng)前時(shí)間窗和上一個(gè)時(shí)間窗的曲線相似，則旯的值則應(yīng)趨進(jìn)于0 ，如果 五的值超出某個(gè)設(shè)定的值，則認(rèn)為兩個(gè)曲線差異度較大，即不相似。如果旯在 某個(gè)可以接受的范圍( 這個(gè)范圍由網(wǎng)絡(luò)管理人員來根據(jù)網(wǎng)絡(luò)運(yùn)行的情況進(jìn)行調(diào) 整) 內(nèi)則認(rèn)為網(wǎng)絡(luò)屬于正常運(yùn)行狀態(tài)。 3 1 2 2基于時(shí)間窗口的橫向比較算法 系統(tǒng)通過對(duì)比縱向的時(shí)問窗得到網(wǎng)絡(luò)流量異常，有可能是一種誤報(bào)，這種 情況出現(xiàn)在，當(dāng)網(wǎng)絡(luò)流量曲線相似，但是當(dāng)前網(wǎng)絡(luò)的流量較縱向時(shí)間窗口流量 有一個(gè)整體的上升或者下降，即可能內(nèi)部網(wǎng)絡(luò)承載了新的業(yè)務(wù)。由于業(yè)務(wù)新的 出現(xiàn)開始必然會(huì)導(dǎo)致流量的異常，但是網(wǎng)絡(luò)管理員認(rèn)為這種流量屬于正常范圍 ( 即人可控范圍內(nèi)) ，那么系統(tǒng)對(duì)于網(wǎng)絡(luò)出現(xiàn)的這種業(yè)務(wù)或是拓?fù)浣Y(jié)構(gòu)改變帶來 的流量變動(dòng)需要有自適應(yīng)的過程，需要學(xué)習(xí)這種網(wǎng)絡(luò)流量的變化到達(dá)降低系統(tǒng) 誤報(bào)率的目的。 北京郵電大學(xué)碩十研究生畢業(yè)論文網(wǎng)絡(luò)流量異常檢測(cè)模型設(shè)計(jì)與實(shí)現(xiàn) 我們獲取當(dāng)前時(shí)間窗的數(shù)據(jù)記為五，( 1 f 6 ) ，當(dāng)前時(shí)間窗上一時(shí)間窗數(shù)據(jù) 為x 2 ，( 1 f 6 ) ，上一工作日當(dāng)前時(shí)問窗的數(shù)據(jù)為y l ，( 1 f 6 ) ，該時(shí)間窗的是 一個(gè)時(shí)間窗的數(shù)據(jù)為y 2 ，( 1 t 6 ) 。這樣我們獲得了四個(gè)時(shí)間窗的共2 4 個(gè)數(shù)據(jù)， 對(duì)這2 4 個(gè)數(shù)據(jù)做如下比較： 五。= ( x 。，一y 。，) 2 五：= g ：，一y ：，) 2 見：且 旯2 ( 3 2 ) ( 3 - 3 ) ( 3 - 4 ) 丑的值反映當(dāng)前時(shí)間窗和上一個(gè)工日的當(dāng)前時(shí)間窗流量的增幅情況，而五反映 的是上一周期兩個(gè)時(shí)間窗的流量增幅情況。通過對(duì)比 和如的比值我們得到一 個(gè)數(shù)字允，五反映了一段時(shí)間來網(wǎng)絡(luò)流量是否出現(xiàn)如上討論的那種情況，即上 個(gè)周期由網(wǎng)絡(luò)運(yùn)維人員確認(rèn)的流量變化在這個(gè)周期并不將其報(bào)告為異常。 3 2 網(wǎng)絡(luò)流量異常綜合檢測(cè)模型 為了進(jìn)一步降低異常告警的誤報(bào)率和漏報(bào)率，我們提出將現(xiàn)有的網(wǎng)絡(luò)流量 異常檢測(cè)算法同我們提出的基于時(shí)間窗口比較的檢測(cè)算法相結(jié)合，通過綜合分 析出各個(gè)檢測(cè)算法的檢測(cè)結(jié)果，最后給出網(wǎng)絡(luò)是否存在異常。所提出的異常綜 合檢測(cè)模型由五個(gè)部分組成，分別是：數(shù)據(jù)的采集，數(shù)據(jù)的存儲(chǔ)，數(shù)據(jù)的多算 法檢測(cè)，算法結(jié)果的綜合分析以及分析結(jié)果響應(yīng)，如圖3 3 。檢測(cè)模型中的每 個(gè)算法都根據(jù)網(wǎng)絡(luò)實(shí)時(shí)采樣到的每個(gè)時(shí)刻的網(wǎng)絡(luò)流量值大小這一參數(shù)進(jìn)行異常 檢測(cè)。 圖3 3 異常檢測(cè)模型 1 9 北京郵電大學(xué)碩上研究生畢業(yè)論文網(wǎng)絡(luò)流量異常榆測(cè)模型設(shè)計(jì)與實(shí)現(xiàn) 3 2 1 模型檢測(cè)策略 在該模型的構(gòu)建中，我們先將流量采樣值先通過動(dòng)態(tài)和靜態(tài)的異常檢測(cè)， 當(dāng)在這兩種檢測(cè)同時(shí)發(fā)現(xiàn)網(wǎng)絡(luò)中存在異常則停止對(duì)異常的分析，直接可以向i t 運(yùn)維管理系統(tǒng)進(jìn)行告警。當(dāng)兩種異常檢測(cè)算法未發(fā)現(xiàn)網(wǎng)絡(luò)中存在異常，則需要 將通過時(shí)間窗的比較檢測(cè)來判斷網(wǎng)絡(luò)中是否存在累積的異常。 通過多種檢測(cè)方法，能夠從不同的方面發(fā)現(xiàn)網(wǎng)絡(luò)是否存在流量異常。單是 采用靜態(tài)和動(dòng)態(tài)檢測(cè)結(jié)合的方法能檢測(cè)出網(wǎng)絡(luò)中的大多數(shù)異常，但是對(duì)于網(wǎng)絡(luò) 中可能存在流量累積增幅過大的情況未作出判斷，采用時(shí)間窗檢測(cè)彌補(bǔ)了這樣 一種誤判。但是只采用時(shí)間窗的辦法不能對(duì)于網(wǎng)絡(luò)異常進(jìn)行全面的檢測(cè)，由于 時(shí)間窗是基于一段時(shí)間流量累積結(jié)果的綜合分析，對(duì)于網(wǎng)絡(luò)中存在細(xì)微突變的 檢測(cè)能力在對(duì)于各個(gè)采樣點(diǎn)進(jìn)行平均計(jì)算的時(shí)候消失掉了。所以時(shí)間窗的檢測(cè) 是對(duì)現(xiàn)有靜態(tài)和動(dòng)態(tài)算法結(jié)合檢測(cè)的一種有效補(bǔ)充，能有效的降低網(wǎng)絡(luò)異常流 量的漏報(bào)率。 3 2 2 模型的工作流程 模型首先需要完成數(shù)據(jù)的采集工作，通過對(duì)網(wǎng)絡(luò)某個(gè)參數(shù)值的采集獲取需 要檢測(cè)的數(shù)據(jù)來源。第二步，將采集到的網(wǎng)絡(luò)參數(shù)抽樣值進(jìn)行存儲(chǔ)，以供數(shù)據(jù) 分析處理過程的進(jìn)行。第三步，通過采用異常流量檢測(cè)算法來判斷網(wǎng)絡(luò)中是否 存在異常得出一個(gè)判斷結(jié)果。第四步，根據(jù)第三步算法計(jì)算出來的檢測(cè)結(jié)果， 看由動(dòng)態(tài)檢測(cè)和靜態(tài)檢測(cè)是否有異常存在，當(dāng)沒有發(fā)現(xiàn)異常的時(shí)候，則需要進(jìn) 行時(shí)間窗比較的檢測(cè)，然后通過綜合分析部分對(duì)各個(gè)算法的檢測(cè)結(jié)果做一個(gè)綜 合比較分析，最后得出一個(gè)網(wǎng)絡(luò)流量是否異常的結(jié)論。第五步根據(jù)分析得出的 判斷結(jié)果，網(wǎng)絡(luò)管理系統(tǒng)可以作出一些響應(yīng)，例如發(fā)出異常告警，或是阻斷某 些問題主機(jī)的鏈接等等。分析和響應(yīng)步驟同時(shí)要影響采樣數(shù)據(jù)的