（計算機應用技術(shù)專業(yè)論文）基于數(shù)據(jù)挖掘的分布式入侵檢測系統(tǒng).pdf

摘要 入侵檢測在計算機安全系統(tǒng)中發(fā)揮著越來越重要的作用，目前入侵檢測使用 的規(guī)則庫還是主要依賴于專家分析提取，由于入侵檢測系統(tǒng)中數(shù)據(jù)量很大，使用 人工分析的代價是昂貴的。用數(shù)據(jù)挖掘技術(shù)分析網(wǎng)絡(luò)數(shù)據(jù)進行入侵檢測，可以有 效的減少人工分析的工作量，但數(shù)據(jù)挖掘技術(shù)應用到入侵檢測中存在著一些問 題，特別是挖掘效率的問題，該文通過改進系統(tǒng)結(jié)構(gòu)和數(shù)據(jù)挖掘的算法來提高系 統(tǒng)的性能。 本文對入侵檢測技術(shù)進行了分析和研究，提出了一個基于數(shù)據(jù)挖掘和a g e n t 的分布式入侵檢測模型，并在此模型的基礎(chǔ)上實現(xiàn)了一個基于數(shù)據(jù)挖掘和a g e n t 的分布式入侵檢測系統(tǒng)。該系統(tǒng)可以分布在網(wǎng)絡(luò)中任意數(shù)目的主機上，其分布式 體系結(jié)構(gòu)和靈活的代理體系，使得系統(tǒng)具有很強的分布性和擴展性，其實時的學 習功能增強了入侵檢測系統(tǒng)的檢測能力。 基于數(shù)據(jù)挖掘和a g e n t 的分布式入侵檢測模型的代理體系主要由通信代理、 數(shù)據(jù)挖掘代理、入侵檢測代理組成，代理之間各自獨立又相互協(xié)作，合作完成入 侵檢測的任務。代理體系的引入，將基于主機的入侵檢測和基于網(wǎng)絡(luò)的入侵檢測 靈活地融為一體，形成一個統(tǒng)一的入侵檢測系統(tǒng)。數(shù)據(jù)挖掘技術(shù)的引入，使入侵 檢測系統(tǒng)有了自學習能力，這使系統(tǒng)能自己從本機日志或網(wǎng)絡(luò)上的數(shù)據(jù)中學習并 提取特征值，通過分析不斷擴充自己的規(guī)則庫，不斷提高檢測入侵的能力。 本文實現(xiàn)了基于數(shù)據(jù)挖掘和a g e n t 的分布式入侵檢測系統(tǒng)的具體功能，本文 后面章節(jié)對引用的數(shù)據(jù)挖掘的聚類算法和關(guān)聯(lián)規(guī)則進行了詳細的分析，并通過數(shù) 據(jù)實驗證明其可行性，系統(tǒng)可以運行在u n i x l i n u x 主機上，經(jīng)測試證明是一個 可行而且先進的入侵檢測系統(tǒng)。 關(guān)鍵詞入侵檢測；數(shù)據(jù)挖掘；聚類分析；關(guān)聯(lián)規(guī)則；分布式代理； 北京工業(yè)大學工學碩士學位論文 a b s tr a c t i n t r u s i o nd e t e c t i o np l a y sam o r ea n dm o r ei m p o r t a n tr o l ei nc o m p u t e r s e c u r i t y i nc o n v e n t i o n a l w a y ，e x p e r t sa n a l y z e d a t ac o l l e c t e d b y i n t r u s i o nd e t e c t i o ns y s t e ma n da b s t r a c t r u l es e t s m a n u a la n a l y s i si s q u i t ee x p e r t s ：i v eb e c a u s eo fe n o r m o u sa m o u n to fd a t a a p p l y i n gd a t am i n i n g t e c h n i q u ei ni n t r u s i o nd e t e c t i o nc a nr e d u c ew o r k l o a do fm a n u a la n a l y s i s h o w e v e rd a t am i n i n gt e c h n i q u ea l s oh a ss o m ep r o b l e m s ，s u c ha se f f i c i e n c y a n da c c u r a c y t h i sa r t i c l ep r o p o s e ss y s t e ma r c h i t e c t u r ea n dd a t a m i n i n g a l g o r i t h mt oe n h a n c et h ee f f i c i e n c yo fd a t a m i n i n gi n t r u s i o nd e t e c t i o n s y s t e m i n t r u s i o nd e t e c t i o nt e c h n o l o g yi s a n a l y z e da n de x p l o r e di nt h i s t h e s i s ，a n dad a t a m i n i n ga n da g e n t b a s e dd i s t r i b u t e di n t r u s i o nd e t e c t i o n m o d e li sp r e s e n t e di nt h i st h e s i s b a s e do nt h i sm o d e l ，ad a t a m i n i n ga n d a g e n t b a s e dd i s t r i b u t e d i n t r u s i o nd e t e c t i o ns y s t e mc a l l e dd ad i d si s d e v e l o p e d d ad i d sc a nb ed i s t r i b u t e do na n yh o s ti nt h en e t w o r k d ad i d s h a sg o o dd i s t r i b u t e da n ds c a l a b l e a b i l i t yb e c a u s e o fi t sd i s t r i b u t e d a r c h i t e c t u r ea n df l e x i b l e a g e n ts y s t e m d ad i d s sr e a l - t i m es t u d y a b i l i t yc a ne n h a n c et h es y s t e m sd e t e c t i o ne f f e c t t h ea g e n ts y s t e mo fd ad i d sc o n s i s t so ft h r e em a i n m o d u l e s ：t r a n s p o r t s e r v i c ea g e n t ，d a t a m i n i n ga g e n t ，i n t r u s i o nd e t e c t i o na g e n t e v e r ya g e n t w o r k si n d e p e n d e n t l ya n dt o g e t h e rt oa c c o m p l i s hi n t r u s i o nd e t e c t i o n d u e t ot h e a g e n ts y s t e m ，d a _ d i d s c o m e si n t o b e i n g au n i f o r mi n t r u s i o n d e t e c t i o n s y s t e m t h a ti s c o m p e t e n t f o r t h et a s k o fh o s t b a s e da n d n e t w o r k b a s e di n t r u s i o nd e t e c t i o n t h ei n t r o d u c t i o no ft h ed a t a m i n i n g t e c h n i q u eg i v e st h es t u d ya b i l i t yt oi n t r u s i o nd e t e c t i o ns y s t e m ，t h i s a b i l i t ym a k e st h es y s t e mt os t u d ya n de x t r a c te i g e n v a l u e sf r o ml o g so f t h eh o s to rf r o mt h en e t w o r k ，t h e ne n l a r g ed ad i d s sr u led a t a b a s e ，t h e a b i l i t yt od e t e c ti n t r u s i o nc a nb ee n f o r c e dc e a s e l e s s l y i nt h i st h e s i s ，w e i m p l e m e n tt h ec o n c r e t ef u n c t i o n so fd ad i d s ， c l u s t e r i n ga l g o r i t h m o f d a t a m i n i n g i s a n a l y z e d d e t a i l e d l y i nt h e p o s t e r i o rc h a p t e r sa n di sp r o v e df e a s i b l et h r o u g ht h ee x p e r i m e n t a t i o n d a d i d sh a sb ei m p l e m e n t e da n dr u no nu n i x l i n u xs y s t e m i ts h o w st h a t t h i si sa na d v a n c e di n t r u s i o nd e t e c t i o ns y s t e m k e y w o r d s i n t r u s i o n d e t e c t i o n ； a s s o c i a t i o nr u l e s ： d a t a m i n i n g ； c l u s t e r a n a l y s i s ； d i s t r i b u t e da g e n t ； 獨創(chuàng)性聲明 本人聲明所呈交的論文是我個人在導師指導下進行的研究工作及取得的研 究成果。盡我所知，除了文中特別加以標注和致謝的地方外，論文中不包含其他 人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含為獲得北京工業(yè)大學或其它教育機構(gòu) 的學位或證書而使用過的材料。與我一同工作的同志對本研究所做的任何貢獻均 已在論文中作了明確的說明并表示了謝意。 簽名閂期：凈多，孑 關(guān)于論文使用授權(quán)的說明 本人完全了解北京工業(yè)大學有關(guān)保留、使用學位論文的規(guī)定，即：學校有權(quán) 保留送交論文的復印件，允許論文被查閱和借閱：學校可以公布論文的全部或部 分內(nèi)容，可以采用影印、縮印或其他復制手段保存論文。 ( 保密的論文在解密后應遵守此規(guī)定) 躲超虹翩魏赳j jf 魄竺絲少 1 1 課題背景 第1 章緒論 在計算機網(wǎng)絡(luò)中，單純憑借各種密碼學的方法無法達到好的安全效果，入侵 檢測越來越顯示出它的重要性。隨著互聯(lián)網(wǎng)在我國的普及和網(wǎng)絡(luò)應用的深入，各 級政府部門，教育和科研機構(gòu)，企事業(yè)單位，乃至個人組織都相繼推出了計算機 網(wǎng)絡(luò)服務，從根本上改變了人們的生活和工作方式。人們在提供網(wǎng)絡(luò)服務、參與 網(wǎng)絡(luò)活動的同時，往往只看到其便利、有益的一面，而降低了警惕性，忽視了潛 在于網(wǎng)絡(luò)中的安全問題。以往的教訓表明，如果對網(wǎng)絡(luò)安全問題掉以輕心，互聯(lián) 網(wǎng)絡(luò)也可能會使服務提供者的形象嚴重受損，帶來重大經(jīng)濟損失，甚至造成惡劣 的社會影響?；ヂ?lián)網(wǎng)具有天然的開放性和協(xié)議的簡便性，它在展示其無所不能的 強大威力的同時，也不可避免地伴隨了大量的安全隱患。網(wǎng)絡(luò)結(jié)構(gòu)組織各方面的 缺陷，系統(tǒng)與應用軟件的漏洞，以及網(wǎng)絡(luò)管理員的水平低下和疏忽大意，都可能 使網(wǎng)絡(luò)攻擊者有機可乘：惡意的入侵者干擾正常業(yè)務，銷毀或篡改重要數(shù)據(jù)，甚 至使更多的服務器失去控制，造成一系列嚴重后果。 人們在得益于信息革命所帶來的新的巨大機遇的同時，也不得不面對信息安 全問題的嚴峻考驗。伴隨著對網(wǎng)絡(luò)技術(shù)的推進，網(wǎng)絡(luò)攻防的戰(zhàn)斗也越演越烈。網(wǎng) 絡(luò)安全已經(jīng)引起各國、各部門、各行各業(yè)的高度重視，在網(wǎng)絡(luò)中引入安全防范機 制已經(jīng)成為人們的共識。防范網(wǎng)絡(luò)攻擊，最常用的對策是構(gòu)建防火墻。防火墻是 一種應用層網(wǎng)關(guān)，按照設(shè)定的規(guī)則對進入網(wǎng)絡(luò)的i p 分組進行過濾，同時也能針 對各種網(wǎng)絡(luò)應用提供相應的安全服務。利用防火墻技術(shù)，經(jīng)過仔細的配置，通常 能在內(nèi)外網(wǎng)之間實施安全的網(wǎng)絡(luò)保護機制，降低風險。但僅僅使用防火墻保障網(wǎng) 絡(luò)安全是遠遠不夠的，因為入侵者會想方設(shè)法尋找防火墻背后可能敞開的通道。 另一方面，防火墻在阻止內(nèi)部襲擊等方面也收效甚微，對于企業(yè)內(nèi)部心懷不滿而 又技術(shù)高超的員工來說，防火墻形同虛設(shè)。而且，由于性能的限制，防火墻通常 不能提供有效的入侵檢測能力。因此，認為在i n t e r n e t 入口處部署防火墻系統(tǒng) 就足夠安全的想法是不切實際的。 能否成功阻止網(wǎng)絡(luò)黑客的入侵，保障計算機和網(wǎng)絡(luò)系統(tǒng)的安全和正常運行， 已經(jīng)成為各機構(gòu)和單位能否正常運作的關(guān)鍵性問題。入侵檢測系統(tǒng)i d s 是近年出 現(xiàn)的新型網(wǎng)絡(luò)安全技術(shù)，是一套軟件和硬件的結(jié)合體。i d s 能彌補防火墻的不足， 為受保護網(wǎng)絡(luò)提供有效的入侵檢測及采取相應的防護手段；入侵檢測是一個全新 的、迅速發(fā)展的領(lǐng)域，并且已成為網(wǎng)絡(luò)安全中極為重要的一個課題；入侵檢測的 方法和產(chǎn)品也在不斷的研究和開發(fā)之中，并且已經(jīng)在網(wǎng)絡(luò)攻防實例中初步展現(xiàn)出 其重要價值。 隨著網(wǎng)絡(luò)信息的快速增長和存儲信息的無限擴大，怎樣對網(wǎng)絡(luò)進行監(jiān)控，將 面臨相當大的困難。雖然我們擁有更為高性能的計算機，但這遠遠趕不上所要分 析的網(wǎng)絡(luò)數(shù)據(jù)的要求。同時如何實時地分析和處理網(wǎng)絡(luò)信息，將是我們所面臨的 一大挑戰(zhàn)。下一代的網(wǎng)絡(luò)入侵檢測技術(shù)將致力于開創(chuàng)新的技術(shù)，讓入侵檢測系統(tǒng) 能適應高帶寬和高負荷的網(wǎng)絡(luò)環(huán)境，支持最新的計算機網(wǎng)絡(luò)協(xié)議，并有自我學習 的能力。這其中應用比較突出的是數(shù)據(jù)挖掘和知識發(fā)現(xiàn)( k n o w l e d g ed i s c o v e r y a n dd a t am i n i n g ，d m i ( d ) 技術(shù)，該技術(shù)的研究正蓬勃發(fā)展，越來越顯示出其強 大的生命。 1 2 數(shù)據(jù)挖掘技術(shù) 數(shù)據(jù)庫技術(shù)的成熟和數(shù)據(jù)應用的普及使得人類積累的數(shù)據(jù)量正在以指數(shù)速 度增長。數(shù)據(jù)洪水正向人們滾滾涌來。例如，在超級市場通過條型碼掃描，把每 一筆商品交易輸入數(shù)據(jù)庫，一個中型超市經(jīng)營的商品就數(shù)萬種。如此大量的數(shù)據(jù) 在傳統(tǒng)的數(shù)據(jù)庫中并不能很好地回答經(jīng)理關(guān)心的問題：商品在不同季節(jié)或一天的 不同時間的銷售量有何變化規(guī)律? 商品a 的銷售量的增加是否會同時帶動商品b 的銷售? 如何調(diào)整商品的資金占用，以達到最佳的資源配置? 各種商品的銷售之 間是否存在一定的關(guān)聯(lián)關(guān)系? 大量信息在給人們帶來方便的同時也帶來了一大堆問題：第一是信息過量， 難以消化；第二是信息真假難以辨識；第三是信息安全難以保證；第四是信息形 式不一致；難以統(tǒng)一處理。人們開始提出一個新的口號：“要學會拋棄信息”，并 且開始考慮如何才能不被信息淹沒，而是從中及時發(fā)現(xiàn)有用的知識、提高信息利 用率。 另一方面，隨著大量的大規(guī)模的數(shù)據(jù)庫迅速不斷地增長，人們對數(shù)據(jù)庫的應 用己不滿足于僅對數(shù)據(jù)庫進行查詢和檢索，僅用查詢檢索不能幫助用戶從數(shù)據(jù)中 提取帶有結(jié)論性的有用信息。這樣數(shù)據(jù)庫中蘊藏的豐富知識，就得不到充分的發(fā) 掘和利用，從而造成了信息的浪費，由此也會產(chǎn)生大量的數(shù)據(jù)垃圾。從人工智能 應用來看，專家系統(tǒng)的研究雖然取得了一定的進展。但是，知識獲取仍然是專家 系統(tǒng)研究中的瓶頸。知識工程師從領(lǐng)域?qū)＜姨帿@取知識是非常復雜的個人到個人 之間的交互過程，具有很強的個性，沒有統(tǒng)一的辦法。因此有必要考慮從數(shù)據(jù)庫 中自動挖掘新的知識。面對這一挑戰(zhàn)，數(shù)據(jù)庫中的知識發(fā)現(xiàn)( k n o w l e d g e d i s c o v e r yd a t a b a s e ，k d d ) 技術(shù)應運而生，并顯示出強大的生命力。k d d 的核心 是數(shù)據(jù)挖掘( d a t am i n i n g ) 。1 技術(shù)，實際的使用中人們往往不嚴格區(qū)分數(shù)據(jù)挖掘 和數(shù)據(jù)庫中的知識發(fā)現(xiàn)，把兩者混淆使用。一般在科研領(lǐng)域中稱為k d d ，而在， 工程領(lǐng)域則稱為數(shù)據(jù)挖掘。 數(shù)據(jù)挖掘技術(shù)出現(xiàn)于2 0 世紀8 0 年代后期，9 0 年代有了突飛猛進的發(fā)展。 數(shù)據(jù)挖掘技術(shù)是人們長期對數(shù)據(jù)庫技術(shù)進行研究和開發(fā)的結(jié)果。起初各種商業(yè)數(shù) 據(jù)是存儲在計算機的數(shù)據(jù)庫中的，然后發(fā)展到可對數(shù)據(jù)庫進行查詢和訪問，進而 發(fā)展到對數(shù)據(jù)庫的即時遍歷。數(shù)據(jù)挖掘使數(shù)據(jù)庫技術(shù)進入了一個更高級的階段， 它不僅能對過去的數(shù)據(jù)進行查詢和遍歷，并且能夠找出過去數(shù)據(jù)之間的潛在聯(lián) 系，從而促進信息的傳遞?，F(xiàn)在數(shù)據(jù)挖掘技術(shù)在商業(yè)應用中已經(jīng)可以馬上投入使 用，因為對這種技術(shù)進行支持的三種基礎(chǔ)技術(shù)已經(jīng)發(fā)展成熟，他們是： 海量數(shù)據(jù)搜集 強大的多處理器計算機 數(shù)據(jù)挖掘算法 數(shù)據(jù)挖掘的核心模塊技術(shù)歷經(jīng)了數(shù)十年的發(fā)展，其中包括數(shù)理統(tǒng)計、人工智 能、機器學習。1 。今天，這些成熟的技術(shù)，加上高性能的關(guān)系數(shù)據(jù)庫引擎以及廣 泛的數(shù)據(jù)集成讓數(shù)據(jù)挖掘技術(shù)在當前的數(shù)據(jù)倉庫環(huán)境中進入了實用的階段。 數(shù)據(jù)挖掘技術(shù)從一開始就是面向應用的。它不僅是面向特定數(shù)據(jù)庫的簡單檢 索查詢調(diào)用，而且要對這些數(shù)據(jù)進行微觀、中觀乃至宏觀的統(tǒng)計、分析、綜合和 推理，以指導實際問題的求解，企圖發(fā)現(xiàn)事件間的相互關(guān)聯(lián)，甚至利用已有的數(shù) 2 第1 章緒論 據(jù)對未來的活動進行預測。例如加拿大b c 省電話公司要求加拿大s i m o n f r a s e r 大學k d d 研究組，根據(jù)其擁有十多年的客戶數(shù)據(jù)，總結(jié)、分析并提出新的電話收 費和管理辦法，制定既有利于公司又有利于客戶的優(yōu)惠政策。美國著名國家籃球 隊n b a 的教練，利用i b m 公司提供的數(shù)據(jù)挖掘技術(shù)，臨場決定替換隊員，一度在 數(shù)據(jù)庫界被傳為佳話。這樣一來，就把人們對數(shù)據(jù)的應用，從低層次的末端查詢 操作，提高到為各級經(jīng)營決策者提供決策支持。這種需求驅(qū)動力，比數(shù)據(jù)庫查詢 更為強大。同時需要指出的是，這里所說的知識發(fā)現(xiàn)，不是要求發(fā)現(xiàn)放之四海而 皆準的真理，也不是要去發(fā)現(xiàn)嶄新的自然科學定理和純數(shù)學公式，更不是什么機 器定理證明。所有發(fā)現(xiàn)的知識都是相對的，是有特定前提和約束條件、面向特定 領(lǐng)域的，同時還要能夠易于被用戶理解，最好能用自然語言表達發(fā)現(xiàn)結(jié)果。因此 d m k d 的研究成果很講求實際。 1 3 國內(nèi)外發(fā)展現(xiàn)狀 根據(jù)調(diào)查結(jié)果，將數(shù)據(jù)挖掘應用于入侵檢測己經(jīng)成為一個研究熱點，在這個 領(lǐng)域已經(jīng)有了很多篇論文。但是真正實現(xiàn)這樣一套系統(tǒng)的還不多見，主要是 c o l u m b i au n i v e r s i t y 的w e n k el e e 研究組和u n i v e r s i t yo fn e wm e x i c o ( u n m ) 的s t e p h a n i ef o r r e s t 研究組。國內(nèi)這方面的研究則剛剛起步，中國科學院的國 家信息安全重點實驗室、東北大學國家軟件工程研究中心等走在前列。 1 、w e n k el e e 研究組 c o l u m b i au n i v e r s i t y 的w e n k el e e 研究組“2 “2 “”“”3 在1 9 9 8 年參加了 由美國國防部高級研究計劃署( d a r p a ) 資助的i n t r u s i o nd e t e c t i o ne v a l u a t i o n 計劃，這次測試由m i t 的l i n c o l n 實驗室提供了模擬軍事網(wǎng)絡(luò)環(huán)境中所記錄的7 周的網(wǎng)絡(luò)流和主機系統(tǒng)調(diào)用記錄日志，這些數(shù)據(jù)全部采用t c p d u m p 和s o l a r i sb s m a u d i td a t a 的格式，包括了大約5 0 0 萬次會話，其中包含上百種攻擊這些攻擊 分為下面4 種主要類型： 1 、拒絕服務攻擊( d o s ) ，如p i n go fd e a t h ，t e a r d r o p ，s m u r f ，s y nf l o o d 等等； 2 、遠程攻擊( r 2 l ) ，如基于字典的口令猜測； 3 、本地用戶非法提升權(quán)限的攻擊( u 2 r ) ，如各種各樣的緩沖區(qū)溢出攻擊； 4 、掃描( p r o b i n g ) ，包括端口掃描和漏洞掃描。 w e n k el e e 研究組分別從網(wǎng)絡(luò)和主機兩方面進行了審計數(shù)據(jù)的挖掘處理。針 對網(wǎng)絡(luò)數(shù)據(jù)，w e n k el e e 的主要做法是使用網(wǎng)絡(luò)服務端口( s e r v i c e ) 作為網(wǎng)絡(luò)連 接記錄的類型標識，根據(jù)人最的正常記錄生成各個服務類型的分類模型，在測試 過程中，根據(jù)分類模型對當前的連接記錄進行分類，并與實際服務類型進行比較， 從而判斷出該分類模型的準確性。針對主機數(shù)據(jù)，w e n k el e e 則使用了一種快速 的規(guī)則學習算法r i p p e r ，通過對正常調(diào)用序列的學習來預測隨后發(fā)生的系統(tǒng)調(diào) 用序列，并對結(jié)果進行了進一步的抽象分析。以降低算法的預測誤差。根據(jù)d a r p a 報告。由c o l u m b i au n i v e r s i t y 實現(xiàn)的基于數(shù)據(jù)挖掘的入侵檢測系統(tǒng)在檢測拒絕 服務攻擊和掃描方面優(yōu)于其它系統(tǒng)，在檢測本地用戶非法提升權(quán)限方面與其它系 統(tǒng)大致持平，在檢測遠程攻擊方面，所有的系統(tǒng)表現(xiàn)都不令人滿意。檢測率都在 7 0 以下。 2 、s t e p h a n i ef o r r e s t 研究組 u n i v e r s i t yo fn e wm e x i c o ( u n m ) 的s t e p h a n i ef o r r e s t 研究組進行的是針 i ：奎三些查耋三蘭堡圭蘭竺篁塞 對土機系統(tǒng)調(diào)用的審計數(shù)據(jù)分析處理，最初的思想是基于生物免疫系統(tǒng)的概念。 無論是針對生物機體還是針對計算機系統(tǒng)，免疫系統(tǒng)的關(guān)鍵問題在于：使用一組 穩(wěn)定的、并且在不同個體之間存在足夠差異的特征( f e a t u r e s ) 來描述自我，從而 使系統(tǒng)具備識別“自我非自我”的能力。 然而，對于計算機系統(tǒng)來說，要解決這個問題相當困難。第一，惡意代碼隱 藏在正常代碼之中難以區(qū)分：第二，系統(tǒng)可能的狀態(tài)幾乎是無限的，尋找一組穩(wěn) 定的特征來定義自我并不容易。s t e p h a n i ef o r r e s t 使用短序列匹配算法對特定 的特權(quán)程序所產(chǎn)生的系統(tǒng)調(diào)用序列進行了細致的分析，在這一領(lǐng)域做出了大量開 創(chuàng)性工作。 在這之后，u n m 的另一個研究小組使用了有限自動機( f s m ) 來構(gòu)建系統(tǒng)調(diào)用 的描述語言，但是這種方法的效率和實用性都很差。i o w as t a t eu n i v e r s i t y 的 一個小組實現(xiàn)了一種描述語言a u d i t i n gs p e c i f i c a t i o nl a n g u a g e ( a s l ) ，以描 述程序的正常行為。另外，還有其它一些研究者采用了神經(jīng)網(wǎng)絡(luò)等人工智能的辦 法。 實驗和測試結(jié)果表明，將數(shù)據(jù)挖掘技術(shù)應用于入侵檢測在理論上是可行的， 在技術(shù)上建立這樣一套系統(tǒng)是可能的。其技術(shù)難點主要在于如何根據(jù)具體應用的 要求，從我們關(guān)于安全的先驗知識出發(fā)，提取出可以有效地反映系統(tǒng)特性的特殊 屬性，應用合適的算法進行挖掘。技術(shù)難點還在于結(jié)果的可視化以及如何將挖掘 結(jié)果自動地應用到實際的入侵檢測系統(tǒng)中。目前，國際上在這個方面的研究非常 活躍，這些研究得到了美國國防部高級研究計劃署( d a r p a ) 、國家自然科學基金 ( n s f ) 的支持，可見，美國官方對此十分重視。但是，這方面的研究，包括整個 將數(shù)據(jù)挖掘技術(shù)運用于入侵檢測的研究，總體上還處于理論探討階段，離實際應 用似乎還有相當?shù)木嚯x。 我們的工作大量參照w i n k el e e ，s t e p h a n i ef o r r e s t 以及其它研究人員的 做法，并在某些方面提出改進意見和相應的算法。 1 4 基于數(shù)據(jù)挖掘的入侵檢測系統(tǒng) 入侵檢測系統(tǒng)“1 是檢測企圖破壞計算機資源的完整性、真實性和可用性的行 為的軟件。入侵檢測技術(shù)是一種利用入侵者留下的痕跡( 如試圖登錄的失敗記錄) 等信息有效地發(fā)現(xiàn)來自外部或內(nèi)部的非法入侵的技術(shù)，它以探測與控制為技術(shù)本 質(zhì)，發(fā)揮主動防御的作用，是網(wǎng)絡(luò)安全中極其重要的部分。 入侵檢測系統(tǒng)的任務就是在提取到的龐大的檢測數(shù)據(jù)中找到入侵的痕跡。入 侵分析過程需要將提取到的事件與入侵檢測規(guī)則進行比較，從而發(fā)現(xiàn)入侵行為。 一方面入侵檢測系統(tǒng)需要盡可能多地提取數(shù)據(jù)以獲得足夠的入侵證據(jù)，而另一方 面由于入侵行為的千變?nèi)f化而導致判定入侵的規(guī)則越來越復雜，為了保證入侵檢 測的效率和滿足實時性的要求，入侵分析必須在系統(tǒng)的性能和檢測能力之間進行 權(quán)衡，合理地設(shè)計分析策略，并且可能要犧牲一部分檢測能力來保證系統(tǒng)可靠、 穩(wěn)定地運行并具有較快的響應速度。 分析策略是入侵分析的核心，系統(tǒng)檢測能力很大程度上取決于分析策略。在 實現(xiàn)上，分析策略通常定義為一些完全獨立的檢測規(guī)則?；诰W(wǎng)絡(luò)的入侵檢測系 統(tǒng)通常使用報文的模式匹配或模式匹配序列來定義規(guī)則，檢測時將監(jiān)聽到的報文 與模式匹配序列進行比較，根據(jù)比較的結(jié)果來判斷是否有非正常的網(wǎng)絡(luò)行為。這 樣以來，一個入侵行為能不能被檢測出來主要就看該入侵行為的過程或其關(guān)鍵特 4 征能不能映射到基于網(wǎng)絡(luò)報文的匹配模式序列上去。有的入侵行為很容易映射， 如a r p 欺騙”3 ，但有的入侵行為是很難映射的，如從網(wǎng)絡(luò)上下載病毒。對于有的 入侵行為，即使理論上可以進行映射，但是在實現(xiàn)上是不可行的，比如說有的網(wǎng) 絡(luò)行為需要經(jīng)過非常復雜的步驟或較長的過程才能表現(xiàn)其入侵特性9 1 ，這樣的行 為由于具有非常龐大的模式匹配序列，需要綜合大量的數(shù)據(jù)報文來進行匹配，因 而在實際上是不可行的。而有的入侵行為由于需要進行多層協(xié)議分析或有較強的 上下文關(guān)系，需要消耗大量的處理能力來進行檢測，因而在實現(xiàn)上也有很大的難 度。 目前大多網(wǎng)絡(luò)入侵檢測系統(tǒng)的規(guī)則庫都是通過手工定制的方式建立起來的， 尤其是用于識別判斷入侵行為的檢測知識，都是由領(lǐng)域?qū)＜易约嚎偨Y(jié)提供，并將 其編寫到這些網(wǎng)絡(luò)入侵檢測系統(tǒng)中的。這類入侵檢測系統(tǒng)存在的一個最大不足就 是：它需要由人類專家不斷總結(jié)提供有關(guān)的入侵撿鋇9 知識。這也就意味著：它只 能被動依靠外界提供的檢測知識，來幫助發(fā)現(xiàn)網(wǎng)絡(luò)系統(tǒng)的非法入侵行為，而很難 發(fā)現(xiàn)未知的入侵或攻擊行為。 數(shù)據(jù)挖掘技術(shù)在入侵檢測系統(tǒng)中的應用盡量減少了手工和經(jīng)驗的成分?；?數(shù)據(jù)挖掘的網(wǎng)絡(luò)入侵檢測模型可以進行機器學習和模式擴充，入侵檢測效率和可 靠性明顯得到提高。 同 原始數(shù)據(jù) 圖卜l 基于數(shù)據(jù)挖掘的入侵檢測系統(tǒng)結(jié)構(gòu) f i g u r e l is y s t e ms t r u c t u r eo fd ad i d s 圖卜l 所示是一個基于數(shù)據(jù)挖掘的入侵檢測系統(tǒng)結(jié)構(gòu)，由數(shù)據(jù)引擎、檢測器、 數(shù)據(jù)庫和數(shù)據(jù)挖掘( 生成入侵模型和異常檢測等) 四部分構(gòu)成?；跀?shù)據(jù)挖掘的入 侵檢測系統(tǒng)首先從原始數(shù)據(jù)中提取特征，以幫助區(qū)分正常數(shù)據(jù)和攻擊行為：然后 將這些特征用于模式匹配或異常檢測模型；最后提供一種結(jié)合模式匹配和異常檢 測模型的方法。其中，數(shù)據(jù)引擎觀察原始數(shù)據(jù)并計算用于模型評估的特征；檢測 器獲取數(shù)據(jù)引擎的數(shù)據(jù)并利用檢測模型來評估它是否是一個攻擊：數(shù)據(jù)庫被用作 數(shù)據(jù)和模型的中心存儲地：生成入侵模型的主要目的是為了加快開發(fā)以及分發(fā)新 的入侵檢測模型的速度。 1 5 課題研究意義和主要研究內(nèi)容 本文在數(shù)據(jù)挖掘和分布式入侵檢測理論的基礎(chǔ)上，提出了一種基于數(shù)據(jù)挖掘 技術(shù)的分布式入侵檢測模型”1 。主要是在一個分布式入侵檢測模型的基礎(chǔ)上結(jié)合 數(shù)據(jù)挖掘中的聚類分析和關(guān)聯(lián)規(guī)則等算法分析網(wǎng)絡(luò)數(shù)據(jù)流和主機日志，在比較各 類算法實驗結(jié)果的基礎(chǔ)上，針對入侵數(shù)據(jù)量大、屬性值多和實時性要求高等特點 改進k 一均值算法和a p r i o r i 算法“1 ，以實現(xiàn)入侵檢測系統(tǒng)的數(shù)據(jù)分析和實時性功 能。 北京工業(yè)大學工學碩士學位論文 在本課題中，我們的研究內(nèi)容將包括： l _ 分布式入侵檢測系統(tǒng)的構(gòu)成、使用的技術(shù)和c i d f 。結(jié)構(gòu)框架等。 2 數(shù)據(jù)挖掘和分布式思想的引入。 3 在入侵檢測系統(tǒng)中聚類分析和關(guān)聯(lián)規(guī)則算法的應用與改進，及其應用于 入侵數(shù)據(jù)分析的實驗結(jié)果。 4 整個基于數(shù)據(jù)挖掘的分布式入侵檢測系統(tǒng)的構(gòu)成，包括系統(tǒng)的組成、軟 件的設(shè)計和實現(xiàn)、實驗結(jié)果和分析等。 1 6 小結(jié) 本章首先分析了課題研究的背景，簡要地介紹了目前的數(shù)據(jù)挖掘技術(shù)以及它 們在入侵檢測系統(tǒng)中的應用及前景。并著重介紹了數(shù)據(jù)挖掘技術(shù)在一個入侵檢測 系統(tǒng)中的應用，以此提出研究數(shù)據(jù)挖掘在入侵檢測系統(tǒng)中應用的理論與現(xiàn)實意 義。本章最后介紹了本課題的主要研究內(nèi)容和研究意義。 6 第2 章入侵檢測系統(tǒng) 第2 章入侵檢測系統(tǒng) 入侵檢測系統(tǒng)可以彌補防火墻的不足，為網(wǎng)絡(luò)安全“”提供實時的入侵檢測及 采取相應的防護手段，如及時記錄證據(jù)用于跟蹤、切斷網(wǎng)絡(luò)連接，執(zhí)行用戶的安 全策略等。入侵檢測系統(tǒng)是檢測企圖破壞計算機資源的完整性、真實性和可用性 的行為的軟件。入侵檢測技術(shù)是一種利用入侵者留下的痕跡( 如試圖登錄的失敗 記錄) 等信息有效地發(fā)現(xiàn)來自外部或內(nèi)部的非法入侵的技術(shù)，它以探測與控制為 技術(shù)本質(zhì)，發(fā)揮主動防御的作用，是網(wǎng)絡(luò)安全中極其重要的部分。 2 1 入侵檢測系統(tǒng)概述 入侵檢測系統(tǒng)的任務就是在提取到的龐大的檢測數(shù)據(jù)中找到入侵的痕跡。入 侵分析過程需要將提取到的事件與入侵檢測規(guī)則進行比較，從而發(fā)現(xiàn)入侵行為。 一方面入侵檢測系統(tǒng)需要盡可能多地提取數(shù)據(jù)以獲得足夠的入侵證據(jù)，而另一方 面由于入侵行為的千變?nèi)f化而導致判定入侵的規(guī)則越來越復雜，為了保證入侵檢 測的效率和滿足實時性的要求，入侵分析必須在系統(tǒng)的性能和檢測能力之間進行 權(quán)衡，合理地設(shè)計分析策略，并且可能要犧牲一部分檢測能力來保證系統(tǒng)可靠、 穩(wěn)定地運行并具有較快的響應速度。 入侵檢測系統(tǒng)在不影響網(wǎng)絡(luò)性能的情況下能對網(wǎng)絡(luò)活動進行監(jiān)測，從而提供 對內(nèi)部攻擊、外部攻擊和誤操作的實時保護。這些主要是通過下任務來實現(xiàn)： 監(jiān)視、分析用戶及系統(tǒng)活動； 系統(tǒng)構(gòu)造和弱點的審計； 識別反映已知進攻的活動模式并報警： 異常行為模式的統(tǒng)計分析； 評估重要系統(tǒng)和數(shù)據(jù)文件的完整性； 操作系統(tǒng)的審計跟蹤管理，并識別用戶違反安全策略的行為。 2 1 1 入侵檢測系統(tǒng)分類 入侵檢測系統(tǒng)主要是根據(jù)入侵行為來分類。入侵( i n t r u s i o n ) 是指任何試圖 危及資源的安全性、機密性和可用性的行為。這類行為通常分為兩類： l 、誤用( m i s u s e ) 入侵，指利用系統(tǒng)的缺陷進行進攻的行為； 2 、異常( a n o r m a l y ) 入侵，指背離系統(tǒng)正常使用的行為。 相應的入侵檢測系統(tǒng)則可以分為三類： l 、采用誤用檢測的入侵檢測系統(tǒng)； 2 、采用異常檢測的入侵檢測系統(tǒng)； 3 、采用兩種混合檢測的入侵檢測系統(tǒng)。 一般的入侵檢測系統(tǒng)都屬于第三類混合型的入侵檢測系統(tǒng)。誤用入侵通常都 有明確的模式，所阻誤用檢測( m i s u s ed e t e c t i o n ) 根據(jù)對使用系統(tǒng)或網(wǎng)絡(luò)的信息 進行模式匹配來識別使用者的入侵行為。異常檢測( a n o m a l yd e t e c t i o n ) 則指根 據(jù)使用者的行為或資源使用狀況來判斷是否入侵，而不依賴于具體行為是否出現(xiàn) 來檢測，所以也被稱為基于行為的檢測。異常檢測基于統(tǒng)計方法，使用系統(tǒng)或用 7 北京工業(yè)大學工學碩士學位論文 戶的活動輪廓( a c t i v i t yp r o f i l e ) 來檢測入侵活動?；顒虞喞梢唤M統(tǒng)計參數(shù)組 成，通常包括c p u 和i o 利用率、文件訪問、出錯率、網(wǎng)絡(luò)連接等。這類i d s 先 產(chǎn)生主體的活動輪廓，系統(tǒng)運行時，異常檢測程序產(chǎn)生當前活動輪廓并同原始輪 廓比較，同時更新原始輪廓，當發(fā)生顯著偏離時即認為是入侵。 入侵檢測系統(tǒng)還可按照輸入數(shù)據(jù)的來源分為三類： l 、基于主機的入侵檢測系統(tǒng)：其輸入數(shù)據(jù)來源于系統(tǒng)的日志，如訪問臼志、 軟件使用日志等，一般檢測該主機上發(fā)生的入侵，主要用于保護關(guān)鍵應用的服務 器，實時監(jiān)視可疑的連接、系統(tǒng)日志檢查，非法訪問的闖入等。 2 、基于網(wǎng)絡(luò)的入侵檢測系統(tǒng)：其輸入數(shù)據(jù)來源于網(wǎng)絡(luò)各個節(jié)點的信息流， 能夠檢鋇8 該網(wǎng)段上發(fā)生的網(wǎng)絡(luò)入侵，主要用于實時監(jiān)控網(wǎng)絡(luò)關(guān)鍵路徑的信息； 3 、兩部分相結(jié)合的分布式入侵檢測系統(tǒng)：能夠同時分析來自主機系統(tǒng)審計 日志和網(wǎng)絡(luò)數(shù)據(jù)流的入侵檢測系統(tǒng)，一般為分布式結(jié)構(gòu)，由多個部件組成。 完整的入侵檢測系統(tǒng)一般分兩步： a ) 信息收集。 入侵檢測的第一步是信息收集，內(nèi)容包括系統(tǒng)、網(wǎng)絡(luò)、數(shù)據(jù)及用戶活動的狀 態(tài)和行為。而且，需要在計算機網(wǎng)絡(luò)系統(tǒng)中的若干不同關(guān)鍵點( 不同網(wǎng)段和不同 主機) 收集信息，這除了盡可能擴大檢測范圍的因素外，還有一個重要的因素就 是從一個源來的信息有可能看不出疑點，但從幾個源來的信息的不一致性卻是可 疑行為或入侵的最好標識。當然，入侵檢測很大程度上依賴于收集信息的可靠性 和正確性，因此，很有必要只利用所知道的真正的和精確的軟件來報告這些信息， 因為黑客經(jīng)常替換軟件以搞混和移走這些信息，例如替換程序調(diào)用的子程序、庫 和其它工具。黑客對系統(tǒng)的修改可能使系統(tǒng)功能失常并看起來跟正常的一樣，例 如；u n i x 系統(tǒng)的p s 指令可以被替換為一個不顯示侵入過程的指令，或者是編輯 器被替換成一個讀取不同于指定文件的程序( 黑客隱藏了初始文件并用另一版本 代替) 。這需要保證用來檢測網(wǎng)絡(luò)系統(tǒng)的軟件的完整性，特別是入侵檢測系統(tǒng)軟 件本身應具有相當強的堅固性，防止被篡改而收集到錯誤的信息。 入侵檢測利用的信息一般來自以下四個方面： l 、系統(tǒng)和網(wǎng)絡(luò)日志文件。黑客經(jīng)常在系統(tǒng)日志文件中留下他們的蹤跡，因 此，充分利用系統(tǒng)和網(wǎng)絡(luò)曰志文件信息是檢測入侵的必要條件。日志中包含發(fā)生 在系統(tǒng)和網(wǎng)絡(luò)上的不尋常和不期望活動的證據(jù)，這些證據(jù)可以指出有人正在入侵 或已成功入侵了系統(tǒng)。通過查看日志文件，能夠發(fā)現(xiàn)成功的入侵或入侵企圖，并 很快地啟動相應的應急響應程序。日志文件中記錄了各種行為類型，每種類型又 包含不同的信息例如記錄“用戶活動”類型的日志，就包含登錄、用戶i d 改 變、用戶對文件的訪問、授權(quán)和認證信息等內(nèi)容。很顯然地，對用戶活動來講， 不正常的或不期望的行為就是重復登錄失敗、登錄到不期望的位置以及非授權(quán)的 企圖訪問重要文件等等。 2 、目錄和文件中的不期望的改變。網(wǎng)絡(luò)環(huán)境中的文件系統(tǒng)包含很多軟件和 數(shù)據(jù)文件，包含重要信息的文件和私有數(shù)據(jù)文件經(jīng)常是黑客修改或破壞的目標。 目錄和文件中的不期望的改變( 包括修改、創(chuàng)建和刪除) ，特別是那些正常情況下 限制訪問的，很可能就是一種入侵產(chǎn)生的指示和信號。黑客經(jīng)常替換、修改和破。 壞他們獲德訪問權(quán)的系統(tǒng)上的文件，同時為了隱藏系統(tǒng)中他們的表現(xiàn)及活動痕 跡，都會盡力去替換系統(tǒng)程序或修改系統(tǒng)日志文件。 3 、程序執(zhí)行中的不期望行為。網(wǎng)絡(luò)系統(tǒng)上的程序執(zhí)行一般包括操作系統(tǒng)、 網(wǎng)絡(luò)服務、用戶起動的程序和特定目的的應用，例如數(shù)據(jù)庫服務器。每個在系統(tǒng) 釜! 耋壘堡竺型至篁 一一 上執(zhí)行的程序由一到多進程來實現(xiàn)。每個進程執(zhí)行在具有不同權(quán)限的環(huán)境中，這 種環(huán)境控制著進程可訪問的系統(tǒng)資源、程序和數(shù)據(jù)文件等。一個進程的執(zhí)行行為 由它運行時執(zhí)行的操作來表現(xiàn)，操作執(zhí)行的方式不同，它利用的系統(tǒng)資源也就不 同。操作包括計算、文件傳輸、設(shè)備和其它進程，以及與網(wǎng)絡(luò)間其它進程的通訊。 一個進程出現(xiàn)了不期望的行為可能表明黑客正在入侵你的系統(tǒng)。黑客可能會將程 序或服務的運行分解，從而導致它失敗，或者是以非用戶或管理員意圖的方式操 作。 4 、物理形式的入侵信息。這包括兩個方面的內(nèi)容，一是未授權(quán)的對網(wǎng)絡(luò)硬 件連接；二是對物理資源的未授權(quán)訪問。黑客會想方設(shè)法去突破網(wǎng)絡(luò)的周邊防衛(wèi)， 如果他們能夠在物理上訪問內(nèi)部網(wǎng)，就能安裝他們自己的設(shè)備和軟件。依此，黑 客就可以知道網(wǎng)上的由用戶加上去的不安全( 未授權(quán)) 設(shè)備，然后利用這些設(shè)備訪 問網(wǎng)絡(luò)。例如，用戶在家里可能安裝m o d e m 以訪問遠程辦公室，與此同時黑客正 在利用自動工具來識別在公共電話線上的m o d e m ，如果一撥號訪問流量經(jīng)過了這 些自動工具，那么這一撥號訪問就成為了威脅網(wǎng)絡(luò)安全的后門。黑客就會利用這 個后門來訪問內(nèi)部網(wǎng)，從而越過了內(nèi)部網(wǎng)絡(luò)原有的防護措施，然后捕獲網(wǎng)絡(luò)流量， 進而攻擊其它系統(tǒng)，并偷取敏感的私有信息等等。 b ) 信號分析 對上述四類收集到的有關(guān)系統(tǒng)、網(wǎng)絡(luò)、數(shù)據(jù)及用戶活動的狀態(tài)和行為等信息， 一般通過三種技術(shù)手段進行分析：模式匹配，統(tǒng)計分析和完整性分析。其中前兩 種方法用于實時的入侵檢測。而完整性分析則用于事后分析。 1 、模式匹配。模式匹配就是將收集到的信息與己知的網(wǎng)絡(luò)入侵和系統(tǒng)誤用 模式數(shù)據(jù)庫進行比較，從而發(fā)現(xiàn)違背安全策略的行為。該過程可以很簡單( 如通 過字符串匹配以尋找一個簡單的條目或指令) ，也可以很復雜( 如利用正規(guī)的數(shù)學 表達式來表示安全狀態(tài)的變化) 。一般來講，一種進攻模式可以用一個過程( 如執(zhí) 行一條指令) 或一個輸出( 如獲得權(quán)限) 來表示。該方法的一大優(yōu)點是只需收集相 關(guān)的數(shù)據(jù)集合，顯著減少系統(tǒng)負擔，且技術(shù)已相當成熟。它與病毒防火墻采用的 方法一樣，檢測準確率和效率都相當高。但是。該方法存在的弱點是需要不斷的 升級以對付不斷出現(xiàn)的黑客攻擊手法，不能檢測到從未出現(xiàn)過的黑客攻擊手段。 2 、統(tǒng)計分析。統(tǒng)計分析方法首先給系統(tǒng)對象( 如用戶、文件、目錄和設(shè)備等) 創(chuàng)建一個統(tǒng)計描述，統(tǒng)計正常使用時的一些測量屬性( 如訪問次數(shù)、操作失敗次 數(shù)和延時等) 。測量屬性的平均值將被用來與網(wǎng)絡(luò)、系統(tǒng)的行為進行比較，任何 觀察值在正常值范圍之外時，就認為有入侵發(fā)生。例如，統(tǒng)計分析可能標識一個 不正常行為，因為它發(fā)現(xiàn)一個在晚八點至早六點不登錄的帳戶卻在凌晨兩點試圖 登錄。其優(yōu)點是可檢測到未知的入侵和更為復雜的入侵，缺點是誤報、漏報率高， 且不適應用戶正常行為的突然改變。具體的統(tǒng)計分析方法如基于專家系統(tǒng)的、基 于模型推理的和基于神經(jīng)網(wǎng)絡(luò)的分析方法。目前正處于研究熱點和迅速發(fā)展之 中。 3 、完整性分析。完整性分析主要關(guān)注某個文件或?qū)ο笫欠癖桓?，這經(jīng)常 包括文件和目錄的內(nèi)容及屬性，它在發(fā)現(xiàn)被更改的、被特洛伊化的應用程序方面 特別有效。完整性分析利用強有力的加密機制，稱為消息摘要函數(shù)( 例如m d 5 ) ， 它能識別哪怕是微小的變化，其優(yōu)點是不管模式匹配方法和統(tǒng)計分析方法能否發(fā) 現(xiàn)入侵，只要是成功的攻擊導致了文件或其它對象的任何改變，它都能夠發(fā)現(xiàn)。 缺點是一般以批處理方式實現(xiàn)，不用于實時響應。盡管如此，完整性檢測方法還 應該是網(wǎng)絡(luò)安全產(chǎn)品的必要手段之一。例如，可以在每一天的某個特定時間內(nèi)開 9 北京工業(yè)大學工學碩士學位論文 啟完整性分析模塊。對網(wǎng)絡(luò)系統(tǒng)進行全面地掃描檢查。 2 1 2 入侵檢測技術(shù)分類 入侵檢測技術(shù)是以探測與控制為技術(shù)本質(zhì)，發(fā)揮主動防御的作用，是網(wǎng)絡(luò)安 全中極其重要的部分，其中的主要智能技術(shù)包括： a ) 基于神經(jīng)網(wǎng)絡(luò)的入侵檢測方法：這種方法是利用神經(jīng)網(wǎng)絡(luò)技術(shù)來進行入 侵檢測。這種方法對用戶行為具有學習和自適應功能，能夠根據(jù)實際檢測到的信 息有效地加以處理，并做出入侵可能性的判斷。該方法還不成熟，目前還沒有出 現(xiàn)較為完善的產(chǎn)品。 b ) 基于專家系統(tǒng)的入侵檢測技術(shù)：根據(jù)安全專家對可疑行為的分析經(jīng)驗而形 成一套推理規(guī)則，然后在此基礎(chǔ)上建立相應的專家系統(tǒng)，由此專家系統(tǒng)自動對所 涉及的入侵行為進行分析。該系統(tǒng)應能隨著經(jīng)驗的積累而利用其自學習能力進行 規(guī)則的擴充和修正。 c ) 基于模型推理的入侵檢測技術(shù)：根據(jù)入侵者在入侵時所執(zhí)行的某些行為程 序的特征，建立一種入侵行為模型，根據(jù)這種行為模型所代表的入侵意圖的行為 特征來判斷用戶執(zhí)行的操作是否屬于入侵行為。當然這種方法也是建立在對當前 已知的入侵行為程序的基礎(chǔ)之上的，對未知的入侵方法所執(zhí)行的行為程序的模型 識別需要進一步的學習和擴展。 d ) 基于數(shù)據(jù)挖掘技術(shù)的入侵檢測技術(shù)；采用的是以數(shù)據(jù)為中心的觀點把入侵 檢測問題看作為一個數(shù)據(jù)分析過程。數(shù)據(jù)挖掘是一種面向應用的技術(shù)，同傳統(tǒng)的 統(tǒng)計概率方法相比，數(shù)據(jù)挖掘方法具有如下優(yōu)點：數(shù)據(jù)挖掘體現(xiàn)了一個完整的數(shù) 據(jù)分析過程，它一般包括數(shù)據(jù)準備、數(shù)據(jù)預處理、建立挖掘模型、模型評估和解 釋等：另外它也是一個迭代的過程，通過不斷的調(diào)整方法和參數(shù)以得到較好的模 型?；跀?shù)據(jù)挖掘的網(wǎng)絡(luò)入侵檢測模型可以進行機器學習和模式擴充，使得手工 和經(jīng)驗成分減少，入侵檢測效率和可靠性明顯得到提高。本文即將利用數(shù)據(jù)挖掘 的算法對分布式入侵檢測系統(tǒng)進行性能的改進。 2 1 3 入侵檢測系統(tǒng)框架 目前的入侵檢測系統(tǒng)大部分是基于各自的需求獨立設(shè)計和開發(fā)的，不同系統(tǒng) 之間缺乏工操作性和互用性，這對入侵檢測系統(tǒng)的發(fā)展造成了障礙，因此 d a r p a ( t h ed e f e n s ea d v a n c e dr e s e a r c hp r o j e c t sa g e n c y ，美國國防部高級研 究計劃局) 在1 9 9 7 年3 月開始著手c i d f ( c o m m o ni n t r u s i o nd e t e c t i o n f r a m e w o r k ，公共入侵檢測框架) 標準的制定。現(xiàn)在加州大學d a v i s 分校的安全實 驗室己經(jīng)完c i d f “”標準，i e t f ( i n t e r n e te n g i n e e r i n gt a s kf o r c e 。i n t e r n e t 工程任務組) 成立了i d w g ( i n t r u s i o nd e t e c t i o nw o r k i n gg r o u p ，入侵檢測工作 組) 負責建立i d e f ( i n t r u s i o nd e t e c t i o ne x c h a n g ef o r m a t ，入侵檢測數(shù)據(jù)交換 格式) 標準，并提供支持該標準的工具，以更高效率地開發(fā)入侵檢測系統(tǒng)。國內(nèi) 在這方面的研究剛開始起步，目前也已經(jīng)開始著手入侵檢測標準i d f ( i n t r u s i o n d e t e c t i o nf r a m e w o r k ，入侵檢測框架) 的研究與制定。 c i d f 是一套規(guī)范，它定義了i d s 表達檢測信息的標準語言以及i d s 組件之 間的通信協(xié)議。符合c i d f 規(guī)范的i d s 可以共享檢測信息，相互通信，協(xié)同工作， j 0 第2 章入侵檢測系統(tǒng) 還