大型論壇檢測系統(tǒng)的開發(fā)與應用2

591論文網(wǎng)www.591LW.com大型論壇檢測系統(tǒng)的開發(fā)與應用摘要互聯(lián)網(wǎng)發(fā)展迅速，網(wǎng)絡論壇也隨之發(fā)展起來。它在給人們帶來了諸多方便的同時也產(chǎn)生了諸如傳播色情暴力、發(fā)表反動言論和泄漏技術機密等一系列嚴重的問題。因此人們對網(wǎng)絡論壇內(nèi)容監(jiān)測的需求已經(jīng)迫在眉睫，而對它的深入分析和研究就更具有極為重要的意義。本文介紹了網(wǎng)絡基礎知識、網(wǎng)絡監(jiān)測和過濾的原理以及數(shù)據(jù)從客戶端傳到服務器端的方式。分析了互聯(lián)網(wǎng)論壇監(jiān)測系統(tǒng)的目的、系統(tǒng)的組成原理和系統(tǒng)的功能模塊。其主要模塊包括包捕獲模塊、解碼模塊、模式匹配模塊。它還提出了利用以太網(wǎng)的廣播特性，在共享式網(wǎng)絡環(huán)境下使用BPF技術來獲取傳輸中的信息。系統(tǒng)在Linux操作系統(tǒng)下，調(diào)用Libpcap庫函數(shù)來實現(xiàn)抓包，對包中的內(nèi)容進行分析，找出有害的信息，從而實現(xiàn)過濾功能。利用文中介紹的方法來構(gòu)建監(jiān)測系統(tǒng)，能起到一定的監(jiān)測作用。關鍵詞：論壇監(jiān)測；抓包；過濾；伯克利數(shù)據(jù)包過濾器

DesignandImplementationoftheInternetForumDetectiveSystemAbstractAstheinternethasbeendevelopingrapidly,theinternetforumhasbroughtmanyconvenienttothepeople.Butatthesametime,italsohasbeenhavingaseriesofquestions,suchasspreadsthepornography,declaresthereactionaryopinion,divulgesthesecretoftechnology,etc.ThereforetherequirementoftheInternetforumdetectivesystemhasbeenstaredintheface,andthoroughanalysisforthesystemhastheextremelyvitalsignificance.Thethesisintroducesthebaseknowledgeofnetwork,theprincipleofthenetworkdetectingandfilter.Pointedoutamethodofhowthedatatransportfromthecustomertotheserver.Thethesishasanalyzedthegoalofinternetforumdetectivesystem,theprincipleofsystemcompositionandthefunctionmodule.Theimportantmoduleincludesthemoduleofcapturepackage,moduleofdecode,moduleofmatching.ThesystemproposesthebroadcastcharacteristicofEthernet,usingtheBPFtechnologytogainthenetworkinformationinthecommonnetworkenvironment.ThesystemhasbaseonLinuxoperationsystem,transferringalibpcapstoreroomfunctiontograspthepackage,analyzingthecontentofthepackageandfindingthebadmessageinordertorealizethefunctionoffilter.Thethesisusesthemethodwhichwasreferredjustnowtoconstructthesystemdetective,anditrealizessomeofitsfunctions.Keywords:Theforumdetecting;Libpcap;filter;BPF

目錄論文總頁數(shù)：25頁1引言 11.1課題背景 11.2本課題研究的意義 11.3本課題的研究方向 12網(wǎng)絡監(jiān)測和過濾技術 12.1網(wǎng)絡監(jiān)測技術簡介 22.2包捕獲 32.2.1利用以太網(wǎng)的廣播特性進行包捕獲 32.3包過濾 33系統(tǒng)需求分析 43.1互聯(lián)網(wǎng)論壇監(jiān)測的產(chǎn)生 43.2論壇內(nèi)容監(jiān)測系統(tǒng)的總體目標 43.2.1系統(tǒng)所需的環(huán)境配置 53.2.2系統(tǒng)的流程圖 63.3系統(tǒng)功能分析 64論壇監(jiān)測軟件設計的總體方案 94.1論壇監(jiān)測軟件主要功能 94.2論壇監(jiān)測系統(tǒng)功能模塊的描述 105論壇監(jiān)測軟件的實現(xiàn) 125.1運行環(huán)境和操作系統(tǒng)選擇 125.2系統(tǒng)對軟硬件配置的要求 125.3預期成果 125.4軟件模塊的實現(xiàn) 125.5論壇監(jiān)測軟件的對象關系圖 165.6論壇監(jiān)測的關鍵代碼 166結(jié)果測試，性能分析 206.1測試指標： 206.2測試環(huán)境 206.3監(jiān)測計算機處于局域網(wǎng)內(nèi)部 206.3.1用戶機和目標論壇配置 216.3.2網(wǎng)關的配置 216.3.3測試方法與結(jié)果 216.4監(jiān)測計算機處于外部網(wǎng)絡 216.4.1用戶機和目標論壇配置 226.4.2網(wǎng)關的配置 226.4.3測試方法與結(jié)果 22結(jié)論 23參考文獻 23第20頁共25頁1引言1.1課題背景互聯(lián)網(wǎng)發(fā)展迅速，網(wǎng)絡論壇不僅逐漸成為企業(yè)內(nèi)部的溝通橋梁，也是企業(yè)和外部進行各類業(yè)務往來的重要管道。同時企業(yè)如何能夠從海量的數(shù)據(jù)信息中獲取民眾焦點和社會輿論動向已經(jīng)成為管理部門日常工作的重中之重。1.2本課題研究的意義通過設計流量控制，身份驗證，屏蔽各種端口等方法對用戶上網(wǎng)發(fā)信息到目標論壇進行嚴格管理與控制，有效預防木馬、病毒和用戶進行反動，色情的信息傳遞。1.3本課題的研究方向綜合運用以前所學的專業(yè)知識，設計開發(fā)一個互聯(lián)網(wǎng)監(jiān)測軟件，本設計要求實現(xiàn)能夠自動獲取目標論壇的發(fā)布內(nèi)容，系統(tǒng)針對發(fā)帖作者、發(fā)帖時間、帖子URL、帖子標題和帖子正文等關鍵字段開放基于單個字段或是組合選項的熱點查詢等這些功能，具體包括以下內(nèi)容：在設計與開發(fā)中，重點如何解決客戶發(fā)的信息能夠捕獲到的問題；在設計與開發(fā)中，難點是對捕獲的信息過濾的問題。本系統(tǒng)的開發(fā)首先分析互聯(lián)網(wǎng)論壇監(jiān)測系統(tǒng)軟件的相關功能，結(jié)合本次畢業(yè)設計的相關要求寫出需求分析；其次，綜合運用以前所學的相關知識（包括計算機網(wǎng)絡技術、相關協(xié)議、信息安全相關知識等），選擇所熟悉的開發(fā)工具進行本畢業(yè)設計的開發(fā)；在設計中以需求分析為基礎，寫出系統(tǒng)開發(fā)計劃、實現(xiàn)流程及相關問題的實現(xiàn)方法；同時，在開發(fā)設計與實現(xiàn)中，要保存好相關的設計文擋，為后面的畢業(yè)論文的寫作準備材料；最后，系統(tǒng)開發(fā)完畢后，進行調(diào)試和試運行，做好調(diào)試和試運行的相關記錄，也為后面的畢業(yè)論文的寫作準備材料。2網(wǎng)絡監(jiān)測和過濾技術伴隨著互聯(lián)網(wǎng)的迅速普及，良莠不齊的網(wǎng)絡發(fā)布內(nèi)容日漸泛濫。而隨之帶來的安全和管理問題不得不受到用戶的重視。從小型公司員工上網(wǎng)浪費工作時間和公司資源，到商業(yè)間諜通過一封郵件將公司機密泄露，無不體現(xiàn)著網(wǎng)絡監(jiān)測的必要性。而監(jiān)測也僅僅是一種手段，必須和企業(yè)的管理機制掛鉤，有了比較好的銜接才能真正的實現(xiàn)事半功倍。在眾多的網(wǎng)絡安全技術中，監(jiān)測過濾技術是一個廣泛使用的技術。監(jiān)視實時通訊的信息并提取有害內(nèi)容，而且在不影響網(wǎng)絡性能的基礎上提取信息體，并進行高效的匹配從而建立有害信息庫，為進一步攔截和做出統(tǒng)計分析做準備。2.1網(wǎng)絡監(jiān)測技術簡介絕大多數(shù)的現(xiàn)代操作系統(tǒng)都提供了對底層網(wǎng)絡數(shù)據(jù)包捕獲的機制，其最初的目的在于對網(wǎng)絡通信情況進行監(jiān)測，以對網(wǎng)絡的一些異常情況進行調(diào)試處理。但隨著互連網(wǎng)的快速普及和網(wǎng)絡攻擊行為的頻繁出現(xiàn)，保護網(wǎng)絡的運行安全也成為監(jiān)測軟件的另一個重要目的。目前的監(jiān)測軟件主要有兩種類型。一種是通過偵測記錄信息進行監(jiān)測，類似于木馬程序，這種監(jiān)測軟件通過抓屏、記錄鍵盤擊鍵信息或竊取IM記錄文件等方式能夠獲取用戶信息。另外一種通過捕獲網(wǎng)絡中的廣播數(shù)據(jù)從而進行監(jiān)測。監(jiān)測特指“sniffer”(通常直譯為嗅探或窺探)，即利用計算機網(wǎng)絡接口截獲目的地為其他計算機的數(shù)據(jù)報文。大體上來說，可以將監(jiān)測程序分為兩個組成部分:·內(nèi)核空間部分:負責從網(wǎng)絡中捕獲以及過濾數(shù)據(jù)包?！び脩艨臻g部分:負責處理用戶界面、格式化、協(xié)議分析，此外如果核心層沒有進行過濾的話，還必須負責過濾部分工作。監(jiān)測程序大體結(jié)構(gòu)如下圖1：網(wǎng)絡網(wǎng)絡緩沖區(qū)過濾區(qū)過濾區(qū)緩沖區(qū)傳輸層網(wǎng)絡層DLPI接口協(xié)議分析模塊系統(tǒng)無關捕獲模塊用戶交互模塊其它監(jiān)測程序用戶程序包捕獲用戶層核心層圖1監(jiān)測程序結(jié)構(gòu)2.2包捕獲不同的操作系統(tǒng)實現(xiàn)的底層包捕獲機制可能是不一樣的，但從形式上看大同小異。數(shù)據(jù)包常規(guī)的傳輸路徑依次為網(wǎng)卡、設備驅(qū)動層、數(shù)據(jù)鏈路層、IP層、傳輸層、最后到達應用程序。而包捕獲機制是在數(shù)據(jù)鏈路層增加一個旁路處理，對發(fā)送和接收到的數(shù)據(jù)包做過濾/緩沖等相關處理，最后直接傳遞到應用程序。值得注意的是，包捕獲機制并不影響操作系統(tǒng)對數(shù)據(jù)包的網(wǎng)絡棧處理。2.2.1利用以太網(wǎng)的廣播特性進行包捕獲以太網(wǎng)數(shù)據(jù)傳輸通過廣播實現(xiàn)，通常在同一個共享局域網(wǎng)的所有網(wǎng)絡接口都有訪問在物理媒體上傳輸?shù)乃袛?shù)據(jù)的能力，但是在系統(tǒng)正常工作時，應用程序只能接收到本主機為目標主機的數(shù)據(jù)包，其他數(shù)據(jù)包過濾后將被丟棄不作處理。該過濾機制可以作用在鏈路層、網(wǎng)絡層和傳輸層這幾個層次。鏈路層主要指網(wǎng)卡驅(qū)動程序判斷所收到包的目標以太網(wǎng)地址，在系統(tǒng)正常工作時，一個合法的網(wǎng)絡接口應該只響應這樣的兩種數(shù)據(jù)幀:·幀的目標區(qū)域具有和本地網(wǎng)絡接口相匹配的硬件地址。·幀的目標區(qū)域具有廣播地址。在接收到上面兩種情況的數(shù)據(jù)包時，網(wǎng)絡接口通過CPU產(chǎn)生硬件中斷，操作系統(tǒng)進行中斷處理后將幀中所包含的數(shù)據(jù)傳送給網(wǎng)絡層進一步處理。而其他情況下數(shù)據(jù)幀將被丟棄不作處理。網(wǎng)絡層判斷目標IP地址是否為本機所綁定的IP地址，如果不是本機所綁定IP地址，將丟棄這些IP數(shù)據(jù)報;如果符合本機1P地址則交給傳輸層處理。傳輸層中的TCP或者UDP判斷目標端口是否在本機已經(jīng)打開，如果沒有打開，則拋棄這些包，否則將向應用層提交內(nèi)容。要監(jiān)測到流經(jīng)網(wǎng)卡的不屬于自己主機的數(shù)據(jù)，必須繞過系統(tǒng)正常工作的處理機制，直接訪問網(wǎng)絡底層。首先將網(wǎng)卡工作模式置于混雜(promiscuous)模式。當網(wǎng)絡接口處于這種混雜模式時，該網(wǎng)絡接口具備“廣播地址”，它對所有接收到的幀都產(chǎn)生硬件中斷以提醒操作系統(tǒng)處理流經(jīng)該物理媒體上的每一個報文(絕大多數(shù)的網(wǎng)絡接口具備置成promiscuous方式的能力)。操作系統(tǒng)直接訪問數(shù)據(jù)鏈路層，截獲相關數(shù)據(jù)，由應用程序如IP層,TCP層的協(xié)議對數(shù)據(jù)過濾處理，這樣就可以監(jiān)測到流經(jīng)網(wǎng)卡的所有數(shù)據(jù)。監(jiān)測程序工作在網(wǎng)絡環(huán)境中的底層，它會攔截所有的正在網(wǎng)絡上傳送的數(shù)據(jù)，并且通過相應的軟件處理，可以實時分析這些數(shù)據(jù)的內(nèi)容，進而分析所處的網(wǎng)絡狀態(tài)和整體布局。2.3包過濾網(wǎng)絡信息監(jiān)測將獲取所有的網(wǎng)絡信息，但在實際應用中，其中存在若干用戶不關心的數(shù)據(jù)，或者稱為垃圾數(shù)據(jù)。如果垃圾數(shù)據(jù)比重極大，將嚴重影響系統(tǒng)工作效率。事實上，網(wǎng)絡監(jiān)測模塊過濾功能的效率是該網(wǎng)絡監(jiān)測的關鍵，因為對于網(wǎng)絡上的每一數(shù)據(jù)包都會使用該模塊處理，判斷是否符合過濾條件。低效率的過濾程序會導致數(shù)據(jù)包丟失、來不及分析處理等。用戶可以按特定的子網(wǎng)主機以及特定的協(xié)議端口如Http,FTP,E-mail等進行過濾，只將用戶關心的敏感數(shù)據(jù)向上層提交，從而提高系統(tǒng)的工作效率。信息的簡單過濾有如下幾種。協(xié)議過濾：根據(jù)傳輸層和網(wǎng)絡層中的特性過濾，如選擇。TCP數(shù)據(jù)而非UDP數(shù)據(jù)。類型過濾：站過濾：根據(jù)MAC地址，篩選出某個工作站或服務器的數(shù)據(jù)。服務過濾：根據(jù)端口篩選特定類型服務。內(nèi)容的過濾：根據(jù)收到信息的內(nèi)容，選擇性的數(shù)據(jù)過濾。本系統(tǒng)采用內(nèi)容過濾的方法來實現(xiàn)論壇監(jiān)測。3系統(tǒng)需求分析3.1互聯(lián)網(wǎng)論壇監(jiān)測的產(chǎn)生互聯(lián)網(wǎng)發(fā)展迅速，并在日益趨向跨國界、多語種、分布式和多接入的態(tài)勢。同時企業(yè)如何能夠從海量的數(shù)據(jù)信息中獲取民眾焦點和社會輿論動向已經(jīng)成為管理部門日常工作的重中之重。從小型公司員工上網(wǎng)浪費工作時間和公司資源，到商業(yè)間諜通過一封郵件將公司機密泄露，無不體現(xiàn)著網(wǎng)絡監(jiān)測的必要性。所以一種能夠?qū)崟r監(jiān)測網(wǎng)絡流量和網(wǎng)絡傳輸信息，又能夠通過網(wǎng)絡信息中把色情和反動字眼的內(nèi)容過濾的軟件，是我們迫切需要的。因此互聯(lián)網(wǎng)論壇內(nèi)容監(jiān)測系統(tǒng)的產(chǎn)生就顯得尤為重要。它是當今網(wǎng)絡發(fā)展的必然產(chǎn)物，也是未來網(wǎng)絡的不可或缺的。3.2論壇內(nèi)容監(jiān)測系統(tǒng)的總體目標論壇監(jiān)測系統(tǒng)總體目標：通過設計流量控制，身份驗證，屏蔽各種端口等方法對用戶上網(wǎng)、收發(fā)郵件、聊天和電腦游戲進行嚴格管理與控制；有效預防黑客、木馬和病毒，進行反動，色情的信息。對用戶上網(wǎng)行為的監(jiān)測和管理事實上要配合一個復雜的網(wǎng)絡系統(tǒng)體系去實現(xiàn)，首先要定義出了網(wǎng)絡用戶的類型，普通用戶、管理員等都應有不同的網(wǎng)絡權限去獲得網(wǎng)絡的資源。此外對用戶的數(shù)據(jù)的監(jiān)測就通過流控設備，了解所使用的網(wǎng)絡服務和各個服務的流量，對敏感的流量和服務有必要進行抓包分析?；ヂ?lián)網(wǎng)論壇內(nèi)容監(jiān)測系統(tǒng)能夠自動獲取目標論壇的發(fā)布內(nèi)容，系統(tǒng)針對發(fā)帖作者、發(fā)帖時間、帖子URL、帖子標題和帖子正文等關鍵字段開放基于單個字段或是組合選項的熱點查詢功能，并能自動生成數(shù)據(jù)報告，從而幫助系統(tǒng)使用者真正實現(xiàn)對于社會熱點的把握和社會動向的預期。3.2.1系統(tǒng)所需的環(huán)境配置拓撲圖如下圖2：論壇發(fā)布內(nèi)容論壇發(fā)布內(nèi)容目標論壇2目標論壇1目標論壇n定點深入挖掘信息獲取/存儲平臺數(shù)據(jù)報告生成平臺圖2系統(tǒng)功能圖從上圖可知，互聯(lián)網(wǎng)論壇監(jiān)測系統(tǒng)所需要包括的兩個獨立的平臺：數(shù)據(jù)獲取/存儲平臺和數(shù)據(jù)報告生成平臺。其實這兩個平臺都是起到方便客戶查找的功能。數(shù)據(jù)獲取和存儲平臺：接入互聯(lián)網(wǎng)，對定點網(wǎng)站、論壇進行數(shù)據(jù)深入挖掘，基于發(fā)帖人、發(fā)帖時間、主題及正文進行分類檢索與統(tǒng)計，對目標站點的信息提取率達到90%；專項針對目標論壇的信息發(fā)布進行內(nèi)容獲取，對目標論壇分組，基于論壇組進行高效的輪詢式全文獲取；采用純文本方式存儲，以最大限度節(jié)約空間。數(shù)據(jù)報告生成平臺：以海量信息為基礎，自動聚成目標論壇當前熱點，并發(fā)布信息快照、生成數(shù)據(jù)報告。系統(tǒng)還應該需要：定點網(wǎng)站深入挖掘·網(wǎng)絡終端瀏覽行為智能模擬·目標站點信息提取率達到90%·專項針對論壇發(fā)布內(nèi)容獲取·目標論壇分組，基于論壇組的高效輪詢式全文獲取此功能主要能夠很快的建立目標論壇網(wǎng)站的目錄，并根據(jù)需要定點某個網(wǎng)站。在這個定點網(wǎng)站中利用搜索，提取所需的信息。數(shù)據(jù)挖掘·關注熱點查詢·發(fā)帖人、發(fā)帖時間、主題及正文的分類檢索與統(tǒng)計此功能進一步對某個網(wǎng)站進行信息的有針對性的很具體的搜索，達到信息的快速獲取。信息聚類生成數(shù)據(jù)報告·以海量信息為基礎·自動聚成目標論壇當前熱點·熱點發(fā)帖信息快照此功能是從論壇中的所有信息，自動篩選其熱點信息供查找和閱讀。3.2.2系統(tǒng)的流程圖由以上對論壇監(jiān)測的系統(tǒng)分析，要實現(xiàn)這些功能，關鍵技術就是實現(xiàn)抓包和過濾，因此得到該系統(tǒng)從開始抓包到最后匹配丟棄的一個流程圖。如下圖3：丟棄并報警正常抓包分析包匹配關鍵字是否圖3系統(tǒng)流程圖3.3系統(tǒng)功能分析數(shù)據(jù)包捕獲功能論壇內(nèi)容監(jiān)測要實現(xiàn)抓包，就離不開Libpcap調(diào)用抓包庫函數(shù)。所以先介紹Libpcap：Libpcap接口支持基于BSD數(shù)據(jù)包過濾器(BPF:BerkeleyPaeketFilter)的數(shù)據(jù)過濾機制。Libpcap庫只支持BPF接口的內(nèi)核過濾。如果主機上沒有BPF機制，則所有的數(shù)據(jù)包都必須讀取到用戶空間后，再在Libpcap庫中進行過濾處理，這樣就會增加額外的處理負擔，導致性能的下降。系統(tǒng)由網(wǎng)絡接口卡、BPF和Libpcap組成。網(wǎng)卡部分監(jiān)視共享網(wǎng)絡中的所有包，BPF用過濾條件匹配監(jiān)視到的包，若匹配成功則將之從網(wǎng)卡驅(qū)動的緩沖區(qū)復制到核心區(qū)。核心緩沖區(qū)分為兩部分：存儲緩沖區(qū)和復制緩沖區(qū)。存儲緩沖區(qū)用于容納過濾匹配成功后的數(shù)據(jù)包，復制緩沖區(qū)用于將包從核心緩沖區(qū)復制到用戶緩沖區(qū)。當存儲緩沖區(qū)滿而復制緩沖區(qū)空時，BPF將兩者交換。這樣的設計使用戶程序不需與網(wǎng)卡驅(qū)動程序交互。Libpcap完成了如下工作：·向用戶程序提供抽象接口·根據(jù)用戶要求生成過濾指令·管理用戶緩沖區(qū)(用戶程序不可見)·負責用戶程序與內(nèi)核的交互如圖4所示：用戶程序用戶程序Llibpcap庫函數(shù)用戶緩沖區(qū)用戶程序Llibpcap庫函數(shù)用戶緩沖區(qū)復制緩沖區(qū)存儲緩沖區(qū)過濾器復制緩沖區(qū)存儲緩沖區(qū)過濾器網(wǎng)絡接口卡用戶級內(nèi)核級網(wǎng)絡圖4Libpcap工作流程圖包過濾功能根據(jù)目前社會存在的各種問題及語言習慣，建立有害信息庫，通過包捕獲功能提取的IM軟件傳輸?shù)拿魑南?，將其與有害信息庫中的關鍵詞進行匹配，提取含有有害信息數(shù)據(jù)。如法輪功，帶有色情的信息和圖片。包過濾就離不開BerkeleyPacketFilter（BPF），即伯克利數(shù)據(jù)包過濾器，它提供了一種新的流量監(jiān)測結(jié)構(gòu)，性能比其它工具有顯著提高。BPF工作原理：許多版本的UNIX都提供用戶級別的網(wǎng)絡監(jiān)測功能，因為監(jiān)測程序以用戶級別進程工作。數(shù)據(jù)包的拷貝必須跨越內(nèi)核/用戶保護界限，這就需要使用名為包過濾器(packetfilter)的內(nèi)核代理程序。BPF主要由兩大部分組成:網(wǎng)絡分接頭(NetworkTap)和數(shù)據(jù)包過濾器(PacketFilter)。網(wǎng)絡分接頭從網(wǎng)絡設備驅(qū)動程序處收集數(shù)據(jù)包拷貝，并傳遞給正在監(jiān)測的應用程序。過濾器決定某一數(shù)據(jù)包是被接收還是拒絕，以及如果被接受，數(shù)據(jù)中的那些部分被拷貝給應用程序。如下圖5：…………應用程序應用程序……應用程序應用程序協(xié)議棧緩存緩存緩存協(xié)議棧緩存緩存緩存過濾器過濾器過濾器過濾器過濾器過濾器橋接橋接BPF橋接橋接BPF鏈路層驅(qū)動器鏈路層鏈路層驅(qū)動器鏈路層驅(qū)動器鏈路層驅(qū)動器圖5BPF組成結(jié)構(gòu)圖匹配報警功能根據(jù)任務的實時性要求，報警、記錄日志、圖形顯示等功能應建立在不影響包捕獲的基礎上。當數(shù)據(jù)包匹配成功后，說明內(nèi)容為有害的，因此該信息丟棄，并發(fā)出報警聲。4論壇監(jiān)測軟件設計的總體方案互聯(lián)網(wǎng)論壇監(jiān)測系統(tǒng)使用的是用戶/服務器的模式。做服務器端的多臺機子在一個局域網(wǎng)內(nèi)，組成目標論壇，接收來自其他網(wǎng)絡的客戶機的信息。做客戶端的機子在另外的局域網(wǎng)內(nèi)，發(fā)信息給目標論壇。服務器機子裝上這個監(jiān)測軟件后，可以捕獲到客戶端機子向這臺機子發(fā)的信息（帖子）實現(xiàn)監(jiān)測功能。同時如果發(fā)的信息中含有發(fā)法輪功字眼等反動信息。該軟件就自動刪除該帖子實現(xiàn)過濾功能。并同時發(fā)出警報聲?？蛻舳藱C子和服務器端機子分別在各自的路由器網(wǎng)關下構(gòu)成一個小型的內(nèi)部局域網(wǎng)。他們分別有各自的出口網(wǎng)關。由此可得到它的拓撲圖如下圖6：HUBHUB目標論壇監(jiān)聽機PCHUBPC圖6系統(tǒng)總體結(jié)構(gòu)4.1論壇監(jiān)測軟件主要功能對外部網(wǎng)絡的監(jiān)測：根據(jù)具體網(wǎng)絡大小和監(jiān)測應用的范圍有所不同而做些修改即可。通過監(jiān)測機對網(wǎng)絡中所有主機的數(shù)據(jù)進行檢測，收集網(wǎng)絡中的數(shù)據(jù)，當發(fā)現(xiàn)正常的數(shù)據(jù)流時，監(jiān)測機不采取任何動作，當發(fā)現(xiàn)有敏感的數(shù)據(jù)時即可將其先隔離并保存下來，然后報警，通過管理員的操作和檢驗后再對用戶pc加以處理。這樣的工作流程對于中小型企業(yè)來說是比較適用，只需要一個監(jiān)測軟件即可，設備的投入也不大，效果也比較好。數(shù)據(jù)獲?。骸せヂ?lián)網(wǎng)論壇監(jiān)測系統(tǒng)呈現(xiàn)簡潔、歸一化的操作界面，多線程獲取網(wǎng)站發(fā)布數(shù)據(jù)?！ぴ诠芾砣藛T設定的遍歷層數(shù)范圍內(nèi)，系統(tǒng)遞歸獲取起始及隨后頁面中所有超鏈接所對應的內(nèi)容?！は到y(tǒng)在受限于上述遍歷層數(shù)的同時，還能接受管理人員對于最大下載字節(jié)數(shù)與每次請求間隔時間的設置，從而避免因其內(nèi)容獲取操作而造成目標論壇的工作負載驟然增加?！そ尤牖ヂ?lián)網(wǎng)，對定點網(wǎng)站、論壇進行數(shù)據(jù)深入挖掘，基于發(fā)帖人、發(fā)帖時間、主題及正文進行分類檢索與統(tǒng)計，對目標站點的信息提取率達到90%。專項針對目標論壇的信息發(fā)布進行內(nèi)容獲取，對目標論壇分組，基于論壇組進行高效的輪詢式全文獲?。徊捎眉兾谋痉绞酱鎯?，以最大限度節(jié)約空間?！わ@示當前已經(jīng)獲取帖子的發(fā)帖人、發(fā)帖時間、帖子位置、帖子標題、帖子URL等基本信息。內(nèi)容過濾功能：包括對不需要監(jiān)視的對象、內(nèi)容、行為進行過濾（忽略監(jiān)視），可針對3種對象（整個網(wǎng)絡、分組、電腦）?！と勘O(jiān)視/不監(jiān)視、只監(jiān)視部分應用。根據(jù)不用管理需要，可設置為某些對象監(jiān)視,某些對象不監(jiān)視（比如管理員和老板沒有必要被監(jiān)視），某些用戶應用監(jiān)視,某些應用不監(jiān)視。由于網(wǎng)頁監(jiān)視很多廣告垃圾而且比較消耗硬盤空間等資源?！と绻腥嗽谟^看網(wǎng)站的帖子后，想發(fā)表評論，如果評論中包含色情和反動的字眼就自動刪除該帖子，并發(fā)出警報?！ぞW(wǎng)站過濾白名單和黑名單功能?？稍O置只監(jiān)視具體的一些網(wǎng)站，也可以忽略監(jiān)視某些網(wǎng)站；比如一個公司里通常SINA這樣的網(wǎng)站可能同時所有的人都有去看，如果都監(jiān)視的話將相當浪費資源又內(nèi)容重復，實際上也無意義和必要。因此采用過濾方法模糊控制模式去忽略對一些公共的東西過濾。比如輸入SINA，將過濾全部包含SINA的所有URL訪問，這叫做白名單過濾。對包含色情和反動信息的過濾叫做黑名單過濾。流量監(jiān)視與限制：包括針對具體的對象，能夠詳細準確監(jiān)視其發(fā)生的流量，并能夠限制其占據(jù)的流量帶寬。數(shù)據(jù)備份和配置管理：包括允許定義數(shù)據(jù)保存時間或刪除過時的數(shù)據(jù)。數(shù)據(jù)、配置和日志的查看、打印、備份恢復功能。簡單容易的數(shù)據(jù)備份方式和海量存儲模式。支持監(jiān)視內(nèi)容和配置文件的海量模式備份、恢復。4.2論壇監(jiān)測系統(tǒng)功能模塊的描述對用戶上網(wǎng)行為的監(jiān)測和管理事實上要配合一個復雜的網(wǎng)絡系統(tǒng)體系去實現(xiàn)，首先要定義網(wǎng)絡用戶的類型，普通用戶、管理員等都應有不同的網(wǎng)絡權限去獲得網(wǎng)絡的資源，因此就需要網(wǎng)管功能的軟硬件了。此外對用戶的數(shù)據(jù)的監(jiān)測就只能通過流控設備去實現(xiàn)，了解所使用的各個服務的流量，對敏感的流量和服務有必要進行抓包分析。特別是對技術含量較高的企業(yè)有很大用途。本系統(tǒng)根據(jù)功能模塊化分為后臺和前臺軟件兩部分。后臺部分由主進程和主線程完成。主進程通過主控模塊實現(xiàn)。主線程通過包捕獲模塊、解碼模塊、模式匹配模塊和輸出模塊來完成。前臺部分包括圖形顯示模塊、命令模塊。主控模塊實現(xiàn)的功能包括所有模塊的初始化、命令行解釋、配置文件解釋、建立主線程、關閉主線程。包捕獲模塊是主線程的主程序，它將數(shù)據(jù)包捕獲后的處理交給解碼模塊。解碼模塊，定義不同的數(shù)據(jù)結(jié)構(gòu)取得IP地址、TCP層的端口號以及信息實體等數(shù)據(jù)，在將這些數(shù)據(jù)填寫到數(shù)據(jù)結(jié)構(gòu)中供模式匹配模塊來使用。解碼模塊把從網(wǎng)絡上抓取的原始數(shù)據(jù)包，從下向上沿各個協(xié)議棧進行解碼并填充相應的數(shù)據(jù)結(jié)構(gòu)，以便模式匹配模塊處理。模式匹配模塊應用KWP算法將匹配字庫與捕獲到的IM信息進行匹配，提取有害信息，對有害信息進行定位。輸出模塊接收模式匹配模塊匹配出的結(jié)果建立黑名單，根據(jù)輸出類型分別分發(fā)到圖形顯示模塊、日志模塊及提供黑名單給網(wǎng)關計算機以便于攔截計算機攔截有害內(nèi)容。命令模塊將用戶的信息傳遞給主控模塊。圖形顯示模塊顯示目前的關鍵字和匹配成功的信息和信息的源IP地址、目的IP地址、端口號、ID號。日志模塊實現(xiàn)各種報文日志功能，也就是把各種類型的報文記錄到各科類型的日志中。系統(tǒng)功能模塊圖如下圖7：圖7系統(tǒng)功能模塊5論壇監(jiān)測軟件的實現(xiàn)5.1運行環(huán)境和操作系統(tǒng)選擇通過分析，后臺軟件選用RedHat7.2(Linux2.4內(nèi)核)作為開發(fā)平臺。主要因為：Linux網(wǎng)絡功能強大，其本身是依靠網(wǎng)絡技術發(fā)展的。Linux2.4內(nèi)核對libpcap支持的比較好。并且可以得到libpcap的更新版本。目前的幾種主流抓包軟件都有支持Linux的版本，便于比較功能。Linux下的軟件是開放式源代碼產(chǎn)品，便于學習?；陂_放式源代碼的特性，系統(tǒng)中不會存在后門，安全性好。由于Window系統(tǒng)的圖形開發(fā)功能強大，因此選擇在Win2000professional上開發(fā)前臺軟件。5.2系統(tǒng)對軟硬件配置的要求服務器端建議用戶的計算機使用以下配置（或更高）：CPU：Intel或兼容機硬盤：7200轉(zhuǎn)/分，剩余空間>100M內(nèi)存：建議512MB或更多鼠標：3D光電鼠鍵盤：標準104鍵MicrosoftWindowsNTServer4.0、Windows2000Server、MicrosoftWindowsNTServer企業(yè)版、Windows2000AdvancedServer及Windows2000DataCenterServer或者更高軟件版本。客戶端推薦配置:客戶端要求不高，IE5.01以上或者兼容版本。5.3預期成果本設計預期成果是完成互聯(lián)網(wǎng)論壇監(jiān)測的功能并能夠?qū)崿F(xiàn)通過身份驗證，實現(xiàn)客戶端訪問服務器時，可以通過服務器上的監(jiān)測系統(tǒng)，把客戶端的信息捕獲到并實現(xiàn)過濾功能。提供本畢業(yè)設計開發(fā)的軟件和畢業(yè)設計論文。5.4軟件模塊的實現(xiàn)主控模塊：主進程功能通過主控模塊完成，主控模塊是系統(tǒng)的初始化進程。首先它負責解釋命令行，它調(diào)用了getopt函數(shù)，來進行命令行的解析。如果命令行給出的參數(shù)不正確，會提示用戶一個信息然后退出。如果命令行給出的參數(shù)正確，將參數(shù)相應的數(shù)據(jù)放在一個全局的緩沖區(qū)內(nèi)。參數(shù)內(nèi)容即過濾規(guī)則供包捕獲模塊使用。第二點建立socket，主控模塊socket的處理主要是完成接收命令模塊發(fā)送的消息，根據(jù)數(shù)據(jù)包的類型標志位分別處理。第三處理用戶命令?！幼グ撼跏蓟グ€程?！ねＶ棺グ宏P閉抓包線程?！げ榭串斍傲髁浚捍蜷_系統(tǒng)中/pros/net/dev文件，從而獲得網(wǎng)絡接口的流量數(shù)據(jù)，然后將數(shù)據(jù)后發(fā)送給前臺軟件進行顯示。·結(jié)束主程序：最后等待用戶退出消息，結(jié)束該系統(tǒng)工作，完成應用退出時的釋放資源工作。包捕獲模塊：包捕獲模塊是通過啟動主線程來完成的。主線程啟動后首先讀取存放關鍵詞的文件，將需要捕獲的關鍵詞放在一個全局的緩沖區(qū)內(nèi)。第二步建立socket，主線程中的socket主要是完成數(shù)據(jù)包的捕獲和匹配后，將信息按照定義的接口發(fā)送信息。第三步根據(jù)全局系統(tǒng)緩沖區(qū)中存放的命令參數(shù)，定義過濾規(guī)則，建立過濾器指令鏈表頭，該數(shù)據(jù)結(jié)構(gòu)詳細介紹在后面。過濾規(guī)則中包括數(shù)據(jù)鏈路層網(wǎng)絡傳輸類型、網(wǎng)絡層IP地址范圍以及傳輸層使用的端口號。第四步調(diào)用包捕獲模塊開始抓包。包捕獲模塊主要調(diào)用Libpcap完成用戶層次的數(shù)據(jù)包截獲工作。Libpcap庫所提供的主要功能函數(shù)有pcap_open_live(),pcap_read(),pcap_compile(),pcap_setfilter(),pcap_close()。這5個接口函數(shù)的主要功能如下所述：pcap_open_live()，用來獲得一個數(shù)據(jù)截獲描述符，該描述符用于查看在網(wǎng)絡上傳輸?shù)臄?shù)據(jù)包；pcap_read()，用于讀取底層數(shù)據(jù)緩沖區(qū)中的數(shù)據(jù)包，并對捕獲到的數(shù)據(jù)包用參數(shù)所設定的回調(diào)函數(shù)進行處理；pcap_compile()，用于生成過濾器指令鏈表；pcap_setfilter(),用于設定過濾器；pcapclose()，關閉相關的文件井釋放對應資源。打開數(shù)據(jù)包截獲設備，定義t是指向數(shù)據(jù)包截獲設備描述符結(jié)構(gòu)pcap的全局指針。該函數(shù)由查詢當前系統(tǒng)可用的數(shù)據(jù)包截獲設備，得到該設各描述符以及設置過濾器規(guī)則組成。結(jié)構(gòu)pcap是實現(xiàn)數(shù)據(jù)包截獲機制的一個關鍵數(shù)據(jù)結(jié)構(gòu)。Structpcap{intfd;文件描述符，這里指數(shù)據(jù)包的描述符，即底層過濾器特殊文件描述符intsnapshot;快照，這里是所指定查看數(shù)據(jù)包的長度。intlinktype;底層數(shù)據(jù)鏈路層接口類型。inttzoff;時區(qū)與格林尼治時區(qū)的偏移量。intoffset;對應于不同對齊方式的偏移量。structpcap_sf;表示數(shù)據(jù)包轉(zhuǎn)儲文件的文件結(jié)構(gòu)。structpcap_md;表示數(shù)據(jù)包截獲機制狀態(tài)和相關設備狀態(tài)的結(jié)構(gòu)。intbufsize;數(shù)據(jù)包緩沖區(qū)大小。u-char*buffer;數(shù)據(jù)包緩沖區(qū)的首地址。u-char*bf;緩沖區(qū)指針。intcc;用于計數(shù)目的的整數(shù)。u_char*pkt;用于特定函數(shù)目的的地址指針。structbyprogramfcode;為一指向過濾器程序代碼的指針。charerrbuf[PCAP_ERRBUF_SIZE];用于存放錯誤信息字符串的數(shù)組。};過濾器程序用pcap_compile(),pcap_setfilter()函數(shù)和bpf_program數(shù)據(jù)結(jié)構(gòu)來描述，該數(shù)據(jù)結(jié)構(gòu)如下所示:Structbpf_program{U_intbf_len;這定這段指令程序的長度。Structbpf_insn*bf_insns;指向一個過濾器指令鏈表頭的指針值。};程序的循環(huán)部分是讀取打開的截獲設備上的所有數(shù)據(jù)包，直到滿足設置的最大截獲數(shù)目。如果失敗返回，則顯示出錯信息。由于最大截獲數(shù)目設置為-1，該函數(shù)在無錯誤情況下，將進入永久循環(huán)過程中。解碼模塊：包捕獲模塊中，定義了從網(wǎng)絡上抓取原始數(shù)據(jù)包后的處理函數(shù)。過程復雜，因此劃分出解碼模塊專門對捕獲的原始數(shù)據(jù)包進行處理。BPF是工作在數(shù)據(jù)鏈路層，按照以太網(wǎng)頭結(jié)構(gòu)取得數(shù)據(jù)包在該層中的信息。以太網(wǎng)頭數(shù)據(jù)結(jié)構(gòu)定義如下。根據(jù)數(shù)據(jù)結(jié)構(gòu)中以太網(wǎng)類型一項可以繼續(xù)判斷是IP傳輸。structEtherHdr{unsignedcharether_dst[6]:目標網(wǎng)卡地址。unsignedcharether_src[6];源網(wǎng)卡地址。unsignedcharether_type[6];以太網(wǎng)類型。};去掉以太網(wǎng)頭部信息可以得到IP層數(shù)據(jù)實體。IP層頭部數(shù)據(jù)數(shù)據(jù)結(jié)構(gòu)定義如下。分析該數(shù)據(jù)結(jié)構(gòu)，可以很容易取出該數(shù)據(jù)流的源IP地址、目的IP地址、傳輸層協(xié)議類型。structip{unsignedintipversion:4;ipv4unsignedintip_length:4;IP包頭長度unsignedchariptos;服務類型unsignedshortip_total_lengthIP數(shù)據(jù)包的總長度unsignedshortip_flags;標志位unsignedcharip_ttl;生存期unsignedcharip_protocol;傳輸層協(xié)議類型unsignedshortip_checksum;IP頭的校驗和unsignedintip_source;源IP地址unsignedintip_dest;目的IP地址};當解碼模塊按照TCP/IP格式取得數(shù)據(jù)傳輸體中的實際數(shù)據(jù)時(數(shù)據(jù)實體)，需要按照一定的協(xié)議格式進行匹配處理。模式匹配模塊模式匹配模塊通過打開存取有害詞庫的文件提取并建立匹配字庫。將匹配字庫與從解碼模塊提取的信息實體內(nèi)容進行字符串比較，比較算法使用KMP算法。模式匹配模塊采用順序匹配方式逐個匹配關鍵詞，如果匹配成功退出該程序，如果不成功繼續(xù)匹配直到匹配完所有的關鍵詞。匹配算法部分因為采用KMP算法，所以編寫生成NEXT數(shù)組函數(shù)和匹配函數(shù)組成。當匹配成功時調(diào)用處理模塊完成報警、記錄日志攔截計算機功能。圖形顯示模塊該模塊完成前臺軟件的所有工作。主要兩大部份，一部分提供命令接口供用戶使用，另一部分將數(shù)據(jù)存儲，顯示并進行報警。系統(tǒng)啟動后，對網(wǎng)絡進行初始化，與后臺軟件建立聯(lián)系。當用戶選擇命令發(fā)送時，可以有啟動抓包、結(jié)束抓包、傳送流程三種選擇。5.5論壇監(jiān)測軟件的對象關系圖以下是該系統(tǒng)從管理員發(fā)出命令到抓包，分析數(shù)據(jù)，過濾數(shù)據(jù)，以及最后的發(fā)現(xiàn)有害數(shù)據(jù)報警的各個對象的關系圖。如圖8所示：管理員管理員命令日志報警顯示前臺軟件后臺接收對象報警數(shù)據(jù)圖8系統(tǒng)對象關系圖5.6論壇監(jiān)測的關鍵代碼6結(jié)果測試，性能分析6.1測試指標：啟動包捕獲。停止包捕獲。捕獲到非法數(shù)據(jù)后有顯示功能。捕獲到非法數(shù)據(jù)后有報警功能。捕獲到非法數(shù)據(jù)后有日志功能。對黑名單用戶的信息有顯示、報瞥、日志功能。抓包和丟包率的測試。6.2測試環(huán)境針對圖所示監(jiān)測計算機所處的位置，設計了兩種測試環(huán)境。分別用來測試監(jiān)測計算機處于局域網(wǎng)絡內(nèi)部和局域網(wǎng)外部的監(jiān)測效果。6.3監(jiān)測計算機處于局域網(wǎng)內(nèi)部示意圖如下圖9：圖9局域網(wǎng)內(nèi)部監(jiān)聽拓撲圖圖9局域網(wǎng)內(nèi)部監(jiān)聽拓撲圖目標論壇HUB監(jiān)聽機用戶機26.3.1用戶機和目標論壇配置這里我們把監(jiān)測計算機處于局域網(wǎng)內(nèi)部的這種情況做實驗，配置如下：用戶機2網(wǎng)卡的IP地址設為0，網(wǎng)關地址設為,DNS地址設為，用ipconfig/all查看它的MAC