基于大數(shù)據(jù)平臺的攻擊方式檢測課件

基于大數(shù)據(jù)分析的網(wǎng)絡(luò)攻擊檢測基于大數(shù)據(jù)平臺的攻擊方式檢測目錄CONTENTS常見的網(wǎng)站攻擊方式當(dāng)今攻擊方式的特點(diǎn)基于大數(shù)據(jù)平臺的攻擊檢測方法相對于傳統(tǒng)檢測方法的優(yōu)勢之處基于大數(shù)據(jù)平臺的攻擊方式檢測當(dāng)今攻擊方式的特點(diǎn)1、目標(biāo)明確

當(dāng)今受到攻擊最多的是高校、企業(yè)、科研機(jī)構(gòu)、政府機(jī)構(gòu)。2、隱蔽性強(qiáng)、潛伏期長 NSA的shotgaint計(jì)劃，入侵華為7年才被發(fā)現(xiàn)

美國針對伊朗核項(xiàng)目的震網(wǎng)（Stuxnet）病毒，使整個伊核進(jìn)程拖延兩年

豐收行動、摩柯草事件、曼靈花行動、MOONSOON事件3、靈活多變

目前被曝光的知名APT事件中，社交攻擊、0day漏洞利用、

物理擺渡等方式層出不窮4、“三年不開張，開張吃三年”基于大數(shù)據(jù)平臺的攻擊方式檢測其他5.6%數(shù)據(jù)來源：2016年中國高級持續(xù)性威脅APT研究報(bào)告基于大數(shù)據(jù)平臺的攻擊方式檢測APT的攻擊的實(shí)施過程：偵查準(zhǔn)備階段

1.基于大數(shù)據(jù)分析的隱私挖掘 2.基于社會工程學(xué)的信息收集代碼傳入階段

1.直接傳入（魚叉式釣魚攻擊）2.間接傳入（通過在目標(biāo)用戶常訪問的第三方網(wǎng)站中植入惡意代碼）初次入侵階段

攻擊者利用0day或其他漏洞實(shí)施入侵，執(zhí)行惡意代碼使感染機(jī)建立起C&C連接，下載運(yùn)行后續(xù)惡意代碼基于大數(shù)據(jù)平臺的攻擊方式檢測保持訪問階段

竊取用戶的合法訪問證書與感染機(jī)建立C-S關(guān)系，在目標(biāo)網(wǎng)絡(luò)中植入更多模塊。擴(kuò)展行動階段

根據(jù)收集到合法用戶的行為來欺騙安全監(jiān)測，搜集網(wǎng)絡(luò)的拓補(bǔ)結(jié)構(gòu)和重要情報(bào)。攻擊收益階段

竊取內(nèi)部敏感資料，傳輸?shù)揭粋€內(nèi)部服務(wù)器并壓縮，為隱藏傳輸過程，采用SSL和TSL等安全傳輸協(xié)議。APT的攻擊的實(shí)施過程：基于大數(shù)據(jù)平臺的攻擊方式檢測傳統(tǒng)攻擊檢測方式的面臨困境1.數(shù)據(jù)和業(yè)務(wù)更加集中、網(wǎng)絡(luò)和應(yīng)用邊界模糊，基于單一邊界的傳統(tǒng)安全設(shè)備逐漸難以應(yīng)對2.傳統(tǒng)安全監(jiān)測方式面對越來越多的日志文件、數(shù)據(jù)包等海量數(shù)據(jù)力不從心。3.傳統(tǒng)攻擊檢測方式數(shù)據(jù)來源單一、大規(guī)模數(shù)據(jù)關(guān)聯(lián)能效低無法滿足新常態(tài)下情報(bào)挖掘分析需求?；诖髷?shù)據(jù)平臺的攻擊方式檢測需要解決的問題1.解決內(nèi)部數(shù)據(jù)源與外部數(shù)據(jù)源大規(guī)模數(shù)據(jù)的采集、預(yù)處理和采集問題2.解決流式數(shù)據(jù)的實(shí)時分析、大規(guī)模歷史數(shù)據(jù)的離線分析3.解決日志、網(wǎng)絡(luò)流量、日志情報(bào)、用戶行為等多源異構(gòu)數(shù)據(jù)快速復(fù)雜關(guān)聯(lián)分析與檢索問題基于大數(shù)據(jù)平臺的攻擊方式檢測大數(shù)據(jù)平臺天生的優(yōu)勢1.批量數(shù)據(jù)處理技術(shù)數(shù)據(jù)存儲HDFS、Hbase、Hive等數(shù)據(jù)存儲提取數(shù)據(jù)、批量處理圖1批量數(shù)據(jù)處理示意圖流式數(shù)據(jù)流數(shù)據(jù)處理提取數(shù)據(jù)批量處理圖2流處理數(shù)據(jù)示意圖基于大數(shù)據(jù)平臺的攻擊方式檢測交互式信息查詢技術(shù)：Hbase、Hive、MangoDB等NoSQL類型數(shù)據(jù)庫1.強(qiáng)調(diào)人作為安全分析的主題與需求主體2.歷史數(shù)據(jù)PB級數(shù)據(jù)量秒級檢索典型的交互式系統(tǒng)有ApacheSpark和GoogleDremel，Spark的內(nèi)存計(jì)算機(jī)制使其天生具有對數(shù)據(jù)的快速交互式查詢處理能力基于大數(shù)據(jù)平臺的攻擊方式檢測圖計(jì)算處理技術(shù)：很多大數(shù)據(jù)都是以大規(guī)模的圖或者網(wǎng)絡(luò)的形式呈現(xiàn)，許多非圖數(shù)據(jù)往往要轉(zhuǎn)化成圖結(jié)構(gòu)之后再做處理常用的圖計(jì)算產(chǎn)品有GooglePregel，CMUGraphLab,SparkGraphx什么是圖計(jì)算基于大數(shù)據(jù)平臺的攻擊方式檢測基于大數(shù)據(jù)的網(wǎng)絡(luò)安全分析的整體架構(gòu)數(shù)據(jù)采集層結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)日志SNMP用戶行為DNS流量身份認(rèn)證WebService數(shù)據(jù)存儲層HadoopHDFSNoSQL關(guān)系型數(shù)據(jù)庫sqoop數(shù)據(jù)分析層關(guān)聯(lián)規(guī)則MapReduce機(jī)器學(xué)習(xí)流式計(jì)算聚類分析圖計(jì)算特征提取查詢引擎數(shù)據(jù)展示層安全分析可視化引擎檢索安全預(yù)警基于大數(shù)據(jù)平臺的攻擊方式檢測系統(tǒng)安全監(jiān)測分析框架原始數(shù)據(jù)獲取海量網(wǎng)絡(luò)流量信息海量程序特征海量社交網(wǎng)絡(luò)結(jié)構(gòu)與內(nèi)容屬性網(wǎng)絡(luò)流量異常監(jiān)測惡意代碼異常監(jiān)測社交網(wǎng)絡(luò)安全事件挖掘大量網(wǎng)絡(luò)入侵事件大量惡意代碼大量用戶行為安全事件安全事件關(guān)聯(lián)分析提取攻擊的特征、類型和強(qiáng)度等信息原始數(shù)據(jù)獲取寬應(yīng)用域數(shù)據(jù)關(guān)聯(lián)分析寬事件域數(shù)據(jù)關(guān)聯(lián)分析基于大數(shù)據(jù)平臺的攻擊方式檢測研究現(xiàn)狀：網(wǎng)絡(luò)流量異常檢測技術(shù)現(xiàn)狀以網(wǎng)絡(luò)流數(shù)據(jù)為輸入、通過統(tǒng)計(jì)分析、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等方法，發(fā)現(xiàn)異常的網(wǎng)絡(luò)數(shù)據(jù)分組與異常網(wǎng)絡(luò)交互信息數(shù)據(jù)屬性提取方法異常檢測算法優(yōu)點(diǎn)缺點(diǎn)直接以網(wǎng)絡(luò)流量數(shù)據(jù)分組頭的各維數(shù)值作為數(shù)據(jù)屬性的檢測方法基于無監(jiān)督學(xué)習(xí)的異常監(jiān)測基于監(jiān)督學(xué)習(xí)的異常監(jiān)測基于半監(jiān)督學(xué)習(xí)的異常監(jiān)測可以自動提取異常模式算法的檢測準(zhǔn)確性較優(yōu)在準(zhǔn)確性與標(biāo)記成本之間有較好的折中算法的檢測準(zhǔn)確性較低需要大量標(biāo)記樣本對非均勻非平衡的數(shù)據(jù)樣本檢測結(jié)果較差以網(wǎng)絡(luò)流量特征作為數(shù)據(jù)屬性的檢測方法基于單鏈路流量的異常監(jiān)測基于全網(wǎng)絡(luò)流量的異常監(jiān)測監(jiān)測效率較高充分利用流量的時間相關(guān)性和空間相關(guān)性無法檢測分布式攻擊檢測效率較低各類網(wǎng)絡(luò)流量檢測方法的優(yōu)缺點(diǎn)基于大數(shù)據(jù)平臺的攻擊方式檢測惡意代碼檢測技術(shù)現(xiàn)狀1.靜態(tài)特征提取法：使用文件結(jié)構(gòu)分析、反編譯、反匯編、數(shù)據(jù)流分析等技術(shù)在不運(yùn)行程序的條件下檢測代碼的特征。2.動態(tài)特征提取法：使用Anubis、CWSandbox、Norman、Sandbox、Joebox等工具在真實(shí)或虛擬條件下運(yùn)行程序，進(jìn)而提取出程序的API操作、文件系統(tǒng)操作、函數(shù)訪問、函數(shù)調(diào)用等動態(tài)行為特征目前工程上普遍采用的是基于特征碼的異常檢測，這種方法本身自帶滯后性的缺點(diǎn)，無法應(yīng)對爆發(fā)式增長的惡意代碼帶來的威脅，所以目前該領(lǐng)域研究的熱點(diǎn)在基于行為的惡意代碼研究方面?；诖髷?shù)據(jù)平臺的攻擊方式檢測社交網(wǎng)絡(luò)安全事件挖掘技術(shù)研究現(xiàn)狀1.從社交網(wǎng)絡(luò)信息內(nèi)容和聯(lián)系關(guān)系中挖掘用戶的正常行為模式與信任關(guān)系，通過在線監(jiān)控將違背正常行為模式和信任關(guān)系的行為歸納為威脅事件2.從社交網(wǎng)絡(luò)數(shù)據(jù)中發(fā)現(xiàn)可以攻擊者的社會屬性信息，為攻擊事件溯源和攻擊意圖識別提供指導(dǎo)數(shù)據(jù)來源？因?yàn)樯缃痪W(wǎng)絡(luò)上的攻擊信息有限，該技術(shù)需要配合流量和惡意代碼檢測才能更有效的檢測識別出攻擊基于大數(shù)據(jù)平臺的攻擊方式檢測基于大數(shù)據(jù)入侵檢測的優(yōu)勢：1、檢測大范圍攻擊行為 2、提高準(zhǔn)確度3、提高效率4、協(xié)調(diào)相應(yīng)措施基于大數(shù)據(jù)平臺的攻擊方式檢測DoS攻擊：1)SYNFlood偽造大量只有syn標(biāo)志位的tcp連接請求，使服務(wù)器建立連接，當(dāng)連接數(shù)超過服務(wù)器的最大連接數(shù)目時，合法用戶的連接請求也無法被相應(yīng)2)IP欺騙DoS攻擊者偽造正常用戶的IP地址向發(fā)送帶有RST位的數(shù)據(jù)包，使服務(wù)器認(rèn)為已建立的連接出現(xiàn)錯誤進(jìn)而清除該連接，正常用戶必須重新建立連接才可以訪問。3)帶寬DoS攻擊攻擊者向服務(wù)器發(fā)送大量無用數(shù)據(jù)包來消耗服務(wù)器的寬帶資源，使正常訪問無法進(jìn)行。4)自身消耗DoS攻擊者將數(shù)據(jù)包的源地址與端口號偽造成與服務(wù)器相同，使服務(wù)器給自己發(fā)送TCP請求連接基于大數(shù)據(jù)平臺的攻擊方式檢測SQL注入攻擊：是指通過對web連接的數(shù)據(jù)庫發(fā)送惡意的SQL語句而產(chǎn)生的攻擊，從而產(chǎn)生安全隱患和對網(wǎng)站的威脅，可以造成逃過驗(yàn)證或者私密信息泄露等危害。SQL注入的原理是通過在對SQL語句調(diào)用方式上的疏漏，惡意注入SQL語句，