基于大數(shù)據(jù)的電力安全監(jiān)測(cè)系統(tǒng)設(shè)計(jì)與研究

00引言電力行業(yè)作為關(guān)系國(guó)計(jì)民生的重要基礎(chǔ)行業(yè)，也是技術(shù)、資金密集型行業(yè)，在注重信息化建設(shè)的同時(shí)，對(duì)網(wǎng)絡(luò)安全工作也歷來高度重視。2010年“震網(wǎng)”(stuxnet)病毒的爆發(fā)，讓全球再一次明白，工業(yè)控制系統(tǒng)已成為黑客的主要目標(biāo)。隨后，“毒區(qū)”(duqu)和“火焰”(flame)病毒相繼出現(xiàn)，與“震網(wǎng)”共同形成“網(wǎng)絡(luò)戰(zhàn)”攻擊群。2014年，功能更為強(qiáng)大的Havex以不同工業(yè)領(lǐng)域?yàn)槟繕?biāo)進(jìn)行攻擊，至2016年已發(fā)展到88個(gè)變種。2015年底發(fā)生的烏克蘭大面積停電事件，又一次為電力監(jiān)控系統(tǒng)網(wǎng)絡(luò)安全拉響警報(bào)。這些事例說明電力監(jiān)控系統(tǒng)所面臨的安全風(fēng)險(xiǎn)日益增大，直接威脅到電力系統(tǒng)的安全穩(wěn)定運(yùn)行和電力可靠供應(yīng)。針對(duì)工業(yè)網(wǎng)絡(luò)的攻擊，更多體現(xiàn)在敵對(duì)勢(shì)力或者是一種國(guó)家意志的行為，從APT到網(wǎng)絡(luò)空間戰(zhàn)，組合式的攻擊方式和以破壞基礎(chǔ)設(shè)施為目的的攻擊方式，已經(jīng)成為工業(yè)網(wǎng)絡(luò)面臨的主要威脅。鑒于電力行業(yè)的核心地位，國(guó)務(wù)院、工信部以及南方電網(wǎng)等國(guó)家、行業(yè)監(jiān)管部門，已經(jīng)在不同的場(chǎng)合下多次強(qiáng)調(diào)了工業(yè)控制系統(tǒng)網(wǎng)絡(luò)安全的重要性，并且已經(jīng)開始對(duì)工業(yè)系統(tǒng)網(wǎng)絡(luò)安全進(jìn)行檢查和研究?；诠I(yè)控制系統(tǒng)自身對(duì)實(shí)時(shí)性、穩(wěn)定性以及兼容性的要求，技術(shù)人員無法直接在生產(chǎn)環(huán)境進(jìn)行攻防驗(yàn)證。鑒于上述情況，搭建基于大數(shù)據(jù)的電力安全監(jiān)測(cè)系統(tǒng)，在模擬環(huán)境中進(jìn)行工業(yè)控制系統(tǒng)漏洞挖掘、網(wǎng)絡(luò)協(xié)議分析、滲透測(cè)試以及威脅評(píng)估等試驗(yàn)和研究，以檢驗(yàn)電力工業(yè)控制系統(tǒng)網(wǎng)絡(luò)防護(hù)能力。從技術(shù)上講，安全事件監(jiān)視和態(tài)勢(shì)評(píng)估可以綜合分析各個(gè)方面的安全要素，從整體上動(dòng)態(tài)反映網(wǎng)絡(luò)的安全狀況，評(píng)估的結(jié)果具有綜合性、多角度性和多粒度性等特點(diǎn)。通過安全事件監(jiān)視和態(tài)勢(shì)評(píng)估，可以準(zhǔn)確了解自身的網(wǎng)絡(luò)和各種應(yīng)用系統(tǒng)以及管理制度規(guī)范的安全現(xiàn)狀，從而明晰安全需求。通過確定主要安全風(fēng)險(xiǎn)，并選擇規(guī)避、降低、轉(zhuǎn)移以及接受等風(fēng)險(xiǎn)處置措施，然后有依據(jù)地制定網(wǎng)絡(luò)和系統(tǒng)的安全策略和安全解決方案，從而指導(dǎo)信息系統(tǒng)安全技術(shù)體系與安全管理制度的建設(shè)。01基于大數(shù)據(jù)的電力安全監(jiān)測(cè)系統(tǒng)建設(shè)1.1建設(shè)目標(biāo)在原有自動(dòng)化防護(hù)能力基礎(chǔ)上，利用大數(shù)據(jù)分析技術(shù)對(duì)系統(tǒng)運(yùn)行狀況、網(wǎng)絡(luò)流量進(jìn)行漏洞挖掘、協(xié)議分析和威脅評(píng)估，并依靠人工智能和神經(jīng)元算法對(duì)系統(tǒng)現(xiàn)狀做出科學(xué)評(píng)價(jià)形成深度學(xué)習(xí)模型，動(dòng)態(tài)識(shí)別系統(tǒng)的風(fēng)險(xiǎn)點(diǎn)和威脅情況，建立預(yù)測(cè)預(yù)警,有針對(duì)性地改善安全體系，最終達(dá)到有效監(jiān)測(cè)、防御新型攻擊威脅的目的。1.2建設(shè)方案基于大數(shù)據(jù)的電力安全監(jiān)測(cè)系統(tǒng)采用開放平臺(tái)架構(gòu)設(shè)計(jì)，遵循業(yè)界通行的應(yīng)用接口和管理接口，實(shí)現(xiàn)了模塊化裝配和靈活性部署，系統(tǒng)架構(gòu)如圖1所示。圖1基于大數(shù)據(jù)的電力安全監(jiān)測(cè)系統(tǒng)系統(tǒng)架構(gòu)感知層：平臺(tái)支持多種數(shù)據(jù)源的接入，包括工控設(shè)備、物聯(lián)網(wǎng)設(shè)備(包括各類傳感器、攝像頭等)和第三方數(shù)據(jù)接口接入等的海量數(shù)據(jù)信息。接入層：平臺(tái)支持各類電力行業(yè)工業(yè)控制系統(tǒng)的數(shù)據(jù)接人包括變電站自動(dòng)化系統(tǒng)、微機(jī)保護(hù)系統(tǒng)、電力調(diào)度自動(dòng)化系統(tǒng)和SCADA系統(tǒng)等數(shù)據(jù)信息。大數(shù)據(jù)層：將采集的海量異構(gòu)數(shù)據(jù)進(jìn)行實(shí)時(shí)和離線分析，采用數(shù)據(jù)預(yù)處理、分布式存儲(chǔ)、關(guān)聯(lián)分析、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)分析以及數(shù)據(jù)挖掘等多種大數(shù)據(jù)分析手段實(shí)現(xiàn)對(duì)異常、事件、資產(chǎn)的檢測(cè)與追蹤溯源。監(jiān)測(cè)層：將大數(shù)據(jù)識(shí)別分析的數(shù)據(jù)，通過平臺(tái)搭建的大數(shù)據(jù)模型進(jìn)行綜合分析與評(píng)估，進(jìn)而實(shí)現(xiàn)對(duì)電力行業(yè)各系統(tǒng)的合規(guī)檢查監(jiān)管、量化安全威脅和風(fēng)險(xiǎn)、發(fā)現(xiàn)電網(wǎng)系統(tǒng)中潛在漏洞和隱患、攻擊源、預(yù)測(cè)未知攻擊及報(bào)警/預(yù)警等功能。展現(xiàn)層：提供人機(jī)交互界面，向安全管理人員呈現(xiàn)全方位工控及物聯(lián)網(wǎng)等安全態(tài)勢(shì)。02平臺(tái)功能設(shè)計(jì)基于大數(shù)據(jù)的電力安全監(jiān)測(cè)系統(tǒng)，通過漏洞挖掘、協(xié)議分析、滲透測(cè)試以及威脅評(píng)估等技術(shù)手段,實(shí)現(xiàn)對(duì)系統(tǒng)安全狀況的評(píng)估和風(fēng)險(xiǎn)識(shí)別。一是工控網(wǎng)絡(luò)漏洞挖掘。采取端口掃描、模塊特征探測(cè)以及漏洞庫(kù)指紋匹配等手段，快速定位目標(biāo)網(wǎng)絡(luò)服務(wù)系統(tǒng)潛在的脆弱點(diǎn)，形成漏洞分析結(jié)果。二是工控網(wǎng)絡(luò)協(xié)議漏洞分析。構(gòu)建可擴(kuò)展的網(wǎng)絡(luò)協(xié)議漏洞分析平臺(tái)，對(duì)已知協(xié)議和未知協(xié)議開展遠(yuǎn)程模糊測(cè)試，挖掘網(wǎng)絡(luò)應(yīng)用服務(wù)協(xié)議漏洞。三是脆弱點(diǎn)識(shí)別。綜合利用靜態(tài)掃描、逆向還原以及模糊測(cè)試等手段對(duì)目標(biāo)系統(tǒng)進(jìn)行深度剖析，定位系統(tǒng)漏洞脆弱點(diǎn)。四是威脅評(píng)估。以資產(chǎn)為主線，通過流量分析綜合漏洞挖掘、協(xié)議漏洞分析以及滲透測(cè)試結(jié)果，準(zhǔn)確識(shí)別電力監(jiān)控系統(tǒng)安全風(fēng)險(xiǎn)。五是監(jiān)測(cè)結(jié)果融合展示。對(duì)檢測(cè)引擎檢測(cè)結(jié)果進(jìn)行多維度、多層次展示，并支持結(jié)果信息去重、融合與關(guān)聯(lián)分析,以直觀生動(dòng)的方式呈現(xiàn)結(jié)果。整個(gè)平臺(tái)包了5個(gè)子系統(tǒng)，即漏洞挖掘系統(tǒng)、工控協(xié)議漏洞分析系統(tǒng)、脆弱點(diǎn)分析系統(tǒng)、威脅評(píng)估系統(tǒng)和監(jiān)測(cè)結(jié)果呈現(xiàn)系統(tǒng)。2.1漏洞挖掘系統(tǒng)漏洞挖掘檢測(cè)系統(tǒng)提供了最完整的工控安全漏洞庫(kù)和設(shè)備庫(kù)、最豐富全面的工控協(xié)議測(cè)試用例庫(kù)以及最先進(jìn)的模糊測(cè)試引擎（覆蓋Modbus、IEC104,IEC101,MMS、Profinet、S7、DNP3以及CAN總線等十幾種常見工控協(xié)議；針對(duì)私有未知協(xié)議模式提供多種解決方案，如定制開發(fā)、培訓(xùn)用戶自開發(fā)和未知協(xié)議智能測(cè)試）。通過漏洞庫(kù)與設(shè)備庫(kù)的關(guān)聯(lián)驗(yàn)證，自定義模糊測(cè)試等多種方式發(fā)現(xiàn)工控設(shè)備中存在的已知安全漏洞和挖掘未知（零日）安全漏洞。抓包重放及專業(yè)分析工具精確定位漏洞產(chǎn)生根源，梳理攻擊原理，在漏洞挖掘過程中進(jìn)行數(shù)據(jù)包捕獲，使用漏洞分析工具分析捕獲的數(shù)據(jù)包。根據(jù)數(shù)據(jù)包分析的結(jié)果，修改范圍和參數(shù)后進(jìn)行針對(duì)性測(cè)試，直至找到產(chǎn)生漏洞的真正根源，并在此基礎(chǔ)上發(fā)現(xiàn)潛在漏洞的利用方式和評(píng)估漏洞風(fēng)險(xiǎn)等級(jí)。根據(jù)漏洞根源分析的結(jié)果，本平臺(tái)提供了開發(fā)針對(duì)該漏洞的攻擊套件工具，以測(cè)試同類產(chǎn)品是否存在相同漏洞特征，同時(shí)也能開發(fā)針對(duì)性的保護(hù)策略，以抵御針對(duì)此漏洞的攻擊。由漏洞挖掘工具檢測(cè)出的系統(tǒng)或設(shè)備漏洞，可在開發(fā)后加入漏洞挖掘工具的漏洞庫(kù)，也能通過第三方導(dǎo)入的方式不斷完善漏洞庫(kù)，增加系統(tǒng)檢測(cè)能力。2.2工控協(xié)議漏洞分析系統(tǒng)運(yùn)用模糊測(cè)試的原理，構(gòu)建完整、可擴(kuò)展的通信協(xié)議動(dòng)態(tài)隨機(jī)分析測(cè)試框架，建設(shè)通信協(xié)議健壯性檢測(cè)評(píng)估系統(tǒng)，通過設(shè)計(jì)變異測(cè)試用例并構(gòu)造變異報(bào)文，檢查通信協(xié)議實(shí)現(xiàn)的缺陷。支持對(duì)Ethernet,ARP、IP、ICMP、IGMP、UDP以及TCP等網(wǎng)絡(luò)協(xié)議的檢測(cè)評(píng)估，并研發(fā)相應(yīng)的檢測(cè)評(píng)估工具；支持ModbusTCP/IP、DNP3.0、EtherNet/IP-CIP,FoudationFieldbus,IEC104、IEC61850、MMS、PROFINET以及OPCUA等常用工業(yè)控制協(xié)議的檢測(cè)評(píng)估，并研發(fā)相應(yīng)的檢測(cè)評(píng)估工具；支持多目標(biāo)（如文件、網(wǎng)絡(luò)協(xié)議等）、多種協(xié)議（如ModbusTCP、DNP3等不同類型的協(xié)議）以及多線程（加速測(cè)試進(jìn)度）;研發(fā)對(duì)未知協(xié)議的靈活開放的測(cè)評(píng)接口，支持私有協(xié)議的檢測(cè)評(píng)估。2.3脆弱點(diǎn)分析系統(tǒng)綜合利用靜態(tài)掃描、逆向還原以及模糊測(cè)試等手段（包括OWASP、CVE在內(nèi)的信息化漏洞、工業(yè)控制漏洞類型，對(duì)被測(cè)系統(tǒng)進(jìn)行靜態(tài)掃描，將匹配后的結(jié)果呈現(xiàn)報(bào)告。通過逆向還原發(fā)現(xiàn)被測(cè)系統(tǒng)組建、架構(gòu)以及業(yè)務(wù)邏輯的脆弱點(diǎn)；通過Fuzz技術(shù)遍歷所有可能的數(shù)據(jù)對(duì)程序進(jìn)行測(cè)試，在測(cè)試過程中記錄程序執(zhí)行的狀態(tài)，篩選出可能出bug的數(shù)據(jù)并記錄，供人繼續(xù)分析）對(duì)應(yīng)用服務(wù)程序文件進(jìn)行深度剖析，定位應(yīng)用服務(wù)漏洞脆弱點(diǎn)，即在已經(jīng)獲取應(yīng)用程序全部或部分程序模塊的基礎(chǔ)上，對(duì)應(yīng)用程序進(jìn)行脆弱性分析。2.4威脅評(píng)估系統(tǒng)威脅評(píng)估平臺(tái)擁有威脅分析、資產(chǎn)分析和流量分析3大功能模塊，可以從管理規(guī)范和技術(shù)要求等方面滿足所有工控環(huán)境下的風(fēng)險(xiǎn)評(píng)估要求。平臺(tái)支持近70種工控和IT協(xié)議，能夠安全準(zhǔn)確地識(shí)別工控網(wǎng)絡(luò)中的各類工業(yè)控制系統(tǒng)、設(shè)備、軟件以及其他運(yùn)行中的IT服務(wù)器、數(shù)據(jù)庫(kù)和網(wǎng)絡(luò)設(shè)備，智能生成網(wǎng)絡(luò)拓?fù)?，結(jié)合專業(yè)的工控漏洞庫(kù)、設(shè)備庫(kù)、病毒特征庫(kù)和全網(wǎng)威脅評(píng)分系統(tǒng)，清晰定義各類設(shè)備和整體網(wǎng)絡(luò)的安全風(fēng)險(xiǎn)，并在評(píng)估報(bào)告中進(jìn)行詳細(xì)的漏洞分析，提供可操作的威脅整改建議，從可視化和專業(yè)化的角度幫助用戶認(rèn)識(shí)當(dāng)前工控網(wǎng)絡(luò)所符合的安全等級(jí)和需要整改的部分。主要功能如下。項(xiàng)目向?qū)В和ㄟ^項(xiàng)目為向?qū)?，可以合理清晰地幫助用戶?gòu)建一個(gè)完整的工業(yè)現(xiàn)場(chǎng)風(fēng)險(xiǎn)評(píng)估項(xiàng)目。威脅分析：威脅評(píng)估平臺(tái)基于國(guó)際和國(guó)家標(biāo)準(zhǔn),同時(shí)結(jié)合行業(yè)標(biāo)準(zhǔn)，形成了多套具備嚴(yán)格理論依據(jù)的評(píng)估標(biāo)準(zhǔn)，如調(diào)度系統(tǒng)、智能變電站系統(tǒng)、配網(wǎng)系統(tǒng)以及電廠系統(tǒng)等評(píng)估標(biāo)準(zhǔn)和流程。基于標(biāo)準(zhǔn)評(píng)估問卷的結(jié)果，采用威脅評(píng)分算法進(jìn)行智能評(píng)分，最終得出威脅分析的整體評(píng)估結(jié)果。資產(chǎn)分析：資產(chǎn)分析中資產(chǎn)信息可通過自動(dòng)設(shè)備識(shí)別和手動(dòng)資產(chǎn)錄入?yún)f(xié)同完成，平臺(tái)將對(duì)資產(chǎn)信息進(jìn)行安全性分析，得出詳細(xì)的漏洞信息、評(píng)分以及相應(yīng)的安全解決方案。流量分析：針對(duì)工業(yè)控制網(wǎng)絡(luò)日新月異的攻擊手段和入侵方式，建立完善的特征匹配庫(kù)，涵蓋專門針對(duì)工業(yè)控制系統(tǒng)的木馬、蠕蟲、病毒、滲透攻擊以及拒絕服務(wù)等全面信息，通過在線監(jiān)測(cè)和離線分析的多重手段，對(duì)工業(yè)控制系統(tǒng)實(shí)施流量分析，得出網(wǎng)絡(luò)中潛在的安全隱患。工業(yè)漏洞庫(kù)：威脅評(píng)估平臺(tái)中包含行業(yè)領(lǐng)先的工業(yè)控制設(shè)備漏洞庫(kù)，涵蓋了各大主流工控設(shè)備生產(chǎn)廠商的設(shè)備和協(xié)議，囊括了已經(jīng)公布的漏洞和由網(wǎng)絡(luò)測(cè)試產(chǎn)品所挖掘到的設(shè)備和協(xié)議未知漏洞。威脅評(píng)分：威脅評(píng)分系統(tǒng)將引入強(qiáng)大的智能威脅分析引擎，支持全方位的智能評(píng)分，包括管理制度、業(yè)務(wù)流程、網(wǎng)絡(luò)結(jié)構(gòu)、資產(chǎn)信息和通信數(shù)據(jù)等。報(bào)告系統(tǒng)：威脅評(píng)估平臺(tái)基于風(fēng)險(xiǎn)評(píng)估的流程進(jìn)行設(shè)計(jì)，自動(dòng)生成報(bào)告模板。2.5脆弱點(diǎn)分析系統(tǒng)以資產(chǎn)為主線利用大數(shù)據(jù)分析技術(shù)，對(duì)漏洞信息和威脅信息進(jìn)行數(shù)據(jù)處理和關(guān)聯(lián)分析，對(duì)安全威脅進(jìn)行綜合分析呈現(xiàn)、告警和威脅態(tài)勢(shì)，展示截圖如圖2、圖3所示。圖2基于大數(shù)據(jù)的電力安全監(jiān)測(cè)系統(tǒng)展示狀況一圖3基于大數(shù)據(jù)的電力安全監(jiān)測(cè)系統(tǒng)展示狀況二平臺(tái)通過采用分布式網(wǎng)絡(luò)空間設(shè)備探測(cè)技術(shù)、多維度的工控協(xié)議識(shí)別等，實(shí)現(xiàn)自動(dòng)釆集、識(shí)別工業(yè)控制系統(tǒng)的漏洞與潛在威脅的能力。平臺(tái)通過大數(shù)據(jù)建模分析與核心知識(shí)庫(kù)進(jìn)行風(fēng)險(xiǎn)評(píng)估、態(tài)勢(shì)感知，預(yù)防設(shè)備潛在風(fēng)險(xiǎn)的發(fā)生。平臺(tái)能夠隨數(shù)據(jù)以及應(yīng)用壓力增長(zhǎng)自動(dòng)實(shí)現(xiàn)彈性伸縮，同時(shí)可以滿足未來跨數(shù)據(jù)中心進(jìn)行數(shù)據(jù)存儲(chǔ)與分析計(jì)算。平臺(tái)能夠感知工控聯(lián)網(wǎng)設(shè)備的安全態(tài)勢(shì)，精確定位全網(wǎng)脆弱節(jié)點(diǎn)并進(jìn)行威脅評(píng)估。03核心技術(shù)研究本文研究的核心技術(shù)包括大數(shù)據(jù)技術(shù)、數(shù)據(jù)融合技術(shù)、威脅數(shù)據(jù)融合技術(shù)和流量包威脅檢測(cè)技術(shù)。3.1大數(shù)據(jù)技術(shù)大數(shù)據(jù)技術(shù)是支撐系統(tǒng)高效運(yùn)行的前提，是關(guān)聯(lián)分析、挖掘脆弱點(diǎn)以及發(fā)現(xiàn)識(shí)別隱藏漏洞的關(guān)鍵。大數(shù)據(jù)技術(shù)是使用一系列非傳統(tǒng)工具對(duì)海量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行處理，從而獲得分析和預(yù)測(cè)結(jié)果的數(shù)據(jù)處理和分析技術(shù)。從數(shù)據(jù)分析流程的角度，可以把大數(shù)據(jù)技術(shù)分為以下幾個(gè)層面。數(shù)據(jù)采集與預(yù)處理：利用ETL工具將分布的異構(gòu)數(shù)據(jù)中的數(shù)據(jù)，如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換和集成，最后加載到數(shù)據(jù)倉(cāng)庫(kù)或者數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘的基礎(chǔ)；可以利用日志采集工具把實(shí)時(shí)釆集的數(shù)據(jù)作為流計(jì)算系統(tǒng)的輸入，進(jìn)行實(shí)時(shí)處理分析。數(shù)據(jù)存儲(chǔ)與管理：利用分布式文件系統(tǒng)、數(shù)據(jù)倉(cāng)庫(kù)、關(guān)系數(shù)據(jù)庫(kù)和NoSQL數(shù)據(jù)庫(kù)等，實(shí)現(xiàn)對(duì)結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的處理和分析。數(shù)據(jù)處理與分析：利用分布式并行編程模型和計(jì)算框架，結(jié)合機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘算法，實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的處理和分析。數(shù)據(jù)可視化呈現(xiàn)：采用可視化工具，對(duì)數(shù)據(jù)分析結(jié)果進(jìn)行可視化呈現(xiàn)，幫助用戶更好地理解數(shù)據(jù)和分析數(shù)據(jù)。3.2數(shù)據(jù)融合數(shù)據(jù)融合技術(shù)能有效融合所獲得的多源數(shù)據(jù)，充分利用其冗余性和互補(bǔ)性，在多個(gè)數(shù)據(jù)源之間進(jìn)行取長(zhǎng)補(bǔ)短，從而為漏洞挖掘與分析系統(tǒng)的識(shí)別、挖掘以及驗(yàn)證漏洞做保障，以便更準(zhǔn)確地識(shí)別、挖掘、分析和驗(yàn)證漏洞信息，也是檢測(cè)結(jié)果數(shù)據(jù)提取精確呈現(xiàn)的核心技術(shù)。3.2.1數(shù)據(jù)融合的層次分類數(shù)據(jù)融合作為多級(jí)別、多層次的數(shù)據(jù)處理，經(jīng)過對(duì)原始數(shù)據(jù)的融合操作，使得通過數(shù)據(jù)分析而得的結(jié)論更加準(zhǔn)確與可靠。系統(tǒng)采取數(shù)據(jù)融合技術(shù)貫穿數(shù)據(jù)級(jí)融合、特征級(jí)融合和決策級(jí)融合。在整個(gè)系統(tǒng)架構(gòu)上是貫穿數(shù)據(jù)采集層、漏洞挖掘與分析層和結(jié)果呈現(xiàn)層，既減輕了存儲(chǔ)的壓力，又提高了測(cè)效果。3.2.2數(shù)據(jù)融合關(guān)鍵算法系統(tǒng)除了采用基于模型和基于概率的方法（如加權(quán)平均法、卡爾曼濾波法、貝葉斯推理、小波分析以及經(jīng)典概率等），還融入了現(xiàn)代方法，如邏輯推理和機(jī)器學(xué)習(xí)的人工智能方法（如聚類分析法、粗糙集、模糊理論以及進(jìn)化法等）。3.3海量數(shù)據(jù)內(nèi)容識(shí)別與威脅檢測(cè)3.3.1基于端口的識(shí)別方法大部分網(wǎng)絡(luò)應(yīng)用的常用傳輸層端口號(hào)是固定的，因此根據(jù)端口號(hào)識(shí)別網(wǎng)絡(luò)應(yīng)用是最簡(jiǎn)單的一類方法。IANA主要將端口劃分為3類。（1）熟知端口號(hào)。端口號(hào)的范圍是0~1023,該類端口由IANA進(jìn)行統(tǒng)一分配。（2）注冊(cè)端口號(hào)。端口號(hào)的范圍是1024~49151,主機(jī)中的用戶級(jí)進(jìn)程可以隨意使用這些端口號(hào)進(jìn)行數(shù)據(jù)傳輸。（3）動(dòng)態(tài)端口號(hào)。端口號(hào)的范圍是49152-65535,IANA沒有對(duì)這類端口進(jìn)行分配，網(wǎng)絡(luò)應(yīng)用可以任意使用這類端口。由于通過端口號(hào)解析的方法識(shí)別速度快、開銷小，因而獲得了廣泛應(yīng)用。但是，這種方法的識(shí)別準(zhǔn)確率不高，因?yàn)楹芏鄳?yīng)用軟件使用隨即生成的端口進(jìn)行通信，不容易進(jìn)行識(shí)別。相關(guān)研究表明，通過IANA分配的端口號(hào)對(duì)網(wǎng)絡(luò)流量進(jìn)行識(shí)別，有近約31%的字節(jié)流量（29%的數(shù)據(jù)包）不能被準(zhǔn)確識(shí)別出來。3.3.2流量統(tǒng)計(jì)特征識(shí)別基于流量統(tǒng)計(jì)特征的識(shí)別方法利用計(jì)算機(jī)網(wǎng)絡(luò)協(xié)議規(guī)范的差異導(dǎo)致的流量屬性的不同識(shí)別網(wǎng)絡(luò)協(xié)議。Moore等人首先對(duì)已經(jīng)打好標(biāo)簽的網(wǎng)絡(luò)流量數(shù)據(jù)集進(jìn)行學(xué)習(xí)，然后按照高斯分布的特性對(duì)網(wǎng)絡(luò)流量屬性進(jìn)行綜合評(píng)估。首先根據(jù)網(wǎng)絡(luò)流量特性對(duì)數(shù)據(jù)包到達(dá)時(shí)間間隔、數(shù)據(jù)包平均長(zhǎng)度和數(shù)據(jù)包持續(xù)時(shí)間等進(jìn)行特征選擇，其次使用EM算法計(jì)算每個(gè)數(shù)據(jù)包屬于某一類的類別概率。該種方法適合在訓(xùn)練數(shù)據(jù)集不足的情況下對(duì)網(wǎng)絡(luò)流量進(jìn)行模糊聚類。給出一個(gè)流量分類器框架，分類過程由基于統(tǒng)計(jì)特性的機(jī)器學(xué)習(xí)完成，并在此基礎(chǔ)上給出一種特征選擇方法，有利于降低分類的復(fù)雜度，提高分類精度。通過對(duì)多種聚類算法進(jìn)行比較，評(píng)估各種聚類算法在計(jì)算機(jī)網(wǎng)絡(luò)流量分類中的性能。3.3.3基于DPI的流量分析技術(shù)基于DPI流量檢測(cè)技術(shù)，可以利用數(shù)據(jù)報(bào)文中的“指紋”（如特定端口、特定的字符或特定的位序列）信息的檢測(cè)確定所承載業(yè)務(wù)的應(yīng)用狀況和實(shí)現(xiàn)對(duì)新協(xié)議的檢測(cè)，可以基于對(duì)攻擊者已經(jīng)實(shí)施的行為分析判斷攻擊者正在進(jìn)行的動(dòng)作或即將實(shí)施的動(dòng)作。3.3.4基于DFI的流量分析技術(shù)DFI是DPI在持續(xù)改善中衍生出來的檢測(cè)技術(shù),可用于網(wǎng)絡(luò)安全數(shù)據(jù)采集和檢測(cè)。DFI主要分為3部分：流特征選擇、流特征提取和分類器分析。在深度流檢測(cè)中，對(duì)會(huì)話流進(jìn)行識(shí)別，提取流特征，然后