異常行為發(fā)現(xiàn)

網(wǎng)絡(luò)異常行為發(fā)現(xiàn)產(chǎn)品方案部李學(xué)進(jìn)背景介紹異常行為發(fā)現(xiàn)安全事件預(yù)測工具推薦背景介紹“動(dòng)態(tài)安全，集中管控”移動(dòng)警務(wù)項(xiàng)目柵欄式防護(hù)：“人之初，性本惡”動(dòng)態(tài)防護(hù)：“人之初，性本善”沒有訓(xùn)練樣本可用產(chǎn)生海量標(biāo)準(zhǔn)化日志背景介紹異常行為發(fā)現(xiàn)安全事件預(yù)測工具推薦異常行為發(fā)現(xiàn)相關(guān)算法K-Means聚類算法KNN分類算法隨機(jī)森林分類算法異常行為發(fā)現(xiàn)決策樹決策樹模型訓(xùn)練樣本異常行為發(fā)現(xiàn)大數(shù)據(jù)處理基本流程結(jié)構(gòu)化數(shù)據(jù)，半結(jié)構(gòu)化數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)分布式消息隊(duì)列Kafka實(shí)時(shí)處理（Storm,

Spark

Streaming）在線集群Redis,MPP,ES,HBase離線集群HDFS，HBase，Hive通用Lambda架構(gòu)常見生產(chǎn)架構(gòu)異常行為發(fā)現(xiàn)異常行為發(fā)現(xiàn)總體流程異常行為發(fā)現(xiàn)數(shù)據(jù)預(yù)處理異常行為發(fā)現(xiàn)特征工程用戶使用網(wǎng)絡(luò)的時(shí)間：用戶動(dòng)作發(fā)生的時(shí)間段比如早、中、晚；或者子、丑、寅等。訪問的系統(tǒng)：系統(tǒng)類型，比如查詢類、管理類、監(jiān)控類或者直接系統(tǒng)名稱訪問操作的分類：瀏覽、查詢、上傳、下載、修改、刪除訪問的內(nèi)容類型：文本、視頻、音頻、圖片訪問操作的數(shù)據(jù)流量終端環(huán)境信息1、行為定義2、行為描述原始行為（一次操作）統(tǒng)計(jì)行為（一段時(shí)間內(nèi)的所有操作）終端IP變化次數(shù)外發(fā)文檔總數(shù)非工作時(shí)間操作次數(shù)在線總時(shí)長3、向量化:

TF-IDF，映射規(guī)則，按列統(tǒng)計(jì)異常行為發(fā)現(xiàn)異常行為識(shí)別過程背景介紹異常行為發(fā)現(xiàn)安全事件預(yù)測工具推薦安全事件預(yù)測線性預(yù)測模型

一元線性回歸模型多元線性回歸

……最小二乘法參數(shù)估計(jì)安全事件預(yù)測時(shí)間序列非線性預(yù)測模型在分類數(shù)據(jù)中按固定時(shí)間段（周、月、季度、年等）進(jìn)行統(tǒng)計(jì)得到所需的預(yù)測因素和對(duì)應(yīng)的預(yù)測目標(biāo)數(shù)據(jù)，按時(shí)間先后順序?qū)⑦@些數(shù)據(jù)排成一個(gè)序列通過編制和分析時(shí)間序列，根據(jù)時(shí)間序列所反映出來的發(fā)展過程、方向和趨勢，進(jìn)行類推或延伸，借以預(yù)測下一段時(shí)間可能發(fā)生的安全事件數(shù)量

二次拋物線模型

時(shí)間序列模型構(gòu)建步驟綜合預(yù)測模型背景介紹異常行為發(fā)現(xiàn)安全事件預(yù)測工具推薦工具推薦數(shù)據(jù)分析Python，R，SAS，SPSS大數(shù)據(jù)處理算法庫Mahout，SPARK

MLlib個(gè)人推薦R語言做特征選擇和算法評(píng)估Hive，SPARK

SQL做統(tǒng)計(jì)分析SPARK