《航空電商大規(guī)模實時日志分析》課件

1、航空電商大規(guī)模實時日志分析目錄1、介紹惡意行為防控系統(tǒng)的背景2、介紹惡意行為防控系統(tǒng)的演進介紹惡意行為防控系統(tǒng)的背景 行為定義業(yè)務(wù)安全運維安全惡意爬數(shù)據(jù)惡意注冊/刷驗證碼刷單占位惡意秒殺惡意掃描SQL注入業(yè)務(wù)漏洞攻擊定義DDOS/CC攻擊介紹惡意行為防控系統(tǒng)的背景 惡意行為盈利模式加價目錄1、介紹惡意行為防控系統(tǒng)的背景2、介紹惡意行為防控系統(tǒng)的演進惡意行為防控系統(tǒng)的演進 第一階段 面臨的問題日峰值航班查詢量 30,000,000月峰值非正常停機 30分鐘問題日志 未利用日峰值注冊用戶 1,000,000 月峰值支出費用(元) 1,200,000 日峰值航班占座(個) 10,000惡意行為防控系

2、統(tǒng)的演進 第一階段 如何解決問題防火墻(iptables)/perl腳本采集web應(yīng)用日志快速實施web應(yīng)用內(nèi)部埋點布防 排除注冊漏洞系統(tǒng)級流量控制(tc) 惡意行為防控系統(tǒng)的演進 第一階段 系統(tǒng)架構(gòu)web1日志kakfakakfakakfajava jarmysqlhadoop 集群監(jiān)控儀表盤白名單webn日志.規(guī)則引擎簡單惡意行為防控系統(tǒng)的演進 第一階段 效果95%惡意行為防控系統(tǒng)的演進 遺留問題，占座再次出現(xiàn)惡意行為防控系統(tǒng)的演進 第一階段 遺留問題入侵式架構(gòu)監(jiān)控不完整事后處理模型問題惡意行為防控系統(tǒng)的演進 第二階段 如何解決問題入口級監(jiān)控多級時間窗口監(jiān)控靈活全面實時在線準(zhǔn)實時在線離線模

3、式惡意行為防控系統(tǒng)的演進 第二階段 如何解決問題靈活全面應(yīng)用級流量控制(ip,cookie,user_agent) 機器學(xué)習(xí)(邏輯回歸，神經(jīng)網(wǎng)絡(luò)等) 惡意行為防控系統(tǒng)的演進 第二階段 系統(tǒng)架構(gòu)nginxkakfakakfakakfasamza job流處理數(shù)據(jù)緩存mysqlAerospikeHadoopMahout 模型訓(xùn)練算法模型算法模型Python自學(xué)習(xí)模型訓(xùn)練算法模型防控Lua模塊白名單查詢服務(wù)實時在線準(zhǔn)實時在線離線模式ip風(fēng)險庫輔助決策外撥惡意行為防控系統(tǒng)的演進 第二階段 系統(tǒng)架構(gòu)特點1 nginx_lua 防控模塊模型自學(xué)習(xí)服務(wù)降級用戶唯一標(biāo)識15防控1級防控0級核心URL限速防控2

4、級防控3級驗證碼規(guī)則引擎核心行為規(guī)范化異常IP庫系統(tǒng)級入侵檢測系統(tǒng)級攻擊檢測多等級用戶體驗升級惡意行為防控系統(tǒng)的演進 第二階段 系統(tǒng)架構(gòu)特點2 算法模型用戶行為模型會話IP瀏覽器用戶資料建模惡意行為防控系統(tǒng)的演進 第二階段 系統(tǒng)架構(gòu)特點2 算法模型自學(xué)習(xí)機器學(xué)習(xí)算法：Logistic SVM(支持向量機) Kmean預(yù)測訂單取消概率的數(shù)據(jù)模型：X1 是否訪問首頁 X2 首頁停留時間X3 是否查詢過航班X4 查詢航班停留時間X5 是否訪問過填寫乘客信息頁面X6 填寫乘客信息停留時間X7 訂單的乘客人數(shù)X8 訪問提交訂單的頁面次數(shù)X9 是否加載過關(guān)鍵圖片X10 加載關(guān)鍵圖片的次數(shù)X11 是否訪問過輔營頁面X12 是否訪問最終提交訂單的頁面X13 是否加載過CSS樣式表X14 是否為異常IPY 訂單狀態(tài)The classify accuracy is: 90.284%更新頻率：15mins惡意行為防控系統(tǒng)的演進 第二階段 系統(tǒng)架構(gòu)特點2 大數(shù)據(jù)挖掘大數(shù)據(jù)HadoopMahout 模型訓(xùn)練算法模型查詢服務(wù)離線模式異常IP庫：56,000,000A4紙 700公里時間跨度：2014.2至今惡意行為防控系統(tǒng)的演進 第二階段