用ELK打造安全數(shù)據(jù)分析平臺課件

用ELK打造安全數(shù)據(jù)分析平臺用ELK打造安全數(shù)據(jù)分析平臺1目錄：認(rèn)識數(shù)據(jù)用ELK處理數(shù)據(jù)用數(shù)據(jù)說話Q&A目錄：2認(rèn)識數(shù)據(jù)服務(wù)器及網(wǎng)絡(luò)設(shè)備所產(chǎn)生的日志，格式各有各的不同，難以統(tǒng)一。數(shù)據(jù)多樣性業(yè)務(wù)系統(tǒng)每天都在產(chǎn)生越來越多的數(shù)據(jù)，且產(chǎn)生的數(shù)據(jù)速度越來越快。產(chǎn)生速度快原始數(shù)據(jù)不經(jīng)過分析，無法產(chǎn)生對決策有用的數(shù)據(jù)。讓數(shù)據(jù)產(chǎn)生價(jià)值認(rèn)識數(shù)據(jù)服務(wù)器及網(wǎng)絡(luò)設(shè)備所產(chǎn)生的日志，格式各有各的不同，難3樣例一

SSH登錄日志樣例一SSH登錄日志4樣例二

Web

log訪問日志樣例二Weblog訪問日志5什么是ELK？ELK是Elasticsearch、Logstash、Kibana的縮寫。使用場景：ELK的應(yīng)用場景很多，如運(yùn)維、開發(fā)查日志。分析定位問題。組件用途：Logstash

用來搜集日志Elasticsearch 存儲各類日志Kibana 可視化及查詢?nèi)罩?。什么是ELK？ELK是Elasticsearch、Logst6為什么選用ELK？l 架構(gòu)特點(diǎn)：處理方式靈活

（不需要像用storm、spark時(shí)需要寫大量的代碼。）配置簡易方便，學(xué)習(xí)成本較低。檢索性能高效。（能夠滿足查詢秒級響應(yīng)的需求。）集群擴(kuò)展性強(qiáng)。（增加新機(jī)器，集群能夠自動識別。）不用重復(fù)寫前端代碼。（kibana能夠快速生成炫酷的報(bào)表，省去以前大量花在前端代碼的工作量。）為什么選用ELK？l 架構(gòu)特點(diǎn)：7數(shù)據(jù)處理的那些套路數(shù)據(jù)收集&清洗數(shù)據(jù)消費(fèi)數(shù)據(jù)數(shù)據(jù)存儲數(shù)據(jù)展示異常報(bào)警數(shù)據(jù)處理的那些套路數(shù)據(jù)收集&清洗數(shù)據(jù)消費(fèi)數(shù)據(jù)8數(shù)據(jù)處理架構(gòu)操作系統(tǒng)日志應(yīng)用日志網(wǎng)絡(luò)設(shè)備日志更多日志…數(shù)據(jù)存儲(es)數(shù)據(jù)展示(kibana)異常告警（elastalert、411）數(shù)據(jù)收集處理logstash數(shù)據(jù)處理架構(gòu)操作系統(tǒng)日志應(yīng)用日志網(wǎng)絡(luò)設(shè)備日志更多日志…數(shù)據(jù)存9處理數(shù)據(jù)之logstashLogstash處理邏輯分為3個(gè)部分：Input

作為讀取數(shù)據(jù)輸入源（文件、端口、消息隊(duì)列）Filter

處理數(shù)據(jù)，如格式化，替換，匹配等動作。Ouput

作為數(shù)據(jù)輸出（文件、端口、es、消息隊(duì)列）處理數(shù)據(jù)之logstashLogstash處理邏輯分為3個(gè)部10處理之匹配數(shù)據(jù)不會匹配數(shù)據(jù)怎么辦？Logstash

提供了常用的grok

pattern，使用時(shí)直接調(diào)用即可。例子：USERNAME

[a-zA-Z0-9._-]+USER

%{USERNAME}調(diào)用％{USER:username}，可匹配到如root、admin、ele等關(guān)鍵字，并可在kibana中生成相應(yīng)的字段。username為字段引用。如果想匹配較為復(fù)雜的數(shù)據(jù)，只需要會寫正則表達(dá)式即可。調(diào)試規(guī)則也是比較困擾的一項(xiàng)目工作。推薦使用grok

debugger工具：/

幫助調(diào)試規(guī)則。處理之匹配數(shù)據(jù)不會匹配數(shù)據(jù)怎么辦？11處理數(shù)據(jù)之異常告警(方案一、二)l

有哪些方案？Elasticsearch

watch

(收費(fèi)，需要license。)Elastalert（/Yelp/elastalert） 開源優(yōu)點(diǎn)：python語言編寫，上手較簡單，文檔全。缺點(diǎn)：報(bào)警格式不夠美觀，需要頻繁去更新配置文件。411Alert

Management（/etsy/411）開源優(yōu)點(diǎn)：關(guān)注安全異常報(bào)警，格式美觀，支持工單流程?？梢詣?chuàng)建規(guī)則，一次創(chuàng)建多次使用?？梢栽O(shè)置報(bào)警等級，不會被頻繁騷擾，只關(guān)注需要處理的事件。缺點(diǎn)：配置較為麻煩，有一定學(xué)習(xí)成本。處理數(shù)據(jù)之異常告警(方案一、二)l有哪些方案？12Elastalert（方案一）Elastalert（方案一）13Elastalert報(bào)警演示Elastalert報(bào)警演示14411

Alert

Management（方案二）411AlertManagement（方案二）15告警規(guī)則管理支持報(bào)警規(guī)則優(yōu)先級、低優(yōu)先級只在系統(tǒng)中記錄，

不發(fā)送告警，避免打擾用戶。告警規(guī)則管理支持報(bào)警規(guī)則優(yōu)先級、低優(yōu)先級只在系統(tǒng)中記錄，不16創(chuàng)建告警規(guī)則創(chuàng)建告警規(guī)則17觸發(fā)規(guī)則告警觸發(fā)規(guī)則告警18kibana查詢觸發(fā)日志kibana查詢觸發(fā)日志19處理數(shù)據(jù)之查詢處理數(shù)據(jù)之查詢20不玩虛的，用數(shù)據(jù)說話不玩虛的，用數(shù)據(jù)說話21例子1

SSH登錄分析我想知道每天在被別人爆破什么賬戶？ 我想知道攻擊者都哪來，方便決策ip地址能不能做個(gè)可視化的展示？例子1SSH登錄分析我想知道每天在被別人爆破什么賬戶？ 我22例子2

登錄分析我想知道別人都在什么時(shí)間段登陸？通過觀察我們能夠得知答案。例子2登錄分析我想知道別人都在什么時(shí)間段登陸？通過觀察我們23例子3

審計(jì)用戶命令操作例子3審計(jì)用戶命令操作24總結(jié)安全分析平臺的建設(shè)只是基礎(chǔ)，數(shù)據(jù)清洗平臺搭建，都是不可避