基于ELK的Packetbeat和watcher數(shù)據(jù)監(jiān)控V10

1、提提 綱綱ELK基礎(chǔ)知識(shí)基礎(chǔ)知識(shí)Packetbeat知識(shí)介紹知識(shí)介紹Watcher知識(shí)介紹知識(shí)介紹業(yè)內(nèi)大數(shù)據(jù)分析系統(tǒng)調(diào)研業(yè)內(nèi)大數(shù)據(jù)分析系統(tǒng)調(diào)研ElasticSearch特點(diǎn)ElasticSearch 是一個(gè)基于Apache Lucene的開源數(shù)據(jù)搜索引擎，它的特點(diǎn)有：l實(shí)時(shí)：可以進(jìn)行實(shí)時(shí)的數(shù)據(jù)搜索和分析l分布式：分布式文件存儲(chǔ)，并將每個(gè)字段都編入索引lRESTful API：對(duì)外提供一系列基于JAVA和HTTP的API，用于索引、查詢、修改大多數(shù)配置lJSON：輸入輸出格式為JSON，快捷方便l多租戶：可根據(jù)不同用途分索引，同時(shí)操作多個(gè)索引ElasticSearch使用案例l維基百科使用 El

2、asticsearch 來進(jìn)行全文搜索并高亮顯示關(guān)鍵詞，以及提供search-as-you-type、did-you-mean等搜索建議功能。l英國衛(wèi)報(bào)使用 Elasticsearch 來處理訪客日志，以便能將公眾對(duì)不同文章的反應(yīng)實(shí)時(shí)地反饋給各位編輯。lStackOverflow 將全文搜索與地理位置和相關(guān)信息進(jìn)行結(jié)合，以提供more-like-this相關(guān)問題的展現(xiàn)。lGitHub 使用 Elasticsearch 來檢索超過1300億行代碼。l每天，Goldman Sachs 使用它來處理5TB數(shù)據(jù)的索引，還有很多投行使用它來分析股票市場(chǎng)的變動(dòng)。ElasticSearch安裝ES的安裝很簡

3、單，可參考官網(wǎng)https:/www.elastic.co/guide/en/elasticsearch/reference/current/_installation.html服務(wù)啟動(dòng)后測(cè)試下是否運(yùn)行正常：head插件：elasticsearch/bin# ./plugin install mobz/elasticsearch-headKopf插件：elasticsearch/bin# ./plugin install lmenezes/elasticsearch-kopfElasticSearch插件安裝ES插件，來查看集群狀態(tài)、查看數(shù)據(jù)信息等。Logstrash簡介Logstash是一個(gè)接

4、收，處理，轉(zhuǎn)發(fā)日志的工具，由Jruby語言編寫，并運(yùn)行在Java虛擬機(jī)上。在Logstrash的生態(tài)系統(tǒng)中主要分為4大組件：lShipper：日志收集者。負(fù)責(zé)監(jiān)控本地日志文件的變化，及時(shí)把日志文件的最新內(nèi)容收集起來，輸出到Redis暫存。lBroker and Indexer：接受并索引化事件lSearch and Storage：允許對(duì)時(shí)間進(jìn)行搜索和存儲(chǔ)lWeb Interface：基于WEB的展示頁面Logstrash簡介Logstash使用管道方式進(jìn)行日志的搜集處理和輸出。主要做3件事：lCollect：數(shù)據(jù)輸入lEnrich：數(shù)據(jù)加工，如過濾，改寫等lTransport：數(shù)據(jù)輸出Kib

5、ana介紹Kibana 是一個(gè)使用 Apache 開源協(xié)議，基于瀏覽器的 Elasticsearch 分析和搜索儀表板。Kibana安裝配置Kibana安裝比較簡單，可參考官網(wǎng)https:/www.elastic.co/downloads/kibana默認(rèn)情況下，Kibana 會(huì)連接運(yùn)行在 localhost 的 Elasticsearch。要連接其他 Elasticsearch 實(shí)例，修改kibana.yml 里的 Elasticsearch URL，然后重啟 Kibana。從 Kibana 訪問 Elasticsearch 索引的配置方法1.配置包含時(shí)間戳的索引：可以用來做基于時(shí)間的處理2

6、.索引定期生成且索引名中包含時(shí)間戳：提高搜索性能，Kibana 會(huì)至搜索你指定的時(shí)間范圍內(nèi)的索引。Kibana-Discover在 Discover 頁交互式探索數(shù)據(jù)。你可以訪問到所匹配的索引模式的每個(gè)索引的每條記錄。你可以提交過濾搜索請(qǐng)求，然后查看文檔數(shù) 據(jù)。你還可以看到匹配搜索請(qǐng)求的文檔總數(shù)，獲取字段值的統(tǒng)計(jì)情況。如果索引模式配置了時(shí)間字段，文檔的時(shí)序分布情況會(huì)在頁面頂部以柱狀圖的形式展示出來。Kibana-Discover在 Discover 頁提交一個(gè)搜索，你就可以搜索匹配當(dāng)前索引模式的索引數(shù)據(jù)了?？梢灾苯虞斎牒唵蔚恼?qǐng)求字符串，也就是用 Lucene query syntax，也可以用

7、完整的基于 JSON 的 Elasticsearch Query DSL。l簡單文本搜索：直接輸入文本字符串l搜索特定字段中的值：格式：字段名:值l搜索值的范圍：格式：字段名:【start_value TO end_value】l指定復(fù)雜搜索標(biāo)準(zhǔn)：使用布爾操作符 AND，OR，NOTkibana-Visualize你可以用 Visualize 頁來設(shè)計(jì)可視化?？梢员４婵梢暬蛘吆喜⒌?dashboard 里。創(chuàng)建一個(gè)新的可視化：第一步：選擇一個(gè)可視化的類型：區(qū)塊圖、折線圖等第二步：選擇數(shù)據(jù)源：可以選擇新建或者讀取一個(gè)已保存的搜索，作為你可視化的數(shù)據(jù)源。第三步：可視化編輯器kibana-Visu

8、alize-區(qū)塊圖Y軸是數(shù)值維度，有以下聚合可用Count:返回元素的計(jì)數(shù)Average：返回一個(gè)數(shù)值字段的平均值Sum：返回一個(gè)數(shù)值字段的總和Median：返回一個(gè)數(shù)值字段的中間值Min：返回一個(gè)數(shù)值字段的最小值Max：返回一個(gè)數(shù)值字段的最大值Unique Count：返回一個(gè)數(shù)值字段的去重?cái)?shù)值Percentiles：返回一個(gè)數(shù)值字段的百分比分布圖形的 X 軸是buckets 維度，指明從你的數(shù)據(jù)集中將要檢索什么信息，支持以下聚合Date Histogram:基于時(shí)間的展示Histogram：基于數(shù)值字段創(chuàng)建，指定數(shù)值間隔Range：基于數(shù)值字段創(chuàng)建，指定一系列區(qū)間Date Range：基于

9、時(shí)間創(chuàng)建，指定時(shí)間區(qū)間IPv4 Range：基于IPv4創(chuàng)建，指定IPv4區(qū)間Terms：展示一個(gè)字段的元素值Filters：添加過濾器Significant Terms：展示實(shí)驗(yàn)性聚合結(jié)果kibana-Visualize-區(qū)塊圖kibana-Visualize-區(qū)塊圖kibana-Visualize-折線圖kibana-Visualize-表格數(shù)據(jù)定義metrics表格列，定義 buckets 來切割表格成行kibana-Visualize-Metric為你選擇的聚合顯示一個(gè)單獨(dú)的數(shù)字kibana-Visualize-餅圖餅圖的分片大小通過 metrics 聚合定義。這個(gè)維度可以支持以下聚合

10、：Count:返回元素的計(jì)數(shù)Sum：返回一個(gè)數(shù)值字段的總和Unique Count：返回一個(gè)數(shù)值字段的去重?cái)?shù)值buckets 聚合指明從你的數(shù)據(jù)集中將要檢索什么信息。kibana-Visualize-餅圖kibana-Visualize-豎條圖kibana-Visualize-地圖地圖顯示一個(gè)由圓圈覆蓋著的地理區(qū)域。這些圓圈則是由你指定的 buckets 控制地圖使用 Geohash 聚合作為他們的初始化聚合。從下拉菜單中選擇一個(gè)坐標(biāo)字段。Precision 滑動(dòng)條設(shè)置圓圈在地圖上顯示的顆粒度大小。一旦你定義好了一個(gè) X 軸聚合。你可以繼續(xù)定義子聚合來完善可視化效果。kibana-Dashbo

11、ard一個(gè) Kibana dashboard 能讓你自由排列一組已保存的可視化。然后你可以保存這個(gè)儀表板，用來分享或者重載。簡單的儀表板：用戶可以對(duì)儀表板做多樣化操作：1.添加可視化到儀表板2.保存儀表板3.加載已保存的儀表板4.定義儀表板元素5.移動(dòng)容器6.改變?nèi)萜鞔笮?.刪除容器8.修改可視化9.分享儀表板并嵌入到其他用戶的儀表板中ELK 套裝 logstash agent 監(jiān)控并過濾日志，將過濾后的日志內(nèi)容發(fā)給redis(只處理隊(duì)列不做存儲(chǔ))，logstash index將日志收集在一起交給全文搜索服務(wù)ElasticSearch ，通過Kibana 結(jié)合自定義搜索進(jìn)行頁面展示提提 綱綱E

12、LK基礎(chǔ)知識(shí)基礎(chǔ)知識(shí)Packetbeat知識(shí)介紹知識(shí)介紹Watcher知識(shí)介紹知識(shí)介紹業(yè)內(nèi)大數(shù)據(jù)分析系統(tǒng)調(diào)研業(yè)內(nèi)大數(shù)據(jù)分析系統(tǒng)調(diào)研幾種beats在生產(chǎn)環(huán)境中，數(shù)據(jù)搜索需求會(huì)更復(fù)雜一些，通過logstash寫正則，實(shí)在是個(gè)費(fèi)時(shí)費(fèi)勁的事。而beats就比較簡單高效。beats是一個(gè)代理，將不同類型的數(shù)據(jù)發(fā)送到elasticsearch。beats可以直接將數(shù)據(jù)發(fā)送到elasticsearch，也可以通過logstash將數(shù)據(jù)發(fā)送elasticsearch。beats有三個(gè)典型的例子：Filebeat、Topbeat、Packetbeat。lFilebeat：用來收集日志lTopbeat：用來收集系

13、統(tǒng)基礎(chǔ)設(shè)置數(shù)據(jù)，如cpu、內(nèi)存、每個(gè)進(jìn)程的統(tǒng)計(jì)信息lWinlogbeat：監(jiān)控windows下面的日志信息lPacketbeat：是一個(gè)網(wǎng)絡(luò)包分析工具，統(tǒng)計(jì)收集網(wǎng)絡(luò)信息。Packetbeat是網(wǎng)絡(luò)協(xié)議抓包和處理的一個(gè)框架，用來嗅探和分析網(wǎng)絡(luò)流量，關(guān)聯(lián)他們到事物，并且使用Elasticsearch來分析，然后進(jìn)行點(diǎn)對(duì)點(diǎn)查詢。Packetbeat介紹Packetbeat的安裝很簡單，可參考官網(wǎng)https:/www.elastic.co/downloads/beats/packetbeat配置文件： /etc/packetbeat/packetbeat.yml在ES中加載Packetbeat索引模板

14、，執(zhí)行命令curl -XPUT http:/localhost:9200/_template/packetbeat -d/etc/packetbeat/packetbeat.template.json啟動(dòng)Packetbeat： sudo /etc/init.d/packetbeat startPacketbeat協(xié)議目前支持了常見的一些協(xié)議：ICMP、DNS、HTTP、MySQL、PostgreSQLRedis、Thrift-RPC、MongoDB、Memcache，也可進(jìn)行協(xié)議的擴(kuò)展。協(xié)議擴(kuò)展開發(fā)可參考：https:/www.elastic.co/guide/en/beats/packetb

15、eat/current/new-protocol.htmlhttp:/ 綱綱ELK基礎(chǔ)知識(shí)基礎(chǔ)知識(shí)Packetbeat知識(shí)介紹知識(shí)介紹Watcher知識(shí)介紹知識(shí)介紹業(yè)內(nèi)大數(shù)據(jù)分析系統(tǒng)調(diào)研業(yè)內(nèi)大數(shù)據(jù)分析系統(tǒng)調(diào)研Watcher介紹Watcher是Elasticsearch的一個(gè)插件，提供警報(bào)和通知，并可定義基于數(shù)據(jù)的變化簡單地定義一個(gè)條件，觸發(fā)指定條件后Watcher會(huì)執(zhí)行相關(guān)的警報(bào)和通知。 幾大功能特點(diǎn)：1.根據(jù)ES數(shù)據(jù)的變化自動(dòng)觸發(fā)通知如異常登錄失敗、應(yīng)用程序響應(yīng)時(shí)間高于平均值，或者發(fā)生意外錯(cuò)誤時(shí)發(fā)送通知。 2.主動(dòng)監(jiān)控Elasticsearch集群對(duì)接Watcher與Marvel服務(wù)。可以監(jiān)

16、控集群狀態(tài)，如節(jié)點(diǎn)加入或離開集群，查詢高峰，內(nèi)存使用率太高時(shí)候可以發(fā)送通知。 3.自定義通知可以輕松設(shè)置電子郵件通知，也可以既集成到第三方的監(jiān)控服務(wù)，如通過Watcher發(fā)送警報(bào)給Nagios，PagerDuty等 4.分析歷史記錄可以在Kibana服務(wù)中查詢Watcher的歷史觸發(fā)記錄,支持嵌套或者多級(jí)的通知 5.高可用支持Watcher作為ElasticSearch集群的一部分運(yùn)行，能夠很好的應(yīng)對(duì)部分硬件和網(wǎng)絡(luò)故障。Watcher案例介紹 配置流程： 1.設(shè)置定時(shí)器和輸入源(錯(cuò)誤數(shù)據(jù)的查詢條件) 2.設(shè)置觸發(fā)條件（是否查詢到了錯(cuò)誤數(shù)據(jù)） 3.設(shè)置觸發(fā)動(dòng)作(發(fā)現(xiàn)錯(cuò)誤后執(zhí)行Action)監(jiān)控錯(cuò)

17、誤數(shù)據(jù)案例，每監(jiān)控錯(cuò)誤數(shù)據(jù)案例，每10秒搜索一次數(shù)據(jù)，發(fā)現(xiàn)錯(cuò)誤后，記錄一秒搜索一次數(shù)據(jù)，發(fā)現(xiàn)錯(cuò)誤后，記錄一條錯(cuò)誤記錄。條錯(cuò)誤記錄。 Watcher案例介紹監(jiān)控監(jiān)控ElasticSearch集群狀態(tài)：每集群狀態(tài)：每10秒檢測(cè)一次集群狀態(tài)，如果集群狀態(tài)錯(cuò)秒檢測(cè)一次集群狀態(tài)，如果集群狀態(tài)錯(cuò)誤，則發(fā)送郵件給運(yùn)維誤，則發(fā)送郵件給運(yùn)維Watcher在kibana上的監(jiān)控當(dāng)一個(gè)Watcher被觸發(fā)后，watch_record文件被創(chuàng)建且添加到watcher歷史索引中，名稱形式為watch_history-YYYY.MM.dd，可以像其他Elasticsearch索引一樣，搜索watcher歷史，在Kiban

18、a中監(jiān)控和可視化watch的執(zhí)行情況。在Kibana中配置監(jiān)控watches：Watcher在kibana上的監(jiān)控通過kibana監(jiān)控Watcher的歷史數(shù)據(jù)提提 綱綱ELK基礎(chǔ)知識(shí)基礎(chǔ)知識(shí)Packetbeat知識(shí)介紹知識(shí)介紹Watcher知識(shí)介紹知識(shí)介紹業(yè)內(nèi)大數(shù)據(jù)分析系統(tǒng)調(diào)研業(yè)內(nèi)大數(shù)據(jù)分析系統(tǒng)調(diào)研業(yè)內(nèi)大數(shù)據(jù)分析系統(tǒng)調(diào)研開源數(shù)據(jù)分析系統(tǒng)（Moloch、haka、bro、beats）云利來iMAPRiverbed SteelCentral AppResponseBigSwitch自帶分析系統(tǒng)協(xié)議IP、HTTP、DNS、IP Address、Hostname、SSH、IRC、SSL/TLS、DHC

19、P、ICMP、MySQL、PostgreSQL、Redis、Thrift-RPC、MongoDB、MemcacheTCP、UDP、HTTP、DNSIP、HTTP、TCP、UDP、DHCP、ICMP等DHCP、DNS、ICMP字段解析byte、byte_in、byte_out、client_ip、client_port、client_proc、connection_id、source.ip，dest.ip，dest.ipv6，direction，type（thrift、http、mysql、pgsql、mongodb、redis、dns、flow），transport，responsetime，

20、port，source.port，dest.port，ip，，dns.response_code，dns.id，icmp_id，method，status，_bytes_totalbit、in_bit、out_bit、retransmit、server_latency、client_latency、protocol、protocol_dport、byte、packet、sip、dip、p_oo_oder、out_packet、in_packet、syn_receive、province、city、dport、t_gt400、t_flow、status、doma

21、in、url、t_fail、retname、address、amqp-tcp、gre、webm-https-tcp、ssdp-udp、mpc-lifenet-udp、MS-WBT-SRV-TCP、NETBIOS-NS-UDP、mysql-tcp、limnr-udp、vrrp、netbios-dgm-udp（應(yīng)用），payload（server、client）、packet throughput、response time、packet loss、connect faileddhcprequest、dhcppack、chaddr、ciaddr、cname、yiaddr、dhcpoptions、l

22、easetime、hops、xid、dnsmessge、clientip、serverName、qnamelist、eventtype、alias、policyname、sHost、dHost、ipAddr、macAddr告警支持告警，但需后臺(tái)腳本或api執(zhí)行創(chuàng)建TCP延遲告警，TCP重傳告警，HTTP延遲告警，HTTP狀態(tài)告警、DDoS提供告警且?guī)椭焖俣ㄎ痪W(wǎng)絡(luò)性能問題的關(guān)鍵業(yè)內(nèi)大數(shù)據(jù)分析系統(tǒng)調(diào)研開源數(shù)據(jù)分析系統(tǒng)（Moloch、haka、bro、beats）云利來iMAPRiverbed SteelCentral AppResponseBigSwitch自帶分析系統(tǒng)可分析協(xié)議展示客戶端地理坐標(biāo)，web鏈接數(shù)，數(shù)據(jù)庫（mysql、pgsql、mongodb）請(qǐng)求數(shù)，redis發(fā)生數(shù)，RPC發(fā)生數(shù)，響應(yīng)時(shí)間分布，錯(cuò)誤和成功發(fā)生數(shù)，數(shù)據(jù)庫性能，TCP UDP協(xié)議分布，應(yīng)用層協(xié)議分布，UDP流量，TCP流量，TCP響應(yīng)時(shí)間，UDP響應(yīng)時(shí)間，TCP端口分布，UDP端口分布，ICMP請(qǐng)求數(shù)統(tǒng)計(jì)，DNS請(qǐng)求數(shù)統(tǒng)計(jì)，服務(wù)器概況TCP流量、TCP重傳率、TCP延遲、TCP流量協(xié)議分布、TCP端口分布、TCP服務(wù)器、TCP包數(shù)、TCP SYN包數(shù)、TC