ELK日志分析系統(tǒng)搭建

ELK日志分析系統(tǒng)搭建elk套件是指elasticsearch、logstash、kibana三件套，它們可以組成一套日志分析和監(jiān)控工具。本文說(shuō)明安裝過(guò)程和典型的配置過(guò)程，由于三個(gè)軟件各自的版本號(hào)太多，建議采用官網(wǎng)(https://www.elastic.co/downloads)推薦的搭配組合，版本不搭會(huì)引起好多其他問(wèn)題。本文具體安裝版本如下：elasticsearch版本：2.4.0logstash版本：2.4.0kibana版本：4.6.1redis版本：3.2.1jdk版本：1.8.0操作系統(tǒng)版本：Centos7.0ELK的典型部署圖如下：*UpShipper?/_/*UpShipper?/_/copylogginglogtashgJsnipfier13L0gsofservice#3安裝過(guò)程1、安裝Java下載JDK壓縮包。TK解壓到/user/local/下，結(jié)構(gòu)。配置JAVA_HOM環(huán)境變量:.IOR&dis5騏ElaslilesfrBFchKibana形成/usr/local/jdk1.8.0/bin這種目錄echo'exportJAVA_HOME=/usr/local/jdk1.8.0'>>~/.bashrc2、安裝logstash使用root用戶進(jìn)行安裝，實(shí)際上解壓后直接運(yùn)行就可以了tar-zxvflogstash-2.4.0.tar.gzcdlogstash-2.4.0可通過(guò)bin/logstash-e'input{stdin{}}output{stdout{}}'測(cè)試[root@localhostlogstash-2.4.0]#bin/logstash-e'input{stdin。}output{stdout。}'Settings:Defaultpipelineworkers:8Pipelinemainstarted鍵入：helloelktest顯示：2016-10-20T03:55:59.121Zlocalhost.localdomainhelloelktest表示把從標(biāo)準(zhǔn)輸入設(shè)備輸入的內(nèi)容再通過(guò)標(biāo)準(zhǔn)輸出設(shè)備輸出。3、安裝elasticsearchtar-zxvfelasticsearch-2.4.0.tar.gzcdelasticsearch-2.4.0新版本不能直接用root用戶啟動(dòng)(一些舊版本可以)，但是新版本用root用戶啟動(dòng)時(shí)會(huì)提示：[root@localhostelasticsearch-2.4.0]#bin/elasticsearch&[2]6322Exit1bin/elasticsearch[root@localhostelasticsearch-2.4.0]#Exceptioninthread"main"java.lang.RuntimeException:don'trunelasticsearchasroot.atorg.elasticsearch.bootstrap.Bootstrap.initializeNatives(Bootstrap.java:94)atorg.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:160)atorg.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:286)atorg.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:35)Refertothelogforcompleteerrordetails.解決辦法：useraddelktestpasswdelktest返回elasticsearch-2.4.0文件位置chown-Relktestelasticsearch-2.4.0//此步驟很重要suelktest進(jìn)入config,修改elasticsearch.yml配置文件，將其中的network.host改為自己的ip,并將注釋取消

最后回到安裝目錄elasticsearch-2.4.0,再通過(guò)bin/elasticsearch&啟動(dòng)就OK了。關(guān)掉防火墻(systemctlstopfirewalld.service),在瀏覽器上輸入ip:9200可查看elasticsearch版本信息：{"name":"GeorgeTarleton","cluster_name":"elasticsearch","version":{"number":"2.4.0","build_hash":"ce9f0c7394dee074091dd1bc4e9469251181fc55","build_timestamp":"2016-08-29T09:14:17Z","build_snapshot":false,"lucene_version":"5.5.2"},"tagline":"YouKnow,forSearch"}4、安裝kibanatar-zxvfkibana-4.6.1-linux-x86_64.tar.gzcdkibana-4.6.1-linux-x86_64修改config下的kibana.yml文件，將elasticsearch.url改成"http://ip:9200",并將注釋取消bin/kibana//啟動(dòng)在瀏覽器上輸入http://ip:5601即可看到效果5、安裝redistar-zxvfredis-3.2.1.tar.gzcdredis-3.2.1makesrc/redis-server../redis.conf//啟動(dòng)服務(wù)端#src/redis-cli//#src/redis-cli//可以通過(guò)客戶命令進(jìn)行操作配置過(guò)程以下配置過(guò)程描述的是Logstashshipper采集nginx服務(wù)器的訪問(wèn)日志，入庫(kù)至1Jredis中，然后Logstashindexer從redis獲取數(shù)據(jù)后，輸出到elasticsearch進(jìn)行存儲(chǔ)和索引，最后通過(guò)Kibana進(jìn)行數(shù)據(jù)查看和統(tǒng)計(jì)。1、配置nginx日志輸出格式1)編輯nginx日志輸出格式，命令：vi/usr/local/nginx/conf/nginx.conf,修改http節(jié)段中access_log格式相關(guān)的內(nèi)容如下：log_formatmain'$remote_addr-$remote_user[$time_local]"$request"''$status$body_bytes_sent"$http_referer"''"$http_user_agent""$http_x_forwarded_for"';access_loglogs/test_access.logmain;關(guān)閉防火墻，命令：systemctlstopfirewalld.service3)啟動(dòng)nginx,命令：/usr/local/nginx/sbin/nginx2、配置Logstash讀取nginx日志在logstash安裝目錄下的patterns中加入一個(gè)文件nginx,內(nèi)容(與上面的log_format相對(duì)應(yīng))：NGUSERNAME[a-zA-Z\.\@\-\+_%]+NGUSER%{NGUSERNAME}NGINXACCESS%{IPORHOST:clientip}-%{NOTSPACE:remote_user}\[%{HTTPDATE:timestamp}\]\"(?:%{WORD:verb}%{NOTSPACE:request}(?:HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\"%{NUMBER:response}(?:%{NUMBER:bytes}|-)%{QS:referrer}%{QS:agent}%{NOTSPACE:http_x_forwarded_for}2)在Logstash的配置目錄下添加一個(gè)文件nginx-test-shipper.conf,編輯內(nèi)容如下：input{file{path=>"/usr/local/nginx/logs/test_access.log"start_position=>"beginning"}}filter{mutate{replace=>{"type"=>"nginx_access"}}grok{match=>{"message"=>"%{NGINXACCESS}"}}date{match=>["timestamp","dd/MMM/YYYY:HH:mm:ssZ"])geoip{source=>"clientip"))output{redis{host=>""data_type=>"list"key=>"logstash:test:access_log"})注：如果要Logstash要入遠(yuǎn)程redis庫(kù)，需要配置redis庫(kù)的password,如：output{redis{host=>""#修改為redis服務(wù)器的IP地址data_type=>"list"password=>"xxxxxx"#redis庫(kù)的訪問(wèn)密碼key=>"logstash:test:access_log"}}啟動(dòng)Logstashshipper：bin/logstash-fconf/nginx-test-shipper.conf3、配置Logstashindexer從redis讀取日志數(shù)據(jù)，輸出到elasticsearch1)在Logstash的配置目錄下添加一個(gè)文件nginx-test-indexer.conf,編輯內(nèi)容如下：input{redis{host=>""#修改為redis服務(wù)器的IP地址port=>"6379"password=>"xxxxxx"#redis庫(kù)的訪問(wèn)密碼key=>"logstash:test:access_log"data_type=>"list"codec=>"json"type=>"logstash-arthas-access"tags=>["arthas"]}}output{elasticsearch{hosts=>":9200"#這里的地址要與elasticsearch.yml中的network.host一致index=>"logstash-arthas-access-%{+YYYY.MM.dd}"}}2)啟動(dòng)Logstashindexer：bin/logstash-fconf/nginx-test-indexer.conf4、酉己置elasticsearch及kibana1）進(jìn)入elasticsearch安裝目錄下的config子目錄，修改elasticsearch.yml配置文件，將其中的network.host改為自己的ip,并將注釋取消。2）啟動(dòng)elasticsearch：回到安裝目錄，執(zhí)行bin/elasticsearch&。3）修改config下的kibana.yml文件，將elasticsearch.url改成"http://ip:9200",并將注釋取消。4）啟動(dòng)kibana：回到安裝目錄，執(zhí)行bin/kibana&。查看es中各索引所對(duì)應(yīng)的數(shù)據(jù)記錄數(shù)的命令：curl04:9200/_cat/indices?v5、配置redis（可選）如果不需要遠(yuǎn)程訪問(wèn)，使用默認(rèn)配置即可。如果需要遠(yuǎn)程訪問(wèn)，需要修改配置文件redis.conf中相關(guān)項(xiàng)的值如下：項(xiàng)名稱取值說(shuō)明bind在前面加上#,注釋掉bind項(xiàng)protected-mode把yes修改為norequirepass去掉前面的#注釋，設(shè)置為自己的訪問(wèn)密碼附1:nginx的安裝下載安裝包nginx-1.10.1.tar.gz(HYPERLI