《大數(shù)據(jù)導(dǎo)論》課件-3.4.2Logstash簡(jiǎn)介

大數(shù)據(jù)導(dǎo)論數(shù)

據(jù)

采

集Logstash介紹目錄01logstash簡(jiǎn)介

02logstash工作原理03logstash配置

Logstash簡(jiǎn)介L(zhǎng)ogstash是一個(gè)開源數(shù)據(jù)收集引擎，具有實(shí)時(shí)管道功能。Logstash可以動(dòng)態(tài)地將來(lái)自不同數(shù)據(jù)源的數(shù)據(jù)統(tǒng)一起來(lái)，并將數(shù)據(jù)標(biāo)準(zhǔn)化到你所選擇的目的地Logstash工作原理Logstash的數(shù)據(jù)處理過(guò)程主要包括：Inputs（輸入）,Filters（過(guò)濾）,Outputs（輸出）三部分，均以插件形式存在，用戶通過(guò)定義pipeline配置文件，設(shè)置需要使用的input，filter，output插件，以實(shí)現(xiàn)特定的數(shù)據(jù)采集，數(shù)據(jù)處理，數(shù)據(jù)輸出等功能（1）Inputs：用于從數(shù)據(jù)源獲取數(shù)據(jù)，常見(jiàn)的插件如file,syslog,redis,beats等（2）Filters：用于處理數(shù)據(jù)如格式轉(zhuǎn)換，數(shù)據(jù)派生等，常見(jiàn)的插件如grok,mutate,drop,clone,geoip等（3）Outputs：用于數(shù)據(jù)輸出，常見(jiàn)的插件如elastcisearch，file,graphite,statsd等Logstash工作原理輸入：采集各種來(lái)源的數(shù)據(jù)數(shù)據(jù)往往以各種各樣的形式，或分散或集中地存在于各個(gè)系統(tǒng)中。Logstash支持各種輸入選擇，可以在同一時(shí)間從眾多常用來(lái)源捕捉事件。能夠以連續(xù)的流式傳輸方式，輕松地從您的日志、指標(biāo)、Web應(yīng)用、數(shù)據(jù)存儲(chǔ)以及各種AWS服務(wù)采集數(shù)據(jù)。Logstash工作原理篩選：實(shí)時(shí)解析和轉(zhuǎn)換數(shù)據(jù)數(shù)據(jù)從源傳輸?shù)酱鎯?chǔ)庫(kù)的過(guò)程中，Logstash過(guò)濾器能夠解析各個(gè)事件，識(shí)別已命名的字段以構(gòu)建結(jié)構(gòu)，并將它們轉(zhuǎn)換成通用格式，以便進(jìn)行更強(qiáng)大的分析和實(shí)現(xiàn)商業(yè)價(jià)值。Logstash能夠動(dòng)態(tài)地轉(zhuǎn)換和解析數(shù)據(jù)，不受格式或復(fù)雜度的影響。如：利用Grok從非結(jié)構(gòu)化數(shù)據(jù)中派生出結(jié)構(gòu)從IP地址破譯出地理坐標(biāo)將PII數(shù)據(jù)匿名化，完全排除敏感字段簡(jiǎn)化整體處理，不受數(shù)據(jù)源、格式或架構(gòu)的影響Logstash工作原理輸出:選擇存儲(chǔ)庫(kù)，導(dǎo)出數(shù)據(jù)Logstash提供眾多輸出選擇，可以將數(shù)據(jù)發(fā)送到要指定的地方，并且能夠靈活地解鎖眾多下游用例。支持的輸出端見(jiàn)官網(wǎng)的列表：Logstash配置logstash的配置文件是以conf作為后綴名主要由三部分組成。1、input：用于配置輸入源列表，支持多條輸入源配置2、filter：用于配置對(duì)數(shù)據(jù)源的數(shù)據(jù)進(jìn)行篩選和處理3、output：用于配置對(duì)經(jīng)過(guò)處理后的數(shù)據(jù)，傳輸或者保存到輸出端信息不同的輸入輸出源，配置的參數(shù)不同，詳見(jiàn)官網(wǎng)列表#輸入input{

...}#過(guò)濾器filter{

...}#輸出output{

...}Logstas