Flume海量日志聚合技術(shù)原理

Flume技術(shù)原理m版權(quán)所有?2018華為技術(shù)有限公司lFlume是開源日志系統(tǒng)。是一個分布式、可靠和高可用的海量日志聚合的系統(tǒng)，支持在系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時，收集數(shù)據(jù)；同時，F(xiàn)lume提供對數(shù)據(jù)進行簡單處理，并寫到各種數(shù)據(jù)接受方(可定制)的能力。版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁目標l學完本課程后，您將能夠：p熟悉Flume是什么pp熟悉Flume能干什么p熟悉Flume在FusionInsight產(chǎn)品的位置p掌握Flume的系統(tǒng)架構(gòu)p掌握Flume關(guān)鍵特性介紹p熟悉Flume應用舉例版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁目錄1.Flume簡介及架構(gòu)2.Flume關(guān)鍵特性介紹33.Flume應用舉例版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁lFlume是流式日志采集工具，F(xiàn)lume提供對數(shù)據(jù)進行簡單處理并且寫到各種數(shù)據(jù)接受方(可定制)的能力，F(xiàn)lume提供從本地文件(地文件(spoolingdirectorysource)、實時日志(taildir、exec)、版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁l提供從固定目錄下采集日志信息到目的地(HDFS,HBase,ll提供實時采集日志信息(taildir)到目的地的能力。lFlume支持級聯(lián)(多個Flume對接起來)，合并數(shù)據(jù)的能力。lFlume支持按照用戶定制采集數(shù)據(jù)的能力。版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁FlumeFlumeonInsight應用服務層MRarkStormSolrFlume是收集、聚合事件流數(shù)據(jù)的分布式框架。版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁SinkSourceChannel SourceSinkChannel SSinkSourceChannel SourceSinkChannel SourceChannelSinkLog集，存儲到最終的存儲系統(tǒng)中。主要應用于集群外的數(shù)據(jù)集群內(nèi)。版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁eventsCeventsChannelInterceptorCChannelSelectoreventsSinkProcessorSinkSourceeventsChannelPorcessorSinkRunnereventseventsChannelevents版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁基本概念-Source(1)個或多個Channels。有驅(qū)動和輪詢2種類型的Source。eFlumelSource必須至少和一個channel關(guān)聯(lián)。版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁基本概念-Source(2)或者腳本，并將其執(zhí)行結(jié)果的輸sourcecejmssource版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁。p。pFileChannel:基于WAL(預寫式日志W(wǎng)rite-AheadLog)實現(xiàn)。pJDBCChannel式Database實現(xiàn)。lChannels支持事務，提供較弱的順序保證，可以連接任何數(shù)量的基本概念-Channel(1)lChannel位于Source和Sink之間，Channel的作用類似隊列，用于臨時緩存進來的events，當Sink成功地將events發(fā)送到下一跳的channel或ll不同的Channel提供的持久化水平也是不一樣的:pMemoryChannel:不會持久化版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁基本概念-Channel(2)llFileChannel：對數(shù)據(jù)持久化；但是配置較為麻煩，需要配置數(shù)據(jù)目錄和checkpoint目錄；不同的filechannel均需要配置一個checkpoint可靠性；可以取代同樣具有持久特性的filechannel。版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁lSink負責將events傳輸?shù)较乱惶蜃罱K目的，成功完成后將events從channel移除。l必須作用于一個確切的channel。版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁avroflumethiftsinksink版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁目錄1.Flume簡介及架構(gòu)2.Flume關(guān)鍵特性介紹33.Flume應用舉例版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁 SourceChannelSink SourceChannelSink SourceChannelSinkKafkaHBaseLogLogLog版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁ChannelSinkSourceChannelSinkChannelSinkChannelSinkSourceChannelSinkChannelSinkumelFlume支持將多個Flume級聯(lián)起來，同時級聯(lián)節(jié)點內(nèi)部支持數(shù)據(jù)復制。SourceSourcee版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁Flume級聯(lián)消息壓縮、加密lFlume級聯(lián)節(jié)點之間的數(shù)據(jù)傳輸支持壓縮和加密，提升數(shù)據(jù)傳輸效率和安全性。e應用HDFS/Hive/HBase/Kafka解壓解密FlumeAPI壓縮加密版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁應用發(fā)送量e收量量SinkChannelHDFS應用發(fā)送量e收量量SinkChannelHDFS/Hive/HBase/Kafka版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁SourceCSourceChannelChannellFlume在傳輸數(shù)據(jù)過程中，采用事務管理方式，保證傳輸過程中數(shù)據(jù)不會丟失，增強了數(shù)據(jù)傳輸?shù)目煽啃?，同時緩存在channel中的數(shù)據(jù)如果采用filechannel，進程或者節(jié)點重啟數(shù)丟失。SinkStarttxSendeventsStarttxTakeeventsxPuteventsx版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁SinkSinkSourceChannelSinkSinkSourceChanneliloverlFlume在傳輸數(shù)據(jù)過程中，如果下一跳的Flume節(jié)點故障或者數(shù)據(jù)接受異常時，可以自動切換到另外一路上繼續(xù)傳輸。SinkSinkSourceChannelSinSinkSourcSourceChannel版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁elFlume在傳輸數(shù)據(jù)過程中，可以簡單的對數(shù)據(jù)簡單過濾、清洗，可以去掉不關(guān)心的數(shù)據(jù)，同時如果需要對復雜的數(shù)據(jù)過濾，需需要用戶根據(jù)自己的數(shù)據(jù)特殊性，開發(fā)過濾插件，F(xiàn)lume支持第三方過濾插件調(diào)用。InterceptoreventsChannelSelectorChannelPorcessoreventsChannelChannelevents版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁1.Flume簡介及架構(gòu)2.Flume關(guān)鍵特性介紹33.Flume應用舉例版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁ll數(shù)據(jù)準備p在集群某一個節(jié)點上創(chuàng)建日志目錄/tmp/log_test。p目錄mkdir/tmp/log_test。Flume操作示例1(1)l說明p本例子演示Flume通過采集集群內(nèi)應用(比如網(wǎng)銀系統(tǒng))產(chǎn)生的版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁Flume操作示例1(2)l下載Flume客戶端pFusionInsightHD服務管理>Flume>下載客戶版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁Flume操作示例1(3)l安裝Flume客戶端p解壓客戶端fFusionInsightVRCFlumeClienttarTarxvfFusionInsightVRCFlumeClientConfig.tarsionInsightVRCFlumeClientConfigFlumeTarxvfFusionInsightFlumetar.gzp安裝客戶端properties版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁Flume操作示例1(4)l配置flumesourcehssconfigurationofaoldirDirtmplogtestffixCOMPLETEDolicyneverrDirflumespoolersourcesaignorePatternchSizeserver.sources.a1.inputCharset=UTF-8lizerLINEortypereplicatingderKeyfilederfalselsch版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁Flume操作示例1(5)l配置flumechannel##thechannelconfigurationofch1server.channels.ch1.type=memoryserver.channels.ch1.capacity=10000server.channels.ch1.transactionCapacity=1000server.channels.ch1.channlefullcount=10server.channels.ch1.keep-alive=3server.channels.ch1.byteCapacityBufferPercentage=20版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁Flume操作示例1(6)l配置flumesinkserverserver.sinks.s1.type=hdfsserver.sinks.s1.hdfs.path=/tmp/flume_avrofixover_%{basename}server.sinks.s1.hdfs.inUseSuffix=.tmpserver.sinks.s1.hdfs.rollInterval=30rollSizeersinksshdfsrollCountbatchSizeserver.sinks.s1.hdfs.fileType=DataStreamserver.sinks.s1.hdfs.maxOpenFiles=5000server.sinks.s1.hdfs.writeFormat=WritablescallTimeoutersinksshdfsthreadsPoolSizeersinksshdfsfailcountserver.sinks.s1.hdfs.fileCloseByEndEvent=trueserver.sinks.s1.channel=ch1版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁Flume操作示例1(6)l配置flumesinkathtmpflumeavronksshdfsfilePrefixdfsinUseSuffixtmpsinksshdfsrollIntervalrollSizeersinksshdfsrollCountbatchSizeTypeDataStreammaxOpenFileseFormatWritablescallTimeoutersinksshdfsthreadsPoolSizeersinksshdfsfailcountloseByEndEventtrueh版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁Flume操作示例1(7)l將flumeagent的配置文件命名為perties。l上傳該配置文件版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁Flume操作示例1(8)l向監(jiān)控目錄/tmp/log_test生產(chǎn)數(shù)據(jù)：mmv/log/log/tmp/log_testl查看數(shù)據(jù)是否sink到HDFS:hdfshdfsdfs–ls/tmp/flume_avro采集成功。版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁ll數(shù)據(jù)準備p在集群某一個節(jié)點上創(chuàng)建日志目錄/tmp/log_click。kafkatopicFlume操作示例2(1)l說明ka處理。版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁Flume操作示例2(2)l配置flumesource：ssconfigurationofaoldirlDirtmplogclickffixCOMPLETEDolicyneverrDirflumespoolersourcesaignorePatternchSizeserver.sources.a1.inputCharset=UTF-8ortypereplicatingenameHeaderKeybasenameserver.sources.a1.deserializer.maxBatchLine=1serializermaxLineLengthlsch版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁Flume操作示例2(3)l配置flumechannel：ationofchemorycapacityransactionCapacityrchannelschchannlefullcountserverchannelsch.keep-alive=3nnelschbyteCapacityBufferPercentage版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁Flume操作示例2(4)l配置flumesink：##thesinkconfigurationofs1server.sinks.s1.type=org.apache.flume.sink.kafka.KafkaSinkserver.sinks.s1.kafka.topic=topic_1028server.sinks.s1.flumeBatchSize=1000nksskafkaproducertypesyncserver.sinks.s1.kafka.bootstrap.servers=5:21007tocol=SASL_PLAINTEXTserver.sinks.s1.requiredAcks=0server.sinks.s1.channel=ch1版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁Flume操作示例2(5)l上傳配置文件到flume。l使用kafka命令查看采集到kafkatopic_1028的