《Hadoop技術(shù)原理》課件-11.Flume

Hadoop技術(shù)原理FlumeFlume簡(jiǎn)介01Flume簡(jiǎn)介01對(duì)于海量實(shí)時(shí)產(chǎn)生的日志，我們看出它需要經(jīng)過(guò)一個(gè)“橋梁”或中介，這就是這章要學(xué)的Flume(Flume翻譯成中文是水槽)。Flume把采集后的實(shí)時(shí)日志保存到HDFS或HBase中，可以進(jìn)行離線計(jì)算。比如，要統(tǒng)計(jì)出最近一周的用戶異常的數(shù)據(jù)，按地區(qū)劃分，展示到一張地圖上。另一種方式，則是Flume可以把采集到的實(shí)時(shí)日志，發(fā)送給消息中間件，比如Kafka，然后送到實(shí)時(shí)計(jì)算引擎進(jìn)行計(jì)算，實(shí)時(shí)分析出當(dāng)前存在的異常情況Flume簡(jiǎn)介02Flume是一個(gè)高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)（Flume由Cloudera提供）Flume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)。Flume提供對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，并寫到各種數(shù)據(jù)接收方（可定制）的能力。Flume簡(jiǎn)介03Flume在Hadoop生態(tài)圈中的地位Flume架構(gòu)04生活中的Flume（水槽）Flume架構(gòu)05Flume的核心（Agent）Flume架構(gòu)06Flume的核心（Agent）Source組件：從數(shù)據(jù)源接收數(shù)據(jù)（即采集數(shù)據(jù)）；Channel組件：連接Source和Sink的管道，緩存數(shù)據(jù)。Sink組件：傳遞數(shù)據(jù)給目的地（即保存數(shù)據(jù)）；Flume架構(gòu)07Flume傳遞的數(shù)據(jù)：Event（事件）Event：Flume將數(shù)據(jù)表示為Event。Event是Flume的處理數(shù)據(jù)元，它可能是一條日志、一個(gè)Avro對(duì)象等，通常約4KB大小Flume安裝與應(yīng)用02Flume安裝01Flume安裝步驟下載安裝包apache-flume-1.8.0-bin.tar.gz解壓到指定目錄下tar-zxvfapache-flume-1.8.0-bin.tar.gz-C/usr/local/src/修改環(huán)境變量，在~/.bashrc文件增加exportFLUME_HOME=/usr/local/src/flumeexportPATH=$FLUME_HOME/bin:$PATH執(zhí)行source~/.bashrc，使配置生效。Flume應(yīng)用02Flume組件類型Channel類型Channel類型描述MemoryChannelEvent數(shù)據(jù)存儲(chǔ)在內(nèi)存中JDBCChannelEvent數(shù)據(jù)存儲(chǔ)在持久化存儲(chǔ)中FileChannelEvent數(shù)據(jù)存儲(chǔ)在磁盤文件中SpillableMemoryChannelEvent數(shù)據(jù)存儲(chǔ)在內(nèi)存中和磁盤上，當(dāng)內(nèi)存隊(duì)列已滿，將持久化到磁盤文件（不建議生產(chǎn)環(huán)境使用）PseudoTransactionChannel測(cè)試用途KafkaChannelEvent存儲(chǔ)在KafkaCustomChannel自定義更多屬性請(qǐng)參考官方文檔Flume應(yīng)用03Flume組件類型Source類型更多屬性請(qǐng)參考官方文檔Source類型描述AvroSource支持Avro協(xié)議，即AvroRPC，內(nèi)置支持ThriftSource支持Thrift協(xié)議，內(nèi)置支持ExecSource基于Unix的命令在標(biāo)準(zhǔn)輸出上生產(chǎn)數(shù)據(jù)JMSSource從JMS（JavaMessageServer）系統(tǒng)中讀取數(shù)據(jù)SpoolingDirectorySource監(jiān)控指定目錄內(nèi)數(shù)據(jù)變化NetcatSource監(jiān)控某個(gè)端口，將流經(jīng)端口的文本行數(shù)據(jù)作為Event輸入SequenceGeneratorSource序列生成器數(shù)據(jù)源，生產(chǎn)序列數(shù)據(jù)SyslogSource讀取syslog數(shù)據(jù)，產(chǎn)生Event，支持UDP和TCP協(xié)議KafkaSource從kafkatopic中獲取數(shù)據(jù)HTTPSource基于HTTPPOST或GET方式的數(shù)據(jù)源，支持JSON等格式LegacySource兼容FlumeOG中Source（0.9.x版本）Flume應(yīng)用04Flume組件類型Sink類型更多屬性請(qǐng)參考官方文檔Sink類型描述HDFSSink數(shù)據(jù)寫入HDFSHBaseSink數(shù)據(jù)寫入HBaseHiveSink數(shù)據(jù)寫入HiveLoggerSink數(shù)據(jù)寫入日志文件AvroSink數(shù)據(jù)被轉(zhuǎn)換成AvroEvent，然后發(fā)送到配置的RPC端口上ThriftSink數(shù)據(jù)被轉(zhuǎn)換成ThriftEvent，然后發(fā)送到配置的RPC端口上IRCSink數(shù)據(jù)在IRC上進(jìn)行回放FileRollSink數(shù)據(jù)存儲(chǔ)到本地文件系統(tǒng)NullSink丟棄所有數(shù)據(jù)MorphineSolrSink數(shù)據(jù)發(fā)送到Solr搜索服務(wù)器（集群）ElasticSerachSink數(shù)據(jù)發(fā)送到ElasticSearch搜索服務(wù)器（集群）CustomSink自定義Flume配置方法05配置口訣：一個(gè)定義，三個(gè)配置注意：一個(gè)Source可以配置多個(gè)Channel，但一個(gè)Sink只能配置一個(gè)ChannelFlume配置方法06配置示例1監(jiān)控指定目錄，當(dāng)目錄有新增文件時(shí)，把文件中的內(nèi)容一行行發(fā)送到控制臺(tái)Flume配置方法07配置示例2監(jiān)控指定目錄，當(dāng)目錄有新的日志時(shí)，將它保存到HDFS中Flume工作方式08多agent流可以將多個(gè)Agent順序連接起來(lái)，將最初的數(shù)據(jù)源經(jīng)過(guò)收集，存儲(chǔ)到最終的存儲(chǔ)系統(tǒng)中。前面agent的sink、當(dāng)前agent的source需要是avro類型sink指向source的主機(jī)名（或IP地址）和端口。Flume工作方式09多ag