hadoop應用12.第周關于flume

1、關于Flume課程內容Flume簡介Flume示例Flume配置Flume實戰(zhàn)2/51什么是Flume3/51什么是FlumeFlume是一個高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)Flume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時，F(xiàn)lume提供對數(shù)據(jù)進行簡單處理，并寫到各種數(shù)據(jù)接受方（可定制）的能力。4/51Flume原理5/51Flume原理6/51Flume原理Flume的數(shù)據(jù)流由事件(Event)貫穿始終。Event是Flume的基本數(shù)據(jù)單位，它攜帶日志數(shù)據(jù)(字節(jié)數(shù)組形式)并且攜帶有頭信息，Event由Agent的Source生成，當Source捕獲事

2、件后會進行特定的格式化，然后Source會把事件推入(單個或多個)Channel中。Channel可以看作是一個緩沖區(qū)，它將保存Event直到Sink處理完該Event。Sink負責持久化日志或者把Event推向另一個Source。7/51Flume AgentAgent由Source、Channel和Sink組成。Flume內部有一個或者多個AgentAgent中可以包含多個Source和Sink。Agent是一共獨立的守護進程(JVM)8/51Flume Agent-SourceSource 負責數(shù)據(jù)的產生或收集，一般是對接RPC的程序或者是其他的Flume節(jié)點的SinkSource接收數(shù)

3、據(jù),并將接收的數(shù)據(jù)以Flume的Event格式傳遞給Channel9/51Flume AgentSource類型10/51Flume Agent-ChannelChannel 是短暫的存儲容器,負責數(shù)據(jù)的存儲，將從Source處接收到的Event格式的數(shù)據(jù)緩存起來，直到被Sink消費掉Channel類似一個先進先出的隊列，數(shù)據(jù)只有存儲在下一個存儲位置（可能是最終的存儲位置，如HDFS；也可能是下一個Flume節(jié)點的Channel），數(shù)據(jù)才會從當前的Channel中刪除。這個過程是通過事務來控制的，這樣就保證了數(shù)據(jù)的可靠性。11/51Flume Agent12/51Flume Agent-Sin

4、kSink負責數(shù)據(jù)的轉發(fā)，它從Channel消費數(shù)據(jù)(Events)并將其傳遞給目標地。目標地可能是另一個Sink,也可能是hdfs、logger、avro、thrift、ipc、file、null、Hbase、solr等13/51Flume AgentSink類型14/51Flume的特點Flume提供收集、移動、聚合大量日志數(shù)據(jù)的服務實時的基于事件的流數(shù)據(jù)架構在生產和消費者之間啟動協(xié)調作用提供了事務保證，確保Event可靠傳輸15/51課程內容Flume簡介Flume示例Flume配置Flume實戰(zhàn)16/51netcat簡介17/51netcat簡介netcat是網絡工具中的瑞士軍刀，它能

5、通過TCP和UDP在網絡中讀寫數(shù)據(jù)。netcat所做的就是在兩臺電腦之間建立鏈接并返回兩個數(shù)據(jù)流。netcat應用場景：建立一個服務器，傳輸文件，與朋友聊天，傳輸流媒體或者用它作為其它協(xié)議的獨立客戶端。18/51Flume配置-netcat19/51課程內容Flume簡介Flume示例Flume配置Flume實戰(zhàn)20/51Flume配置（1）-定義流21/51Flume配置（1）定義流示例22/51說明：一個名為agent_foo的agent，從一個外部的avro client讀取數(shù)據(jù)，然后經過channel，再發(fā)送到HDFSFlume配置（2）-配置組件23/51Flume配置（2）配置組件

6、示例24/51Flume配置-單agent多流25/51Flume配置-單agent多流示例26/51Flume配置多agent流27/51為了能使數(shù)據(jù)流跨越多個agent或者跳，前一個agent的sink和當前一跳的source需要同樣是avro類型的，并且sink需要指定source的hostname（或者ip地址）和端口號。Flume配置多agent流（1）28/51Flume配置多agent流（2）29/51合并數(shù)據(jù)流30/51扇出流31/51扇出流扇出（fan out）：一個Source的數(shù)據(jù)發(fā)送到多個SinkFlume支持多路輸出event流到一個或多個目的地。這是靠定義一個多路數(shù)

7、據(jù)流實現(xiàn)的，它可以實現(xiàn)復制和選擇性路由一個event到一個或者多個channel。這個扇出可以是復制（replicating）或者多路輸出（multiplexing）。在復制數(shù)據(jù)流的情況下，每一個event被發(fā)送所有的channel中在多路輸出的情況下，一個event被發(fā)送到一部分可用的channel中32/51扇出流配置（1）33/51扇出流配置（2）34/51扇出流示例（1）35/51課程內容Flume簡介Flume示例Flume配置Flume實戰(zhàn)36/51實驗說明Spooling Directory Source37/51實驗38/51實驗Spooling Directory Source監(jiān)測配置的目錄下新增的