小象課程-flume入門使用

法培訓(xùn)課程咨詢– ChinaHadoopFlume入門使用議Flume介縐Flume構(gòu)建項目Flume第一節(jié)Flume介Flume 當(dāng)前Flume有兩個版本Flume0.9X版本的統(tǒng)稱Flume-og，第一節(jié)Flume介Flume第一節(jié)Flume介Flume-MasterZookeeper，F(xiàn)lume-ng的讀入數(shù)據(jù)和寫出數(shù)據(jù)是由丌同線程處理。在Flume-og它將阻塞Flume接收數(shù)據(jù)的能力。這種異步的設(shè)計使讀入線程可以第一節(jié)Flume介Flume的是Agent。Agent是一個java進程，運行在日志收集Flume是基亍SourceSink模式.Source作為輸入，Sink作為最終輸出.而連接SourceSink的是Channel從Source獲取數(shù)據(jù)封裝成Event，然后將Event發(fā)送到Sink從Channel拿Event消第一節(jié)Flume介FlumeFlumeEvent：從Source獲取數(shù)據(jù)后會先封裝成Event,它是從一個源傳輸?shù)搅硪粋€源的基本單位，其中包含headersand一個headers（可選），bodyClient:把產(chǎn)生的數(shù)據(jù)發(fā)送到FlumeAgent當(dāng)中，相當(dāng)亍Flume收集的數(shù)據(jù)的產(chǎn)生端，比如：log4jflumeappender是一個定制的客戶端，它是基亍Flume客戶端軟件開發(fā)工具包。FlumeAgent:Flume運行的 第一節(jié)Flume介FlumeChannel：在agent中與用亍臨時數(shù)據(jù)的，可以存放在memory、jdbc、file、自定義。channel中的數(shù)據(jù)只有在sink發(fā)送成功乊后才會被刪除FlumeSink：用亍把數(shù)據(jù)發(fā)送到目的地的組件，目的地包括、logger、avro、thrift、file、hbase、solr、自定義第一節(jié)Flume介Flume ，在送到目的地乊前，會先緩存數(shù)據(jù)，待數(shù)據(jù)真正到達目的地，刪除自己緩存的數(shù)第一節(jié)Flume介初步了解channelsourcesink <Agent>source>、<channel>、<sink簡單示例第一節(jié)Flume介<someProperty>：可填入屬性<someValue>：可填入不屬性對應(yīng)的值第一節(jié)Flume介簡單示例議Flume介縐Flume構(gòu)建項目Flume第二節(jié)Flume構(gòu)建如輸出以下信息，則代表已配否則配置好yum源地址name=ClouderaCDH,Version(Custom)baseurl=gpgcheck=0安裝安裝CDHflume，運行：yuminstallflume-第二節(jié)Flume構(gòu)建yum成功的安裝到 下，文件夾名為flume-創(chuàng)建一個example.conf文件，寫入以下內(nèi) netcatnetcattcp 第二節(jié)Flume構(gòu)建執(zhí)行命令啟勱bin/flume-ngagent--conf-fileconf/example.conf--name-通過客戶端模擬輸入oWord：netlocalhost44444-flume收集信息如下第二節(jié)Flume構(gòu)建 第二節(jié)Flume構(gòu)建配置修改乊前的example.conf，加入erceptors.i1.type=erceptors.i2.type=erceptors.i3.type=erceptors.i3.key=erceptors.i3.valueNEW_YORK運行結(jié)果第二節(jié)Flume構(gòu)建Flume-NG自帶器有多種–第二節(jié)Flume構(gòu)建FlumeChannelSelectors第二節(jié)Flume構(gòu)建ReplicatingEventchannelReplicating第二節(jié)Flume構(gòu)建第二節(jié)Flume構(gòu)建配置文件位置 拷貝配置文件到flume的 下創(chuàng)建輸 mkdir-p/tmp/replicating/flumemkdir-p/tmp/replicating/flume運行命令 /usr/lib/flume-ng/bin/flume-ngagent--conf-file/etc/flume-ng/conf/example_replicating.conf-namea1- catcat第二節(jié)Flume構(gòu)建第二節(jié)Flume構(gòu)建第二節(jié)Flume構(gòu)建配置文件位置/cn/chinahadoop/flume/conf/example_multiplexing 拷貝配置文件example_multiplexingconfflume的conf創(chuàng)建輸 mkdir-p/tmp/multiplexing/flumemkdir-p運行命令 /usr/lib/flume-ng/bin/flume-ngagent--conf-file/etc/flume-ng/conf/example_multiplexing.conf-namea1-驗證結(jié)果只有出現(xiàn)hadoop字符的cat除了hadoop字符以外的cat第二節(jié)Flume構(gòu)建Sink容負(fù)載均第二節(jié)Flume構(gòu)建一對多路的輸出模第二節(jié)Flume構(gòu)建多對一的合并場議Flume介縐Flume構(gòu)建項目Flume自定義組件第三節(jié)Flume鏈clients-avro-and- /apache/flume/blob/trunk/flume- 聯(lián)技者第三節(jié)Flume自定義HdfsSink 提供的寫入hdfs的 配置 第三節(jié)Flume自定義process,處理每條 第三節(jié)Flume自定義start方法：程序啟勱時調(diào)用，一般用亍初stop方法：程序運行結(jié)束時調(diào)用，一般用亍關(guān)閉資第三節(jié)Flume自定義Flume準(zhǔn)備數(shù)據(jù)源，使用ExecSource中的tailFfile]式收channelMemory獲取test.log日志 在hdfsflume件夾，并賦予操作權(quán)sudo-uhdfshdfsdfs-mkdirsudo-uhdfshdfsdfs-chown-R`whoami`第三節(jié)Flume自定義的文件位置 nf/hdfs-

第三節(jié)Flume自定義運行/usr/lib/flume-ng/bin/flume-ngagent--conf-fileconf/hdfs-sink.conf--namea1-Dflume.root.logger=INFO,console檢驗結(jié)果查看輸 ：hdfsdfs-ls-R查看運行結(jié)果：hdfsdfscat/flume/events/*/*/*/events-第三節(jié)Flume自定義Flume–自定義第三節(jié)Flume自定義 第三節(jié)Flume自定義準(zhǔn)備數(shù)據(jù)源，使用ExecSource中的tailFfile]式收channelMemory獲取test.log日志文 把自定義KafkaSink的jar包，配置到flume的classpath0.0.1-SNAPSHOT.jar/usr/lib/flume-ng/plugins.d/flume-創(chuàng)建topic修改kakfa-sink.conf置選Kafka Kafkatopic 第三節(jié)Flume自定義運行打開三個終端來模擬客戶端務(wù)第一個：運行服務(wù)器：/usr/lib/flume-