flume介紹及常見問題

日志收集之Flume賀永明博客：/rjhym微博：/4077200432012.03.08目錄Flume簡介Flume工作原理以及常見配置Flume如何支持Reliability、Scalability、Manageability和ExtensibilityFlume運(yùn)行監(jiān)控Flume部署過程中發(fā)現(xiàn)的問題Q&AFlume簡介Flume介紹Flume的特性典型的體系結(jié)構(gòu)節(jié)點介紹三種可靠性級別的對比Flume性能Flume可靠性Flume介紹

Flume是Cloudera提供的一個分布式、可靠、和高可用的海量日志采集、聚合和傳輸?shù)娜罩臼占到y(tǒng)，支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù);同時，F(xiàn)lume提供對數(shù)據(jù)進(jìn)行簡單處理，并寫到各種數(shù)據(jù)接受方(可定制)的能力。flume的特性可靠性可伸縮性高性能可延展性可管理性開源社區(qū)的支持典型的體系結(jié)構(gòu)Node介紹

節(jié)點是非常靈活的抽象體，每一個邏輯節(jié)點包含兩個組成部分，source和sink。source告訴邏輯節(jié)點從哪里收集數(shù)據(jù)，sink告訴邏輯節(jié)點將數(shù)據(jù)發(fā)送到何處。兩個節(jié)點之間唯一的不同之處在于source和sink的配置，即數(shù)據(jù)來源和目的地的不同。source和sink可以額外配置decorators用來實現(xiàn)對source到sink數(shù)據(jù)的簡單處理。在先前的結(jié)構(gòu)中source和sink是運(yùn)行在同一個節(jié)點上的。三種可靠性方式的對比End-to-endStoreonfailureBesteffortFlume性能Flume數(shù)據(jù)準(zhǔn)確性1.日收集日志量一億條，天日志大小50-60G的情況下，日志數(shù)量誤差在100條以內(nèi)。引發(fā)條件為每天零點日志切割與日志讀?。∣Stail）周期間誤差導(dǎo)致。2.日志全部按照用戶訪問時間存放到對應(yīng)時間段的文件中，沒有誤差。3.節(jié)點崩潰重啟之后，滯后的日志會按照用戶訪問的時間發(fā)送到對應(yīng)時間段文件。Flume工作原理以及常見配置Flume數(shù)據(jù)源以及輸出方式

Flume提供了從console(控制臺)、RPC(Thrift-RPC)、text(文件)、tail(UNIXtail)、syslog(syslog日志系統(tǒng)，支持TCP和UDP等2種模式)，exec(命令執(zhí)行)等數(shù)據(jù)源上收集數(shù)據(jù)的能力，主要分為以下兩類。 PushSources：外部系統(tǒng)會主動地將數(shù)據(jù)推送到Flume中，如RPC、syslog。 PollingSources：Flume到外部系統(tǒng)中獲取數(shù)據(jù)，一般使用輪詢的方式，如text和exec。Flume數(shù)據(jù)源以及輸出方式 Flume的數(shù)據(jù)接受方，可以是console(控制臺)、text(文件)、dfs(HDFS文件)、RPC(Thrift-RPC)和syslogTCP(TCPsyslog日志系統(tǒng))等。

Flume常用配置基本配置格式：node：source|sinkNode：source|decoratorssinkFlume常用配置之sourceConsoleExecTailtailDirMultitailcollectorSource……Flume常用配置之sinkagentSinkagentBESinkagentDFOChaincollectorSinksohuAgentSink……Flume常用配置之DecoratorsSplitBatchGzipformat……Flume如何支持Reliability、Scalability、Manageability和ExtensibilityReliability：Flume提供3中數(shù)據(jù)可靠性選項，包括End-to-end、Storeonfailure和Besteffort。其中End-to-end使用了磁盤日志和接受端Ack的方式，保證Flume接受到的數(shù)據(jù)會最終到達(dá)目的。Storeonfailure在目的不可用的時候，數(shù)據(jù)會保持在本地硬盤。和End-to-end不同的是，如果是進(jìn)程出現(xiàn)問題，Storeonfailure可能會丟失部分?jǐn)?shù)據(jù)。Besteffort不做任何服務(wù)質(zhì)量保證。Flume如何支持Reliability、Scalability、Manageability和ExtensibilityScalability：Flume的3大組件：collector、master和storagetier都是可伸縮的。需要注意的是，F(xiàn)lume中對事件的處理不需要帶狀態(tài)，它的Scalability可以很容易實現(xiàn)。Flume如何支持Reliability、Scalability、Manageability和ExtensibilityManageability：Flume利用ZooKeeper和gossip，保證配置數(shù)據(jù)的一致性、高可用。同時，多Master，保證Master可以管理大量的節(jié)點。Flume如何支持Reliability、Scalability、Manageability和ExtensibilityExtensibility：基于Java，用戶可以為Flume添加各種新的功能，如通過繼承Source，用戶可以實現(xiàn)自己的數(shù)據(jù)接入方式，實現(xiàn)Sink的子類，用戶可以將數(shù)據(jù)寫往特定目標(biāo)，同時，通過SinkDecorator，用戶可以對數(shù)據(jù)進(jìn)行一定的預(yù)處理。Flume運(yùn)行監(jiān)控整個集群狀態(tài)：http://masterip:35871/Flume運(yùn)行監(jiān)控Node節(jié)點狀態(tài)：http://nodeip:port/node/reports（默認(rèn)port為35862）Flume運(yùn)行監(jiān)控Node節(jié)點狀態(tài)：http://nodeip:port/node/reports/logicnodename（默認(rèn)port為35862）Flume部署過程中遇到的問題1.節(jié)點啟動或配置后異常終止。（修改plugins異常）