系統(tǒng)日志數(shù)據(jù)采集

負責(zé)人：鄭美容01目錄系統(tǒng)日志數(shù)據(jù)采集系統(tǒng)日志數(shù)據(jù)采集1系統(tǒng)日志數(shù)據(jù)采集

Flume是由cloudera軟件公司產(chǎn)出的可分布式日志收集系統(tǒng)，后與2009年被捐贈了apache軟件基金會，為hadoop相關(guān)組件之一。尤其近幾年隨著Flume的不斷被完善以及升級版本的逐一推出，特別是Flume-NG;同時flume內(nèi)部的各種組件不斷豐富，用戶在開發(fā)的過程中使用的便利性得到很大的改善，現(xiàn)已成為apachetop項目之一。系統(tǒng)日志數(shù)據(jù)采集Flume概述：（1）Flume是一個分布式、可靠、和高可用的海量日志采集、聚合和傳輸?shù)南到y(tǒng)。（2）Flume可以采集文件，socket數(shù)據(jù)包等各種形式源數(shù)據(jù)，又可以將采集到的數(shù)據(jù)輸出到HDFS、hbase、hive、kafka等眾多外部存儲系統(tǒng)中。（3）一般的采集需求，通過對flume的簡單配置即可實現(xiàn)。（4）Flume針對特殊場景也具備良好的自定義擴展能力，因此，flume可以適用于大部分的日常數(shù)據(jù)采集場景。系統(tǒng)日志數(shù)據(jù)采集Flume架構(gòu)：Flume的核心就是一個Agent，每個FlumeAgent有三個組件：Source、Channel、Sink。系統(tǒng)日志數(shù)據(jù)采集（1）Flume分布式系統(tǒng)中最核心的角色是agent，F(xiàn)lume采集系統(tǒng)就是由一個個agent所連接起來形成（2）每一個agent相當(dāng)于一個數(shù)據(jù)傳遞員，內(nèi)部有三個組件：

Source：采集源，用于跟數(shù)據(jù)源對接，以獲取數(shù)據(jù)

Channel：主要提供一個隊列的功能，對source提供中的數(shù)據(jù)進行簡單的緩存并傳遞到Sink中

Sink：下沉地，采集數(shù)據(jù)的傳送目的，用于往下一級agent傳遞數(shù)據(jù)或者往最終存儲系統(tǒng)傳遞數(shù)據(jù)。系統(tǒng)日志數(shù)據(jù)采集（1）Flume的核心組件Source的使用：

Flume提供了各種source的實現(xiàn)，包括AvroSource、ExceSource、SpoolingDirectorySource、NetCatSource、SyslogSource等對現(xiàn)有系統(tǒng)影響最小的是ExecSource和SpoolSource這兩種方式：（1）ExecSource是以運行Linux命令的方式，持續(xù)的按照文件名輸出最新的數(shù)據(jù)，如tail-F文件名指令（2）Spool

Source是監(jiān)測配置的目錄下新增的文件，并將文件中的數(shù)據(jù)讀取出來系統(tǒng)日志數(shù)據(jù)采集（2）Flume的核心組件Sink的使用Flume也提供了各種sink的實現(xiàn)，包括HDFSsink、Loggersink、Avrosink、FileRollsink、Nullsink、HBasesink，etc等FlumeSink在設(shè)置存儲數(shù)據(jù)時，可以向文件系統(tǒng)中，數(shù)據(jù)中庫，hadoop中儲數(shù)據(jù)。（3）Flume的核心組件Chanel的使用Flume對于Channel，則提供了MemoryChannel、JDBCChanel、FileChannel，etc等實現(xiàn)MemoryChannel可以實現(xiàn)高速的吞吐，但是無法保證數(shù)據(jù)的完整性，MemoryRecoverChannel在官方文檔的建議上已經(jīng)建義使用FileChannel來替換。FileChannel保證