《大數(shù)據(jù)平臺構(gòu)建》實(shí)驗(yàn)一：Flume組件安裝配置

實(shí)驗(yàn)一：Flume組件安裝配置

實(shí)驗(yàn)任務(wù)一：下載和解壓Flume

可以從官網(wǎng)下載Flume組件安裝包，下載地址如下URL鏈接所示/dist/flume/1.6.0/。

圖10-2Flume組件下載地址

使用root用戶解壓Flume安裝包到“/usr/local/src”路徑，并修改解壓后文件夾名為flume。

[root@master~]#tarzxvf/opt/software/apache-flume-1.6.0-bin.tar.gz-C/usr/local/src

[root@master~]#cd/usr/local/src/

[root@master~]#mvapache-flume-1.6.0-bin/flume

#修改Flume安裝路徑文件夾名稱

[root@master~]#chown-Rhadoop:hadoopflume/#修改文件夾歸屬用戶和歸屬組為hadoop用戶和hadoop組

實(shí)驗(yàn)任務(wù)二：Flume組件部署

步驟一：使用root用戶設(shè)置Flume環(huán)境變量，并使環(huán)境變量對所有用戶生效。

[root@master~]#vi/etc/profile

#編輯系統(tǒng)環(huán)境變量配置文件

#setflumeenvironment

exportFLUME_HOME=/usr/local/src/flume

#Flume安裝路徑

exportPATH=$PATH:$FLUME_HOME/bin

#添加系統(tǒng)PATH環(huán)境變量

步驟二：修改Flume相應(yīng)配置文件。

首先，切換到hadoop用戶，并切換當(dāng)前工作目錄到Flume的配置文件夾。

[root@master~]#su-hadoop

[hadoop@master~]$source/etc/profile

[hadoop@master~]$cd/usr/local/src/flume/conf

拷貝flume-env.sh.template文件并重命名為flume-env.sh。

[hadoop@master~]$cpflume-env.sh.templateflume-env.sh

步驟三：修改并配置flume-env.sh文件。

刪除JAVA_HOME變量前的注釋，修改為JDK的安裝路徑。

[hadoop@master~]$vi/usr/local/src/flume/conf/flume-env.sh

#

修改JAVA_HOME參數(shù)值為jdk安裝路徑

exportJAVA_HOME=/usr/local/src/jdk1.8.0_152

使用flume-ngversion命令驗(yàn)證安裝是否成功，若能夠正常查詢Flume組件版本為1.6.0，則表示安裝成功。

[hadoop@master~]$flume-ngversion

Flume1.6.0

#

查詢到Flume版本為1.6.0

Sourcecoderepository:https://git-wip-us.apache.org/repos/asf/flume.git

Revision:2561a23240a71ba20bf288c7c2cda88f443c2080

CompiledbyhshreedharanonMonMay1111:15:44PDT2015

Fromsourcewithchecksumb29e416802ce9ece3269d34233baf43f

實(shí)驗(yàn)任務(wù)三：使用Flume發(fā)送和接受信息

通過Flume將Web服務(wù)器中數(shù)據(jù)傳輸?shù)紿DFS中。

步驟一：在Flume安裝目錄中創(chuàng)建simple-hdfs-flume.conf文件。

[hadoop@master~]$cd/usr/local/src/flume/

[hadoop@master~]$vi/usr/local/src/flume/simple-hdfs-flume.conf

#添加以下內(nèi)容

a1.sources=r1

a1.sinks=k1

a1.channels=c1

a1.sources.r1.type=spooldir

a1.sources.r1.spoolDir=/usr/local/src/hadoop/logs/

a1.sources.r1.fileHeader=true

a1.sinks.k1.type=hdfs

a1.sinks.k1.hdfs.path=hdfs://master:9000/tmp/flume

a1.sinks.k1.hdfs.rollsize=1048760

a1.sinks.k1.hdfs.rollCount=0

a1.sinks.k1.hdfs.rollInterval=900

a1.sinks.k1.hdfs.useLocalTimeStamp=true

a1.channels.c1.type=file

a1.channels.c1.capacity=1000

a1.channels.c1.transactionCapacity=100

a1.sources.r1.channels=c1

a1.sinks.k1.channel=c1

步驟二：使用flume-ngagent命令加載simple-hdfs-flume.conf配置信息，啟動(dòng)flume傳輸數(shù)據(jù)。

[hadoop@masterflume]$flume-ngagent--conf-filesimple-hdfs-flume.conf--namea1

ctrl+c退出flume傳輸

步驟三：查看Flume傳輸?shù)紿DFS的文件，若能查看到HDFS上/tmp/flume目錄有傳輸?shù)臄?shù)據(jù)文件，則表示數(shù)據(jù)傳輸成功。

[hadoop@masterflume]$hdfsdfs-ls/tmp/f1ume

#查看HDFS文件系統(tǒng)/tmp/f1ume目錄下文件

-rw-r--r--

2rootsupergroup

13252019-06-0511:14/tmp/f1ume/FlumeData.1559747635008

-rw-r--r--

2rootsupergroup

134420