高職組大數(shù)據(jù)技術與應用樣題三

練習題三

任務一：Hadoop平臺及組件的部署管理（15分）

一、環(huán)境部署

1）Hadoop系統(tǒng)存儲于“/usr/local/hadoop”，要求配置hadoop.tmp.dir目

錄存放位置為“/usr/local/hadoop/tmp”

2）配置hadoop的.dir為/usr/local/hadoop/tmp/dfs/

name

3）配置hadoop的dfs.datanode.data.dir為/usr/local/hadoop/tmp/dfs/

data

4）格式化NameNode

5）開啟NameNode和DataNode守護進程

二、網絡配置（所有節(jié)點）

1）修改當前機器名

2）退出當前登錄，并重新登錄

3）關閉防火墻

4）修改當前機器IP

5）配置hosts文件

6）重啟網絡

7）創(chuàng)建一個普通用戶（也可以在安裝CentOS系統(tǒng)過程中在圖形界面創(chuàng)建

hadoop用戶，密碼設置為hadoop）

1

三、SSH無密碼驗證配置

Hadoop運行過程中需要管理遠端Hadoop守護進程，在Hadoop啟動以后，

NameNode是通過SSH（SecureShell）來啟動和停止各個DataNode上的各種守

護進程的。這就必須在節(jié)點之間執(zhí)行指令的時候是不需要輸入密碼的形式，因

此需要配置SSH運用無密碼公鑰認證的形式，這樣NameNode使用SSH無密碼登

錄并啟動DataName進程，同樣原理，DataNode上也能使用SSH無密碼登錄到

NameNode。

1）安裝和啟動SSH協(xié)議（所有節(jié)點）

2）切換到hadoop用戶

3）每個節(jié)點生成秘鑰對（所有節(jié)點）

4）查看"/home/hadoop/"下是否有".ssh"文件夾，且".ssh"文件下是否有兩個

剛生產的無密碼密鑰對（所有節(jié)點）

5）把id_rsa.pub追加到授權的key里面去（所有節(jié)點）

6）修改文件"authorized_keys"權限（所有節(jié)點）

7）設置SSH配置（所有節(jié)點）

8）設置完之后記得重啟SSH服務，才能使剛才設置有效。（所有節(jié)點）

9）切換到hadoop用戶

10）驗證是否成功（所有節(jié)點）

11）把master節(jié)點的公鑰id_rsa_pub復制到每個slave點

12）在每個slave節(jié)點把master節(jié)點復制的公鑰復制到authorized_keys文件

（所有slave節(jié)點）

2

13）刪除id_rsa.pub文件（所有slave節(jié)點）

14）驗證master到每個slave節(jié)點無密碼驗證（master節(jié)點）

15）每一個slave節(jié)點的公鑰復制到master（注意15、16、17步驟完成一個

slave節(jié)點后再操作下一個）

16）在master節(jié)點把從slave節(jié)點復制的公鑰復制到authorized_keys文件

（master節(jié)點）

17）刪除id_rsa.pub文件（master節(jié)點）

18）驗證每個slave節(jié)點到master無密碼驗證（slave節(jié)點）

四、Java環(huán)境安裝（所有節(jié)點都要配置）

將jdk-8u77-linux-x64.tar.gz包上傳到master節(jié)點/root目錄下。

1）切換到root用戶

2）新建java目錄

3）解壓到/usr/java目錄下

4）配置環(huán)境變量

5）使添加的環(huán)境變量生效

6）驗證安裝成功

五、在Master節(jié)點上安裝hadoop

1）解壓縮到/usr目錄下

2）重命名

配置hadoop環(huán)境變量

3

4）使配置的hadoop的環(huán)境變量生效

5）配置hadoop-env.sh

6）配置core-site.xml

7）配置hdfs-site.xml

8）配置yarn-site.xml

9）配置mapred-site.xml

10）配置masters文件

11）配置slaves文件

12）新建目錄

13）修改/usr/local/hadoop目錄的權限

將master上的hadoop安裝文件同步到slave1slave2

15）在每個slave節(jié)點上配置hadoop的環(huán)境變量（所有slave節(jié)點）

16）使配置的hadoop的環(huán)境變量生效（所有slave節(jié)點）

17）修改/usr/local/hadoop目錄的權限（所有slave節(jié)點）

18）切換到hadoop用戶（所有slave節(jié)點）

六、測試

1）切換到hadoop（master節(jié)點）

2）先格式化（master節(jié)點）

3）啟動hadoop（master節(jié)點）

4

4）查看Java進程

5）使用瀏覽器瀏覽Master節(jié)點機查看NameNode節(jié)點狀態(tài)

6）瀏覽Datanode數(shù)據(jù)節(jié)點

7）使用瀏覽器瀏覽Master節(jié)點查看所有應用

8）瀏覽Nodes

9）關閉hadoop

任務二、數(shù)據(jù)采集（15分）

根據(jù)下列表頭樣式，自定義編寫或采集可用數(shù)據(jù)源，并保存到對應“任務二”

服務器中。

IAreaStrComNaNaId_numbIdentity_catPhysicaApproM

d_coueetmitmemeeregoriesl_condival_to

ntytee12tionimen

e

y

3鐵西七育徐徐2101211無領取離退休健全2016/3

5區(qū)路工洪洪9461103金和養(yǎng)老保險07/010

0街社生生xxxx金老年人

2道區(qū)

9

3鐵西七育徐楊2101211未登記失業(yè)人健全2016/3

5區(qū)路工洪鳳9701124員07/010

0街社生云xxxx

3道區(qū)

0

3鐵西七育徐王2101062學齡前兒童健全2016/7

5區(qū)路工洪慧002112307/011

5

0街社生萍xxxx3

3道區(qū)

1

3鐵西七育徐徐2101062學生健全2016/4

5區(qū)路工洪思001100107/010

0街社生華xxxx7

3道區(qū)

2

3鐵西七育徐徐2101061其他人員一級肢2016/4

5區(qū)路工洪文9960924體殘疾07/016

0街社森龍xxxx8

3道區(qū)

3

3鐵西七育徐徐2101061登記失業(yè)人員健全2016/2

5區(qū)路工洪文966102407/018

0街社森靜xxxx5

3道區(qū)

4

3鐵西七育徐徐2101061未登記失業(yè)人健全2016/2

5區(qū)路工洪洪9670804員07/018

0街社森森xxxx5

3道區(qū)

5

3鐵西七育徐徐2101062學生健全2016/3

5區(qū)路工洪洪000090607/014

0街社明明xxxx9

3道區(qū)

6

3鐵西七育徐徐2101061未登記失業(yè)人其它2016/2

5區(qū)路工洪洪9630127員07/012

0街社軍軍xxxx7

3

6

7道區(qū)

3鐵西七育徐徐2101141未登記失業(yè)人健全2016/4

5區(qū)路工洪祎9610222員07/015

0街社軍瀅xxxx7

3道區(qū)

8

3鐵西七育徐劉2101061登記失業(yè)人員健全2016/4

5區(qū)路工洪晶959072907/015

0街社軍xxxx7

3道區(qū)

9

3鐵西七育徐徐2111021登記失業(yè)人員其它2016/5

5區(qū)路工洪洪950062207/017

0街社國國xxxx9

4道區(qū)

0

3鐵西七育徐徐2111021登記失業(yè)人員健全2016/5

5區(qū)路工宏宏949020807/017

0街社琴琴xxxx8

4道區(qū)

1

3鐵西七育徐徐2101061其他人員二級精2016/4

5區(qū)路工宏宏9940509神殘疾07/017

0街社春春xxxx5

4道區(qū)

2

3鐵西七育徐徐2101061未登記失業(yè)人二級視2016/4

5區(qū)路工宏宏9640908員力殘疾07/017

0街社斌斌xxxx4

4道區(qū)

3

7

3鐵西七育徐徐2101061登記失業(yè)人員四級智2016/4

5