Hadoop生態(tài)系統(tǒng)及開發(fā) 實訓(xùn)手冊 實訓(xùn)1 基礎(chǔ)實訓(xùn)環(huán)境準(zhǔn)備-實訓(xùn)16 Kafka發(fā)布訂閱消息系統(tǒng)實現(xiàn)+實訓(xùn)綜合案例

實訓(xùn)2.1基礎(chǔ)實訓(xùn)環(huán)境準(zhǔn)備

1.實訓(xùn)目的

通過本實訓(xùn)對大數(shù)據(jù)實訓(xùn)環(huán)境配置做一個前期準(zhǔn)備操作，了解各個節(jié)點之間

的基礎(chǔ)通信原理。

2.實訓(xùn)內(nèi)容

該實訓(xùn)主要針對集群配置做前期的域名映射、SSH免密登陸工作，對SSH

安全通信協(xié)議以及通信方式有所了解，對大數(shù)據(jù)服務(wù)組件之間安全通信有所了解。

3.實訓(xùn)要求

以小組為單元進(jìn)行實訓(xùn)，每小組5人，小組自協(xié)商選一位組長，由組長安排

和分配實訓(xùn)任務(wù)，具體參加實訓(xùn)內(nèi)容中的實訓(xùn)過程。

4.準(zhǔn)備知識

本實訓(xùn)任務(wù)可以配套大數(shù)據(jù)實訓(xùn)平臺，由平臺分發(fā)三臺裸機(jī)服務(wù)器。如果沒

有使用大數(shù)據(jù)實訓(xùn)平臺，則首先需要先你的電腦上安裝好VMware或者VirtualBox

等相類似的軟件，然后裝一臺Centos7虛擬機(jī)，然后克隆三臺出來，并配置好ip

地址，可自行查閱相關(guān)資料，或者查看本書后面的附錄頁。

同學(xué)們需要提前學(xué)習(xí)一些簡單的Linux基礎(chǔ)知識、網(wǎng)絡(luò)基礎(chǔ)知識、云計算基

礎(chǔ)知識，如果是學(xué)會配置虛擬機(jī)之間的網(wǎng)絡(luò)等等，如基礎(chǔ)比較薄弱，可以在老師

的指導(dǎo)下進(jìn)行學(xué)習(xí)。由于涉及面比較廣，建議同學(xué)之間加多交流，打下良好基礎(chǔ)，

為后面的學(xué)習(xí)做準(zhǔn)備。

5.實訓(xùn)步驟

(1)搭建集群服務(wù)器

老師按照平臺操作手冊，分發(fā)給學(xué)生初始裸機(jī)環(huán)境。一共是三臺服務(wù)器，一

臺是主節(jié)點，兩臺是從節(jié)點。角色、ip地址、用戶名、密碼等信息初始化情況如

圖2-3所示。

角色ip地址cpu內(nèi)存用戶名密碼

master312核1.5groothadoop

slavel322核1groothadoop

slave2332核lgroothadoop

圖2-3所提供的服務(wù)器基本情況

(2)MobaXterm的使用

如果想要操作服務(wù)器，一般都會使用第三方工具進(jìn)行連接操作，第三方工具

如MobaXterm、XShelLSecureCRT等等，工具的使用大同小異，此處使用目前

比較主流的MobaXterm,由于MobaXterm具有綠色版本，所以不需要安裝，直

接雙擊即可打開使用頁面，如圖所示2-4所示。

昭MobaXterm—□X

終靠會話視圖X服務(wù)器工具游戲設(shè)置宏Help

凰支次一★宴矍Y二兇?

SessionServersToolsGamesSessionsViewSplitMultiExecTunnelingPackagesSettingsHelpXserverExit

《Q

戕MobciXtenn

霹Newsession

［看找現(xiàn)有會話或服務(wù)器名猙...|

WelcometoMobaXterm

Press<return>tostartanewsession

您的系統(tǒng)上找不到CygUtils插件.

UNREGISTEREDVERSION-PleasesupportMobaXtermbysubsabngtotheprofessionaleditionhere:https://mobaxterm.nrM>

圖2-4MobaXterm軟件首頁

（3）新建會話

①點擊頁面中部的“Newsession"即可打開新建回話頁面，此時默認(rèn)選擇

是“SSH”類型,不需要選擇，直接輸入遠(yuǎn)程主機(jī)的ip地址（此時輸入master

的ip地址），然后勾選“指定用戶名”，輸入用戶名（此時為root用戶），其

余保持默認(rèn)不變，如圖2-5所示。

X

□IE1酬］國@圖逐>卡里■■④X管田

圖TelnetRshXdmcpRDPVNCFTPSFTPSerialFileShell瀏覽MoshAwsS3WSL

BBasicSSHsettings

遠(yuǎn)程主機(jī)*|192.168.128.131|日指定用戶名|rootl|1S端口巨：

OAdvancedSSHsettings■終端設(shè)置網(wǎng)絡(luò)設(shè)置書簽設(shè)置

SecureShell(SSH)會話

?OK?取消

圖2-5設(shè)置會話

接烹，點擊窗口下方的“0K”按鈕。此時會提示輸入root用戶密碼，如圖

2-6所示。

31(root)□X

終端會話視圖X服務(wù)器工具游戲設(shè)省宏Help

★宴矍YW

ToolsGamesSessionsViewSplitMultiE)?cTunnelingPackagesSettingsHelpXserverExit

快速連摟...

個1Home，囚2192168128131(root)

Usersessionsroot0192,168.128,131'spassword:|

Q31(root)

*輸入root用戶的密碼

UNREGISTEREDVERSION-PleasesupportMobaXtermbysubscrbngtotheprofessionaledibonhere:

圖2-6提示輸入密碼

輸入密碼后，會提示是否保存密碼，點擊“Yes”，如圖2-7所示。

MobaXtermX

Doyouvanttosavepassvordforroot?32?

QYesONo

如果您希望存儲密碼具有最高安全性，

您可以通過轉(zhuǎn)到來定義“主密碼”

"胃胃"一〉"其他"標(biāo)簽一＞"MobaXterm密碼設(shè)署"

區(qū)還要再顯示此消息

圖2-7保存密碼

此后即可連接上master服務(wù)器，如圖2-8所示。

31(root)□X

終端會話視圖X服務(wù)器工具游戲設(shè)省宏Help

寞※盤?★宴矍?

SessionServersToolsGamesSessionsViewSplitMultiE)?cTunnelingPackagesSettingsHelpXserverExit

快速連接??.

個1Home唱魅圖揭期

?MobaXterm11.1?

l/root/?]

(SSHclient,X-serverandnetworkingtools)

曲?名S

鐘?..?SSHsessiontoroot@192.168.128,131

■.bash_logout1?SSHcompression:?

時■.bash_profile1?SSH-browser:?

H?.bashrc1?Xll-forwarding:x(disabledornotsupportedbyserver)

*■.cshrc1?DISPLAY:192,168.221.131:0.0

根1

ianaconda-ks.tfg1?Formoreinfo,ctrl+clickonhelporvisitourwebsite

Lastlogin:ThuOct2015:50:442022

[root@lo<dlhost-]#|

ss遠(yuǎn)程監(jiān)控

□SB隨終爆文件夾

UNREGISTEREDVERSION-PleasesupportMobaXtermbysubscrbngtotheprofessionaledibonhere:

圖2-8連接上服務(wù)器頁面

點擊左上角菜單欄的“終端”，選擇“打開新標(biāo)簽”，跟上面一樣的操作連

接上slave1和slave2節(jié)點，如下圖2-17所示。

字33(root)□X

終端會話視圖X服務(wù)器工^游戲設(shè)置宏Help

寞：*A說★耍矍Y舊R￡6M◎

SessionServersToolsGamesSessionsViewSplitMultiExecTunnelingPackagesSettingsHelpXserverExit

快速連接...

□2.192.168128131(roo：Ci6192168.128,132(coot?啰

*1Y0=6i?AI?MobaXterm11.1?

(SSHclient,X-serverandnetworkingtools)

▼名

?SSHsessiontoroot@33

$KAFKA_HOME?SSHcompression:?

?SSH-browser:?

nt.oradejre.usage

H.ssh?XI1-forwarding:x(disabledornotsupportedbyserver)

■.bash_htstofY?DISPLAY：31:0.0

■.bash_logout

■.bash_profile?Formoreinfo,ctrl+clickonhelporvisitourwebsite

■.bashrc

■.cshrc

■.tcshrcLastlogin:TueOct2505:57:132022from

*anaconcto-ks.cfg(root@slave2-]#|

&3遠(yuǎn)程監(jiān)控

□跟院終端文件夾

UNREGISTEREDVERSION-PleasesupportMobaXtermbysubscnbngtotheprofessionaledtonhere:https://mobaxterm.mobatelcnet

圖2-17各節(jié)點均需連接上

連接好后，可以右擊會話，將會話名稱分別改為master、slavel、slave2,

以方便辨識。

(4)修改master主機(jī)名(如果主機(jī)名已經(jīng)修改好，可忽略此操作)

命令格式：hostnamectlset-hostname主機(jī)名

hostnamectlset-hostnamemaster

bash

結(jié)果如圖所示:

Lastlogin:ThuOct2711:41:382022

[root@localhosthostnamectlset-hostnamemaster

[root@localhost-]#bash

[root頌aster~]#|

圖2-17修改主機(jī)名

slavel、slave2的主機(jī)名也分別修改好。

（5）添加域名映射

①先安裝好加強(qiáng)版vi編輯器，使編輯頁面更加美觀

在三臺節(jié)總上執(zhí)行：___________________________

yuminstall-yvim

盤示以下頁面則表示安裝成功，如圖2-所示：

perl-threads-shared.x86_640:1.43-6,el7

vim-common.x86_642:7,4.629-8.e17_9

vim-filesystem,x86_642:7.4.629-8.e17_9

Complete!

[root@master~]#|

②使用vim命令編輯/etc/hosts文件

在三臺節(jié)點上執(zhí)行:

vim/etc/hosts

然后添加三臺主機(jī)ip地址和主機(jī)名映射關(guān)系，內(nèi)容為:

31master

32slavel

33slave2

如圖2-18所示。

localhostlocalhost.localdomainlocalhost4localhost4,Iocaldomain4

::1localhostlocalhost.localdomainlocalhost6localhost6.Iocaldomain6

31master

32slavel

33slave』

圖2-18配置域名映射

配置好之后可以通過主機(jī)名來代替ip進(jìn)行一系列的操作。

③保存退出后，使用cat命令自看配置的文件是否配置好：

cat/etc/hosts

如果查看到/etc/hosts文件里面有映射關(guān)系，則表示配置好了。如下圖2-19

所示。

l[root@naster?*]#cat/etc/hosts

localhostlocalhost.localdomainlocalhost4localhost4,Iocaldomain4

::1localhostlocalhost.localdomainlocalhost6localhost6.Iocaldomain6

31master

32slavel

33slave2

圖2-19校驗域名映射

④同理，在slavel、slave2上也要配置好域名映射，域名映射的內(nèi)容是一樣

的。

（5）配置三臺服務(wù)器的SSH免密碼登錄

①生成服務(wù)器的密鑰。

在master上執(zhí)行：

ssh-keygen

②輸入之后連續(xù)按三次回車，則可以生成服務(wù)器的密鑰，如圖2-20所示。

[root額aster*]#sh-keygen

Generatingpublic/privatersakeypair.

Enterfileinwhichtosavethekey(/root/.ssh/id_rsa):匚

Createddirectory'/root/.ssh1.

Enterpassphrase(emptyfornopassphrase):「

Entersamepassphraseagain:||

Youridentificationhasbeensavedin/root/.ssh/id_rsa.

Yourpublickeyhasbeensavedin/root/.ssh/id_rsa.pub.

Thekeyfingerprintis:

SHA256:TPVYzjgqIkqUKLJ/xsYRqE5q17/yspbBJON3m0nENacroot@naster

Thekey'srandomartimageis:

+---[RSA2048]+

?.o...

|...o.+B

|+o....E++

|+o.o=..

|oo+++S

|=o0.+=

I00.0%

|..0.

|..=+.

+????[SHA256]*

圖2-20生成服務(wù)器密鑰

③在slavel、slave2上也要執(zhí)行上面兩步來生成密鑰。

（6）配置公鑰到authorized_keys文件（slavel>slave2節(jié)點）

①將master的公鑰id_rsa.pub寫入到authorized_keys文件。

在master上執(zhí)行：

執(zhí)行結(jié)果如圖2-21所示。

[root@naster~]#cd*/.ssh

[root頷aster.ssh]#

[root@master.ssh]#catidrsa.pub?authorizedkeys

[root@master.ssh]#

[root頷aster.ssh]#Is

authorizedkeysidrsaidrsa.pub

圖2-21寫入公鑰到authorized_keys文件

②將slave1的公鑰id_rsa.pub寫入到authorized_keysl文件，此處是

authorized_keysl文件，面為等下要拷貝到master節(jié)點，所要需要做一下區(qū)分,

使用其他文件名也可以。

在slavel上執(zhí)行：

cd~/.ssh

catid_rsa.pub?authorized_keys1

執(zhí)行結(jié)果如圖2-22所示。

[root@slavel-]#cd*/.ssh

[root@slavel.ssh]#

[root@slavel.ssh]#catidrsa.pub?authorizedkeysl

[root@slavel.ssh]#

[root@slavel.ssh]#Is

authorizedkeyslid_rsaidrsa.pub

[root@slavel.ssh]#

[root@slavel.ssh]#|

圖2-22寫入公鑰到authorized_keysl文件

③將slave2的公鑰id_rsa.pub寫入到authorized_keys2文件。

在slave1上執(zhí)行：

cd?/.ssh

catid_rsa.pub?authorized_keys2

執(zhí)彳懸果如圖2.23所示。

[root@slave2cd*/.ssh

[root@slave2.ssh]#

[root@slave2.ssh]#catidrsa.pub?authorizedkeys2

[root@slave2,ssh]#

[root@slave2.ssh]#Is

authorized_keys2idrsaidrsa.pub

[root@slave2.ssh]#

圖2-23寫入公鑰到authorized_keys2文件

④將authorized_keysl文件拷貝到master節(jié)點，此處注意ip地址需要修改成

自己的master節(jié)點的ip地址，所以也可以使用master節(jié)點的主機(jī)名代替。

在slave1上執(zhí)行：

scpauthorized_keys1root@master>/.ssh/

執(zhí)行結(jié)果如由2-24所寂

[root@slavel.ssh]#scpauthorizedkeyslroot@naster:*/.ssh/

Theauthenticityofhost?master(192,168.128.131)1can'tbeestablished.

ECDSAkeyfingerprintisSHA256:y6qXjS+N44sAkZA82j9GZQx7r^ns5B8be0iZYzq52GDg.

ECDSAkeyfingerprintisMD5:0b:ff:66:d7:11:e2:7b:b0:36:69:99:c6:fc:c7:76:de.

Areyousureyouwanttocontinueconnecting(yes/no)?[yes]

Warning:Permanentlyadded'master,192.168.128,131'(ECDSA)tothelistofknown

八°?左’+?JI1master節(jié)點root用戶的密碼

root@master'spassword：1I

authorized_keysl100%393270.5KB/S00:00

[rootgslavel.ssh]#|

圖2-24拷貝slavel公鑰到master

⑤將authorized_keys2文件拷貝到master節(jié)點。

在slave2上執(zhí)行：

scpauthorized_keys2root@master.ssh/

執(zhí)行結(jié)果如囪2-25所示。

[root@slave2.ssh]#scpauthorized_keys2root@master:*/.ssh/

Theauthenticityofhost'master(192,168.128.131)'can'tbeestablished.

ECDSAkeyfingerprintisSHA256:y6qXjS+N44sAkZA82j9GZQx7Hns5B8be0iZYzq52GDg.

ECDSAkeyfingerprintisMD5:0b:ff:66:d7:11:e2:7b:bO:36:69:99:c6:fc:c7:76:de.

Areyousureyouwanttocontinueconnecting(yes/no)?|yes|

Warning:Permanentlyadded'master,192,168.128,131,(ECDSA)tothelistofknown

rootcannaster*spassword:匚二]4^*"

authorized_keys2100%393289.7KB/S00:00

[root@slave2.ssh]#|

圖2-25拷貝slave2公鑰到master

⑥此時，master上其實已經(jīng)有了slavel和slave2的公鑰。需要對公鑰進(jìn)行整

合,然后再分發(fā)到slavel和slave2,這樣才能實現(xiàn)各節(jié)點間能夠進(jìn)行免密碼登錄。

在master上執(zhí)行：

catauthorized_keys1?authorized_keys

catauthorized_keys2?authorized_keys

執(zhí)行步驟如圖2-26所示「

[root額aster.ssh]#catauthorizedkeysl?authorizedkeys

[root@naster.ssh]#

[root@naster.ssh]#catauthorized_keys2?authorizedkeys

[root@naster.ssh]#

[root@naster.ssh]#H

total20

-rw-r--r--.1rootroot1179Oct2716:44authorizedkeys

-rw-r--r--.1rootroot393Oct2716:42authorizedkeysl

-i-w-r--r--.1rootroot393Oct2716:43authorized_keys2

-rw1rootroot1675Oct2716:37idrsa

-rw-r--r--.1rootroot393Oct2716:37idrsa.pub

圖2-26匯集三臺服務(wù)器的公鑰

⑦查看authorized_keys文件是否已經(jīng)有各節(jié)點的公鑰。

在master上執(zhí)行：

catauthorized_keys

執(zhí)行結(jié)果如圖2-27所示。

[root@naster.ssh]#catauthorizedkeys

ssh-rsaAAAAB3NzaClyc2EAAAADAQABAAABAQDUm8WDVoV14bVbzknf66DcD00n9fo+n0MRdwFweQaf

/nmfjUUwrNZgvzr69tm+S12Nmw8wB5rTtQoara7qBV20AiYSqFng/J/hocejSQ4gAcsoocKyepDx+wIN

6wZql0m8D/9umb9uTrGNKFfSuczkgvMx4PZGXHY2qjZ08vnd41Tnv850MpMv2tEPPrcCI301nDLC4Ctq

PhDdscCgI4jek2XaJ7x08UHqsI284EcQbdvsY/IBmCf7NCZTYmo2fSVadJ8NowA3g9V3X7WuMvsvgdlC

NqwU6aYEFGRLk20VVwzx3h/qHFPCHv04oiN76pRrNYbQvdIFnwmDDUIfrhot|root(piaster]

ssh-rsaAAAAB3NzaClyc2EAAAADAQABAAABAQDP0MIOQPq+7LzStBfloowdSLdN6aA7Cova6+LnvAXw

KAUXmIQIUeeIcJnJQrBf9pZpypng98gkialXNep41CI7aJd0vDlRwXRBZXZxYXRFyFQGiSu5xjsMFiGj

GurNa7QQszR/wzppKUW5DWN3HsYzLxDh8xRm5zNnAQ9iwcDWtUuVZhg7q8tRJgNnYwfcmM3Tk5vBDpzB

aHNUNiBVaYgkcbL/0vIHKUHuMhTflRpJNuDBS0RW/7VekMUpVMC/djlwm0AHdopbL3MZSw7IgZzklUbU

KvhUwASaV8KLGlHzlaVvDmGPTV9dPdJ8/Y4L52ekfxqqo/+HLGMvdlpHezsv|r可

ssh-rsaAAAAB3NzaClyc2EAAAADAQABAAABAQCW+ntov3RFob3UxsQvbmPiw2nRQriFy7IKBzSftI3fR

IHMqfzi〃gVSMJQ63vjhxPdzEBuFPXFY9AfzE3G)BYlOHLL9e叩kGkFnSrZTiATdEYLW9L0m+LJTwQBq0

a8Z146Mq+CmCg7toC2ByEcm+gAXRN6iXaA98ZTigrUx6BEY3SCFCUGGMTIB9K72/f4PElSNPoxm0V+l

2eC13CPbP81UvsybgLn4kH6RVylFbZeG/h0npTLIBIEf5WG3i2Fv9S6pka8Q0BH84+qi7UcYKx32j06m

zfz7t40GQ9DdCKmtOTDolBvqL彳7DKPIdAH3Xt88DmvFJNc6xvtbzxNl“+iyXroot@sidve2_________

圖2-27查看匯集結(jié)果

⑧將master的authorized_keys文件拷貝到slavel、slave2節(jié)點的/root/.ssh/目

錄下，以達(dá)到互相可以免密碼訪問的目的。

在master上執(zhí)彳j：

scpauthorized_keysroot@slavel>/.ssh/

scpauthorized_keysroot@slave2:-/.ssh/

執(zhí)行步驟如由2-28所寂

[root@naster.ssh]#scpauthorizedkeysroot@slavel:*/.ssh/

Theauthenticityofhost'slavel(192,168.128,132)'can'tbeestablished.

ECDSAkeyfingerprintisSHA256:y6qXjS+N44sAkZA82j9GZQx7Hns5B8be0iZYzq52GDg.

ECDSAkeyfingerprintisMD5:0b:ff:66:d7:11:e2:7b:b0:36:69:99:c6:fc:c7:76:de.

Areyousureyouwanttocontinueconnecting(yes/no)?[yes^l

Warning:Permanentlyadded'slavel,192,168.128.132,(ECDSRA)tothelistofknown

hosts.slave*!節(jié)點root用戶密碼

rootOslavel*spassword:

authorizedkeys100%1179928.1KB/S00:00

[root@master.ssh]#

[root@naster.ssh]#scpauthorizedkeysroot@slave2:*/.ssh/

Theauthenticityofhost'stave2(33)'can'tbeestablished.

ECDSAkeyfingerprintisSHA256:y6qXjS+N44sAkZA82j9GZQx7Hns5B8be0iZYzq52GDg.

ECDSAkeyfingerprintisMD5:0b:ff:66:d7:11:e2:7b:b0:36:69:99:c6:fc:c7:76:de.

Areyousureyouwanttocontinueconnecting(yes/no)TTyesTl

Warning:Permanentlyadded1slave2,192,168.128.1331(EcDSTV)tothelistofknown

root@slave2'spassword：1|；J尸'

authorized_keys—100%11791.2MB/S00:00

[root@master,ssh]#|

圖2-28分發(fā)公鑰到slavel、slave2

⑨測試免密碼登陸

校驗的命令為（ssh后面有一個空格）：

命令格式：ssh主機(jī)名

ssh登錄進(jìn)去后，務(wù)必記得使用exit命令退出再測試其他節(jié)點。

可以發(fā)現(xiàn),從master節(jié)點ssh到master、slavel>slave2均不用輸入密碼（如

出現(xiàn)需要輸入yes/no,輸入yes即可，下次再重新執(zhí)行就不會再出現(xiàn)），表示免

密碼登錄是成功的。校驗結(jié)果如圖2-29所示。

[root加aster.ssh]#[sshmaster]

Theauthenticityofhost'master(192,168.128.131)*can'tbeestablished.

ECDSAkeyfingerprintisSHA256:y6qXjS+N44sAkZA82j9GZQx7Hns5B8be0iZYzq52GDg.

ECDSAkeyfingerprintisMD5:0b:ff:66:d7:11:e2:7b:b0:36:69:99:c6:fc:c7:76:de.

Areyousureyouwanttocontinueconnecting(yes/no)?[yes^

Warning:Permanentlyadded'master,192,168.128,131,(ECDSA)tothelistofknown

hosts.

Lastlogin:ThuOct2716:33:192022from

[root@naster-]#|exit]

logout

Connectiontomasterclosed.

[root額aster.ssh]#

[root@naster.ssh]#sihJlaveTJ

Lastlogin:ThuOct27~167337102022from

[root@slavel~1#

[root@slavel~]#exit

logout

Connectiontoslavelclosed.

[root@naster.ssh]#

[root@naster.ssh]#

[root額aster.ssh]#[-sshslave2]

Lastlogin:ThuOct2716:33:122022from

[root@slave2~]#____

[root@slave2*]#|exit|

logout

Connectiontoslave2closed.

[root@naster.ssh]#

[root額aster,ssh]#

[root@naster.ssh]#|

圖2-29校驗master是否能夠免密碼登錄slavel和slave2

⑩測試slavel和slave2能否免密碼登錄到master,如果沒有問題，也是可以

免密碼登錄的，此處不再截圖。

6.實訓(xùn)總結(jié)

前期的基礎(chǔ)配置準(zhǔn)備工作，為之后的環(huán)境搭建做好充分的準(zhǔn)備。該實訓(xùn)主要

通過SSH免密碼登陸配置，使學(xué)生對實操節(jié)點之間的這種SSH通信方式有所感

知。

本實訓(xùn)課程對于初學(xué)者而言，最難的是沒有接觸過Linux操作，如果接觸過

的話上手會很快。其實也可以不使用XShell工具，但是為了剛好地操作，此處

使用了遠(yuǎn)端登錄工具，直接在Windows上就可以操作集群，如果沒有使用工具，

則應(yīng)該直接進(jìn)去操作集群。免密碼登錄是大數(shù)據(jù)集群的大前提，如果沒有進(jìn)行免

密碼，節(jié)點之間是無法進(jìn)行友好通信的，而域名映射，是為了替代ip,方便集群

的管理與相關(guān)配置的遷移等等。學(xué)習(xí)的時候，需要理解好實訓(xùn)的目的。

每個人的用戶名及ip都會有所不同，本書的用戶名和ip需要特別留意，后

期會一直使用，先記住以便不在學(xué)習(xí)中混淆。如果是自己搭建的虛擬機(jī)，可以取

一個短的名字和設(shè)置一個便于記憶的ip,以便學(xué)習(xí)。

最后，總結(jié)一下同學(xué)們在操作過程中比較容易遇到的錯誤：

①如果是自己搭建的環(huán)境，可能會沒有scp命令，此時可以自己安裝一下。

②需要特別注意的是，生成的公鑰文件其實只有一行內(nèi)容，在實操的時候，

不要將authorized_keys里面的內(nèi)容復(fù)制出來，然后再編輯，最好是跟著實訓(xùn)步驟

一步一步復(fù)制，否則很容易出錯，比如文件格式發(fā)生改變、會自動換行等。配置

好后，每臺服務(wù)器authorized_keys文件里面的內(nèi)容，其實是一樣的。

③最后測試是否配置成功時，記得測試完后，需要執(zhí)行exit命令進(jìn)行退出。

否則，很可能會影響你后面的操作，比如你在master上用ssh登錄上了其他節(jié)點，

忘記退出了，你之后的操作其實是在操作其他節(jié)點的，而你卻沒發(fā)現(xiàn)，以為還是

在操作master,所以務(wù)必記得使用exit命令。

實訓(xùn)2.2HDFS的安裝部署與配置

1.實訓(xùn)I目的

通過本實訓(xùn)理解HDFS的架構(gòu)以及安裝與部署；學(xué)會啟動HDFS集群，懂得

上傳文件至I」HDFSo

2.實訓(xùn)內(nèi)容

該實訓(xùn)主要是進(jìn)行HDFS集群的相關(guān)操作，包括HDFS的安裝部署和配置，

并且懂得查看HDFS的WebUI界面和上傳文件到HDFSo但在部署之前需要安

裝好HDFS的運行前提環(huán)境JDK,然后再在master上部署NameNode服務(wù)，在

slave上部署DataNode服務(wù)。

3.實訓(xùn)要求

以小組為單元進(jìn)行實訓(xùn)，每小組5人，小組自協(xié)商選一位組長，由組長安排

和分配實訓(xùn)任務(wù)，具體參考實訓(xùn)操作環(huán)節(jié)。

4.準(zhǔn)備知識

(1)HDFS內(nèi)容回顧

①分布式文件系統(tǒng)

分布式文件系統(tǒng)是指文件系統(tǒng)管理的物理存儲資源不一定直接連接在本地

節(jié)點上，而是通過計算機(jī)網(wǎng)絡(luò)與節(jié)點相連。該系統(tǒng)架構(gòu)于網(wǎng)絡(luò)之上，勢必會引入

網(wǎng)絡(luò)編程的復(fù)雜性，因此分布式文件系統(tǒng)比普通磁盤文件系統(tǒng)更為復(fù)雜。

②HDFS架構(gòu)

HDFS為大數(shù)據(jù)平臺其它所有組件提供了基本的存儲功能。它具有高容錯、

高可靠、可擴(kuò)展、高吞吐率等特征，為大數(shù)據(jù)存儲和處理提供了強(qiáng)大的底層存儲

架構(gòu)。

HDFS是一個主從結(jié)構(gòu)的分布式文件系統(tǒng)，具有分布式存儲的特點，HDFS

集群擁有一個NameNode和多個DataNode,NameNode管理文件系統(tǒng)的元數(shù)據(jù)，

DataNode存儲實際的數(shù)據(jù)。

從用戶的角度來看，其與傳統(tǒng)的文件系統(tǒng)類似，可通過目錄路徑對其上的文

件執(zhí)行增刪改查操作。由于是分布式存儲，所以HDFS集群除［擁有一個

NameNode,還有多個DataNode,NameNode管理著文件系統(tǒng)的元數(shù)據(jù)，DataNode

存儲實際的數(shù)據(jù)。

HDFS開放文件系統(tǒng)的命名空間以便用戶以文件形式存儲數(shù)據(jù)，秉承“一次

寫入、多次讀取”的原則?？蛻舳送ㄟ^NameNode和DataNode的交互訪問文件

系統(tǒng)，聯(lián)系NameNode以獲取文件的元數(shù)據(jù)，而真正的文件I/O操作是直接和

DataNode進(jìn)行交互的。

(2)HDFS基本命令

HDFS的基本命令與Linux的命令非常相似，可以結(jié)合Linux的命名進(jìn)行對比

學(xué)習(xí)。HDFS基本命令格式如下(cmd為具體的操作，args為參數(shù))：_________

hdfsdfs-cmdargs

部分HDFS命令示例如下：

hdf