大數據技術原理與操作應用 第2章 Hadoop集群構建

第2章Hadoop集群構建

虛擬機的安裝Linux系統(tǒng)的網絡配置和SSH配置Hadoop集群的構建和配置1Hadoop集群測試Hadoop集群初體驗的操作2?學習目標了解掌握掌握熟悉了解虛擬機的安裝12掌握Hadoop集群的構建和配置4掌握Hadoop集群測試3熟悉Linux系統(tǒng)的網絡配置和SSH配置；熟悉Hadoop集群初體驗的操作本章將會紹虛擬機的安裝，Linux系統(tǒng)的配置，Hadoop集群的構建、測試以及構建過程中的注意事項。

章節(jié)概要Hadoop是一個由Apache基金會開發(fā)的開源軟件框架，可運行在Linux集群上。通過Hadoop，用戶可以在不了解分布式底層細節(jié)的情況下對海量數據進行存儲和高速運算。在學習Hadoop之前，應先將Hadoop集群構建起來。

2.1Linux系統(tǒng)安裝1.打開VMwareWorkstation14,選擇“創(chuàng)建新的虛擬機”,在彈出的對話框中,選擇“自定義(高級)”,如圖2.1所示。圖2.1

創(chuàng)建新的虛擬機

2.1Linux系統(tǒng)安裝2.選擇硬件兼容性為“Workstation14.x”,如圖2.2所示。需要注意的是VMwareWorksta-tion不能向上兼容,也就是說低版本的Workstation無法打開高版本的虛擬機,因此,對于硬件兼容性需要特別注意版本的選擇。圖2.2

選擇虛擬機硬件兼容性

2.1Linux系統(tǒng)安裝3.暫不指定操作系統(tǒng)安裝來源,選擇“稍后安裝操作系統(tǒng)”,如圖2.3所示。圖2.3

選擇操作系統(tǒng)安裝來源

2.1Linux系統(tǒng)安裝4.選擇客戶機操作系統(tǒng)為“Linux”,版本為“CentOS764位”,如圖2.4所示。5.指定虛擬機操作系統(tǒng)的名稱及安裝位置,如圖2.5所示。為了后面便于使用,將桌面版命名為“CentOS7-64-master”,兩個mini版分別命名為“CentOS7-64-slave1”和“CentOS7-64-slave2”。圖2.4

客戶機操作系統(tǒng)選擇圖2.5

虛擬機名稱及安裝路徑設置

2.1Linux系統(tǒng)安裝6.設置處理器配置,使用默認配置即可,如圖2.6所示。7.指定虛擬機內存,桌面版選擇2GB,mini版選擇1GB,如圖2.7所示。圖2.6

設置處理器配置圖2.7

指定虛擬機內存

2.1Linux系統(tǒng)安裝8.網絡類型選擇“使用網絡地址轉換(NAT)(E)”,如圖2.8所示。9.I/O控制器類型使用默認的“LSILogic(L)”,磁盤類型選擇推薦的“SCSI(S)”。10.磁盤選擇,選擇“創(chuàng)建新虛擬磁盤”,如圖2.9所示。圖2.8 選擇網絡類型圖2.9

磁盤選擇

2.1Linux系統(tǒng)安裝11.指定磁盤容量為20GB,磁盤容量可根據實際存儲數據大小進行調整,選擇“將虛擬磁盤拆分成多個文件”,如圖2.10所示。12.指定磁盤文件存放位置,如圖2.11所示。圖2.10 指定磁盤容量圖2.11

指定磁盤文件存放位置

2.1Linux系統(tǒng)安裝13.至此,虛擬機基本設置完成,可單擊“自定義硬件”來對設置進行查看與修改,以及指定操作系統(tǒng)安裝來源,如圖2.12所示。14.在“自定義硬件”這里,可以對虛擬機的設置進行更改。如圖2.13所示。圖2.12 查看虛擬機設置圖2.13指定ISO映像文件

2.1Linux系統(tǒng)安裝15.配置完成后,可在VMwareWorkstation中看到之前配置的虛擬機和相關硬件設置,可單擊“編輯虛擬機設置”修改相關配置,如圖2.14所示。按照上述步驟,再配置好“CentOS7-64-slave1”和“CentOS7-64-slave2”。16.單擊圖2.14中的“開啟此虛擬機”,將啟動該虛擬機進行CentOS的安裝。圖2.14 虛擬機信息

2.1Linux系統(tǒng)安裝17.將操作系統(tǒng)語言設置為中文,如圖2.15所示。18.軟件選擇,slave1和slave2直接使用默認的“最小安裝”,如圖2.16所示。因為master安裝的是桌面版,所以在“軟件選擇”這里需要選擇“GNOME桌面”,如圖2.17所示。圖2.15設置中文圖2.16 軟件選擇圖2.17選擇GNOME桌面

2.1Linux系統(tǒng)安裝19.單擊“安裝位置”,選擇硬盤分區(qū)方案,使用默認的自動分區(qū),如圖2.18和圖2.19所示。另外,在安裝過程中,凡是出現(xiàn)黃色嘆號的地方都要單擊進入進行設置,消除掉黃色嘆號,才能正常進行安裝。圖2.18 選擇安裝位置圖2.19選擇自動分區(qū)方案

2.1Linux系統(tǒng)安裝20.以上安裝選項設置好后,單擊“開始安裝”即可進行CentOS的安裝,圖2.20所示為桌面版安裝信息,圖2.21所示為mini版安裝信息。圖2.20 桌面版(master)安裝信息圖2.21mini版(slave1和slave2)安裝信息

2.1Linux系統(tǒng)安裝21.設置root用戶密碼。單擊圖2.22中的“ROOT密碼”,進入圖2.23所示界面,進行root用戶密碼設置,將密碼設置為“root123”,單擊左上角“完成”按鈕兩次即可。圖2.22 用戶密碼設置圖2.23 設置密碼

2.1Linux系統(tǒng)安裝圖2.24 創(chuàng)建新用戶圖2.25安裝完成20.單擊圖2.22中的“創(chuàng)建用戶”,進入圖2.24所示的界面進行用戶的創(chuàng)建,設置用戶名為“apache”,密碼為“apache123”,單擊兩次左上角的“完成”按鈕,之后便等待系統(tǒng)安裝完成。21.安裝完成后單擊“重啟”按鈕,即可進入CentOS7操作系統(tǒng),如圖2.25所示。

2.2 Linux系統(tǒng)網絡配置2.2.1 配置靜態(tài)IPIP地址劃分,見表2.1。名稱IP地址子網掩碼網關master00slave101slave202

2.2 Linux系統(tǒng)網絡配置2.2.1 配置靜態(tài)IP(1)設置虛擬機網關單擊VMwareWorkstation的“編輯”,選擇下拉菜單中的“虛擬網絡編輯器”,彈出如圖2.26所示的窗口。選擇虛擬網卡“VMnet8”,此時VMnet信息都是灰色的,不可更改。單擊右下角“更改設置”按鈕,VMnet信息變?yōu)榭筛哪Ｊ?如圖2.27所示。圖2.26 虛擬網絡編輯器圖2.27 更改網絡配置

2.2 Linux系統(tǒng)網絡配置2.2.1 配置靜態(tài)IP(1)設置虛擬機網關在圖2.28所示窗口中選擇網卡“VMnet8”,設置子網IP為“”,子網掩碼為“”。單擊“NAT設置”,設置網關IP為“”,如圖2.29所示。圖2.28 配置虛擬網絡圖2.29設置網關

2.2 Linux系統(tǒng)網絡配置2.2.1 配置靜態(tài)IP(2)修改網絡配置開啟三個虛擬機,使用root賬戶登錄。執(zhí)行命令“vi/etc/sysconfig/network-scripts/ifcfg-ens33”,修改“ifcfg-ens33”文件。mater節(jié)點修改內容如圖2.30所示(在鍵盤上按“i”鍵進行編輯;按“Esc”鍵退出編輯狀態(tài);輸入“:wq”命令進行保存并退出),slave1和slave2修改為對應的IP地址。圖2.30 修改網絡配置BOOTPROTO=static#將

dhcp

改為static,表示使用靜態(tài)IP地址ONBOOT=yes#本配置開機啟用IPADDR=00#設置本機IPGATEWAY=#設置網關NETMASK=#子網掩碼DNS1=14#設置DNS

2.2 Linux系統(tǒng)網絡配置2.2.1 配置靜態(tài)IP(3)使配置文件生效配置完畢后,執(zhí)行命令“servicenetworkrestart”重啟服務,使配置生效,如圖2.31所示,也可以直接reboot重啟系統(tǒng)。圖2.31 重啟網絡服務

2.2 Linux系統(tǒng)網絡配置2.2.1 配置靜態(tài)IP(4)查看IP地址master可以使用ifconfig

命令查看IP地址,如圖2.32所示。slave1和slave2使用“ipaddr”命令進行查看,圖2.33顯示的是查看slave1的IP地址。圖2.32查看master主機的IP地址圖2.33查看slave1的IP地址

2.2 Linux系統(tǒng)網絡配置2.2.1 配置靜態(tài)IP(5)進行網絡連通性測試網絡配置完成后,還需要進行連通性測試,使用ping命令進行測試。如圖2.34所示,執(zhí)行命令“”以及三臺主機之間互ping,都可以ping通,說明網絡配置成功。注意,在ping的過程中可以按“Ctrl+C”鍵停止數據包傳送。圖2.34 網絡連通性測試

2.2 Linux系統(tǒng)網絡配置2.2.2 設置hostname修改三個虛擬機的主機名,執(zhí)行命令“vi/etc/hostname”,將原文件中的localhost.localdomain分別改為master、slave1和slave2。修改完成后重啟虛擬機,此時,可以看到主機名由原來的localhost變成了對應的master、slave1和slave2,如圖2.35所示。圖2.35slave1主機名配置成功

2.2 Linux系統(tǒng)網絡配置2.2.3 配置hostname和IP之間的對應關系執(zhí)行命令“vi/etc/hosts”,修改IP和主機名的對應關系。在文件中添加如圖2.36所示的內容。三個虛擬機均需要進行修改。保存并退出后,三個虛擬機互ping主機名,如果能ping通,說明配置成功,如圖2.37所示。圖2.36 配置IP和主機名的對應關系圖2.37 ping主機名2. 3創(chuàng)建普通用戶為了系統(tǒng)安全,一般不直接使用root用戶來搭建Hadoop集群,而是創(chuàng)建普通用戶?？梢赃x擇在安裝系統(tǒng)的過程中創(chuàng)建用戶,也可以在系統(tǒng)安裝完成后,使用useradd命令創(chuàng)建新用戶。在Linux終端中使用“useradd-mapache”命令創(chuàng)建一個普通用戶apache,此時,在“/home”目錄下就多了一個名為“apache”的目錄,它就是剛剛創(chuàng)建的普通用戶apache的目錄。在 root用戶下可以使用passwd命令為剛剛創(chuàng)建的apache用戶設置密碼,如圖2.38所示。創(chuàng)建完成后,就可以在終端使用su命令進行用戶之間的切換。圖2.38修改apache用戶的密碼2.4Hadoop完全分布式集群環(huán)境構建Hadoop的運行模式主要有三種,即單機模式、偽分布式模式和完全分布式模式。單機模式是Hadoop的默認模式,可以滿足簡單的測試工作,但一般不采用。偽分布式模式是指所有守護進程都運行在一個節(jié)點上,也就是說,一臺主機上既有master進程,又有worker進程。完全分布式模式是指Hadoop守護進程運行在多個節(jié)點上,采用主從結構。本書構建的是完全分布式模式,涉及三臺主機,分別為一個主節(jié)點和兩個從節(jié)點。主節(jié)點為master,兩個從節(jié)點分別為slave1和slave2。2.4.1集群規(guī)劃①用戶規(guī)劃。所有節(jié)點都使用普通用戶apache來進行操作,在構建過程中一定要特別注意使用的賬戶是否是apache,如果用了別的賬戶(比如root),就會導致安裝的軟件或者創(chuàng)建的目錄因為權限問題而最終無法正常使用。、②IP地址規(guī)劃。靜態(tài)IP地址已在2.2節(jié)進行設計,其具體的IP設置見表2.1。③目錄規(guī)劃。為了統(tǒng)一各個節(jié)點軟件及數據的路徑,需要對構建的集群進行目錄規(guī)劃。所有節(jié)點的目錄需要提前使用apache用戶創(chuàng)建,并賦予合理的權限。表2.2列出了四個常用的目錄,還有一些目錄會在構建過程中具體給出。2.4Hadoop完全分布式集群環(huán)境構建名稱

路徑

安裝包存放目錄

/home/apache/package/軟件安裝目錄

/home/apache/soft/數據目錄

/home/apache/data/日志目錄

/home/apache/log/2.4.2禁用防火墻必須關閉所有節(jié)點的防火墻,否則可能導致節(jié)點無法訪問。查看防火墻狀態(tài),在終端輸入命令“systemctlstatusfirewalld.service”,如果顯示active(running)則表示防火墻是開啟狀態(tài),需要進行關閉,如圖2.39所示。圖2.39 查看防火墻狀態(tài)2.4Hadoop完全分布式集群環(huán)境構建2.4.2禁用防火墻禁用防火墻需要在終端輸入兩條命令,第一條命令“systemctlstopfirewalld.service”,用于停止防火墻,但重新開機后防火墻服務仍會自動啟動,因此,還需要輸入第二條命令“systemctldisablefirewalld.service”,用于禁止防火墻開機啟動。執(zhí)行完這兩條命令后,再查看防火墻狀態(tài),可以看到防火墻已關閉,如圖2.40所示。圖2.40 禁用防火墻2.4Hadoop完全分布式集群環(huán)境構建2.4.3時鐘同步所有節(jié)點的系統(tǒng)時間都要與當前時間保持一致,所有節(jié)點均需做如下操作來與NTP服務器進行時間同步。查看當前系統(tǒng)時間,如圖2.41所示。如果系統(tǒng)時間與當前時間不一致,則需要修改本地時區(qū)配置,如圖2.42所示。根據NTP服務器來同步時間,如圖2.43所示。圖2.41 查看系統(tǒng)當前時間2.4Hadoop完全分布式集群環(huán)境構建圖2.42 修改本地時區(qū)配置圖2.43根據NTP服務器同步時間yuminstallntp#如果ntp命令不存在,在線安裝#執(zhí)行此命令同步日期時間date#查看當前系統(tǒng)時間2.4.4配置SSH免密鑰登錄SSH是一種加密的網絡傳輸協(xié)議,可以在不安全的網絡中為網絡服務提供安全的傳輸環(huán)境。SSH免密鑰登錄可以使登錄信息不會遭到泄露,同時也簡化、方便了系統(tǒng)之間的登錄操作,提高了工作效率。Hadoop中的NameNode和DataNode數據通信采用了SSH協(xié)議,因此,需要配置各節(jié)點之間的SSH免密鑰登錄。因為SSH免密鑰登錄的功能與用戶密切相關,所以需要指定為哪一個用戶配置SSH免密鑰登錄。本書為apache用戶進行配置,對其他用戶的配置方法是一樣的。注意,以下操作均在apache用戶下執(zhí)行,且三個節(jié)點均需執(zhí)行步驟1~7的操作。2.4Hadoop完全分布式集群環(huán)境構建2.4.4配置SSH免密鑰登錄1.在apache用戶目錄下,創(chuàng)建.ssh目錄,執(zhí)行命令“mkdir/home/apache/.ssh”。2.在終端執(zhí)行命令“ssh-keygen-trsa”,生成密鑰對。其中,“ssh-keygen”是密鑰生成器,“-t”是參數,“rsa”是一種非對稱加密算法。生成的密鑰對分別是公鑰文件“id_rsa.pub”和私鑰文件“id_rsa”。在這個過程中需要連續(xù)按四次回車鍵。如圖2.44所示。3.切換到.ssh目錄“cd/home/apache/.ssh”。圖2.44master節(jié)點生成密鑰對2.4Hadoop完全分布式集群環(huán)境構建2.4.4配置SSH免密鑰登錄4.生成授權文件。將公鑰文件“id_rsa.pub”中的內容復制到“authorized_keys”文件中,命令為“catid_rsa.pub>>authorized_keys”,如圖2.45所示。5.對.ssh目錄及文件賦予權限,輸入以下兩條命令:圖2.45 生成授權文件2.4Hadoop完全分布式集群環(huán)境構建chmod700/home/apache/.sshchmod600/home/apache/.ssh/?2.4.4配置SSH免密鑰登錄6.各節(jié)點使用SSH登錄各自主機進行測試,第一次登錄需要輸入“yes”進行確認,第二次及以后登錄則不需要輸入任何內容。如圖2.46所示為使用SSH命令登錄slave2。7.將所有節(jié)點中的公鑰“id_rsa.pub”復制到master中的“authorized_keys”文件中。在各節(jié)點的終端中執(zhí)行命令“cat/home/apache/.ssh/id_rsa.pub|sshapache@master'cat>>/home/apache/.ssh/authorized_keys'”,slave1和slave2執(zhí)行過程中需要輸入master節(jié)點的apache用戶登錄密碼。圖2.46使用SSH命令登錄slave22.4Hadoop完全分布式集群環(huán)境構建2.4.4配置SSH免密鑰登錄8.切換到.ssh目錄,將master節(jié)點中的authorizedkeys文件分發(fā)到slave1和slave2,需要輸入slave1和slave2的apache用戶登錄密碼。⑨登錄測試。完成上述操作后,master、slave1和slave2互相之間使用SSH進行登錄,如果都能免密鑰登錄,說明SSH配置成功。如圖2.47所示為在master節(jié)點進行SSH登錄測試。圖2.47master節(jié)點進行SSH免密鑰登錄測試2.4Hadoop完全分布式集群環(huán)境構建2.4.5 JDK的安裝與配置本書采用的JDK的版本為JDK1.8。1.在master節(jié)點的apache用戶下進行如下操作:a.創(chuàng)建目錄“/home/apache/package”和“/home/apache/soft”。b.將本地的“jdk-8u211-linux-x64.tar.gz”通過xftp上傳到master節(jié)點的“/home/apache/package”目錄下,注意xftp與master連接時使用apache用戶建立連接。c.進行解壓。切換到“/home/apache/package”目錄下,將JDK安裝包解壓到“/home/apache/soft”目錄中。在終端中執(zhí)行命令“tar-zvxfjdk-8u211-linux_x64.tar.gz-C/home/apache/soft”。解壓成功后,切換到soft目錄下,可以看到新增了一個“jdk1.8.0_211”的目錄。2.4Hadoop完全分布式集群環(huán)境構建2.4.5 JDK的安裝與配置d.將JDK分發(fā)給slave1和slave2。首先在slave1和slave2中新建目錄“/home/apahce/soft”,然后在master終端中執(zhí)行下面的兩條命令,將master的JDK安裝文件分發(fā)給slave1和slave2。2.4Hadoop完全分布式集群環(huán)境構建scp-r/home/apache/soft/jdk1.8.0_211slave1:~/apache/soft/scp-r/home/apache/soft/jdk1.8.0_211slave2:~/apache/soft/2.4.5 JDK的安裝與配置2.修改環(huán)境變量,將JDK安裝目錄配置到環(huán)境變量中。三個節(jié)點均切換到root用戶進行環(huán)境變量的修改,在終端執(zhí)行命令“vi/etc/profile”,定位到文末,添加內容如圖2.48所示。修改完成后一定要執(zhí)行命令“source/etc/profile”,使配置生效。3.測試JDK是否安裝成功,使用命令“javac”“java”和“java-version”,有正確輸出則配置成功。如果提示“commandnotfound”,則說明配置錯誤。注意,如果使用“java-version”顯示出的JDK版本不是JDK1.8.0_211,則需要將默認的版本刪除,這是因為master桌面版自帶有有JDK。2.4Hadoop完全分布式集群環(huán)境構建圖2.48在環(huán)境變量中配置JDK路徑2.4.6Hadoop安裝①下載Hadoop安裝包“hadoop-2.7.7.tar.gz”,通過xftp上傳到master的“/home/apache/package”目錄下。注意,xftp需要使用apache用戶與master建立連接。②切換到“/home/apache/package”,將hadoop-2.7.7.tar.gz解壓到“/home/apache/soft”目錄下。命令為“tar-zvxfhadoop-2.7.7.tar.gz-C/home/apache/soft/”。解壓完成后,“/home/apache/soft”目錄下增加了一個名為“hadoop-2.7.7”的目錄。至此,Hadoop安裝完成。2.4Hadoop完全分布式集群環(huán)境構建2.4.6Hadoop安裝①下載Hadoop安裝包“hadoop-2.7.7.tar.gz”,通過xftp上傳到master的“/home/apache/package”目錄下。注意,xftp需要使用apache用戶與master建立連接。②切換到“/home/apache/package”,將hadoop-2.7.7.tar.gz解壓到“/home/apache/soft”目錄下。命令為“tar-zvxfhadoop-2.7.7.tar.gz-C/home/apache/soft/”。解壓完成后,“/home/apache/soft”目錄下增加了一個名為“hadoop-2.7.7”的目錄。至此,Hadoop安裝完成。2.4Hadoop完全分布式集群環(huán)境構建2.4.7 修改Hadoop配置文件修改Hadoop的配置文件一定要在apache用戶下操作,否則會由于權限問題而導致Hadoop集群配置失敗。首先切換到Hadoop的配置文件目錄“cd/home/apache/hadoop-2.7.7/etc/hadoop/”,然后修改相應的配置文件。2.4Hadoop完全分布式集群環(huán)境構建2.4.7 修改Hadoop配置文件修改“hadoop-env.sh”在Hadoop中,以env.sh結尾的文件通常是配置所需的環(huán)境變量。“hadoop-env.sh”文件主要配置與Hadoop環(huán)境相關的變量。使用“vihadood-env.sh”打開文件,在里面修改“JAVA_HOME”的安裝路徑:“exportJAVA_HOME=/home/apache/soft/jdk1.8.0_211”。2.4Hadoop完全分布式集群環(huán)境構建2.4.7 修改Hadoop配置文件(2)修改“core-site.xml”“core-site.xml”是Hadoop的全局配置文件,主要配置Hadoop的公有屬性。首先遞歸創(chuàng)建目錄“mkdir-p/home/apache/data/hdfs/tmp”,然后打開“core-site.xml”文件,用命令:“vicore-site.xml”,修改該文件內容。2.4Hadoop完全分布式集群環(huán)境構建configuration>

property>

name>fs.defaultFS</name>

value>hdfs://master:9000</value>

/property>

property>

name>hadoop.tmp.dir</name>

value>/home/apache/data/hdfs/tmp</value>

/property>

/configuration>fs.defaultFS#設置集群的

hdfs

訪問路徑hadoop.tmp.dir#指定

NameNode、DataNode

等存放數據的公共目錄2.4.7 修改Hadoop配置文件(3)修改“hdfs-site.xml”“hdfs-site.xml”文件主要配置和HDFS相關的屬性。2.4Hadoop完全分布式集群環(huán)境構建2.4.7 修改Hadoop配置文件(3)修改“hdfs-site.xml”修改“hdfs-site.xml”文件內容如下:2.4Hadoop完全分布式集群環(huán)境構建2.4.7 修改Hadoop配置文件(4)修改“mapred-site.xml”“mapred-site.xml”是MapReduce的配置文件,默認情況下Hadoop中沒有該文件,可通過執(zhí)行“cpmapred-site.xml.templatemapred-site.xml”復制一個,并進行編輯。為了使提交的MapReduce程序運行在分布式模式,而不是本地local模式,可以指定由YARN作為MapReduce的程序運行框架。2.4Hadoop完全分布式集群環(huán)境構建configuration>

property>

name></name>

value>yarn</value>

/property>

/configuration>(5)修改“yarn-site.xml”

“yarn-site.xml”文件主要配置YARN的一些信息。

編輯“yarn-site.xml”文件,添加內容如下:2.4Hadoop完全分布式集群環(huán)境構建configuration>

property>

name>yarn.resourcemanager.address</name>

value>master:18032</value>

/property>

property>

name>yarn.resourcemanager.scheduler.address</name>

value>master:18030</value>

/property>

property>

name>yarn.resourcemanager.resource-tracker.address</name>

value>master:18031</value>

/property>

property>

name>yarn.resourcemanager.admin.address</name>

value>master:18141</value>

/property>

property>

name>yarn.resourcemanager.webapp.address</name>

value>master:8088</value>

/property>

property>

name>yarn.nodemanager.aux-services</name>

value>mapreduce_shuffle</value>

/property>

/configuration>2.4.7 修改Hadoop配置文件(5)修改“yarn-site.xml”2.4Hadoop完全分布式集群環(huán)境構建2.4.7 修改Hadoop配置文件(6)修改“slaves”文件“slaves”文件主要根據集群規(guī)劃配置DataNode節(jié)點所在的主機名,master節(jié)點通過該文件獲得集群的子節(jié)點名稱,然后再通過“/etc/hosts”文件得到各子節(jié)點對應的IP,從而與自己進行通信。編輯slaves文件“vislaves”,將原文件中的localhost刪除,替換為slave1和slave2,如圖2.49所示。2.4Hadoop完全分布式集群環(huán)境構建圖2.49修改slaves文件2.4.8 Hadoop集群啟停向所有節(jié)點分發(fā)Hadoop安裝包2.4Hadoop完全分布式集群環(huán)境構建scp-r/home/apache/soft/hadoop-2.7.7slave1:~/soft/scp-r/home/apache/soft/hadoop-2.7.7slave2:~/soft/(2)修改所有節(jié)點的環(huán)境變量修改三個節(jié)點的環(huán)境變量。

在root用戶下執(zhí)行命令“vi/etc/profile”,在文件中添加Ha-doop的環(huán)境變量,如圖2.50所示。

保存并退出后,執(zhí)行“source/etc/profile”命令,使配置生效。圖2.50添加Hadoop環(huán)境變量2.4.8 Hadoop集群啟停(3)格式化NameNode2.4Hadoop完全分布式集群環(huán)境構建[root@masterhadoop]#suapache[apache@masterhadoop]﹩hdfsnamenode-format切換到apache用戶,在master節(jié)點執(zhí)行NameNode格式化操作,slave1和slave2節(jié)點不用進行格式化。

需要特別注意的是,NameNode不能多次格式化,否則會導致NameNode和Data-Node中的clusterID值不一致,從而使得Hadoop啟動不正確。2.4.8 Hadoop集群啟停(4)啟動集群2.4Hadoop完全分布式集群環(huán)境構建圖2.51 master進程在master的終端執(zhí)行命令“start-all.sh”啟動Hadoop集群,該命令可由“start-dfs.sh”和“start-yarn.sh”代替,用于分別啟動HDFS和YARN。首次啟動Hadoop時,會提示輸入yes或no,輸入yes,第二次及以后啟動不會輸入任何內容。啟動完成后,在三個節(jié)點的終端輸入jps命令,如果出現(xiàn)如圖2.51至圖2.53所示的進程,則表示Hadoop集群構建成功。圖2.52slave1進程圖2.53slave2進程2.4.7 修改Hadoop配置文件(5)關閉集群在master的終端中輸入命令“stop-all.sh”,用于關閉整個Hadoop集群,如果只是關閉HDFS,可使用“stop-hdfs.sh”命令。Hadoop集群關閉后,在各個主機上通過jps命令查看進程是否都正常關閉,如果還有“僵尸”進程存在,則使用kill命令將其殺死。2.4Hadoop