Hadoop完全分布式搭建

1、精選文檔完全分布式環(huán)境安裝(完整親測)一、安裝linux系統(tǒng)Hadoop需要至少3個節(jié)點(diǎn)才能算是完全分布式環(huán)境，需要在虛擬機(jī)中安裝3個 linux操作系統(tǒng)，比較快速的方式是通過安裝一個操作系統(tǒng)，再復(fù)制2個操作系統(tǒng)。這一步也可以在最終做，完全配置好一臺linux系統(tǒng)環(huán)境之后再克隆，會節(jié)省一些時(shí)間，看個人的習(xí)慣。過程如下：1、使用VMware的克隆功能2、選擇創(chuàng)建完成克隆3、輸入主機(jī)名稱，完成克隆操作。主機(jī)列表如下：主機(jī)名IP地址用途master01namenode、secondorynamenode、jobtracker任務(wù)node102slave結(jié)點(diǎn)

2、node203slave結(jié)點(diǎn)(冗余節(jié)點(diǎn))二、配置每臺機(jī)器IP地址最好配置每臺機(jī)器的ip地址，否則每次開機(jī)地址都可能發(fā)生變化。通過ifconfig命令查看當(dāng)前IP地址（由于我使用的是centerOS7.5 所以顯示eno16777736 其實(shí)和eth0是一樣的）修改IP地址登陸圖形界面修改固定IP三、配置hosts文件三臺機(jī)器都配置相同的hosts同時(shí)需要把主機(jī)名改掉四、增加Hadoop允許賬號rootlocalhost # groupadd hadoop /添加組rootlocalhost # useradd -s /bin/bash grid -g hadoop -G

3、root /添加用戶 屬于hadoop和root組rootlocalhost # passwd grid /添加密碼更改用戶 grid 的密碼 。新的 密碼：無效的密碼： 密碼少于 8 個字符重新輸入新的 密碼：passwd：全部的身份驗(yàn)證令牌已經(jīng)成功更新。rootlocalhost # su - grid /切換到grid用戶gridlocalhost $ 五、配置ssh免密碼連入1、產(chǎn)生公共秘鑰2、復(fù)制公共秘鑰 三臺機(jī)器都執(zhí)行3、需要把maste的公鑰，寫到node1和node2 實(shí)現(xiàn)免密碼登陸gridnode2 .ssh$ scp gridmaster:/.ssh/id_dsa.pub

4、./master_dsa.pub /把master的公鑰復(fù)制到本地The authenticity of host master (00) cant be established.ECDSA key fingerprint is 38:f8:18:b1:3c:e6:c6:a7:52:80:dc:97:3f:ba:de:35.Are you sure you want to continue connecting (yes/no)? yesWarning: Permanently added master,00 (ECDSA) to the list

5、of known hosts.gridmasters password: id_dsa.pub 100% 616 0.6KB/s 00:00 gridnode2 .ssh$ cat master_dsa.pub authorized_keys /master的公鑰寫入keysgridnode2 .ssh$ 然后在master 輸入gridmaster $ ssh node1 /首次會詢問，退出之后再次連接不再詢問五、下載并解壓hadoop下載hadoop 1.0.1版本 使用解壓縮命令解壓縮gridnode2 $ tar -xzvf hadoop-1.0.1.tar.gz六、配置namenod

6、e,修改site文件到目前為止，預(yù)備工作已經(jīng)完成，下面開頭修改hadoop的配置文件了，即各種site文件，文件存放在/hadoop/conf下，主要配置core-site.xml、hdfs-site.xml、mapred-site.xml這三個文件。Core-site.xml配置如下：Hdfs-site.xml配置如下：接著是mapred-site.xml文件：配置hadoop-env.sh文件這個需要依據(jù)實(shí)際狀況來配置。七、配置masters和slaves文件依據(jù)實(shí)際狀況配置masters的主機(jī)名，在本試驗(yàn)中，masters主結(jié)點(diǎn)的主機(jī)名為master,于是在masters文件中填入： 同

7、理，在slaves文件中填入：八、向各節(jié)點(diǎn)復(fù)制hadoop向node1節(jié)點(diǎn)復(fù)制hadoop： 向node2節(jié)點(diǎn)復(fù)制hadoop:這樣，結(jié)點(diǎn)node1和結(jié)點(diǎn)node2也安裝了配置好的hadoop軟件了。九、格式化namenode這一步在主結(jié)點(diǎn)master上進(jìn)行操作：留意：上面只要消滅“successfully formatted”就表示成功了。十、啟動hadoop這一步也在主結(jié)點(diǎn)master上進(jìn)行操作：十一、 用jps檢驗(yàn)各后臺進(jìn)程是否成功啟動在主結(jié)點(diǎn)master上查看namenode,jobtracker,secondarynamenode進(jìn)程是否啟動。假如消滅以上進(jìn)程則表示正確。在node1和node2結(jié)點(diǎn)了查看tasktracker和datanode進(jìn)程是否啟動。先來node1的狀況:下面是node2的狀況：進(jìn)程都啟動成功了。恭喜十二、 通過網(wǎng)站查看集群狀況 在掃瞄器中輸入：00:50030，網(wǎng)址為master結(jié)點(diǎn)所對應(yīng)的IP： 在掃瞄器中輸入：00:50070，網(wǎng)址為m