大數(shù)據(jù)分析及應(yīng)用項(xiàng)目教程(Spark SQL)（微課版） 實(shí)訓(xùn)單 實(shí)訓(xùn)1 Hadoop集群環(huán)境搭建

實(shí)訓(xùn)1Hadoop集群環(huán)境搭建一、實(shí)訓(xùn)目的與要求1、掌握Hadoop集群環(huán)境搭建的環(huán)境準(zhǔn)備工作，包括配置主機(jī)名、防火墻設(shè)置、免密登錄設(shè)置、Java環(huán)境設(shè)置。2、掌握安裝Hadoop的過(guò)程、配置文件設(shè)置及啟動(dòng)集群的方法。3、會(huì)在Hadoop集群運(yùn)行經(jīng)典案例wordcount。二、操作訓(xùn)練1、環(huán)境準(zhǔn)備主機(jī)名IP地址角色xxmaster192.168.128.130ResourceManager

SecondaryNameNode

NameNode

DataNode

NodeManagerxxslave01192.168.128.131DataNode

NodeManagerxxslave02192.168.128.132DataNode

NodeManagerxx為姓名縮寫從BaseNode鏈接克隆3個(gè)虛擬機(jī)（1）配置主機(jī)名、IP配置xxmaster主機(jī)名、IP操作結(jié)果截圖+簽名配置xxslave01主機(jī)名、IP操作結(jié)果截圖+簽名配置xxslave02主機(jī)名、IP操作結(jié)果截圖+簽名（2）關(guān)閉防火墻關(guān)閉xxmaster主機(jī)防火墻，并設(shè)置開機(jī)不自啟操作結(jié)果截圖+簽名關(guān)閉xxslave01主機(jī)防火墻，并設(shè)置開機(jī)不自啟操作結(jié)果截圖+簽名關(guān)閉xxslave02主機(jī)防火墻，并設(shè)置開機(jī)不自啟操作結(jié)果截圖+簽名（3）關(guān)閉SElinux關(guān)閉xxmaster主機(jī)SElinux操作結(jié)果截圖+簽名關(guān)閉xxslave01主機(jī)SElinux操作結(jié)果截圖+簽名關(guān)閉xxslave02主機(jī)SElinux操作結(jié)果截圖+簽名（4）修改/etc/hosts文件修改xxmaster主機(jī)/etc/hosts文件操作結(jié)果截圖+簽名修改xxslave01主機(jī)/etc/hosts文件操作結(jié)果截圖+簽名修改xxslave02主機(jī)/etc/hosts文件操作結(jié)果截圖+簽名（5）配置免密登錄在xxmaster創(chuàng)建公鑰和私鑰操作結(jié)果截圖+簽名拷貝公鑰到xxmaster操作結(jié)果截圖+簽名拷貝公鑰到xxslave01操作結(jié)果截圖+簽名拷貝公鑰到xxslave02操作結(jié)果截圖+簽名（6）配置Java環(huán)境配置xxmaster主機(jī)Java環(huán)境操作結(jié)果截圖+簽名配置xxslave01主機(jī)Java環(huán)境操作結(jié)果截圖+簽名配置xxslave02主機(jī)Java環(huán)境操作結(jié)果截圖+簽名2、安裝hadoop在xxmaster主機(jī)修改hadoop的配置文件配置hadoop-env.sh操作結(jié)果截圖+簽名配置core-site.xml操作結(jié)果截圖+簽名配置hdfs-site.xml操作結(jié)果截圖+簽名配置mapred-site.xml操作結(jié)果截圖+簽名配置yarn-site.xml操作結(jié)果截圖+簽名配置workers操作結(jié)果截圖+簽名分發(fā)hadoop文件分發(fā)hadoop程序給xxslave01操作結(jié)果截圖+簽名分發(fā)hadoop程序給xxslave02操作結(jié)果截圖+簽名格式化HDFS文件系統(tǒng)操作結(jié)果截圖+簽名3、啟動(dòng)Hadoop集群在xxmaster啟動(dòng)Hadoop集群操作結(jié)果截圖+簽名在xxmaster確認(rèn)操作結(jié)果截圖+簽名在xxslave01確認(rèn)操作結(jié)果截圖+簽名在xxslave02確認(rèn)操作結(jié)果截圖+簽名4、網(wǎng)頁(yè)確