Hadoop大數(shù)據(jù)平臺(tái)構(gòu)建與應(yīng)用第14章HADOOP從完全分布式到HA安裝與使用課件

1、第14章HADOOP從完全分布式到 HA安裝與使用HADOOP HA 介紹安裝虛擬機(jī)系統(tǒng)安裝JDK集群HADOOP-配置過(guò)程部署配置HADOOP HA模式第1頁(yè)，共18頁(yè)。目錄頁(yè)14.1HADOOP HA 是什么？14.1.1HDFS HA背景14.1.2HDFS HA架構(gòu)14.2安裝虛擬機(jī)系統(tǒng)14.2.1在VMware中創(chuàng)建虛擬機(jī)14.2.2安裝CentOS 714.2.3網(wǎng)絡(luò)靜態(tài)IP地址設(shè)置14.2.4克隆3臺(tái)虛擬機(jī)14.3使用XSHELL 6登錄CENTOS虛擬機(jī)14.4修改各節(jié)點(diǎn)主機(jī)名稱并配置SSH免密14.4.1修改各節(jié)點(diǎn)虛擬機(jī)主機(jī)14.4.2主機(jī)名與IP地址映射14.4.3SSH免

2、密設(shè)置14.5安裝JDK第2頁(yè)，共18頁(yè)。目錄頁(yè)14.6安裝并配置ZOOKEEPER14.6.1安裝Zookeeper14.6.2啟動(dòng)和停止Zookeeper14.7安裝并配置為完全分布式HADOOP集群14.7.1Hadoop軟件上傳、解壓與配置環(huán)境變量14.7.2將hadoop配置配置為完全分布式14.8部署配置HADOOP HA模式14.8.1編輯Hadoop HA配置文件14.8.2將修改后的hdfs-site.xml和core-site.xml分發(fā)到其他節(jié)點(diǎn)14.8.3第一次啟動(dòng)HA14.8.4常規(guī)啟動(dòng)HA14.8.5Hadoop HA部署完成之后常規(guī)啟停順序14.8.6在HA集群上

3、測(cè)試wordcount程序第3頁(yè)，共18頁(yè)。14.1Hadoop HA 介紹Hadoop HA模式中文稱謂高可用性Hadoop模式或容災(zāi)性Hadoop模式。HDFS集群中NameNode 存在單點(diǎn)故障（SPOF）。對(duì)于只有一個(gè)NameNode的集群，如果NameNode機(jī)器出現(xiàn)意外情況，將導(dǎo)致整個(gè)集群無(wú)法使用，直到NameNode 重新啟動(dòng)。影響HDFS集群不可用主要包括以下兩種情況：一是NameNode機(jī)器宕機(jī)，將導(dǎo)致集群不可用，重啟NameNode之后才可使用；二是計(jì)劃內(nèi)的NameNode節(jié)點(diǎn)軟件或硬件升級(jí)，導(dǎo)致集群在短時(shí)間內(nèi)不可用。為了解決上述問(wèn)題，Hadoop給出了HDFS的高可用HA

4、（high availability）方案14.1.1 HDFS HA背景第4頁(yè)，共18頁(yè)。14.1Hadoop HA 介紹一個(gè)典型的HA高可用性集群，NameNode會(huì)被配置在兩臺(tái)獨(dú)立的機(jī)器上，在任何時(shí)間上，一個(gè)NameNode處于活動(dòng)狀態(tài)，而另一個(gè)NameNode處于備份狀態(tài)。為了讓Standby Node與Active Node保持同步，這兩個(gè)Node都與一組稱為JNs(Journal Nodes)的互相獨(dú)立的進(jìn)程保持通信。Hadoop HA模式是一種QJM機(jī)制的模式。QJM全稱是Quorum Journal Manager(仲裁日志管理器), 它由JournalNode(JN)組成，一

5、般是奇數(shù)點(diǎn)結(jié)點(diǎn)組成。為了支持快速failover（失效接管），Standby node持有集群中blocks（所有塊）的最新位置是非常必要的。14.1.2 HDFS HA架構(gòu)第5頁(yè)，共18頁(yè)。14.2安裝虛擬機(jī)系統(tǒng)1、查看虛擬機(jī)NAT模式的網(wǎng)關(guān)和IP地址2、修改網(wǎng)卡設(shè)置，確定靜態(tài)IP地址3、重啟網(wǎng)卡4、查看新設(shè)IP地址5、設(shè)置域名解析服務(wù)器6、驗(yàn)證能否上網(wǎng)（當(dāng)然主機(jī)要先能聯(lián)網(wǎng)）14.2.1在VMware中創(chuàng)建虛擬機(jī)14.2.2安裝CentOS 714.2.3網(wǎng)絡(luò)靜態(tài)IP地址設(shè)置14.2.4克隆3臺(tái)虛擬機(jī)第6頁(yè)，共18頁(yè)。14.3使用XShell 6登錄centOS虛擬機(jī)登錄官方網(wǎng)站（/prod

6、ucts/main.html）申請(qǐng)Xshell 6學(xué)生版即可。1、創(chuàng)建連接會(huì)話（1）啟動(dòng)XShell 6（2）在菜單欄中，選擇“文件”|“新建”。（3）第一次使用會(huì)話連接2、安裝rz和sz第7頁(yè)，共18頁(yè)。14.4修改各節(jié)點(diǎn)主機(jī)名稱并配置SSH免密1、在master1節(jié)點(diǎn)上修改/etc/hosts文件。2、分發(fā)hosts文件到各節(jié)點(diǎn)14.4.1修改各節(jié)點(diǎn)虛擬機(jī)主機(jī)名14.4.2主機(jī)名與IP地址映射14.4.3SSH免密設(shè)置1、生成秘鑰2、將各自節(jié)點(diǎn)的公鑰文件復(fù)制為不同的文件名。3、遠(yuǎn)程拷貝（scp命令）公鑰文件4、將4個(gè)節(jié)點(diǎn)的公鑰文件全部導(dǎo)入許可文件authorized_keys5、分發(fā)6、驗(yàn)

7、證第8頁(yè)，共18頁(yè)。14.5安裝JDK1、建立一個(gè)存放安裝軟件的目錄：2、上傳JDK安裝軟件到安裝軟件目錄3、建立工作路徑/usr/java4、解壓JDK安裝軟件到工作路徑5、配置JAVA環(huán)境變量6、生效環(huán)境變量：7、查看java版本：8、分發(fā)到其他節(jié)點(diǎn)9、分別在master1、slave11、slave22節(jié)點(diǎn)上生效環(huán)境變量10、分別在master1、slave11、slave22節(jié)點(diǎn)上查看java版本第9頁(yè)，共18頁(yè)。14.6安裝并配置Zookeeper先在master2節(jié)點(diǎn)上安裝Zookeeper，然后分發(fā)到其他節(jié)點(diǎn)。1、上傳Zookeeper安裝壓縮包2、解壓縮文件到路徑/opt下：3

8、、修改zookeeper-3.10.6安裝目錄名4、編輯配置zoo.cfg文件5、創(chuàng)建zkdata和zkdatalog文件夾6、設(shè)置Zookeeper節(jié)點(diǎn)對(duì)應(yīng)的ID7、為master2設(shè)置Zookeeper環(huán)境變量并使之生效。8、使環(huán)境變量生效：# source /etc/profile9、分發(fā)zookeeper10、修改slave11和slave22節(jié)點(diǎn)的myid11、將環(huán)境配置文件/etc/profile分發(fā)到slave11和slaver2節(jié)點(diǎn)上，使Zookeeper環(huán)境變量在各自節(jié)點(diǎn)上生效。14.6.1 安裝Zookeeper第10頁(yè)，共18頁(yè)。14.6安裝并配置Zookeeper1、在

9、安裝Zookeeper的各個(gè)節(jié)點(diǎn)上關(guān)閉防火墻# systemctl stop firewalld #分別在master2、slave11、slave22節(jié)點(diǎn)上執(zhí)行2、啟動(dòng)ZooKeeper集群# zkServer.sh start #在3個(gè)節(jié)點(diǎn)上分別啟動(dòng)Zookeeper# zkServer.sh status #查看Zookeeper狀態(tài)3、啟動(dòng)Zookeeper常見(jiàn)的問(wèn)題4、關(guān)閉Zookeeper$ zkServer.sh stop14.6.2啟動(dòng)和停止Zookeeper第11頁(yè)，共18頁(yè)。14.7安裝并配置為完全分布式hadoop集群1、上傳hadoop-2.7.3.tar.gz2、解壓

10、hadoop3、修改Hadoop安裝目錄名稱4、配置Hadoop環(huán)境變量：5、使profile生效【# source /etc/profile】14.7.1Hadoop軟件上傳、解壓與配置環(huán)境變量第12頁(yè)，共18頁(yè)。14.7安裝并配置為完全分布式hadoop集群配置目標(biāo)：master1為NomeNode，master2為Secondary NameNode（第二NameNode），master2、slave11、slave22均為DataNode節(jié)點(diǎn)。1、編輯hadoop環(huán)境配置文件hadoop-env.sh配置JDK路徑2、core-site.xml配置（/opt/hadoop/etc/ha

11、doop/目錄下配置，以下xml均同路徑）3、修改hdfs-site.xml配置4、修改yarn-site.xml5、配置salves文件，設(shè)定數(shù)據(jù)節(jié)點(diǎn)6、分發(fā)hadoop配置到所有節(jié)點(diǎn)7、配置生效8、啟動(dòng)完全分布式集群14.7.2 將hadoop配置為完全分布式第13頁(yè)，共18頁(yè)。14.8部署配置Hadoop HA模式1、進(jìn)入$HADOOP_HOME/etc/hadoop目錄（/opt/hadoop/etc/hadoop）2、修改hdfs-site.xml文件（1）services自定義的HDFS服務(wù)名（2）service ID確定每個(gè)NameNode的唯一標(biāo)識(shí)（3）no

12、service ID.name node ID（4）service ID.name node ID（5）node.shared.edits.dir（6）dfs.JournalNode.edits.dir（7）service ID（8）dfs.ha.fencing.methods-隔離配置3、修改core-site.xml文件14.8.1編輯Hadoop HA配置文件14.8.2將修改后的hdfs-site.xml和core-site.xml分發(fā)到其他節(jié)點(diǎn)第14頁(yè)，共18頁(yè)。14.8部署配置Ha

13、doop HA模式1、啟動(dòng)Zookeeper2、啟動(dòng)本機(jī)的JournalNode3、在master1上(只能在master1上)格式化namenode4、格式化完成后在master1上啟動(dòng)namenode5、雙NN同步：master2與master1同步操作6、在master1上啟動(dòng)dfs和yarn7、啟動(dòng)zkfc8、通過(guò)命令來(lái)查看NameNode的狀態(tài)（是Active還是Standby）9、查看各節(jié)點(diǎn)進(jìn)程14.8.3 第一次啟動(dòng)HA第15頁(yè)，共18頁(yè)。14.8部署配置Hadoop HA模式1、在HA集群的所有節(jié)點(diǎn)上均關(guān)閉防火墻2、啟動(dòng)zookeeper3、 啟動(dòng)hdfs集群4、啟動(dòng)zkfc5

14、、在master1上啟動(dòng)yarn6、查看各節(jié)點(diǎn)進(jìn)程14.8.4 常規(guī)啟動(dòng)HA第16頁(yè)，共18頁(yè)。14.8部署配置Hadoop HA模式1、啟動(dòng)過(guò)程：(1)在HA集群的所有節(jié)點(diǎn)上均關(guān)閉防火墻(2)在配置了Zookeeper的節(jié)點(diǎn)(master2、slave11、slave22)上均啟動(dòng)ZK（3）master1上啟動(dòng)Hadoop分布式系統(tǒng)start-dfs.sh（4）在master1和master2兩個(gè)NN節(jié)點(diǎn)上分別啟動(dòng)zkfc(5) 在master1上啟動(dòng)yarn(如果需要)（6）查看各節(jié)點(diǎn)的進(jìn)程情況，驗(yàn)證HA集群是否啟動(dòng)成功2、停止過(guò)程：（1）在master1上關(guān)閉yarn（2）在master1和master2兩個(gè)NN節(jié)點(diǎn)上分別關(guān)閉zkfc（3）在master1上關(guān)閉Hadoop分布式系統(tǒng)start-dfs.sh（6）在master2、slave11、slave22節(jié)點(diǎn)分別關(guān)閉Zookeeper進(jìn)程(7)驗(yàn)證關(guān)閉進(jìn)程情況14.8.5Hadoop HA部署完成之后常規(guī)啟停順序第17頁(yè)，共18頁(yè)。14.8部署配置Hadoop HA模式hadoop-mapreduce-examples-2.7.3.jar是Hadoop2.7.3自帶的一個(gè)進(jìn)行詞頻統(tǒng)計(jì)的示