202155 Hadoop HA 集群部署 3HDFS HA 配置啟動與驗證 教學

主講：方明清0102030405目錄規(guī)劃HadoopHA集群ZooKeeper安裝與配置HDFSHA配置、啟動與驗證YARNHA配置、啟動與驗證YARNHA測試JobHDFSHA配置、啟動與驗證3HDFSHA配置、啟動與驗證序號任務名稱任務一修改core-site.xml配置文件（HDFSHA）任務二修改hdfs-site.xml配置文件（HDFSHA）任務三分發(fā)HDFSHA配置文件任務四HDFSHA集群的NameNode格式化任務五部署完成之后常規(guī)啟動HDFSHA集群任務六驗證HDFSHA集群任務一修改core-site.xml配置文件登錄master節(jié)點，使用root用戶登錄，然后切換為hadoop用戶，再進入haddop配置文件目錄 [root@master~]#su–hadoop --從root用戶切換為hadoop身份 [hadoop@master~]$cd/opt/hadoop-2.8.5/etc/hadoop --進入到hadoop配置文件目錄修改core-site.xml配置文件，替換為以下內容 <configuration>

<!--指定NameNode主機連接到nameservices邏輯名（在hdfs-site.xml中有定義）--> <property> <name>fs.defaultFS</name> <value>hdfs://myha</value> </property>

<!--指定tmp文件夾路徑--> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/data/tmp</value> </property> <!–設置zookeeper地址--> <property> <name>ha.zookeeper.quorum</name> <value>master:2181,slave1:2181,slave2:2181</value> </property> </configuration>任務二修改hdfs-site.xml配置文件（一）編輯hdfs-site.xml配置文件，主要是刪除SecondaryNameNode配置信息，配置為雙NN模式 <configuration> <property> <name>dfs.replication</name> <value>3</value> </property>

<!–為namenode集群定義一個nameservices邏輯名--> <property> <name>services</name> <value>myha</value> </property>

<!–映射nameservices邏輯名稱到namenode邏輯名稱--> <property> <name>nodes.myha</name> <value>nn1,nn2</value> </property> </configuration>在單一NameNode節(jié)點的集群中，訪問HDFS集群的入口是NameNode所在的服務器，但是在有兩個或多個NameNode節(jié)點的HA集群中，無法配置單一服務器入口，需要定義一個服務邏輯名。任務二修改hdfs-site.xml配置文件（二）編輯hdfs-site.xml配置文件（續(xù)上） <configuration>

<!–映射namenode邏輯名稱到真實主機名（RPC）nn1

--> <property> <name>node.rpc-address.myha.nn1</name> <value>master:8020</value> </property>

<!–映射namenode邏輯名稱到真實主機名（RPC）nn2

--> <property> <name>node.rpc-address.myha.nn2</name> <value>slave1:8020</value> </property>

</configuration>node.rpc-address.[nameserviceID].[namenodeID]分別指定每個NameNode的RPC服務完整監(jiān)聽地址（hostname+端口號），真實的NN主機分別是master和slave1，端口8020是NameNode節(jié)點Active狀態(tài)的端口號，是HDFS的內部通信端口。任務二修改hdfs-site.xml配置文件（三）編輯hdfs-site.xml配置文件（續(xù)上） <configuration>

<!–映射namenode邏輯名稱到真實主機名（HTTPWEB）nn1

--> <property> <name>node.http-address.myha.nn1</name> <value>master:50070</value> </property>

<!–映射namenode邏輯名稱到真實主機名（HTTPWEB）nn2

--> <property> <name>node.http-address.myha.nn2</name> <value>slave1:50070</value> </property>

</configuration>node.http-address.[nameserviceID].[namenodeID]分別指定每個NameNode的HTTP服務地址（hostname+端口號），真實的NN主機分別是master和slave1，端口50070是NameNode節(jié)點用于訪問和監(jiān)控Hadoop系統(tǒng)運行狀態(tài)的WebUI（Web界面）默認端口。任務二修改hdfs-site.xml配置文件（四）編輯hdfs-site.xml配置文件（續(xù)上） <configuration>

<!–配置namenode間用于共享編輯日志的journalnode列表--> <property> <name>node.shared.edits.dir</name> <value>qjournal://master:8485;slave1:8485;slave2:8485/myha</value> </property>

<!–配置journalnode用于存放共享編輯日志的目錄--> <property> <name>dfs.journalnode.edits.dir</name> <value>/home/hadoop/data/dfs/jn</value> </property> </configuration>兩個NameNode為了數(shù)據(jù)同步，會通過一組稱作JournalNodes的獨立進程進行相互通信。當active狀態(tài)的NameNode的命名空間有任何修改時，會告知大部分的JournalNodes進程。standby狀態(tài)的NameNode有能力讀取JNs中的變更信息，并且一直監(jiān)控editlog的變化，把變化應用于自己的命名空間。standby可以確保在集群出錯時，命名空間狀態(tài)已經(jīng)完全同步了。任務二修改hdfs-site.xml配置文件（五）編輯hdfs-site.xml配置文件（續(xù)上） <configuration>

<!–開啟NameNode失敗自動切換--> <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property>

<!–配置NameNode失敗自動切換實現(xiàn)方式--> <property> <name>vider.myha</name> <value>node.ha.ConfiguredFailoverProxyProvider</value> </property>

<!–配置隔離機制方法，多個機制用換行分割，即每個機制占用一行--> <property> <name>dfs.ha.fencing.methods</name> <value> sshfence shell(/bin/true) </value> </property> </configuration>任務三分發(fā)HDFSHA配置文件master節(jié)點，使用root用戶登錄，然后切換為hadoop用戶 [root@master~]#su–hadoop --從root用戶切換為hadoop身份 [hadoop@master~]$分發(fā)HDFSHA配置文件 [hadoop@master~]$cd/opt/hadoop-2.8.5/etc/hadoop/ [hadoop@master~]$scpcore-site.xmlhadoop@slave1:/opt/hadoop-2.8.5/etc/hadoop/ [hadoop@master~]$scpcore-site.xmlhadoop@slave2:/opt/hadoop-2.8.5/etc/hadoop/ [hadoop@master~]$scphdfs-site.xmlhadoop@slave1:/opt/hadoop-2.8.5/etc/hadoop/ [hadoop@master~]$scphdfs-site.xmlhadoop@slave2:/opt/hadoop-2.8.5/etc/hadoop/分別登錄slave1、slave2節(jié)點，切換為hadoop用戶，檢查分發(fā)結果以及環(huán)境變量 [hadoop@slave1~]$ls-l/opt/hadoop-2.8.5/etc/hadoop/ --在slave1節(jié)點上檢查分發(fā)結果 [hadoop@slave1~]$export --在slave1節(jié)點上檢查環(huán)境變量 [hadoop@slave2~]$ls-l/opt/hadoop-2.8.5/etc/hadoop/ --在slave2節(jié)點上檢查分發(fā)結果 [hadoop@slave2~]$export --在slave2節(jié)點上檢查環(huán)境變量任務四HDFSHA集群的NameNode格式化（一）所有節(jié)點，使用root用戶登錄，然后切換為hadoop用戶 [root@master~]#su–hadoop --從root用戶切換為hadoop身份 [hadoop@master~]$所有節(jié)點，在進行HDFSHA的NameNode格式化之前，需要將原來HDFS數(shù)據(jù)臨時存放文件刪除 [hadoop@master~]$rm–rf/home/hadoop/data/dfs/namenode --刪除namenode目錄 [hadoop@master~]$rm–rf/home/hadoop/data/dfs/datanode --刪除datanode目錄

[hadoop@master~]$rm–rf/home/hadoop/data/tmp/ --刪除tmp目錄文件所有節(jié)點，啟動Zookeeper（以master節(jié)點為例，其他節(jié)點步驟完全相同） [hadoop@master~]$zkServer.shstart --啟動Zookeeper [hadoop@master~]$zkServer.shstatus --查看啟動狀態(tài) [hadoop@master~]$jps --查看Zookeeper進程所有節(jié)點，啟動JourmnalNode（以master節(jié)點為例，其他節(jié)點步驟完全相同） [hadoop@master~]$hadoop-daemon.shstartjournalnode --啟動本機JournalNode [hadoop@master~]$jps --查看JournalNode進程

或者 [hadoop@master~]$hadoop-daemons.shstartjournalnode --啟動所有節(jié)點的JournalNode [hadoop@master~]$jps --查看JournalNode進程任務四HDFSHA集群的NameNode格式化（二）所有NameNode節(jié)點（master和slave1）格式化NameNode

[hadoop@master~]$hdfsnamenode–format --master節(jié)點格式化NameNode

[hadoop@master~]$hadoop-daemon.shstartnamenode --master節(jié)點啟動NameNode

[hadoop@master~]$jps --master查詢NameNode進程

通過雙NN同步，在slave1上格式化NameNode，步驟如下：

[hadoop@slave1~]$hdfsnamenode–bootstrapStandby --slave1節(jié)點格式化NameNode從master節(jié)點啟動HDFSHA集群 [hadoop@master~]$start-dfs.sh --啟動HDFSHA集群 [hadoop@master~]$jps --查看進程，所有節(jié)點都執(zhí)行

[hadoop@master~]$hdfshaadmin–getServiceStatenn1 --查詢NameNode1狀態(tài)

[hadoop@master~]$hdfshaadmin–getServiceStatenn2 --查詢NameNode2狀態(tài)所有ZKFC節(jié)點，啟動ZookeeperFailoverController（以master節(jié)點為例，slave1節(jié)點步驟完全相同） [hadoop@master~]$hdfszkfc-formatZK --第一次啟動ZKFC，在Zookeeper中創(chuàng)建znode [hadoop@master~]$hadoop-daemon.shstartzkfc --master節(jié)點啟動ZKFC [hadoop@slave1~]$hadoop-daemon.shstartzkfc --slave1節(jié)點啟動ZKFC [hadoop@master~]$jps --master節(jié)點查看ZKFC進程：DFSZKFailoverController

[hadoop@master~]$hdfshaadmin–getServiceStatenn1 --查詢NameNode1狀態(tài)

[hadoop@master~]$hdfshaadmin–getServiceStatenn2 --查詢NameNode2狀態(tài)任務五部署完成之后常規(guī)啟動HDFSHA集群所有節(jié)點，啟動Zookeeper（以master節(jié)點為例，其他節(jié)點步驟完全相同） [hadoop@master~]$zkServer.shstart --啟動Zookeeper [hadoop@master~]$zkServer.shstatus --查看啟動狀態(tài)，一個Leader，其余Follower [hadoop@master~]$jps --查看Zookeeper進程，QuorumPeerMain所有節(jié)點，啟動JourmnalNode（以master節(jié)點為例，其他節(jié)點步驟完全相同） [hadoop@master~]$hadoop-daemon.shstartjournalnode --啟動本機JournalNode [hadoop@master~]$jps --查看JournalNode進程

或者 [hadoop@master~]$hadoop-daemons.shstartjournalnode --啟動所有節(jié)點的JournalNode [hadoop@master~]$jps --查看JournalNode進程從master節(jié)點啟動HDFSHA集群 [hadoop@master~]$start-dfs.sh --啟動HDFSHA集群 [hadoop@master~]$jps --查看進程，所有節(jié)點都執(zhí)行所有ZKFC節(jié)點，啟動ZookeeperFailoverController（以master節(jié)點為例，slave1節(jié)點步驟完全相同） [hadoop@master~]$hadoop-daemon.shstartzkfc --master節(jié)點啟動ZKFC [hadoop@slave1~]$hadoop-daemon.shstartzkfc --slave1節(jié)點啟動ZKFC [hadoop@master~]$jps --master節(jié)點查看ZKFC進程：DFSZKFailoverController

[hadoop@master~]$hdfshaadmin–getServiceStatenn1 --查詢NameNode1狀態(tài)

[hadoop@master~]$hdfshaadmin–getServiceStatenn2 --查詢NameNode2狀態(tài)任務六驗證HDFSHA集群（一）