2023學(xué)年完整公開(kāi)課版啟動(dòng)HDFS和YARN服務(wù)

主講：孟繁興目錄0102啟動(dòng)Hadoop服務(wù)啟動(dòng)YARN服務(wù)啟動(dòng)Hadoop服務(wù)1啟動(dòng)Hadoop服務(wù)為了使用Hadoop集群，必須啟動(dòng)HDFS和YARN的相關(guān)服務(wù)。HDFS服務(wù)指NameNode和DataNode服務(wù)。YARN服務(wù)包括ResourceManager（每個(gè)集群一個(gè))、NodeManager（每個(gè)工作節(jié)點(diǎn)一個(gè)）和JobHistoryServer服務(wù)。啟動(dòng)Hadoop服務(wù)下面介紹如何啟動(dòng)偽分布式集群的HDFS和YARN服務(wù)。啟動(dòng)Hadoop服務(wù)在簡(jiǎn)單的偽分布式集群中，有3個(gè)HDFS相關(guān)的服務(wù):NameNodeSecondaryNamenodeDataNode啟動(dòng)Hadoop服務(wù)默認(rèn)情況下,當(dāng)創(chuàng)建一個(gè)新的Hadoop2集群時(shí),就擁有一個(gè)SecondaryNameNode節(jié)點(diǎn)，而不是StandbyNameNode節(jié)點(diǎn)，其需要顯式配置。SecondaryNameNode節(jié)點(diǎn)無(wú)法幫助你進(jìn)行故障切換，因此無(wú)法提供高可用性。在目前的情況下，由于我們正在處理一個(gè)非常簡(jiǎn)單的集群，所以可以使用默認(rèn)的SecondaryNameNode來(lái)執(zhí)行fsimage文件的更新。啟動(dòng)Hadoop服務(wù)在生產(chǎn)Hadoop集群中推薦的做法是通過(guò)配置StandbyNameNode為NameNode提供高可用性。執(zhí)行此操作時(shí)，不需要使用SecondaryNameNode。除了NameNode和SecondaryNameNode(或StandbyNameNode，如果你配置了）之外，還有多個(gè)DataNodes，每一個(gè)DataNode對(duì)應(yīng)集群中的每個(gè)節(jié)點(diǎn)（除非選擇不在運(yùn)行關(guān)鍵Hadoop服務(wù)如NameNode和ResourceManager的節(jié)點(diǎn)上運(yùn)行DataNode)。啟動(dòng)Hadoop服務(wù)以下是啟動(dòng)偽分布式集群所有3個(gè)HDFS服務(wù)的步驟:$suhdfs$cd/opt/yarn/hadoop2.6.0/sbin$./hadoop-daemon.shstartnamenode$./hadoop-daemon.shstartsecondaryNameNodes$./hadoop-daemon.shstartdatanode啟動(dòng)Hadoop服務(wù)如果NameNode或DataNodes無(wú)法啟動(dòng)，很容易找出原因。只需打開(kāi)日志文件并查看啟動(dòng)命令的輸出來(lái)找出原因（記錄DataNode日志的是hadoop-root-datanode-hadoop1.localdomain.out)。通常是因?yàn)闆](méi)有為HADOOP_HOME或HADOOP_PREFIX設(shè)置正確的路徑。例如，要了解為什么NameNode無(wú)法啟動(dòng)，可以查看名為/opt/yarn/hadoop-2.6.0/logs//hadoop-hdfs-namenode-limulus.out的文件。如前所述，啟動(dòng)問(wèn)題通常很容易解決!啟動(dòng)YARN服務(wù)2啟動(dòng)YARN服務(wù)使用yarn用戶登錄來(lái)啟動(dòng)YARN服務(wù)。有3種YARN服務(wù)必須啟動(dòng):ResourceManagerNodeManagerJobHistoryServer啟動(dòng)YARN服務(wù)每個(gè)集群只有一個(gè)ResourceManager（稍后將學(xué)習(xí)如何設(shè)置具有活動(dòng)和備用ResourceManager的高可用性系統(tǒng)）和一個(gè)JobHistoryServer，NodeManager服務(wù)運(yùn)行在集群中每一個(gè)運(yùn)行了DataNode服務(wù)的節(jié)點(diǎn)上。啟動(dòng)YARN服務(wù)理#su-yarn$cd/opt/yarn/hadoop-2.6.0/sbin$./yarn-daemon.shstartresourcemanager$./yarn-daemon.shstartnodemanager$./mr-jobhistory-daemon.shstarthistoryserver啟動(dòng)YARN服務(wù)與HDFS服務(wù)一樣，如果無(wú)法啟動(dòng)其中一個(gè)YARN