2023學(xué)年完整公開課版節(jié)點(diǎn)和服務(wù)

主講：孟繁興節(jié)點(diǎn)和服務(wù)目錄0102主節(jié)點(diǎn)和工作節(jié)點(diǎn)Hadoop服務(wù)主節(jié)點(diǎn)和工作節(jié)點(diǎn)1主節(jié)點(diǎn)和工作節(jié)點(diǎn)Hadoop中的節(jié)點(diǎn)被分為兩種類型：主節(jié)點(diǎn)：這些節(jié)點(diǎn)運(yùn)行協(xié)調(diào)集群工作的服務(wù)。客戶端聯(lián)系主節(jié)點(diǎn)以執(zhí)行計(jì)算任務(wù)。在每個(gè)集群中，可能有幾個(gè)主節(jié)點(diǎn)，從3個(gè)到6個(gè)不等，具體取決于集群的大小。工作節(jié)點(diǎn)：這些節(jié)點(diǎn)在主節(jié)點(diǎn)上運(yùn)行的進(jìn)程之下運(yùn)行。集群的大多數(shù)節(jié)點(diǎn)都是工作節(jié)點(diǎn)。工作節(jié)點(diǎn)是存儲(chǔ)數(shù)據(jù)與執(zhí)行具體計(jì)算的節(jié)點(diǎn)。Hadoop服務(wù)2Hadoop服務(wù)在本部分學(xué)習(xí)內(nèi)容中我們需要熟悉幾個(gè)關(guān)鍵的Hadoop服務(wù)。這些服務(wù)一起協(xié)同工作，在集群中執(zhí)行實(shí)際工作。一組HDFS相關(guān)的服務(wù)負(fù)責(zé)與存儲(chǔ)有關(guān)的工作,還有一套專門用于計(jì)算任務(wù)的服務(wù)。下面簡(jiǎn)要介紹各種Hadoop服務(wù)。Hadoop服務(wù)HDFS服務(wù)：HDFS服務(wù)負(fù)責(zé)管理HDFS存儲(chǔ)。NameNode：NameNode服務(wù)運(yùn)行于主節(jié)點(diǎn)，負(fù)責(zé)管理與HDFS存儲(chǔ)有關(guān)的元數(shù)據(jù)，如文件系統(tǒng)目錄樹和文件位置。當(dāng)客戶端需要在HDFS中讀取或?qū)懭霐?shù)據(jù)時(shí)，會(huì)首先與NameNode進(jìn)行聯(lián)系,NameNode會(huì)提供HDFS中相應(yīng)文件的位置信息。Hadoop服務(wù)SecondaryNameNode和StandbyNameNode：在每個(gè)集群中，需要運(yùn)行這其中的一個(gè)服務(wù)。這些服務(wù)通過執(zhí)行如checkpointing(更新)元數(shù)據(jù)文件的任務(wù)，減輕關(guān)鍵服務(wù)NameNode的負(fù)擔(dān)。DataNodes：這些是在Linux文件系統(tǒng)之.上存儲(chǔ)HDFS數(shù)據(jù)塊的工作節(jié)點(diǎn)。DataNodes與NameNode保持聯(lián)系，并以文件系統(tǒng)的變更來對(duì)數(shù)據(jù)進(jìn)行更新。Hadoop服務(wù)YARN服務(wù)：與HDFS類似，YARN也有一些服務(wù)運(yùn)行在主節(jié)點(diǎn)和工作節(jié)點(diǎn)。ResourceManager：ResourceManager是在集群中的一個(gè)主節(jié)點(diǎn)之上工作的單一服務(wù)進(jìn)程，負(fù)責(zé)集群資源分配與運(yùn)行任務(wù)的調(diào)度。ApplicationMaster：這是一個(gè)主服務(wù)，在集群中運(yùn)行的每個(gè)應(yīng)用都有這個(gè)服務(wù)。ApplicationMaster協(xié)調(diào)應(yīng)用在集群中的運(yùn)行，并與ResourceManager協(xié)商以獲取應(yīng)用所需的資源。Hadoop服務(wù)NodeManager：這些服務(wù)運(yùn)行在每一個(gè)工作節(jié)點(diǎn)上。NodeManager服務(wù)在工作節(jié)點(diǎn)上運(yùn)行和管理任務(wù)(應(yīng)用程序或作業(yè)的組件)。它們與Resou