《Hadoop技術(shù)原理》課件-5.資源管理器Yarn

Hadoop技術(shù)原理資源管理器YarnYarn產(chǎn)生背景與基礎(chǔ)架構(gòu)01Yarn的產(chǎn)生背景01Hadoop的主要組成MapReduce隨著Hadoop的變化也經(jīng)歷了兩個版本，Hadoop1.x及之前對應(yīng)的是MapReduce1，Hadoop2.x對應(yīng)的是MapReduce2，MapReuce兩個版本的兩大任務(wù)是不變的，分別是Map任務(wù)和Reduce任務(wù)，不同的是MapReduce1和MapReduce2的資源管理器是不一樣的。Yarn的產(chǎn)生背景02MapReduce1架構(gòu)Client：客戶端JobTracker：負(fù)責(zé)資源管理和所有作業(yè)的控制TaskTracker：負(fù)責(zé)接收來自JobTracker的命令并執(zhí)行Yarn的產(chǎn)生背景03了解MapReduce1工作流程Yarn的產(chǎn)生背景04MapReduce1局限性直接源于MRv1在幾個方面的缺陷擴展性受限JobTracker單點故障難以支持MR之外的計算多計算框架各自為戰(zhàn)，數(shù)據(jù)共享困難MR：離線計算框架Storm：實時計算框架Spark：內(nèi)存計算框架Yarn的產(chǎn)生背景05Hadoop1.0與Hadoop2.0初識Yarn06什么是YarnYARN：YetAnotherResourceNegotiator，另一種資源協(xié)調(diào)者。最初是為了改善MapReduce的實現(xiàn)，但也是一種資源調(diào)度框架，具有通用性，可為上層應(yīng)用提供統(tǒng)一的資源管理和調(diào)度，可以支持其他的分布式計算模式（如Spark）。它的引入為集群在利用率、資源統(tǒng)一管理和數(shù)據(jù)共享等方面帶來了巨大好處。Yarn的基礎(chǔ)架構(gòu)07架構(gòu)Yarn的基礎(chǔ)架構(gòu)08Container（容器）YARN中資源包括內(nèi)存、CPU、磁盤輸入輸出等等。Container是YARN中資源的抽象，它封裝了某個節(jié)點上的多維度資源。ResourceManager（資源管理器）ResourceManager負(fù)責(zé)整個系統(tǒng)的資源分配和管理，是一個全局的資源管理器。主要由兩個組件構(gòu)成：調(diào)度器和應(yīng)用程序管理器：調(diào)度器（Scheduler）：

調(diào)度器根據(jù)資源情況為應(yīng)用程序分配封裝在Container中的資源。應(yīng)用程序管理器（ApplicationManager）：

應(yīng)用程序管理器負(fù)責(zé)管理整個系統(tǒng)中所有應(yīng)用程序。Yarn的基礎(chǔ)架構(gòu)09NodeManager(節(jié)點管理器)NodeManager是每個節(jié)點上的資源和任務(wù)管理器。定時向ResourceManager匯報本節(jié)點上的資源使用情況和各個Container的運行狀態(tài)；接收并處理來自ApplicationManager的Container啟動/停止等請求。Yarn的基礎(chǔ)架構(gòu)10ApplicationMaster(主應(yīng)用)ApplicationMaster是一個詳細(xì)的框架庫，它結(jié)合從ResourceManager獲得的資源和NodeManager協(xié)同工作來運行和監(jiān)控任務(wù)。用戶提交的每一個應(yīng)用程序均包含一個ApplicationMaster。主要功能包括：與ResourceManager調(diào)度器協(xié)商以獲取抽象資源（Container）；負(fù)責(zé)應(yīng)用的監(jiān)控，跟蹤應(yīng)用執(zhí)行狀態(tài)，重啟失敗任務(wù)等；并且與NodeManager協(xié)同工作完成Task的執(zhí)行和監(jiān)控。Yarn工作機制與調(diào)度器02Yarn的工作機制01YARN中應(yīng)用（Application）運行機制（流程）Yarn的工作機制02YARN中任務(wù)進度監(jiān)控Yarn新增功能03新舊框架比較同：客戶端不變，其調(diào)用API及接口大部分保持兼容異：原框架中核心的JobTasker和TaskTracker不見了，取而代之的是RM，AppMaster和NM三個部分Yarn的改進RM相對于JobTracker，大大減少了資源的消耗，并且讓監(jiān)測每個Job子任務(wù)（task）狀態(tài)的程序分布式化了。在Yarn中，AppMaster是一個可變更的部分，用戶可以對不同的程序模型編寫自己的AppMaster，讓更多類型的編程模型能夠跑在Hadoop集群中。容錯率更好，AppMaster監(jiān)控task運行情況，RM監(jiān)控AppMaster的狀況，一旦出問題會在其他機器上重啟Yarn調(diào)度器04調(diào)度器種類YARN調(diào)度器分三種：（1）FIFOScheduler→先進先出調(diào)度器（2）CapacityScheduler→容器調(diào)度器（3）FairScheduler→公平調(diào)度器Yarn調(diào)度器05FIFOScheduler最簡單的調(diào)度器job1運行完后，job2才能獲取到資源Yarn調(diào)度器06CapacitySchedule分成多個隊列，每個隊列占用一定資源，可以看作是FIFOScheduler的多隊列版本。每個隊列可以限制資源使用量。但是，隊列間的資源分配以使用量作排列依據(jù)，使得容量小的隊列有競爭優(yōu)勢。注意：如果不限制某隊列最大容量，則運行過程中，它可以占用全部資源。YARN默認(rèn)采用CapacitySchedul