《大數(shù)據(jù)技術(shù)基礎(chǔ)（第2版）》792-4（覃事剛）教案 第10課 數(shù)據(jù)處理與分析（二）

PAGE6PAGE6PAGE5PAGE5

課題數(shù)據(jù)處理與分析（二）課時2課時（90min）教學(xué)目標(biāo)知識技能目標(biāo)：（1） 了解YARN的基本架構(gòu)及組件，理解其工作流程。（2） 了解ZooKeeper的概念、應(yīng)用場景和集群總體架構(gòu)。思政育人目標(biāo)：感受大數(shù)據(jù)處理與分析技術(shù)在現(xiàn)代生產(chǎn)生活中的巨大作用和價值，不斷增強創(chuàng)新意識、合作意識、愛國主義情懷和民族自豪感。教學(xué)重難點教學(xué)重點：YARN的基本架構(gòu)及組件，ZooKeeper的概念、應(yīng)用場景教學(xué)難點：ZooKeeper的集群總體架構(gòu)教學(xué)方法案例分析法、問答法、討論法、講授法教學(xué)用具電腦、投影儀、多媒體課件、教材教學(xué)設(shè)計第1節(jié)課：→→傳授新知（28min）→課堂互動（10min）第2節(jié)課：→傳授新知（20min）→課堂互動（15min）→課堂小結(jié)（3min）→作業(yè)布置（2min）教學(xué)過程主要教學(xué)內(nèi)容及步驟設(shè)計意圖第一節(jié)課考勤

（2min）【教師】使用文旌課堂APP【學(xué)生】按照老師要求簽到培養(yǎng)學(xué)生的組織紀律性，掌握學(xué)生的出勤情況問題導(dǎo)入（5min）【教師】提出以下活動：HDFS專注于分布式存儲，MapReduce專注于分布式計算，而YARN則負責(zé)集群資源管理和統(tǒng)一調(diào)度，那么YARN的基本架構(gòu)和工作流程是什么樣的？【學(xué)生】思考、理解、分析通過問題導(dǎo)入的方法，引導(dǎo)學(xué)生主動思考，激發(fā)學(xué)生的學(xué)習(xí)興趣傳授新知

（28min）【教師】通過學(xué)生的回答引入新知，介紹分布式資源管理器YARN的基本架構(gòu)和組件，以及工作流程一、YARN基本架構(gòu)及組件?【教師】提出問題：YARN集群由哪些部分組成？?【學(xué)生】思考、舉手回答YARN集群總體上是經(jīng)典的主/從（master/slave）架構(gòu)，主要由ResourceManager、NodeManager、ApplicationMaster和Container組成。?【教師】提出問題：ResourceManager的主要職責(zé)是什么？?【學(xué)生】思考、舉手回答?【教師】總結(jié)學(xué)生的回答（1）接收來自客戶端（Client）的請求。（2）啟動和管理各個應(yīng)用程序的ApplicationMaster。（3）接收來自ApplicationMaster的資源申請，并為其分配Container。（4）管理NodeManager，接收來自NodeManager的資源和節(jié)點健康情況匯報。（詳見教材）?【教師】利用多媒體輔助講解NodeManagerNodeManager是集群中每個節(jié)點上的資源和任務(wù)管理器，以后臺進程的形式運行。它會定時向ResourceManager匯報本節(jié)點上的資源（內(nèi)存、CPU）使用情況和各個Container的運行狀態(tài)，同時會接收并處理來自ApplicationMaster的Container啟動/停止等請求。(詳見教材)?【教師】利用多媒體輔助講解Task和ContainerTask是應(yīng)用程序的具體執(zhí)行任務(wù)，一個應(yīng)用程序可能會有多個任務(wù)。例如，一個MapReduce程序可以有多個Map任務(wù)和多個Reduce任務(wù)。Container是YARN中資源分配的基本單位，它封裝了CPU和內(nèi)存資源的一個容器，相當(dāng)于是一個Task運行環(huán)境的抽象。(詳見教材)?【教師】提出以下學(xué)習(xí)任務(wù)：閱讀教材“高手點撥”部分，進一步了解Container。?【學(xué)生】自主學(xué)習(xí)、思考、理解?【教師】利用多媒體輔助講解ApplicationMasterApplicationMaster是應(yīng)用程序管理者，主要負責(zé)應(yīng)用程序的管理，以后臺進程的形式運行。它為應(yīng)用程序向ResourceManager申請資源（CPU、內(nèi)存），并將資源分配給所管理應(yīng)用程序的Task。（詳見教材）二、YARN的工作流程?【教師】利用多媒體輔助講解YARN的工作流程（1）客戶端（Client）提交應(yīng)用程序（如MapReduce程序等）到ResourceManager。（2）ResourceManager分配用于運行ApplicationMaster的Container，然后再與NodeManager通信，要求它在該Container中啟動ApplicationMaster。ApplicationMaster啟動后，它將負責(zé)此應(yīng)用程序的整個生命周期。（3）ApplicationMaster向ResourceManager注冊（注冊后可以通過ResourceManager查看應(yīng)用程序的運行狀態(tài)）并請求運行應(yīng)用程序各個Task所需的Container（資源請求是對一些Container的請求）。如果符合條件，ResourceManager會分配給ApplicationMaster所需的Container（表達為ContainerID和主機名）。（4）ApplicationMaster請求NodeManager使用這些Container來運行應(yīng)用程序的相應(yīng)Task（即將Task發(fā)布到指定的Container中運行）。（詳見教材）?【教師】提出以下學(xué)習(xí)任務(wù)：閱讀教材“YARN的工作流程”部分，根據(jù)YARN集群中應(yīng)用程序的執(zhí)行流程圖，以小組為單位，用自己的話說一說YARN的工作流程。?【學(xué)生】合作學(xué)習(xí)、思考、理解【學(xué)生】聆聽、記錄、理解通過教師的講解和演示，互動以及案例，使學(xué)生了解分布式資源管理器YARN的基本架構(gòu)和組件，以及工作流程課堂互動（10min）【教師】組織學(xué)生以小組為單位閱讀“YARN的工作流程”部分，（詳見教材），用自己的話說一說YARN的工作流程？【學(xué)生】聆聽、思考、小組討論，由小組代表上臺發(fā)表討論結(jié)果【教師】與學(xué)生一起評價各組的討論結(jié)果通過課堂討論，加深學(xué)生對YARN的工作流程的了解第二節(jié)課問題導(dǎo)入（5min）【教師】提出問題：什么是ZooKeeper，它的作用是什么？【學(xué)生】聆聽、思考、舉手回答通過問題導(dǎo)入，引導(dǎo)學(xué)生主動思考，激發(fā)學(xué)生的學(xué)習(xí)興趣傳授新知（20min）【教師】通過學(xué)生的回答引入新的知識，介紹分布式協(xié)調(diào)服務(wù)ZooKeeper的相關(guān)知識ZooKeeper是一種分布式應(yīng)用程序協(xié)調(diào)服務(wù)，主要用于解決分布式集群中應(yīng)用程序的一致性問題。它能提供類似文件系統(tǒng)的目錄節(jié)點樹方式的數(shù)據(jù)存儲，主要用途是維護和監(jiān)控所存數(shù)據(jù)的狀態(tài)變化，以實現(xiàn)對集群的管理。一、ZooKeeper簡介?【教師】提出以下問題：用自己的話說一說ZooKeeper主要解決的問題？?【學(xué)生】思考、舉手回答?【教師】對學(xué)生的回答進行總結(jié)它可以在集群的節(jié)點間進行消息傳遞，協(xié)調(diào)集群中不同服務(wù)器進程間的互斥和同步操作，從而保證集群節(jié)點間的數(shù)據(jù)一致性。（詳見教材）?【教師】提出以下學(xué)習(xí)任務(wù)：閱讀教材“提示”部分，進一步了解ZooKeeper。?【學(xué)生】自主學(xué)習(xí)、思考、理解?【教師】提出以下問題：閱讀教材相關(guān)內(nèi)容說一說ZooKeeper的應(yīng)用場景有哪些？?【學(xué)生】思考、舉手回答?【教師】對學(xué)生的回答進行總結(jié)1.統(tǒng)一命名服務(wù)2.集群管理3.分布式鎖……（詳見教材）二、ZooKeeper的應(yīng)用場景?【教師】利用多媒體輔助講解ZooKeeper的應(yīng)用場景1．統(tǒng)一命名服務(wù)利用ZooKeeper中的樹形分層結(jié)構(gòu)，可以把系統(tǒng)中的各種服務(wù)的名稱、地址及目錄信息存放在ZooKeeper中，需要的時候去ZooKeeper中讀取就可以了。2．集群管理ZooKeeper能夠很容易地實現(xiàn)集群管理的功能，如有多臺服務(wù)器組成一個服務(wù)集群，那么必須要有一個“總管”知道當(dāng)前集群中每臺機器的服務(wù)狀態(tài)，一旦有服務(wù)器不能提供服務(wù)，集群中其他服務(wù)器必須知道，從而做出調(diào)整，重新分配服務(wù)策略。3．分布式鎖在一個分布式環(huán)境中，為了提高可靠性，集群的每臺服務(wù)器上都部署著同樣的服務(wù)。但是一個常見的問題就是，如果集群中的每臺服務(wù)器都進行同一件事情的話，它們相互之間就要協(xié)調(diào)，編程起來將非常復(fù)雜。（詳見教材）?【教師】提出以下學(xué)習(xí)任務(wù)：閱讀教材“知識庫”部分，進一步了解ZooKeeper應(yīng)用場景。?【學(xué)生】自主學(xué)習(xí)、思考、理解三、ZooKeeper集群的總體架構(gòu)?【教師】利用多媒體輔助講解ZooKeeper集群的總體架構(gòu)ZooKeeper集群由一組服務(wù)器（Server）節(jié)點組成，在這些服務(wù)器節(jié)點中有一個節(jié)點的角色為Leader，其他節(jié)點的角色通常為Follower。當(dāng)客戶端（Client）連接到ZooKeeper集群并執(zhí)行寫請求時，這些請求首先會被發(fā)送到Leader節(jié)點。（詳見教材）【通過講授，提問，討論等教學(xué)方式，讓學(xué)生了解分布式協(xié)調(diào)服務(wù)ZooKeeper的相關(guān)知識課堂互動（15min）【教師】組織學(xué)生以小組為單位閱讀“筑夢科研”部分，說一說對你有什么啟示【教師】與學(xué)生一起評價各組的觀點通過課堂互動，培養(yǎng)學(xué)生的愛國之情，啟發(fā)學(xué)生好好學(xué)習(xí)，為祖國效力課堂小結(jié)

（3min）【教師】簡要總結(jié)本節(jié)課的要點本節(jié)課學(xué)習(xí)了分布式資源管理器YARN的基本架構(gòu)和工作流程，分布式協(xié)調(diào)服務(wù)ZooKeeper的應(yīng)用場景和集群架構(gòu)。希望大家在課下多復(fù)習(xí)，鞏固所學(xué)知識。【學(xué)生】總結(jié)回顧知識點總結(jié)知識點，鞏固學(xué)生對分布式資源管理器YARN和分布式協(xié)調(diào)服務(wù)ZooKeeper相關(guān)知識的印象作業(yè)布置

（2min