大數(shù)據(jù)技術(shù)基礎(chǔ)教程 課件 第6章 分布式計(jì)算框架MapReduce

第六章分布式計(jì)算框架MapReduce《大數(shù)據(jù)技術(shù)基礎(chǔ)教程》學(xué)習(xí)目標(biāo)/Target了解MapReduce簡(jiǎn)介

理解MapReduce計(jì)算模型理解MapReduce工作原理掌握MapReduce編程實(shí)踐章節(jié)概述/

SummaryMapReduce是Hadoop的一個(gè)核心組成框架，使用該框架編寫的應(yīng)用程序能夠以一種可靠的、容錯(cuò)的方式并行處理大型集群（數(shù)千個(gè)節(jié)點(diǎn)）上的大量數(shù)據(jù)（TB級(jí)別以上），也可以對(duì)大數(shù)據(jù)進(jìn)行加工、挖掘和優(yōu)化等處理。目錄/Contents010203MapReduce簡(jiǎn)介MapReduce計(jì)算模型MapReduce工作原理04MapReduce編程實(shí)踐MapReduce簡(jiǎn)介11.1MapReduce簡(jiǎn)介Hadoop的MapReduce核?技術(shù)起源于?歌在2004年發(fā)表的關(guān)于MapReduce系統(tǒng)的論?介紹。Hadoop實(shí)現(xiàn)了Google的MapReduce編程模型，提供了簡(jiǎn)單易用的編程接口，也提供了它自己的分布式文件系統(tǒng)HDFS，與Google不同的是，Hadoop是開源的，任何人都可以使用這個(gè)框架來進(jìn)行并行編程。MapReduce將復(fù)雜的、運(yùn)行于大規(guī)模集群上的并行計(jì)算過程高度地抽象到了兩個(gè)函數(shù)：Map和Reduce。概念“Map（映射）”和“Reduce（歸約）”，以及它們的主要思想，都是從函數(shù)式編程語言里借來的，同時(shí)包含了從矢量編程語言里借來的特性。MapReduce計(jì)算模型22.1MapReduce計(jì)算模型在Hadoop中，用于執(zhí)行計(jì)算任務(wù)(MapReduce任務(wù))的機(jī)器有兩個(gè)角色：一個(gè)是JobTracker，一個(gè)是TaskTracker，前者用于管理和調(diào)度工作，后者用于執(zhí)行工作。每次計(jì)算任務(wù)都可以分為兩個(gè)階段，Map階段和Reduce階段。其中，Map階段接收一組鍵值對(duì)模式<key,Value>的輸入并產(chǎn)生同樣是鍵值對(duì)模式的另一個(gè)或一批<key,Value>的中間輸出；Reduce階段負(fù)責(zé)接收Map產(chǎn)生的中間輸出<key,Value>，然后對(duì)這個(gè)結(jié)果進(jìn)行處理并輸出結(jié)果。2.1MapReduce計(jì)算模型MapReduce工作原理33.11.x架構(gòu)MapReduce1.x采用Master/Slave架構(gòu)，由全局唯一的Jobtracker和多個(gè)TaskTacker組成，并且在Client中提供一系列的api供編程和管理使用。3.11.x架構(gòu)MapReduce的完整流程為：第一步：讀取文件，解析成為<key，value>對(duì)；第二步：自定義map邏輯接收<k1,v1>，轉(zhuǎn)換成為新的<k2,v2>輸出；第三步：分區(qū)Partition。將相同key的數(shù)據(jù)發(fā)送到同一個(gè)reduce里面去；第四步：排序，map階段分區(qū)內(nèi)的數(shù)據(jù)進(jìn)行排序；第五步：combiner。調(diào)優(yōu)過程，對(duì)數(shù)據(jù)進(jìn)行map階段的合并；第六步：將環(huán)形緩沖區(qū)的數(shù)據(jù)進(jìn)行溢寫到本地磁盤小文件；第七步：歸并排序，對(duì)本地磁盤溢寫小文件進(jìn)行歸并排序；3.11.x架構(gòu)MapReduce的完整流程為：第九步：reduceTask啟動(dòng)線程拉取屬于自己分區(qū)的數(shù)據(jù)；第十步：從mapTask拉取回來的數(shù)據(jù)繼續(xù)進(jìn)行歸并排序；第十一步：進(jìn)行g(shù)roupingComparator分組操作；第十二步：調(diào)用reduce邏輯，寫出數(shù)據(jù)；第十三步：通過outputFormat進(jìn)行數(shù)據(jù)輸出，寫到文件，一個(gè)reduceTask對(duì)應(yīng)一個(gè)文件。3.22.x架構(gòu)（YARN架構(gòu)）3.22.x架構(gòu)（YARN架構(gòu)）①用戶編寫客戶端應(yīng)用程序，向YARN提交應(yīng)用程序，提交的內(nèi)容包括ApplicationMaster程序、啟動(dòng)ApplicationMaster的命令、用戶程序等。②YARN中的ResourceManager負(fù)責(zé)接收和處理來自客戶端的請(qǐng)求。接到客戶端應(yīng)用程序請(qǐng)求后，ResourceManager里面的調(diào)度器會(huì)為應(yīng)用程序分配一個(gè)容器。同時(shí)，ResourceManager的應(yīng)用程序管理器會(huì)與該容器所在的NodeManager通信，為該應(yīng)用程序在該容器中啟動(dòng)一個(gè)ApplicationMaster（即圖6-5中的“MRAppMstr”）。③ApplicationMaster被創(chuàng)建后會(huì)首先向ResourceManager注冊(cè)，從而使得用戶可以通過ResourceManager來直接查看應(yīng)用程序的運(yùn)行狀態(tài)。接下來的步驟4～7是具體的應(yīng)用程序執(zhí)行步驟。3.22.x架構(gòu)（YARN架構(gòu)）④ApplicationMaster采用輪詢的方式通過RPC協(xié)議向ResourceManager申請(qǐng)資源。⑤ResourceManager以“容器”的形式向提出申請(qǐng)的ApplicationMaster分配資源，一旦ApplicationMaster申請(qǐng)到資源后，就會(huì)與該容器所在的NodeManager進(jìn)行通信，要求它啟動(dòng)任務(wù)。⑥當(dāng)ApplicationMaster要求容器啟動(dòng)任務(wù)時(shí)，它會(huì)為任務(wù)設(shè)置好運(yùn)行環(huán)境（包括環(huán)境變量、JAR包、二進(jìn)制程序等），然后將任務(wù)啟動(dòng)命令寫到一個(gè)腳本中，最后通過在容器中運(yùn)行該腳本來啟動(dòng)任務(wù)。⑦各個(gè)任務(wù)通過某個(gè)RPC協(xié)議向ApplicationMaster匯報(bào)自己的狀態(tài)和進(jìn)度，讓ApplicationMaster可以隨時(shí)掌握各個(gè)任務(wù)的運(yùn)行狀態(tài)，從而可以在任務(wù)失敗時(shí)重新啟動(dòng)任務(wù)。3.22.x架構(gòu)（YARN架構(gòu)）⑧應(yīng)用程序運(yùn)行完成后，ApplicationMaster向ResourceManager的應(yīng)用程序管理器注銷并關(guān)閉自己。若ApplicationMaster因故失敗，ResourceManager中的應(yīng)用程序管理器會(huì)監(jiān)測(cè)到失敗的情形，然后將其重新啟動(dòng)，直到所有的任務(wù)執(zhí)行完畢。MapReduce編程實(shí)踐44.1MapReduce程序編寫步驟（1）Maven項(xiàng)目的pom.xml文件的配置（2）新建Mapper類4.1MapReduce程序編寫步驟（3）新建Reducer類（4）新建程序執(zhí)行主類（5）提交程序到集群4.2MapReduce編寫單詞統(tǒng)計(jì)程序4.2MapReduce編寫單詞統(tǒng)計(jì)程序4.2MapReduce編寫單詞統(tǒng)計(jì)程序4.2MapReduce編寫單詞統(tǒng)計(jì)程序4.2MapReduce編寫單詞統(tǒng)計(jì)程序4.2MapReduce編寫單詞統(tǒng)計(jì)程序本章小結(jié)本章主要介紹了分布式計(jì)算框架MapReduce，它是Hadoop的一個(gè)核心組成框架，概念“Map（映射）”和“Reduce（歸約）”以及它們的主要思想，都是從函數(shù)式編程語言里借用而來的，同時(shí)也包含了從矢量編程語言里借來的特性。MapReduce極大地方便了編程