5.9MapReduce程序提交給YARN運(yùn)行（完）

Hadoop大數(shù)據(jù)項(xiàng)目開發(fā)——MapReduce程序提交給YARN運(yùn)行目錄content0201MapRedcue配置Maven生成jar包03執(zhí)行jar包MapRedcue配置TWITTERYUTUBESKYPEFACEBOOK

MapReduce程序運(yùn)行在Yarn上;YARN作為一個(gè)資源調(diào)度平臺(tái);更好的運(yùn)用集群上的資源。很好的調(diào)度MapReduce任務(wù);1234MapRedcue配置將MapReduce程序提交給YARN運(yùn)行MapRedcue的配置文件/usr/local/src/hadoop/etc/hadoop需要修改：位于：MapRedcue配置步驟1：修改配置文件將mapred-site.xml.template重命名為mapred-site.xml參數(shù)指定MapReduce使用YARN資源管理器。步驟2：mapred-site.xml配置文件內(nèi)容：MapRedcue配置在mapred-site.xml的<configuration>和</configuration>標(biāo)簽中添加如下內(nèi)容：在mapred-site.xml的<configuration>和</configuration>標(biāo)簽中添加如下內(nèi)容：MapRedcue配置步驟3：拷貝整個(gè)mapred-site.xml到slave1和slave2兩個(gè)節(jié)點(diǎn)YARN一個(gè)分布式操作系統(tǒng)平臺(tái)相當(dāng)于MapReduce應(yīng)用程序相當(dāng)于Maven生成jar包WordCount程序提交集群運(yùn)行輸入路徑：FileInputFormat.setInputPaths(job,newPath("/wordcount/input"));輸出路徑：FileOutputFormat.setOutputPath(job,newPath("/wordcount/output"));在WordCount程序的源代碼中，需要修改數(shù)據(jù)的輸入路徑和輸出路徑，其余內(nèi)容不變，代碼如下所示：打包Maven生成jar包步驟1步驟2步驟3步驟4Maven生成jar包步驟5步驟6執(zhí)行jar包步驟1：使用Xshell的文件傳輸功能，將已經(jīng)生成的wordcount.jar包傳到master節(jié)點(diǎn)上的根目錄下的usr目錄下local目錄下的src目錄下。執(zhí)行jar包步驟2：在HDFS上創(chuàng)建wordcount目錄，首先查看hdfs根目錄上是否有wordcount目錄：hadoopfs-ls/如果輸出的結(jié)果沒有wordcount目錄，則創(chuàng)建此目錄，執(zhí)行命令：hadoopfs-mkdir/wordcount

執(zhí)行jar包master節(jié)點(diǎn)步驟3：執(zhí)行jar包，命令如下所示：hadoopjar命令執(zhí)行過程如下圖所示：執(zhí)行jar包Web界面對(duì)應(yīng)的執(zhí)行結(jié)果步驟4：hadoopjar命令執(zhí)行完成之后，計(jì)算結(jié)果保存到了HDFS上，如圖所示：執(zhí)行jar包_SUCCESS_FAILED沒有內(nèi)容、執(zhí)行成功執(zhí)行失敗Part-r-00000Part-r-00001MapReduce執(zhí)行分析數(shù)據(jù)后的結(jié)果文件，兩個(gè)文件表示MapReduce啟動(dòng)了兩個(gè)Reducer任務(wù)，一個(gè)Reducer任務(wù)輸出一個(gè)文件。保存結(jié)果文件執(zhí)行jar包查看計(jì)算結(jié)果步驟5：使用如下命令查看運(yùn)行結(jié)果：本章小結(jié)