Hadoop自帶的Web版管理監(jiān)控功能

Hadoop的Web管理主要分為兩塊，一塊是對(duì)文件系統(tǒng)的監(jiān)控，一塊是對(duì)任務(wù)的監(jiān)控。文件系統(tǒng)監(jiān)控：瀏覽文件系統(tǒng)；namenode的日志列表以及查看日志；集群的概況，包括配置容量、DFS占用容量、非DFS占用容量、DFS的可使用容量、DFS已使用百分比、DFS可使用百分比、活結(jié)點(diǎn)數(shù)、死節(jié)點(diǎn)數(shù)、namenode的存儲(chǔ)目錄及類型和狀態(tài)；點(diǎn)擊活節(jié)點(diǎn)或者死節(jié)點(diǎn)數(shù)可以看到所有對(duì)應(yīng)節(jié)點(diǎn)的類表，以及他們的節(jié)點(diǎn)名稱，LastContact的值（LastContact的意思是表明DataNode有多少秒時(shí)間未向NameNode發(fā)送心跳包了），管理狀態(tài)，配置容量，已使用容量，非DFS使用容量，剩余容量，已使用百分比，已使用的進(jìn)度條，剩余百分比，塊數(shù)。任務(wù)監(jiān)控：集群摘要信息（堆的大小，所占的比例），Map任務(wù)數(shù)，Reduce任務(wù)數(shù)，共有意見書，節(jié)點(diǎn)數(shù)量，Map任務(wù)能力，Reduce任務(wù)能力，平均任務(wù)和節(jié)點(diǎn)（這點(diǎn)我不明白什么意思，原文：Avg.Task/Node），列入黑名單的節(jié)點(diǎn)；調(diào)度信息：隊(duì)列名稱，調(diào)度信息；過濾查詢：可根據(jù)Jobid，優(yōu)先級(jí)，用戶名等信息查詢?nèi)蝿?wù)；可以查看正在運(yùn)行，已經(jīng)完成或者執(zhí)行失敗的Job的信息：狀態(tài)，完成所需時(shí)間，該Job的map和reduce信息：完成進(jìn)度，總?cè)蝿?wù)數(shù)，待完成任務(wù)數(shù)，正在執(zhí)行的，已完成的，死掉的，失敗的和死掉的個(gè)數(shù)比（按照我的理解應(yīng)該是失敗后并再次嘗試并成功的與死掉的個(gè)數(shù)比）；還有各種數(shù)據(jù)的統(tǒng)計(jì)包括Job、FileSystem、Map-ReduceFramework，統(tǒng)計(jì)具體小點(diǎn)太多，并且有一些統(tǒng)計(jì)功能我不是很了解，比較模糊，還是上圖，如下：

CounterMapReduceTotalJobCountersLaunchedreducetasks001Launchedmaptasks002Data-localmaptasks002FileSysteinCountersFILE_BYTES_READ07979HDFS_BYTES_READ50050FILE_BYTES_WRITTEN14979228HDFS_BYTES_WRITTEN04141Map-ReduceFrameworkReduceinputgroups055Combineoutputrecords606Mapinputrecords202Reduceshuff1ebytes08585Reduceoutputrecords055SpilledRecords6612Mapoutputbytes82082Mapoutputrecords808Combineinputrecords808Reduceinputrecords066還有兩個(gè)功能做得比較好，Map和Reduce的完成比例的二維條形統(tǒng)計(jì)圖，如下:

可以查看Map或者reduce下面的某一個(gè)task的具體信息包括：task所在機(jī)器，狀態(tài)，進(jìn)度，開始時(shí)間，結(jié)束時(shí)間，消耗時(shí)間，task日志，針對(duì)該task的統(tǒng)計(jì)條目數(shù)量（包括具體統(tǒng)計(jì)的內(nèi)容：文件系統(tǒng)的統(tǒng)計(jì)，Ma