2023學(xué)年完整公開課版使用Hadoop指標(biāo)

主講：侯磊目錄0102Hadoop指標(biāo)簡介使用Hadoop指標(biāo)Hadoop指標(biāo)簡介1Hadoop指標(biāo)簡介Hadoop指標(biāo)是關(guān)于各種Hadoop守護(hù)程序的信息的集合。例如，ResourceManager守護(hù)程序生成關(guān)于作業(yè)隊(duì)列的指標(biāo)。HadoopMetrics(正式說法為Metrics2）在分析Hadoop服務(wù)的性能時(shí)至關(guān)重要。Hadoop提供了非常有用的指標(biāo)，可通過這些指標(biāo)監(jiān)視、調(diào)整和調(diào)試MapReduce和其他作業(yè)。每個(gè)Hadoop守護(hù)進(jìn)程都會提供指標(biāo)。Hadoop指標(biāo)簡介Hadoop2的指標(biāo)及其記錄系統(tǒng)在性能調(diào)查和調(diào)試過程中非常有用。與在單個(gè)服務(wù)器上運(yùn)行數(shù)據(jù)庫來進(jìn)行監(jiān)視和故障排除相比，Hadoop的分布式架構(gòu)使其難以監(jiān)視集群并診斷問題。Hadoop的應(yīng)用程序日志和作業(yè)指標(biāo)提供了有關(guān)作業(yè)的情況，但是缺少每個(gè)作業(yè)或每個(gè)任務(wù)的磁盤和網(wǎng)絡(luò)使用指標(biāo)。類似地，任務(wù)或應(yīng)用程序的集群級資源利用率也不可用。因此，原始日志和指標(biāo)在原始狀態(tài)下不是非常有用。Hadoop指標(biāo)簡介有幾個(gè)開源監(jiān)控系統(tǒng)可幫助我們將Hadoop提供的指標(biāo)和日志整合到與服務(wù)相關(guān)的性能摘要和圖表以及警報(bào)中。除了Ganglia之外，可能還需要考慮諸如Chukwa之類的工具，Chukwa是用于監(jiān)控大型分布式系統(tǒng)的數(shù)據(jù)收集系統(tǒng)，其可幫助我們部署和管理Hadoop集群的ApacheAmbari。Hadoop指標(biāo)簡介Hadoop用于各種服務(wù)的WebUI(如NameNodeWebUI和DataNodeWebUI)，依賴于Hadoop自動收集的內(nèi)部指標(biāo)，監(jiān)視這些服務(wù)的運(yùn)行情況。Hadoop將其指標(biāo)分組到幾個(gè)命名上下文中，例如用于Java虛擬機(jī)指標(biāo)的jvm上下文和用于調(diào)試RPC調(diào)用的rpc。Hadoop指標(biāo)是寶貴的實(shí)時(shí)和歷史信息資源，可幫助我們排除集群性能問題，并排查與Hadoop服務(wù)及其支持的應(yīng)用程序相關(guān)的問題。在這種情況下，區(qū)分Hadoop指標(biāo)和MapReduce作業(yè)計(jì)數(shù)器很重要。Hadoop指標(biāo)簡介MapReduce作業(yè)計(jì)數(shù)器提供一些諸如應(yīng)用程序讀取和寫入的總字節(jié)數(shù)的信息，而Hadoop指標(biāo)具有更廣泛的關(guān)注點(diǎn)，并顯示所有有關(guān)Hadoop服務(wù)的信息，如NameNode、JournalNode和DataNode，以及用戶和組相關(guān)信息。管理員可以查看MapReduce計(jì)數(shù)器，以了解諸如運(yùn)行緩慢的MapReduce作業(yè)等問題。Hadoop指標(biāo)應(yīng)用更廣泛，可以這么說，它可以幫助解決和調(diào)整所有范圍的管理問題，例如NameNode啟動時(shí)間、身份驗(yàn)證失敗、當(dāng)前連接數(shù)、文件創(chuàng)建和刪除操作、當(dāng)前空閑空間等。使用Hadoop指標(biāo)2使用Hadoop指標(biāo)前面介紹了Hadoop守護(hù)進(jìn)程可以產(chǎn)生的各種指標(biāo)。我們可以使用這些指標(biāo)來了解集群的運(yùn)行情況。例如，JVM指標(biāo)（如GcCount和GcTimeMillis）顯示高JVM內(nèi)存活動，而高ThreadsWaiting計(jì)數(shù)意味著JVM可能需要額外的內(nèi)存。DFS相關(guān)的指標(biāo)可以告訴你集群中是否存在大