2023學(xué)年完整公開(kāi)課版AnalyzingMemoryUsage

張義目錄01AnalyzingMemoryUsageAnalyzingMemoryUsage1AnalyzingMemoryUsage在生產(chǎn)環(huán)境中，為了提高任務(wù)提交的響應(yīng)速度，我們研發(fā)了類(lèi)似SparkJobserver的服務(wù)，各種類(lèi)型的spark任務(wù)復(fù)用已經(jīng)啟動(dòng)的SparkApplication，避免了sparkContext初始化冷啟動(dòng)的過(guò)程。AnalyzingMemoryUsage可復(fù)用Spark服務(wù)的內(nèi)存是固定的，因此又開(kāi)放了用戶(hù)自定義Executor內(nèi)存的權(quán)限，用戶(hù)為了避免自己的任務(wù)因內(nèi)存不足而失敗，往往會(huì)把內(nèi)存設(shè)置的很大，從而帶來(lái)了內(nèi)存濫用的問(wèn)題。AnalyzingMemoryUsage一般來(lái)說(shuō)監(jiān)控spark內(nèi)存有2種方式通過(guò)SparkListenerBus獲取Executor內(nèi)部的內(nèi)存使用情況，現(xiàn)在能獲取的相關(guān)信息還比較少。通過(guò)SparkMetrics將JVM信息發(fā)送到指定的sink，用戶(hù)也可以自定義Sink比如發(fā)送到kafka/Redis。AnalyzingMemoryUsage可以利用heapdumps工具從YARN容器中導(dǎo)出應(yīng)用程序堆內(nèi)存情況，以分析應(yīng)用程序使用內(nèi)存的情況。一個(gè)常用的獲取heapdumps的工具是jmap。它需要使用正在運(yùn)行的Java進(jìn)程的ID,通過(guò)ID將對(duì)應(yīng)進(jìn)程的內(nèi)存的堆內(nèi)容存儲(chǔ)到對(duì)應(yīng)的文件中,如下所示:AnalyzingMemoryUsage#jmap-dump:format=b,file=~/mr-container.hprof-F2345AttachingtoprocessID12345,pleasewait...Debuggerattachedsuccessfully.Servercompilerdetected.JVMversionis20.6-b01AnalyzingMemoryUsageDumpingheapto/opt/rm.hprof...FindingobjectsizeusingPrintezisbitsandskippingover...FindingobjectsizeusingPrintezisbitsandskippingover...HeapdumpfilecreatedAnalyzingMemoryUsage可以通過(guò)jhat工具或者EclipseMemoryAnalyzer(Elcipse內(nèi)存分析工具