2023學(xué)年完整公開(kāi)課版更改YARN的配置

主講：孟繁興目錄01配置內(nèi)存相關(guān)參數(shù)配置內(nèi)存相關(guān)參數(shù)1配置內(nèi)存相關(guān)參數(shù)如果沒(méi)有設(shè)置任何與內(nèi)存相關(guān)的配置屬性，集群能夠正常啟動(dòng)，但可能無(wú)法有效執(zhí)行，因?yàn)镠adoop的所有內(nèi)存相關(guān)參數(shù)都使用默認(rèn)值。因此，要調(diào)整這些參數(shù)。在yarn-sitc.xml文件中指定以下YARN附加參數(shù)（在生產(chǎn)設(shè)置中可選，但強(qiáng)烈推薦)。配置內(nèi)存相關(guān)參數(shù)yarn.nodemanager.resource.memory-MB:該參數(shù)指定在該節(jié)點(diǎn)上YARN管理的任務(wù)可用的總RAM，以MB計(jì)，必須將諸如DataNode等其他的Hadoop中非YARN管理的工作進(jìn)程的內(nèi)存使用包括在其中。因此，如果節(jié)點(diǎn)的總RAM為96GB，則可以通過(guò)將yarn.nodemanager.resource.memory-mb參數(shù)設(shè)置為68(GB）來(lái)為YARN分配約70%的內(nèi)存，如下所示:<property><name>yarn.nodemanager.resource.memory-mb</name><value>68608</value></property>配置內(nèi)存相關(guān)參數(shù)yarn.nodemanager.resource.memory-mb參數(shù)的默認(rèn)值為8192MB(8GB),這意味著如果你的節(jié)點(diǎn)有比較大的RAM容量（如64GB或96GB)，那么在默認(rèn)情況下，大部分的內(nèi)存都會(huì)被浪費(fèi)掉，因?yàn)榇藚?shù)的值將YARN作業(yè)的內(nèi)存分配限制為8GB。配置內(nèi)存相關(guān)參數(shù)yarn.nodemanager.resource.cpu-vcores:可以分配給YARN容器的CPU內(nèi)核數(shù)。此參數(shù)的默認(rèn)值為8，必須將其設(shè)置為小于節(jié)點(diǎn)上物理內(nèi)核數(shù)。以下示例顯示如何將CPU內(nèi)核數(shù)設(shè)置為24。<property><name>yarn.nodemanager.resource.cpu-vcores</name><value>24</value></property>配置內(nèi)存相關(guān)參數(shù)mapreduce.map.memory.mb和mapreduce.reduce.memory.mb:這兩個(gè)參數(shù)指定為每個(gè)map或reduce任務(wù)分配的內(nèi)存大?。ㄈ萜鞔笮?。兩個(gè)參數(shù)的默認(rèn)值為1GB，大多數(shù)集群需要更高的值（大多數(shù)情況下為2～4GB)。以下示例顯示如何設(shè)置map和reduce任務(wù)的內(nèi)存值為2GB。<property><name>mapreduce.map.memory.mb</name><value>2048</value></property>配置內(nèi)存相關(guān)參數(shù)<property><name>mapreduce.reduce.memory.mb</name><value>2048</value></property配置內(nèi)存相關(guān)參數(shù)mapreduce.map.java.opts和mapreduce.reduce.java.opts:mapper和reducer進(jìn)程在JVM中運(yùn)行。除了JVM的內(nèi)存需求和為每個(gè)map和reduce任務(wù)分配的內(nèi)存（2GB）之外，還必須滿足其他內(nèi)存請(qǐng)求，這個(gè)內(nèi)存使用被稱為進(jìn)程的開(kāi)銷?？梢匀坑猛赀@個(gè)內(nèi)存，而且任務(wù)不會(huì)有任何內(nèi)存的開(kāi)銷。配置內(nèi)存相關(guān)參數(shù)為了避免JVM占用分配給任務(wù)的內(nèi)存，可以使用mapreduce.map.java.opts和mapreduce.reduce.java.opts參數(shù)來(lái)限制mapper和reducer的Java堆大小。<property><name>mapreduce.map.java.opts</name><value>1536</value></property>配置內(nèi)存相關(guān)參數(shù)<property><name>mapreduce.reduce.java.opts</name><value>-Xmx1536</value></property>配置內(nèi)存相關(guān)參數(shù)這里有一個(gè)很好的經(jīng)驗(yàn)，即將mapreduce.map.memory.mb和mapreduce.reduce.memory.mb參數(shù)設(shè)置值的70%～75%作為mapreduce.map.java.opts和mapreduce.reduce.java.opts參數(shù)的值。配置內(nèi)存相關(guān)參數(shù)上述的內(nèi)存設(shè)置配置了map和reduce任務(wù)使用的物理RAM的上限。為YARN容器配置的每個(gè)map和reduce任務(wù)使用的虛擬內(nèi)存比的上限由yarn.nodemanager.vmem-pmem-ratio參數(shù)確定。默認(rèn)值為2.1，可以設(shè)置一個(gè)不同的值:<name>yarn.nodemanager.vmem-pmem-ratio</name><value>3.0</value>配置內(nèi)存