2023學(xué)年完整公開課版配置緩存

主講：朱佳目錄0102如何配置緩存如何調(diào)優(yōu)緩存如何配置緩存1如何配置緩存可以使用hdfscacheadmin命令行接口配置緩存。cacheadmin命令用于配置緩存指令和緩存池，這兩個(gè)組件是緩存HDFS數(shù)據(jù)時(shí)所必須配置的關(guān)鍵組件在實(shí)現(xiàn)HDFS緩存時(shí)，必須增加鎖定內(nèi)存的操作系統(tǒng)限制。如何配置緩存

要增加鎖定內(nèi)存的操作系統(tǒng)限制，將dfs.datanode.max.locked.memory參數(shù)設(shè)置為DataNode可用于緩存數(shù)據(jù)的最大內(nèi)存量。盡管使用ulimit-l命令顯示的內(nèi)存鎖定限制以千字節(jié)為單位，但必須以字節(jié)為單位指定此屬性。在Linux系統(tǒng)中，當(dāng)設(shè)置此參數(shù)時(shí)，可能還需要調(diào)高/etc/security/limits.conf文件中的max.locked.memory屬性的值。如何調(diào)優(yōu)緩存2如何調(diào)優(yōu)緩存dfs.datanode.max.locked.memory：該配置指定了一個(gè)DataNode用以緩存的最大內(nèi)存量（以字節(jié)表示）。在類Unix系統(tǒng)上，還需要增加datanode用戶的“l(fā)ocked-in-memorysize”ulimit（ulimit-l）以匹配此參數(shù)（請(qǐng)參見下面有關(guān)OS限制的部分）。設(shè)置此值時(shí)，請(qǐng)記住，您還需要內(nèi)存中的空間來(lái)存放其他內(nèi)容，例如數(shù)據(jù)節(jié)點(diǎn)和應(yīng)用程序JVM堆以及操作系統(tǒng)頁(yè)緩存。此設(shè)置與LazyPersistWrites功能共享。數(shù)據(jù)節(jié)點(diǎn)將確保LazyPersistWrites和集中緩存管理使用的總共內(nèi)存不超過在dfs.datanode.max.locked.memory中配置的數(shù)量。且此屬性一定要進(jìn)行配置。如何調(diào)優(yōu)緩存下面的屬性不是必須要配置的，但是可以進(jìn)行調(diào)優(yōu)：屬性名稱默認(rèn)值含義erval.ms300000NameNode使用該參數(shù)作為兩次子路徑緩存掃描之間的時(shí)間間隔，單位為毫秒。該參數(shù)計(jì)算要緩存的塊和每個(gè)包含一個(gè)該塊應(yīng)當(dāng)緩存的副本的DataNode。該參數(shù)默認(rèn)是300000，即5分鐘。dfs.datanode.fsdatasetcache.max.threads.per.volume4DataNode使用該參數(shù)作為緩存新數(shù)據(jù)時(shí)每個(gè)卷要用的最大線程數(shù)。如何調(diào)優(yōu)緩存ervalMsec10000DataNode使用該參數(shù)作為兩次發(fā)送緩存狀態(tài)報(bào)告給NameNode之間的時(shí)間間隔。單位為毫秒。默認(rèn)10000ms，即10node.path.based.cache.block.map.allocation.percent0.25分配給已緩存塊映射的Java堆內(nèi)存的百分比。它是一個(gè)h