內(nèi)存不足問(wèn)題

主講：張義目錄0102內(nèi)存不足問(wèn)題Spark和JVM垃圾回收內(nèi)存不足問(wèn)題1內(nèi)存不足問(wèn)題在有的情況下，當(dāng)試圖使用hdfsdfs-ls命令列出HDFS上一個(gè)目錄下的所有文件時(shí)，會(huì)遇到內(nèi)存溢出（OOM）問(wèn)題:java.lang.OutOfMemoryError:Javaheapspace或者會(huì)看到如下的錯(cuò)誤:Exceptioninthread“main”java.lang.OutOfMemoryError:Javaheapspace內(nèi)存不足問(wèn)題atjava.util.Arrays.copyof(Arrays.java:2367)atjava.lang.AbstractstringBuilder.expandCapacity(AbstractStringBuilder.java:130)atjava.lang.AbstractstringBuilder.ensureCapacityInternal(AbstractStringBuilder.java:114)at...內(nèi)存不足問(wèn)題這是因?yàn)?，?dāng)試圖列出一個(gè)包含大量對(duì)象的目錄的所有內(nèi)容時(shí)，HDFS客戶端的默認(rèn)的246MB堆內(nèi)存顯得過(guò)小了。可以通過(guò)為堆內(nèi)存設(shè)置更高的值來(lái)提高Hadoop客戶端的堆內(nèi)存大小，如下所示:HADOOP_HEAPSIZE=1024hdfsdfs-ls/user/samHadoop客戶端現(xiàn)在擁有了更大的Java堆內(nèi)存，可以應(yīng)付對(duì)HDFS目錄內(nèi)容的檢索。內(nèi)存不足問(wèn)題下面是另外一個(gè)因OOM導(dǎo)致Spark作業(yè)崩潰的例子:ERRORExecutor:Exceptionintask25.0instage16.0(TID999)java.lang.OutOfMemoryError:GCoverheadlimitexceededResolution:spark.executor.memory:Amountofmemorytouseperexecutorprocess,inthesameformatasJVMmemorystrings.該例子中給出了問(wèn)題及問(wèn)題解決方案!需要通過(guò)提高spark.executor.memory配置參數(shù)的值來(lái)增大執(zhí)行器的內(nèi)存，如第19章所述。Spark和JVM垃圾回收2Spark和JVM垃圾回收Spark應(yīng)用程序使用100GB以及更高的堆內(nèi)存空間是不常見的。在Spark環(huán)境中，JVM的垃圾回收機(jī)制引起的暫停和崩潰是一個(gè)常見的需要關(guān)注的問(wèn)題。Spark和JVM垃圾回收J(rèn)ava應(yīng)用程序中常用的標(biāo)準(zhǔn)垃圾回收策略是并發(fā)標(biāo)記掃描(CMS）和老年代并行(ParallelOld）回收策略。CMS回收策略著重于低延遲，ParallelOld回收策略著重于更高的吞吐量。兩種回收策略都曾被證明是可能的性能瓶頸——CMS垃圾回收不執(zhí)行任何的壓縮，而ParallelOld垃圾回收只執(zhí)行整個(gè)堆的壓縮，這會(huì)引起較長(zhǎng)時(shí)間的停頓，從而影響應(yīng)用的性能。如果應(yīng)用程序要求實(shí)時(shí)響應(yīng)，則通常情況下CMS垃圾回收策略是比較好的選擇;如果應(yīng)用程序更偏向于批處理分析，則可以使用ParallelOld垃圾回收策略。Spark和JVM垃圾回收由于Spark兼具流式與批處理的雙重功能，因此可以考慮在Hotspot的2.6版本JVM中引入的更新的Garbage-First(G1GC)垃圾回收器。G1垃圾回收器最終會(huì)取代CMS垃圾回收器，其目標(biāo)是同時(shí)提供低延遲與高吞吐。Spark和JVM垃圾回收無(wú)論采用何種GC回收策略，最關(guān)鍵的仍然是通過(guò)減少中間對(duì)象的創(chuàng)建或復(fù)制、長(zhǎng)時(shí)間運(yùn)行對(duì)象的堆外存放，以及限制超大對(duì)象的創(chuàng)建等來(lái)優(yōu)化內(nèi)存的使用。Spark和JVM垃圾回收在給一個(gè)執(zhí)行器分配的內(nèi)存中，75%用于存儲(chǔ)和執(zhí)行。如果不需要很多內(nèi)存來(lái)存儲(chǔ)RDD，則可以通過(guò)設(shè)置spark.storage.mem