2023學(xué)年完整公開課版分配內(nèi)存（Spark）

主講：張義目錄0102Spark內(nèi)存分配MapReduce集群調(diào)優(yōu)總結(jié)Spark內(nèi)存分配1Spark內(nèi)存分配Spark使用內(nèi)存有兩個目的:執(zhí)行作業(yè)和存儲數(shù)據(jù)。執(zhí)行內(nèi)存是Spark用來執(zhí)行shuffle、join、sort和aggregation功能的。存儲內(nèi)存用于緩存數(shù)據(jù)和傳輸集群內(nèi)的內(nèi)部數(shù)據(jù)。當(dāng)不使用任何執(zhí)行內(nèi)存時，作業(yè)可以使用所有可用的內(nèi)存進行存儲。在使用的存儲內(nèi)存達到使用閾值之前，執(zhí)行內(nèi)存可以從內(nèi)存中取出可用的存儲內(nèi)存。Spark在其內(nèi)存中提供了一個子區(qū)域，在其中緩存可以長時間存活的數(shù)據(jù)塊，其不會被用作執(zhí)行內(nèi)存。然而,存儲內(nèi)存永遠不會被用作執(zhí)行內(nèi)存。Spark內(nèi)存分配Spark的動態(tài)自動內(nèi)存分配功能可以自動調(diào)整分配給shufle操作和緩存的內(nèi)存。對于Spark的內(nèi)存，可以通過命令行確定用于分組、連接和聚合的shuffle數(shù)據(jù)結(jié)構(gòu)的最大大小。Spark還需要一些非堆存儲內(nèi)存。Spark需要在RDDS內(nèi)存和用于運行shuffle進程的內(nèi)存及非堆存儲內(nèi)存之間進行權(quán)衡。作業(yè)由任務(wù)組成。任務(wù)執(zhí)行Spark代碼。驅(qū)動程序是老板一它將任務(wù)分配給工作節(jié)點。工作進程運行執(zhí)行器，其中可以包括多個任務(wù)。驅(qū)動程序負責(zé)運行應(yīng)用程序，并在應(yīng)用程序執(zhí)行時對所有必要的動作進行管理。MapReduce集群調(diào)優(yōu)總結(jié)2MapReduce集群調(diào)優(yōu)總結(jié)對前面的MapReduce集群調(diào)優(yōu)的學(xué)習(xí)內(nèi)容中，總結(jié)出以下幾點：給YARN作業(yè)合理地分配內(nèi)存是優(yōu)化集群資源使用的重要方法。如果為容器分配的內(nèi)存太多，則浪費了集群的資源。太少的內(nèi)存，意味著任務(wù)運行的時間會延長，甚至有時會失敗。當(dāng)配置集群的內(nèi)存時，再也沒有比學(xué)習(xí)和理解Hadoop的配置參數(shù)更重要的了。MapReduce集群調(diào)優(yōu)總結(jié)可以使用各種策略來優(yōu)化MapReduce作業(yè)，其中一些策略需要管理員設(shè)置集群級別的配置屬性，而有些策略則需要進行程序開發(fā)方面的改動，包括編寫更有效的代碼和使用先進的概念，如combiners和partitioners等。可以利用多種優(yōu)化技術(shù)來提高Hive和Pig作業(yè)的性能。在進行重要改動時進行基準(zhǔn)測試是一個好主意，比如添加更多的服務(wù)器或更改重要的配置參數(shù)?；鶞?zhǔn)測試還可以用于比較不同集群的性能。理解Hadoop的內(nèi)置計數(shù)器有助于作業(yè)故障排除和作業(yè)性能調(diào)優(yōu)。MapReduce集群調(diào)優(yōu)總結(jié)MapReduce旨在處理大數(shù)據(jù)。由于在MapReduce框架中，在默認情況下，每個mapper任務(wù)都會處理一個HDFS文件，所以如果有大量輸入文件，則使用特殊輸入格式（如MultiIFileInputFormat）可以更有效地處理每個mapper任務(wù)中的多個文件。而且，讓每個mapper處理更大的數(shù)據(jù)塊是個好主意。那么一個好的策略是將多個小輸入文件