數(shù)據(jù)分區(qū)和如何避免shuffle

主講：張義目錄01數(shù)據(jù)分區(qū)和如何避免shuffle數(shù)據(jù)分區(qū)和如何避免shuffle1數(shù)據(jù)分區(qū)和如何避免shuffle可以通過提前分配RDD來提高會導(dǎo)致數(shù)據(jù)shuffle(join、reduceByKey、groupByKey）的轉(zhuǎn)換作業(yè)的性能。如果對RDD分區(qū)，則可以完全繞過shuffle過程。數(shù)據(jù)分區(qū)和如何避免shuffle如果可以對RDD分區(qū)，則特定鍵的值位于相同的分區(qū)中,因此可以在本地處理數(shù)據(jù)，而無須在網(wǎng)絡(luò)上進行數(shù)據(jù)shuffle。數(shù)據(jù)分區(qū)和如何避免shuffle當加入新的RDD時，通過網(wǎng)絡(luò)的數(shù)據(jù)shuffle更加成為問題。但是，當加入具有未分區(qū)RDD的分區(qū)RDD時，分區(qū)RDD將在本地進行處理。只有未分區(qū)的RDD才需要排序，并將其數(shù)據(jù)通過網(wǎng)絡(luò)發(fā)送到必要的節(jié)點。最終的RDD將保留分區(qū)RDD的分區(qū)。數(shù)據(jù)分區(qū)和如何避免shuffle更好的情況是，join操作中的兩個RDD都使用相同的分區(qū)器進行分區(qū)。這意味著Spark不必在網(wǎng)絡(luò)中的任何一個RDD中shuffle數(shù)據(jù)。一些轉(zhuǎn)換,例如下面例子中的加入，根本不會引發(fā)shuffle操作。當先前的轉(zhuǎn)換使用相同的分區(qū)器對數(shù)據(jù)分區(qū)時，Spark將跳過shuffle操作。首先，看一個例子:數(shù)據(jù)分區(qū)和如何避免shufflerdd1=myRdd.reduceByKey(...)rdd2=otherRdd.reduceByKey(...)rdd3=rdd1.join(rdd2)數(shù)據(jù)分區(qū)和如何避免shuffle在這種情況下，兩個reduceByKey轉(zhuǎn)換會導(dǎo)致兩次數(shù)據(jù)shuffle。但是，要執(zhí)行最終的join操作，如果數(shù)據(jù)集碰巧具有相同數(shù)量的分區(qū)，則不需要shuffle。數(shù)據(jù)分區(qū)和如何避免shuffle這是因為兩個分區(qū)都使用默認的哈希分區(qū)。相同的分區(qū)意味著rddl中任何單個分區(qū)的一組鍵將出現(xiàn)在rdd2的單個分區(qū)中。由于子RDD(rdd3）的任何一個輸出分區(qū)的內(nèi)容取決于父RDDrdd