2023學(xué)年完整公開課版算子調(diào)優(yōu)

算子調(diào)優(yōu)

使用mapPartitions算子提高性能使用coalesce算子提高性能使用foreachPartition算子進(jìn)行數(shù)據(jù)庫連接Repartition的使用/01基本介紹

使用mapPartitions算子提高性能使用mapPartitions算子提高性能（一）mapPartition的優(yōu)點(diǎn)：使用普通的map操作，假設(shè)一個(gè)partition中有1萬條數(shù)據(jù)，那么function就要被執(zhí)行1萬次，但是使用mapPartitions操作之后，function僅僅會(huì)被執(zhí)行一次，顯然性能得到了很大的提升。mapPartition的缺點(diǎn)：使用普通的map操作，調(diào)用一次function執(zhí)行一條數(shù)據(jù)，不會(huì)出現(xiàn)內(nèi)存不夠使用的情況；但是使用mapPartitions操作，很顯然，如果數(shù)據(jù)量太過于大的時(shí)候，由于內(nèi)存有限導(dǎo)致發(fā)生OOM，內(nèi)存溢出。使用mapPartitions算子提高性能（二）

總結(jié)：

通過以上以上優(yōu)缺點(diǎn)的對(duì)比，我們可以得出一個(gè)結(jié)論；就是在數(shù)據(jù)量不是很大的情況下使用mapPartition操作，性能可以得到一定的提升。

在使用mapPartition前，我們需要預(yù)先估計(jì)一下每個(gè)partition的量和每個(gè)executor可以被分配到的內(nèi)存資源。

然后嘗試去運(yùn)行程序。使用mapPartitions算子提高性能（三）如果程序沒有問題就大可放心的使用即可，下圖是一個(gè)實(shí)際的應(yīng)用例子，僅供參考。/02基本介紹

使用coalesce算子提高性能先看看默認(rèn)情況下，執(zhí)行完filter操作以后的各個(gè)partition的情況，如下圖所示；使用coalesce算子提高性能（一）問題：

從上面的圖中可以很明顯的看出，經(jīng)過一次filter操作以后，每個(gè)partition的數(shù)據(jù)量不同程度的變少了，這里就出現(xiàn)了一個(gè)問題；由于每個(gè)partition的數(shù)據(jù)量不一樣，出現(xiàn)了數(shù)據(jù)傾斜的問題。

比如上圖中執(zhí)行filter之后的第一個(gè)partition的數(shù)據(jù)量還有9000條。使用coalesce算子提高性能（二）解決方案：

針對(duì)上述出現(xiàn)的問題，我們可以將filter操作之后的數(shù)據(jù)進(jìn)行壓縮處理；一方面減少partition的數(shù)量，從而減少task的數(shù)量；另一方面通過壓縮處理之后，盡量讓每個(gè)partition的數(shù)據(jù)量差不多，減少數(shù)據(jù)傾斜情況的出現(xiàn)，從而避免某個(gè)task運(yùn)行速度特別慢。coalesce算子就是針對(duì)上述出現(xiàn)的問題的一個(gè)解決方案，下圖是一個(gè)解決案例。

使用coalesce算子提高性能（三）coalesce算子就是針對(duì)上述出現(xiàn)的問題的一個(gè)解決方案，下圖是一個(gè)解決案例。

使用coalesce算子提高性能（四）/03基本介紹

使用foreachPartition算子進(jìn)行數(shù)據(jù)庫連接使用foreachPartition算子進(jìn)行數(shù)據(jù)庫連接

默認(rèn)的foreach對(duì)于每一條數(shù)據(jù)，都要單獨(dú)調(diào)用一次function并創(chuàng)建一個(gè)數(shù)據(jù)庫連接，如果數(shù)據(jù)量很大，對(duì)于spark作業(yè)是非常消耗性能的。而對(duì)于foreachPartition來說，對(duì)于function函數(shù)，只調(diào)用一次，只獲取一個(gè)數(shù)據(jù)庫連接，一次將數(shù)據(jù)全部寫入數(shù)據(jù)庫。但是數(shù)據(jù)量很大的話，可能會(huì)引發(fā)OOM的問題。不過在生產(chǎn)環(huán)境中一般都是使用foreachPartition。使用foreachPartition算子進(jìn)行數(shù)據(jù)庫連接示例：使用foreachPartition算子進(jìn)行數(shù)據(jù)庫連接/04基本介紹

repartition的使用repartition的使用

在spark項(xiàng)目中，如果在某些地方使用了SparkSQL，那么使用了SparkSQL的那個(gè)stage的并行度就沒有辦法通過手動(dòng)設(shè)置了，而是由程序自己決定。那么，我們通過什么樣的手段來提高這些stage的并行度呢？其實(shí)解決這個(gè)問題的辦法就是使partition的數(shù)量增多，從而間接的提高了task的并發(fā)度，要提高partition的數(shù)量，該怎么做呢？

就是使用repartition算子，對(duì)SparkSQL查詢出來的數(shù)據(jù)重新進(jìn)行分區(qū)操作，此時(shí)可以增加分區(qū)的個(gè)數(shù)。具體使用如下圖所示：1.使用mapPartitions算子提高性能

2.