數(shù)據(jù)傾斜的原因

數(shù)據(jù)傾斜的原因2學(xué)習(xí)任務(wù)了解何為數(shù)據(jù)傾斜數(shù)據(jù)傾斜解決方案數(shù)據(jù)傾斜的原理3知識(shí)目標(biāo)了解何為數(shù)據(jù)傾斜了解數(shù)據(jù)傾斜解決方案理解數(shù)據(jù)傾斜的原理01能力目標(biāo)掌握數(shù)據(jù)傾斜解決方案02學(xué)習(xí)目標(biāo)4目錄01何為數(shù)據(jù)傾斜02數(shù)據(jù)傾斜的原理03數(shù)據(jù)傾斜解決方案5何為數(shù)據(jù)傾斜-Hadoop中的數(shù)據(jù)傾斜Hadoop中直接貼近用戶使用使用的時(shí)Mapreduce程序和Hive程序，雖說Hive最后也是用MR來執(zhí)行（至少目前Hive內(nèi)存計(jì)算并不普及），但是畢竟寫的內(nèi)容邏輯區(qū)別很大，一個(gè)是程序，一個(gè)是Sql，因此這里稍作區(qū)分。Hadoop中的數(shù)據(jù)傾斜主要表現(xiàn)在ruduce階段卡在99.99%，一直99.99%不能結(jié)束。

6何為數(shù)據(jù)傾斜-Hadoop中的數(shù)據(jù)傾斜

這里如果詳細(xì)的看日志或者和監(jiān)控界面的話會(huì)發(fā)現(xiàn)：

有一個(gè)多幾個(gè)Reduce卡住各種container報(bào)錯(cuò)OOM讀寫的數(shù)據(jù)量極大，至少遠(yuǎn)遠(yuǎn)超過其它正常的Reduce

伴隨著數(shù)據(jù)傾斜，會(huì)出現(xiàn)任務(wù)被kill等各種詭異的表現(xiàn)。經(jīng)驗(yàn)：

Hive的數(shù)據(jù)傾斜，一般都發(fā)生在Sql中Group和On上，而且和數(shù)據(jù)邏輯綁定比較深7何為數(shù)據(jù)傾斜-Spark中的數(shù)據(jù)傾斜Spark中的數(shù)據(jù)傾斜也很常見，這里包括SparkStreaming和SparkSql，表現(xiàn)主要有下面幾種：key分布不均勻Executorlost，OOM，Shuffle過程出錯(cuò)DriverOOM單個(gè)Executor執(zhí)行時(shí)間特別久，整體任務(wù)卡在某個(gè)階段不能結(jié)束正常運(yùn)行的任務(wù)突然失敗8數(shù)據(jù)傾斜的原因數(shù)據(jù)傾斜產(chǎn)生的原因我們以Spark和Hive的使用場(chǎng)景為例。他們?cè)谧鰯?shù)據(jù)運(yùn)算的時(shí)候會(huì)設(shè)計(jì)到，countdistinct、groupby、join等操作，這些都會(huì)觸發(fā)Shuffle動(dòng)作，一旦觸發(fā)，所有相同key的值就會(huì)拉到一個(gè)或幾個(gè)節(jié)點(diǎn)上，就容易發(fā)生單點(diǎn)問題。萬惡的Shuffle

Shuffle是一個(gè)能產(chǎn)生奇跡的地方，不管是在Spark還是Hadoop中，它們的作用都是至關(guān)重要的。那么在Shuffle如何產(chǎn)生了數(shù)據(jù)傾斜？9數(shù)據(jù)傾斜的原因10數(shù)據(jù)傾斜的解決方案增加jvm內(nèi)存。增加reduce的個(gè)數(shù)。自定義分區(qū)。重新設(shè)計(jì)key。使用co