2023學年完整公開課版Hadoopshuffle與Sparkshuffle的區(qū)別

Hadoopshuffle與Sparkshuffle的區(qū)別2知識目標Shuffle簡介兩種shuffle的區(qū)別01能力目標了解什么是shuffle清楚兩種shuffle的區(qū)別02學習目標3目錄01Shuffle簡介04Shufflewrite/read實現上有一些區(qū)別02030506是否需要對key提前進行排序DAG數據流的優(yōu)勢數據fetch與數據計算的重疊粒度的細微區(qū)別從性能優(yōu)化角度來講，Spark考慮的更全面Shuffle簡介4Shuffle，翻譯成中文就是洗牌。之所以需要Shuffle，還是因為具有某種共同特征的一類數據需要最終匯聚（aggregate）到一個計算節(jié)點上進行計算。這些數據分布在各個存儲節(jié)點上并且由不同節(jié)點的計算單元處理。以最簡單的Word

Count為例，其中數據保存在Node1、Node2和Node3；經過處理后，這些數據最終會匯聚到Nodea、Nodeb處理。這個數據重新打亂然后匯聚到不同節(jié)點的過程就是Shuffle。

ApacheSpark的Shuffle過程與ApacheHadoop的Shuffle過程有著諸多類似，一些概念可直接套用，例如，Shuffle過程中，提供數據的一端，被稱作Map端，Map端每個生成數據的任務稱為Mapper，對應的，接收數據的一端，被稱作Reduce端，Reduce端每個拉取數據的任務稱為Reducer，Shuffle過程本質上都是將Map端獲得的數據使用分區(qū)器進行劃分，并將數據發(fā)送給對應的Reducer的過程。是否需要對key提前進行排序5從邏輯角度來講，Shuffle過程就是一個GroupByKey的過程，兩者沒有本質區(qū)別。只是MapReduce為了方便GroupBy存在于不同partition中的key/valuerecords，就提前對key進行排序。Spark認為很多應用不需要對key排序，就默認沒有在GroupBy的過程中對key排序。6DAG數據流的優(yōu)勢從數據流角度講，兩者有差別。MapReduce只能從一個MapStageshuffle數據，Spark可以從多個MapStagesshuffle數據（這是DAG型數據流的優(yōu)勢，可以表達復雜的數據流操作）7Shufflewrite/read實現上有一些區(qū)別以前對shufflewrite/read的分類是sort-based和hash-based。MapReduce可以說是sort-based，shufflewrite和shuffleread過程都是基于keysorting的(bufferingrecords+in-memorysort+on-diskexternalsorting)。早期的Spark是hash-based，shufflewrite和shuffleread都使用HashMap-like的數據結構進行aggregate(withoutkeysorting)。但目前的Spark是兩者的結合體，shufflewrite可以是sort-based(onlysortpartitionid,withoutkeysorting)，shuffleread階段可以是hash-based。因此，目前sort-based和hash-based已經“你中有我，我中有你”，界限已經不那么清晰。8數據fetch與數據計算的重疊粒度的細微區(qū)別MapReduce是粗粒度，reducerfetch到的records先被放到shufflebuffer中休息，當shufflebuffer快滿時，才對它們進行combine()。而Spark是細粒度，可以即時將fetch到的record與HashMap中相同key的record進行aggregate。9從性能優(yōu)化角度來講，Spark考慮的更全面MapReduce的shuffle方式單一。Spark針對不同類型的操作、不同類型的參數，會使用不同的shufflewrite方式。所以說，Hadoopshuffle與Sparksh