使用combiners提升MapReduce性能

主講：張義目錄0102Combiner簡(jiǎn)介使用CombinerCombiner簡(jiǎn)介1Combiner簡(jiǎn)介眾所周知，Hadoop框架使用Mapper將數(shù)據(jù)處理成一個(gè)個(gè)的<key,value>鍵值對(duì)，在網(wǎng)絡(luò)節(jié)點(diǎn)間對(duì)其進(jìn)行整理（shuffle），然后使用Reducer處理數(shù)據(jù)并進(jìn)行最終輸出。在上述過(guò)程中，我們看到至少兩個(gè)性能瓶頸：網(wǎng)絡(luò)帶寬嚴(yán)重被占降低程序效率：如果我們有10億個(gè)數(shù)據(jù)，Mapper會(huì)生成10億個(gè)鍵值對(duì)在網(wǎng)絡(luò)間進(jìn)行傳輸，但如果我們只是對(duì)數(shù)據(jù)求最大值，那么很明顯的Mapper只需要輸出它所知道的最大值即可。這樣做不僅可以減輕網(wǎng)絡(luò)壓力，同樣也可以大幅度提高程序效率。Combiner簡(jiǎn)介單一節(jié)點(diǎn)承載過(guò)重降低程序性能：假設(shè)使用美國(guó)專利數(shù)據(jù)集中的國(guó)家一項(xiàng)來(lái)闡述數(shù)據(jù)傾斜這個(gè)定義，這樣的數(shù)據(jù)遠(yuǎn)遠(yuǎn)不是一致性的或者說(shuō)平衡分布的，由于大多數(shù)專利的國(guó)家都屬于美國(guó)，這樣不僅Mapper中的鍵值對(duì)、中間階段（shuffle）的鍵值對(duì)等，大多數(shù)的鍵值對(duì)最終會(huì)聚集于一個(gè)單一的Reducer之上，壓倒這個(gè)Reducer，從而大大降低程序的性能。Combiner簡(jiǎn)介在MapReduce編程模型中，在Mapper和Reducer之間有一個(gè)非常重要的組件，它解決了上述的性能瓶頸問(wèn)題，它就是combiner。combiner是一種MapReduce優(yōu)化方式，可減少需要從mapper發(fā)送到reducer的鍵/值對(duì)數(shù)量。combiner通過(guò)在map端執(zhí)行一些reduce作業(yè)來(lái)處理由mapper發(fā)出的鍵/值對(duì)的中間結(jié)果，map階段執(zhí)行部分聚合，并將此數(shù)據(jù)發(fā)送到reducer。Combiner簡(jiǎn)介通常MapReduce作業(yè)同時(shí)具有map和reduce階段。map階段以鍵/值格式處理輸入數(shù)據(jù),并產(chǎn)生鍵/值對(duì)作為輸出。reduce階段接受map輸出的每個(gè)鍵,遍歷每個(gè)鍵的值，并產(chǎn)生零個(gè)或多個(gè)鍵/值對(duì)。有時(shí)不需要reduce階段，比如在SQL語(yǔ)句中使用SELECT或WHERE子句時(shí)。在這種情況下，可以使用map-only作業(yè)來(lái)處理輸入數(shù)據(jù)。使用combiner2使用combiner可以使用與輸入和輸出記錄相關(guān)的MapReduce計(jì)數(shù)器來(lái)檢查combiner的效率。本節(jié)課程不深入探討關(guān)于combiner的編程。為了實(shí)現(xiàn)combiner，開(kāi)發(fā)人員可以簡(jiǎn)單地使用現(xiàn)有的reduce函數(shù)作為combiner。combiner實(shí)現(xiàn)reducer接口，可以以map輸出的多個(gè)值調(diào)用它，并用此代碼覆蓋reduce()方法。使用combiner可以通過(guò)查看MapReduceFramework組中名為CombineInputRecords和CombineOutputRecords的計(jì)數(shù)器來(lái)驗(yàn)證combiner的影響。如果作業(yè)沒(méi)有使用任何combiner，則這兩個(gè)計(jì)數(shù)器都顯示零值。在這種情況下，沒(méi)有combiner類,reduce輸入記錄的數(shù)量與map輸出記錄的數(shù)量相同。