Hadoop中TeraSort算法分析

1、Hadoop中TeraSort算CategorMya:pRedTTeraortHadoopHadoopTTeraortHadoopTeraortthoDr:oHaaptaredapred(OIJTTDL3)fubfuy|G2(oujocsjqiajcif)U|Guucqi!Jicy|ca內(nèi)就）bpta?cjSUIUOJJjf-ROLf高redapyeqncs-百呂$1數(shù)據(jù)tr悶LI中OIJ|f叮jjLmpi打b訊附!ho沁1中01丁1KCXJSBrXbsuifroupb典里!凹出二L円ycrjnccia?|t內(nèi)曲|tR|l!SK-inmbm(ou嚴亡即qjjfRimcLUKqrsicic?uH

2、DL3)lubnfijicaptai.cinofcLGirqb勺wi!u1L-iJi!*：1；:|山|.譏|:.;山:|bUIJJOIJK-1RO14TeraSort皿Iiedgbctao分個數(shù)囚想b數(shù)據(jù)red-utask個數(shù))redkumnoijn內(nèi)1jnaj(1fjcqnc&何蘋蝕HL)L)箏叭ujcafOfT-tlni昨1()rtrbrt|iTeraortaptaHadoopTeraortredtae數(shù)據(jù)采樣在端進行，首先從輸入數(shù)據(jù)中抽取一部分數(shù)據(jù)，將這些數(shù)據(jù)進行排序，然后將它們劃分成個數(shù)據(jù)塊，找出每個數(shù)據(jù)塊的數(shù)據(jù)上限和下線（稱為分割點），并將這些分割點保存到分布式緩存中。在階段，每個首

3、先從分布式緩存中讀取分割點，并對這些分割點建立樹（兩層樹，樹的葉子節(jié)點上保存有該節(jié)點對應(yīng)的編號）。然后正式開始處理數(shù)據(jù)，對于每條數(shù)據(jù)，在樹中查找它屬于的的編號，并保存起來。在階段，每個從每個中讀取其對應(yīng)的數(shù)據(jù)進行局部排序，最后將處理后結(jié)果按編號依次輸出即可。算法關(guān)鍵點（1）采樣自帶了很多數(shù)據(jù)采樣工具，包括，等（具體見）。采樣數(shù)據(jù)條數(shù)：選取的個數(shù)：是所有組成的數(shù)組。每個提取的數(shù)據(jù)條數(shù)：對采樣的數(shù)據(jù)進行全排序，將獲取的分割點寫到文件中，并將它存放到分布式緩存區(qū)中。舉例說明：比如采樣數(shù)據(jù)為b，b，c，b，dbc，d，b，cedf，gh，f，drr，rm，k經(jīng)排序后，得到：，如果個數(shù)為，則分割點為：，（）對數(shù)據(jù)記錄做標記每個從文件讀取分割點，并創(chuàng)建樹（假設(shè)是，即組織利用前兩個字節(jié)）。從中一條一條讀取數(shù)據(jù)，并通過樹查找每條記錄所對應(yīng)的編號。比如