《Hadoop技術(shù)原理》課件-7.MapReduce進階

Hadoop技術(shù)原理MapReduce進階MapReduce進階01MapReduce進階01MapReduce輸入格式邏輯分片（按照200字分片）MapReduce進階02MapReduce輸入格式邏輯分片有了邏輯分片，就可以逐行獲取數(shù)據(jù)MapReduce進階03MapReduce輸入格式InputFormat類實現(xiàn)了兩個功能數(shù)據(jù)切分，獲得SplitInput（邏輯切片），F(xiàn)ileInputFormat.getSplits()獲取到。為Mapper提供輸入數(shù)據(jù)。有多少個SplitInput，就有多少個Mapper由于沒有定義InputFormat，默認使用TextInputFormat逐行獲取文本MapReduce進階04MapReduce輸出格式OutputFormat主要用于描述輸出數(shù)據(jù)的格式，通過RecordWriter能夠?qū)⒂脩籼峁┑膋ey/value對寫入特定格式的文件中TextOutputFormt調(diào)用toString()方法把它們轉(zhuǎn)換為字符串NullWritable來省略輸出的key或valueMapReduce進階05分區(qū)(partition)Partition定義Mapper任務(wù)劃分數(shù)據(jù)的過程稱作Partition。負責(zé)實現(xiàn)數(shù)據(jù)的類稱作Partitioner，默認的分區(qū)是Hash分區(qū)(HashPartition)。Partition作用將map階段產(chǎn)生的所有<key,value>對分配給不同的Reducer處理，可以將Reduce階段的處理負載進行分攤。把數(shù)據(jù)打散進行處理，最終是為了避免熱塊（數(shù)據(jù)傾斜）Partition的數(shù)量決定Reducer的數(shù)量。MapReduce進階06分區(qū)分區(qū)的基本原理計算某個值的hash值，如果結(jié)果相同，則放入同一個分區(qū)MapReduce進階07合并是一種特殊Reducer，在Mapper端，先執(zhí)行一次Reducer作用：減少Mapper輸出到Reduce的數(shù)據(jù)量，緩解網(wǎng)絡(luò)傳輸瓶頸，提高reducer的執(zhí)行效率。需要注意的問題：一定要謹慎使用Combiner，有些情況不能使用Combiner---->如：求平均值保證引入Combiner以后，不能改變原來的邏輯

合并（Combiner）合并簡介MapReduce進階08合并（Combiner）使用Combiner差異MapReduce進階09合并（Combiner）不能使用Combiner情況-->舉例：求平均值MapReduce工作機制02MapReduce工作機制01Yarn中運行MapReduce的工作原理MapReduce工作機制02Yarn中運行MapReduce的工作原理整個過程涉及五個獨立的實體：客戶端：提交MapReduce作業(yè)YARNResourceManager：負責(zé)協(xié)調(diào)集群上計算機資源的分配YARNNodeManager：負責(zé)啟動和監(jiān)視集群中機器上的計算容器(container)MapReduce的ApplicationMaster，負責(zé)協(xié)調(diào)運行MapReduce作業(yè)的任務(wù)。它和MapReduce任務(wù)在容器中運行，這些容器由資源管理器分配并由節(jié)點管理器進行管理。分布式文件系統(tǒng)（一般為HDFS）：共享作業(yè)文件MapReduce工作機制03狀態(tài)更新在MapReduce中的傳遞流程MapReduce工作機制04狀態(tài)更新在MapReduce中的傳遞流程map任務(wù)或reduce任務(wù)運行時，向自己的MRAppMaster報告進度和狀態(tài)。MRAppMaster形成一個作業(yè)的匯聚視圖客戶端每秒鐘輪詢一次MRAppMaster獲取最新狀態(tài)。Shuffle（MapReduce的核心）05MapReduce確保每個reducer的輸入都是按鍵排序的。系統(tǒng)執(zhí)行排序、將map輸出作為輸入傳給reducer的過程稱為Shuffle。Shuffle是MapReduce奇跡發(fā)生的地方。Shuffle（MapReduce的核心）06Shuffle：把中間結(jié)果里相同鍵值的數(shù)據(jù)送給同一個Reducer一個Reducer處理多個鍵值一個Reducer處理的所有鍵值稱為一個“分片”(Partition)Mapper任務(wù)輸出中間結(jié)果后，需要確定每個鍵值對所對應(yīng)的分片MapReduce編程案例07排序基本數(shù)據(jù)類型（1）數(shù)字默認：升序舉例：查詢員工的薪水，按照升序排序降序：重寫一個比較器 （2）字符串字典順序舉例：WordCount單詞計數(shù)非基本