MapReduce技術(shù)平臺詳解

1、技術(shù)創(chuàng)新，變革未來MapReduce技術(shù)平臺詳解內(nèi)容MapReduce介紹MapReduce優(yōu)缺點MapReduce基本流程 MapReduce編程范例MapReduce練習(xí)案例MapReduce介紹MapReduce 是一個分布式計算框架基于它寫出來的應(yīng)用程序能夠運行在由上千個商用機(jī)器組 成的大型集群上以一種可靠容錯的方式并行處理PB級別的數(shù)據(jù)集Hadoop MapReduce 其實就是 Google MapReduce 的一 個開源版本MapReduce優(yōu)點易于編程：簡單的實現(xiàn)一些接口，類似于寫一個簡單的串 行程序，就可以完成一個分布式程序，這個分布式程序可以 分布到大量廉價的 PC 機(jī)器

2、運行良好的擴(kuò)展性：計算資源不夠的時候，可以通過簡單的增 加機(jī)器擴(kuò)展計算能力高容錯性：例如其中一臺機(jī)器掛了，會自動把上面的計算任務(wù)轉(zhuǎn)移到另外一個節(jié)點上運行，不至于任務(wù)運行失敗，整 個過程不需要人工參與離線處理PB 級以上海量數(shù)據(jù)：適合離線處理MapReduce缺點實時計算： MapReduce 無法像 Mysql 一樣，在毫秒或者 秒級內(nèi)返回結(jié)果流式計算： MapReduce 自身的設(shè)計特點決定了數(shù)據(jù)源必 須是靜態(tài)的，不能動態(tài)變化，而流式計算的輸入數(shù)據(jù)是動態(tài) 的DAG計算：涉及多次迭代計算，MapReduce 可以做，但是每個MapReduce 作業(yè)的輸出結(jié)果都會寫入到磁盤，造成 大量的磁盤IO

3、，導(dǎo)致性能低下MapReduce基本流程（1）MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集的并行 計算，主要思想是Map(映射)和Reduce(化簡)。MapReduce程序?qū)⑤斎霐?shù)據(jù)列表變成輸出數(shù)據(jù)列表。MapReduce程序由兩個階段組成：Map和Reduce，用戶 只需要實現(xiàn)map()和reduce()兩個函數(shù)，即可實現(xiàn)分布式計 算。MapReduce基本流程（2）map任務(wù)處理對輸入文件的每一行，解析成key、value對，每一個鍵值 對調(diào)用一次map函數(shù)寫自己的邏輯，對輸入的key、value處理，轉(zhuǎn)換成新的key、value輸出對輸出的key、value進(jìn)行分區(qū)對不同分區(qū)的數(shù)

4、據(jù)，按照key進(jìn)行排序、分組，相同key的value放到一個集合中(可選)分組后的數(shù)據(jù)進(jìn)行歸約MapReduce基本流程（3）reduce任務(wù)處理對多個map任務(wù)的輸出，按照不同的分區(qū)，通過網(wǎng)絡(luò)copy到不同的reduce節(jié)點對多個map任務(wù)的輸出進(jìn)行合并、排序?qū)憆educe函數(shù)邏輯，對輸入的key、value處理，轉(zhuǎn)換成新 的key、value輸出把reduce的輸出保存到文件中MapReduce的基本設(shè)計思想對大數(shù)據(jù)并行處理：分而治之上升到抽象模型：Map與Reduce上升到框架：以統(tǒng)一框架為程序員隱藏系統(tǒng)細(xì)節(jié)MapReduce編程范例PatentMapReduce練習(xí)某旅行APP每天產(chǎn)生

5、大量訪問日志，用戶【uuid-x】每一次操作會產(chǎn)生一條 日志記錄，假設(shè)用戶可通過單程搜索【search-dancheng】，往返搜索【 search-wangfan】等多個入口進(jìn)入，可通過報價詳情頁【detail】選擇航班 并完成最后的下訂單，可通過【submit】完成購票操作日志格式如下，請計算20150521這一天該旅行APP有多少單程搜索，有多 少往返搜索MapReduce練習(xí)合并文檔去重：資源文件a1：hadoop test hello word資源文件a2： happy birthdaythis isa test最終結(jié)果： hadoop testhello word happy birthday thisis a如果不去重呢？MapReduce練習(xí)統(tǒng)計結(jié)果：1-3年經(jīng)驗3-5年經(jīng)驗5-10年經(jīng)驗8-30k10-33k20-35kMapReduce練習(xí)氣象數(shù)據(jù)集：由分布在美國全國各地區(qū)的很多氣象傳感器每隔一小時進(jìn)行 收集MapRedu