輸入分片與記錄課件

1、MapReduce的類型與格式夏瑞仙MapReduce數(shù)據(jù)處理模型非常簡單：map和reduce函數(shù)的輸入和輸出是鍵/值對（key/value pair）。本章深入討論MapReduce模型，重點介紹各種類型的數(shù)據(jù)（從簡單文本到結(jié)構(gòu)化的二進制對象）如何在MapReduce中使用引言目錄MapReduce的類型 默認的MapReduce作業(yè)輸入格式 輸入分片與記錄 文本輸入 二進制輸入 多種輸入 數(shù)據(jù)庫輸入（和輸出）輸出格式 文本輸出 二進制輸出 多個輸出 延遲輸出 數(shù)據(jù)庫輸出MapReduce的類型map:(K1,V1) list(K2,V2)reduce:(K2,list(V2) list(

2、K3,V3)一般來說，map函數(shù)輸入的鍵/值的類型（K1和V1）不同于輸出類型（K2和V2）reduce函數(shù)的輸入類型必須與map函數(shù)的輸出類型相同，但reduce函數(shù)的輸出類型可以不同于輸入類型MapReduce的類型map:(K1,V1) list(K2,V2)combine：(K2,list(V2) list(K2,V2)reduce:(K2,list(V2) list(K3,V3)combine函數(shù)與reduce函數(shù)通常是一樣的，在這種情況下，K3與K2類型相同，V3與V2類型相同MapReduce的類型partition:(K2,V2) integerpartition函數(shù)將中間的鍵

3、/值對（K2和V2）進行處理，并且返回一個分區(qū)索引。實際上分區(qū)單獨由鍵決定MapReduce的類型為什么不能結(jié)合mapper和reducer導出類型呢？ 默認的MapReduce作業(yè)默認的輸入格式是TextInputFormat，它產(chǎn)生的鍵類型是LongWritable，值類型是Text（文本行）默認的mapper是IdentityMapper，它將輸入的鍵和值原封不動地寫到輸出中 IdentityMapper是一個泛型類型，它可以接受任何鍵或值的類型，只要map輸入和輸出鍵的類型相同，值的類型也相同就可以 默認的MapReduce作業(yè)默認的partitioner是HashPartitione

4、r，它對每條記錄的鍵進行哈希操作以決定該記錄應該屬于哪個分區(qū)。每個分區(qū)對應一個reducer任務 鍵的哈希碼被轉(zhuǎn)換為一個非負整數(shù)，它由哈希值與最大的整型值做一次按位與操作而獲得，然后用分區(qū)數(shù)進行取模操作，來決定該記錄屬于哪個分區(qū)索引 默認的MapReduce作業(yè)默認的reducer是IdentityReducer，它也是一個泛型類型，它簡單的將所有的輸入寫到輸出中 大多數(shù)MapReduce程序不會一直用相同的鍵或值類型，所以就想上一節(jié)中描述的那樣，必須配置作業(yè)來聲明使用的類型 默認的Streaming作業(yè)必須提供一個mapper因為默認的輸入格式TextInputFormat產(chǎn)生的鍵類型是Lo

5、ngWritable，值類型是Text，而Streaming的輸出鍵和值（包括map的鍵和值）都是Text類型。默認的IdentityMapper無法將LongWritable類型的鍵轉(zhuǎn)換為Text類型的鍵Streaming中的鍵和值Streaming應用可以決定分隔符，該分隔符用于通過標準輸入把鍵/值對轉(zhuǎn)換為一串比特值發(fā)送到map或reduce函數(shù)。分隔符默認情況下是Tab（制表符)，但如果鍵或值本身含有Tab，它能將分隔符修改成其他符號輸出鍵/值對時，也需要用一個可配置的分隔符來進行分割Streaming中的鍵和值輸入格式輸入格式輸入分片與記錄一個輸入分片（split）就是由單個map處理

6、的輸入塊每條記錄就是一個鍵/值對在數(shù)據(jù)庫的場景中，一個輸入分片對應于一個表上的若干行，而一條記錄對應到一行（DBInputFormat正是這么做的，它這種輸入格式用于從關系數(shù)據(jù)庫讀取數(shù)據(jù)）。輸入格式輸入分片與記錄輸入分片（split）在Java中被表示為InputSplit接口InputSplit包含一個以字節(jié)為單位的長度和一組存儲位置（即一組主機名）輸入格式輸入分片與記錄InputSplit是由InputForamt創(chuàng)建的。InputForamt負責產(chǎn)生輸入分片并將它們分割成記錄。輸入格式FileInputFormat類FileInputFormat是所有使用文件作為其數(shù)據(jù)源的InputFo

7、rmat實現(xiàn)的基類提供了兩個功能：一個定義哪些文件包含在一個作業(yè)的輸入中，一個為輸入文件生成分片的實現(xiàn)。輸入格式FileInputFormat類的輸入路徑輸入格式FileInputFormat類的輸入路徑add和set方法允許指定包含的文件。如果需要排除特定文件，可以使用setInputPathFilter（）方法設置一個過濾器即使不設置過濾器，也會使用一個默認的過濾器來排除隱藏文件（名稱中以.和_開頭的文件）輸入格式FileInputFormat類的輸入分片最小的輸入分片大小通常是1字節(jié)最大的分片大小默認為Java long類型表示的最大值輸入格式FileInputFormat類的輸入分片若

8、需增加map數(shù),可以把mapred.min.split.size調(diào)小，把mapred.max.split.size調(diào)大若需減少map數(shù), 可以把mapred.min.split.size調(diào)大,并把mapred.max.split.size調(diào)小輸入格式FileInputFormat類的輸入分片輸入格式小文件與CombineFileInputFormatFileInputFormat會讓每個輸入文件至少產(chǎn)生一個map任務, 因此如果你的輸入目錄下有許多文件, 而每個文件都很小, 例如幾十kb, 那么每個文件都產(chǎn)生一個map會增加調(diào)度開銷. 作業(yè)變慢.那么如何防止這種問題呢? CombineFile

9、InputFormat能有效的減少map數(shù)量.CombineFileInputFormat是針對小文件而設計的抽象類輸入格式避免切分有些應用程序可能不希望文件被切分，而是用一個mapper完整處理每一個輸入文件。輸入格式把整個文件作為一條記錄來處理輸入格式將若干個小文件打包成順序文件的MapReduce程序輸入格式TextInputFormat默認的InputFormat，鍵是LongWritable類型，存儲該行在整個文件中的字節(jié)偏移量，值是Text類型，是這行的內(nèi)容，不包括任何終止符（換行符和回車符）輸入格式KeyValueTextInputFormat輸入格式NLineInputForm

10、at輸入格式XML大多數(shù)XML解析器會處理整個XML文檔，所以如果一個大型XML文檔由多個輸入分片組成，那么單獨處理每個分片就有挑戰(zhàn)了把整個文件作為一條記錄來處理StreamXmlRecordReader類輸入格式二進制輸入SequenceFileInputFormat Hadoop的順序文件格式存儲二進制的鍵/值對的序列SequenceFileAsTextInputFormatSequenceFileAsBinaryInputFormat 變體 二進制對象 SequenceFile.Reader的appendRaw()方法輸入格式多種輸入數(shù)據(jù)格式往往會隨著時間演變對不同的數(shù)據(jù)集進行連接（jo

11、in，也稱“聯(lián)接”）操作MultipleInputs 允許為每條輸入路徑指定InputFormat和Mapper輸入格式數(shù)據(jù)庫輸入（和輸出）DBInputFormat用于使用JDBC從關系數(shù)據(jù)庫中讀取數(shù)據(jù)最好用于加載小量的數(shù)據(jù)集，如果需要與來自HDFS的大數(shù)據(jù)集連接，要使用MultipleInputs DBOutputFormat適用于將作業(yè)輸出數(shù)據(jù)（中等規(guī)模的數(shù)據(jù)）轉(zhuǎn)儲到數(shù)據(jù)庫輸出格式 文本輸出默認的輸出格式是TextOutputFormat鍵和值可以是任意類型，因為TextOutputFormat調(diào)用toString()方法把它們轉(zhuǎn)換為字符串每個鍵和值由制表符進行分割與TextOutputFormat對應的輸入格式是KeyValueTextInputFormatNullWritable輸出格式 二進制輸出SequenceFileOutputFormatSequenceFileAsBinaryOutputFormatMapFileOutputFormat輸出格式 多個輸出輸出格式 多個輸出MultipleOutputFormat可以將數(shù)據(jù)寫到多個文件，這些文件的名稱源于輸出的鍵和值抽象類，兩個實體子類：MultipleTex