通過MapReduce對HBase數(shù)據(jù)進行統(tǒng)計分析

通過MapReduce對HBase數(shù)據(jù)進行統(tǒng)計分析目錄一、概述 1二、應用場景 1三、Map程序 2四、Reduce程序 2五、Combiner程序 3六、作業(yè)執(zhí)行 3一、概述HBase作為一種kv數(shù)據(jù)庫，能夠很好的面對高吞吐率的在線數(shù)據(jù)讀寫服務，尤其是寫操作，但是在非rowkey多條件查詢、數(shù)據(jù)分析、統(tǒng)計等場景下，HBase表現(xiàn)的就不是很好了，這些場景下就比較適合MapReduce出場了。二、應用場景這里就通過一個示例程序，一步一步帶著大家學習MapReduce的開發(fā)。假設我們有一張業(yè)務表（biz_detail），它有一列是業(yè)務發(fā)生日期（ts），每行數(shù)據(jù)就是一條業(yè)務發(fā)生，現(xiàn)在我們要統(tǒng)計業(yè)務發(fā)生日期每天的業(yè)務量（數(shù)據(jù)行數(shù)），對于這樣一個簡單統(tǒng)計需求，我們可以通過MapReduce程序來實現(xiàn)。三、Map程序TableAnalyzeMap繼承HBase的TableMapper基類，把ts看做文本，行數(shù)自然是整數(shù)，所以key-value輸出類型自然是<Text,IntWritable>，具體代碼如下：四、Reduce程序TableAnalyzeReduce繼承HBase的TableReducer基類，這里我們把最終聚合后的結(jié)果寫到目標表中，rowkey對應ts，行數(shù)對應目標表的cf:count列，具體代碼如下：五、Combiner程序分析map程序，我們可以看到，map階段處理后的數(shù)據(jù)是沒有任何合并的，key為日期，value都是1，這樣的話，如果直接進入reduce階段，要分發(fā)的數(shù)據(jù)量還是比較大的，會造成網(wǎng)絡負擔，針對這個問題，我們可以在map階段后，做一下本地reduce，這樣進入reduce的階段的數(shù)據(jù)量會大大減少。六、作業(yè)執(zhí)行程序接收四個參數(shù)，依次為：業(yè)務表名稱、日期字段列族、日期字段列名、目標表名。當然你也可以使用ApacheCommonsCLI類解析命令行參數(shù)，這里就不做說明了。其中scan.setCaching(500)設置每次讀取行數(shù)，根據(jù)實際情況進行配置，scan.setCacheBlocks(false)告訴HBase本次掃描的數(shù)據(jù)不要放入緩存中，其他就不再詳述，通過代碼就能夠看明白。這樣，整個mapreduce程序我們已經(jīng)開發(fā)完成，生成相應jar包后，我