2023學(xué)年完整公開課版MapReduce介紹2

MapReduce介紹-2理解鍵值對(duì)的含義及為什么采用鍵/值數(shù)據(jù)MapReduce一系列鍵/值變換鍵值對(duì)具體定義1為什么采用鍵/值數(shù)據(jù)2MapReduce一系列鍵/值變換3PART1鍵值對(duì)的含義及重要特性鍵值對(duì)的含義對(duì)于任何JavaMap對(duì)象，其內(nèi)容是從指定類型的給定鍵到相關(guān)值的一組映射，鍵與值的數(shù)據(jù)類型可能不同。

Hodoop中的數(shù)據(jù)包含于相關(guān)值關(guān)聯(lián)的鍵。這些數(shù)據(jù)的存儲(chǔ)方式允許對(duì)數(shù)據(jù)集的不同值根據(jù)鍵進(jìn)行分類和重排。鍵值對(duì)數(shù)據(jù)的重要特征鍵必須是唯一的，而值并不一定是唯一的；每個(gè)值必須與鍵相關(guān)聯(lián)，但鍵可能沒有值；對(duì)鍵進(jìn)行明確定義非常重要.PART2為什么采用鍵/值數(shù)據(jù)為什么采用鍵/值數(shù)據(jù)鍵/值數(shù)據(jù)作為MapReduce操作的基礎(chǔ)，成就了一個(gè)強(qiáng)大的編程模型，使MapReduce獲得了令人驚訝的廣泛應(yīng)用。鍵值數(shù)據(jù)這一簡(jiǎn)單的模型具有廣泛的適用性，以這種形式定義的程序可以應(yīng)用于Hadoop框架。

當(dāng)然，數(shù)據(jù)模型本身并非是使Hadoop如此強(qiáng)大的唯一要素，它真正的強(qiáng)大之處在于如何運(yùn)用并行處理技術(shù)以及分而治之的思想。我們可以在大量主機(jī)上儲(chǔ)存、執(zhí)行數(shù)據(jù)，甚至使用將較大任務(wù)分割成較小任務(wù)的框架，然后將所有的并行結(jié)果整合成最終結(jié)論。MapReduce利用其鍵/值接口提供了這樣的抽象：程序員只需指定所要求的轉(zhuǎn)換，Hadoop完成對(duì)任意規(guī)模數(shù)據(jù)集的復(fù)雜的數(shù)據(jù)轉(zhuǎn)換處理過程。PART3MapReduce一系列鍵/值變換鍵/值變換MapReduce的轉(zhuǎn)換方法{K1，V1}->{K2，List<V2>}->{K3,V3}------------------------------------------------------------------含義：MapReduce作業(yè)的map方法的輸入是一系列鍵值對(duì)，稱之為K1和V1。map方法的輸出是一系列鍵以及與之關(guān)聯(lián)的值列表，稱之為K2和V2。MapReduce作業(yè)的最終輸出是另一串鍵值對(duì)，稱之為K3和V3。1.鍵值對(duì)的具體含義