Hadoop生態(tài)系統(tǒng)組成2

Hadoop生態(tài)系統(tǒng)組成2Hadoop生態(tài)系統(tǒng)組成3Hadoop生態(tài)系統(tǒng)組成Hadoop是一個(gè)開發(fā)和運(yùn)行處理大規(guī)模數(shù)據(jù)的軟件平臺(tái),是Appach的一個(gè)用java語言實(shí)現(xiàn)開源軟件框架，實(shí)現(xiàn)在大量計(jì)算機(jī)組成的集群中對海量數(shù)據(jù)進(jìn)行分布式計(jì)算。今天我們來詳細(xì)介紹下hadoop的生態(tài)系統(tǒng)。4Hadoop生態(tài)系統(tǒng)組成Hadoop生態(tài)系統(tǒng)概況Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。具有可靠、高效、可伸縮的特點(diǎn)。Hadoop的核心是HDFS和MapReduce，hadoop2.0還包括YARN。5Hadoop生態(tài)系統(tǒng)組成HDFS（Hadoop分布式文件系統(tǒng)）源自于Google的GFS論文，發(fā)表于2003年10月，HDFS是GFS克隆版。是Hadoop體系中數(shù)據(jù)存儲(chǔ)管理的基礎(chǔ)。它是一個(gè)高度容錯(cuò)的系統(tǒng)，能檢測和應(yīng)對硬件故障，用于在低成本的通用硬件上運(yùn)行。HDFS簡化了文件的一致性模型，通過流式數(shù)據(jù)訪問，提供高吞吐量應(yīng)用程序數(shù)據(jù)訪問功能，適合帶有大型數(shù)據(jù)集的應(yīng)用程序。6Hadoop生態(tài)系統(tǒng)組成Hadoop生態(tài)系統(tǒng)概況Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。則有可靠、高效、可伸縮的特點(diǎn)。Hadoop的核心是MapReduce,hadoop2.0還包括YARN.7Hadoop生態(tài)系統(tǒng)組成Mapreduce（分布式計(jì)算框架）源自于google的MapReduce論文，發(fā)表于2004年12月，HadoopMapReduce是googleMapReduce克隆版。MapReduce是一種計(jì)算模型，用以進(jìn)行大數(shù)據(jù)量的計(jì)算。其中Map對數(shù)據(jù)集上的獨(dú)立元素進(jìn)行指定的操作，生成鍵-值對形式中間結(jié)果。Reduce則對中間結(jié)果中相同“鍵”的所有“值”進(jìn)行規(guī)約，以得到最終結(jié)果。MapReduce這樣的功能劃分，非常適合在大量計(jì)算機(jī)組成的分布式并行環(huán)境里進(jìn)行數(shù)據(jù)處理。8Hadoop生態(tài)系統(tǒng)組成Yarn（資源管理框架）該框架是hadoop2.x以后對hadoop1.x之前JobTracker和TaskTracker模型的優(yōu)化，而產(chǎn)生出來的，將JobTracker的資源分配和作業(yè)調(diào)度及監(jiān)督分開。該框架主要有ResourceManager，Applicationmatser，nodemanager。其主要工作過程如下：9Hadoop生態(tài)系統(tǒng)組成Sqoop（數(shù)據(jù)同步工具）Sqoop是SQL-to-Hadoop的縮寫，主要用于傳統(tǒng)數(shù)據(jù)庫和Hadoop之間傳輸數(shù)據(jù)。數(shù)據(jù)的導(dǎo)入和導(dǎo)出本質(zhì)上是Mapreduce程序，充分利用了MR的并行化和容錯(cuò)性。其中主要利用的是MP中的Map任務(wù)來實(shí)現(xiàn)并行導(dǎo)入，導(dǎo)出。Sqoop發(fā)展到現(xiàn)在已經(jīng)出現(xiàn)了兩個(gè)版本，一個(gè)是sqoop1.x.x系列，一個(gè)是sqoop1.99.X系列。對于sqoop1系列中，主要是通過命令行的方式來操作。10Hadoop生態(tài)系統(tǒng)組成Mahout（數(shù)據(jù)挖掘算法庫）Mahout起源于2008年，最初是ApacheLucent的子項(xiàng)目，它在極短的時(shí)間內(nèi)取得了長足的發(fā)展，現(xiàn)在是Apache的頂級項(xiàng)目。相對于傳統(tǒng)的MapReduce編程方式來實(shí)現(xiàn)機(jī)器學(xué)習(xí)的算法時(shí)，往往需要話費(fèi)大量的開發(fā)時(shí)間，并且周期較長，而Mahout的主要目標(biāo)是創(chuàng)建一些可擴(kuò)展的機(jī)器學(xué)習(xí)領(lǐng)域經(jīng)典算法的實(shí)現(xiàn)，旨在幫助開發(fā)人員更加方便快捷地創(chuàng)建智能應(yīng)用程序。11Hadoop生態(tài)系統(tǒng)組成Mahout現(xiàn)在已經(jīng)包含了聚類、分類、推薦引擎（協(xié)同過濾）和頻繁集挖掘等廣泛使用的數(shù)據(jù)挖掘方法。除了算法，Mahout還包含數(shù)據(jù)的輸入/輸出工具、與其他存儲(chǔ)系統(tǒng)（如數(shù)據(jù)庫、MongoDB或Cassandra）集成等數(shù)據(jù)挖掘支持架構(gòu)。mahout的各個(gè)組件下面都會(huì)生成相應(yīng)的jar包。此時(shí)我們需要明白一個(gè)問題：到底如何使用mahout呢？實(shí)際上，mahout只是一個(gè)機(jī)器學(xué)習(xí)的算法庫，在這個(gè)庫當(dāng)中是想了相應(yīng)的機(jī)器學(xué)習(xí)的算法，如：推薦系統(tǒng)（包括基于用戶和基于物品