云計算與大數(shù)據(jù)技術(shù) 課件9.1Hadoop簡介和生態(tài)

Hadoop分布式系統(tǒng)基礎(chǔ)架構(gòu)Hadoop系統(tǒng)簡介Hadoop是一個大數(shù)據(jù)分布式系統(tǒng)基礎(chǔ)架構(gòu)，是公認的大數(shù)據(jù)通用存儲和分析平臺。它實現(xiàn)了分布式文件系統(tǒng)HDFS（HadoopDistributedFileSystem）、分布式運行程序編程框架MapReduce及資源管理系統(tǒng)YARN（YetAnotherResourceNegotiator），其中，HDFS和MapReduce是Hadoop最核心的設計部分。Hadoop生態(tài)系統(tǒng)狹義上的Hadoop指的是由HDFS、MapReduce、YARN組成的集數(shù)據(jù)存儲、計算和資源管理調(diào)度于一體的大數(shù)據(jù)框架。廣義上的Hadoop指的是以Hadoop為核心，包括HBase、Hive、Flume、Sqoop、Azkaban等底層使用MapReduce進行計算的大數(shù)據(jù)分布式系統(tǒng)基礎(chǔ)架構(gòu)。Hadoop版本Hadoop版本分為三代：第一代Hadoop被稱為Hadoop1.0，第二代Hadoop被稱為Hadoop2.0，第三代Hadoop被稱為Hadoop3.X。Hadoop1.0技術(shù)架構(gòu)Hadoop1.0技術(shù)架構(gòu)Hadoop2.0Hadoop1.0和Hadoop2.0從HDFS和MapReduce兩個角度比較1）HDFS角度（1）Hadoop2.0新增了HDFSHA（高可用）機制，HA增加了StandbyNameNode作為熱備份，它們通過一個共享的存儲結(jié)構(gòu)QJM（QuorumJournalManager）實現(xiàn)數(shù)據(jù)同步，解決了Hadoop1.0的單點故障問題。（2）Hadoop2.0新增了HDFSFederation（聯(lián)邦模式），解決了HDFS水平可擴展能力低的問題。Hadoop1.0和Hadoop2.02）MapReduce角度Hadoop2.0新增了YARN框架，使MapReduce的運行環(huán)境發(fā)生了變化。MapReduce2.0只是一個計算框架，具體資源調(diào)度全部交給YARN框架。Hadoop3.XHadoop3.0提供了更高的性能、更強的容錯能力及更高的數(shù)據(jù)處理能力。在可擴展性方面，Hadoop3.0為YARN提供了Federation，使其集群規(guī)?？梢赃_到上萬臺。Hadoop3.0支持兩個以上的NameNode，支持單ActiveNameNode和多StandbyNameNode的部署方式，進一步提升了可用性。Hadoop3.XJava運行環(huán)境升級為1.8版本，HDFS使用擦除編碼機制來提供容錯