大數(shù)據(jù)技術(shù)原理與應用 第二章 大數(shù)據(jù)處理架構(gòu)Hadoop

第二章大數(shù)據(jù)處理架構(gòu)Hadoop提綱2.1概述2.2Hadoop項目結(jié)構(gòu)2.3Hadoop的安裝與使用2.4Hadoop集群的部署與使用2.1概述2.1.1 Hadoop簡介2.1.2 Hadoop發(fā)展簡史2.1.3 Hadoop的特性2.1.4 Hadoop的應用現(xiàn)狀Hadoop的標志2.1.1Hadoop簡介

Hadoop是Apache軟件基金會旗下的一個開源分布式計算平臺，為用戶提供了系統(tǒng)底層細節(jié)透明的分布式基礎(chǔ)架構(gòu)Hadoop是基于Java語言開發(fā)的，具有很好的跨平臺特性，并且可以部署在廉價的計算機集群中Hadoop的核心是分布式文件系統(tǒng)HDFS（HadoopDistributedFileSystem）和MapReduceHadoop被公認為行業(yè)大數(shù)據(jù)標準開源軟件，在分布式環(huán)境下提供了海量數(shù)據(jù)的處理能力幾乎所有主流廠商都圍繞Hadoop提供開發(fā)工具、開源軟件、商業(yè)化工具和技術(shù)服務，如谷歌、雅虎、微軟、思科、淘寶等，都支持Hadoop2.1.2Hadoop發(fā)展簡史

Hadoop最初是由ApacheLucene項目的創(chuàng)始人DougCutting開發(fā)的文本搜索庫。Hadoop源自始于2002年的ApacheNutch項目——一個開源的網(wǎng)絡搜索引擎并且也是Lucene項目的一部分

在2004年，Nutch項目也模仿GFS開發(fā)了自己的分布式文件系統(tǒng)NDFS（NutchDistributedFileSystem），也就是HDFS的前身2004年，谷歌公司又發(fā)表了另一篇具有深遠影響的論文，闡述了MapReduce分布式編程思想2005年，Nutch開源實現(xiàn)了谷歌的MapReduce2.1.2Hadoop發(fā)展簡史

到了2006年2月，Nutch中的NDFS和MapReduce開始獨立出來，成為Lucene項目的一個子項目，稱為Hadoop，同時，DougCutting加盟雅虎2008年1月，Hadoop正式成為Apache頂級項目，Hadoop也逐漸開始被雅虎之外的其他公司使用2008年4月，Hadoop打破世界紀錄，成為最快排序1TB數(shù)據(jù)的系統(tǒng)，它采用一個由910個節(jié)點構(gòu)成的集群進行運算，排序時間只用了209秒在2009年5月，Hadoop更是把1TB數(shù)據(jù)排序時間縮短到62秒。Hadoop從此名聲大震，迅速發(fā)展成為大數(shù)據(jù)時代最具影響力的開源分布式開發(fā)平臺，并成為事實上的大數(shù)據(jù)處理標準2.1.3Hadoop的特性

Hadoop是一個能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架，并且是以一種可靠、高效、可伸縮的方式進行處理的，它具有以下幾個方面的特性：

高可靠性

高效性

高可擴展性

高容錯性

成本低

運行在Linux平臺上

支持多種編程語言2.1.3Hadoop的應用現(xiàn)狀

Hadoop憑借其突出的優(yōu)勢，已經(jīng)在各個領(lǐng)域得到了廣泛的應用，而互聯(lián)網(wǎng)領(lǐng)域是其應用的主陣地2007年，雅虎在Sunnyvale總部建立了M45——一個包含了4000個處理器和1.5PB容量的Hadoop集群系統(tǒng)Facebook作為全球知名的社交網(wǎng)站，Hadoop是非常理想的選擇，F(xiàn)acebook主要將Hadoop平臺用于日志處理、推薦系統(tǒng)和數(shù)據(jù)倉庫等方面

國內(nèi)采用Hadoop的公司主要有百度、淘寶、網(wǎng)易、華為、中國移動等，其中，淘寶的Hadoop集群比較大2.1.3Hadoop的應用現(xiàn)狀Hadoop在企業(yè)中的應用架構(gòu)2.1.4ApacheHadoop版本演變ApacheHadoop版本分為兩代，我們將第一代Hadoop稱為Hadoop1.0，第二代Hadoop稱為Hadoop2.0第一代Hadoop包含三個大版本，分別是0.20.x，0.21.x和0.22.x，其中，0.20.x最后演化成1.0.x，變成了穩(wěn)定版，而0.21.x和0.22.x則增加了NameNodeHA等新的重大特性第二代Hadoop包含兩個版本，分別是0.23.x和2.x，它們完全不同于Hadoop1.0，是一套全新的架構(gòu)，均包含HDFSFederation和YARN兩個系統(tǒng)，相比于0.23.x，2.x增加了NameNodeHA和Wire-compatibility兩個重大特性2.1.4ApacheHadoop版本演變ApacheHadoopHortonworksCloudera（CDH：ClouderaDistributionHadoop）MapR……2.1.5Hadoop各種版本選擇Hadoop版本的考慮因素：是否開源（即是否免費）是否有穩(wěn)定版是否經(jīng)實踐檢驗是否有強大的社區(qū)支持2.1.5Hadoop各種版本2.2Hadoop項目結(jié)構(gòu)Hadoop的項目結(jié)構(gòu)不斷豐富發(fā)展，已經(jīng)形成一個豐富的Hadoop生態(tài)系統(tǒng)2.2Hadoop項目結(jié)構(gòu)組件功能HDFS分布式文件系統(tǒng)MapReduce分布式并行編程模型YARN資源管理和調(diào)度器Tez運行在YARN之上的下一代Hadoop查詢處理框架HiveHadoop上的數(shù)據(jù)倉庫HBaseHadoop上的非關(guān)系型的分布式數(shù)據(jù)庫Pig一個基于Hadoop的大規(guī)模數(shù)據(jù)分析平臺，提供類似SQL的查詢語言PigLatinSqoop用于在Hadoop與傳統(tǒng)數(shù)據(jù)庫之間進行數(shù)據(jù)傳遞OozieHadoop上的工作流管理系統(tǒng)Zookeeper提供分布式協(xié)調(diào)一致性服務Storm流計算框架Flume一個高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)AmbariHadoop快速部署工具，支持ApacheHadoop集群的供應、管理和監(jiān)控Kafka一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，可以處理消費者規(guī)模的網(wǎng)站中的所有動作流數(shù)據(jù)Spark類似于HadoopMapReduce的通用并行框架2.3 Hadoop的安裝與使用2.3.1Hadoop安裝之前的預備知識2.3.2安裝Linux虛擬機2.3.3安裝雙操作系統(tǒng)2.3.4詳解Hadoop的安裝與使用2.3.1Hadoop安裝之前的預備知識（一）Linux的選擇（1）選擇哪個Linux發(fā)行版？在Linux系統(tǒng)各個發(fā)行版中，CentOS系統(tǒng)和Ubuntu系統(tǒng)在服務端和桌面端使用占比最高，網(wǎng)絡上資料最是齊全，所以建議使用CentOS或Ubuntu在學習Hadoop方面，雖然兩個系統(tǒng)沒有多大區(qū)別，但是推薦使用Ubuntu操作系統(tǒng)（2）選擇32位還是64位？如果電腦比較老或者內(nèi)存小于2G，那么建議選擇32位系統(tǒng)版本的Linux如果內(nèi)存大于4G，那么建議選擇64位系統(tǒng)版本的Linux2.3.1Hadoop安裝之前的預備知識（二）系統(tǒng)安裝方式：選擇虛擬機安裝還是雙系統(tǒng)安裝建議電腦比較新或者配置內(nèi)存4G以上的電腦可以選擇虛擬機安裝電腦較舊或配置內(nèi)存小于等于4G的電腦強烈建議選擇雙系統(tǒng)安裝，否則，在配置較低的計算機上運行LInux虛擬機，系統(tǒng)運行速度會非常慢鑒于目前教師和學生的計算機硬件配置一般不高，建議在實踐教學中采用雙系統(tǒng)安裝，確保系統(tǒng)運行速度2.3.1Hadoop安裝之前的預備知識（三）關(guān)于Linux的一些基礎(chǔ)知識Shell是指“提供使用者使用界面”的軟件（命令解析器），類似于DOS下的command和后來的cmd.exe。它接收用戶命令，然后調(diào)用相應的應用程序sudo命令sudo是ubuntu中一種權(quán)限管理機制，管理員可以授權(quán)給一些普通用戶去執(zhí)行一些需要root權(quán)限執(zhí)行的操作。當使用sudo命令時，就需要輸入您當前用戶的密碼2.3.1Hadoop安裝之前的預備知識輸入密碼在Linux的終端中輸入密碼，終端是不會顯示任何你當前輸入的密碼，也不會提示你已經(jīng)輸入了多少字符密碼，讀者不要誤以為鍵盤沒有響應輸入法中英文切換linux中英文的切換方式是使用鍵盤“shift”鍵來切換，也可以點擊頂部菜單的輸入法按鈕進行切換。Ubuntu自帶的Sunpinyin中文輸入法已經(jīng)足夠讀者使用Ubuntu終端復制粘貼快捷鍵在Ubuntu終端窗口中，復制粘貼的快捷鍵需要加上shift，即粘貼是ctrl+shift+v2.3.1Hadoop安裝之前的預備知識（四）Hadoop安裝方式單機模式：Hadoop默認模式為非分布式模式（本地模式），無需進行其他配置即可運行。非分布式即單Java進程，方便進行調(diào)試偽分布式模式：Hadoop可以在單節(jié)點上以偽分布式的方式運行，Hadoop進程以分離的Java進程來運行，節(jié)點既作為NameNode也作為DataNode，同時，讀取的是HDFS中的文件分布式模式：使用多個節(jié)點構(gòu)成集群環(huán)境來運行Hadoop2.3.2安裝Linux虛擬機一、材料和工具1、下載VirtualBox虛擬機軟件2.下載UbuntuLTS14.04ISO映像文件二、步驟（一）確認系統(tǒng)版本如果選擇的系統(tǒng)是64位Ubuntu系統(tǒng)，那么在安裝虛擬機前，我們還要進入BIOS開啟CPU的虛擬化2.3.2安裝Linux虛擬機2.3.2安裝Linux虛擬機(二)安裝前的準備1.打開VirtualBox，點擊“創(chuàng)建”按鈕，創(chuàng)建一個虛擬機2.給虛擬機命名，選擇操作系統(tǒng)，版本3.選擇內(nèi)存大小，這里設(shè)置的1024M4.創(chuàng)建虛擬硬盤5.選擇虛擬硬盤文件類型VDI6.虛擬硬盤選擇動態(tài)分配7.選擇文件存儲的位置和容量大小8.點擊創(chuàng)建2.3.2安裝Linux虛擬機(二)安裝前的準備2.3.2安裝Linux虛擬機(三)安裝Ubuntu2.3.2安裝Linux虛擬機(三)安裝Ubuntu2.3.3安裝雙操作系統(tǒng)第一步：制作安裝U盤具體可參考百度經(jīng)驗文章/article/59703552e0a6e18fc007409f.html第二步：雙系統(tǒng)安裝具體可參考百度經(jīng)驗文章/article/dca1fa6fa3b905f1a44052bd.html安裝后Window和Ubuntu14.04都可以用，默認windows優(yōu)先啟動可以在電腦啟動時，選擇進入Ubuntu系統(tǒng)而不是Windows系統(tǒng)2.3.4Hadoop的安裝與使用（單機/偽分布式）Hadoop基本安裝配置主要包括以下幾個步驟：創(chuàng)建Hadoop用戶SSH登錄權(quán)限設(shè)置安裝Java環(huán)境單機安裝配置偽分布式安裝配置創(chuàng)建Hadoop用戶如果安裝Ubuntu的時候不是用的“hadoop”用戶，那么需要增加一個名為hadoop的用戶首先按

ctrl+alt+t

打開終端窗口，輸入如下命令創(chuàng)建新用戶:$sudouseradd–mhadoop–s/bin/bash上面這條命令創(chuàng)建了可以登陸的hadoop用戶，并使用/bin/bash作為shell創(chuàng)建Hadoop用戶接著使用如下命令設(shè)置密碼，可簡單設(shè)置為hadoop，按提示輸入兩次密碼：$sudopasswdhadoop可為hadoop用戶增加管理員權(quán)限，方便部署，避免一些對新手來說比較棘手的權(quán)限問題：$sudoadduserhadoopsudoSSH登錄權(quán)限設(shè)置SSH是什么？SSH

為

SecureShell

的縮寫，是建立在應用層和傳輸層基礎(chǔ)上的安全協(xié)議。SSH是目前較可靠、專為遠程登錄會話和其他網(wǎng)絡服務提供安全性的協(xié)議。利用SSH協(xié)議可以有效防止遠程管理過程中的信息泄露問題。SSH最初是UNIX系統(tǒng)上的一個程序，后來又迅速擴展到其他操作平臺。SSH是由客戶端和服務端的軟件組成，服務端是一個守護進程(daemon)，它在后臺運行并響應來自客戶端的連接請求，客戶端包含ssh程序以及像scp（遠程拷貝）、slogin（遠程登陸）、sftp（安全文件傳輸）等其他的應用程序SSH登錄權(quán)限設(shè)置配置SSH的原因：Hadoop名稱節(jié)點（NameNode）需要啟動集群中所有機器的Hadoop守護進程，這個過程需要通過SSH登錄來實現(xiàn)。Hadoop并沒有提供SSH輸入密碼登錄的形式，因此，為了能夠順利登錄每臺機器，需要將所有機器配置為名稱節(jié)點可以無密碼登錄它們安裝Java環(huán)境Java環(huán)境可選擇Oracle的JDK，或是OpenJDK可以在Ubuntu中直接通過命令安裝OpenJDK7$sudoapt-getinstallopenjdk-7-jreopenjdk-7-jdk還需要配置一下JAVA_HOME環(huán)境變量

具體請參考網(wǎng)絡教程：/blog/install-hadoop/單機安裝配置Hadoop2可以到官網(wǎng)下載，需要下載

hadoop-2.x.y.tar.gz

這個格式的文件，這是編譯好的，另一個包含src的則是Hadoop源代碼，需要進行編譯才可使用Hadoop2安裝文件的下載如果讀者是使用虛擬機方式安裝Ubuntu系統(tǒng)的用戶，請用虛擬機中的Ubuntu自帶firefox瀏覽器訪問本指南，再點擊下載地址，才能把hadoop文件下載虛擬機ubuntu中。請不要使用Windows系統(tǒng)下的瀏覽器下載，文件會被下載到Windows系統(tǒng)中，虛擬機中的Ubuntu無法訪問外部Windows系統(tǒng)的文件，造成不必要的麻煩。如果讀者是使用雙系統(tǒng)方式安裝Ubuntu系統(tǒng)的用戶，請進去Ubuntu系統(tǒng)，在Ubuntu系統(tǒng)打開firefox瀏覽器，再點擊下載單機安裝配置選擇將Hadoop安裝至/usr/local/中$sudotar-zxf~/下載/hadoop-2.6.0.tar.gz-C/usr/local#解壓到/usr/local中$cd/usr/local/$sudomv./hadoop-2.6.0/./hadoop#將文件夾名改為hadoop$sudochown-Rhadoop:hadoop./hadoop#修改文件權(quán)限Hadoop解壓后即可使用。輸入如下命令來檢查Hadoop是否可用，成功則會顯示Hadoop版本信息：$cd/usr/local/hadoop$./bin/hadoopversionHadoop默認模式為非分布式模式（本地模式），無需進行其他配置即可運行。偽分布式安裝配置Hadoop可以在單節(jié)點上以偽分布式的方式運行，Hadoop進程以分離的Java進程來運行，節(jié)點既作為NameNode也作為DataNode，同時，讀取的是HDFS中的文件Hadoop的配置文件位于/usr/local/hadoop/etc/hadoop/中，偽分布式需要修改2個配置文件

core-site.xml

和

hdfs-site.xml

Hadoop的配置文件是xml格式，每個配置以聲明property的name和value的方式來實現(xiàn)偽分布式安裝配置實驗步驟：修改配置文件：core-site.xml，hdfs-site.xml，mapred-site.xml初始化文件系統(tǒng)hadoopnamenode-format啟動所有進程start-all.sh訪問web界面，查看Hadoop信息運行實例偽分布式安裝配置修改配置文件

hdfs-site.xml<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>.dir</name><value>file:/usr/local/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/tmp/dfs/data</value></property></configuration>偽分布式安裝配置name為fs.defaultFS的值，表示hdfs路徑的邏輯名稱hadoop.tmp.dir表示存放臨時數(shù)據(jù)的目錄，即包括NameNode的數(shù)據(jù)，也包括DataNode的數(shù)據(jù)。該路徑任意指定，只要實際存在該文件夾即可

偽分布式安裝配置修改配置文件

hdfs-site.xml<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>.dir</name><value>file:/usr/local/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/tmp/dfs/data</value></property></configuration>dfs.replication表示副本的數(shù)量，偽分布式要設(shè)置為1.dir表示本地磁盤目錄，是存儲fsimage文件的地方dfs.datanode.data.dir表示本地磁盤目錄，HDFS數(shù)據(jù)存放block的地方偽分布式安裝配置關(guān)于三種Shell命令方式的區(qū)別：1.hadoopfs2.hadoopdfs3.hdfsdfshadoopfs適用于任何不同的文件系統(tǒng)，比如本地文件系統(tǒng)和HDFS文件系統(tǒng)hadoopdfs只能適用于HDFS文件系統(tǒng)hdfsdfs跟hadoopdfs的命令作用一樣，也只能適用于HDFS文件系統(tǒng)2.4.1集群節(jié)點類型2.4.2集群規(guī)模2.4.3集群硬件配置2.4.4集群網(wǎng)絡拓撲2.4.5集群的建立與安裝2.4.6集群基準測試2.4.7在云計算環(huán)境中使用Hadoop2.4Hadoop集群的部署與使用2.4.1Hadoop集群中有哪些節(jié)點類型Hadoop框架中最核心的設(shè)計是為海量數(shù)據(jù)提供存儲的HDFS和對數(shù)據(jù)進行計算的MapReduceMapReduce的作業(yè)主要包括：（1）從磁盤或從網(wǎng)絡讀取數(shù)據(jù)，即IO密集工作；（2）計算數(shù)據(jù)，即CPU密集工作Hadoop集群的整體性能取決于CPU、內(nèi)存、網(wǎng)絡以及存儲之間的性能平衡。因此運營團隊在選擇機器配置時要針對不同的工作節(jié)點選擇合適硬件類型一個基本的Hadoop集群中的節(jié)點主要有NameNode：負責協(xié)調(diào)集群中的數(shù)據(jù)存儲DataNode：存儲被拆分的數(shù)據(jù)塊JobTracker：協(xié)調(diào)數(shù)據(jù)計算任務TaskTracker：負責執(zhí)行由JobTracker指派的任務SecondaryNameNode：幫助NameNode收集文件系統(tǒng)運行的狀態(tài)信息2.4.2集群硬件配置在集群中，大部分的機器設(shè)備是作為Datanode和TaskTracker工作的Datanode/TaskTracker的硬件規(guī)格可以采用以下方案：4個磁盤驅(qū)動器（單盤1-2T），支持JBOD(JustaBunchOfDisks，磁盤簇)2個4核CPU,至少2-2.5GHz16-24GB內(nèi)存千兆以太網(wǎng)2.4.2集群硬件配置NameNode提供整個HDFS文件系統(tǒng)的NameSpace(命名空間)管理、塊管理等所有服務，因此需要更多的RAM，與集群中的數(shù)據(jù)塊數(shù)量相對應，并且需要優(yōu)化RAM的內(nèi)存通道帶寬，采用雙通道或三通道以上內(nèi)存。硬件規(guī)格可以采用以下方案：8-12個磁盤驅(qū)動器（單盤1-2T）2個4核/8核CPU16-72GB內(nèi)存千兆/萬兆以太網(wǎng)2.4.2集群硬件配置SecondaryNameNode在小型集群中可以和NameNode共用一臺機器，較大的群集可以采用與NameNode相同的硬件2.4.3集群規(guī)模要多大Hadoop集群規(guī)?？纱罂尚。跏紩r，可以從一個較小規(guī)模的集群開始，比如包含10個節(jié)點，然后，規(guī)模隨著存儲器和計算需求的擴大而擴大如果數(shù)據(jù)每周增大1TB，并且有三個HDFS副本，然后每周需要一個額外的3TB作為原始數(shù)據(jù)存儲。要允許一些中間文件和日志（假定30%）的空間，由此，可以算出每周大約需要增加一臺新機器。存儲兩年數(shù)據(jù)的集群，大約需要100臺機器對于一個小的集群，名稱節(jié)點（NameNode）和JobTracker運行在單個節(jié)點上，通常是可以接受的。但是，隨著集群和存儲在HDFS中的文件數(shù)量的增加，名稱節(jié)點需要更多的主存，這時，名稱節(jié)點和JobTracker就需要運行在不同的節(jié)點上第二名稱節(jié)點（SecondaryNameNode）會和名稱節(jié)點可以運行在相同的機器上，但是，由于第二名稱節(jié)點和名稱節(jié)點幾乎具有相同的主存需求，因此，二者最好運行在不同節(jié)點上2.4.4集群網(wǎng)絡拓撲普通的Hadoop集群結(jié)構(gòu)由一個兩階網(wǎng)絡構(gòu)成每個機架（Rack）有30-40個服務器，配置一個1GB的交換機，并向上傳輸?shù)揭粋€核心交換機或者路由器（1GB或以上）在相同的機架中的節(jié)點間的帶寬的總和，要大于不同機架間的節(jié)點間的帶寬總和2.4.5集群的建立與安裝采購好相關(guān)的硬件設(shè)備后，就可以把硬件裝入機架，安裝并運行Hadoop安裝Hadoop有多種方法：（1）手動安裝（2）自動化安裝為了緩解安裝和維護每個節(jié)點上相同的軟件的負擔，可以使用一個自動化方法