Hadoop平臺搭建

1、 Hadoop平臺搭建 薛正元 屠衛(wèi) 張寧寧 1.環(huán)境簡介 Hadoop不僅是一個用于存儲的分布式文件系統(tǒng)，而且是設(shè)計用來在大型集群上執(zhí)行分布式應(yīng)用的框架。 本文簡單介紹搭建Hadoop平臺的過程，搭建過程中遇到的以及尚未解決的問題。環(huán)境簡介（續(xù)） 硬件環(huán)境 實驗共使用三臺PC機，一臺機器用作NameNode，另兩臺用作DateNode。 （注：實驗過程中因一臺機器無法在LINUX系統(tǒng)下聯(lián)網(wǎng)而放棄使用，最終采用一臺NameNode ,一臺DateNode ）環(huán)境簡介（續(xù)） 軟件環(huán)境 軟件統(tǒng)一安裝在虛擬機系統(tǒng)VMware上， Linux系統(tǒng)采用Ubuntu，jdk使用jdk1.6.0 版，Had

2、oop使用hadoop-0.20.2版本。2.準備工作 虛擬機VMware的安裝 下載安裝軟件并分別在3臺機器上安裝。由于3臺機器的D盤剩余空間都較大，統(tǒng)一將VMware安裝在D盤，分配磁盤空間時統(tǒng)一分配為10G。 Ubuntu的安裝 新建虛擬機，加載Linux系統(tǒng)Ubuntu的iso鏡像文件，并在VMware環(huán)境下安裝Ubuntu 系統(tǒng)。準備工作(續(xù)) Ubuntu簡單設(shè)置 對Ubuntu進行簡單的網(wǎng)絡(luò)設(shè)置，使其接入Internet，可使用其自帶的語言支持工具將其環(huán)境漢化。 JDK、SSH的安裝 使用Ubuntu自帶的“新立得”軟件管理工具包，可以搜索、下載并安裝JDK、SSH。準備工作(續(xù)

3、) Hadoop的安裝 在Ubuntu中，通過網(wǎng)址/dyn/closer.cgi/hadoop/core下載hadoop-0.20.2.tar.gz，解壓到/usr/local/hadoop文件夾。3.配置工作 配置JDK環(huán)境變量 以超級用戶身份打開environment文件，在其中添加兩個環(huán)境變量：CLASSPATH及JAVA_HOME并設(shè)置路徑值。 配置SSH 在每臺機器上新建一個超級用戶，取名均為hadoop，并建立SSH Key用來遠程登錄。配置工作（續(xù)） 配置Hadoop 配置$HADOOP_HOME/conf/hadoop-env.sh，導入JAVA_H

4、OME環(huán)境變量值。 配置$HADOOP_HOME/conf/core-site.xml，在其中指定默認文件系統(tǒng)名，默認系統(tǒng)臨時目錄等。 配置$HADOOP_HOME/conf/mapred-site.xml，指定tracker的默認路徑端口。配置工作（續(xù)） 格式化、啟動 使用-format命令格式化NameNode； 使用start-all.sh命令啟動所有的Hadoop進程，包括：namenode,datanode, jobtracker，tasktrack 等四項進程。 通過jps命令查看進程是否啟動成功?？偨Y(jié) 目前，已基本完成兩臺機器的Hadoop平臺搭建工作，一個為NameNode，另一個為DateNode。（第三臺機器的網(wǎng)絡(luò)問題尚未解決） 搭建過程中遇到了不少問題，通過查閱資料，解決了不少問題。由于平時接觸Linux較少，工作進度相對緩慢，目前尚未完成