Hadoop平臺(tái)搭建

1、 Hadoop平臺(tái)搭建 薛正元 屠衛(wèi) 張寧寧 1.環(huán)境簡介 Hadoop不僅是一個(gè)用于存儲(chǔ)的分布式文件系統(tǒng)，而且是設(shè)計(jì)用來在大型集群上執(zhí)行分布式應(yīng)用的框架。 本文簡單介紹搭建Hadoop平臺(tái)的過程，搭建過程中遇到的以及尚未解決的問題。環(huán)境簡介（續(xù)） 硬件環(huán)境 實(shí)驗(yàn)共使用三臺(tái)PC機(jī)，一臺(tái)機(jī)器用作NameNode，另兩臺(tái)用作DateNode。 （注：實(shí)驗(yàn)過程中因一臺(tái)機(jī)器無法在LINUX系統(tǒng)下聯(lián)網(wǎng)而放棄使用，最終采用一臺(tái)NameNode ,一臺(tái)DateNode ）環(huán)境簡介（續(xù)） 軟件環(huán)境 軟件統(tǒng)一安裝在虛擬機(jī)系統(tǒng)VMware上， Linux系統(tǒng)采用Ubuntu，jdk使用jdk1.6.0 版，Had

2、oop使用hadoop-0.20.2版本。2.準(zhǔn)備工作 虛擬機(jī)VMware的安裝 下載安裝軟件并分別在3臺(tái)機(jī)器上安裝。由于3臺(tái)機(jī)器的D盤剩余空間都較大，統(tǒng)一將VMware安裝在D盤，分配磁盤空間時(shí)統(tǒng)一分配為10G。 Ubuntu的安裝 新建虛擬機(jī)，加載Linux系統(tǒng)Ubuntu的iso鏡像文件，并在VMware環(huán)境下安裝Ubuntu 系統(tǒng)。準(zhǔn)備工作(續(xù)) Ubuntu簡單設(shè)置 對(duì)Ubuntu進(jìn)行簡單的網(wǎng)絡(luò)設(shè)置，使其接入Internet，可使用其自帶的語言支持工具將其環(huán)境漢化。 JDK、SSH的安裝 使用Ubuntu自帶的“新立得”軟件管理工具包，可以搜索、下載并安裝JDK、SSH。準(zhǔn)備工作(續(xù)

3、) Hadoop的安裝 在Ubuntu中，通過網(wǎng)址/dyn/closer.cgi/hadoop/core下載hadoop-0.20.2.tar.gz，解壓到/usr/local/hadoop文件夾。3.配置工作 配置JDK環(huán)境變量 以超級(jí)用戶身份打開environment文件，在其中添加兩個(gè)環(huán)境變量：CLASSPATH及JAVA_HOME并設(shè)置路徑值。 配置SSH 在每臺(tái)機(jī)器上新建一個(gè)超級(jí)用戶，取名均為hadoop，并建立SSH Key用來遠(yuǎn)程登錄。配置工作（續(xù)） 配置Hadoop 配置$HADOOP_HOME/conf/hadoop-env.sh，導(dǎo)入JAVA_H

4、OME環(huán)境變量值。 配置$HADOOP_HOME/conf/core-site.xml，在其中指定默認(rèn)文件系統(tǒng)名，默認(rèn)系統(tǒng)臨時(shí)目錄等。 配置$HADOOP_HOME/conf/mapred-site.xml，指定tracker的默認(rèn)路徑端口。配置工作（續(xù)） 格式化、啟動(dòng) 使用-format命令格式化NameNode； 使用start-all.sh命令啟動(dòng)所有的Hadoop進(jìn)程，包括：namenode,datanode, jobtracker，tasktrack 等四項(xiàng)進(jìn)程。 通過jps命令查看進(jìn)程是否啟動(dòng)成功。總結(jié) 目前，已基本完成兩臺(tái)機(jī)器的Hadoop平臺(tái)搭建工作，一個(gè)為NameNode，另一個(gè)為DateNode。（第三臺(tái)機(jī)器的網(wǎng)絡(luò)問題尚未解決） 搭建過程中遇到了不少問題，通過查閱資料，解決了不少問題。由于平時(shí)接觸Linux較少，工作進(jìn)度相對(duì)緩慢，目前尚未完成