HADOOP(1)虛擬機(jī)安裝Centos系統(tǒng)

1、部署說(shuō)明：1使用軟件版本VMware 10.0.3Hadoop 1.2.1Jdk 1.8Centos 6.52 架構(gòu)說(shuō)明由VMware虛擬出3臺(tái)centos服務(wù)器，分別為Master 192.168.0.150 NameNodeClient1 192.168.0.151DataNodeClient2 192.168.0.152DataNodeVMware安裝centos6.5為什么用centos6.5?因?yàn)樽钚掳姹緸閏entos7而centos7比較新，改動(dòng)非常多，包括很多命令和服務(wù)設(shè)置有很多不同.由于以前上班的生產(chǎn)環(huán)境里也是centos6.5，就暫選這個(gè)版本吧，畢竟學(xué)習(xí)centos7新功能，

2、不是目前的主題。一，準(zhǔn)備軟件1，Centos6.5的ios鏡像 版本：CentOS-6.5-x86_64位下載地址:( centos中文站)2，VMware虛擬機(jī)軟件可以用VMware或者是VirtualBox等都行，其中VMware是商業(yè)軟件，可以下載后破解。具體破解方法可以去百度，很簡(jiǎn)單，附一個(gè)破解版下載地址：二，開(kāi)始安裝安裝VMware后，在本地磁盤上新建三個(gè)文件夾如：F:hadoopMaster -用來(lái)存放安裝NameNode的centos虛擬機(jī)文件F:hadoopClient1 -用來(lái)存放安裝dataNode1的centos虛擬機(jī)文件F:hadoopClient2 -用來(lái)存放安裝da

3、taNode2的centos虛擬機(jī)文件為了加快速度，我們采取先安裝NameNode的centos后，用VMware的克隆方法安裝兩個(gè)dataNote節(jié)點(diǎn)的系統(tǒng)，以節(jié)約時(shí)間。NamNode（Master）的Centos安裝打開(kāi)VMWare -文件-新建虛擬機(jī)在新建虛擬機(jī)向?qū)?duì)話面板上選 典型 然后 下一步然后選稍后安裝系統(tǒng) 選擇系統(tǒng)類型 由于我們裝的是centos 64位系統(tǒng)，選linux 和centos 64如果要裝其他版本的系統(tǒng)，請(qǐng)選擇其他相應(yīng)選項(xiàng)命名虛擬機(jī)為了方便識(shí)別，命名為Master，位置選擇剛才我們?yōu)镹ameNode的centos系統(tǒng)準(zhǔn)備的文件夾F:hadoopMaster選擇磁盤大

4、小由于我們并不是真實(shí)生產(chǎn)環(huán)境，基本上就按默認(rèn)20g就夠了，同時(shí)默認(rèn)選擇拆分成多個(gè)文件自定義硬件可以根據(jù)自己的電腦配置虛擬機(jī)硬件，如cpu核數(shù)和內(nèi)存大小等，這里估計(jì)自己電腦實(shí)際情況而定。本人設(shè)置為1核cup ，2g內(nèi)存 為了方便，我們可以現(xiàn)在就把centos安裝ios加入虛擬機(jī)的虛擬光驅(qū)中設(shè)置網(wǎng)絡(luò)，由于是將來(lái)配置hadoop用到的是ip地址靜態(tài)地址，不能直接用路由的dhcp功能，所以選橋接模式，勾選復(fù)制物理網(wǎng)絡(luò)狀態(tài)設(shè)置自定義硬件后，點(diǎn)完成此時(shí)我們會(huì)看到虛擬機(jī)列表上已經(jīng)有了Master ，點(diǎn)擊右邊的【開(kāi)啟此虛擬機(jī)】然后就開(kāi)始了安裝centos6.5的節(jié)奏了選擇Install or up gread

5、e an existing system 光盤檢測(cè)我們選 skip選擇Next選簡(jiǎn)體中文選擇鍵盤選擇【基本存儲(chǔ)設(shè)備】選 【是忽略所有數(shù)據(jù)】為計(jì)算機(jī)命名和設(shè)置網(wǎng)絡(luò)，這里我們直接下一步直接跳過(guò)，因?yàn)楹竺嫖覀儗⒃谙到y(tǒng)安裝完成后在shell里配置。設(shè)置系統(tǒng)時(shí)區(qū)【上海，亞洲】設(shè)置root賬號(hào)密碼 選擇分區(qū) ，由于我們之前沒(méi)有l(wèi)inux分區(qū)，所有要自定義布局來(lái)手動(dòng)分區(qū)開(kāi)始分區(qū)，一般linux分區(qū)方案有很多種，但基本上講，/boot 和/swap是都是必需的，一個(gè)用來(lái)保存啟動(dòng)文件，一個(gè)用來(lái)做緩存（類似window里的虛擬內(nèi)存）。其他的一般有些還特別為/home分區(qū)來(lái)保持用戶數(shù)據(jù)等，當(dāng)然多種不同分區(qū)方案根據(jù)具

6、體實(shí)際情況而定。為了簡(jiǎn)化流程，我們采取最簡(jiǎn)單的分區(qū)方案：/boot 500mb /swap 2g / 根分區(qū)剩下所有空間1，創(chuàng)建/boot分區(qū)點(diǎn)創(chuàng)建選標(biāo)準(zhǔn)分區(qū)掛載點(diǎn)選 /boot 大小設(shè)為500mb 2,創(chuàng)建swap交換分區(qū)前面步驟和創(chuàng)建/boot相同，不同是的最后一步，不用選掛載點(diǎn)，直接選文件系統(tǒng)類型為swap,大小設(shè)為2048mb3，將剩下的空間都給根分區(qū)前面步驟雷同，最后一步設(shè)置，掛載點(diǎn)選 / ，使用全部可以空間 ，強(qiáng)制為主分區(qū)以上分區(qū)設(shè)置完成后點(diǎn)下一步選擇對(duì)磁盤格式化將修改寫入磁盤到此我們就完成了根據(jù)我們分區(qū)方案給linux分區(qū)的工作選擇將系統(tǒng)安裝硬盤和引導(dǎo)列表，默認(rèn)下一步接著選擇Ce

7、ntos安裝方案，不同的安裝方案會(huì)預(yù)裝不同的軟件和工具，我們選minmal方案，該方案是最小化安裝，預(yù)裝的東西是最少的，一般生產(chǎn)環(huán)境中我們也是如此，而不是裝Basic Service，Database Service 或者Web Server這類方案，因?yàn)檫@些方案里預(yù)裝的有些并不是我們想要的東西很多，而實(shí)際中我們用minmal方案安裝完后，自行根據(jù)需要再安裝其他軟件。接著就開(kāi)始安裝軟件了完成后點(diǎn)重啟就完成了我們NameNode節(jié)點(diǎn)的centos系統(tǒng)的安裝NamNode（Master）的系統(tǒng)準(zhǔn)備工作以root身份登錄Master 一，設(shè)置網(wǎng)卡靜態(tài)ip1，用vi 打開(kāi)網(wǎng)卡配置文件：vi /etc/

8、sysconfig/network-scripts/ifcfg-eth0配置成靜態(tài)ipDEVICE=eth0HWADDR=00:0C:29:7D:1C:A7TYPE=EthernetUUID=34a17546-ba59-4e5d-88f1-93d93258486fONBOOT=yesNM_CONTROLLED=yesBOOTPROTO=staticIPADDR=192.168.0.150NETMASK=255.255.255.0DNS1=202.106.0.20其中ONBOOT設(shè)置yes表示開(kāi)機(jī)就啟動(dòng)網(wǎng)卡，BOOTPROTO設(shè)置static表示ip靜態(tài)設(shè)置，IPADDR是設(shè)置網(wǎng)卡IP，NETM

9、ASK是設(shè)置子網(wǎng)掩碼，DNS1設(shè)置的dns服務(wù)器地址，還可以設(shè)置DNS2備用dns服務(wù)器地址。Dns服務(wù)器可以自己搭建，但一般用公用的。如果不知道公用的可以在windows系統(tǒng)用在cmd用輸入：ipcofig -all查看到當(dāng)前的dns地址。DNS1必需設(shè)置，否則不能進(jìn)行域名解析NM_CONTROLLED是network manger的參數(shù),實(shí)時(shí)生效,修改后無(wú)需要重啟網(wǎng)卡立即生效2，用vi 打開(kāi)網(wǎng)關(guān)配置文件：vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=localhost.localdomainGATEWAY=192.168.0.1其中GATE

10、WAY是指網(wǎng)關(guān)或路由器地址3，以上配置完成后重啟網(wǎng)卡：service network restart用ping測(cè)試是否配置成功： ping 二，用yum命令更新系統(tǒng)預(yù)裝軟件，查看所有可更新軟件：yum check-update更新所有已安裝：yum update2,用yum安裝常用的一些軟件:安裝gcc : yum -y install gcc安裝gcc-c+:yum -y install gcc-c+安裝perl: yum -y install perl三，配置java環(huán)境先去oracle官方下載jdk程序（這里用jkd1.8） jdk-8u51-linux-x64.tar.gz然后用win

11、scp工具鏈接上Master將jdk-8u51-linux-x64.tar.gz文件上傳到/root下然后在linux的shell下 將jdk 剪切到/usr/local目錄下：mv /root/jdk-8u51-linux-x64.tar.gz /usr/local/接著解壓該文件： cd /usr/localtar -zxvf /usr/local/jdk-8u51-linux-x64.tar.gz并重新命名為jkd1.8: mv /usr/local/jdk1.8.0_51 /usr/local/jdk1.8解壓完后用vi配置/etc/profile文件：vi /etc/profile在

12、文件末尾加上：JAVA_HOME的值是jdk文件路徑export JAVA_HOME=/usr/local/jdk1.8export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport PATH=$PATH:$JAVA_HOME/bin而后執(zhí)行命令： resource /etc/rofile測(cè)試是否成功：java -version說(shuō)明已經(jīng)成功安裝了java到這里我們已經(jīng)完成了NameNode的系統(tǒng)安裝和配置工作接下去我們就可以開(kāi)始兩臺(tái)dataNode的系統(tǒng)安裝和配置

13、了DataNode的Centos安裝由于NameNode的centos系統(tǒng)已經(jīng)安裝過(guò)了，我們可以用同樣的方式再此安裝兩臺(tái)DataNode的系統(tǒng)。但是為了節(jié)約時(shí)間，我們可以直接使用WMWare的系統(tǒng)克隆功能來(lái)節(jié)約時(shí)間DataNode1的克隆安裝方法1，克隆之前需關(guān)閉Master在右鍵Master-電源-關(guān)閉客戶機(jī)2，在右鍵Master-管理-克隆選擇完整克隆然后配置虛擬機(jī)名和存放地址，如我們這里是克隆dataNode1我們命名為Client1，存放地址為我們一開(kāi)始就建立好的F:hadoopClient1完成后可以看到Client1DataNode2的克隆安裝方法用克隆Client1的方法克隆出C

14、lient2,步驟雷同克隆完生成Client2后，我們就完成了DataNode的系統(tǒng)安裝，但由于是都是Master克隆出來(lái)的，肯定有些地方的會(huì)沖突的接著啟動(dòng)Client1首先，我們要改Client1的ip，因?yàn)槭强寺〉?，他的ip靜態(tài)設(shè)置肯定是和Master一樣都是192.168.0.150，要將其改為192.168.0.151用vi 打開(kāi)網(wǎng)卡配置文件：vi /etc/sysconfig/network-scripts/ifcfg-eth0將IPADDR改成192.168.0.151DEVICE=eth0HWADDR=00:0C:29:7D:1C:A7TYPE=EthernetUUID=34a1

15、7546-ba59-4e5d-88f1-93d93258486fONBOOT=yesNM_CONTROLLED=yesBOOTPROTO=staticIPADDR=192.168.0.151NETMASK=255.255.255.0DNS1=202.106.0.20然后重新啟動(dòng)網(wǎng)卡 ：service network restart發(fā)現(xiàn)啟動(dòng)失敗，由于是克隆的就會(huì)出現(xiàn)這個(gè)問(wèn)題，解決方法如下1，用vi 打開(kāi)/etc/udev/rules.d/70-persistent-net.rules：# vi /etc/udev/rules.d/70-persistent-net.rules會(huì)發(fā)現(xiàn)有兩個(gè)網(wǎng)卡配置

16、仔細(xì)看的話，其中為Name=“eth0”的網(wǎng)卡的ATTRaddress（即MAC地址），是從Master機(jī)器上克隆過(guò)來(lái)的，Client1上并沒(méi)有這個(gè)網(wǎng)卡，而Name=“eth1”的網(wǎng)卡才是我們的網(wǎng)卡，方法就是將eth0的那段配置刪除，然后將eth1配置中的NAME=”eth1”改成NAME=”eth0”同時(shí)將其ATTRaddress記錄下來(lái)2再次用vi 打開(kāi)網(wǎng)卡配置文件：vi /etc/sysconfig/network-scripts/ifcfg-eth0將HWADDR改成/etc/udev/rules.d/70-persistent-net.rules文件中的NAME=”eth0”的ATTRaddress值一樣DEVICE=eth0HWADDR=00:0c:29:16:72:2bTYPE=EthernetUUID=34a17546-ba59-4e5d-88f1-93d93258486fONBOOT=yesNM_