理解hadoop拓?fù)浼軜?gòu)及環(huán)境

理解hadoop拓?fù)浼軜?gòu)及環(huán)境學(xué)習(xí)計(jì)劃數(shù)據(jù)處理平臺(tái)搭建性能開(kāi)發(fā)性能檢索Hadoop平臺(tái)搭建環(huán)境介紹本次Hadoop集群部署方案采用分布式集群部署方式，集群共有三個(gè)節(jié)點(diǎn)組成，一個(gè)master節(jié)點(diǎn)，兩個(gè)slaver節(jié)點(diǎn)。ftp-server是FTP資源包服務(wù)器。主機(jī)名IP操作系統(tǒng)Hadoopnodemaster29Centos6.5masterslaver130Centos6.5slaverslaver231Centos6.5slaverftp-server0Centos6.5Repository-ServerXianDian-BigData-v1.0.iso是相關(guān)的安裝軟件包，將安裝的軟件包放到節(jié)點(diǎn)的/opt/目錄下，并用mount命令掛載到/mnt目錄。#cd/opt#mount-oloopXianDian-BigData-v1.0.iso/mnt/編輯/etc/sysconfig/network修改主機(jī)名，HadoopSlave節(jié)點(diǎn)的主機(jī)名分別為slaver1、slaver2?；蛘咄ㄟ^(guò)即時(shí)生效命令使其生效slaver1:#hostnameslaver1slaver2#hostnameslaver2XianDian-BigData-v1.0.iso是相關(guān)的安裝軟件包，將安裝的軟件包放到節(jié)點(diǎn)的/opt/目錄下，并用mount命令掛載到/mnt目錄。#cd/opt#mount-oloopXianDian-BigData-v1.0.iso/mnt/編輯/etc/sysconfig/network修改主機(jī)名，HadoopMaster的主機(jī)名master或者通過(guò)即時(shí)生效命令使其生效#hostnamemasterMaster軟件包說(shuō)明&配置主機(jī)名Slaver1&Slaver2在各個(gè)節(jié)點(diǎn)編輯/etc/hosts文件，添加以下內(nèi)容：92master92slaver194slaver2驗(yàn)證#pingmaster#pingslaver1#pingslaver2在各個(gè)節(jié)點(diǎn)編輯/etc/hosts文件，添加以下內(nèi)容：92master92slaver194slaver2驗(yàn)證#pingmaster#pingslaver1#pingslaver2Master

配置hosts列表Slaver1&Slaver2Slaver1&Slaver2配置Yum倉(cāng)庫(kù)在有網(wǎng)絡(luò)的情況下，不需要配置，默認(rèn)yum源即可。刪除/etc/yum.repos.d下的所有文件，手工創(chuàng)建local.repo，配置yum倉(cāng)庫(kù)的位置（具體配置參考IaaS文檔）。#vi/etc/yum.repos.d/local.repo[centos]baseurl=0//centos6.5/gpgcheck=0enabled=1name=centos[openstack-icehouse]name=OpenStackIcehouseRepositorybaseurl=0//iaas-repo/gpgcheck=0enabled=1清除緩存#yumcleanall配置Yum倉(cāng)庫(kù)在有網(wǎng)絡(luò)的情況下，不需要配置，默認(rèn)yum源即可。刪除/etc/yum.repos.d下的所有文件，手工創(chuàng)建local.repo，配置yum倉(cāng)庫(kù)的位置（具體配置參考IaaS文檔）。#vi/etc/yum.repos.d/local.repo[centos]baseurl=0//centos6.5/gpgcheck=0enabled=1name=centos[openstack-icehouse]name=OpenStackIcehouseRepositorybaseurl=0//iaas-repo/gpgcheck=0enabled=1清除緩存#yumcleanallMaster

配置Yum倉(cāng)庫(kù)在節(jié)點(diǎn)的終端生成密鑰，命令如下#ssh-keygen使用下列命令將密鑰分配至各個(gè)節(jié)點(diǎn)：#ssh-copy-idmaster#ssh-copy-idslaver1#ssh-copy-idslaver2修改authorized_keys文件的權(quán)限，命令如下：#chmod600/root/.ssh/authorized_keys無(wú)密碼登陸驗(yàn)證#sshmaster#sshslaver1#sshslaver2在節(jié)點(diǎn)的終端生成密鑰，命令如下#ssh-keygen這個(gè)命令生成一個(gè)密鑰對(duì)：id_rsa（私鑰文件）和id_rsa.pub（公鑰文件），默認(rèn)被保存在/root/.ssh/目錄下。使用下列命令將密鑰分配至各個(gè)節(jié)點(diǎn)：#ssh-copy-idmaster#ssh-copy-idslaver1#ssh-copy-idslaver2修改authorized_keys文件的權(quán)限，命令如下：#chmod600/root/.ssh/authorized_keys無(wú)密碼登陸驗(yàn)證#sshmaster#sshslaver1#sshslaver2Master

密鑰登錄配置Slaver1&Slaver2進(jìn)入到/mnt/Rpms目錄，進(jìn)行JDK的安裝：#rpm-ivhjdk-7u67-linux-x64.rpm使環(huán)境變量生效：#source/etc/profile測(cè)試配置：#java-version如果出現(xiàn)下圖的信息，表示JDK安裝成功：openjdkversion"1.7.0_67"Master

安裝JDK進(jìn)入到/mnt/Rpms目錄，進(jìn)行JDK的安裝：#rpm-ivhjdk-7u67-linux-x