周末班06it18掌ambari hadoop集群管理工具

1、Ambari Hadoop集群管理工具徐培成Ambari介紹Ambari洋麻，大麻槿集群管理工具基于web的管理工具，用于管理、監(jiān)控apache hadoop集群，支持Hadoop HDFS, Hadoop MapReduce, Hive, HCatalog, HBase, ZooKeeper, Oozie, Pig and Sqoop。Ambari下載下載Ambari倉庫cd /etc/apt/source.list.d/倉庫文件目錄wget /ubuntu12/2.x /updates/2.1.2/ambari.listambari.listdeb /ubuntu12/2.x/update

2、s/2.1.2 Ambari mainAmbari安裝與配置安裝與配置apt-key adv -recv-keys -keyserver B9733A7A07513CADapt-get updateapt-get install ambari-server配置管理服務器ambari-server setup修改webui端口號8080-5050/etc/ambari-server/conf/pertiesclient.api.port=5050Ambari啟動與登錄啟動管理服務器sudo ambari-server startsudo ambari-server stops

3、udo ambari-server restart登錄到服務器 username:adminpassword:adminAmbari原理Ambari-ServerAmbari-AgentAmbari-AgentAmbari-AgentAmbari原理Ambari-Server向agent機器發(fā)送指令，控制agentAmbari-agent接受server的指令進行執(zhí)行定期向server發(fā)送agent node的狀態(tài)信息agent不需要安裝，server可以在配置期間自動將agent安裝到node上。Ambari FAQambari-server需要在root用戶下安裝ambari-server

4、的配置和啟動也需要在root進行ambari-server運行前需要保證root賬號可以無密登錄到集群中的其他node。ambari-server機器上執(zhí)行生成秘鑰$su root$ssh-keygen -t rsa -P -f /.ssh/id_rsaAmbari FAQambari-server運行前需要保證root賬號可以無密登錄到集群中的其他node。ambari-agent機器上執(zhí)行su rootssh-keygen -t rsa -P -f /.ssh/id_rsa復制server上的rsa_id.put到agent機器上scp .Ambari FAQroot身份重新配置sudo

5、ambari-server setup.賬號信息使用rootroot身份重新啟動ambari-serversudo ambari-server stopsudo ambari-server startAmbari、HDP、HDP UTILS本地化介紹ambari是apache的hadoop集群管理軟件。HDP是hortonworks的軟件棧，里面包含了hadoop生態(tài)系統(tǒng)的所有軟件項目，比如HBase、ZooKeeper、Hive、Pig等等。HDP UTILS是工具類庫。Ambari、HDP、HDP UTILS本地化介紹對于大型集群，如果在每個節(jié)點上安裝hadoop集群，默認都需要訪問外網(wǎng)，

6、則帶寬和性能都是收到嚴重影響，好的方式是將以上HDP軟件棧和ambari等軟件安裝在自己的局域網(wǎng)網(wǎng)絡中，通過內(nèi)網(wǎng)訪問安裝以上軟件。Ambari、HDP、HDP UTILS本地化過程1.下載以上三中倉庫的軟件包(tar.gz文件)ambari-2.1.0-centos7.tar.gzHDP--centos7-rpm.tar.gzHDP-UTILS-0-centos7.tar.gz2.在局域網(wǎng)搭建web 服務器。本文以win7下使用Tomcat為例3.解壓tar文件到web 服務器根目錄下。$tomcat_home/webapps/ROOT/Ambari、HDP、HDP

7、 UTILS本地化過程4.修改解壓目錄下的repo倉庫文件，主要是將url地址指向局域網(wǎng)地址。$tomcat_home/ambari/./ambari.repo#VERSION_NUMBER=2.1.0-1470Updates-ambari-2.1.0name=ambari-2.1.0 - Updatesbaseurl= gpgcheck=1gpgkey= /RPM-GPG-KEY/RPM-GPG-KEY-Jenkinsenabled=1priority=1Ambari、HDP、HDP UTILS本地化過程4.修改解壓目錄下的repo倉庫文件，主要是將url地址執(zhí)行局域網(wǎng)地址。$tomcat_

8、home/HDP/./hdp.repoHDP-name=HDP Version - HDP-baseurl= gpgcheck=1gpgkey= /RPM-GPG-KEY/RPM-GPG-KEY-Jenkinsenabled=1priority=1Ambari、HDP、HDP UTILS本地化過程4.修改解壓目錄下的repo倉庫文件，主要是將url地址執(zhí)行局域網(wǎng)地址。$tomcat_home/HDP/./hdp.repo續(xù)HDP-UTILS-0name=HDP Utils Version - HDP-UTILS-0baseurl= gpg

9、check=1gpgkey= enabled=1priority=1Ambari、HDP、HDP UTILS本地化過程5.啟動web 服務器$tomcat_home/bin/startup.bat6.復制ambari.repo文件到ambari server主機/etc/yum.repo.d/目錄下。Ambari、HDP、HDP UTILS本地化安裝ambari server(centOS為例)1.復制ambari.repo文件到ambari server主機 /etc/yum.repo.d/目錄下。2.yum repolist查看列表3.yum install ambari-server/安裝4.ambari-server setup/配置5.ambari-server start/啟動Ambari、HDP、HDP UTILS本地化安裝hadoop集群1.進入ambari管理界面