教學(xué)Hadoop軟件安裝

主講：侯磊目錄01Hadoop安裝環(huán)境02Hadoop實(shí)驗(yàn)集群部署結(jié)構(gòu)03Hadoop軟件安裝Hadoop安裝環(huán)境1Hadoop安裝環(huán)境（1）在Windows下安裝Hadoop安裝Cygwin（一個在Windows平臺下模擬Linux環(huán)境的工具）通過Cygwin安裝Hadoop（2）在MacOS操作系統(tǒng)下安裝Hadoop利用MacOS下的Homebrew來自動下載安裝HadoopHomebrew是一種軟件包管理器，類似于Ubuntu下的apt工具（3）Linux平臺下安裝Hadoop都需要下載安裝JDK和SSHHadoop實(shí)驗(yàn)集群部署結(jié)構(gòu)2Hadoop實(shí)驗(yàn)集群部署結(jié)構(gòu)一個Hadoop集群由一個Master節(jié)點(diǎn)和多個Slave節(jié)點(diǎn)組成從HDFS角度，Hadoop集群的節(jié)點(diǎn)分為兩大類角色：NameNode和DataNode從MapReduce角度，Hadoop集群的節(jié)點(diǎn)分為兩大類角色：JobTracker和TaskTrackerMaster節(jié)點(diǎn)配置NameNode和JobTracker的角色--負(fù)責(zé)管理分布式數(shù)據(jù)和分解任務(wù)的執(zhí)行Salve節(jié)點(diǎn)配置DataNode和TaskTracker的角色--負(fù)責(zé)分布式數(shù)據(jù)存儲以及任務(wù)的執(zhí)行 Hadoop實(shí)驗(yàn)集群部署結(jié)構(gòu)Hadoop實(shí)驗(yàn)集群部署結(jié)構(gòu)（1）單機(jī)模式Hadoop默認(rèn)的安裝模式；運(yùn)行在本地文件系統(tǒng)上，不與其它節(jié)點(diǎn)交互；不使用HDFS；也不加載任何Hadoop的守護(hù)進(jìn)程（2）偽分布模式在本地文件系統(tǒng)上運(yùn)行，但它運(yùn)行的是HDFS；NameNode、DataNode、JobTracker和TaskTracker全部部署在一臺機(jī)器上，在一臺機(jī)器上模擬分布式部署（3）集群模式運(yùn)行在多臺機(jī)器的HDFS上。Hadoop軟件安裝3Hadoop軟件安裝IP地址設(shè)置完成后，重啟網(wǎng)卡：servicenetworkrestartHadoop軟件安裝在linux下防火墻被稱作“iptables”，使用命令查看服務(wù)iptables的狀態(tài)，驗(yàn)證防火墻的關(guān)閉：

serviceiptablesstatus如果命令執(zhí)行后提示信息為“iptables:Firewallisnotrunning”，說明防火墻已經(jīng)被關(guān)閉。Hadoop軟件安裝Hadoop集群之間通過主機(jī)名互相訪問，因此需要設(shè)置DNS解析設(shè)置主機(jī)名：編輯配置文件“/etc/sysconfig/network”設(shè)置節(jié)點(diǎn)IP與主機(jī)名的映射：編輯文件“/etc/hosts”驗(yàn)證配置：執(zhí)行“pingmaster”命令。Hadoop軟件安裝Hadoop的進(jìn)程之間使用SSH方式通信設(shè)置SSH的免密碼登錄方式后，用戶只在第一次登錄時輸入一次密碼，以后都可以免密碼直接登錄使用rsa加密方式生成密鑰：ssh-keygen-trsa生成授權(quán)文件：進(jìn)入密鑰目錄~/.ssh，執(zhí)行命令生成授權(quán)文件（authorized_keys）：cpid_rsa.pubauthorized_keys驗(yàn)證SSH無密碼登錄：sshlocalhostHadoop軟件安裝Hadoop的編譯和MapReduce程序的運(yùn)行都需要使用JDK復(fù)制、解壓JDK文件，重命名解壓縮目錄。把jdk的命令配置到環(huán)境變量中：配置文件“/etc/profile” exportJAVA_HOME=/usr/local/jdkexportPATH=.:$PATH:$JAVA_HOME/bin使文件中的設(shè)置生效：source/etc/profile驗(yàn)證安裝是否成功：“java-version”命令Hadoop軟件安裝復(fù)制、解壓Hadoop安裝包。重命名解壓縮目錄。設(shè)置環(huán)境變量，配置文件“/etc/profile”：

exportHADOOP_HOME=/usr/local/hadoopexpo