cent-OS-下hadoop完全分布式安裝-hadoop2.6.1版-親測(cè)自己總結(jié)

一、安裝CentOS6

1、首先，要有一張CentOS6.4的安裝介質(zhì)，使用介質(zhì)啟動(dòng)電腦出現(xiàn)如下界面界面說明：Installorupgradeanexistingsystem安裝或升級(jí)現(xiàn)有的系統(tǒng)

installsystemwithbasicvideodriver安裝過程中采用基本的顯卡驅(qū)動(dòng)

Rescueinstalledsystem進(jìn)入系統(tǒng)修復(fù)模式Bootfromlocaldrive

退出安裝從硬盤啟動(dòng)Memorytest

內(nèi)存檢測(cè)注：用聯(lián)想E49安裝時(shí)選擇第一項(xiàng)安裝時(shí)會(huì)出現(xiàn)屏幕顯示異常的問題，后改用第二項(xiàng)安裝時(shí)就沒有出現(xiàn)問題2、介質(zhì)直接“skip”就可以了3、出現(xiàn)引導(dǎo)界面，點(diǎn)擊“next”4、選中“English（English）”否則會(huì)有部分亂碼問題5、鍵盤布局選擇“U.S.English”6、選擇“BasicStorageDevies"點(diǎn)擊"Next"7、詢問是否忽略所有數(shù)據(jù)，新電腦安裝系統(tǒng)選擇"Yes,discardanydata"8、Hostname填寫格式“英文名.姓”9、網(wǎng)絡(luò)設(shè)置安裝圖示順序點(diǎn)擊就可以了這里可以不設(shè)置在安裝完畢后可以通過Linux命令進(jìn)行設(shè)置10、時(shí)區(qū)可以在地圖上點(diǎn)擊，選擇“shanghai”并取消SystemclockusesUTC前面的對(duì)勾11、設(shè)置root的密碼（重要必須牢記密碼）12、硬盤分區(qū)，一定要按照?qǐng)D示點(diǎn)選如果想安裝雙系統(tǒng)這里不能這么選，請(qǐng)查找資料進(jìn)行選擇13、調(diào)整分區(qū)，必須要有/home這個(gè)分區(qū)，如果沒有這個(gè)分區(qū)，安裝部分軟件會(huì)出現(xiàn)不能安裝的問題14、詢問是否格式化分區(qū)15、將更改寫入到硬盤16、引導(dǎo)程序安裝位置17、最重要的一步，也是本教程最關(guān)機(jī)的一步，也是其他教程沒有提及的一步，按圖示順序點(diǎn)擊18、取消以下內(nèi)容的所有選項(xiàng)根據(jù)自己的需要進(jìn)行選擇這些都是系統(tǒng)提供的一些工具可以選擇安裝這些工具ApplicationsBaseSystemServers并對(duì)Desktops進(jìn)行如下設(shè)置即取消如下選項(xiàng)：DesktopDebuggingandPerformanceToolsDesktopPlatformRemoteDesktopClientsInputMethods中僅保留ibus-pinyin-1.3.8-1.el6.x86_64,其他的全部取消19、選中Languages，并選中右側(cè)的ChineseSupport然后點(diǎn)擊紅色區(qū)域20、調(diào)整完成后如下圖所示21、至此，一個(gè)最精簡(jiǎn)的桌面環(huán)境就設(shè)置完成了，22、安裝完成，重啟23、重啟之后，的LicenseInformation24、CreateUserUsername：填寫您的英文名（不帶.姓）FullName：填寫您的英文名.姓（首字母大寫）25、"DateandTime"選中“Synchronizedataandtimeoverthenetwork”Finsh之后系統(tǒng)將重啟26、第一次登錄，登錄前不要做任何更改，這個(gè)很重要?。。〉卿浿缶o接著退出第二次登錄，選擇語(yǔ)言，在紅色區(qū)域選擇下拉小三角，選other，選中“漢語(yǔ)（中國(guó)）”27、登錄之后，請(qǐng)一定按照如下順序點(diǎn)擊！至此，CentOS安裝完成，如有其他問題，請(qǐng)隨時(shí)與我聯(lián)系??！二、安裝hadoop1.新建運(yùn)行hadoop專屬用戶名cast503，修改主節(jié)點(diǎn)為master，從節(jié)點(diǎn)名稱為slave*這里使用三臺(tái)主機(jī)進(jìn)行搭建，分別為Master0Slave11Slave22以下設(shè)置均在root權(quán)限下進(jìn)行設(shè)置2.將所有的主機(jī)進(jìn)行組網(wǎng)1修改所有的主機(jī)文件/etc/hosts添加主機(jī)名稱和對(duì)應(yīng)的IP，形式如下所示localhostlocalhost.localdomainlocalhost4localhost4.localdomain4::1localhostlocalhost.localdomainlocalhost6localhost6.localdomain60 Master1 Slave2 Slave22修改/etc/sysconfig/network-script/ifcgf-eth0文件，定義網(wǎng)卡的IPDNS工作組IP地址類型（動(dòng)態(tài)或者靜態(tài)）廣播地址等信息注意當(dāng)一臺(tái)主機(jī)有多張網(wǎng)卡時(shí)/etc/sysconfig/netrok-script/文件中包含多個(gè)ifcgf-文件，修改接入網(wǎng)絡(luò)的那張網(wǎng)卡的對(duì)應(yīng)文件，文件內(nèi)容的正確與否直接關(guān)系到時(shí)否能正確組網(wǎng)文件內(nèi)容包括DEVICE=eth0#網(wǎng)卡名稱

BOOTPROTO=static#靜態(tài)/動(dòng)態(tài)IP

IPADDR=0#網(wǎng)卡的IP地址

NETMASK=#子網(wǎng)掩碼

GATEWAY=#默認(rèn)網(wǎng)關(guān)

TYPE=Ethernet3關(guān)閉防火墻（如果對(duì)防火墻有很好的認(rèn)識(shí)可以對(duì)防火墻規(guī)則進(jìn)行配置，在滿足Hadoop需要的同時(shí)增強(qiáng)系統(tǒng)的安全性，這里只介紹完全關(guān)閉防火墻）關(guān)閉所有機(jī)器上的防火墻，不然會(huì)導(dǎo)致datanode起不來臨時(shí)關(guān)閉：serviceiptablesstop永久關(guān)閉：chkconfigiptablesoff經(jīng)過上面步驟后，計(jì)算機(jī)組網(wǎng)已經(jīng)完成，我們可以通過pingIP地址/主機(jī)名如ping1或者pingslave1的方式來驗(yàn)證網(wǎng)絡(luò)是否聯(lián)通3.安裝JDK注意：各主機(jī)JDK安裝版本和安裝位置必須相同JDK可以去Oracl官網(wǎng)進(jìn)行下載，可以根據(jù)自己電腦安裝的是Linux系統(tǒng)來選擇是64位還是32位JDKforLinux這里以jdk-7u45-linux-x64.gz為例下載JDK存放在/home/cast503/目錄下JDK安裝在/usr/java錄下（需要新建文件mkdir/usr/java1進(jìn)入/usr/java文件cd/usr/java2解壓軟件包jdk-7u45-linux-x64.gzgunzip/home/cast503/jdk-7u45-linux-x64.gz3解壓后會(huì)在/usr/java/目錄下生成jdk1.8.0_60文件夾4配置Java系統(tǒng)環(huán)境變量，在root權(quán)限下打開/etc/profile文件vim/etc/profile5在文件的末尾添加上如下內(nèi)容(包含hadoop環(huán)境變量)exportJAVA_HOME=/usr/java/jdk1.8.0_60exportHADOOP_HOME=/home/cast503/hadoop-2.6.1exportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexportPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH:$HADOOP_HOME/sbinexportJRE_HOME=$JAVA_HOME/jre6由于Linux系統(tǒng)默認(rèn)安裝openJDK所以這里要修改默認(rèn)JDK為我們安裝的JDK在cast503賬戶下輸入下列命令sudoupdate-alternatives--install/usr/bin/javajava/user/java/jdk1.7.0_45/bin/java300sudoupdate-alternatives--install/usr/bin/javacjavac/user/java/jdk1.7.0_45/bin/javac300(注意紅色部分是設(shè)置的JAVA_HOME的文件路徑，也就是Java的安裝路徑)Sudoupdate-alternatives--configjava會(huì)出現(xiàn)Linux中所有可用的JDK我們選擇自己安裝的JDK安回車鍵即可7查看Linux是否是我們安裝的JDK輸入命令Java-version如果出現(xiàn)如下圖所示即為安裝成功4配置SSH免密碼登錄如果出現(xiàn)agentadmittedfailuretosignusingthekey解決方式為使用ssh-add指令將私鑰加進(jìn)來ssh-add/home/cast503/.ssh/id_rsa.ssh目錄的權(quán)限為700chmod700/home/cast503/.sshauthorized_keys文件的權(quán)限為600chmod600/home/cast503/.ssh/authorized_keys5.配置hadoop4.1.1配置hadoop-env.sh#cd/usr/lib/hadoop#vimetc/hadoop/hadoop-env.sh(注意，此處不是系統(tǒng)的etc目錄)將JAVA_HOME修改為剛才配置的位置4.1.2配置core-site.xml#vimetc/hadoop/core-site.xml添加以下內(nèi)容：<configuration><property><name>fs.defaultFS</name><value>hdfs://h1m1:9000</value></property><property><name>hadoop.tmp.dir</name><value>/usr/lib/hadoop/tmp</value></property><property><name>io.file.buffer.size</name><value>4096</value></property></configuration>4.1.3配置hdfs-site.xml#vimetc/hadoop/hdfs-site.xml添加以下內(nèi)容：<configuration><property><name>dfs.replication</name><value>2</value></property><property><name>.dir</name><value>file:///usr/lib/hadoop/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:///usr/lib/hadoop/dfs/data</value></property><property><name>services</name><value>h1</value></property><property><name>node.secondary.http-address</name><value>h1m1:50090</value></property><property><name>dfs.webhdfs.enabled</name><value>true</value></property></configuration>4.1.4配置mapred-site.xml#cpmapred-site.xml.templatemapred-site.xml#vimetc/hadoop/mapred-site.xml添加以下內(nèi)容：<configuration><property><name></name><value>yarn</value><final>true</final></property><property><name>mapreduce.jobtracker.http.address</name><value>h1m1:50030</value></property><property><name>mapreduce.jobhistory.address</name><value>h1m1:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>h1m1:19888</value></property><property><name>mapred.job.tracker</name><value>http://h1m1:9001</value></property></configuration>4.1.5配置yarn-site.xml#vimetc/hadoop/yarn-site.xml添加以下內(nèi)容：<configuration><!--SitespecificYARNconfigurationproperties--><property><name>yarn.resourcemanager.hostname</name><value>h1m1</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.address</name><value>h1m1:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>h1m1:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>h1m1:8031</value></property><property><name>yarn.resourcemanager.admin.address</name><value>h1m1:8033</value>