hadoop1安裝全套順序

Hadoop1安裝全套手順安裝：安裝需求硬件要求：內(nèi)存：至少6G硬盤空間：100G剩余軟件需求：虛擬機(jī)：vmware 該款軟件虛擬化程度較高，建議使用本軟件Linux鏡像：CentOS-6.5-x86_64-bin-DVD1遠(yuǎn)程連接軟件：xshell4Hadoop:hadoop-1.0.4.tar.gzJavajdk:jdk-6u32-linux-x64安裝 我們搭建的hadoop為1主3從，即1個(gè)namenode3個(gè)datanode 1：安裝namenode： 此過(guò)程跟一般Linux虛擬機(jī)的安裝基本無(wú)異 Linux安裝詳細(xì)圖解 填寫虛擬機(jī)名稱：指定虛擬機(jī)安裝路徑即使沒(méi)有80G空間也行這里選中你下載好的鏡像文件這里選中你下載好的鏡像文件這里是選擇網(wǎng)卡：為了簡(jiǎn)單起見(jiàn)，我們用NAT這里是選擇網(wǎng)卡：為了簡(jiǎn)單起見(jiàn)，我們用NAT模式，NAT模式對(duì)應(yīng)于主機(jī)VMnet8這塊網(wǎng)卡進(jìn)入安裝界面，選擇第一個(gè)安裝選項(xiàng)，安裝或更新現(xiàn)有系統(tǒng)Installorupgradeanexistingsystem安裝或升級(jí)現(xiàn)有的系統(tǒng)installsystemwithbasicvideodriver安裝過(guò)程中采用基本的顯卡驅(qū)動(dòng)Rescueinstalledsystem進(jìn)入系統(tǒng)修復(fù)模式Bootfromlocaldrive退出安裝從硬盤啟動(dòng)Memorytest內(nèi)存檢測(cè)2，硬件檢測(cè)：跳過(guò)---skip選擇下一步選擇skip跳過(guò)下一步安裝中安裝中至此，虛擬機(jī)一臺(tái)虛擬機(jī)安裝成功按照同樣的方法安裝slave1,slave2,slave3。（不熟悉的童鞋可以按照此法多安裝幾次，熟悉的可以直接克?。┛寺√摂M機(jī) 這樣即可，不過(guò)這樣克隆出來(lái)是很方便，但是網(wǎng)絡(luò)配置哪塊就很蛋疼了，克隆出來(lái)的必須重新生成mac地址；重新生成mac地址這樣就將mac地址更新啦。如果安裝成功的話就ok啦。

網(wǎng)絡(luò)配置 安裝好虛擬機(jī)還只是第一步，接下來(lái)是網(wǎng)絡(luò)的配置：我們使用的是固定ip,首先確定自己本機(jī)的vmnet8的ip.這屬于windows的相關(guān)設(shè)置，不詳細(xì)表述；打開網(wǎng)絡(luò)共享中心更改適配器設(shè)置將自己的4臺(tái)虛擬機(jī)與該網(wǎng)卡的ip配置在同一網(wǎng)段：比如我的4臺(tái)機(jī)器的ip為：與本地vmnet8的網(wǎng)卡在同于網(wǎng)段；配置網(wǎng)絡(luò)方法一：在虛擬機(jī)聯(lián)網(wǎng)的地方右鍵單擊編輯連接;添加后輸入ip，掩碼和網(wǎng)關(guān)即可方法二： 打開虛擬機(jī)終端：切換到root用戶：su-root修改文件：（每臺(tái)機(jī)器上面都需要配置，而且配置的內(nèi)容根據(jù)機(jī)子的不同而配置）刪除原有內(nèi)容使用wq保存退出修改文件：使用wq保存退出修改文件：使用wq保存退出使用wq保存退出注意：都是在root用戶下修改的這些文件上述兩種方法改完后執(zhí)行命令servicenetworkrestart配置完成后ping一下：ping的外面的機(jī)子相互之間再ping通試一下。全部okJavajdk安裝 刪除系統(tǒng)中默認(rèn)的jdkrpm-qa|grepjava獲取安裝的所有的java，此時(shí)會(huì)得到一大串的java相關(guān)的安裝的文件rpm-e--nodepsxxxxxx為獲取得到的相關(guān)文件（注意：一條一套刪除）刪除完成后再執(zhí)行rpm-qa|grepjava命令，查看是否還有殘留；然后exit安裝jdk 切換到普通用戶目錄下:在普通用戶目錄中新建文件夾java，將下載好的jdk-6u32-linux-x64.bin放進(jìn)來(lái)。在終端中進(jìn)入該目錄，并運(yùn)行jdk-6u32-linux-x64.bin執(zhí)行完成后，jdk就裝好了，然后再修改配置文件切換到root用戶su–root然后修改配置文件/etc/profile在文件最末尾加上：然后source/etc/profile刷新回到普通用戶：執(zhí)行命令source/etc/profile然后輸入java-version查看是否成功：成功！

查看最大文件數(shù)限制執(zhí)行命令ulimit–n查看最大文件數(shù)（默認(rèn)為1024）切換到root用戶：su-root輸入vi/etc/security/limits.conf在文件最后添加：*-nproc65535*-nofile65535輸入wq!保存退出配置好以上環(huán)境后，如果該機(jī)器作為開發(fā)客戶端使用基本就完成了，如果作為服務(wù)端使用，建議關(guān)閉掉圖形界面，配置/etc/inittab配置ssh無(wú)密碼登錄配置好4臺(tái)機(jī)器的/etc/hosts文件后，在普通用戶下，切記進(jìn)入用戶目錄的.ssh目錄生成無(wú)密碼密鑰對(duì)：

然后回車會(huì)出現(xiàn)如圖所示的界面：將公鑰寫入公鑰庫(kù)，為了不修改配置文件，使用centOS默認(rèn)的庫(kù)名authorized_keys:設(shè)置公鑰權(quán)限chmod600authorized_keys然后切換到root重新啟動(dòng)sshServicesshdrestart切換到普通用戶使用ssh命令登錄驗(yàn)證：成功！O(∩_∩)O如果不成功,在root用戶下編輯找到此處，將其前面的#去掉切換到普通用戶，使用scp命令將.ssh文件下的所有文件發(fā)送給其他從機(jī)scp~/.ssh/*master@slave1:~/.ssh發(fā)送完成后，可以ssh命令登錄試試ssh主機(jī)名首次登錄可能需要輸入yes/no登錄成功一次后則以后登錄不需要密碼，如上圖安裝hadoop現(xiàn)在到正文了，開始安裝后hadoop了將hadoop-1.0.4.tar.gz放入普通用戶目錄下解壓該文件tar-zxvfhadoop-1.0.4.tar.gz并將文件重命名為hadoopmvhadoop-1.0.4hadoop\ 我本機(jī)的主機(jī)名為master接著就是修改環(huán)境變量了，跟javajdk的修改方法一致，可以參考jdk環(huán)境變量的配置方法修改配置文件 我們需要修改的主要有3個(gè)xml文件。一個(gè)指定jdk環(huán)境變量的文件，一個(gè)master.一個(gè)slaves普通用戶下進(jìn)入hadoop目錄下的conf目錄修改hadoop-env.sh文件exportJAVA_HOME=/usr/java/jdk1.6.0_32(去掉前面的#，xxx是jdk的安裝路徑)修改core-sit.xml文件<property> <name></name> <value>hdfs://master:9000</value> </property> 注：NN為masterDN為slave1~3（根據(jù)自己情況配置）修改配置文件hdfs-site.xml <property> <name>dfs.replication</name>復(fù)制份數(shù) <value>2</value> </property> <property> <name>.dir</name>NN數(shù)據(jù)存儲(chǔ)位置 <value>/home/user/hadoop/namenode/</value> </property> <property> <name>dfs.data.dir</name>DN數(shù)據(jù)存儲(chǔ)位置 <value>/home/user/hadoop/data/</value> </property> <property> <name>hadoop.tmp.dir</name>臨時(shí)文件存儲(chǔ)位置，例如進(jìn)程文件 <value>/home/user/hadoop/tmp/</value> </property>修改配置文件vimapred-site.xml <property> <name>mapred.job.tracker</name>為jobtracker的主機(jī)名和端口 <value>master:9001</value> </property> <property> <name>mapred.tasktracker.map.tasks.maximum</name>最大map任務(wù)數(shù) <value>2</value> </property> <property> <name>mapred.tasktracker.reduce.tasks.maximum</name>最大reduce任務(wù)數(shù) <value>2</value> </property>修改masters文件Vimmasters修改slaves文件Vimslaves創(chuàng)建數(shù)據(jù)目錄在用戶目錄下創(chuàng)建data和tmp文件夾（不要建name文件夾）mkdir~/hadoop/data/mkdir~/hadoop/tmp/設(shè)置權(quán)限755chmod755~/hadoop/data/chmod755~/hadoop/tmp/然后使用scp命令將hadoop文件夾拷貝給其他的機(jī)器scp–r~/hadoop/master@slave1:~/scp–r~/hadoop/master@slave2:~/scp–r~/hadoop/master@slave3:~/當(dāng)出現(xiàn)一大串復(fù)制文件的信息時(shí)就表示成功拷貝了，如果沒(méi)有出現(xiàn)，那就是你命令寫錯(cuò)了

檢查是否成功整體配置完成后，輸入命令：hadoopnamenode–format將環(huán)境格式化，如果配置都正確，則不會(huì)報(bào)錯(cuò)。格式化完畢后使用命令：start-all.sh啟動(dòng)hadoop：使用jps命令在master上查看出現(xiàn)一個(gè)namenode1個(gè)