hadoop1.2.1的詳細配置

1、1 虛擬機的安裝（VMware），默認就是了2 vmtools的安裝（安裝tool后，方便虛擬機中系統(tǒng)與當前系統(tǒng)相互拷貝文件），有的ubuntu系統(tǒng)會自動的安裝。安裝方法：首先打開自己安裝在虛擬機中的ubuntu，然后點擊VMware的菜單欄的VM，選擇Install VMware Tools遇到問題： the path “” is not a valid path后的解決方法解決方法：2.1 有可能缺失kernel headers，使用sudo apt-get install linux-headers-#(uname -r)2.2出現(xiàn)Enter the path to the kernel

2、 header files for the 3.5.0-23-generic kernel?時，輸入/usr/src/linux-headers-3.5.0-23-generic/include2.3出現(xiàn)would you like to change ityes 選擇輸入no， 一直enter3 安裝完ubuntu，root用戶不能使用遇到問題：root密碼認證失敗解決方法：在終端輸入命令 sudo passwd，然后輸入當前用戶的密碼，最后按照提示輸入給root輸入密碼4 ubuntu更新后，用戶不能登錄遇到問題：fail to load session解決方法：輸入sudo update

3、 manager c-d系統(tǒng)更新，然后安裝其他的桌面sudo apt-get install gnome，然后選用GNOME登錄，用戶名與密碼都是更新前的。5 JDK安裝安裝方法：5.1 把.tar.gz的JDK文件復制到/usr下面的一個新建的文件中（mkdir /usr/apps）:注意放到VM中的文件的完整性(使用root用戶解壓文件)5.2使用tar zxvf filename【絕對路徑或者相對路徑，后者需要在apps目錄下操作】解壓文件sudo tar zxvf /usr/apps/ jdk-7u45-linux-i586.tar.gz遇到問題：文件解壓中途中斷解決方法：查看復制到虛

4、擬機中文件的屬性，看看是不是與當前系統(tǒng)中的文件大小一樣，不一樣就反復復制，知道一樣大小為止5.3 配置環(huán)境變量sudo vi /etc/profile ，然后按i是插入，按Esc+：，再輸入wq！是退出并保存；也可以使用sudo gedit /etc/profile，前提是已經安裝gedit，如果沒有安裝就sudo apt-get install gedit配置文件內容：export JAVA_HOME=/usr/apps/jdk1.7.0_45export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jare

5、xport PATH=$PATH:$JAVA_HOME/bin:$HOME/bin5.4 同時加入ubuntu的sbin的path，因為有的系統(tǒng)的很多命令在sbin下面，不能直接用，配在path中，就可以不用到目錄sbin下執(zhí)行；export PATH=$PATH:/sbin5.5 使配置文件立即生效，如果重啟電腦會自動生效的。輸入命令source /etc/profile或者./etc/profile5.6 測試jdk是否正確安裝java version，查看是否是自己配置的jdk的版本遇到問題：沒有輸出版本信息（系統(tǒng)已近安裝有，現(xiàn)在有兩個了，不能識別）解決方法：輸入： update-alt

6、ernatives -install /usr/bin/java java /usr/apps /jdk1.7.0_45/bin/java 300輸入： update-alternatives -install /usr/bin/javac javac /usr/apps /jdk1.7.0_45/bin/javac 3005.7 網絡上提供的自動安裝方法（不建議，擔心找不到安裝目錄，對后面的配置不利）sudo apt-get install python-software-propertiessudo add-apt-repository ppa:webupd8team/javasudo a

7、pt-get updatesudo apt-get install oracle-java6-installer6 ssh的安裝直接執(zhí)行sudo apt-get install openssh-server如果行不通就先升級部分軟件sudo apt-get updatesudo apt-get upgradesudo apt-get install openssh-server7創(chuàng)建hadoop用戶sudo addgroup hadoopsudo adduser -ingroup hadoop hdusersudo gedit /etc/sudoers編輯文件，在root ALL=(ALL:A

8、LL)ALL行下添加hduser ALL=(ALL:ALL)ALL。如果不添加這行，hduser將不能執(zhí)行sudo操作。8 clone系統(tǒng)為了不破壞模板，都不在原系統(tǒng)上操作了，后面所有的操作都在clone版上做，計劃三臺機器，也就是clone三個。clone時需要關閉模版機器（sudo shutdown P now）9 網絡配置9.1使用bridge的方式也是可以的。只要虛擬機中所有的linux的ip都設置為靜態(tài)的，使用與主機同一個網段的地址中沒有被用過的就行了。9.2使用nat方式，選用Vnet8對其進行配置，其ip地址可以自定義，同時注意Vnet8的ip地址與其網管不要弄得一樣，dns服務

9、器就與本機的設置為一樣，備用的設為本機網段的dns地址。在本地連接中的以太網屬性的共享中，將Vnet8設置為其共享對象，同時打上勾。禁用再啟用Vnet8,網絡就可用了。特別注意，要在真實系統(tǒng)的管理中將VMnet的服務打開。方式一（我使用的，配置后可以訪問internet）9.2.1 打開，選擇配置VMnet8右鍵選擇屬性然后選擇進行ip配置注意DNS需要與自己主機中ip的DNS一樣，我的主機的配置為關鍵的一步：將本地連接共享給VMnet8選擇屬性，在網絡中選中，這樣可以保證即使nat配置不成功，我們也可以選用bridge的方式上網更新系統(tǒng)或者安裝文件。再選擇共享這樣就可以在VMnet8中看到通

10、網了方式二（可以保證nat配通，沒有試過是否可以訪問internet）9.2.2 在VMware Workstation選擇Edit中的Virtual Network Editor現(xiàn)在VMnet8在NAT Settings中配置好網關9.3在VM中選擇setting，設置Virtual Machine Settings，選擇Network Adapter,設置為nat。三臺clone的機器都需要這個操作。接在虛擬機中ubuntu上設置靜態(tài)ip，計劃配置為00 master01 date102 date2 sudo gedit /

11、etc/network/interfaces或者sudo vi /etc/network/interfaces下面是master的配置，data1與data2 的配置一樣，只是address對應自己的就是在auto loiface lo inet loopback后面加上iface eth0 inet staticaddress 00netmask gateway 54dns-nameservers 54auto eth0重啟ubuntu的網卡：/etc/init.d/networking restar

12、t最好是重啟電腦，做完主機名的修改再重新起動9.4 配置主機名與網絡名修改 sudo gedit /etc/hostname 下的主機名；分別為master、data1、data2修改 sudo gedit /etc/hosts 文件masterdata1data29.5 重啟電腦，查看ip地址，輸入命令ifconfig，查看三臺clone的系統(tǒng)是否可以互訪，例如在master中ping c 4 01，如果網絡名配置成功，可以直接ping c 4 data110 配置無密碼登錄（使用前面建立的用戶hduser登陸）10.1在/home/hduser下新建文件 mkdir

13、.ssh（shell的工作目錄因該是/home/hduser, 如果不是，調整方式cd /home/hduser）10.2 echo "" > .ssh/authorized_keys10.3 ssh-keygen(后面全部enter就是了)10.4 cat .ssh/id_rsa.pub >>.ssh/authorized_keys10.5 cat /.ssh/id_rsa.pub >> /.ssh/authorized_keys注意：10.1-10.5需要在每臺機器上都執(zhí)行，下面的步驟只需要在master上執(zhí)行10.6上面條命令是把其他sl

14、ave節(jié)點的公鑰拷貝到master節(jié)點中的authorized_keys，有幾個data節(jié)點就執(zhí)行幾次（本文只有兩個data節(jié)點）ssh 01 cat /.ssh/id_rsa.pub >> /.ssh/authorized_keysssh 02 cat /.ssh/id_rsa.pub >> /.ssh/authorized_keys10.7把authorized_keys文件拷貝回每一個節(jié)點，同樣，有幾個data節(jié)點就執(zhí)行幾次scp /.ssh/authorized_keys 01:/.ssh/aut

15、horized_keysscp /.ssh/authorized_keys 02:/.ssh/authorized_keys10.8 測試（特別小心，需要在每臺機器上都測試是否能與其余的機器進行無密匙登陸，因為第一次是需要密碼登陸的，只有用過密碼登陸后，以后才不用密碼的，不然在后面啟動hadoop時，會提示錯誤，導致live node節(jié)點數(shù)為0，也就是說配置不成功）例如在master上測試data1：ssh data1（如果網絡名沒有配通，用ssh 01）11 hadoop的安裝11.1 自動下載（童謠可以去官網下載好后再放到虛擬機中）下載Hadoo

16、p1.2.1版本(自動下載hadoop)cd /home/hduser$ wget$ tar zxf hadoop-1.2.1.tar.gz$ mv hadoop-1.2.1 hadoop #文件重命名11.2 手動配置（只用在master中配置，配置好再復制就行了）11.2.1把.tar.gz的JDK文件復制到/home/hduser下面的一個新建的文件中，使用tar zxvf filename解壓文件，mv hadoop-1.2.1 hadoop #文件重命名（也可以不重新命名）11.2.2配置conf/hadoop-env.sh文件，加入JAVA_HOME（找到自己配置JDK的地點）11

17、.2.3配置/conf/core-site.xml需要在/home/hduser/hadoop/hadoop下新建目錄temp11.2.4配置/conf/mapred-site.xml11.2.5配置/conf/hdfs-site.xml此處的name和data等目錄不能提前創(chuàng)建，如果提前創(chuàng)建會出問題。11.2.6配置masters和slaves主從節(jié)點（如果網絡名稱配置正確，可以使用網絡名稱的，建議直接使用ip地址，免得帶來不必要的麻煩）11.3把配置好的hadoop文件夾拷貝到其他集群的機器中scp -r /home/hduser/hadoop 01:/home/hd

18、user/scp -r /home/hduser/hadoop 02:/home/hduser/11.4啟動+測試+關閉11.4.1 在初次運行Hadoop的時候需要初始化Hadoop文件系統(tǒng)，命令如下：cd /home/hduser/hadoop/hadoopbin/hadoop namenode -format #格式化文件系統(tǒng)格式成功界面11.4.2 啟動所有節(jié)點bin/start-all.sh11.4.3 查看集群的狀態(tài)hadoop dfsadmin report或者http:/master:50070/（網絡名沒有配通請使用00:50070/），在界面中能看到live nodes不是0，或者用輸入jps查看輸出（不建議）（前面的配置是2個data節(jié)點，所以live nodes是2）11.5 測試測試系統(tǒng)吞吐量：使用10個map任務寫10個文件，每個500m。命令:hadoop jar $HADOOP_HOME/hadoop-test-*.jar TestDFSIO -write -nrFiles 10 -