hadoop安裝及運(yùn)行維護(hù)匯總小問題

1、windows安裝hadoop博客分類：· hadoopWindowsHadoopJavaJDKMapreducehadoop是什么就不多說了，看這里hadoop推薦部署環(huán)境是在linux，但是我們想要在windows體驗(yàn)一下還是可以的，followme我的環(huán)境：windowsxp，hadoop安裝包(0.20.1)，cygwin打開cygwinJava代碼1. explorer.把hadoop的包放到這個(gè)目錄下然后輸入命令Java代碼1. tarzxfhadoop-0.20.1.tar.gz解壓完成后進(jìn)入hadoop-0.20.1的配置目錄，打開core-site.xml，加入以下

2、內(nèi)容。這里是定義namenode運(yùn)行地址和端口Xml代碼1. <property>2. <name></name>3. <value>hdfs:/localhost:9000</value>4. </property>打開hdfs-site.xml，加入以下內(nèi)容Java代碼1. <property>2. <name>dfs.replication</name>3. <value>1</value>4. </property>這里把復(fù)制因子設(shè)置為1是因?yàn)?/p>

3、我們?cè)趙indows上做偽分布，只能啟動(dòng)一個(gè)datanode接下來可以定義namenode數(shù)據(jù)目錄，和datanode數(shù)據(jù)目錄。當(dāng)然這個(gè)不是必須的，默認(rèn)是在/tmp目錄下面Xml代碼1. <property>2. <name></name>3. <value>c:/filesystem/name</value>4. </property>5. <property>6. <name>r</name>7. <value>c:/filesystem/data</value&g

4、t;8. </property>最后修改hadoop-env.sh，把下面注釋的這行打開，并設(shè)置為你的jdk路徑。如果你的java在ProgramFiles下，則整個(gè)jdk路徑加引號(hào)Java代碼exportJAVA_HOME=你的jdk路徑ok，在cygwin下進(jìn)入bin目錄,首先需要格式化namenodeJava代碼1. ./hadoopnamenode-format然后啟動(dòng)namenodeJava代碼1. ./hadoopnamenode再打開一個(gè)datanode，同樣在bin目錄下Java代碼1. ./hadoopdatanode不出意外，你會(huì)看到namenodedatano

5、de我們可以試一下上傳文件Java代碼1. ./hadoopfs-putd:/download/vmware6.03.rar/tt/vm.rarlist一下Java代碼1. ./hadoopfs-lsr/tt結(jié)果：Java代碼1. -rw-r-r-1Administratorsupergroup207939702010-01-1815:52/tt/vm.rar有興趣的筒子可以去c:/filesystem/data/current看看哈：）A.當(dāng)我執(zhí)行./hadoopnamenode-format時(shí)為啥會(huì)出現(xiàn)下面的錯(cuò)誤提示，我的hadoop-env.sh中JAVA_HOME配置為：exportJ

6、AVA_HOME=/cygdrive/d/Java/jdk1.6.0_10。出現(xiàn)的問題是：/cygdrive/d/hadoop/bin/.conf/hadoop-env.sh:line2:$'r':commandnotfound./cygdrive/d/hadoop/bin/.conf/hadoop-env.sh:line52:$'r':commandnotfound/bin/java:Nosuchfileordirect/bin/java:cannotexecute:NOsuchfileordirectory0_10請(qǐng)指教解決了：在conf/目錄下執(zhí)行“dos

7、2unixhadoop-env.sh”就OK了。Lulu_pcB. hadoop錯(cuò)誤INFO ipc.Client: Retrying connect to server: localhost/ .  2012-05-14 16:23:13|  分類： hadoop|字號(hào) 訂閱hadoop安裝完成后，必須要用haddop namenode format格式化后，才能使用，如果重啟機(jī)器在啟動(dòng)hadoop后，用hadoop fs -ls命令老是報(bào) 10/09/25 18:35:29 INFO ipc.Client: Re

8、trying connect to server: localhost/:9000. Already tried 0 time(s).的錯(cuò)誤，用jps命令，也看不不到namenode的進(jìn)程， 必須再用命令hadoop namenode format格式化后，才能再使用    原因是：hadoop默認(rèn)配置是把一些tmp文件放在/tmp目錄下，重啟系統(tǒng)后，tmp目錄下的東西被清除，所以報(bào)錯(cuò)    解決方法：在conf/core-site.xml （0.19.2版本的為conf/hadoop-site.xml）中增加以下內(nèi)

9、容   <property>   <name>hadoop.tmp.dir</name>   <value>/var/log/hadoop/tmp</value>  <description>A base for other temporary directories</description>  </property>  重啟hadoop后，格式化namenode即可 C. 錯(cuò)誤1. .could

10、only be replicated to 0 nodes,instead of 1這個(gè)錯(cuò)誤主要的解決方法是:1.把 tmp文件全部刪除。3.重新格式化namenode :(bin/hadoop namenode -format)也許你不知道hadoop 的tmp文件在哪里，默認(rèn)情況下應(yīng)該才 cygwin根目錄下的tmp文件夾內(nèi)：如下圖所示：把它們都刪掉。就OK了。 (cd /tmp  ,   rm -rf *)參考博客：錯(cuò)誤2：name node is in safe mode直接輸入命令： bin/hadoop dfsadmin -safemode leave 離開安全

11、模式-華麗分割-記錄配置過程到此結(jié)束，如有錯(cuò)誤，煩請(qǐng)指出，不勝感激。D. hadoop集群?jiǎn)?dòng)start-all.sh的時(shí)候，slave總是無法啟動(dòng)datanode，并會(huì)報(bào)錯(cuò)： could only be replicated to 0 nodes, instead of 1 就是有節(jié)點(diǎn)的標(biāo)識(shí)可能重復(fù)（個(gè)人認(rèn)為這個(gè)錯(cuò)誤的原因）。也可能有其他原因，一下解決方法請(qǐng)依次嘗試，我是解決了。解決方法：1. 刪除所有節(jié)點(diǎn)dfs.data.dir和dfs.tmp.dir目錄（默認(rèn)為tmp/dfs/data和tmp/dfs/tmp）下的數(shù)據(jù)文件；然后重新hadoop namenode -format 格式化節(jié)

12、點(diǎn)；然后啟動(dòng)。2. 如果是端口訪問的問題，你應(yīng)該確保所用的端口都打開，比如hdfs:/machine1:9000/、50030、50070之類的。執(zhí)行#iptables -I INPUT -p tcp dport 9000 -j ACCEPT 命令。3. 如果還有報(bào)錯(cuò)：hdfs.DFSClient: Exception in createBlockOutputStream .ConnectException: Connection refused；應(yīng)該是datanode上的端口不能訪問，到datanode上修改iptables：#iptables -I INPUT -s machine1 -p

13、 tcp -j ACCEPT4. 還有可能是防火墻的限制集群間的互相通信。嘗試關(guān)閉防火墻。/etc/init.d/iptables stop5. 最后還有可能磁盤空間不夠了，請(qǐng)查看 df -al6. 我在解決這個(gè)問題的時(shí)候還有人說：先后啟動(dòng)namenode、datanode可以解決這個(gè)問題（本人嘗試發(fā)現(xiàn)沒用，大家可以試試）$hadoop-daemon.sh start namenode ； $hadoop-daemon.sh start datanodeE.(1) 如果datanode連接不上namenode，導(dǎo)致datanode無法啟動(dòng)。ERROR org.apache.hadoop.hdf

14、s.server.datanode.DataNode: java.io.IOException: Call to . failed on local exception: .NoRouteToHostException: No route to host(2)報(bào)錯(cuò) INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.EOFException  無法向datanode寫數(shù)據(jù)塊，即表明無法向datanode正常連接解決方法：關(guān)閉防火墻：如果

15、是Linux系統(tǒng)復(fù)制代碼代碼如下:service iptables stop 禁用selinux:編輯 /etc/selinux/config文件，設(shè)置“SELINUX=disabled”如果是在windows平臺(tái)，則需要將由cygwin安裝的sshd程序加入被windows防火墻允許通過的程序。 F. 安全模式導(dǎo)致的錯(cuò)誤org.apache.hadoop.dfs.SafeModeException: Cannot delete ., Name node is in safe mode在分布式文件系統(tǒng)啟動(dòng)的時(shí)候，開始的時(shí)候會(huì)有安全模式，當(dāng)分布式文件系統(tǒng)處于安全模式的情況下，

16、文件系統(tǒng)中的內(nèi)容不允許修改也不允許刪除，直到安全模式結(jié)束。安全模式主要是為了系統(tǒng)啟動(dòng)的時(shí)候檢查各個(gè)DataNode上數(shù)據(jù)塊的有效性，同時(shí)根據(jù)策略必要的復(fù)制或者刪除部分?jǐn)?shù)據(jù)塊。運(yùn)行期通過命令也可以進(jìn)入安全模式。在實(shí)踐過程中，系統(tǒng)啟動(dòng)的時(shí)候去修改和刪除文件也會(huì)有安全模式不允許修改的出錯(cuò)提示，只需要等待一會(huì)兒即可。復(fù)制代碼代碼如下:hadoop dfsadmin -safemode leave G. hadoop-root-datanode-master.log 中有如下錯(cuò)誤：ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: ja

17、va.io.IOException: Incompatible namespaceIDs in導(dǎo)致datanode啟動(dòng)不了。原因:每次namenode format會(huì)重新創(chuàng)建一個(gè)namenodeId,而dfs.data.dir參數(shù)配置的目錄中包含的是上次format創(chuàng)建的id,和.dir參數(shù)配置的目錄中的id不一致。namenode format清空了namenode下的數(shù)據(jù),但是沒有清空datanode下的數(shù)據(jù),導(dǎo)致啟動(dòng)時(shí)失敗,所要做的就是每次fotmat前,清空dfs.data.dir參數(shù)配置的目錄.格式化hdfs的命令復(fù)制代碼代碼如下:hadoop namenode -f

18、ormat  關(guān)閉安全模式H. 代碼總是不能成功運(yùn)行,?產(chǎn)生如下錯(cuò)誤：java.io.FileNotFoundException: FileE:/tmp/hadoop-SYSTEM/mapred/local/taskTracker/jobcache/job_201005020105_0001/attempt_201005020105_0001_m_000002_0/work/tmpdoes not exist.at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:36

19、1)at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:245)at org.apache.hadoop.mapred.TaskRunner.setupWorkDir(TaskRunner.java:519)at org.apache.hadoop.mapred.Child.main(Child.java:155)在?Cygwin?下必須設(shè)置mapreduce任務(wù)的中間暫存目錄mapred.child.tmp，否則會(huì)出錯(cuò)的?在mapred-site.xml中：?添加:?<property

20、>?<name>mapred.child.tmp</name><value>/home/hadoop-0.20.1/temp</value></property>?注：盡量不要使用系統(tǒng)的/tmp，可能因某種原因會(huì)丟失文件，然后對(duì)namenode進(jìn)行格式化$ hadoop namenode -format如果報(bào)錯(cuò)無法格式化，存在不可刪除的文件，可能是因?yàn)閔adoop.tmp.dir的目錄中對(duì)應(yīng)的目錄中的文件沒刪除干凈。即刪除hadoop/tmp/dfs目錄中 data和tmp或者name中的current目錄的數(shù)據(jù)文件如果文件不可

21、刪除，報(bào)錯(cuò)設(shè)備忙或者資源忙錯(cuò)誤，則是被相關(guān)的進(jìn)程所占用，通過ps查看，殺掉相關(guān)的進(jìn)程id。（如果是windows環(huán)境部署hadoop，則java進(jìn)程需要被任務(wù)管理器殺死）。刪除相關(guān)的占用進(jìn)程，即可刪除hadoop/tmp/dfs中的殘存數(shù)據(jù)文件，然后重新對(duì)namenode格式化。然后執(zhí)行相關(guān)的命令運(yùn)行hadoop$ start-all.sh$ hadoop dfsadmin -report 查看當(dāng)前hadoop的配置情況，包括datanode情況$ hadoop jar jar文件 任務(wù) Input目錄 output目錄進(jìn)行相關(guān)的hadoop任務(wù)二、hadoop集群?jiǎn)?dòng)start-all.sh的時(shí)候，slave總是無法啟動(dòng)datanode，并會(huì)報(bào)錯(cuò)： could only be rep