hadoop運(yùn)維經(jīng)驗(yàn)分享

Hadoop運(yùn)維經(jīng)驗(yàn)分享趙云炯@ebay2012華東運(yùn)維技術(shù)大會2008年加入阿里巴巴云梯管理員2011年加入SDO負(fù)責(zé)搭建并維護(hù)hadoop集群2012年加入ebay自我介紹2012華東運(yùn)維技術(shù)大會hadoop集群搭建監(jiān)控集群性能調(diào)優(yōu)Hadoop如何被搞垮的概要2012華東運(yùn)維技術(shù)大會Mastermemory

磁盤sas+raid10active-backupbondingIPaliasHadoop集群搭建2012華東運(yùn)維技術(shù)大會Editlog本地一份，NFS一份NameQuota&SpaceQuota權(quán)限控制/tmpTrashRackawarenessNamenode2012華東運(yùn)維技術(shù)大會控制內(nèi)存mapred.jobtracker.maxtasks.per.jobervalpleteuserjobs.maximummapreduce.job.counters.limitJobTracker2012華東運(yùn)維技術(shù)大會內(nèi)存不能少于Namenode控制做checkpoint的次數(shù)及時(shí)間fs.checkpoint.periodfs.checkpoint.sizeSecondaryNamenode2012華東運(yùn)維技術(shù)大會Disk2T*12ext4noatime定期更換壞磁盤，一次一臺網(wǎng)絡(luò)如果條件允許，做匯聚綁定（mode4bonding)內(nèi)存24Gslave2012華東運(yùn)維技術(shù)大會內(nèi)存：map+reduce+tasktracker+datanode網(wǎng)絡(luò)磁盤注意wio確定map&reduce數(shù)2012華東運(yùn)維技術(shù)大會Endtoend檢測hdfs是否可用，是否能跑map/reduce10分鐘一次fsckGCFullGC監(jiān)控2012華東運(yùn)維技術(shù)大會Tasktracker&Datanode數(shù)量異常作業(yè)監(jiān)控大作業(yè)讀寫數(shù)據(jù)特別多運(yùn)行時(shí)間特別長監(jiān)控2012華東運(yùn)維技術(shù)大會GC策略Editlog鎖調(diào)度性能調(diào)優(yōu)2012華東運(yùn)維技術(shù)大會推薦使用CMS停頓時(shí)間短/technetwork/java/javase/gc-tuning-6-140523.html#cms指定heap內(nèi)存的初始值和最大值相等-Xms-XmxGC策略2012華東運(yùn)維技術(shù)大會2012華東運(yùn)維技術(shù)大會所有更改FSNamesystem的RPCCall都需要等待Editlogsync到磁盤才能返回Editlog2012華東運(yùn)維技術(shù)大會減少持有鎖的時(shí)間減少鎖頻率blockReport減少鎖粒度使用讀寫鎖鎖2012華東運(yùn)維技術(shù)大會調(diào)度效率運(yùn)行效率Maplocality小作業(yè)重要的作業(yè)調(diào)度2012華東運(yùn)維技術(shù)大會創(chuàng)建大堆小文件創(chuàng)建大堆文件名非常長的文件DDOSHadoopkiller2012華東運(yùn)維技術(shù)大會大量的job&tasks使用大量的counter往標(biāo)準(zhǔn)輸出和標(biāo)準(zhǔn)錯(cuò)誤輸出大量的信息Hadoopkiller2012華東運(yùn)維技術(shù)大會HadoopbugLinux內(nèi)核bugJVMbug交換機(jī)故障爬蟲通過jobtrackerweb端抓取jobhistory文件Session30分鐘過期，導(dǎo)致內(nèi)存暴漲，頻繁fullgcbugs2012華東運(yùn)維技術(shù)大會誤刪除數(shù)據(jù)誤停止masterIPalias被搶分發(fā)不完整的hadoop-site.xml到slave，導(dǎo)致作業(yè)失敗拔錯(cuò)硬盤，格錯(cuò)系統(tǒng)人為錯(cuò)誤2012華東運(yùn)維技術(shù)大會承辦單位：ChinaUnix社區(qū)、ITPUB社區(qū)

協(xié)辦單位：mysqlops中文網(wǎng)、TopGeek場地支持：創(chuàng)智天地贊助商：又拍云存儲、韓國派凌科技有限公司北京基調(diào)網(wǎng)絡(luò)系統(tǒng)有限公司北京藍(lán)汛通信技術(shù)有限責(zé)任公司聯(lián)想集團(tuán)ThinkServer全球研發(fā)中心出版社支持：水利水電出版社、圖靈教育2