處理Linux文件系統(tǒng)100%使用的情況

主講：張義目錄0102空間相關(guān)問(wèn)題處理Linux文件系統(tǒng)100%使用的情況空間相關(guān)問(wèn)題1空間相關(guān)問(wèn)題Hadoop可以使用多種類型的存儲(chǔ)。除了HDFS本身外，Hadoop在主機(jī)的/var目錄以及本地目錄中存儲(chǔ)日志文件。這些區(qū)域中任何的空間相關(guān)的問(wèn)題都會(huì)導(dǎo)致作業(yè)失敗。因此，必須要對(duì)Hadoop的本地目錄使用情況加以關(guān)注?？臻g相關(guān)問(wèn)題如第17章所述，NodeManager總是將應(yīng)用日志文件存儲(chǔ)于本地目錄中。即使開(kāi)啟日志聚合功能，在將作業(yè)日志存儲(chǔ)到HDFS之前，仍然需要先將所有日志存儲(chǔ)于本地文件系統(tǒng)。如果日志目錄所在的掛載點(diǎn)被寫滿，則NodeManager將無(wú)法在該節(jié)點(diǎn)寫入日志。類似情況還有Hadoop進(jìn)程的日志目錄頁(yè)被寫滿?？臻g相關(guān)問(wèn)題為了避免任務(wù)和潛在的作業(yè)失敗，需要主動(dòng)檢查掛載點(diǎn)的可用空間，并清除不必要的文件。如果無(wú)法通過(guò)刪除獲取足夠的空間，則需要增加掛載點(diǎn)的容量?？梢栽谟袉?wèn)題的目錄運(yùn)行如下命令來(lái)確定哪些文件需要被刪除﹔#find./-size+100000-typef-ls|sort-n//listsfileslargerthan25MB#du-a/var/sort-n-r|head-n10//liststhetop10filesinsize,inasortedorder空間相關(guān)問(wèn)題如果將Hadoop進(jìn)程的日志目錄和NodeManager使用的應(yīng)用本地目錄設(shè)置在/var目錄下，則需要知道，該目錄與其他（如tmp）目錄等共享根目錄文件系統(tǒng)。其他與Hadoop相關(guān)的組件（如ZooKeeper、Hive和Hue）也可能使用該目錄存儲(chǔ)日志。因此，需要寫一個(gè)簡(jiǎn)單的腳本來(lái)對(duì)該掛載點(diǎn)的空間使用情況進(jìn)行監(jiān)控?？臻g相關(guān)問(wèn)題如果yarn.nodemanager.local-dirs參數(shù)指定的NodeManager本地目錄被占滿，則一個(gè)應(yīng)用可能會(huì)由于任務(wù)嘗試啟動(dòng)次數(shù)超過(guò)了該節(jié)點(diǎn)上的配置值而失敗。從而會(huì)看到如下所示的應(yīng)用日志:Applicationapplication_1437683566204_0394failed2timesduetoAMContainerforappattempt_1437683566204_0394_ooo002exitedwithexitCode:-1000dueto:NospaceavailableinanyofthelocaldirectoriesFailingthisattempt..Failingtheapplication.處理Linux文件系統(tǒng)100%使用的情況2處理Linux文件系統(tǒng)100%使用的情況偶爾，文件系統(tǒng)會(huì)報(bào)告其已經(jīng)被使用了100%。如果這種情況發(fā)生在一個(gè)掛載點(diǎn)，如root文件系統(tǒng)，將會(huì)遇到許多麻煩，因?yàn)榇蠖鄶?shù)與Hadoop相關(guān)的本地日志信息文件均存儲(chǔ)這里（位于/var/log目錄下)。很可能是一些用戶產(chǎn)生了大型的dump文件或者一個(gè)巨大的臨時(shí)文件，且文件被放于已滿的目錄中。使用以下操作來(lái)釋放目錄空間。處理Linux文件系統(tǒng)100%使用的情況使用find命令找到掛載點(diǎn)下最大的文件