hadoop—集群維護(hù)手冊

1、Hadoop部分Start命令：start-all.sh停止命令：停止所有. shHadoop運(yùn)行增加群集的存儲容量/節(jié)點(diǎn)如果僅增加群集的存儲容量，建議增加Hadoop數(shù)據(jù)節(jié)點(diǎn)。步驟：1.停止群集包括Hadoop和hbase，但也可以停止。將新節(jié)點(diǎn)的主機(jī)直接添加到hadoop名稱節(jié)點(diǎn)的從屬配置文件中，不要忘記在主機(jī)文件中添加新添加的主機(jī)名。2.執(zhí)行bin/start-all.sh啟動(dòng)集群3.選擇下列選項(xiàng)之一1)如果不進(jìn)行手工平衡，插入的數(shù)據(jù)將放在新增加的節(jié)點(diǎn)上。趨向平衡。2)手動(dòng)平衡時(shí)，啟動(dòng)平衡器類似于調(diào)用bin/sHadoop平衡器命令，也可以增加參數(shù)閾值5(閾值為平衡閾值，默認(rèn)值為10%)

2、。該值越低，每個(gè)節(jié)點(diǎn)越平衡，但是消耗時(shí)間越長)。在使用start-balancer.sh時(shí)，如果在hdfs-site.xml中沒有配置dfs.balance.bandwidthPerSec，則默認(rèn)情況下群集hdfs使用1M/S速度移動(dòng)數(shù)據(jù)(如此緩慢.)。我們可以通過在HDFS站點(diǎn)配置dfs.balance.bandwidthPerSec來加速平衡。最初，我們配置了20米/秒，然后結(jié)果是作業(yè)變得不穩(wěn)定，出現(xiàn)了一些意外的長地圖單元，一些減少的時(shí)間處理變得更長(當(dāng)整個(gè)集群完全加載時(shí)，加上20米/秒的平衡)。前天在中國舉行的hadoop年會(huì)上，淘寶將其調(diào)整為1000萬次/秒，因此我們需要在調(diào)整后進(jìn)行實(shí)

3、驗(yàn)，看看情況如何。此外，在修改dfs.balance.bandwidthPerSec參數(shù)后，有必要在namenode上運(yùn)行stop-dfs.sh start-dfs.sh來重新啟動(dòng)hdfs以使其生效。我們可以通過停止平衡器停止平衡任務(wù)。sh平衡后，啟動(dòng)hbase，這是正常的。如果群集設(shè)置的拷貝數(shù)不是3(默認(rèn))，您需要首先運(yùn)行命令Hadoop fsset rep-r。設(shè)置文件的復(fù)制系數(shù)。如果默認(rèn)值為3，則沒有必要。如果平衡后拷貝數(shù)發(fā)生變化，所有新添加到新節(jié)點(diǎn)的數(shù)據(jù)都將被刪除。dfs.replication設(shè)置的副本系數(shù)僅在寫入文件系統(tǒng)時(shí)有效，在新添加節(jié)點(diǎn)時(shí)不影響副本的數(shù)量。另外：由于有一個(gè)hba

4、se數(shù)據(jù)庫，在平衡完成后，請刪除。在hbase下的meta.file(為了防止錯(cuò)誤)，啟動(dòng)hbase，并執(zhí)行hbase org . JRuby . main add _ table/table名稱以恢復(fù)HBA se表；Hadoop1升級1.運(yùn)行dfsadmin -upgradeProgress狀態(tài)以檢查是否有備份。如果是第一次升級，則沒有備份(在升級Hadoop之前，如果已經(jīng)有備份，則需要先完成備份。)2.備份node.dir下的文件，同時(shí)備份hdfs文件目錄的元數(shù)據(jù)信息：bin/Hadoop fsck/-文件-塊-位置dfs-v-old-fsck-1.logbin/Hadoo

5、p DFS-LSR/DFS-v-old-LSR-1 . logbin/Hadoop DFS admin-report DFS-v-old-report-1 . log3.停止所有節(jié)點(diǎn)bin/stop-all.sh4.在所有節(jié)點(diǎn)上重新部署hadoop，并替換conf文件夾中的所有文件(即，將原始hadoop-0.19.1重命名為Hadoop-0.19.1-oldversion，然后解壓縮hadoop-0.19.2.tar.gz并使用0.19.1中的conf文件夾替換0.19.2中的conf文件)并且hadoop-site.xml中的路徑指定是否正確應(yīng)該修改。使用bin/start-dfs.sh

6、-upgrade進(jìn)行升級(當(dāng)dfs從一個(gè)版本升級到另一個(gè)版本時(shí)，名稱節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)使用的文件格式可能會(huì)改變。當(dāng)您第一次使用新版本時(shí)，您應(yīng)該告訴Hadoop更改HDFS版本，否則新版本將不會(huì)生效)6.監(jiān)控升級情況并處理升級問題要開始升級，您可以通過bin/Hadoop DFS admin-UpgradeProgress命令查看版本升級。你當(dāng)然可以用它bin/Hadoop DFS admin-UpgradeProgress詳細(xì)信息查看更多詳細(xì)信息。當(dāng)升級過程被阻止時(shí)，您可以使用bin/Hadoop DFS admin-UpgradeProgress部隊(duì)要強(qiáng)制升級繼續(xù)(使用此命令時(shí)，必須仔細(xì)考慮)。

7、HDFS升級后，Hadoop仍然保留舊版本的相關(guān)信息。這樣你就可以輕易地降級HDFS。您可以使用bin/start-dfs.sh -rollback來執(zhí)行降級操作。7.比較元數(shù)據(jù)信息和現(xiàn)有hdfs文件目錄的升級差異。8.升級完成后，Hadoop一次只保存一個(gè)版本的備份。當(dāng)新版本運(yùn)行幾天后，仍然沒有問題。您可以在運(yùn)行一段時(shí)間后使用升級終止操作，不會(huì)出現(xiàn)任何問題。bin/Hadoop DFS admin-FinalizeUpgrade該命令從系統(tǒng)中刪除了舊版本的備份。刪除后回滾命令無效。HdfsMapreduceHbase零件Start命令：start-hbase.sh如果區(qū)域服務(wù)器停止運(yùn)行，您可

8、以執(zhí)行此命令來啟動(dòng)它，或者啟動(dòng)整個(gè)hbase。停止命令：stop-hbase.sh停止hbase操作的命令。維修1.基本命令建立表：創(chuàng)建測試表，coulmn 1，coulmn 2您還可以添加屬性，如create testtable，name=coulmn，bloom filter=none，replication _ scope=0，versions=10，compression=lzo，TTL=30000。IN_MEMORY=false，BLOCKCACHE=false，NAME=coulmn，BLOOMFILTER=NONE，REPLICATION_SCOPE=0，VERSIONS=30，

9、COMPRESSION=LZO，TTL=30000，IN_MEMORY=true(屬性包括版本：設(shè)置版本歷史編號，TTL:到期時(shí)間，COMPRESSION:壓縮模式，當(dāng)配置LZO時(shí))刪除表：刪除測試表(在刪除表之前禁用表，命令禁用測試表)啟用和禁用表：啟用測試表和禁用測試表其他基本命令：描述testtable，警告修改表結(jié)構(gòu)，并列出所有表。2.維護(hù)訂單1，major_compact testtable，通常生產(chǎn)環(huán)境會(huì)關(guān)閉自動(dòng)major_compact(hbase . hregion . major compact在配置文件中設(shè)置為0)，并選擇一個(gè)晚上用戶較少的時(shí)間窗口來手動(dòng)制作major _

10、compact。如果hbase更新不太頻繁，可以每周對所有表執(zhí)行一次主壓縮，這樣可以監(jiān)視主壓縮后存儲文件的數(shù)量。如果存儲文件的數(shù)量增加到major_compact之后存儲文件數(shù)量的兩倍，則major_compact可以在所有表上長時(shí)間執(zhí)行，并且操作應(yīng)該盡量避免高峰時(shí)段。2.刷新testtable，將所有memstore刷新為hdfs。通常，如果您發(fā)現(xiàn)regionserver的內(nèi)存使用量太大，導(dǎo)致本機(jī)regionserver的許多線程阻塞，您可以執(zhí)行刷新操作。此操作將導(dǎo)致hbase中存儲文件數(shù)量急劇增加，應(yīng)盡可能避免。在另一種情況下，遷移hbase時(shí)，如果選擇復(fù)制文件，可以先停止寫入，然后刷新所

11、有表并復(fù)制文件。3.balance_switch true或balance_switch flase，配置主服務(wù)器是否平衡每個(gè)區(qū)域服務(wù)器中的區(qū)域數(shù)量。當(dāng)我們需要維護(hù)或重新啟動(dòng)一個(gè)區(qū)域服務(wù)器時(shí)，平衡器將被關(guān)閉，這使得區(qū)域服務(wù)器上的區(qū)域分布不均勻。此時(shí)，我們需要手動(dòng)打開天平。3.重新啟動(dòng)區(qū)域服務(wù)器bin/gramment _ stop . sh-重新啟動(dòng)-重新加載-調(diào)試節(jié)點(diǎn)名此操作是regionserver進(jìn)程的平穩(wěn)重啟，不會(huì)影響服務(wù)。它首先將區(qū)域服務(wù)器上要重新啟動(dòng)的所有區(qū)域遷移到其他服務(wù)器，然后重新啟動(dòng)它，最后將以前的區(qū)域遷移回來。但是，當(dāng)我們修改配置時(shí)，我們可以用這種方式重新啟動(dòng)每臺機(jī)器。該命

12、令將關(guān)閉平衡器。因此，最后，我們需要在hbase外殼中執(zhí)行balance_switch true。要重新啟動(dòng)hbase區(qū)域服務(wù)器，不要直接終止進(jìn)程，這將導(dǎo)致zookeeper.session.timeout中的長時(shí)間中斷，也不要通過bin/hbase-daemon.sh停止區(qū)域服務(wù)器重新啟動(dòng)。如果你運(yùn)氣不好，如果上面有-ROOT-或META表，所有的請求都會(huì)失敗。4.關(guān)閉區(qū)域服務(wù)器。bin/margin _ stop . sh-stop節(jié)點(diǎn)名如上所述，系統(tǒng)將在關(guān)閉前遷移所有區(qū)域，然后停止該過程，最后我們將手動(dòng)balance_switch true打開主區(qū)域平衡。5.檢查區(qū)域是否正常并修復(fù)Bin

13、/hbase hbck(檢查)bin/hbase hbck-修復(fù)(修復(fù))它將返回所有區(qū)域是否安裝正常。如果它們沒有正常安裝，您可以使用下一個(gè)命令來修復(fù)它們。如果它們?nèi)匀粺o法修復(fù)，您需要了解日志失敗的原因并手動(dòng)處理它們。6.糖化血紅蛋白酶的遷移u可復(fù)制模式bin/hbase org . Apache . Hadoop . hbase . MapReduce . CopyTable-peer . ADR=zoo keeper 1，zookeeper2，zoo keeper :/hbase test table目前，0.92之前的版本不支持多版本復(fù)制，0.94已經(jīng)支持多版本復(fù)制。當(dāng)然，這個(gè)操作需要在

14、hbase目錄中添加conf/mapred-site.xml，它可以復(fù)制hadoop。u出口/進(jìn)口bin/hbase org . Apache . Hadoop . hbase . MapReduce . export testtable/user/testtableversionsstart timestop timebin/hbase org . Apache . Hadoop . hbase . MapReduce . import test table/user/test table跨版本遷移是一個(gè)不錯(cuò)的選擇，copytable不支持多個(gè)版本，而export支持多個(gè)版本，這比copyt

15、able更實(shí)用。u直接復(fù)制對應(yīng)于hdfs的文件首先，復(fù)制hdfs文件，如bin/Hadoop distcp HDFS :/src名稱節(jié)點(diǎn)33609000/HBA se/test table/HDFS 3360/distnamenode 33609000/HBA se/test table/然后執(zhí)行bin/hbase組織。目的地HBA上的table.rb/hbase/testtable JRuby.mainbin/add生成元信息后，重新啟動(dòng)hbase這個(gè)操作很簡單。在操作之前，您可以關(guān)閉hbase的寫入，刷新所有表(如上所述)，然后復(fù)制distcp。如果hadoop版本不一致，可以使用hftp接口。我建議使用這種低成本的方法。HBase升級在hba