Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)與案例實(shí)戰(zhàn)（微課版）課件 4.3HDFS運(yùn)行機(jī)制

Hadoop大數(shù)據(jù)項(xiàng)目開發(fā)——HDFS運(yùn)行機(jī)制05目錄content02高可用機(jī)制心跳機(jī)制06安全模式01副本機(jī)制03副本放置策略07垃圾回收機(jī)制聯(lián)邦機(jī)制04副本機(jī)制底層缺陷冗余數(shù)據(jù)保存不斷地出故障為了保證集群的容錯(cuò)性和可用性，HDFS采用了數(shù)據(jù)冗余存儲(chǔ)方式，即一個(gè)數(shù)據(jù)可以保存多個(gè)副本。副本機(jī)制01020304冗余保存副本數(shù)也可以進(jìn)行個(gè)性化設(shè)置默認(rèn)冗余副本數(shù)：3010203優(yōu)點(diǎn)01加快數(shù)據(jù)傳輸速度02很容易檢查數(shù)據(jù)錯(cuò)誤03保證數(shù)據(jù)可靠性心跳機(jī)制名稱節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn)啟動(dòng)后，會(huì)主動(dòng)連接名稱節(jié)點(diǎn)，并在一定間隔（默認(rèn)為3s）主動(dòng)向名稱節(jié)點(diǎn)發(fā)送一個(gè)“心跳”，報(bào)告自己的狀態(tài)信息。心跳心跳名稱節(jié)點(diǎn)通過這個(gè)“心跳”向數(shù)據(jù)節(jié)點(diǎn)下達(dá)命令是一種形象化描述，指的是不間斷地發(fā)送一個(gè)自定義結(jié)構(gòu)體（“心跳包”或“心跳幀”）來證明自己節(jié)點(diǎn)的有效性。心跳？心跳機(jī)制出現(xiàn)故障名稱節(jié)點(diǎn)名稱節(jié)點(diǎn)長時(shí)間未收到某個(gè)數(shù)據(jù)節(jié)點(diǎn)的“心跳”；名稱節(jié)點(diǎn)名稱節(jié)點(diǎn)判定該數(shù)據(jù)節(jié)點(diǎn)為宕機(jī)；備份副本名稱節(jié)點(diǎn)檢查該數(shù)據(jù)節(jié)點(diǎn)上的塊副本數(shù)據(jù)并備份到其他的數(shù)據(jù)節(jié)點(diǎn)上。硬件故障或網(wǎng)絡(luò)問題；副本怎么恢復(fù)呢？HDFS是如何探測副本出現(xiàn)故障？心跳機(jī)制第一副本放到上傳文件的節(jié)點(diǎn)（機(jī)器）上第二副本放到和第一副本不同機(jī)架的任意節(jié)點(diǎn)上第三副本放到和第一副本相同機(jī)架的任意節(jié)點(diǎn)上副本放置策略這么多機(jī)器這么多的塊，副本是怎么存放的呢？如果還有副本，可以放到其它節(jié)點(diǎn)上，全部隨機(jī)。副本放置策略01第一副本放到上傳文件的節(jié)點(diǎn)上,可以較快地讀取,保證數(shù)據(jù)較好的本地性;0２第二個(gè)副本及更多的block副本放置在其他機(jī)架，當(dāng)整個(gè)結(jié)點(diǎn)失效時(shí)，HDFS將自動(dòng)通過遠(yuǎn)端機(jī)架上的數(shù)據(jù)將副本恢復(fù)到標(biāo)準(zhǔn)水平。0３Hadoop的副本放置策略在可靠性和帶寬中做了一個(gè)很好的平衡。高可用（HA）機(jī)制Hadoop1.XHadoop2.XHDFS框架只有一個(gè)名稱節(jié)點(diǎn)HDFS框架主備兩個(gè)名稱節(jié)點(diǎn)單點(diǎn)故障雙NameNode架構(gòu)HA機(jī)制高可用（HA）機(jī)制ActiveNameNodeStandbyNameNode負(fù)責(zé)HDFS的所有操作ZooKeeper確保主從名稱節(jié)點(diǎn)的狀態(tài)一致性主名稱節(jié)點(diǎn)的熱備份互為備份聯(lián)邦機(jī)制TWITTERYOUTUBESKYPEFACEBOOK在聯(lián)邦機(jī)制中，每個(gè)名稱節(jié)點(diǎn)分別管理文件系統(tǒng)命名空間的一部分；命名空間卷存放元數(shù)據(jù)和數(shù)據(jù)塊的塊池。

在Hadoop1.0，HDFS只有一個(gè)NameNode，計(jì)算機(jī)的內(nèi)存就成了NameNode的瓶頸；

各命名空間卷是相互獨(dú)立的，互不影響且互不通信

在Hadoop2.x引入了HDFS聯(lián)邦機(jī)制，即通過橫向擴(kuò)展的方式增加NameNode的數(shù)量；

1234安全模式只讀模式，不能對命名空間進(jìn)行修改，也不能創(chuàng)建、復(fù)制、追加和刪除數(shù)據(jù)；在HDFS啟動(dòng)時(shí)，首先會(huì)進(jìn)入安全模式，當(dāng)達(dá)到規(guī)定的要求時(shí)，會(huì)退出安全模式；當(dāng)集群中某些數(shù)據(jù)節(jié)點(diǎn)出現(xiàn)故障,或者因?yàn)槟承┰蛟斐晌募到y(tǒng)處于不穩(wěn)定狀態(tài)時(shí),NameNode會(huì)自動(dòng)進(jìn)入安全模式。HDFS的一種保護(hù)模式，保證數(shù)據(jù)塊的安全性；該模式下，可以查看目錄及文件、下載文件等操作。垃圾回收機(jī)制當(dāng)用戶或應(yīng)用程序刪除某個(gè)文件時(shí)，文件并不會(huì)立即從HDFS中刪除，而是被移到了一個(gè)類似回收站的地方。當(dāng)文件的刪除時(shí)間超過一定期限，名稱節(jié)點(diǎn)就會(huì)自動(dòng)將該文件從命名空間中刪除，該文件相關(guān)的數(shù)據(jù)塊即被釋放。在HDFS集群中，如果一個(gè)文件被刪除，那么與該文件相關(guān)的