文件系統(tǒng)的健壯性

文件系統(tǒng)的健壯性掌握hdfs的文件系統(tǒng)的健壯性0102常見的三種出錯情況解決錯誤的方法NameNode出錯,DataNode出錯網(wǎng)絡割裂(networkpartitions)。常見的三種出錯情況磁盤數(shù)據(jù)錯誤，心跳檢測和重新復制

每個DataNode節(jié)點周期性地向NameNode發(fā)送心跳信號。網(wǎng)絡割裂可能導致一部分DataNode跟NameNode失去聯(lián)系。NameNode通過心跳信號的缺失來檢測這一情況，并將這些近期不再發(fā)送心跳信號DataNode標記為宕機，不會再將新的IO請求發(fā)給它們。任何存儲在宕機DataNode上的數(shù)據(jù)將不再有效。DataNode的宕機可能會引起一些數(shù)據(jù)塊的副本系數(shù)低于指定值，NameNode不斷地檢測這些需要復制的數(shù)據(jù)塊，一旦發(fā)現(xiàn)就啟動復制操作。在下列情況下，可能需要重新復制：某個DataNode節(jié)點失效，某個副本遭到損壞，DataNode上的硬盤錯誤，或者文件的副本系數(shù)增大。解決錯誤的方法集群均衡 HDFS的架構支持數(shù)據(jù)均衡策略。如果某個DataNode節(jié)點上的空閑空間低于特定的臨界點，按照均衡策略系統(tǒng)就會自動地將數(shù)據(jù)從這個DataNode移動到其他空閑的DataNode。當對某個文件的請求突然增加，那么也可能啟動一個計劃創(chuàng)建該文件新的副本，并且同時重新平衡集群中的其他數(shù)據(jù)。這些均衡策略目前還沒有實現(xiàn)。解決錯誤的方法數(shù)據(jù)完整性

從某個DataNode獲取的數(shù)據(jù)塊有可能是損壞的，損壞可能是由DataNode的存儲設備錯誤、網(wǎng)絡錯誤或者軟件BUG造成的。HDFS客戶端軟件實現(xiàn)了對HDFS文件內容的校驗和(checksum)檢查。當客戶端創(chuàng)建一個新的HDFS文件，會計算這個文件每個數(shù)據(jù)塊的校驗和，并將校驗和作為一個單獨的隱藏文件保存在同一個HDFS名字空間下。當客戶端獲取文件內容后，它會檢驗從DataNode獲取的數(shù)據(jù)跟相應的校驗和文件中的校驗和是否匹配，如果不匹配，客戶端可以選擇從其他DataNode獲取該數(shù)據(jù)塊的副本。解決錯誤的方法元數(shù)據(jù)磁盤錯誤 FsImage和Editlog是HDFS的核心數(shù)據(jù)結構。如果這些文件損壞了，整個HDFS實例都將失效。因而，NameNode可以配置成支持維護多個FsImage和Editlog的副本。任何對FsImage或者Editlog的修改，都將同步到它們的副本上。這種多副本的同步操作可能會降低NameNode每秒處理的名字空間事務數(shù)量。然而這個代價是可以接受的，因為即使HDFS的應用是數(shù)據(jù)密集的，它們也非元數(shù)據(jù)密集的。當NameNode重啟的時候，它會選取最近的完整的FsImage和Editlog來使用。解決錯誤的方法快照

快照支持某一特定時刻的數(shù)據(jù)的復制備份。利用快照，可以讓HDFS在數(shù)據(jù)損壞時恢復到過去一個已知正確的時間點。HDFS