HDFS原理和體系結(jié)構(gòu)

HDFS產(chǎn)生背景數(shù)據(jù)量巨大隨著數(shù)據(jù)量越來越大，在一個操作系統(tǒng)管轄的范圍存不下了，那么就分配到更多的操作系統(tǒng)管理的磁盤中，但是不方便管理和維護，迫切需要一種系統(tǒng)來管理多臺機器上的文件，這就是分布式文件管理系統(tǒng)。分布式文件系統(tǒng)分布式文件系統(tǒng)是一種允許文件通過網(wǎng)絡(luò)在多臺主機上分享的文件的系統(tǒng)，可讓多機器上的多用戶分享文件和存儲空間。分布式文件管理系統(tǒng)很多，hdfsHDFS只是其中一種。適用于一次寫入、多次查詢的情況，不支持并發(fā)寫情況，小文件不合適。因為小文件也占用一個塊，小文件越多（1000個1k文件）塊越多，NameNode壓力越大。海量數(shù)據(jù)元化數(shù)據(jù)塊磁盤塊磁盤塊磁盤塊磁盤塊標記后什么是HDFS

HDFS是Hadoop使用的標準存儲系統(tǒng)，是基于網(wǎng)絡(luò)環(huán)境下的分布式文件系統(tǒng)。它是基于流數(shù)據(jù)模式訪問和處理超大文件的需求開發(fā)的，可以運行于廉價的商用服務(wù)器上。實際上，這并不是什么新穎的事情，80年代左右就已經(jīng)有人這么去實現(xiàn)了。基于流數(shù)據(jù)模式訪問高容錯、高吞吐

它所具有的高容錯、高可靠性、高可擴展性、高獲得性、高吞吐率等特征為海量數(shù)據(jù)提供了不怕故障的存儲，為超大數(shù)據(jù)集（LargeDataSet）的應(yīng)用處理帶來了很多便利。數(shù)據(jù)分塊，多副本

存儲在HDFS上的數(shù)據(jù)文件首先進行分塊，每個分塊創(chuàng)建多個副本，并存儲在集群的不同節(jié)點上，HadoopMapReduce程序可以在所有節(jié)點上處理這些數(shù)據(jù)。HDFS特點HDFS設(shè)計目標大文件存儲：支持TB-PB級的數(shù)據(jù)量高容錯：運行在商業(yè)硬件上，而商業(yè)硬件并不可靠高吞吐量：為大量數(shù)據(jù)訪問的應(yīng)用提供高吞吐量支持簡單一致性模型（一次寫，多次讀）大規(guī)模數(shù)據(jù)集

典型文件大小GB-TB級別關(guān)注橫向現(xiàn)行擴展流式數(shù)據(jù)訪問批量讀而非隨機讀關(guān)注吞吐量而非相應(yīng)時間

適應(yīng)場景大文件訪問流式數(shù)據(jù)訪問不適合的場景存儲大量小文件隨機讀取，低延遲讀取硬件錯誤是常態(tài)副本冗余機制HDFS設(shè)計理念HDFS特點高容錯性數(shù)據(jù)自動保存多個副本。某一個副本丟失以后，它可以自動恢復(fù)HDFS內(nèi)部機制實現(xiàn)的適合批處理通過移動計算而不是移動數(shù)據(jù)。會把數(shù)據(jù)位置暴露給計算框架。適合大數(shù)據(jù)處理處理數(shù)據(jù)達到GB、TB、甚至PB級別的數(shù)據(jù)。能夠處理百萬規(guī)模以上的文件數(shù)量，數(shù)量相當之大。能夠處理10K節(jié)點的規(guī)模。它能保證數(shù)據(jù)的一致性。不適合低延時數(shù)據(jù)訪問場景比如毫秒級以內(nèi)讀取數(shù)據(jù)，對HDFS存儲來說很難做到的。不適合存儲大量小文件占用NameNode大量的內(nèi)存來存儲文件、目錄和塊信息違反HDFS的設(shè)計目標。不支持并發(fā)寫入文件只能有一個寫，不允許多個線程同時寫。不支持隨機修改文件僅支持數(shù)據(jù)append（追加），不支持文件的隨機修改。3HDFS新功能和特性4HDFS實驗2HDFS原理和體系架構(gòu)1HDFS簡介目錄HDFS架構(gòu)HDFS

采用Master/Slave的架構(gòu)，主要由四個部分組成。HDFS

Client文件切分；與NameNode交互，獲取文件的位置信息；與DataNode交互，讀取或者寫入數(shù)據(jù)；Client提供一些命令來管理HDFSNameNode作為master管理HDFS的名稱空間管理數(shù)據(jù)塊（Block）映射信息配置副本策略處理客戶端讀寫請求。DataNode作為Slave存儲實際的數(shù)據(jù)塊執(zhí)行數(shù)據(jù)塊的讀/寫操作SecondaryNameNode輔助NameNode定期合并fsimage和fsedits，并推送NameNode在緊急情況下，可輔助恢復(fù)NameNode文件包括：

fsimage（文件系統(tǒng)鏡像）：元數(shù)據(jù)鏡像文件。存儲某一時段NameNode內(nèi)存元數(shù)據(jù)信息。

edits:操作日志文件。fstime:保存最近一次checkpoint的時間是整個文件系統(tǒng)的管理節(jié)點。它維護著整個文件系統(tǒng)的文件目錄樹，文件/目錄的元信息和每個文件對應(yīng)的數(shù)據(jù)塊列表。文件操作，NameNode負責文件元數(shù)據(jù)的操作，DataNode負責處理文件內(nèi)容的讀寫請求，數(shù)據(jù)流不經(jīng)過NameNode，只會詢問它跟哪個DataNode聯(lián)系。NameNodeDatanode是文件系統(tǒng)的工作節(jié)點根據(jù)客戶端或者是namenode的調(diào)度存儲和檢索數(shù)據(jù)，并且定期向namenode發(fā)送他們所存儲的塊(block)的列表。集群中的每個服務(wù)器都運行一個DataNode后臺程序，負責把HDFS數(shù)據(jù)塊讀寫到本地的文件系統(tǒng)。當需要通過客戶端讀/寫某個數(shù)據(jù)時，先由NameNode告訴客戶端去哪個DataNode進行具體的讀/寫操作，然后，客戶端直接與這個DataNode服務(wù)器上的后臺程序進行通信，并且對相關(guān)的數(shù)據(jù)塊進行讀/寫操作。

DataNodeSecondaryNameNodeSecondaryNameNode作用1、對HDFS元數(shù)據(jù)的冷備份，預(yù)防NameNode出現(xiàn)故障丟失數(shù)據(jù)。2、解決EditLog增大的問題。

SecondaryNameNode的處理，是將fsimage和edits文件周期的合并，不會造成NameNode重啟時造成長時間不可訪問的情況。HDFS數(shù)據(jù)寫入流程解析HDFS數(shù)據(jù)讀取流程解析HDFS可靠性所有數(shù)據(jù)塊都有副本可以在hdfs-site.xml中設(shè)置復(fù)制因子指定副本數(shù)量DataNode啟動時，遍歷本地文件系統(tǒng)，產(chǎn)生一份hdfs數(shù)據(jù)塊和本地文件的對應(yīng)關(guān)系列表（blockport）匯報給namenode副本冗余HDFS可靠性集群一般放在不同機架上，機架間帶寬要比機架內(nèi)帶寬要?。籋DFS具有“機架感知”能力，它能自動實現(xiàn)在本機架上存放一個副本，然后在其它機架再存放另一副本，可以防止機架失效時數(shù)據(jù)丟失，同時提高帶寬利用率。機架策略Namenode周期性從datanode接收心跳信號和塊報告Namenode根據(jù)塊報告驗證元數(shù)據(jù)心跳機制HDFS可靠性HDFS可靠性Namenode啟動時會先經(jīng)過一個“安全模式”階段，安全模式階段不會產(chǎn)生數(shù)據(jù)寫；在安全模式階段Namenode收集各個datanode的報告，當數(shù)據(jù)塊達到最小副本數(shù)以上時，會被認為是“安全”的；在一定比例（可設(shè)置）的數(shù)據(jù)塊被確定為“安全”后，再過若干時間，安全模式結(jié)束；當檢測到副本數(shù)不足的數(shù)據(jù)塊時，該塊會被復(fù)制直到達到最小副本數(shù)。安全模式HDFS可靠性在文件建立時，每個數(shù)據(jù)塊都產(chǎn)生校驗和，校驗和保存在.meta文件內(nèi)；客戶端獲取數(shù)據(jù)時可以檢查校驗和是否相同，從而發(fā)現(xiàn)數(shù)據(jù)塊是否損壞；如果正在讀取的數(shù)據(jù)塊損壞，則可以繼續(xù)讀取其它副本。校驗和HDFS可靠性刪除文件時，文件放入回收站/trash，回收站里的文件可以快速恢復(fù)；通過設(shè)置一個時間閾值，當回收站里文件的存放時間超過這個閾值，就被徹底刪除，并且釋放占用的數(shù)據(jù)塊?；厥照?trashfiles超過周期HDFS可靠性映像文件和事務(wù)日志是Namenode的核心數(shù)據(jù)，可以配置為擁有多個副本；副本會降低Namenode的處理速度，但增加安全性。元數(shù)據(jù)保護快照機制支持存儲某個時間點的映像，需要時可以使數(shù)據(jù)重返這個時間點的狀態(tài)；3HDFS新功能和特性4HDFS實驗2HDFS原理和體系架構(gòu)1HDFS簡介目錄HDFS新功能和特性

Erasurecoding糾刪碼技術(shù)簡稱EC；通過在原始數(shù)據(jù)中加入新的校驗數(shù)據(jù)，使得各個部分的數(shù)據(jù)產(chǎn)生關(guān)聯(lián)性.在一定范圍的數(shù)據(jù)出錯情況下，通過糾刪碼技術(shù)都可以進行恢復(fù)；EC技術(shù)可以防止數(shù)據(jù)丟失，又可以解決HDFS存儲空間翻倍的問題；創(chuàng)建文件時，將從最近的祖先目錄繼承EC策略，以確定其塊如何存儲。與3路復(fù)制相比，默認的EC策略可以節(jié)省50％的存儲空間，同時還可以承受更多的存儲故障。支持HDFS中的擦除編碼ErasureEncoding基于HDFS路由器的聯(lián)合HDFS基于路由器的聯(lián)合會添加一個RPC路由層，提供多個HDFS命名空間的聯(lián)合視圖。簡化了對現(xiàn)有HDFS客戶端的聯(lián)合集群的訪問。HDFS新功能和特性支持多個NameNode允許用戶運行多個備用NameNode；一個NameNode是Active，其它為Standby；StandbyNN會不斷與JN同步，保證自己獲取最新的editlog，并將edits同步到自己維護的image中去，這樣便可以實現(xiàn)熱備，在發(fā)生failover的時候，立馬切換成active狀態(tài)，對外提供服務(wù)；JN只允