2023學年完整公開課版HDFS高可靠性

HDFS高可靠性目錄Colocation同分布Colocation同分布效果圖2Hdfs支持接口Hdfs設計要點Colocation同分布同分布(Colocation)的定義：將存在關聯關系的數據或可能要進行關聯操作的數據存儲在相同的存儲節(jié)點上。NameNode元數據DataNode數據文件被切分成大小相同的塊，并存儲在不同的數據節(jié)點上。為確保文件塊的容錯性，同時提供更快的數據讀取，默認每個數據塊有3個副本，且分布在不同的存儲節(jié)點DN上。本圖中，有6個數據節(jié)點，由這6個數據節(jié)點組成的分布式文件系統(tǒng)中，存儲了4個文件，每個文件有3個副本。按照上圖存放，假設要將文件A和文件D進行關聯操作，此時不可避免地要進行大量的數據搬遷，整個集群將由于數據傳輸占據大量網絡帶寬，嚴重影響大數據的處理速度與系統(tǒng)性能。Colocation同分布效果圖打個比方：如果人們居住的地方和上班的地方都在同一個地方，那么城市的交通就不會像今天這么擁堵了。HDFS文件同分布的特性，將那些需進行關聯操作的文件存放在相同數據節(jié)點上，在進行關聯操作計算時避免了到其他的數據節(jié)點上獲取數據，大大降低網絡帶寬的占用。假設文件A和文件D相關聯，則將它們的數據塊存儲在相同的數據節(jié)點1、2、6上。Hadoop實現文件級同分布，即存在相關聯的多個文件的所有塊都分布在同一存儲節(jié)點上。文件級同分布實現文件的快速訪問，避免了因數據搬遷帶來的大量網絡開銷。HDFS架構其他關鍵設計要點說明統(tǒng)一的文件系統(tǒng)：HDFS對外僅呈現一個統(tǒng)一的文件系統(tǒng)。統(tǒng)一的通訊協(xié)議：統(tǒng)一采用RPC方式通信。NameNode被動的接收Client,DataNode的RPC請求。空間回收機制：支持回收站機制，以及副本數的動態(tài)設置機制。數據組織：數據存儲以數據塊為單位，存儲在操作系統(tǒng)的HDFS文件系統(tǒng)上。訪問方式：提供JAVAAPI，HTTP方式，SHELL方式訪問HDFS數據。HDFS支持接口接口類別接口舉例接口說明JAVAmkdirs(Pathf)通過該接口可在HDFS上創(chuàng)建文件夾，其中f為文件夾的完整路徑。create(Pathf)通過該接口可在HDFS上創(chuàng)建文件，其中f為文件的完整路徑。HTTPcurl-L--negotiate-u:"http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=OPEN"打開并讀取HDFS文件內容。curl-i-XDELETE--negotiate-u:"http://<host>:<port>/webhdfs/v1/<path>?op=DELETE"刪除指定的文件。SHELLhdfsdfs[COMMAND[COMMAND_OPTIONS]]在HDFS文件系統(tǒng)上運行filesys