2023學(xué)年完整公開課版教學(xué)HDFS特點(diǎn)

主講：侯磊目錄010203HDFS簡(jiǎn)介HDFS架構(gòu)HDFS特點(diǎn)HDFS簡(jiǎn)介1HDFS簡(jiǎn)介Hadoop分布式文件系統(tǒng)(HDFS)被設(shè)計(jì)成適合運(yùn)行在通用硬件上的分布式文件系統(tǒng)。它是一個(gè)高度容錯(cuò)性的系統(tǒng)，適合部署在廉價(jià)的機(jī)器上，能提供高吞吐量的數(shù)據(jù)訪問(wèn)，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用，HDFS放寬了一部分POSIX約束，來(lái)實(shí)現(xiàn)流式讀取文件系統(tǒng)數(shù)據(jù)的目的。HDFS支持大規(guī)模的數(shù)據(jù)集存儲(chǔ)，具有“一次寫入多次讀取”的文件訪問(wèn)模型，簡(jiǎn)化了數(shù)據(jù)一致性問(wèn)題，并且使高吞吐量的數(shù)據(jù)訪問(wèn)成為可能。HDFS為應(yīng)用提供了將它們自己移動(dòng)到數(shù)據(jù)附近的接口，提高了計(jì)算效率。HDFS具有異構(gòu)軟硬件平臺(tái)間的可移植性，這種特性方便了HDFS作為大規(guī)模數(shù)據(jù)應(yīng)用平臺(tái)的推廣。HDFS架構(gòu)2HDFS架構(gòu)HDFS架構(gòu)HDFS采用Java語(yǔ)言開發(fā)，因此任何支持Java的機(jī)器都可以部署Namenode或Datanode。由于采用了可移植性極強(qiáng)的Java語(yǔ)言，使得HDFS可以部署到多種類型的機(jī)器上。一個(gè)典型的部署場(chǎng)景是一臺(tái)機(jī)器上只運(yùn)行一個(gè)Namenode實(shí)例，而集群中的其它機(jī)器分別運(yùn)行一個(gè)Datanode實(shí)例。集群中單一Namenode的結(jié)構(gòu)大大簡(jiǎn)化了系統(tǒng)的架構(gòu)。Namenode是所有HDFS元數(shù)據(jù)的仲裁者和管理者，這樣，用戶數(shù)據(jù)永遠(yuǎn)不會(huì)流過(guò)Namenode。HDFS架構(gòu)NameNode和DataNode 在HDFS體系結(jié)構(gòu)中有兩類節(jié)點(diǎn)，一類是NameNode，它是唯一的，運(yùn)行于master主機(jī)中；另一類是DataNode，運(yùn)行于任意主機(jī)中。NameNode在整個(gè)文件系統(tǒng)中充當(dāng)管理者，管理文件系統(tǒng)的命名空間（Namespace），維護(hù)整個(gè)文件系統(tǒng)的文件目錄樹及這些文件的索引目錄。這些信息以兩種形式存儲(chǔ)在本地文件系統(tǒng)中，一種是命名空間鏡像（Namespaceimage）；一種是編輯日志（Editlog）。Datanode是文件系統(tǒng)的工作節(jié)點(diǎn)，用來(lái)執(zhí)行具體的任務(wù)，他們根據(jù)根據(jù)客戶端或者是namenode的調(diào)度存儲(chǔ)和檢索數(shù)據(jù)，并且定期向namenode發(fā)送他們所存儲(chǔ)的塊(block)的列表HDFS特點(diǎn)3HDFS特點(diǎn)HDFS是Hadoop的子項(xiàng)目，用Java實(shí)現(xiàn)，為Hadoop上層應(yīng)用提供高吞吐量的可擴(kuò)展的大文件存儲(chǔ)服務(wù)。HDFS與現(xiàn)有的分布式文件系統(tǒng)有以下優(yōu)缺點(diǎn)序號(hào)HDFS的優(yōu)點(diǎn)HDFS的缺點(diǎn)1處理超大文件不適合低延遲