HDFS數(shù)據(jù)讀寫流程

HDFS數(shù)據(jù)讀寫流程目錄Hdfs數(shù)據(jù)寫入流程Hdfs數(shù)據(jù)讀取流程2HDFS聯(lián)邦HDFS數(shù)據(jù)寫入流程HDFS數(shù)據(jù)寫入流程如下：1.業(yè)務應用調(diào)用HDFSClient提供的API創(chuàng)建文件，請求寫入。2.HDFS

Client聯(lián)系NameNode，NameNode在元數(shù)據(jù)中創(chuàng)建文件節(jié)點。3.業(yè)務應用調(diào)用writeAPI寫入文件。4.HDFSClient收到業(yè)務數(shù)據(jù)后，從NameNode獲取到數(shù)據(jù)塊編號、位置信息后，聯(lián)系DataNode，并將需要寫入數(shù)據(jù)的DataNode建立起流水線。完成后，客戶端再通過自有協(xié)議寫入數(shù)據(jù)到DataNode1，再由DataNode1復制到DataNode2,DataNode3。HDFS數(shù)據(jù)寫入流程（續(xù)）5.寫完的數(shù)據(jù)，將返回確認信息給HDFSClient。6.所有數(shù)據(jù)確認完成后，業(yè)務調(diào)用HDFSClient關閉文件。7.業(yè)務調(diào)用close,flush后HDFSClient聯(lián)系NameNode，確認數(shù)據(jù)寫完成，NameNode持久化元數(shù)據(jù)。HDFS數(shù)據(jù)讀取流程HDFS數(shù)據(jù)讀取流程如下：1.業(yè)務應用調(diào)用HDFSClient提供的API打開文件。2.HDFS

Client聯(lián)系NameNode，獲取到文件信息（數(shù)據(jù)塊、DataNode位置信息）。3.業(yè)務應用調(diào)用readAPI讀取文件。4.HDFSClient根據(jù)從NameNode獲取到的信息，聯(lián)系DataNode，獲取相應的數(shù)據(jù)塊。(Client采用就近原則讀取數(shù)據(jù))。5.HDFSClient會與多個DataNode通訊獲取數(shù)據(jù)塊。6.數(shù)據(jù)讀取完成后，業(yè)務調(diào)用close關閉連接。HDFS聯(lián)邦（Federation）Federation支持上層應用使用多個獨立的基于NameNode/Namespace的文件系統(tǒng)。這些NameNode之間相互獨立且不需要互相協(xié)調(diào)，各自分工管理自己的區(qū)域。解決方案一個Namespace使用一個blockpool管理數(shù)據(jù)塊，每個blockpool內(nèi)部自治，不會與其他blockpool交流。命名空間管理：Federation中存在多個命名空間，可以使用ClientSideMountTable對命名空間劃分和管理。用戶價值擴展性：支持NameNode/Namespace水平擴展，后向兼容，結構簡單。性能：文件操作的性能不再制約于單個NameNode的吞吐量，支持多個NameNode。隔離性：可按照應用程序的用戶和種類分離Namespacevolume，進而增強了隔離性。6HDFS聯(lián)邦（Federation）NameSpace（NS）：命名空間。HDFS的命名空間包含目錄、文件和塊。Pool：blockpool.Federation

HDFS中有多個獨立的命名空間（Namespace），并且每一個命名空間使用一個塊池（blockpool）。Blockpool(塊池)是屬于單個命名空間的一組block(塊)，每一個DataNode為所有的blockpool存儲塊。DataNode是一個物理概念，而blockpool是一個重新將block劃分的邏輯概念。同一個DataNode中可以存著屬于多個blockpool的多個塊。Blockpool允許一個命名空間在不通知其他命名空間的情況下為一個新的block創(chuàng)建BlockID。同時，一個NameNode失效不會影響其下的DataNode為其他NameNode的服務。7HDFS聯(lián)邦（Federation）APPHDFSNamespace-1Namespace-kNamespace-nClient-1Client-kClient-nCommonStoragePool1PoolPoolnBlockPoolsNam