HDFS內(nèi)存存儲(chǔ)流程分析

HDFS內(nèi)存存儲(chǔ)流程分析1、掌握hdfs內(nèi)存的存儲(chǔ)流程1、Linux虛擬內(nèi)存盤

2、HDFS文件內(nèi)存存儲(chǔ)設(shè)置

3、LAZY_PERSIST內(nèi)存存儲(chǔ)策略原理

4、LAZY_PERSIST相關(guān)結(jié)構(gòu)

在Linux中,可以用將內(nèi)存模擬為一個(gè)塊盤的技術(shù),叫RAMdisk.這是一種模擬的盤,實(shí)質(zhì)數(shù)據(jù)都是存放在內(nèi)存中的。RAMdisk虛擬內(nèi)存盤可以在某些特定的內(nèi)存式存儲(chǔ)文件系統(tǒng)下結(jié)合使用,比如tmpfs,ramfs。通過此項(xiàng)技術(shù),我們就可以將機(jī)器內(nèi)存利用起來,作為一個(gè)獨(dú)立的虛擬盤供DataNode使用了.Linux虛擬內(nèi)存盤要想讓文件數(shù)據(jù)存儲(chǔ)到內(nèi)存中,一開始要做的操作就是設(shè)置此文件的存儲(chǔ)策略,就是LAZY_PERSIST,而不是使用默認(rèn)的StoragePolicy。DEFAULT,默認(rèn)策略的存儲(chǔ)介質(zhì)是DISK類型的.HDFS文件內(nèi)存存儲(chǔ)設(shè)置LAZY_PERSIST內(nèi)存存儲(chǔ)策略原理原理圖原理圖解釋第一步,對(duì)目標(biāo)文件目錄設(shè)置StoragePolicy為L(zhǎng)AZY_PERSIST的內(nèi)存存儲(chǔ)策略.第二步,客戶端進(jìn)程向NameNode發(fā)起創(chuàng)建/寫文件的請(qǐng)求.第三步,然后請(qǐng)求到具體的DataNode,DataNode會(huì)把這些數(shù)據(jù)塊寫入RAM內(nèi)存中,同時(shí)啟動(dòng)異步線程服務(wù)將內(nèi)存數(shù)據(jù)持久化到磁盤上.LAZY_PERSIST內(nèi)存存儲(chǔ)策略原理數(shù)據(jù)存儲(chǔ)的同時(shí)會(huì)有另外一批數(shù)據(jù)會(huì)被異步的持久化,所以這里一定會(huì)涉及到多個(gè)服務(wù)對(duì)象的合作.這些服務(wù)對(duì)象的指揮者是FsDatasetImpl.他是一個(gè)掌管DataNode所有磁盤讀寫數(shù)據(jù)的管家.LAZY_PERSIST相關(guān)結(jié)構(gòu)

LazyWriter:lazyWriter：是一個(gè)線程服務(wù),此線程會(huì)不斷的循環(huán)著從數(shù)據(jù)塊列表中取出數(shù)據(jù)塊,加入到異步持久化線程池RamDiskAsyncLazyPersistService中去執(zhí)行.RamDiskAsyncLazyPersistService：此對(duì)象就是異步持久化線程服務(wù),里面針對(duì)每一個(gè)磁盤塊設(shè)置一個(gè)對(duì)應(yīng)的線程池,然后需要持久化到給定的磁盤塊的數(shù)據(jù)塊會(huì)被提交到對(duì)應(yīng)的線程池中去.每個(gè)線程池的最大線程數(shù)為1.LAZY_PERSIST相關(guān)結(jié)構(gòu)1、了解了