移動數(shù)據(jù)和實現(xiàn)存儲

主講：朱佳目錄01移動數(shù)據(jù)02實現(xiàn)歸檔存儲移動數(shù)據(jù)1移動數(shù)據(jù)可以將數(shù)據(jù)從Hot存儲策略遷移到Warm存儲策略，然后再遷移到Cold存儲策略。請注意，可以將數(shù)據(jù)集的一個、兩個或所有副本移動到不同的存儲層，以優(yōu)化對HDFS存儲容量的使用?？梢栽谝环N類型的存儲層上保留特定數(shù)據(jù)集的一些副本，其余的副本存儲在其他存儲類型上。訪問數(shù)據(jù)的應用程序完全忽略使用多個存儲層的事實。由于ARCHIVE層被設計為不具有太多（或任何）處理能力，因此在提供DISK存儲的節(jié)點上運行的mapper任務需要從提供ARCHIVE存儲的節(jié)點讀取數(shù)據(jù)。這當然意味著集群會產(chǎn)生額外的網(wǎng)絡流量用來移動數(shù)據(jù)。移動數(shù)據(jù)以下是存儲策略工作原理的總結(jié)：當更新文件或目錄的存儲策略時，HDFS不會自動強制執(zhí)行新的存儲策略。不僅可以在創(chuàng)建文件時強制執(zhí)行存儲策略，也可以在以后執(zhí)行。首次在集群中存儲數(shù)據(jù)時，存儲在默認的DISK層中?；跀?shù)據(jù)的分類（由配置的存儲策略指定)，一個或多個副本將隨時間的推移被移動到ARCHIVE層。移動數(shù)據(jù)新mover工具可以將數(shù)據(jù)從一個存儲層移動到另一個存儲層。它的工作原理與HDFS平衡器非常相似，只不過它是在不同的存儲類型之間移動塊副本?？梢允褂胢over工具掃描HDFS文件，以確定塊位置是否與配置的存儲策略匹配。如果一個塊未根據(jù)配置的存儲策略存放，則mover會將副本移動到相應的存儲類型?？梢匀缦率褂胢over工具遷移集群中的數(shù)據(jù):$hdfsmover[-p<files/dirs>l-f<localfilename>]mover移動數(shù)據(jù)此命令將根目錄（/）作為默認路徑。mover命令的關鍵選項說明如下：可以使用-p選項指定HDFS文件或目錄的遷移列表，該選項接受以空格分隔的文件和目錄列表。還可以使用包含HDFS文件和目錄列表的本地文件來遷移數(shù)據(jù)，使用–f選項指定該文件。除了HDFS路徑和目標參數(shù)之外，mover還接受replicacount作為參數(shù)。移動數(shù)據(jù)可以定期運行mover，將所有文件遷移到使用存儲策略配置的存儲類型中。如果將某些數(shù)據(jù)劃歸為ARCHIVE存儲類型，但隨后發(fā)現(xiàn)使用此數(shù)據(jù)的應用程序使用的頻率遠超出了預期，則可以將該數(shù)據(jù)重新分類為“Hot”或“Warm”數(shù)據(jù)?？梢詫⒁粋€或多個副本移動到更快的DISK存儲，而不會帶來從ARCHIVE節(jié)點讀取數(shù)據(jù)所造成的額外網(wǎng)絡開銷。假設管理員將Cold存儲策略應用于要存儲在歸檔存儲層節(jié)點上的數(shù)據(jù)集。由于數(shù)據(jù)集已經(jīng)存在，因此mover通過將歸檔數(shù)據(jù)從Warm存儲轉(zhuǎn)移到Cold存儲來實施Cold存儲策略。將所有冷數(shù)據(jù)移入Hadoop歸檔存儲是一個很好的做法。實現(xiàn)歸檔存儲2實現(xiàn)歸檔存儲可以在每個DataNode上單獨設置歸檔存儲。步驟如下。1.停止DataNode:$HADOOP_PREFIX/sbin/hadoop-daemon.shstopdatanode2.在hdfs-site.xml文件中指定.dir參數(shù)將歸檔存儲類型分配給DataNode。由于DISK是默認存儲類型，因此不必設置DISK存儲類型。但是，如果指定DataNode使用ARCHIVE存儲，則必須在本地文件系統(tǒng)路徑的開頭插入[ARCHIVE]，如下所示:<property><name>dfs.data.dir</name><value>[ARCHIVE]file:///u01/data/dfs/</value></property>實現(xiàn)歸檔存儲3.使用-setstoragePolicy命令設置存儲策略，如下所示：$hdfsdfsadmin-setstoragePolicy/cold1COLD4.啟動DataNodehadoop-daemon.shstartda