2023學(xué)年完整公開課版HDFS文件復(fù)制

HDFS文件復(fù)制1、掌握hdfs文件復(fù)制1、導(dǎo)入jar包

2、獲取hdfs操作對象

3、文件復(fù)制方法

4、設(shè)置路徑

5、設(shè)置輸出流

6、文件復(fù)制importjava.io.IOException;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FSDataInputStream;importorg.apache.hadoop.fs.FSDataOutputStream;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.IOUtils;導(dǎo)入jar包FileSystemfs=null;Configurationconf=null;

方法一，本地有配置文件，直接獲取配置文件（core-site.xml，hdfs-site.xml）根據(jù)配置文件創(chuàng)建HDFS對象，

此時必須指定HDFS的訪問路徑。conf=newConfiguration();

文件系統(tǒng)為必須設(shè)置的內(nèi)容。其他配置參數(shù)可以自行設(shè)置，且優(yōu)先級最高conf.set("fs.defaultFS","hdfs://Master:9000");獲取hdfs操作對象try{//根據(jù)配置文件創(chuàng)建HDFS對象fs=FileSystem.get(conf);}catch(IOExceptione){e.printStackTrace();}

returnfs;獲取hdfs操作對象hdfs之間文件的復(fù)制*使用FSDataInputStream來打開文件open(Pathp)*使用FSDataOutputStream開創(chuàng)建寫到的路徑create(Pathp)*使用IOUtils.copyBytes(FSDataInputStream,FSDataOutputStream,intbuffer,BooleanisClose)來進(jìn)行具體的讀寫說明：*1.java中使用緩沖區(qū)來加速讀取文件，這里也使用了緩沖區(qū)，但是只要指定緩沖區(qū)大小即可，不必單獨設(shè)置一個新的數(shù)組來接受*2.最后一個布爾值表示是否使用完后關(guān)閉讀寫流。通常是false，如果不手動關(guān)會報錯的文件復(fù)制方法設(shè)置被復(fù)制的路徑對象PathinPath=newPath("/hadoop/demo.txt");設(shè)置復(fù)制文件的最終路徑PathoutPath=newPath("/test/test.txt");設(shè)置路徑設(shè)置字節(jié)輸入流FSDataInputStreamhdfsIn=null;設(shè)置字節(jié)輸出流FSDataOutputStreamhdfsOut=null;設(shè)置輸出流打開HDFS的文件hdfsIn=hdfs.open(inPath);打開要輸出的文件hdfsOut=hdfs.create(outPath);文件拷貝IOUtils