JAVA API怎樣進(jìn)行讀寫(xiě)HDFS

本篇文章為大家展示了JAVA API怎樣進(jìn)行讀寫(xiě)HDFS，內(nèi)容簡(jiǎn)明扼要并且容易理解，絕對(duì)能使你眼前一亮，通過(guò)這篇文章的詳細(xì)介紹希望你能有所收獲。

package demo;

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class PutMerge {
	public static void main(String[] args) throws IOException{
		Configuration conf=new Configuration();
		FileSystem hdfs=FileSystem.get(conf);
		FileSystem local=FileSystem.getLocal(conf);
		//設(shè)定輸入目錄于輸出文件
		Path inputDir=new Path(args[0]);
		Path hdfsFile=new Path(args[1]);
		//得到本地文件列表
		FileStatus[] inputFiles=local.listStatus(inputDir); 
		//生成HDFS輸出流
		FSDataOutputStream out=hdfs.create(hdfsFile);
		for(int i=0;i<inputFiles.length;i++){
			System.out.println(inputFiles[i].getPath().getName());
			//打開(kāi)本地輸入流
			FSDataInputStream in=local.open(inputFiles[i].getPath());
			byte buffer[]=new byte[256];
			int bytesRead=0;
			while((bytesRead=in.read(buffer))>0){
				out.write(buffer,0,bytesRead);
			}
			in.close();
		}
		out.close();
	}
}

上述內(nèi)容就是JAVA API怎樣進(jìn)行讀寫(xiě)HDFS，你們學(xué)到知識(shí)或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識(shí)儲(chǔ)備，歡迎關(guān)注億速云行業(yè)資訊頻道。